The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

В ядро Linux 5.12 принята подсистема KFence для выявления ошибок при работе с памятью, opennews (?), 28-Фев-21, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


6. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +2 +/
Сообщение от Аноним (6), 28-Фев-21, 10:57 
Нужно ли? Чтобы добавить оверхед на пустом месте?
Ответить | Правка | Наверх | Cообщить модератору

12. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +11 +/
Сообщение от Аноним (12), 28-Фев-21, 11:31 
А сабж - оверхед не на пустом месте?
Ответить | Правка | Наверх | Cообщить модератору

17. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +1 +/
Сообщение от Аноним (6), 28-Фев-21, 11:57 
Сабж только для разработки и вполне отключается.
Ответить | Правка | Наверх | Cообщить модератору

178. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (178), 03-Мрт-21, 20:37 
Сабж таки позиционируется как годный и для продакшнового применения. Если от KASAN оверхед солидный то от этого уже куда разумнее. Поэтому можно позволить себе избавиться от непонятных барабашек и сделать хакерам неудобно. Если это важнее максимального перфоманса любой ценой.
Ответить | Правка | Наверх | Cообщить модератору

184. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (6), 03-Мрт-21, 20:49 
Если есть проблемы. Если их нет, то и оверхэд ни к чему.
Ответить | Правка | Наверх | Cообщить модератору

196. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (196), 07-Мрт-21, 10:25 
> Если есть проблемы. Если их нет, то и оверхэд ни к чему.

Оно как бы да. И все же в проекте ТАКОГО размера уповать на полное отсутствие багов - для оптимистов. А кому безопасность и отсутствие багов важнее - ну вот теперь будет оно, как еще 1 вариант.

Ответить | Правка | Наверх | Cообщить модератору

18. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Anonimous (?), 28-Фев-21, 11:58 
Так сабж всегда можно отключить, если дебаг не нужен. При отклюбчении не будет и оверхеда.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

19. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +3 +/
Сообщение от Аноним (19), 28-Фев-21, 11:58 
Сабж это культ-карго от легковерных туземцев, которые ужас как боятся дыреней.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

79. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –2 +/
Сообщение от пердёжник (?), 28-Фев-21, 16:54 
> Сабж это культ-карго от легковерных туземцев, которые ужас как боятся дыреней.

Ну да, это нормально когда у вас приложение вылетает раз в час (сарказм)

Ответить | Правка | Наверх | Cообщить модератору

140. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (140), 01-Мрт-21, 23:13 
Сейчас 2021 год сейчас ничего не вылетает раз в час. Вылезь уже из криокамеры.
Ответить | Правка | Наверх | Cообщить модератору

154. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от пердёжник (?), 02-Мрт-21, 19:38 
> Сейчас 2021 год сейчас ничего не вылетает раз в час. Вылезь уже
> из криокамеры.

у меня десяточка стабильно вылетает раз в неделю с синим экраном. Полностью переполз на линукс

Ответить | Правка | Наверх | Cообщить модератору

202. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от нах.. (?), 31-Авг-21, 15:39 
Ну дык да, стабильно раз в 10 минут или random time.
Ответить | Правка | К родителю #140 | Наверх | Cообщить модератору

179. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (178), 03-Мрт-21, 20:37 
> Ну да, это нормально когда у вас приложение вылетает раз в час (сарказм)

Это вы про питон наверное, там класть на ошибки норма, поэтому оно в какой-то момент просто осыпается с диким стэктрейсом как раз.

Ответить | Правка | К родителю #79 | Наверх | Cообщить модератору

170. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –1 +/
Сообщение от Аноним (-), 03-Мрт-21, 20:16 
Нене, за карго культом - к растаманам. У них там эрзац пакетного менеджера.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

43. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –2 +/
Сообщение от Owlet (?), 28-Фев-21, 14:14 
У раста нет оверхеда по сравнению с си на эквивалентном коде. Все его фичи работают во время компиляции.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

45. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –2 +/
Сообщение от Аноним (6), 28-Фев-21, 14:45 
Это не так, мы уже выяснили.
Ответить | Правка | Наверх | Cообщить модератору

50. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +2 +/
Сообщение от Аноним (12), 28-Фев-21, 14:53 
Сылки на треды, в которых проходило обсуждение
Ответить | Правка | Наверх | Cообщить модератору

137. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (-), 01-Мрт-21, 19:56 
> Сылки на треды, в которых проходило обсуждение

"Мы все так говорим, а значит это правда!" (с)

Ответить | Правка | Наверх | Cообщить модератору

142. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –1 +/
Сообщение от Nuzhnyemail (?), 01-Мрт-21, 23:43 
Brotli обсуждали? Вот: https://dropbox.tech/infrastructure/lossless-compression-wit...
Dropbox попробовал переисать на Раст и получилось на 28% медленнее. Причины освещены в статье.
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

147. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +1 +/
Сообщение от Аноним (-), 02-Мрт-21, 16:40 
> Brotli обсуждали? Вот: https://dropbox.tech/infrastructure/lossless-compression-wit...
> Dropbox попробовал переисать на Раст и получилось на 28% медленнее.

А grep переписали в ripgrep и получилось быстрее. Причем не в абстрактновакуумных конях, а в реальном поиске в 2-3 гиговым репам.
Такие дела, да ...


Ответить | Правка | Наверх | Cообщить модератору

161. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Nuzhnyemail (?), 03-Мрт-21, 06:42 
А мой папа!
Так дети в песочнице хвалятся. А где тесты, где пруфы, где анализ того, почему быстрее... Будем верить на слово.
Ответить | Правка | Наверх | Cообщить модератору

166. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (-), 03-Мрт-21, 14:46 
> А мой папа!
> Так дети в песочнице хвалятся.
> А где тесты, где пруфы,

Так дети, пытающиеся казаться взрослыми, умничают, не пытаясь понять смысл прочитанного.

Как и написано - берешь большую репу, берешь time и ищешь. Сравниваешь реальный результат.

> где анализ того, почему быстрее...

Ну да, без анализа реальность данная нам ощущениях (тормозной греп) резко станет неправдой. Хинт: в грепе с параллельным поискоим не очень. И нет, не нужно кивать на распараллеливание xargs - это не очень помогает grеp вырваться вперед (и не работает при поиске в больших файлах). Но если очень хочется именно анализ, то (5 летней давности)
https://blog.burntsushi.net/ripgrep/

> Будем верить на слово.

Учитывая, что репы на несколько гигов я как-то и не собирался загружать, толку то в красивых "пруфах" в виде копипасты (или скриншотов, с графиками) запуска time rg <>?
... впрочем, особой разницы с ссылкой выше в смысле повторимости тоже нет.
Если действительно интересно, а не "за по*раться", то тут на форуме не так давно уже были бенчи и сравнения одновременно еще и с ag
см. ветку начиная с #71 https://www.opennet.ru/openforum/vsluhforumID3/118581.html#71 (скрытая модератором подветка тоже содержит бенч)


Ответить | Правка | Наверх | Cообщить модератору

167. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (-), 03-Мрт-21, 14:49 
> ... впрочем, особой разницы с ссылкой выше в смысле повторимости тоже нет.

В смысле - данной Вами ссылкой. Ни кода, ни данных на которых тестировали там я как-то не обнаружил. А так-то да, графики красивые.

Ответить | Правка | Наверх | Cообщить модератору

168. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Nuzhnyemail (?), 03-Мрт-21, 16:55 
О, совсем другое дело. Почитаю.
Ответить | Правка | К родителю #166 | Наверх | Cообщить модератору

180. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (178), 03-Мрт-21, 20:39 
> А grep переписали в ripgrep и получилось быстрее.

А кто сказал что там алгоритмы одинаковые были? Вон там сравнили один конкретный алгоритм, одинаковый. Вот это честное сравнение. А две напрочь разные программы - ни о чем.

Ответить | Правка | К родителю #147 | Наверх | Cообщить модератору

186. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от тот самый аноним (?), 04-Мрт-21, 00:58 
> Вон там сравнили один конкретный алгоритм, одинаковый.
> Вот это честное сравнение.

При этом, один и тот же алгорим может быть реализован разными способами, что существенно влияет на конечный результат
https://benchmarksgame-team.pages.debian.net/benchmarksgame/...


×     source     secs     mem
1.0 Rust 0.45 499,168
1.4 C++ g++ 0.63 499,704
1.7 Rust #2 0.75 995,144
1.7 Rust #3 0.78 995,136
1.9 C gcc 0.86 698,264
2.2 C gcc 0.98 994,220
3.1 C gcc 1.41 994,048
...
5.4 C++ g++ #3     2.42     499,964     
6.4 C++ g++ #6    2.88     1,505,952     
7.6 C gcc #4    3.40     500,236     
13 C++ g++    5.96     979,844     

> А две напрочь разные программы - ни о чем.

Две разные реализации - собственно тоже.


Ответить | Правка | Наверх | Cообщить модератору

197. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (-), 07-Мрт-21, 10:33 
> При этом, один и тот же алгорим может быть реализован разными способами,
> что существенно влияет на конечный результат

Оно как бы да, но есть нюансы.

> https://benchmarksgame-team.pages.debian.net/benchmarksgame/...

Вот конкретно это - и правда довольно странная штука. Какая-то синтетическая дичь, где параметры сборки довольно странные. А вот алгоритм сжатия, при нанятом коммерческими корпами прогерах, где работа на результат - все же более реалистичный бенч.

> Две разные реализации - собственно тоже.

В общем то да. И все же - одна коммерческая корпа, другая коммерческая корпа, тот же алгоритм, при том не левая синтетика а реально имеющее хождение нечно. И прогерам денег дали чтобы они могли просто пойти и покодить. В обоих случаях.

На самом деле там сам алгоритм довольно средненький, кста, но гугол массой продавил, а автор креативно смухлевал с предзагруженным словарем. Если кого скорость, особенно распаковки волновала, zstd в этом плане интереснее.

Ответить | Правка | Наверх | Cообщить модератору

164. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +1 +/
Сообщение от Alexey (??), 03-Мрт-21, 08:17 
Надеюсь вы сами прочитали статью. Dropbox как минимум утверждает, что
1) реализация на Rust была безопаснее реализации на C
2) и "Zeroing memory: Telling the Rust allocator to avoid zeroing the memory when allocating for Brotli improves the speed to 224 MB/s.". Т.е. выключение опции обнуления памяти при освобождении увеличила скорость до 224 MB/с, против 217 MB/s для реализации на C. Упс.
Ответить | Правка | К родителю #142 | Наверх | Cообщить модератору

165. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Совершенно другой аноним (?), 03-Мрт-21, 09:50 
> Надеюсь вы сами прочитали статью. Dropbox как минимум утверждает, что
> 1) реализация на Rust была безопаснее реализации на C
> 2) и "Zeroing memory: Telling the Rust allocator to avoid zeroing the
> memory when allocating for Brotli improves the speed to 224 MB/s.".
> Т.е. выключение опции обнуления памяти при освобождении увеличила скорость до 224
> MB/с, против 217 MB/s для реализации на C. Упс.

Там как-то текст "немного по дебильному написан".

;----X8
Currently the decompressor runs at 72% of the speed of the vanilla -O3 optimized Brotli decompressor in gcc-4.9 for decompressing 4 megabyte blocks of data. This means it is able to safely decompress Brotli data at 217 MB/s on a Intel(R) Core(TM) i7-4790 CPU @ 3.60GHz.
;----X8

Я эти строки для себя перевёл как:

;----X8
На данный момент декомпрессор работает на 72% от скорости оптимизированного с gcc-4.9 для 4-х мегабайтных блоков. Это означает, что он может декомпрессировать данные Brotli со скоростью 217 МБ/с на ntel(R) Core(TM) i7-4790 CPU @ 3.60GHz.
;----X8

Т.е. 217 - это скорость декомпрессора на Rust (которая 72% от скорости C-шного варианта. Потом они отключили обнуление памяти и получили 224 Мб/с. Далее отключив проверки границ и включив unsafe они получили 249МБ/с, или 82% от C-шной реализации. Отсюда C-шная реализация имеет скорость имеет скорость около 300 МБ/с.

Ответить | Правка | Наверх | Cообщить модератору

181. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (178), 03-Мрт-21, 20:41 
И это, gcc 4.9 немного протух. А они не хотят хотя-бы 9..10 взять? А то б еще 2.95 бенчмаркали :)
Ответить | Правка | Наверх | Cообщить модератору

190. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Совершенно другой аноним (?), 04-Мрт-21, 10:01 
> И это, gcc 4.9 немного протух. А они не хотят хотя-бы 9..10
> взять? А то б еще 2.95 бенчмаркали :)

Там просто статья за 2016 год, тогда максимальная версия gcc была 5.X, но может она в том дистрибутиве, которые они использовали, не поставлялась.

Ответить | Правка | Наверх | Cообщить модератору

188. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Alexey (??), 04-Мрт-21, 06:35 
Да, похоже на то. Они как-то коряво написали, но дальше однозначно

Activating unsafe mode results in another gain, bringing the total speed up to 249MB/s, bringing Brotli to within 82% of the C code.

Так что да, rust медленнее.

Ответить | Правка | К родителю #165 | Наверх | Cообщить модератору

198. Скрыто модератором  +/
Сообщение от Аноним (198), 07-Мрт-21, 13:58 
Ответить | Правка | К родителю #165 | Наверх | Cообщить модератору

49. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –1 +/
Сообщение от Славик (?), 28-Фев-21, 14:53 
Smart_pointer - это разве не оверхед? Каждое обращение к памяти со спинлоком!
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

51. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  –8 +/
Сообщение от Аноним (12), 28-Фев-21, 15:01 
у тебя весь код состоит из смартпоинтеров?
Ответить | Правка | Наверх | Cообщить модератору

95. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +3 +/
Сообщение от Онаним (?), 28-Фев-21, 23:00 
Самое место внутри IRQ :D
Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

120. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +3 +/
Сообщение от n00by (ok), 01-Мрт-21, 08:20 
"Но у меня на виртуалке работает!"  :D
Ответить | Правка | Наверх | Cообщить модератору

124. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Siborgium (ok), 01-Мрт-21, 09:44 
Оверхед, но никаких спинлоков там нет. Проблема там в том, что умные указатели плохо оптимизируются, но от этого страдают и кресты в той же степени.
Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

203. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Славик (ok), 14-Окт-22, 10:35 
Я имел ввиду Thread Safety смарт поинтера. Если не спинлок то атомик, хрен редьки не слаще.

Ой.. позновато прочитал.

Ответить | Правка | Наверх | Cообщить модератору

131. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от _ (??), 01-Мрт-21, 14:20 
О каких умных указателях ты говоришь?

Обычные ссылки (&T, &mut T) имеют в рантайме оверхеда даже меньше чем обычные указатели, ибо у них намного более строгие правила алиасинга

Box оверхед имеет только на этапе компиляции, в рантайме это тот же malloc/free
Rc имеет оверхед Box + подсчёт ссылок через inc/dec
Arc - тот же Rc, только подсчёт ссылок атомарный

Таким образом оверхед ты задаёшь явно, и там где надо можешь обойтись без него
Ни о каких спинлоках речи не идёт, если ты сам не создашь свой умный указатель со спинлоками, и не назовёшь его SpinLock

Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

169. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (-), 03-Мрт-21, 20:12 
Указатель обычно сводится к вгрузке аж 1 регистра (базы) константой (адресом), от которого потом и пляшут. В лучшем случае - круть типа LTO еще потом допрет, что вон там и вон там уже похожее было, так что вместо кодирования всего адреса закодирует только смещение в команде. В каком месте может оверхед возникнуть? Это ж примитивные регистровые операции в современных процессорах. Можно даже прямо относительно PC (IP, ...) кодировать на нормальных процах с относительной адресацией, ARM такое очень любят. Уродцы типа x86-32 не в счет, ими уже почти никто не пользуется.

Там и так эффективность запредельная, LZ4 даже на чистом асме народ побить не смог.

Ответить | Правка | Наверх | Cообщить модератору

199. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +1 +/
Сообщение от _ (??), 11-Мрт-21, 11:28 
Оверхед появляется на оптимизируемом коде с алиасингом, см сишный restrict

В Rust все ссылки по умолчанию restrict, но на деле их можно оптимизировать ещё сильнее, т.к у Rust правила алиасинга более строгие чем можно выразить в C

Ответить | Правка | Наверх | Cообщить модератору

81. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +3 +/
Сообщение от Аноним (81), 28-Фев-21, 17:20 
Садись, два
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

125. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Siborgium (ok), 01-Мрт-21, 09:45 
Полная чушь. Да, на расте можно писать как на си, но тогда он от си ничем не отличается. На сейф расте оверхед есть и он очень заметный.
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

149. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +/
Сообщение от Аноним (149), 02-Мрт-21, 16:42 
ооооооооооооо даааааааааааааааааааааааа

уволен по причине некомпетентности, гуляй вася

Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

94. "В ядро Linux 5.12 принята подсистема KFence для выявления ош..."  +1 +/
Сообщение от Онаним (?), 28-Фев-21, 22:59 
Нужно. А то ядро почти не течёт.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру