forum.opennet.ru - "Выпуск cache-bench 0.1.0 для исследования эффективности кэширования файлов при нехватке памяти" (25)

"Выпуск cache-bench 0.1.0 для исследования эффективности кэширования файлов при нехватке памяти"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск cache-bench 0.1.0 для исследования эффективности кэширования файлов при нехватке памяти"	+/–
Сообщение от opennews (?), 04-Июн-21, 16:24
cache-bench - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций чтения в условиях нехватки памяти. Код открыт под лицензией CC0... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=55273
Ответить \| Правка \| Cообщить модератору

Оглавление

Интересно, сколько он будет мои 48Гб на сервере тестировать , Рева RarogCmex Денис (?), 16:24 , 04-Июн-21, (1) –6

Понты уровня сiло , commiethebeastie (ok), 16:31 , 04-Июн-21, (2) +11
фсяко быстрие чем маи 512Г, Ананомизец (?), 16:35 , 04-Июн-21, (3) +8

У меня 26гб озу За две недели работы платформы отображающей много графиков цен , быдлоюзер (?), 16:38 , 04-Июн-21, (4) –1

Если это жава, возможно, поможет uksm и openj9 -- в теории, потребление памяти у, Аноним (6), 16:47 , 04-Июн-21, (6)

Платформа sierrachart сделана на чистом c для винды, работает через wine, быдлоюзер (?), 16:49 , 04-Июн-21, (7) –1

Может быть утекает сам wine Один раз столкнулся с утечкой GDI объектов - програ, НяшМяш (ok), 18:45 , 04-Июн-21, (18)

Да, поможет Впрочем, скажу тебе и так - ставь swappiness не ниже 100 при исполь, foo (?), 17:26 , 04-Июн-21, (10) –1
Копать в сторону drop cache и memory compaction fragmentation Дело вовсе, Амоним (?), 17:30 , 04-Июн-21, (11) –2

Правильнее будет сказать - дело не только в нехватке памяти, но и в её фрагмента, Амоним (?), 17:36 , 04-Июн-21, (13)
При наличии zram основной причиной тормозов при своппинге как раз является истощ, foo (?), 17:38 , 04-Июн-21, (14) –1

Попробуй вот этотhttps gist github com iavael f64f392d61d452f247c87b90f5b4be1e, Аноним (19), 18:46 , 04-Июн-21, (19) +1

Спасибо А в каких единицах выводится Swapsize , Аноним (22), 02:58 , 05-Июн-21, (22) –1
Открытие графиков при запуске программы занимает минут 40, съев всё озу и наполн, быдлоюзер (?), 17:57 , 05-Июн-21, (27) –1

Hdd На ssd такого не встречал, edo (ok), 13:45 , 05-Июн-21, (25)

Hdd, быдлоюзер (?), 14:01 , 05-Июн-21, (26) –1

О каждом своём наколеночном скрипте теперь буду новость на опеннете писать , Аноним (8), 17:01 , 04-Июн-21, (8) +3

Если полезный скрипт - почему бы и нет Например, с помощью cache-bench установле, foo (?), 17:08 , 04-Июн-21, (9) –1

С помощью скрипта, которому меньше дня Может стоило новость написать про ошибки, Аноним (8), 17:36 , 04-Июн-21, (12) +2

Скрипту месяц, просто не был опубликован , foo (?), 17:41 , 04-Июн-21, (15) –1
Разрепорчу в лкмл, потом и сюда новость кину, foo (?), 17:42 , 04-Июн-21, (16) –1

уже было на лоре https www linux org ru news opensource 16350636, foo (?), 17:51 , 04-Июн-21, (17) –1

На ЛОР-е r-test, здесь cache-bench Если это шутка такая, то я её не понимаю , Annoynymous (ok), 20:42 , 04-Июн-21, (20)

cache-bench - это переименованный r-test См описание и код , foo (?), 03:20 , 05-Июн-21, (24) –1

Что такое директория Директрисса, что ли , adolfus (ok), 00:27 , 07-Июн-21, (28)

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Рева RarogCmex Денис (?), 04-Июн-21, 16:24 –6 +/–

Интересно, сколько он будет мои 48Гб на сервере тестировать.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #3

2. Сообщение от commiethebeastie (ok), 04-Июн-21, 16:31 +11 +/–

Понты уровня сiло.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

3. Сообщение от Ананомизец (?), 04-Июн-21, 16:35 +8 +/–

фсяко быстрие чем маи 512Г

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

4. Сообщение от быдлоюзер (?), 04-Июн-21, 16:38 –1 +/–

У меня 26гб озу. За две недели работы платформы отображающей много графиков цен криптовалют, своп распух до 78гб.
Вроде всё устраивает, но иногда при начале "тяжелого свопинга" платформа не отвечает несколько минут, рвётся связь с серверами и у меня получаются пропуски на граффиках цен. Установив zram "дело улучшилось раза скажем в два с половиной".
Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих? Чтобы устранить "эффект недоступности" платформы во время "тяжёлого свопинга"

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6, #10, #11, #19, #25

6. Сообщение от Аноним (6), 04-Июн-21, 16:47 +/–

Если это жава, возможно, поможет uksm и openj9 -- в теории, потребление памяти упадёт очень значительно, и своп будет использоваться более эффективно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #7

7. Сообщение от быдлоюзер (?), 04-Июн-21, 16:49 –1 +/–

Платформа sierrachart сделана на чистом c++ для винды, работает через wine

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #18

8. Сообщение от Аноним (8), 04-Июн-21, 17:01 +3 +/–

О каждом своём наколеночном скрипте теперь буду новость на опеннете писать.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #9

9. Сообщение от foo (?), 04-Июн-21, 17:08 –1 +/–

Если полезный скрипт - почему бы и нет?
Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU.
cache-bench позволяет наглядно демострировать влияние swappiness на скорость некоторых файловых операций при нехватке памяти.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8 Ответы: #12

10. Сообщение от foo (?), 04-Июн-21, 17:26 –1 +/–

>Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих?
Да, поможет. Впрочем, скажу тебе и так:
- ставь swappiness не ниже 100 при использовании zram
- если система на HDD, то можно swappiness и в 150-190 выкрутить (начиная с ядер 5.8)
см актуальную док https://github.com/torvalds/linux/blob/master/Documentation/...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

11. Сообщение от Амоним (?), 04-Июн-21, 17:30 –2 +/–

Копать в сторону drop cache и memory compaction / fragmentation. Дело вовсе не в нехватке памяти, а в её фрагментации. Теоретически ядро с этим само справляется, фактически приходится ему помогать - принудительно сбрасывать (файловый) кэш и утрабмовывать (дефрагментировать) свободную память. Смотреть в /proc/buddyinfo

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #13, #14

12. Сообщение от Аноним (8), 04-Июн-21, 17:36 +2 +/–

>Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU.
С помощью скрипта, которому меньше дня? Может стоило новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9 Ответы: #15, #16

13. Сообщение от Амоним (?), 04-Июн-21, 17:36 +/–

Правильнее будет сказать - дело не только в нехватке памяти, но и в её фрагментации.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

14. Сообщение от foo (?), 04-Июн-21, 17:38 –1 +/–

При наличии zram основной причиной тормозов при своппинге как раз является истощение чистых файловых кэшей - приходится часто дёргать медленный диск на каждый чих. Тут как раз поможет именно увеличение своппинес, чтоб ценный кэш не выбрасывался из памяти.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

15. Сообщение от foo (?), 04-Июн-21, 17:41 –1 +/–

Скрипту месяц, просто не был опубликован.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

16. Сообщение от foo (?), 04-Июн-21, 17:42 –1 +/–

>новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить?
Разрепорчу в лкмл, потом и сюда новость кину

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

17. Сообщение от foo (?), 04-Июн-21, 17:51 –1 +/–

уже было на лоре https://www.linux.org.ru/news/opensource/16350636

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20

18. Сообщение от НяшМяш (ok), 04-Июн-21, 18:45 +/–

Может быть утекает сам wine. Один раз столкнулся с утечкой GDI объектов - программа просто переставала перерисовываться и замечали это не сразу, а в логах сыпались ошибки. Пофиксили с помощью winetricks gdiplus. Может и с этим софтом тоже похожая история приключилась.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

19. Сообщение от Аноним (19), 04-Июн-21, 18:46 +1 +/–

Попробуй вот этот
https://gist.github.com/iavael/f64f392d61d452f247c87b90f5b4b...
Только учитывай, что запускать его нужно в системе после некоторой работы под штатной нагрузкой, но в которой еще не заканчивалась доступная оперативная память (в которой active память еще не вытеснялась в своп).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #22, #27

20. Сообщение от Annoynymous (ok), 04-Июн-21, 20:42 +/–

На ЛОР-е r-test, здесь cache-bench.
Если это шутка такая, то я её не понимаю.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #24

22. Сообщение от Аноним (22), 05-Июн-21, 02:58 –1 +/–

Спасибо. А в каких единицах выводится Swapsize?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

24. Сообщение от foo (?), 05-Июн-21, 03:20 –1 +/–

> На ЛОР-е r-test, здесь cache-bench.
cache-bench - это переименованный r-test. См описание и код.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

25. Сообщение от edo (ok), 05-Июн-21, 13:45 +/–

> не отвечает несколько минут
Hdd? На ssd такого не встречал

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #26

26. Сообщение от быдлоюзер (?), 05-Июн-21, 14:01 –1 +/–

Hdd

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

27. Сообщение от быдлоюзер (?), 05-Июн-21, 17:57 –1 +/–

Открытие графиков при запуске программы занимает минут 40, съев всё озу и наполняя своп до 17гб. И начинается штатная работа, в процессе которой за 2 недели своп наполняется до 80гб.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

28. Сообщение от adolfus (ok), 07-Июн-21, 00:27 +/–

Что такое директория? Директрисса, что ли?

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. Сообщение от Рева RarogCmex Денис (?), 04-Июн-21, 16:24	–6 +/–
Интересно, сколько он будет мои 48Гб на сервере тестировать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #2, #3

2. Сообщение от commiethebeastie (ok), 04-Июн-21, 16:31	+11 +/–
Понты уровня сiло.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

3. Сообщение от Ананомизец (?), 04-Июн-21, 16:35	+8 +/–
фсяко быстрие чем маи 512Г
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #1

4. Сообщение от быдлоюзер (?), 04-Июн-21, 16:38	–1 +/–
У меня 26гб озу. За две недели работы платформы отображающей много графиков цен криптовалют, своп распух до 78гб. Вроде всё устраивает, но иногда при начале "тяжелого свопинга" платформа не отвечает несколько минут, рвётся связь с серверами и у меня получаются пропуски на граффиках цен. Установив zram "дело улучшилось раза скажем в два с половиной". Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих? Чтобы устранить "эффект недоступности" платформы во время "тяжёлого свопинга"
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #6, #10, #11, #19, #25

6. Сообщение от Аноним (6), 04-Июн-21, 16:47	+/–
Если это жава, возможно, поможет uksm и openj9 -- в теории, потребление памяти упадёт очень значительно, и своп будет использоваться более эффективно.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #7

7. Сообщение от быдлоюзер (?), 04-Июн-21, 16:49	–1 +/–
Платформа sierrachart сделана на чистом c++ для винды, работает через wine
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #6 Ответы: #18

8. Сообщение от Аноним (8), 04-Июн-21, 17:01	+3 +/–
О каждом своём наколеночном скрипте теперь буду новость на опеннете писать.
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #9

9. Сообщение от foo (?), 04-Июн-21, 17:08	–1 +/–
Если полезный скрипт - почему бы и нет? Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU. cache-bench позволяет наглядно демострировать влияние swappiness на скорость некоторых файловых операций при нехватке памяти.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #8 Ответы: #12

10. Сообщение от foo (?), 04-Июн-21, 17:26	–1 +/–
>Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих? Да, поможет. Впрочем, скажу тебе и так: - ставь swappiness не ниже 100 при использовании zram - если система на HDD, то можно swappiness и в 150-190 выкрутить (начиная с ядер 5.8) см актуальную док https://github.com/torvalds/linux/blob/master/Documentation/...
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4

11. Сообщение от Амоним (?), 04-Июн-21, 17:30	–2 +/–
Копать в сторону drop cache и memory compaction / fragmentation. Дело вовсе не в нехватке памяти, а в её фрагментации. Теоретически ядро с этим само справляется, фактически приходится ему помогать - принудительно сбрасывать (файловый) кэш и утрабмовывать (дефрагментировать) свободную память. Смотреть в /proc/buddyinfo
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #13, #14

12. Сообщение от Аноним (8), 04-Июн-21, 17:36	+2 +/–
>Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU. С помощью скрипта, которому меньше дня? Может стоило новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #9 Ответы: #15, #16

13. Сообщение от Амоним (?), 04-Июн-21, 17:36	+/–
Правильнее будет сказать - дело не только в нехватке памяти, но и в её фрагментации.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11

14. Сообщение от foo (?), 04-Июн-21, 17:38	–1 +/–
При наличии zram основной причиной тормозов при своппинге как раз является истощение чистых файловых кэшей - приходится часто дёргать медленный диск на каждый чих. Тут как раз поможет именно увеличение своппинес, чтоб ценный кэш не выбрасывался из памяти.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #11

15. Сообщение от foo (?), 04-Июн-21, 17:41	–1 +/–
Скрипту месяц, просто не был опубликован.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #12

16. Сообщение от foo (?), 04-Июн-21, 17:42	–1 +/–
>новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить? Разрепорчу в лкмл, потом и сюда новость кину
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #12

17. Сообщение от foo (?), 04-Июн-21, 17:51	–1 +/–
уже было на лоре https://www.linux.org.ru/news/opensource/16350636
Ответить \| Правка \| Наверх \| Cообщить модератору
Ответы: #20

18. Сообщение от НяшМяш (ok), 04-Июн-21, 18:45	+/–
Может быть утекает сам wine. Один раз столкнулся с утечкой GDI объектов - программа просто переставала перерисовываться и замечали это не сразу, а в логах сыпались ошибки. Пофиксили с помощью winetricks gdiplus. Может и с этим софтом тоже похожая история приключилась.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #7

19. Сообщение от Аноним (19), 04-Июн-21, 18:46	+1 +/–
Попробуй вот этот https://gist.github.com/iavael/f64f392d61d452f247c87b90f5b4b... Только учитывай, что запускать его нужно в системе после некоторой работы под штатной нагрузкой, но в которой еще не заканчивалась доступная оперативная память (в которой active память еще не вытеснялась в своп).
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #22, #27

20. Сообщение от Annoynymous (ok), 04-Июн-21, 20:42	+/–
На ЛОР-е r-test, здесь cache-bench. Если это шутка такая, то я её не понимаю.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #17 Ответы: #24

22. Сообщение от Аноним (22), 05-Июн-21, 02:58	–1 +/–
Спасибо. А в каких единицах выводится Swapsize?
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

24. Сообщение от foo (?), 05-Июн-21, 03:20	–1 +/–
> На ЛОР-е r-test, здесь cache-bench. cache-bench - это переименованный r-test. См описание и код.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #20

25. Сообщение от edo (ok), 05-Июн-21, 13:45	+/–
> не отвечает несколько минут Hdd? На ssd такого не встречал
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #4 Ответы: #26

26. Сообщение от быдлоюзер (?), 05-Июн-21, 14:01	–1 +/–
Hdd
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #25

27. Сообщение от быдлоюзер (?), 05-Июн-21, 17:57	–1 +/–
Открытие графиков при запуске программы занимает минут 40, съев всё озу и наполняя своп до 17гб. И начинается штатная работа, в процессе которой за 2 недели своп наполняется до 80гб.
Ответить \| Правка \| Наверх \| Cообщить модератору
Родитель: #19

28. Сообщение от adolfus (ok), 07-Июн-21, 00:27	+/–
Что такое директория? Директрисса, что ли?
Ответить \| Правка \| Наверх \| Cообщить модератору