The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Выпуск cache-bench 0.2.0 для исследования эффективности кэширования файлов"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск cache-bench 0.2.0 для исследования эффективности кэширования файлов"  +/
Сообщение от opennews (??), 19-Дек-21, 12:24 
Спустя 7 месяцев после предыдущего релиза вышел cache-bench 0.2.0. Cache-bench - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность задач, выполнение которых зависит от кэширования файловых операций чтения, особенно в условиях нехватки памяти. Код открыт под лицензией CC0...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=56376

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +/
Сообщение от Аноним (1), 19-Дек-21, 12:24 
>Теперь вместо чтения файлов из указанной директории (в новой версии опция -d удалена) производится чтение из одного файла фрагментами указанного размера в случайном порядке.

Так это же ухудшение.

Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  –2 +/
Сообщение от Аноним (2), 19-Дек-21, 13:35 
Непонятное "улучшение". Размер файла теперь должен быть как минимум сопоставим с размером файлового кеша. Иначе скэшируется он полностью и что там потом бенчить - память? Файлов в гигабайты с лету не найду - разве что образы дисков.
Ответить | Правка | Наверх | Cообщить модератору

3. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +3 +/
Сообщение от foo (?), 19-Дек-21, 14:33 
>Размер файла теперь должен быть как минимум сопоставим с размером файлового кеша. Иначе скэшируется он полностью и что там потом бенчить - память?

Для этогои писался изначально - исследовать влияние факторов на сохранность кэша при нехватке памяти. Оригинальный основной режим - это читать из небольшого файла (100-300 МБ, сопоставимого по размеру с обычным размером кэша разделяемых библиотек) и добавлять прочитанное в список, таким образом создавая в итоге нехватку памяти.

Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +/
Сообщение от pavlinux (ok), 20-Дек-21, 15:22 
И что с этим делать? Опять руками дроч...^W настраивать sysctl vm.*?

21 век уж как 21 год, ...
$ sysctl -A | grep vm. | wc -l
45

~ 45 параметров, основная масса из них с одним аргументом, половину выкинуть можно,
типа vm.mmap_min_addr,  vm.panic_on_oom, vm.mmap_rnd_bits, vm.laptop_mode, vm.legacy_va_layout, ...

Ну ебнвр, вставляйте в ваши хелловорлды анализ и автотюнинг на его базе со сравнением результатов.

for ((i=0; i<A; i++)
   for ((j=0; j<A; j++)
      for ((k=0; k<A; k++)
         for ((l=0; l<A; l++)
                       ...

                       ...

Да, тут мозг нужен, а не тупа R/W с секундомером измерить.

Ответить | Правка | Наверх | Cообщить модератору

6. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +/
Сообщение от foo (?), 20-Дек-21, 15:41 
>тут мозг нужен

Интегрировать скрипт с нейросетью?

Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +1 +/
Сообщение от pavlinux (ok), 20-Дек-21, 15:49 
>>тут мозг нужен
> Интегрировать скрипт с нейросетью?

Что за мода, называть всё что сложнее if ( a > b ) - нейросетью? )))


Обычная комбинаторика, нет там нейросвязей.

...
for (.....)

   set_sysctl_next(i);

   test = mega_bruteforce_bench(i);

   if (test > best)
        save_sysctl_param(i);

   best = max(best, test)

...


Там даже проблема не в переборе и сравнении, сколько в адекватности результатов
выдваваемых mega_bruteforce_bench(i);  Нужно быть на 146% уверенным, что изменение
в sysctl влияет на этот тест.

А то ж можно факториал 45 раз воздух обогревать.
Автор вон, дрочит vm.swappiness, а в реальности окажется что fs.file-nr кривой,
или неправильно понят fs.xfs.rotorstep, иль из гугла скопипастили параметр монтирования barrier=1  

Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск cache-bench 0.2.0 для исследования эффективности кэши..."  +/
Сообщение от Ordu (ok), 21-Дек-21, 14:17 
> for ((i=0; i<A; i++)
>   for ((j=0; j<A; j++)
>      for ((k=0; k<A; k++)
>         for ((l=0; l<A; l++)

Это хрень какая-то. Напрашивается жеж принять допущение монотонности, и дальше градиентным спуском. В смысле замеряешь градиент, двигаешься в ту сторону, замеряешь ещё раз, и тп. Вектор из 45 элементов -- это много, конечно, но какая собственно разница, если компьютер будет пыхтеть мерять?

> Да, тут мозг нужен

В том-то и дело. Брутфорсом против комбинаторики далеко не уедешь.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру