Представлены (http://pavlinux.ru/2011/04/06/335) результаты тестирования производительности XFS, reiser4, ext4. Для оценки производительности использовался пакет IOZONE 3.283 (http://www.iozone.org/), тесты проводились в openSUSE 11.4 с ядром Linux 2.6.38.2 SMP PREEMPT x86_64 c патчами Reiser4 (http://www.kernel.org/pub/linux/kernel/people/edward/reiser4.../) и BFQ (http://pavlinux.ru/2011/03/16/304).
При форматировании раздела XFS были использованы опции "-l size=128m -d agcount=16", для Reiser4 и EXT4 были использованы параметры по умолчанию. При монтировании, Reiser4 монтировался по умолчанию, EXT4 - "noatime,barrier=1,data=writeback", XFS - "noatime,nodiratime,logbufs=8,logbsize=256k".
В тесте чтения Reiser4 уступает остальным в два и более раза. XFS и Ext4 показали одинаковые результаты, с отклонениями в пределах погрешности измерений. При этом, нагрузка на процессор при использовании XFS и EXT4 оказалась значительно выше ФС Reiser4, которая отличилась...URL: http://pavlinux.ru/2011/04/06/335
Новость: https://www.opennet.ru/opennews/art.shtml?num=30155
ну надо же, не фороникс. посмотрим чем павлинукс лучше.
параметры использованного железаCPU: Dual Opteron 285
RAM: 4Gb ECC DDR1 PC3200 CL3
HDD: Western Digital WD7500AAKS-00RBA0, FwRev=30.04G30
>Reiser4 монтировался по умолчанию, EXT4 - "noatime,barrier=1,data=writeback", XFS - "noatime,nodiratime,logbufs=8,logbsize=256k".Дауж честное сравнение.
И где тесты с reiser4 с lzo и bzip модулями?
На вид заказ очернить reiser, но от кого?
вестимо, от них!
> И где тесты с reiser4 с lzo и bzip модулями?Так рейзер даже без noatime!
Присоединяюсь: почему reiser4 единственный без noatime тестировался?
lzo - по дефолту
ага, по дефолту, но если Вы при создании fs указывали опцию create=ccreg40, иначе юзается create=reg40 (без компрессии).
ещё можно использовать compressMode=ultim, что даст наилучшую скорость/размер для фалов с заранее неизвестной способностью к ужатию.
Трудноинтерпретируемые тесты. И непонятно, что помешало смонтировать reiser4 с noatime?
К тому же, writeback - нечестный режим, который почти не применяется в реальности.
Люди, реальные строки которые в /proc/mounts следующие:XFS: rw,nodev,noatime,nodiratime,noalign,attr2,delaylog,inode64,logbufs=8,logbsize=256k,noquota
REISER4: rw,noatime,relatime,atom_max_size=0x36f97,atom_max_age=0x927c0,atom_min_size=0x100,atom_max_flushers=0x1,cbk_cache_slots=0x10
EXT4: rw,noatime,barrier=1,journal_async_commit,data=writebackЯ написал только то, что добавлял. Видимо noatime подефолту, или у меня по дефолту для всех :)
Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая версия atime.
Следовало дописать norelatime.
> Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая версия atime.
> Следовало дописать norelatime.Пишите пожелания. В следующий раз рубанём по феншуйному!
Ужо есть:
1. Reiser4 c noatime
2. Всёх в norelatime
3. Writeback - не феншуйно, ибо опасно.
4. barrier=0 - полный ахтунг, табу!---
Или вообще, надо все по нулям -
# mkfs.{ext4,xfs,reiser4} /dev/sdc1
# mount -t $i -o default /dev/sdc /test
Так а райзер разве не всегда в ахтунг-режиме с barrier=0 ?? Или он научился барьеры поддерживать?Из пожеланий, добавить JFS в тест. Имхо самая лучшая ФС для больших разделов, правда теперь уже ext4, видимо, лучше. Идеально стабильная, в отличие от xfs, никаких глюков :)
JFS? Ну вот откуда вы такие появляетесь. Абсолютно сырая заброшеная поделка, добавленная в ядро только для того чтобы прочитать разделы экзотической ОС AIX от IBM. Там не то что барьеров, там ничего нет. Привет из дaлеких 90.
привет-привет. а я вот использую уже не один год — ничего, всё нормально, брат жив, зависимости никакой.
> Так а райзер разве не всегда в ахтунг-режиме с barrier=0 ??Барьеров там нету, но не думаю что это хорошая мысль,выключать их у других.
Единственное где можно отключать, это какие-либо коротко живущие кэши.
> Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая
> версия atime.
> Следовало дописать norelatime.noatime включает же в себя norelatime ?
>> Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая
>> версия atime.
>> Следовало дописать norelatime.
> noatime включает же в себя norelatime ?Включает, noatime самый сильный из всех ключей.
>> Вообще-то скорость рейзера relatime прибивало, особенно на мелких файлах, т.к. это облегчённая
>> версия atime.
>> Следовало дописать norelatime.
> noatime включает же в себя norelatime ?fs/namespace.c
/* Default to relatime unless overriden */
if (!(flags & MS_NOATIME))
mnt_flags |= MNT_RELATIME;
Вот смотрю я на эти разноцветные "спагетти" и думаю, к чему такие новости ведь ни хрена не понятно особенно глядя на скрины.
В школе графики функций проходят.Где скорость read/write, там по Y - кб/с., X - размер создаваемого файла, линии - размер блока.
Где CPU utilization - Y - %, X - размер создаваемого файла, линии - размер блока.
> Где скорость read/write, там по X - кб/с., Y - размер создаваемого файла,А разве не наоборот, по X - размер, Y - скорость? oO
>> Где скорость read/write, там по X - кб/с., Y - размер создаваемого файла,
> А разве не наоборот, по X - размер, Y - скорость? oOfixed
Павлин, спасибо тебе за потуги, но вот что хотелось бы заметить:
1) Монтировать и форматировать ФС с разными опциями - не совсем честно вроде как. Ну уж если тебе нравится noatime - ввинти его всем. Или никому. Иначе сравнили теплое с мягким. А что оно покажет то в результате?
2) Вообще-то, отличная идея располагать одни и те же тестовые данные разных ФС на ОДНОМ графике. Иначе сравнивать их ну просто ппц как неудобно.
3) Вообще, графики особой наглядностью не отличаются. Хорошо бы подписывать что за "попугаи" и что в легенде, вообще-то. Разобраться конечно при желании и так можно, но график все-таки не должен быть ребусом, а? :)ЗЫ мог бы еще до кучи btrfs чтоли потестить, в 38 ядре его неплохо допилили.
Да не смотри ты на цифры, фигня всё это. Самое интересное общие отличия.
> Да не смотри ты на цифры, фигня всё это. Самое интересное общие отличия.Как раз сравнить поведение разных ФС проще всего если они все на 1 графике. При этом с ходу видны все мало мальски интеесные типы отличий. И константы типа у тех попугаев больше а у тех - меньше, и разница в поведении при изменении параметров, етц. А когда это на разных графиках, сравнивать их между собой очень неудобно. Похоже на свравнение 2 файлов путем смотрения поочередно в 2 окна 2 разных хексэдиторов. Можно конечно и так сравнивать, но геморройно, да :)
>> Да не смотри ты на цифры, фигня всё это. Самое интересное общие отличия.
> Как раз сравнить поведение разных ФС проще всего если они все на
> 1 графике.Write: http://i19.fastpic.ru/big/2011/0407/6c/12f1dcefffec72407b04b...
Read: http://i19.fastpic.ru/big/2011/0407/9c/20c2fa3eac1b87b8c44d8...
Write CPU: http://i19.fastpic.ru/big/2011/0407/53/300203ef83f05e7c50608...
Read CPU: http://i19.fastpic.ru/big/2011/0407/fd/d4f4bf8bd312c2a692197...
Мультяшки :)
Мне вот до ж...ы интересно, почему ext4 и xfs так процессор жрут при чтении?!
> Мне вот до ж...ы интересно, почему ext4 и xfs так процессор жрут при чтении?!Если они читают быстрее и жрут прц больше, тогда имхо логично посчитать некий коэффициент литроградусов на рыло в секунду, тьфу, то-есть, %CPU/Mb/s - сколько нагрузки на проц получается при чтении 1Мб/сек и сравнить кто в этом плане эффективнее. А то проц может оказаться недоюзан в ущерб скорости из-за бестолковостей типа внутренних блокировок, ожиданий изменения погоды на Марсе или чего там еще и это наврядли считается за плюс. По этому коэффициенту можно будет прикинуть кто эффективнее получает данные с диска.
Если же некто больше грузит проц и работает так же или медленнее, тут и без коэффициентов сразу констатируем FAIL.
по поводу первого пункта не согласен, т.к. для реального использования подбираются наиболее оптимальные параметры, в данном случае это наверно единственный пример где нормально показана xfs с теми настройками которые используются в реальности, а не по умолчанию.
надеюсь остальные ФС также. интересна же скорость с теми оптимизациями которые применяются обычно при использовании той или иной ФС.
ну и ещё плюсую за btrfs :) хотелось бы посмотреть как без сжатия так и с сжатием, райзер тоже кстати
[...]
> оптимальные параметры, в данном случае это наверно единственный пример где нормально
> показана xfs с теми настройками которые используются в реальности, а не
> по умолчанию.Вообще-то xfsprogs неплохо сделаны в плане подбора этих самых умолчаний для различных исходных ситуаций, включая страйповые software RAID. По крайней мере последние пару раз мне с bonnie++ их перетюнить за полдня не удавалось, когда собирал массивы по несколько терабайт для ftp.linux.kiev.ua.
PS: оказывается, Вы умеете писать внятные комментарии, а не детские наезды -- так держать :-)
тесты вопроизводимы (у фороникса - вполне - готовые сценарии, даже live media)?
скрипты для этого есть (где собственно)?
каково кол-то повторных замеров, где рассчёт отклонений?
каковы методы выравнивания условий внешней среды перед запуском тестов (перезагрузка и/или т.п.)?
Диск использовался один?
Интересно было бы увидеть RAID 0/1/10 SAS винтов.
Интересно было бы почитать статью на тему настройки RaiserFS-она у меня на корне в ALTLinux.
a ZFS ?
А что ZFS? Как настраивать? Или что? Все давно написано. Гугл в помощь.
У меня глюк с Reiser4:1. Пофигу на atime,relatime, create=ccreg40,compressMode=ultim, - скорость записи 4 Gb файла = 10-15 мб/сек (ипануцца)
http://i19.fastpic.ru/big/2011/0407/0c/fbe8016643d40f67f4b45...
Копировал с разных физ. дисков. (но все SATA133)
Для сравнения:c Reiser4 на XFS 15-10 Мб/с
c XFS на Reiser4 около 20 Мб/с
c XFS на XFS 60-30 Мб/с2. При клонировании образов диска Виртуалбокса, оно проходит 100% и новый файл исчезает. :)
3. # VBoxManage modifyhd --compact Disk0.vdi длиться раз в 10 дольше XFS
4. После работы Виртуалки, образ диска не читается, не копируется... до перемонтирования.
Естественно виртуалка запускается только один раз. :)http://i19.fastpic.ru/big/2011/0407/3f/f8f10c9f6623953417f74...
Пля, спасибо Эдик фШышкин, из-за тебя наеб...нулись три вируталки!
Кароча, ну нах...й этот рейзер, вернулся на XFS.
Это с новым патчем или без патча для RaizerFS от Шишкина?
> Это с новым патчем или без патча для RaizerFS от Шишкина?reiser4-for-2.6.38.patch.bz2
http://www.kernel.org/pub/linux/kernel/people/edward/reiser4...
А как будет производительность без патча?
> А как будет производительность без патча?Производительность чего? Если XFS, то все в порядке - 60 Мб/cек. средняя.
По моему прошлому опыту xfs реально тормозная, для моего млабенького настольного компа это слишком тяжело.Как обстоят дела с производительностью RaiserFS без патча?
> Как обстоят дела с производительностью RaiserFS без патча?Все летает. Собственно из-за этого и Резер4 в глаза бросается, уж слишком большая разница.
В глаза бросается криворукость автора и явный умысел очернить Reiser4)
> ... и явный умысел очернить Reiser4)Конечно, раньше раз в год отправлял 25$, чего же теперь не попинать.
> Пля, спасибо Эдик фШышкин, из-за тебя наеб...нулись три вируталки!
> Кароча, ну нах...й этот рейзер, вернулся на XFS.Также сегодня в Новостях: "Рускому Форониксу мешает танцевать Эдуард Шишкин".
Эх... и суток не продержался?
> Эх... и суток не продержался?Я вчера большие файлы не гонял. Ну как большие,... на терабайтных
наверно надо будет подключать ручной привод, чтоб диски крутились быстрее. :)И у меня подозрение что с SMP оно не дружит,
где percpu_counter_set(), for_each_online_cpu(),...?!
https://bugzilla.kernel.org/show_bug.cgi?id=16165
Вероятно тот же баг.
Стоит отмылиться Шишкину.
А можно посмотреть команды для тестирования?
> https://bugzilla.kernel.org/show_bug.cgi?id=16165
> Вероятно тот же баг.
> Стоит отмылиться Шишкину.
> А можно посмотреть команды для тестирования?Да какое там тестирование, мирно работал, никого не трогая:
# VBoxManage modifyhd --compact Debian6.vdi
# VBoxManage clonehd Debian6.vdi NewDebian6.vdiНу и потом, так как клонирование не прошло, попытался просто скопировать.
(см. скрины https://www.opennet.ru/openforum/vsluhforumID3/76117.html#37 )---
Пора переименовываться, в ShishFS =)
Вот Поляков сразу всех предупредил и назвал POHMELFS, так что если чё, извиняйте. :)
>Да какое там тестирование, мирно работал, никого не трогая:Это понятно, про тестовые команды спрашивал как об отдельном пункте. Интересно показатели в режиме Direct IO (иначе это несколько сферические показатели) . Еще интересно посмотреть на геометрию дисков, страйпинг, выронены ли фс по границе блоков.
А про багу выше - она проявлялась на новых ядрах в определенных режимах, как раз при работе Ext4/XFS на VirtualBox и оракловом RMAN. Там есть testcase. Если он воспроизводится - то это 100% она.
>>Да какое там тестирование, мирно работал, никого не трогая:
> Это понятно, про тестовые команды спрашивал как об отдельном пункте.# iozone -a -b /FS.xls -+u -p -B -e -E
> Интересно показатели в режиме Direct IO (иначе это несколько сферические показатели).
Прямой В/В будет равен скорости диска. У меня в районе 75-80 Мб/c
> Еще интересно посмотреть на геометрию дисков, страйпинг,
> выронены ли фс по границе блоков.Какой в попу страйпинг, выровненг, геометринг,....,
один и тот же раздел форматнутый разными ФС и всё, остальное оптимизация.> А про багу выше - она проявлялась на новых ядрах в определенных
> режимах, как раз при работе Ext4/XFS на VirtualBox и оракловом RMAN.
> Там есть testcase. Если он воспроизводится - то это 100% она.Бага на Reiser4 !!!
>Прямой В/В будет равен скорости диска. У меня в районе 75-80 Мб/cЭтот тест выполняется с параметром -I. Базы данных работают именно в режиме dio, и iozone интересен прежде всего как мерялка для производительности работы баз.
>Бага на Reiser4 !!!
Она кросфайловосистемная:). Ее сначала нашли только на ext4, потом выяснилось, что она есть и на XFS. На reiser скорее всего просто не проверяли. Еще раз говорю - там есть testcase. Если уж взялись за сравнение систем - можно попробовать сделать и что-нибудь полезное и проверить:).
> сравнение систем - можно попробовать сделать и что-нибудь полезное и проверить:).Да ну Вас, я только что узнал, что 10 минут назад кончилась пятница, а у меня всё четверг... :/
хотелось бы рейзер со сжатием lzo увидеть и btrfs с lzo и без
Пожелание на будущие - сделать тест ssd т.к. есть тенденция делать ssd системным и быстрым, а остальное хранилище - 7200 или 5400 винты
лучше FS тестировать на обычных винтах. на ssd слишком много логики в контроллере и разных аппаратных нюансов, которые не дадут сделать объективное сравнение.
Почему не дадут? По результатам тестирования можно будет понять годиться ФС для данного типа накопителя или нет. Вообще, в связи со спецификой флешнакопителей-ограниченность ресурса цикла записи на сектор, для них придумывают специальные ФС, которые уменьшают количество циклов записи.
Посмотрите например TRIM. Скорость записи на ssd зависит от очищенности блока страниц. Поэтому при повторным запуске теста/удалении записи файлов, результаты будут отличаться на случайную величину.> для них придумывают специальные ФС
это какие?
с точки зрения объёма данных reiser4 самая экономная из linux'овых, а период времени физической записи данных на диск у все fs настраиваемый.
Павлин, начал читать тред - потом смекнул, тут что-то не то.
Могу сказать, поставленную задачу ты решилуспешно! ;) (не все поняли в чем заключалась "соль")Что касается самих "спагетти" (как было сказано выше) - не всем понятна цель данного тестирования.
Проделано куча работы а вот результат пока что не очень пригоден для каких либо оценок.Для такого рода "сравнений" нужно определить ЦЕЛЬ тестирования.
Напимер:(как тут выражали мнение) "опустить конкретную фс".
или "оперделить самую быструю в мб/сек/%ЦПУ ФС".
Привести анализ существующих методологий оценки данных критериев.
Потом определить/разработать методологию сравнения в одном "весовом" поле.
Ну и самое важное, создать "равноценные условия" отработки синтетических тестов.
Что бы исключить влияние сторонних факторов.
И только потом проведя !!!многократную!!! прогонку тестов - свести результаты.
На выходе получишь "сырую" тему для научной работы. Если оформить все надлежащим образом можешь публиковаться в научных дайджестах.В общем, правильным путем идешь, товарисч.
> При монтировании, Reiser4 монтировался по умолчанию, EXT4 -
> "noatime,barrier=1,data=writeback", XFS -
> "noatime,nodiratime,logbufs=8,logbsize=256k".Опустим газету в серную кислоту, а журнал "ТВ-парк" в дистилированную воду...
> Опустим газету в серную кислоту, а журнал "ТВ-парк" в дистилированную воду...Чукча не читатель, чукча писатель: https://www.opennet.ru/openforum/vsluhforumID3/76117.html#8
