The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

04.02.2012 21:53  Оценка эффективности работы fsck на гигантских разделах XFS и Ext4

Представлены результаты оценки эффективности работы утилиты fsck при проверке файловых систем XFS и Ext4. Особенностью проведённых тестов является размер проверяемых данных - для каждой из ФС эксперименты проводились на разделе размером 72 Тб: DDN SFA10K-X из 590 дисков по 450 Гб, на базе которых создано 23 RAID-6 по 10 дисков в каждом, которые объединены в единый раздел при помощи mdadm. Для заполнения раздела на 50% использовалась утилита fs_mark, позволяющая сгенерировать структуру каталогов с наполненными случайными данными файлами (в разных тестах создано 100-400 млн файлов).

Результаты:

Размер ФС в Тб Число файлов (млн) Время выполнения "xfs_repair -v" для XFS (сек) Время выполнения "fsck -pfFt" для Ext4 (сек)
72
105
1629
3193
72
51
534
1811
72
10.2
161
972
38
105
710
3372
38
51
266
1358
38
10.2
131
470

Отдельно было проведено несколько дополнительных тестов для файловой системы XFS. На проверку 415 млн файлов на файловой системе XFS ушло более 3 часов. Выполнение fsck для раздела с фрагментированным наполнением из 105 тысяч файлов, созданных в результате 15 этапов наполнения, было затрачено около 11 минут. Проверка тех же 105 тысяч файлов, созданных только в директории первого уровня, заняла 27 минут.

  1. Главная ссылка к новости (http://www.enterprisestoragefo...)
Лицензия: CC-BY
Тип: английский / Практикум
Ключевые слова: xfs, ext4, fsck
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 22:09, 04/02/2012 [ответить] [смотреть все]
  • +1 +/
    > Ext4
    > 72 Тб

    это когда появилось?

     
     
  • 2.2, StreamThreader, 22:11, 04/02/2012 [^] [ответить] [смотреть все] [показать ветку]
  • +/
    А в чём проблема то?
     
     
  • 3.5, Аноним, 22:41, 04/02/2012 [^] [ответить] [смотреть все]
  • +/
    еще недавно было только 16
     
     
  • 4.6, pumainthailand.com, 22:57, 04/02/2012 [^] [ответить] [смотреть все]
  • +/
    ПО моему это было ограничение софта для создания разделов, а не самой файловой с... весь текст скрыт [показать]
     
     
  • 5.9, Аноним, 00:30, 05/02/2012 [^] [ответить] [смотреть все]  
  • +3 +/
    Именно так, mke2fs не умел создавать тома больше, но сама ФС вполне умела работа... весь текст скрыт [показать]
     
  • 2.8, Stax, 23:53, 04/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +4 +/
    В ноябре были выпущены e2fsprogs, в которых сделали создание систем 16 Тб - htt... весь текст скрыт [показать] [показать ветку]
     
  • 1.7, Anonus, 23:07, 04/02/2012 [ответить] [смотреть все]  
  • +2 +/
    лучше бы время fsmark показали
     
     
  • 2.14, anonymous, 09:04, 05/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    А в обсуждении скорости работы xfs Благородный Дон напишет лучше бы время fsck ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.32, Anonus, 01:37, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    нет
     
  • 1.10, pavlinux, 04:24, 05/02/2012 [ответить] [смотреть все]  
  • +3 +/
    > XFS -- rw,noatime,attr2,nobarrier,inode64,noquota

    Пля, сто тыщь мильонов раз говорил, для attr2 надо специально готовить FS,
    просто /sbin/mkfs.xfs -f /dev/md1 - толку НОЛЬ.
    Могли бы ещё больше разогнать, добавив хотябы mkfs.xfs –i attr=2

    А правильные sunit и swidth вообще творят чудеса.

    ---
    Да и без барьеров это не файловая система, это файловая помойка.

     
     
  • 2.13, John, 08:51, 05/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Какие барьеры на software RAID ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.17, all_glory_to_the_hypnotoad, 12:35, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    такие же как и везде
     
     
  • 4.20, Аноним, 14:58, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    На чём-то сложнее зеркала барьеры не работают.
     
     
  • 5.22, pavlinux, 15:47, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Работают, тока они нафиг не нужны Видимо данные не совсем крытичные ... весь текст скрыт [показать]
     
     
  • 6.41, Andrew Kolchoogin, 18:41, 06/02/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Барьеры вообще не нужны Должен быть RAID-контроллер с BBU Если его нет -- знач... весь текст скрыт [показать]
     
     
  • 7.45, all_glory_to_the_hypnotoad, 22:04, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    если данные действительно важные, то на контроллере выключают кеш на запись и ис... весь текст скрыт [показать]
     
  • 2.21, Аноним, 15:46, 05/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    А разве они автоматом не определяются ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.23, pavlinux, 15:49, 05/02/2012 [^] [ответить] [смотреть все]  
  • –1 +/
    Неа Unix way ... весь текст скрыт [показать]
     
     
  • 4.25, ананим, 16:40, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    это ты зря.
    xfs сейчас в автомате очень не плохо создаётся.
     
     
  • 5.42, Аноним, 21:44, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    И откуда он должен узнать удобный для рэйда кусок Рэйдов и их метаданных в прир... весь текст скрыт [показать]
     
     
  • 6.47, ананим, 02:51, 08/02/2012 [^] [ответить] [смотреть все]  
  • +/
    и что ... весь текст скрыт [показать]
     
  • 1.11, Аноним, 07:13, 05/02/2012 [ответить] [смотреть все]  
  • +/
    Забыли указать сколько оно памяти жрет в процессе У меня fsck xfs на 20ТБ выжра... весь текст скрыт [показать]
     
     
  • 2.12, phaoost, 08:03, 05/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    это где ж ей столко памяти найти
     
     
  • 3.15, Аноним, 09:48, 05/02/2012 [^] [ответить] [смотреть все]  
  • +3 +/
    Где-нить рядышком на соседнем НЖМД?
     
  • 3.18, all_glory_to_the_hypnotoad, 12:36, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    нашёл 20 тб хранилище, найдёшь и столько памяти Для сервера размеры вполне типи... весь текст скрыт [показать]
     
     
  • 4.19, Аноним, 12:57, 05/02/2012 [^] [ответить] [смотреть все]  
  • –1 +/
    Для сервера чего? Мордокниги? :D:D:D
     
  • 4.24, Stax, 16:23, 05/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Ога, да Вот у меня домашнее хранилище df -h mnt storage Файловая система Р... весь текст скрыт [показать]
     
     
  • 5.26, Аноним, 16:48, 05/02/2012 [^] [ответить] [смотреть все]  
  • +2 +/
    Позвольте узнать, сколько это ваше счастье-то жрет По самым скромным оценкам, д... весь текст скрыт [показать]
     
     
  • 6.27, ананим, 16:54, 05/02/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    это потому что фс некоторые выбирают для понтов, а не для работы поэтому как бы... весь текст скрыт [показать]
     
  • 6.31, Stax, 00:38, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Эээ расскажите, как оценивали Сейчас 16 гигабайт памяти, они почти все чисто ... весь текст скрыт [показать]
     
     
  • 7.34, Аноним, 03:35, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    По опыту попыток применения на продакшенах Разумеется, при тестировании мы отню... весь текст скрыт [показать]
     
  • 5.33, all_glory_to_the_hypnotoad, 02:11, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Конкретно в этом юз кейсе вы себе придумываете проблему из воздуха Во-первых, д... весь текст скрыт [показать]
     
  • 1.16, Аноним, 09:51, 05/02/2012 [ответить] [смотреть все]  
  • +/
    32 Гига ОЗУ не хватило. Пришлось экстренно создавать файл подкачки.
     
     
  • 2.43, Аноним, 21:46, 06/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    > 32 Гига ОЗУ не хватило.

    А сколько диск был? :)

     
  • 1.30, metallic, 21:31, 05/02/2012 [ответить] [смотреть все]  
  • +/
    У меня аналогичный конфиг, 90ТБ на XFS (192 диска по 600ГБ, 12 RAID6 по 16 дисков, объединены LVM в страйп)
     
     
  • 2.35, Аноним, 03:37, 06/02/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    В страйп или просто в линейную группу ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.36, metallic, 10:28, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Именно в страйп, в линейной группе не будет прироста производительности.
     
     
  • 4.37, all_glory_to_the_hypnotoad, 11:01, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    на xfs будет. Правда, смотря как её измерять.
     
     
  • 5.38, metallic, 11:02, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    > на xfs будет. Правда, смотря как её измерять.

    За счет чего? ХФС не последовательно заполняет раздел?

     
     
  • 6.39, all_glory_to_the_hypnotoad, 13:26, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    нет. XFS сделана для многопоточной записи. Несколько потоков будут писаться в разные AG, но не факт что на разные носители. И со временем ФС "дефрагментируется", вероятность того, что используемые файлы в текущий момент окажутся на одном носителе не велика. От этого есть профит если юзать её на высоконагруженном сервере и с большим заполнением тома (порядка 50 % и выше)
     
     
  • 7.40, metallic, 13:27, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    > нет. XFS сделана для многопоточной записи. Несколько потоков будут писаться в разные
    > AG, но не факт что на разные носители. И со временем
    > ФС "дефрагментируется", вероятность того, что используемые файлы в текущий момент окажутся
    > на одном носителе не велика. От этого есть профит если юзать
    > её на высоконагруженном сервере и с большим заполнением тома (порядка 50
    > % и выше)

    Т.е. при использовании страйпа я потеряю производительность после того, как том заполнится на >50% ?

     
     
  • 8.46, all_glory_to_the_hypnotoad, 22:18, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    нет, выше речь о другом - "страйпить" данные по объёму диска может и сама ФС, не обязательно делать для этого страйп. Но XFS "страйпить" будет если одновременно писать на диск из нескольких приложений в разные файлы.

    50 процентов условная цифра, просто означает некую меру высокой утилизации дискового пр-ва. Когда диск фрагментирован, то хочешь этого или нет, ФС приходится разбрасывать данные по всему диску, т.е. попадать они будут почти наверное на разные физические носители и без страйпа.

    Потеряет страйп производительность или нет скорее зависит от того, как ФС умеет предугадывать выделение дискового пр-ва при записи (см. delayed allocation  и allocsize у xfs)

     
  • 6.44, Аноним, 21:47, 06/02/2012 [^] [ответить] [смотреть все]  
  • +/
    Allocation groups же ... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor