The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Руководство по тюнингу файловых систем Linux для Flash-накоп..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от opennews (??) on 03-Июл-13, 10:43 
Тим Берд (Tim Bird), инженер компании Sony и участник группы разработки встраиваемых систем в Linux Foundation, опубликовал (http://permalink.gmane.org/gmane.linux.embedded.celinux.deve...) подробное руководство (PDF (http://elinux.org/images/b/b6/EMMC-SSD_File_System_Tuning_Me...), 550 Мб) по тюнингу производительности файловых систем Ext4, Btrfs и F2FS (http://www.opennet.ru/opennews/art.shtml?num=35667) с учётом выбора планировщиков ввода/вывода, для достижения оптимальной производительности на накопителях eMMC/SSD. В статье досконально проанализированы доступные опции и представлены тесты производительности, демонстрирующие эффект, достигнутый при использовании каждой опции.


В частности, изучен эффект от монтирования с такими опциями, как "mount -o noatime", "mount -o discard", "tune2fs -O ^has_journal", "mount -o data=writeback", "mount -o nobarrier", "mount -o stripe=, mkfs -E stripe-width=", "mount -o ssd", "mount -o ssd_spread". Оценено влияние выбора планировщиков ввода/вывода noop, deadline, cfq, row. В итоге, правильный выбор планировщика и опций монтирования позволил увеличить производительность при выполнении некоторых тестов от 20% до 400%.


При этом универсального набора опций не найдено, для каждого типа носителя и типа нагрузки эффективным оказывался свой вариант тюнинга. При однотипной нагрузке (только чтение или только запись) влияние опций оптимизации и типа планировщка менее заметно, чем при смешанном характере нагрузки. В общем виде скорость чтения в основном упирается в пропускную способность накопителя. На скорость операций случайной записи положительно влияет размер кэша ФС.


Среди общих наблюдений: ФС Btrfs демонстрировала заметный рост производительности при включении режима SSD для накопителей с поддержкой операции TRIM. Оптимальная производительность Ext4 достигается при ипользовании опций noatime и nojournal в сочетании с планировщиком CFQ. Для Ext4 также наблюдается небольшой рост производительности при использовании на накопителях eMMC, даже без поддержки TRIM,  при включенной опции discard. F2FS работает отлично при использовании настроек по умолчанию и при включении noatime. Наилучшие показатели продемонстрировал планировщик CFQ, от которого немного отстал ROW.

<center><img src="http://www.opennet.ru/opennews/pics_base/0_1372832216.png" style="border-style: solid; border-color: #606060; border-width: 1px;" title="" border=0></center>


URL: http://permalink.gmane.org/gmane.linux.embedded.celinux.deve...
Новость: http://www.opennet.ru/opennews/art.shtml?num=37339

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

1. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 10:43 
Кто же в итоге выиграл при максимальных нагрузках на SSD?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Анонимус_б6 on 03-Июл-13, 10:57 
почему CFQ? NOOP вроде же позиционировался, как планировщик, который все операции возлагает на контроллер как раз ССД, потому что тот сам знает, как лучше, э?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Zenitur (ok) on 03-Июл-13, 10:59 
Ну а для обычных флешек, которые вставляются в USB, какие настройки оптимальны? Я знаю только про nojournal.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 11:15 
Для обычных флэшек вааще не нужна журналируемая ФС, туда можно ext2 если по каким-то причинам фат не устраивает.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

7. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 11:35 
XFS у меня первое же выключение питания не пережила.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –16 +/
Сообщение от deadless (ok) on 03-Июл-13, 11:51 
в линуксе все обычно туева хуча файловых систем и большинство из них шустрые как истребитель, но ломучие как жидули. ext4 победил потому что затестирован по самые помидоры. вот теперь мне интересно какой линуксоид в здравом уме ставит что-то отличное от ext4 без журнала? ну и смысл от этой кучи ФС если все они чуть более чем экспериментальные? джаст фор фан такой джаст фор фан :))
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 12:02 
Да, было дело. бтрфсцк умеет только падать на ассертах при ошибках фс, больше нихрена не умеет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 12:18 
> почему CFQ? NOOP вроде же позиционировался, как планировщик, который все операции возлагает
> на контроллер как раз ССД, потому что тот сам знает, как
> лучше, э?

Видать CFQ умнее оказался :-)

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

15. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:18 
Этой осенью будет получше, поток больших изменений иссяк, давно уже не слышно победных заявлений о небывалом могуществе, значит начали разбираться с ошибками. Но вообще это провал конечно, с учетом такой поддержки как от Линуса "это будет главная мейнстрим файловая система, а пока перетерпим на ext4" -цать лет назад, а воз и ныне там. Не осилили.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Buy (ok) on 03-Июл-13, 12:19 
А что reiser4?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:23 
На HDD - ReiserFS v3.6 over LVM, на USB флешки - Ext2.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

20. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:28 
> Для обычных флэшек вааще не нужна журналируемая ФС, туда можно ext2 если
> по каким-то причинам фат не устраивает.

Есть же какая-то JFFS2, специально для флешек. Во всяком случае, внезапное выключение, если ОС загружена с Ext2-флешки может привести к печальным последствиям.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

21. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:31 
> Ну а для обычных флешек, которые вставляются в USB, какие настройки оптимальны?
> Я знаю только про nojournal.

Целиком зависит от того, как собираешься использовать. Если не как ОС, посмотри ещё на noatime|realatime, nodiratime, sync|async. Если просто как обычную флешку и поддержка оффтопика не нужна - обычная Ext2 с настройками по дефолту.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

23. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:34 
Ext2 туда, где критичны циклы чтения/записи, при особых случаях - ФС для того предназначенные. А на десктопе - да, только Ext4 и имеет смысл использовать (ну может быть когда-нибудь это будет Btrfs, хотя вряд ли...).
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

26. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 12:49 
Видимо f2fs (создавалась из расчёта на флешки/ссд, можно сразу использовать с настройками по умолчанию), только из-коробки её сейчас нигде нет :(
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

27. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –3 +/
Сообщение от none_first (ok) on 03-Июл-13, 12:59 
смысл в задачах и фичах...
в бтрфс пилят модные фичи (хотя - странным образом, читайте Шишкина http://habrahabr.ru/post/108629/)
extX - поддерживают преемственность прошлых версий и "достаточную" производительность
xfs - мультимедийные данные...
reiserfs - интересная архитектура

ато как в мире виндовс - для всего одна Фс (ну две с половиной, если не только десктопы/сервера, трупик ФАТ и экстФС) и для всего она так-себе, заявленные показатели м.б. не имплементированы (в тек. реинкарнации виндовс) ну т.п.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

28. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от none_first (ok) on 03-Июл-13, 13:02 
> А что reiser4?

http://habrahabr.ru/post/108629

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

29. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 13:12 
> в бтрфс пилят модные фичи (хотя - странным образом, читайте Шишкина http://habrahabr.ru/post/108629/)
> extX - поддерживают преемственность прошлых версий и "достаточную" производительность

С ними всё ясно.

> xfs - мультимедийные данные...

А чем оно лучше ext для этой цели?

> reiserfs - интересная архитектура

И что оно даёт? Какие конкретно "интересности"?

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

33. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 03-Июл-13, 13:55 
У вас какие-то проблемы с жёстким диском, видимо он не корректно реализует команду FLUSH или ошибка в ядре которое у вас установленно. У меня на файлопомойке XFS поверх LVM, torrent пишет, неожиданные выключения питания несколько раз в месяц несколько лет, проблем нет.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

34. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним2 on 03-Июл-13, 13:57 
Значит я правильно сделал, что у меня ext4. Как раз устойчивость к внезапным отключениям ключевой параметр.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 14:01 
>> xfs - мультимедийные данные...
> А чем оно лучше ext для этой цели?

Если у вас один процессор или домашняя дисковая подсистема то скорее всего ничем, если же у вас несколько процессоров и дисковая подсистема позволяет то у XFS скорость операций растёт практически линейно с увеличением процессоров. ext4 пока только приближается к этим показателям.

>> reiserfs - интересная архитектура
> И что оно даёт? Какие конкретно "интересности"?

tail pack например

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

36. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 14:07 
> до вывода fsck предупреждения о появлении автоматически невосстановимой ошибки было произведено 1406 циклов выключений питания

А почему это вообще произошло? Разве журнал не предназначен как раз что бы такого не происходило?

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

38. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 14:20 
> Видимо f2fs (создавалась из расчёта на флешки/ссд, можно сразу использовать с настройками
> по умолчанию), только из-коробки её сейчас нигде нет :(

На свежих линуксах разве не?
Другое дело, что дохнет она быстро. Вот это действительно проблема.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

40. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 14:24 
> в линуксе все обычно туева хуча файловых систем и большинство из них
> шустрые как истребитель, но ломучие как жидули. ext4 победил потому что
> затестирован по самые помидоры. вот теперь мне интересно какой линуксоид в
> здравом уме ставит что-то отличное от ext4 без журнала? ну и
> смысл от этой кучи ФС если все они чуть более чем
> экспериментальные? джаст фор фан такой джаст фор фан :))

В некоторых ОС подобная экспериментальная ФС является практически единственным вариантом (NTFS в винде, ZFS в соляре).

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

41. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 14:25 
> А что reiser4?

Она утонула©

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

42. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 14:27 
> Видать CFQ умнее оказался :-)

Все равно хомячки-оптимизаторы будут жрать BFQ, потому что модно и молодежно.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

43. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от andy (??) on 03-Июл-13, 14:40 
>  ну и смысл от этой кучи ФС если все они чуть более чем
> экспериментальные? джаст фор фан такой джаст фор фан :))

Поведайте нам, что там у энтерпрайза используется?

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

44. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Zenitur (ok) on 03-Июл-13, 14:51 
У меня система потом делала проверку и загружалась. Но файлы пару раз терялись, к счастью ненужные.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

45. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 03-Июл-13, 14:57 
Победила "Дружба" - пробурчал дровосек...

В смысле, с результатами дело ясное что дело темное: в зависимости от условий, типа нагрузки и опций результаты варьируются. И однозначный победитель не определяется. Что еще веселее у разных носителей разные алгоритмы и они по разному накладываются на разные ФС.

Так что единственный вывод - носители могут быть достаточно индивидуальны и единый рецепт вообще отсутствует.

Ах да, и они в основном уделили внимание SD картам на эмбеднутых девайсах. Так что SSD вообще отдельный ворос.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

46. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 15:00 
> почему CFQ? NOOP вроде же позиционировался, как планировщик, который все операции
> возлагает на контроллер как раз ССД, потому что тот сам знает, как лучше, э?

Обратите внимание: при большом размере кэша тип шедулера пофигу. При малом - уже не совсем.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

47. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 15:01 
> Для обычных флэшек вааще не нужна журналируемая ФС,

Ага, а потом выдернешь флешку на горячую необдуманно и потом полчаса fsck гонять. Или на выбор вас посетит внезапное западло в наименее подходящий момент.

Кстати идея: область FAT на флешках подразумевает частые апдейты и прочая и поэтому некоторыми носителями обрабатывается специально. Можно попробовать журнал упхать ровно по этой области.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

48. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 15:02 
> XFS у меня первое же выключение питания не пережила.

А это в какой версии ядра и при каких условиях? А то у меня пачка томов в XFS не в курсе такого безобразия.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

49. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +3 +/
Сообщение от Аноним (??) on 03-Июл-13, 15:07 
это другое
Ответить | Правка | ^ к родителю #42 | Наверх | Cообщить модератору

50. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 15:08 
> экспериментальные? джаст фор фан такой джаст фор фан :))

Действительно, намного лучше как в фряхе: тормозной и ынтырпрайзный ZFS, который на SD-карте больше похож на пудовую гирю подвешенную к воробью, и древний и тормозной UFS у которого оптимизации под флеш вообще отсутствуют.

Вот это я понимаю - забойный ассортимент: под озвученную задачу вообще нормальных ФС не обнаружено, зато на линуксоидов потявкали. Бсдшники в диком виде, чо.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

51. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –2 +/
Сообщение от Аноним email(??) on 03-Июл-13, 15:08 
> А чем оно лучше ext для этой цели?

Быстрей практически во всех отношениях. Единственное где может проиграть - удаление каталогов со 100000 файлов.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

52. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 15:11 
> "это будет главная мейнстрим файловая система, а пока перетерпим на ext4"
> -цать лет назад, а воз и ныне там.

А что - не осилили? Там баги более-менее поотлавливали - начались оптимизации и донаворачивание фич типа raid5/6. А то что никто попы не рвет отчаянно -

> Не осилили.

Вы так говорите, как будто вышла финальная версия линуха, завтра наступает конец света, так что уже можно подвести окончательные итоги.

Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

53. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 15:12 
> У меня система потом делала проверку и загружалась. Но файлы пару раз
> терялись, к счастью ненужные.

А я нужные терял. Так что лучше не рисковать.

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

54. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним email(??) on 03-Июл-13, 15:15 
> xfs - мультимедийные данные...

А как она их отличает от не мультимедийных данных...

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

55. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 03-Июл-13, 15:16 
>> до вывода fsck предупреждения о появлении автоматически невосстановимой ошибки было произведено 1406 циклов выключений питания
> А почему это вообще произошло? Разве журнал не предназначен как раз что
> бы такого не происходило?

Давайте на вас оденем шлем и ударим 1406 раз по стене. Упали в обморок? Интересно, почему - шлем как раз предназначен, чтобы этого не происходило.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

56. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 15:17 
Наденем, конечно. *бьёт себя учебником русского языка по голове.*
Ответить | Правка | ^ к родителю #55 | Наверх | Cообщить модератору

58. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 03-Июл-13, 15:50 
в истории ревизий документа: M. Filippov, K. Kozhevnikov, D. Semyonov
в контактах: max.filippov и artemi.ivanov

такой прямо Тим Бёрд :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

61. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от kamiram email on 03-Июл-13, 16:31 
глубоко в теории нужные и не потеряются. пропасть могут тока свежие( в теории)
конкретно убить мне удавалось почемута только xfs.
reiser тоже както раз подсдох но вылечился часа за 2 с полной перестройкой дерева.
Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

62. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от anonymous (??) on 03-Июл-13, 17:13 
Старательно обошли случайное чтение-запись из одного файла (база данных, нагруженная одна таблица) в несколько потоков.

Внезапно при этом получается что CFQ + ext* = запись в один поток и цифры не такие красивые.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

63. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 17:26 
Только из-за этого поста скачал-таки пдфку
Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

64. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –2 +/
Сообщение от Аноним (??) on 03-Июл-13, 17:44 
> tail pack например

Нынче подобные  по смыслу фокусы, как минимум, хранение мелких файлов прямо в метаданных - умеют как минимум EXT4 и btrfs.

А еще вы забилы уточнить пару моментов:
1) Этот самый tail pack в рейзере - известный источник проблем. Что вам тот гражданин сделал что вы ему заведомо грабельную фичу сватаете?
2) У рейзера 3.х плохие утилиты восстановления (fsck) которые временами окончательно добивают том совсем вместо его починки.
3) А рейзер 4, у которого интересная архитектура - вообще сырой недопилок с непонятными перспективами. Работает над ним целый Шишкин. А работы там - как на пять btrfs'ов, если по нормальному делать то что задумано. Ну в общем лет через 500 такими темпами может что и получится.

И главное: никогда не читайте мнение автора о его собственной программе и наиболее очевидных конкурентах. Это почти всегда заведомо необъективный буллшит. У конкурентов всегда оказывается масса недостатков, ну а свое - оно как известно не пахнет...

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

65. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 18:01 
> Быстрей практически во всех отношениях.

Да хрен там. Только при работе с мелочью и не во всех операциях. На больших файлах рулит XFS, особенно в многодисковых конфигах. А EXT4 - просто достаточно резвый и труднораздалбываемый, умеет discard (для SSD актуально). F2FS - предсказуемо надирает попы на флеше. Но пока сыроват (только выкатили же) и fsck нету.

Ответить | Правка | ^ к родителю #51 | Наверх | Cообщить модератору

67. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 03-Июл-13, 18:22 
Что сразу "утонула"?! Вы нас недооцениваете - мы любим разнообразие! http://www.youtube.com/watch?v=9jQ_tPm0J2E

У Шишкина впрочем таких катастрофических отказов обычно не случается - все заранее прикидывают перспективы иметь дело с сложным но категорически недоделанным экспонатом и заранее догадываются чем это закончится. Поэтому обчно запуск сразу ссут проводить. Без масс-дестроя пользовательских данных.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

68. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 18:23 
> внезапным отключениям ключевой параметр.

Если у вас так часто слетает питание - не лишне UPS купить. На файловую систему надейся, а сам не плошай.

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

69. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +4 +/
Сообщение от Аноним (??) on 03-Июл-13, 18:24 
> *бьёт себя учебником русского языка по голове.*

А шлем надели? :)

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

70. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 18:28 
> терялись, к счастью ненужные.

А еще бывает что надо тебе на флешку записать файло. Вот прям ща. А тебе и говорят: "отдыхайте, сегодня работать не будем!" (read-only file system).

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

71. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 18:30 
> На свежих линуксах разве не?

Да, на свежих ядрах оно есть. Но...

> Другое дело, что дохнет она быстро. Вот это действительно проблема.

Дело даже не в том что дохнет, дело в том что fsck нету. Так что потом еще и корректность  проверять нечем. А вот это уже совсем проблема, да.

Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

72. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 18:31 
> Нынче подобные  по смыслу фокусы, как минимум, хранение мелких файлов прямо
> в метаданных - умеют как минимум EXT4 и btrfs.

Хранить данные в метаданных - это агли хак.


> 1) Этот самый tail pack в рейзере - известный источник проблем.

сам ты источник проблемы


> 2) У рейзера 3.х плохие утилиты восстановления (fsck) которые временами окончательно добивают том совсем вместо его починки.

Покажи хоть один багрепорт в листе рассылки за последние пять лет, балаболка


> И главное: никогда не читайте мнение автора о его собственной программе и
> наиболее очевидных конкурентах. Это почти всегда заведомо необъективный буллшит. У конкурентов

Булшит - это в Btrfs вместо B-деревьев, что и было показано на популярном языке.

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

73. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 03-Июл-13, 18:41 
>Вы так говорите, как будто вышла финальная версия линуха, завтра наступает конец света, так что уже можно подвести окончательные итоги.

да уже года 4 пхороникс победные графики бенчмарков рисует, пора уже.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

74. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним email(??) on 03-Июл-13, 18:45 
XFS также "discard (для SSD актуально)"
Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

75. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +4 +/
Сообщение от pavlinux (ok) on 03-Июл-13, 19:00 
> В общем виде скорость чтения в основном упирается в пропускную способность накопителя.

Спасибо Кэп! :D

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

76. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от pavlinux (ok) on 03-Июл-13, 19:07 
>> xfs - мультимедийные данные...
> А как она их отличает от не мультимедийных данных...

Он имел ввиду дампы блюреев, матроски, RAW поток FullHD-TV со спутника.

XFS ваще няшка, 15-терабайтный файлик за 5 сек. удаляет. :)


Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

77. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Fomalhaut on 03-Июл-13, 19:07 
> В некоторых ОС подобная экспериментальная ФС является практически единственным вариантом (NTFS в винде, ZFS в соляре)

Чем же ZFS экспериментален? Тем более - в Солярке? O_o
Даже во Фряху уже вполне юзабельна и уверенно чувствует себя.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

78. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от pavlinux (ok) on 03-Июл-13, 19:16 
> Старательно обошли случайное чтение-запись из одного файла (база данных, нагруженная одна таблица) в несколько потоков.

База, многопотоков, на NOR/NAND-флеше? Заголовок темы, а лучше PDF-ку читал?

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

79. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Ordu email(ok) on 03-Июл-13, 19:31 
> Булшит - это в Btrfs вместо B-деревьев, что и было показано на популярном языке.

На мой взгляд, он перестарался с популяризацией. Популяризация хороша тогда, когда простыми словами объясняет сложные вещи, но когда всё сводится к "btrfs говно и не лечится, а я умная в белом пальто стою красивая",  немного пересыпается поцреотизмом и академическим ЧСВ, то это уже, извините, не популяризация, а речь политика. Ну или, если хотите, популяризация для быдла.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

80. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 19:44 
> Он имел ввиду

что XFS хорошо работает с "большими" файлами и не очень хорошо с мелкими. Эта мысль прививается всем? Cколько лет XFS и какие тогда файлы назывались "большие". Как она с ними управлялась ума не приложу.

Ответить | Правка | ^ к родителю #76 | Наверх | Cообщить модератору

81. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от none_first (ok) on 03-Июл-13, 20:10 
анонимные вопросы... - кто они :)
http://oss.sgi.com/projects/xfs/
читать ограничения и сравнивать с др. (реализациями, замечу, а не теорией)
Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

82. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от none_first (ok) on 03-Июл-13, 20:15 
>> xfs - мультимедийные данные...
> А как она их отличает от не мультимедийных данных...

она их не отличает, для дифференциации существует некий посредник, с элементами разума :)

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

83. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –2 +/
Сообщение от BratSinot (ok) on 03-Июл-13, 22:05 
> Наилучшие показатели продемонстрировал планировщик CFQ

Без BFQ/BFQ+EQM не интересно.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

84. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Anonymous1 on 03-Июл-13, 22:43 
Главная проблема райзера - не более 1024 буферов чтения/записи, в результате чего запись больших файлов медленная.
Для XFS одна из главных фич (на мой взгляд) - agsize=4g, что позволяет писать (разные и большие) файлы в столько потоков, сколько ядер у проца (Numa-oriented, естественно, а не Интеловские кеш-на-два-ядра извраты).
Плюс райзера - быстро пишет много мелких файлов. На мой взгляд, единственный.  


Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

85. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от iWLCkhBrBeDTGA on 03-Июл-13, 22:44 
Шишкин во многом неправ.
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

86. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +3 +/
Сообщение от pavlinux (ok) on 03-Июл-13, 23:35 
> Поведайте нам, что там у энтерпрайза используется?

Очевидно же - Enterprise File System

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

87. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 03-Июл-13, 23:54 
> пропасть могут тока свежие( в теории)

"Свежий файл" - это, например, директория которая была перезаписана из-за добавления ненужных файлов. В итоге при безопасных на первый взгляд операциях может потеряться всё её содержимое.

Ответить | Правка | ^ к родителю #61 | Наверх | Cообщить модератору

88. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 03-Июл-13, 23:58 
Лубунта 12.10. Что самое интересное, у меня на HDD с deadline всё вешалось при копировании/перемещении больших файлов. Сменил на cfq - стало значительно лучше, хотя загрузка проца всё равно до 30% временами подпрыгивает. На Хабре читал, что всё должно быть как раз наоборот. И ложка дёгтя: на винде эти операции у меня вообще проц не грузят.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

89. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –2 +/
Сообщение от Аноним (??) on 04-Июл-13, 00:00 
> Действительно, намного лучше как в фряхе: тормозной и ынтырпрайзный ZFS, который на
> SD-карте больше похож на пудовую гирю подвешенную к воробью, и древний
> и тормозной UFS у которого оптимизации под флеш вообще отсутствуют.

trim есть, 4k есть. Назови остальные "оптимизации под флеш" которые знаешь.

Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

90. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 01:55 
> И ложка дёгтя: на винде эти операции у меня вообще проц не грузят.

А теперь запусти дефрагментацию.
И почувствуй разницу.

Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

91. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 01:56 
> Без BFQ/BFQ+EQM не интересно.

С ним и так все ясно (http://www.linux.org.ru/forum/general/9312470 например).

Ответить | Правка | ^ к родителю #83 | Наверх | Cообщить модератору

92. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Anonymous1 on 04-Июл-13, 02:01 
> Лубунта 12.10. Что самое интересное, у меня на HDD с deadline всё
> вешалось при копировании/перемещении больших файлов. Сменил на cfq - стало значительно
> лучше, хотя загрузка проца всё равно до 30% временами подпрыгивает. На
> Хабре читал, что всё должно быть как раз наоборот. И ложка
> дёгтя: на винде эти операции у меня вообще проц не грузят.

Если этот HDD в NTFS отформатирован, и через fuse подключен, то это просто очевидно, и нисколько не интересно...
А если нет, то спрашивается - а это копирование/перемещение вообще там (на винде) производятся в реале, или откладываются на потом? Прооверить просто - вызвать диалог безопасного извлечения флешки/диска, когда Винда скажет (сделает вид?), что все, запись большого файла закончена... Или не о внешнем (USB) диске речь идет, а о штатно подключенном?

Еще один момент - в Лубунте (и не только) из-под иксов, по-моему, все флешки/внешние USB диски чере fuse монтируются, что изрядно доставляет... Как вариант, попробуйте хоть в окне консоли смотировать флешку через sudo mount, или что там у Вас (типа из-под рута), и сравните скорость копирования. Заодно, может, и вешаться с deadline перестанет...  


Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

93. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 03:07 
Вы оба о чём-то о своём (слышите голоса?) В принципе, это был больше вопрос, чем вброс, но вы увидели только слово "винда". ЛГМ прогрессирует, пора к доктору.
Ответить | Правка | ^ к родителю #92 | Наверх | Cообщить модератору

94. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 04-Июл-13, 06:41 
> А это в какой версии ядра и при каких условиях? А то
> у меня пачка томов в XFS не в курсе такого безобразия.

Внезапно вырубилось электричество. UPS не было. После включения электричества машина не загрузилась. Пришлось делать xfs_repair, после него убились несколько тысяч файлов.
Ядро было какое-то из третьей ветки, 3.2, что ли.

Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

95. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 04-Июл-13, 06:59 
> Если у вас так часто слетает питание - не лишне UPS купить.
> На файловую систему надейся, а сам не плошай.

Моя практика показывает, что не все UPS одинаково полезны.

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

96. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 13:43 
> Внезапно вырубилось электричество. UPS не было.

В целом у меня несколько томов с XFS в течение сколькиъ-то лет (начиная с 2.6.28) пережили серию негуманных экспериментов. Тут и внезапные слеты питания когда в упсе батарейка сдохла, и несколько весьма жестких локапов в процессе системных экспериментов, и чего там еще. Да еще и дисковый буфер огромный (16Гб оперативы на борту).

> загрузилась. Пришлось делать xfs_repair, после него убились несколько тысяч файлов.

Ого. Как-то много. Может у вас оборудование врет насчет сброса кэша и/или барьеры не работают?

> Ядро было какое-то из третьей ветки, 3.2, что ли.

Странно. В том плане что я за эн лет сделал немало потенциально проблемных операций а XFS не факапнулся ни разу. Правда под систему я его не пользую, только под большие файлы данных.

Ответить | Правка | ^ к родителю #94 | Наверх | Cообщить модератору

97. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –5 +/
Сообщение от iZEN (ok) on 04-Июл-13, 13:54 
> Оптимальная производительность Ext4 достигается при ипользовании опций noatime и nojournal
> работает отлично при использовании настроек по умолчанию и при включении noatime.

Вывод? Опцию noatime для ФС нужно сделать дефолтной и занести в стандарт POSIX!

> В связи с этим авторы исследования не рекомендуют использовать Btrfs и F2FS в конфигурациях с ненадёжным питанием.

Кто бы сомневался. "Классика" "семёрка" — ваше всё. :))

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

98. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от iZEN (ok) on 04-Июл-13, 13:56 
"Устриц не ел, но мнение имею...". :D
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

99. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 04-Июл-13, 14:05 
> Хранить данные в метаданных - это агли хак.

Да нормально - если файл мелкий, сразу же и прочитается. Механике меньше дергать головы, да и NAND поимеет некий профит, т.к. ему наиболее удобно читать последовательно и желательно побольше. Так что если удастся странсформировать 2 мелких чтения/записи в 1 покрупнее - это замечательно.

>> 1) Этот самый tail pack в рейзере - известный источник проблем.
> сам ты источник проблемы

Достаточно скормить гугле нечто типа reiser tail pack и узнать много нового и интересного :).

Хотя если уж мы о проблемах - рейзер вообще источник проблем. У авторов aMule например рейзер целиком все данные на серванте потерял после fsck.

>> 2) У рейзера 3.х плохие утилиты восстановления (fsck) которые временами окончательно
>> добивают том совсем вместо его починки.
> Покажи хоть один багрепорт в листе рассылки за последние пять лет, балаболка

А нет смысла репортить - как минмум 1 ситуация такого плана объявлена "known issue".

Описанная ситуация в которой это возможно: если на томе отформаченом в рейзер лежит образ диска, и так получилось что он тоже был с рейзером - fsck рейзера очень даже может взять дерево из образа и попробовать "починить" на основе этих данных несущий том. Результатом станет полный дестрой, разумеется. Разработчики рейзера на это скзали "known issue" и предложили воркэраунд - "не храните образа диска с reiserss на томе reiserfs". Что, конечно, замечательно, но риск факапов полностью не отменяет. Сколько там еще поодбных ситуаций - понятия не имею. Вот эта точно есть - это сами же разработчики рейзера и описали как известную проблему.

А то что багрепортов мало - посмотрите что в основном использует народ. Там и багрепорты, собственно. Не потому что EXT4 бажный, а потому что повсеместный :).

> Булшит - это в Btrfs вместо B-деревьев, что и было показано на популярном языке.

Булшит - это в основном статьи Шишкина. Себе он сделал фантастического размера скидки, зато к btrfs докопался что в синтетических случаях, дескать, может быть так и сяк. Тем не менее, пусть он сначала попробует столько же возможностей  реализовать, чтоб оно при этом не глюкало постоянно. А я потом тоже найду к чему докопаться :). Благо, при должном желании свалить на лопатки можно любую ФС.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

100. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 14:07 
> XFS также "discard (для SSD актуально)"

Зато он с мелочью работает плоховато. Его конек - быстрая работа с большими файлами. SGI - это ж были рабочие станции для видеомонтажа и тому подобного. Ну вот что-то такое для XFS'а и хорошо.

Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

101. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 14:09 
> А как она их отличает от не мультимедийных данных...

По размеру. XFS неважно работает с мелочевкой в больших количествах, но на больших файлах - очень шустр.

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

102. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 14:11 
> что XFS хорошо работает с "большими" файлами и не очень хорошо с
> мелкими. Эта мысль прививается всем? Cколько лет XFS и какие тогда
> файлы назывались "большие". Как она с ними управлялась ума не приложу.

Дело не в том. Дело в том что если вы захотите перелопатить 100 000 файлов, на куче мелочи основное время будет работа с метаданными. А на больших файлах - с данными. Вот с метаданными XFS работает неспешно в ряде ситуаций. Так что в результате работа с иерархией из кучи мелочи будет тормознее чем в других ФС. Только и всего. Никто там не оптимизил особо этот юзкейс, в линевом ядре 3.5 и новее работу с метаданными несколко оптимизнули, но в целом оно все-равно не очень быстрое на таких иерархиях. По сравнению с ext4 и прочими.

Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

103. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от andy (??) on 04-Июл-13, 16:11 
> "Устриц не ел, но мнение имею...". :D

Да, Изя, это как раз про тебя.

Ответить | Правка | ^ к родителю #98 | Наверх | Cообщить модератору

104. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 04-Июл-13, 16:28 
> Вывод? Опцию noatime для ФС нужно сделать дефолтной и занести в стандарт POSIX!

Вы хоть знаете, что это за опция и для чего она предназначена?

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

105. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от iZEN (ok) on 04-Июл-13, 16:31 
>> Вывод? Опцию noatime для ФС нужно сделать дефолтной и занести в стандарт POSIX!
> Вы хоть знаете, что это за опция и для чего она предназначена?

Да.


Ответить | Правка | ^ к родителю #104 | Наверх | Cообщить модератору

106. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от none_first (ok) on 04-Июл-13, 16:34 
вот для этого и нужно осмысленное разделение - что и где хранить
универсальных решений нет, и выбор - это плюс
Ответить | Правка | ^ к родителю #101 | Наверх | Cообщить модератору

107. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 04-Июл-13, 16:36 
И что же? Как только вы ответите на него - автоматически придёт понимание, что atime - нужная функция и выключать её совсем не надо.
Ответить | Правка | ^ к родителю #105 | Наверх | Cообщить модератору

108. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от none_first (ok) on 04-Июл-13, 16:36 
>[оверквотинг удален]
>> файлы назывались "большие". Как она с ними управлялась ума не приложу.
> Дело не в том. Дело в том что если вы захотите перелопатить
> 100 000 файлов, на куче мелочи основное время будет работа с
> метаданными. А на больших файлах - с данными. Вот с метаданными
> XFS работает неспешно в ряде ситуаций. Так что в результате работа
> с иерархией из кучи мелочи будет тормознее чем в других ФС.
> Только и всего. Никто там не оптимизил особо этот юзкейс, в
> линевом ядре 3.5 и новее работу с метаданными несколко оптимизнули, но
> в целом оно все-равно не очень быстрое на таких иерархиях. По
> сравнению с ext4 и прочими.

и потому возвращаемся к теме "задача", а не пытаемся сыпать в одну кучу :)

Ответить | Правка | ^ к родителю #102 | Наверх | Cообщить модератору

109. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 17:52 
Даже боюсь спраштвать а что ты с ними делаешь?
Ответить | Правка | ^ к родителю #95 | Наверх | Cообщить модератору

110. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от iZEN (ok) on 04-Июл-13, 18:08 
> И что же?

Оверхед на перезапись метаинформации.

> Как только вы ответите на него - автоматически придёт
> понимание, что atime - нужная функция и выключать её совсем не
> надо.

А я вот выключаю везде, где она есть (NTFS, UFS2, ZFS), и от этого мне ни разу не поплохело.


Ответить | Правка | ^ к родителю #107 | Наверх | Cообщить модератору

111. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Crazy Alex (??) on 04-Июл-13, 18:30 
У вас не актуальные данные. XFS сильно допилили по работе с мелочью, кое-где он и Ext4 обскакивал. Правда, потом Ext4 тоже подкручивали, так что не знаю, кто там сейчас шустрее, но катастрофических отставаний точно нет.
Ответить | Правка | ^ к родителю #100 | Наверх | Cообщить модератору

112. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Crazy Alex (??) on 04-Июл-13, 18:32 
да древние предрассуюки это всё, в районе 5 версий ядра назад его сильно подкрутили. Сейчас - вполне универсальная FS.
Ответить | Правка | ^ к родителю #80 | Наверх | Cообщить модератору

113. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Crazy Alex (??) on 04-Июл-13, 18:32 
Это вылечено уже, причем с год.
Ответить | Правка | ^ к родителю #102 | Наверх | Cообщить модератору

114. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 04-Июл-13, 23:33 
> "Устриц не ел, но мнение имею...". :D

Сказал пользователь Шindoшs XP, советующим всем ставить FreeBSD.

Ответить | Правка | ^ к родителю #98 | Наверх | Cообщить модератору

115. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 04-Июл-13, 23:35 
> Кто бы сомневался. "Классика" "семёрка" — ваше всё. :))

Простите, не наше, а ваше :)
(Когда под хрюшу окончательно перестанут выпускать софт и дрова.)

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

116. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Led (ok) on 05-Июл-13, 00:52 
>>> Вывод? Опцию noatime для ФС нужно сделать дефолтной и занести в стандарт POSIX!
>> Вы хоть знаете, что это за опция и для чего она предназначена?
> Да.

Врешь как Изя.

Ответить | Правка | ^ к родителю #105 | Наверх | Cообщить модератору

117. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от qux (ok) on 05-Июл-13, 14:46 
> Есть же какая-то JFFS2, специально для флешек.

Не для USBшных

https://en.wikipedia.org/wiki/Flash_file_system

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

118. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от qux (ok) on 05-Июл-13, 14:52 
> Кстати идея: область FAT на флешках подразумевает частые апдейты и прочая и
> поэтому некоторыми носителями обрабатывается специально. Можно попробовать журнал упхать
> ровно по этой области.

usb flash drive разве не размазывают всё одинаково на весь объём?

Ответить | Правка | ^ к родителю #47 | Наверх | Cообщить модератору

119. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от qux (ok) on 05-Июл-13, 14:55 
> Для обычных флэшек вааще не нужна журналируемая ФС, туда можно ext2 если
> по каким-то причинам фат не устраивает.

По причинам размера файла, скорее всего. Но можно и ext4 -o ^journal.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

120. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от qux (ok) on 05-Июл-13, 15:24 
> Опцию noatime для ФС нужно сделать дефолтной и занести в стандарт
> POSIX!

noatime, как сказали рядом, может кое-что сломать. А relatime, при небольшой разнице, давно по умолчанию[1]. Обо всём этом в man mount есть.

[1]: http://lxr.linux.no/#linux+v3.9/fs/namespace.c#L2247

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

121. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 05-Июл-13, 21:12 
> и поддержка оффтопика не нужна - обычная Ext2 с настройками по дефолту.

И потом выдернув флеху по запаре без размонтирования - гоняй fsck или налетай на побитую ФС. Очень приятно приложиться фэйсом об тэйбл в самый интересный момент.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

122. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 21:28 
> У вас не актуальные данные.

У меня вполне себе актуальный тридесятый кернель и тома в XFS. Ты мне хочешь рассказать о их свойствах? Ну попробуй :).

Спору нет, XFS допилили. Резвее стало. Но не быстрее конкурентов типа ext4 и рейзера.

> XFS сильно допилили по работе с мелочью,

А все-равно слоупочит он как-то на разлапистых иерархиях с мелочевкой.

> кое-где он и Ext4 обскакивал.

Может кое где оно и обскакивает, но в целом - впечатления при работе с мелочью хуже чем в случае с EXT4. Мне нравится как оно с большими файлами работает - вот там оно себя оправдывает. И фрагментация минимальна, и скорость ядреная. А вот работа с разлапистыми иерархиями из мелочи мне не понравилась, ext4 быстрее обычно отрабатывает.

> Правда, потом Ext4 тоже подкручивали, так что не знаю, кто там сейчас шустрее,
> но катастрофических отставаний точно нет.

Кроме случая когда что-то делается с иерархией из мелочи. В общем как оно было хорошо для больших файлов так и осталось. Принципиально свойства дизайна никуда не изменились.

Ответить | Правка | ^ к родителю #111 | Наверх | Cообщить модератору

123. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 21:31 
> и потому возвращаемся к теме "задача", а не пытаемся сыпать в одну кучу :)

Задача у большинства людей проста: ФС должна хранить данные. Надежно. Не тормозя и прочая.

Ну вот XFS хорошо справляется с хранением больших файлов. Что и понимали под мультимедией. А вот как оно работает с обширными иерархиями из мелкоты - мне вот например совсем не нравится. Ничего там хорошего особо нет.

Да, серебряных пуль не бывает. Кто-то хорош в одном, кто-то в другом. А для тех кто не знает что ему надо - есть EXT4, который полимеры особо нигде не сливает по крупному.

Ответить | Правка | ^ к родителю #108 | Наверх | Cообщить модератору

124. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 21:32 
> вот для этого и нужно осмысленное разделение - что и где хранить
> универсальных решений нет, и выбор - это плюс

Вот именно так я и сделал - на XFS живут относительно крупные файлы. А вот держать на нем разлапистые иерархии мелочи - чисто технически конечно можно. А чисто практически работа всего этого будет оставлять желать.

Ответить | Правка | ^ к родителю #106 | Наверх | Cообщить модератору

125. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +1 +/
Сообщение от Аноним (??) on 05-Июл-13, 21:38 
> trim есть,

Ну да, не прошло и 20 лет. Пожалуй на этом оптимизации и заканчиваются.

> 4k есть.

А оно тут вообще каким боком? Надеетесь угадать и попасть в страницу нанда? А что если страница не 4K? Все, болт? А как насчет erase block или даже групп блоков? На это забьем? :)

> Назови остальные "оптимизации под флеш" которые знаешь.

Изменение стратегий аллокации в основном.
1) Надо стараться оперировать большими блоками, желательно последовательно.
2) Стоимость seek иная чем у HDD и это некисло бы учесть.
3) Те кто реально целился на флеш - позволяют вообще fine tune'ить стратегии под конкретный накопитель и его свойства. F2FS - вот это конкретно так оптимизировано на флеш, да. Во всех закоулках дизайна. А UFS типичная дисковая фс для механики, древняя и бестолковая.

Ответить | Правка | ^ к родителю #89 | Наверх | Cообщить модератору

126. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 22:05 
> да уже года 4 пхороникс победные графики бенчмарков рисует, пора уже.

Спору нет. И это время приближается.

А насчет победных - это где как, где как. Идите вон F2FS на флешовом накопителе победите. Слабо? :)

Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

127. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 22:08 
Да чо там, все ынтырпрайзники на SD картах с базами работают :)
Ответить | Правка | ^ к родителю #78 | Наверх | Cообщить модератору

128. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 22:11 
> лучше, хотя загрузка проца всё равно до 30% временами подпрыгивает.

А у тебя файловой системой NTFS, через FUSE, да? Ну так пользуйся нативными файловыми системами из комплекта ядра линуха - и твои волосы будут мягкими и шелковистыми, а загрузка проца - близкой к нулю :). А то FUSE контексты user-kernel немилосердно переключает и это будет тормозить. Линь может работать с NTFS, но это не значит что это оптимальное решение. А вот если 30% проца жрется например на ext4 - я сильно удивлюсь, ибо у меня столько даже на роутере не жрется на работу с ФС.

Ответить | Правка | ^ к родителю #88 | Наверх | Cообщить модератору

129. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 05-Июл-13, 22:12 
> Вывод? Опцию noatime для ФС нужно сделать дефолтной

Вот это может быть и повод для обсуждения.

> и занести в стандарт POSIX!

А вот это - это как? :)

> Кто бы сомневался. "Классика" "семёрка" — ваше всё. :))

Я почему-то думал что у тебя XP...

Ответить | Правка | ^ к родителю #97 | Наверх | Cообщить модератору

130. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от iWLCkhBrBeDTGA on 05-Июл-13, 22:22 
Флешки надо монтировать с sync, я считаю. Индикатор активности перестал моргать – можно дёргать.
Ответить | Правка | ^ к родителю #121 | Наверх | Cообщить модератору

131. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 22:28 
> usb flash drive разве не размазывают всё одинаково на весь объём?

Каждый др@чит как он хочет. Если почитать статью и погулять по ссылкам, можно найти массу чудесатых описаний различных wear leveler'ов. Некоторые - одинаково. Некоторые - рассматривают область fat отдельно. Алгоритмы везде разные. Как и фактическая геометрия.

Иногда встречаются реально чудесатые экспонаты. Наример в устройствах с triple level cell размер блока может быть не кратен степени двойки даже. Такая вот чудесатая хрень (которую надо советовать врагам).

Ответить | Правка | ^ к родителю #118 | Наверх | Cообщить модератору

132. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 05-Июл-13, 22:30 
> Флешки надо монтировать с sync, я считаю. Индикатор активности перестал моргать – можно дёргать.

Как вы понимаете, мало кто заморачивается смотрением на какие-то там индикаторы. Схапал и пошел. Безжурнальная система при этом может быть серьезно факапнута.

Без журнала плохо везде, но на съемных носителях - особенно.

Ответить | Правка | ^ к родителю #130 | Наверх | Cообщить модератору

133. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 05-Июл-13, 22:34 
> На HDD - ReiserFS v3.6 over LVM, на USB флешки - Ext2.

За что вы нас так не любите? :)

У первого утилиты fsck ни к черту, у второго нет журнала. Конечно если у вас ничего ценнее порнухи с торентов нету - оно сойдет. Если факапнется - перекачаете. А вот для более ответственных применений такой сетап только врагам можно советовать.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

134. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 05-Июл-13, 22:59 
> сильно подкрутили. Сейчас - вполне универсальная FS.

Универсальная - это ext4. А XFS хоть и подкрутили но фундаментальные свойства не изменились особо. Лично мне не нравится как он работает с большими иерархиями мелочевки всякой.

Ответить | Правка | ^ к родителю #112 | Наверх | Cообщить модератору

135. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  –1 +/
Сообщение от Аноним (??) on 05-Июл-13, 23:00 
> Шишкин во многом неправ.

Просто себе он сделал феерического размера скидки, а по конкурентам прошелся по максимуму. Теретически рейзер4 крут. Практически это злостный недопилок, который некому пилить.

Ответить | Правка | ^ к родителю #85 | Наверх | Cообщить модератору

136. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +2 +/
Сообщение от Аноним (??) on 06-Июл-13, 16:32 
>> Шишкин во многом неправ.
> Просто себе он сделал феерического размера скидки, а по конкурентам прошелся по
> максимуму.

Дело в беспрецедентном пиаре btrfs, умело организованном группой людей. Поэтому и спрос
с них больше. Ибо тысячи людей ставят себе эту так называемую "файловую систему",
полностью доверяясь рекламе, и только 1% из них задаётся вопросами: "я записал три
маленьких файла на гигабайтную партицию, и получил "ноу спейс он дивайс". Куда делось
моё дисковое пространство?". Остальные 99% покорно идут в магазин покупать новый диск. А
тому одному проценту умело пудрят мозги. Вы только почитайте лист рассылки btrfs.
За одно то, что открыл глаза, Шишкину спасибо.

Ответить | Правка | ^ к родителю #135 | Наверх | Cообщить модератору

137. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 07-Июл-13, 15:13 
"это другое" - это не аргумент.
Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

138. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 07-Июл-13, 15:21 
- По милицейской статистике маньяк убил 60 человек в нашей подворотне и даже знакомого соседа убили!
- Странно. В том плане что я за эн лет сделал немало потенциально проблемных операций с _подворотней_ не факапнулся ни разу. Правда я один через подворотню не хожу, только вместе с грузчиками переношу крупногабаритную мебель.
Ответить | Правка | ^ к родителю #96 | Наверх | Cообщить модератору

139. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 08-Июл-13, 20:56 
В свое время занимался подобной фигней. На том и порешил - нету ничего лучше, быстрее и надежнее (по совокупности), чем ext с отключенным журналом. %)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

140. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Аноним (??) on 08-Июл-13, 21:05 
Че за фигня, на какой странице графики ext4 random write, не смог найти, есть только для f2fs и btrfs?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

141. "Руководство по тюнингу файловых систем Linux для Flash-накоп..."  +/
Сообщение от Andrew Kolchoogin (ok) on 11-Июл-13, 00:51 
А она случайно не поверх RAID'а, сделанного LVM'ом, жила?
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру