forum.opennet.ru

"Доклад Google о файловых системах Linux"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.

. "Доклад Google о файловых системах Linux"	+/–
Сообщение от Anoni (?), 07-Май-11, 22:32
> По поводу аппаратной реализации. Как уже говорил будет 192 диска по 600гб. > Они будут объединены в 6-ые рейды, например по 24 диска, т.е. > 8 рейдов. Эти рейды хранилкой будут соединены с логический "агрегат", ОС > будет видеть все это дело как один 100ТБ хард. Зачем все > 192 диска соединять? Чтобы получить как можно большее кол-во iops на > выходе, т.к. этот параметр для нас крайне важен. 6-й рейд? IOPS? "взаимоисключающие параграфы детектед".
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Доклад Google о файловых системах Linux, opennews, 06-Май-11, 23:09 [смотреть все]

Вполне ожидаемые, если не очевидные, результаты , Phoenix, 06-Май-11, 23:09 (1)
Разве не готов вроде в убунте, в федоре со следующего релиза хотели уже на нее , jameson, 06-Май-11, 23:12 (2) //
- Так промышленное и поиграться в системах, на которых тестируют все новое, нео, achekalin, 06-Май-11, 23:24 (3) //
  - Абсолютно уверен в том, что Гуглу наплевать на мнение этих тысяч юзеров btrfs , myhand, 16-Янв-12, 14:36 (159)
- Ну так потестируйте на себе, чем больше тех кто тестирует, тем быстрее обезглюча, Аноним, 07-Май-11, 01:07 (19) //
  - Не все данные одинаково полезны Можно например на разделе для торрентов потести, rshadow, 07-Май-11, 11:44 (71) //
    - в бинарных дистрах можно и для usr юзать - какая разница, если всё можно быстро, Пиу, 07-Май-11, 19:45 (94)
      - Юзал я месяц назад этот btrfs в продакшене нужно было том с компрессией сгороди, Аноним, 08-Май-11, 07:29 (99)
- не так давно ставил дебиан тестинг и попробовал btrfs, показались тормоза, а п, sam, 08-Май-11, 18:32 (111)
- В btrfs до сих пор нет fsck Если что нибудь произойдет то данным кранты С учет, anonymous, 08-Май-11, 20:04 (116)
Анадысь рассматривал линуксовые ФС на предмет возможности использования в след , metallic, 06-Май-11, 23:54 (5) //
- Если у Вас не будет миллионов мелких файлов, то лучше использовать XFS -- не нов, vadiml, 07-Май-11, 00:00 (7) //
  - Не поверите, но у меня как раз таки миллионы мелких файлов по 5-30Мб А в XF, metallic, 07-Май-11, 00:04 (10) //
    - Я под мелкими имел в виду размер в 5-30 кб, XFS не умеет с такими оптимально раб, vadiml, 07-Май-11, 00:16 (14)
      - Ну вы домашний комп и промышленный файловый сервер с iowait 90 почти всегда не, metallic, 07-Май-11, 00:24 (15)
        
        а я вот не путаю - xfs отличный вариант зыжпро мелкие файлы - xfs отлично развил, ананим, 07-Май-11, 01:19 (27)
        Ну вот на таком сервере я бы с удовольствием попробовал XFS , Аноним, 07-Май-11, 01:42 (36)
        
        Я и попробую, скорее всего именно XFS и будет, ибо вариантов особо больше нету , metallic, 07-Май-11, 10:46 (63)
        
        Это называется начальника жаба душит дать денег на апгрейд железа, которое можн, Анон, 07-Май-11, 02:23 (47)
        
        С другой стороны, если у вас железо не полностью загружено - вы зря заплатили за, Аноним, 07-Май-11, 16:18 (89)
        
        Бедность не порок одни устанавливают железо под пиковые нагрузки, другие мирятс, umbr, 08-Май-11, 13:44 (104)
      - Это вы, батенька, как то скромно живете на XFS xfs_db -r -c frag dev sdd1actua, Аноним, 10-Май-11, 12:15 (142)
        
        Смотрите, дети, этот сказочный раздолбай качал торенты без преаллокации , Аноним, 23-Май-11, 15:23 (150)
    - а меня пугают такие спецы зыжскоко дашь за настройку экст4 на 100Тб и больше , ананим, 07-Май-11, 01:17 (26)
      - Мне вот интересно, а на сервере с 100Тб - неужели с оперативкой какие-то проблем, КО., 07-Май-11, 01:53 (42)
        
        1 приведите мне сервер с 100Tб винтами и сколько таких винтов нужно в сторону -, ананим, 07-Май-11, 02:49 (50)
        
        Как связаны скорость канала и fsck , mine, 07-Май-11, 10:04 (62)
        
        никак , ананим, 07-Май-11, 11:48 (72)
        
        Мы заказали IBM V7000 на 192 дисках по 600ГБ 2 5 10000rpm Ну ты понял, да Не , metallic, 07-Май-11, 11:24 (67)
        
        а фс не выбрали оригенально с каких пор на ты ну не понял, так не понял , ананим, 07-Май-11, 11:57 (74)
        
        А как выбирать ФС без железа Будет железо - буду тестить, что шустрее бегает, metallic, 07-Май-11, 12:02 (75)
        
        железо как железо с выбором то его уже определились фс надо выбирать под задачи, ананим, 07-Май-11, 15:36 (87)
        
        Задача - хранилка под не жатое видео покадрово, каждый кадр по слоям Файлый -, metallic, 07-Май-11, 17:23 (91)
        
        ZFS же, DarkAGeS, 07-Май-11, 17:32 (92)
        На чем , metallic, 08-Май-11, 13:30 (102)
        http www opennet ru openforum vsluhforumID3 76968 html 93, DarkAGeS, 08-Май-11, 16:26 (107)
        6-й рейд IOPS взаимоисключающие параграфы детектед , Anoni, 07-Май-11, 22:32 (96)
        А какой рейд надо , metallic, 08-Май-11, 13:30 (103)
        Только RAID-10, он по записи не пролетает так жутко как все остальные Ну и конт, anonymous, 08-Май-11, 20:11 (117)
        Во-первых, у 10-го рейда избыточность 50 , в курсе, да И стоимость СХД от этого, metallic, 08-Май-11, 20:21 (118)
        Все правильно, не слушай дураков 640 килобайт всем хватит c избытком А уж подо, anonymous, 09-Май-11, 23:46 (138)
        Еще раз есть бюджет, в который внатяг протолкнули 192 диска, после долгих дебат, metallic, 10-Май-11, 10:43 (141)
        
        На сервере, который будет подключен к хранилке, будет 8Гб памяти xfs_check с деф, metallic, 07-Май-11, 11:37 (69)
        
        Где такие волшебные требования , pavlinux, 07-Май-11, 13:03 (78)
        
        В документации к XFS, причем эти требования подтверждены практикой, у меня один , metallic, 07-Май-11, 14:55 (85)
        
        то что память может закончится при xfs_check - да, указано, но именно про по 2Г, ананим, 07-Май-11, 16:14 (88)
        Какой ей памяти надо RAM или VM , pavlinux, 08-Май-11, 01:15 (98)
        
        Свап прокатывает, когда 22Тб раздел проверял , metallic, 08-Май-11, 20:22 (119)
      - Когда пытался 22ТБ раздел в екст4 форматнуть - гуглил но решения не нашел В вик, metallic, 07-Май-11, 10:51 (64)
        
        Судя по этому То есть максимальный размер раздела один _эксабайт_, максимальный , Lampus, 07-Май-11, 11:39 (70)
        
        Так я об этом и писал, поддержка в ядре большой ФС есть, а вот утилит для создан, metallic, 07-Май-11, 12:40 (76)
        
        Вот патчи e2fsprogs https github com tytso e2fsprogs-64bit, Lampus, 07-Май-11, 11:53 (73)
        
        Че-та я очкую, Славик С Хрен знает каким боком этот костыль потом выйдет Кро, metallic, 07-Май-11, 12:41 (77)
    - у меня был хард с потерей информации графика главным образом, видео, пдф, немно, аывава, 25-Авг-11, 01:34 (157)
  - Под мелкие файлы XFS великолепно тюнится Гуглится с первого раза С 2000-х год, AMD Man, 07-Май-11, 01:37 (33) //
    - Раньше XFS тормозил если метаданных много, что как раз и есть в случае мелочи Н, Аноним, 07-Май-11, 01:46 (37)
      - В новых - это каких Я планирую использовать дебиан 6, там в репах 2 6 32, metallic, 07-Май-11, 10:52 (65)
        
        Фи, в 2 6 32, ещё delaylog нету , pavlinux, 07-Май-11, 13:05 (79)
        
        Ну придется собрать ядро, metallic, 07-Май-11, 13:11 (81)
    - У меня с мелкими файлами только небольшой раздел 200 гиг под home, тут меня б, vadiml, 07-Май-11, 01:46 (38)
      - Только почему-то в интернете попадается много случаев когда fsck диск убил Одна, Аноним, 07-Май-11, 01:54 (43)
        
        У меня где-то в 2007 была глючная МВ, глухо вешала систему на голом месте, 2 раз, vadiml, 07-Май-11, 02:10 (45)
        
        всё тоже самое, только фс нужно поменять местами оракель, 300 гб база, корень с , ананим, 07-Май-11, 02:58 (51)
        
        reiserfs для баз данных противопоказан -- постоянный sync базы убивает его преим, vadiml, 08-Май-11, 14:55 (105)
- 100Тб чего, если не секрет , Anonymousapiens, 07-Май-11, 00:07 (11) //
  - В каком смысле чего Содержимое Не жатое видео по слоям и кадрам, metallic, 07-Май-11, 00:11 (12) //
    - Спасибо, ясно , Anonymousapiens, 07-Май-11, 00:16 (13)
      - это он выше про мелкие файлы говорил D, ананим, 07-Май-11, 01:21 (28)
    - XFS с ним неплохо справится Особенно в свежих ядрах, где работу с метаданными у, Аноним, 07-Май-11, 01:32 (30)
      - yt поверишь, но правильные параметры она подбирает сейчас сама проверял я кон, ананим, 07-Май-11, 01:35 (31)
- XFS по вашему видео плачет Разложить на страйп с грамотными параметрами Взлети, Аноним, 07-Май-11, 01:09 (20) //
  - У меня аппаратный рейд будет, зачем еще какой страйп , metallic, 07-Май-11, 10:54 (66) //
    - Вот это интересный вопрос, далеко не каждый hw-рейд может потягаться с полноценн, fi, 08-Май-11, 16:56 (110)
      - Попробуем, но V7000 покупаем как раз потому, что DS3512 не умеет рейды в логичес, metallic, 08-Май-11, 22:48 (123)
Я большинство разделов перевёл на XFS пару лет назад и до сих пор не жалею, а по, vadiml, 06-Май-11, 23:56 (6) //
- XFS хороша для больших файлов, типа торентов всяких, видео, даже нежатого и проч, Аноним, 07-Май-11, 01:29 (29) //
  - сразу ясно - человек не понимает о чём говорит , ананим, 07-Май-11, 01:36 (32) //
    - Слишком толсто Конкретнее, Склифосовский , Аноним, 07-Май-11, 01:47 (39)
      - конкретнее торент юзает мелкие фрагменты файлов и пишит ими же в фс преалокаци, ананим, 07-Май-11, 03:11 (52)
        
        зыжи тем не менее он в одном прав - xfs отличный выбор и для торрентов почему по, ананим, 07-Май-11, 03:36 (55)
        
        А как там на счет файлов, забитых полностью нулями Приходилось читать про эту о, Drist, 08-Май-11, 19:44 (113)
        
        Дочинивалось в 28 ядре, чтоли Более свежие этим особенно не страдают вроде , Аноним, 23-Май-11, 16:36 (151)
вам ехать или шашечки На пост о том как отформатировать и юзать 100TB - это тоже, Аноним, 07-Май-11, 00:01 (8) //
- Это мне про ZFS А на чем ее крутить На бзде Спасибо - идите мимо Особенно в с, metallic, 07-Май-11, 00:02 (9) //
  - Лол Ну юзайте 16гиговый ext4, профессианал , Аноним, 07-Май-11, 00:36 (16) //
    - Во первых, 16Тб 16Гб, дилетант Во вторых, для 100Гб файлов есть хоть тот же , Аноним, 07-Май-11, 01:11 (21)
      - У вас диск на 16 Терабит PS С формулой 16Тб 16 Гб согласен , Аноним, 07-Май-11, 02:17 (46)
        
        16 Терабод , pavlinux, 07-Май-11, 13:10 (80)
        Не вижу никаких проблем набрать составной том на 16Тб Всего 8 HDD по 2Гб и гото, Аноним, 23-Май-11, 18:12 (152)
  - курите на дебиане kfreebsd ну или на opensolaris nexentaps но лучше на freebs, DarkAGeS, 07-Май-11, 17:40 (93) //
    - Опенсолярис мертв, всякие гибриды как-то не очень доверие вызывают, хотя можно б, metallic, 08-Май-11, 19:23 (112)
      - да не так уж она отстает во фре v15 сейчас в следующем релизе будет v28 с деду, DarkAGeS, 08-Май-11, 19:53 (114)
        
        А зачем ZFS вообще Что в ней такого Она хороша для реализации программных СХД , metallic, 08-Май-11, 20:29 (120)
        
        У ZFS много полезных плюшек, но при таком соотношении disk ram 100Tb 8Gb она ск, vle, 09-Май-11, 00:13 (127)
        
        что ей мешает работать при таком соотношении непонятноне могу не согласиться д, DarkAGeS, 09-Май-11, 04:33 (130)
        
        это даа на чем у вас железные снапшоты и дедубликация ну в общем то снапшоты, , DarkAGeS, 09-Май-11, 04:47 (131)
        
        Писал же уже IBM Storwize V7000Из этого мне ничего не надо, я имею ввиду именно , metallic, 09-Май-11, 12:44 (136)
- Может быть вы и не догоняете, но сервер состоит не только из файловой системы К, Аноним, 07-Май-11, 01:16 (25) //
  - ZFS чуть проще XFS, исходный код лучше откомментирован и оттестирован Утилиты в, iZEN, 08-Май-11, 16:50 (109)
- ZFS требует 1Г памяти на каждый 1Т данных , Anoni, 07-Май-11, 22:38 (97) //
  - Это откуда такие требования Быстрому кэшу ARC нужно минимум 1ГБ RAM, а L2ARC им, iZEN, 08-Май-11, 16:47 (108)
Эх Рейзер 8230 Как же мне нравилась эта ФС Я думал, намного будет 8230 Н, Аноним, 07-Май-11, 00:50 (17)
Что они там не осилили в ней , Анон, 07-Май-11, 02:24 (48) //
- выбирали 2 года назад xfs изменилась с тех пор как и экст с 3 до 4 , ананим, 07-Май-11, 03:18 (54)
Всякой задаче - свой инструмент с ЛюдиУ меня даже на домашней машинке нескольк, iCat, 07-Май-11, 07:58 (57) //
- А теперь попробуем со всем этим взлететь , djo, 07-Май-11, 08:57 (58) //
  - Уже который год Полёт нормальный - reiserfs множество мелких файлов, необх, iCat, 07-Май-11, 09:04 (59) //
    - gt оверквотинг удален В общем согласен, кроме boot под ext3, максимум ext2, и, pavlinux, 07-Май-11, 13:15 (82)
    - А вот некоторые другие с рейзером почему-то ругаются, когда им fsck превращает т, Аноним, 23-Май-11, 18:39 (154)
      - А вот у меня этот самый fsck отрабатывает нормально да ещё и битый диск смо, iCat, 24-Май-11, 04:16 (156)
- а я вот я выбираю единственный NTFS, и не разбираюсь в этой кучке непонятных ФС , anonym12qw, 07-Май-11, 09:07 (60) //
  - ну это-то понятно но тут пишут те, кто разбирается хотя бы чуть чуть , ананим, 07-Май-11, 09:14 (61)
  - Надеюсь она у Вас используется как корневая ФС, причём на том же разделе где и W, pavlinux, 07-Май-11, 13:18 (83)
  - А я вот с недавних пор NTFS-у доверяю только саму Windows, а все данные храню на, iCat, 07-Май-11, 13:28 (84)
- А в чем смысл ext3 Почему не выбрать обычную ext2 , ffirefox, 08-Май-11, 22:36 (122) //
  - а в чем смысл отдельного boot , анонимоус, 10-Май-11, 15:36 (143) //
    - Корень на ФС, которой не умеет бутлоадер , Andrey Mitrofanov, 10-Май-11, 15:40 (144)
      - у меня reiserfs,ext2,ext3,ext4,fat запилены в ядро и думаю не только у меня рань, анонимоус, 10-Май-11, 16:43 (145)
        
        Закрузчик, как то lilo, grub Читать научитьсь, яколка , Andrey Mitrofanov, 10-Май-11, 17:14 (146)
        
        дыг этот самый grub отлично все понимает просто некоторые использующие отдельный, анонимоус, 10-Май-11, 18:11 (147)
- Мдэ Ладно люди home не жалеют, у большинства там ничего полезного нет Но систе, vle, 09-Май-11, 00:20 (128) //
  - net_storage - понятие сильно растяжимое, чтоб делать какие-то выводы о пригодно, iCat, 09-Май-11, 12:40 (135) //
    - OpenSolaris для дома для семьи Или zfs на линуксе , vle, 10-Май-11, 00:02 (139)
      - NexentaStor CE В общем - да, OpenSolaris в какой-то степени Для дома, для се, iCat, 10-Май-11, 03:20 (140)
Какой я счастливый человек Использую ReiserFS в корне, на внешнем usb HDD изна, yantux, 07-Май-11, 15:25 (86) //
- У вас с Гуглом разные сценарии применения ФС К О , Аноним, 07-Май-11, 16:28 (90)
- Тут ведь как оно можно всё кушать ложкой И не париться Да вот только мясо вил, iCat, 08-Май-11, 13:03 (101)
ну, ReiserFS понятно а JFS каким боком по мне - неплохая фсистема , nobody, 07-Май-11, 21:00 (95) //
- Есть у jfs проблемы с большими размерами томов И не факт, что они будут когда-л, Drist, 08-Май-11, 20:04 (115)
ext4 с опциями по умолчанию все еще тормозит при использовании ее на разделе с о, анон, 08-Май-11, 10:48 (100) //
- Образы разные бывают И файловая система ни причем, тут важно как отрабатываются, anonymous, 08-Май-11, 20:32 (121)
тема nilfs2 не раскрыта , Аноним, 08-Май-11, 15:28 (106) //
- А что там раскрывать, первые минуты после свежего форматирования все эти COW-под, anonymous, 08-Май-11, 23:27 (124) //
  - Не надо обобщать ZFS не страдает от такой фигни как заполненность диска , iZEN, 08-Май-11, 23:54 (126) //
    - Врать-то зачем Сходу пример http groups google com group fido7 ru unix bsd tr, nuclight, 23-Май-11, 14:07 (149)
      - А я и не вру zpool list storeNAME SIZE USED AVAIL CAP HEALTH ALTROO, iZEN, 23-Май-11, 21:25 (155)
интересно, а почему google не инвестирует в разработку reiser4 лично считаю, ч, gni, 08-Май-11, 23:46 (125) //
- разработчиков мало заинтересованных проект сам по себе бурно бы развивался, будь, nobody, 09-Май-11, 10:33 (132) //
  - ев , nobody, 09-Май-11, 10:35 (133) //
    - асно тогда ворпос, просто сам напрашивающийся, а почему их мало т е нужна р, gni, 09-Май-11, 12:23 (134)
      - Со стороны Ганса было достаточно антирекламы в LKML, когда он забил болт на reis, Я, 16-Янв-12, 12:34 (158)
- а зачем гуглю инвестировать в сомнительную коммерческую затею человека, который , пох, 09-Май-11, 22:41 (137)
Собственно моё IMHO не сколько инное чем у остальных участников флейма ext4 отли, sic, 16-Май-11, 20:55 (148) //
- Аналогично Все стандартные системы - на ext4, ибо мейнстрим Городить зоопарк р, AlexAT, 16-Янв-12, 16:27 (160)
ВНЕЗАПНО, Аноним, 17-Янв-12, 01:21 (161)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру