The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux , opennews (??), 14-Июн-14, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


20. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +2 +/
Сообщение от barmaglotemail (??), 14-Июн-14, 11:03 
На каком основании я дожен доверять вашим "вбросам" ? Система в продуктиве уже 5 лет. Два года в продуктив никто её не вводил, - тестировалась. Для Solaris альтернативы вообще нет. Для линукс с прошлого года в продуктиве на высоконагруженных серверах. Да небыло POSIX ACL, был ACL NFSv4. Его под наши задачи хватало, но POSIX ACL ждали. Потерь данных нет, сбоев нет. А вот новомодные ext4 и brtfs похвастаться подобным не могут. Все тестовые инсталляции заканчиваются одним заключением, - сырые и не пригодные к продуктивному использованию. В сухом остатке единственная ФС под linux, кроме ZFS, для наших задач, - это xfs.
Ответить | Правка | Наверх | Cообщить модератору

25. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от Аноним (-), 14-Июн-14, 11:28 
Это в каких условиях ext4 начинает терять данные? Для обычного использования они все стабильные.
Ответить | Правка | Наверх | Cообщить модератору

35. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от Аноним (-), 14-Июн-14, 12:26 
> Это в каких условиях ext4 начинает терять данные? Для обычного использования они
> все стабильные.

https://lkml.org/lkml/2012/10/23/690

Ответить | Правка | Наверх | Cообщить модератору

49. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 14-Июн-14, 18:25 
> https://lkml.org/lkml/2012/10/23/690

А ничего что этому сообщению полтора года и с тех пор в ext4 были починены data corruption-ы? И да, если вдруг ext4 работает у титанов типа гугли и тому подобных, а у вас теряет данные - вы таки или очень сильно невезучий человек, поймавший баг, возникающий раз на миллиард, или просто спиди-гонщик, что намного вероятнее.

Ответить | Правка | Наверх | Cообщить модератору

80. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от Andrey Mitrofanov (?), 15-Июн-14, 07:00 
>И да, если вдруг ext4 работает у титанов типа гугли и тому подобных, а у вас теряет

Гугль просто выключает [при поломне железа, говорят. про [[fsck и]] потерю нанных - не уверен, может просто перезаливают] узел (да! 1 из тыщи-мильона) до следующего (раз в 3 месяца?) приезда инженегра. И _никому это не заметно.

> данные - вы таки или очень сильно невезучий человек

У него нет 0.001 ездового инженегра для починки 1 из 1000000 своих серверов. Неповезло.

Ответить | Правка | Наверх | Cообщить модератору

104. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 16-Июн-14, 08:28 
> Гугль просто выключает [при поломне железа, говорят. про [[fsck и]] потерю нанных
> - не уверен, может просто перезаливают] узел (да! 1 из тыщи-мильона)

Подловил, гад! :). Вот что значит - постоянный посетитель. Тем не менее, если бы у них часто сыпалась ФС - они бы озаботились вопросом что на сервера слишком часто приходится обращать внимание для их починки и нахлобучили бы причастных в багтрекере. Ведь если тебя долбит какой-то баг, заставляющий технарей бросить все и заняться приведением узла в чувство - поневоле пойдешь и поспособствуешь прихлопыванию этого бага. Чтобы сократить затраты на обслуживание серверов.

> до следующего (раз в 3 месяца?) приезда инженегра. И _никому это
> не заметно.

Кроме инженегров. И если дохлых серверов по линии файловой системы будет много и часто - придется нанимать много инженегров. А это уже стоит денег.

P.S. а вообще, большинство инсталляций EXTов используют их в режиме журналирования только метаданных, что как бы намекает нам - "пипл хaвает".

> У него нет 0.001 ездового инженегра для починки 1 из 1000000 своих
> серверов. Неповезло.

Ну дык. Хочешь сэкономить на инженеграх - пиши баги в багтрекер. Все честно вроде.

Ответить | Правка | Наверх | Cообщить модератору

36. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –2 +/
Сообщение от barmaglot1email (ok), 14-Июн-14, 12:29 
> Это в каких условиях ext4 начинает терять данные? Для обычного использования они
> все стабильные.

Это после того, как куча дистрибутивов его по умолчанию стала устанавливать и рекомендовать к использованию было. С тех пор не тестировал. Скандалец был занимательный. Теперь никто не рекомендует срочно в продуктив на серверы ext4 ставить .. одумались.

https://patchwork.kernel.org/patch/1635091/


http://www.phoronix.com/scan.php?page=news_item&px=MTIxNDQ

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

40. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от Анонимemail (40), 14-Июн-14, 14:08 
> This can happen if we mount and then unmount the file system fairly quickly, before the log has a chance to wrap. After the first time this has happened, it's not a disaster, since when we replay the journal, we'll just replay some extra transactions. But if this happens twice...

Охрененно жизненный юзкейс.

Ответить | Правка | Наверх | Cообщить модератору

50. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 14-Июн-14, 18:30 
> Это после того, как куча дистрибутивов его по умолчанию стала устанавливать и
> рекомендовать к использованию было.

И что? В любом коде бывают баги. При обычном использовании потерять данные в ext4 у меня не получилось вообще ни разу за столько лет. А то что редкие баги, кусающиеся в полнолуние високосного года, при условии что был четверг, прошел дождик и на горе рассвистелись вдруг раки бывают - ну да, и поймать их сложно именно по этой причине: такое сочетание параметров почти никогда не наступает. Поэтому такое не ловится ни автоматическими прогонами тестов, ни обычными юзерями на десктопе. И только 1 счастливчик на миллиард нарывается на такой баг.

> Теперь никто не рекомендует срочно в продуктив на серверы ext4 ставить

Да, конечно. Гугл их уже много лет просто использует. Без всяких рекомендаций. Да и даже местный линуксхрип уж на что кроет пингвин, производительность EXT4 в каких-то странных ситуациях и что там еще. Но про именно осыпон данных ничего не говорил.

Начались каникулы - понабежало экспертов мля. Ща они научат гуглю сервера настраивать. И фэйсбук с его btrfs объяснят какие они лохи.

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

95. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от maximnik0 (?), 15-Июн-14, 23:04 
> Да, конечно. Гугл их уже много лет просто использует. Без всяких рекомендаций.
> Да и даже местный линуксхрип уж на что кроет пингвин, производительность
> EXT4 в каких-то странных ситуациях и что там еще.

У Гугла своя специфика - многократное распределенное резервирование .Знаешь что EXT4 у Гугла используется без журнала ? А перешли они с EXT2 из-за скорости ,EXT4 без журнала быстрее .И fsck.ext4 не используется ,если фиксируется сбой данные автоматически переписываются (форматирование +заливка образа) ,опять из-за скорости и надежности -инженеры посчитали что теряется время на проверку и часть файлов может оказаться в lost+found .Так что у Гугла очень специфическое использование .

Ответить | Правка | Наверх | Cообщить модератору

105. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 16-Июн-14, 08:31 
> У Гугла своя специфика - многократное распределенное резервирование

Еще 1 внимательный :). Это так, НО если бы случались массовые отказы по линии ФС - затраты на обслуживание выросли бы, что все-таки не в интересах гугля. Поэтому вопрос в общем то в том проводится ли разбор полетов и обнаружение багов. Я думаю что проводится.

Ответить | Правка | Наверх | Cообщить модератору

118. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 16-Июн-14, 20:36 
>> У Гугла своя специфика - многократное распределенное резервирование
> Еще 1 внимательный :). Это так, НО если бы случались массовые отказы
> по линии ФС - затраты на обслуживание выросли бы, что все-таки
> не в интересах гугля. Поэтому вопрос в общем то в том
> проводится ли разбор полетов и обнаружение багов. Я думаю что проводится.

со слов людей которые держат сотни кластеров с количеством нод от 5 до 50 тысяч, одина умершая нода в сутки это норма. Так что дешевле дублировать и разворачивать - учитывая что это копия - а значит автоматизировано.
Поэтому проблемы fs гугла волнуют слабо..

Ответить | Правка | Наверх | Cообщить модератору

124. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 17-Июн-14, 03:12 
> до 50 тысяч, одина умершая нода в сутки это норма.

А теперь представим себе что ФС фуфло и дохло бы больше. А оно кому-то надо - дополнительная нагрузку на персонал на ровном месте? Из чувства мазохизма чтоли? Ведь так персонала потребуется больше, а капиталисты - они жадные...

Ответить | Правка | Наверх | Cообщить модератору

129. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 07:57 
>> до 50 тысяч, одина умершая нода в сутки это норма.
> А теперь представим себе что ФС фуфло и дохло бы больше. А
> оно кому-то надо - дополнительная нагрузку на персонал на ровном месте?
> Из чувства мазохизма чтоли? Ведь так персонала потребуется больше, а капиталисты
> - они жадные...

какой персонал? вы о чем? там робот делает.. персонал только читает почту..

Ответить | Правка | Наверх | Cообщить модератору

134. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 17-Июн-14, 19:36 
> какой персонал? вы о чем? там робот делает.. персонал только читает почту..

Обана, кто-то еще научился проходить тест Тюринга и поэтому может детектировать совершенно произвольный развал системы на автомате? :)

Ответить | Правка | Наверх | Cообщить модератору

137. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 19:43 
>> какой персонал? вы о чем? там робот делает.. персонал только читает почту..
> Обана, кто-то еще научился проходить тест Тюринга и поэтому может детектировать совершенно
> произвольный развал системы на автомате? :)

там не детектируют - просто формат - reinstall - resync. они сами писали об этом.

Ответить | Правка | Наверх | Cообщить модератору

138. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 17-Июн-14, 20:23 
> просто формат - reinstall - resync. они сами писали об этом.

А формат что, происходит чисто для профилактики, постоянно? Или все-таки по какому-то поводу?

Ответить | Правка | Наверх | Cообщить модератору

142. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 22:39 
>> просто формат - reinstall - resync. они сами писали об этом.
> А формат что, происходит чисто для профилактики, постоянно? Или все-таки по какому-то
> поводу?

Развал ноды вполне легко детектирует BigTable. после чего ее проще замочить.

Ответить | Правка | К родителю #138 | Наверх | Cообщить модератору

150. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 19-Июн-14, 03:29 
> Развал ноды вполне легко детектирует BigTable. после чего ее проще замочить.

Вот я и спрашиваю - они там что, научились детектировать совершенно произвольные развалы?

Ответить | Правка | К родителю #142 | Наверх | Cообщить модератору

81. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от Andrey Mitrofanov (?), 15-Июн-14, 07:04 
> Это после того, как куча дистрибутивов его по умолчанию стала устанавливать и
> рекомендовать к использованию было. С тех пор не тестировал. Скандалец был
> занимательный. Теперь никто не рекомендует срочно в продуктив на серверы ext4
> ставить .. одумались.

А ведь теперь XFS начали рекомендовать. Красные пришли, конец xfs-у. Куда бечь?!
   FreeBSD c $SUBJ-ом спасает: уж её-то _не рекомендуют в продакшоны!
      >/<

Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

39. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от maximnik0 (?), 14-Июн-14, 13:06 
> Это в каких условиях ext4 начинает терять данные? Для обычного использования они
> все стабильные.

Обсуждаем же ZFS и большие объемы ?
Проблема начинается с большими данными от 5 и выше терабайт .В некоторых случаях падает индекс (В-дерево) ,проблему частично починили ведением контрольных сумм ,но закавыка осталось (хотя данные и не теряются но нужна проверка разделов ,иначе жуткие тормоза).Поэтому и добавили в ext4 возможность вынести индекс и метаданные в файл или отдельный раздел .Данные черпнутые из толксов на linux.org при обсуждение почему красная шапка не выбрала в новой версии  ext4 по умолчанию .


Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

120. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –2 +/
Сообщение от linux must _RIP__ (?), 16-Июн-14, 20:37 
>> Это в каких условиях ext4 начинает терять данные? Для обычного использования они
>> все стабильные.
> Обсуждаем же ZFS и большие объемы ?
> Проблема начинается с большими данными от 5 и выше терабайт .В некоторых
> случаях падает индекс (В-дерево) ,проблему частично починили ведением контрольных сумм
> ,но закавыка осталось (хотя данные и не теряются но нужна проверка
> разделов ,иначе жуткие тормоза).Поэтому и добавили в ext4 возможность вынести индекс
> и метаданные в файл или отдельный раздел .Данные черпнутые из толксов
> на linux.org при обсуждение почему красная шапка не выбрала в новой
> версии  ext4 по умолчанию .

ext4 спокойно живет на объемах 64-100Т, ну слегка патченый... ну очень патченый.. но живет.
Через пару неделек буду знать как он живет на 160Т per disk, как раз подогнали полку с 6Т винтами.

Ответить | Правка | Наверх | Cообщить модератору

125. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 17-Июн-14, 03:13 
> ext4 спокойно живет на объемах 64-100Т, ну слегка патченый... ну очень патченый..

Линуксрип решил нам рассказать о плюсах опенсорса вообще и линукса в частности - их, оказывается, можно запатчить. А теперь попробуйте такой номер с вашей любимой бздой в каком-нибудь storage appliance :).

Ответить | Правка | Наверх | Cообщить модератору

130. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 07:59 
>> ext4 спокойно живет на объемах 64-100Т, ну слегка патченый... ну очень патченый..
> Линуксрип решил нам рассказать о плюсах опенсорса вообще и линукса в частности
> - их, оказывается, можно запатчить. А теперь попробуйте такой номер с
> вашей любимой бздой в каком-нибудь storage appliance :).

Не поверишь для моей конторы нет разницы. Тем более моя контора и подарила вам ext4.
Так что наслаждайтесь разработкой Алекса и Андреаса.

Ответить | Правка | Наверх | Cообщить модератору

139. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от Аноним (-), 17-Июн-14, 20:28 
> Не поверишь для моей конторы нет разницы.

И правда, не поверю. Исходя из предыдущих сообщений.

> Тем более моя контора и подарила вам ext4.
> Так что наслаждайтесь разработкой Алекса и Андреаса.

Странно, я все-время думал что благодарить надо единолично линуксрипа. А всякие лохи типа Теодора Тсо в эту форумулу чего, вообще не входят? И, кстати, не многовато ли кое-кто на себя берет, учитывая что EXT4 является разогнанным вариантом EXT3, с кучей унаследованного оттуда барахла, а самым крупным отличием являются экстенты. А это, авторов предыдущих ext-ов мы вообще за людей считать не будем? А то как говорится - легко стоять на плечах гигантов.

Ответить | Правка | Наверх | Cообщить модератору

143. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 23:01 
>[оверквотинг удален]
> И правда, не поверю. Исходя из предыдущих сообщений.
>> Тем более моя контора и подарила вам ext4.
>> Так что наслаждайтесь разработкой Алекса и Андреаса.
> Странно, я все-время думал что благодарить надо единолично линуксрипа. А всякие лохи
> типа Теодора Тсо в эту форумулу чего, вообще не входят? И,
> кстати, не многовато ли кое-кто на себя берет, учитывая что EXT4
> является разогнанным вариантом EXT3, с кучей унаследованного оттуда барахла, а самым
> крупным отличием являются экстенты. А это, авторов предыдущих ext-ов мы вообще
> за людей считать не будем? А то как говорится - легко
> стоять на плечах гигантов.

History
ext4 was born as a series of backward compatible extensions to ext3, many of them originally developed by Cluster File Systems for the Lustre file system between 2003 and 2006, meant to extend storage limits and add other performance improvements.[1]

историю надо знать.

Ответить | Правка | Наверх | Cообщить модератору

144. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от linux must _RIP__ (?), 17-Июн-14, 23:02 
>[оверквотинг удален]
> И правда, не поверю. Исходя из предыдущих сообщений.
>> Тем более моя контора и подарила вам ext4.
>> Так что наслаждайтесь разработкой Алекса и Андреаса.
> Странно, я все-время думал что благодарить надо единолично линуксрипа. А всякие лохи
> типа Теодора Тсо в эту форумулу чего, вообще не входят? И,
> кстати, не многовато ли кое-кто на себя берет, учитывая что EXT4
> является разогнанным вариантом EXT3, с кучей унаследованного оттуда барахла, а самым
> крупным отличием являются экстенты. А это, авторов предыдущих ext-ов мы вообще
> за людей считать не будем? А то как говорится - легко
> стоять на плечах гигантов.

ах да, экстенты и mballoc3 - это как раз то что сделал CFS - персонально Alex. учите историю сударь.

Ответить | Правка | К родителю #139 | Наверх | Cообщить модератору

151. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +1 +/
Сообщение от Аноним (-), 19-Июн-14, 03:32 
> ах да, экстенты и mballoc3 - это как раз то что сделал
> CFS - персонально Alex. учите историю сударь.

Знаешь, если некто заменил в автомобиле двигатель и ездить стало лучше - это еще не синоним того что "сделал весь автомобиль". Оказывается была куча других людей без работы которых ничего не получилось бы и текущее состояние и близко бы не стояло к тому что есть сейчас. Поэтому приписывать все заслуги 1-2 человекам - несколько по ханжески. С таким же успехом можно сказать что Мэйсон в 1 лицо btrfs сделал. А фиг, он сделал костяк алгоритмов. А туеву хучу багфиксов и оптимизаций отпахали другие люди вот.

Ответить | Правка | Наверх | Cообщить модератору

155. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  –1 +/
Сообщение от Аноним (-), 19-Июн-14, 16:16 
> С таким же успехом можно сказать что Мэйсон в 1 лицо
> btrfs сделал. А фиг, он сделал костяк алгоритмов. А туеву хучу
> багфиксов и оптимизаций отпахали другие люди вот.

Мэйсон наваял кучу дерьмового кода, ничего общего с алгоритмами не имеющего.

Ответить | Правка | Наверх | Cообщить модератору

156. "Новый выпуск ZFSonLinux 0.6.3, реализации ZFS для ядра Linux..."  +/
Сообщение от Аноним (-), 19-Июн-14, 21:34 
Мэйсон вполне себе посмотрел на существующие дизайны и постарался выдернуть все лучшее, оставив за бортом типовые проблемы. И получилось у него в целом получше чем у многих других (в том числе и сановских инженегров). Он не делал алгоритмы, он их комбинировал. И в целом вышло получше чем у многих других.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру