The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows, opennews (?), 06-Сен-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +84 +/
Сообщение от Хряк (?), 06-Сен-17, 10:11 
> никаких гарантий относительно сохранения целостности ФС не даётся

Это главная фишка этой fs и на Linux.

Ответить | Правка | Наверх | Cообщить модератору

2. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –22 +/
Сообщение от X4asd (ok), 06-Сен-17, 10:16 
>> никаких гарантий относительно сохранения целостности ФС не даётся
>
> Это главная фишка этой fs и на Linux.

ага! именно в таком свете она и преподносится!

но правда на практике почему-то визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs.

вот ведь незадача-то! оказывается btrfs в обычном виде (в ситуации БЕЗ включения всех её фишек, а просто используя как обычную файловую систему) -- оказывается на порядок надёжнее традиционных линуксовских журнализируемых файловых систем

Ответить | Правка | Наверх | Cообщить модератору

3. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от Передний конец разработки (?), 06-Сен-17, 10:32 
> но правда на практике почему-то визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs

Верь больше своей секте Oracle.

Ответить | Правка | Наверх | Cообщить модератору

8. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от X4asd (ok), 06-Сен-17, 10:51 
>> но правда на практике почему-то визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs
> Верь больше своей секте Oracle.

чего там верить -- почти вся продвинутая функциональность btrfs числится как экспериментальная. когда она выйдет из этого статуса -- не ясно. конца и края этому нет..

производительность Btrfs в сложных ситуаицях -- в двое меньше чем Ext4/XFS ...

...практически единственное чем btrfs может порадовать это только тем что её CoW-архитектура оказалась более стойкая к аппаратных сбоям чем архитектура Ext4/XFS (по отношению к аппаратных сбоям) . больше приемуществ на сегодняшний момент у Btrfs пока-что ещё нет.

# P.S.: ну конечно всегда найдётся каконибудь упёртый неадекват кто начнёт включать всякие опции типа сжатия данных и встроенный-в-фс-raid -- а потом БАЦ и "ой! ой! у меня всё вдруг посыпалось" .. ды ещё и на старых версиях ядра

Ответить | Правка | Наверх | Cообщить модератору

29. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +5 +/
Сообщение от Аноним (-), 06-Сен-17, 12:34 
> чего там верить -- почти вся продвинутая функциональность btrfs числится как экспериментальная.

Это какая например? Снапшоты и рефлинки работают уж много лет. Сжатие есть, даже два на выбор. Send/receive тоже ничего, хоть и немного нишевая штука. Если это не продвинуто, то что же тогда продвинутость?

Ответить | Правка | Наверх | Cообщить модератору

60. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 15:10 
>что же тогда продвинутость?

RAID5/6

Ответить | Правка | Наверх | Cообщить модератору

69. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 20:39 
> RAID5/6

Это всего лишь одна из фич. К тому же в вике вроде пишут что для свежих ядер большинство известных проблем починено. Из очевидных shortcomings остался факт что ширина stripe всегда по числу доступных устройств, что может быть неоптимально если стораж собран из очень большого количества накопителей.

Ответить | Правка | Наверх | Cообщить модератору

146. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от iav (ok), 08-Мрт-19, 02:50 
в вики оригинала сказано, что парити-райды теряют данные при аварийном отключении в некоторые моменты записи.
Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

147. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от iav (ok), 23-Сен-19, 00:12 
>> чего там верить -- почти вся продвинутая функциональность btrfs числится как экспериментальная.
> Это какая например? Снапшоты и рефлинки работают уж много лет. Сжатие есть,
> даже два на выбор. Send/receive тоже ничего, хоть и немного нишевая
> штука. Если это не продвинуто, то что же тогда продвинутость?

Снапшоты нерекурсивны. Это полный конец обеда.
То есть если ты размазал базу данных по нескольким томам с разными свойствам сжатия, кеширования, размером блока, COW и так далее, как и нужно делать — то консистентный снапшот этой базы целиком ты можешь сделать, только остановив её.
Или у тебя файлсервер, в момент снапшота какие-то файлы перемещаются с одного подтома на другой. Файл вполне может в момент снапшота ещё не прибыть на один подтом, но уже исчезнуть с другого. Потому что снапшот не атомарен.
Добро пожаловать в 1997 год.
И авторы вообще не видят этой проблемы. Этого нет ни в каких планах.

Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

148. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от scorry (ok), 23-Сен-19, 11:03 
>[оверквотинг удален]
> свойствам сжатия, кеширования, размером блока, COW и так далее, как и
> нужно делать — то консистентный снапшот этой базы целиком ты можешь
> сделать, только остановив её.
> Или у тебя файлсервер, в момент снапшота какие-то файлы перемещаются с одного
> подтома на другой. Файл вполне может в момент снапшота ещё не
> прибыть на один подтом, но уже исчезнуть с другого. Потому что
> снапшот не атомарен.
> Добро пожаловать в 1997 год.
> И авторы вообще не видят этой проблемы. Этого нет ни в каких
> планах.

Я кагбэ хотел бы обратить внимание дискутирующих, что эксплуатацию баз данных на CoW файловых системах не рекомендуют вообще. То есть сама идея размещения БД на одной из таких файловых систем дурно пахнет.

Ответить | Правка | Наверх | Cообщить модератору

149. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от iav (ok), 23-Сен-19, 20:10 
И именно по этому для базы выделяют подтом и ставят на нём NOCOW.
Ответить | Правка | Наверх | Cообщить модератору

137. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 09-Сен-17, 18:48 
Сжатие - дефолт практически. Рейди кривые да. Ну и снепшоты все юзают конечно
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

92. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Gannetemail (ok), 06-Сен-17, 23:44 
Т. е. ты оцениваешь качество продукта по тому кто разработчик, а не реальному состоянию продукта? Ну-ну.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

4. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +18 +/
Сообщение от Анонимус2323 (?), 06-Сен-17, 10:32 
Возможно это потому, что Btrfs не так часто выбирает юзверем нежели тот же ext4
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

12. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от X4asd (ok), 06-Сен-17, 11:21 
> Возможно это потому, что Btrfs не так часто выбирает юзверем нежели тот же ext4

ты прав -- именно поэтому выборка получается не такая хорошая чтобы я мог бы сделать АДЕКВАТНЫЕ выводы по случаям "рассыпалась система"..

субъективно -- посыпавшаяся Ext4 я встречал случаи и у себя и у друзей. посыпавшаяся Btrfs -- читал только на блогах/форумах (но во всех случаях блогов/форумах -- конфигурация Btrfs была далека от стандартной.. впрочем авторы блогов так и говорили "зачем тогда нам ставить Btrfs если не пользоваться её продвинутыми фишками? я бы тогда Ext4 поставил бы")

Ответить | Правка | Наверх | Cообщить модератору

26. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +3 +/
Сообщение от Аноним (-), 06-Сен-17, 12:27 
Фороникс гоняет тесты btrfs в крейсерском режиме, за все годы у них сыпалось один раз. За те же годы они и другие интересные баги ФС описывали, тот же ext4 превращал раздел в полные макароны если всего лишь записать очень большой файл.
Ответить | Правка | Наверх | Cообщить модератору

30. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от leap42 (ok), 06-Сен-17, 12:44 
надёжность ext4 вообще, мягко говоря, переоценена: она изо всех сил старается сберечь файлы (чего делать не должна, сохранность значимых данных всегда обеспечена бэкапами), но не  даёт совершенно никаких гарантий сохранности самой себя. большой раздел может устроить 40-минутную проверку после краша, потребовать ручного вмешательства в fsck, а в тяжелых случаях вообще сдохнуть. к счастью в 3.15 (или около того) завезли xfs v5, и теперь нет проблем.
Ответить | Правка | Наверх | Cообщить модератору

44. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от SysA (?), 06-Сен-17, 13:19 
> надёжность ext4 вообще, мягко говоря, переоценена: она изо всех сил старается сберечь
> файлы (чего делать не должна, сохранность значимых данных всегда обеспечена бэкапами),
> но не  даёт совершенно никаких гарантий сохранности самой себя. большой
> раздел может устроить 40-минутную проверку после краша, потребовать ручного вмешательства
> в fsck, а в тяжелых случаях вообще сдохнуть. к счастью в
> 3.15 (или около того) завезли xfs v5, и теперь нет проблем.

Если бы только 40мин! :) У меня бывали случаи, когда около 4 часов тестировалась/восстанавливалась!

Ответить | Правка | Наверх | Cообщить модератору

75. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от anonymous (??), 06-Сен-17, 21:35 
бывало и 16 часов.
А вот zfs может поковыряться в себе часов 20, а потом упасть - и из дампа ядра доктор скажет, что 32 гб раа ей не хватает, нужно хотя бы 64 - и тогда она через 60 часов починется.
Ответить | Правка | Наверх | Cообщить модератору

99. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –3 +/
Сообщение от Аноним (-), 07-Сен-17, 10:58 
> А вот zfs
> и тогда она через 60 часов починется.

В таких ситуациях btrfs быстро скажет, что неисправима и данные не восстановить. Ну, и какой вариант лучше? А вообще, для разных задач — разные ФС. Для Windows, например, берут NTFS и не парятся по поводу сохранности данных (там её нет и не будет).

Ответить | Правка | Наверх | Cообщить модератору

100. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от 123 (??), 07-Сен-17, 12:00 
> Для Windows, например, берут NTFS и не парятся по поводу сохранности данных (там её нет и не будет).

Справедливости ради NTFS надёжнее и легче восстанавливаемая чем EXT4, хотя и значительно медленее. Та же exFAT появшаяся в далёком 2006 фичастее и надёжнее чем не имеющий аналогов ответ на неё в виде F2FS появившейся в 2012-ом. Вот то что майковская ReFS менее фичастая чем btrfs факт, хотя им двоим до zfs далеко-далеко.

Ответить | Правка | Наверх | Cообщить модератору

119. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 07-Сен-17, 22:44 
> Справедливости ради NTFS надёжнее и легче восстанавливаемая чем EXT4,

Убитый EXT4 обычно тупо чинится штатным fsck до монтируемого состояния с минимумом потерь, дальше с него вытаскиваем все что было нужно и вопрос исчерпан. С NTFS такие вещи прокатывают не всегда. Бывает что винда улетает в BSOD на неидеальностях. И если в линухе при этом можно пнуть разработчиков, показав баг драйвера и они его починят, при том при спешке есть шанс получить какой-нибудь экспериментальный патч на проверку весьма шустро, то в винде это глухая ситуация. Как максимум может быть нужные файлы вытащит сторонняя утилита разбирающая NTFS сама, но она стоит отдельных денег и это никак не заслуга ни винды ни майков.

> хотя и значительно медленее. Та же exFAT появшаяся в далёком 2006 фичастее и надёжнее
> чем не имеющий аналогов ответ на неё в виде F2FS появившейся в 2012-ом.

Exfat - жалкая пародия на современную файловую систему, зато патентов как блох на собаке. Это так по ms'овски. F2FS по крайней мере хорошо работает с современными флешами, оправдывая свое название. И если что, гугл и самсунг уже понапихали его в ведроид. Винде же осталось 0.8% рынка, покуда андроид держит больше половины мобильного сегмента.

> Вот то что майковская ReFS менее фичастая чем btrfs
> факт, хотя им двоим до zfs далеко-далеко.

"зелен виноград", типа?

Ответить | Правка | Наверх | Cообщить модератору

124. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 123 (??), 08-Сен-17, 10:04 
> F2FS по крайней мере хорошо работает с современными флешами

Странно было бы если бы умела плохо, учитывая что exFAT писали в те времена когда многих аппаратных фишек попросту не было. 6 Лет разницы между релизами это не шуточки. Но всё же есть хоть одно доказательство плохой работы exFAT?

> Exfat - жалкая пародия на современную файловую систему

Да ну?
F2FS
Max. volume size 16 TB
Max. file size 3.94 TB
exFAT
Max. volume size 128 PiB, 512 TiB recommended
Max. file size 128 PiB (theoretical 16 EiB–1)
Или это основано на том, что она разрабатывалась в начале нулевых, когда флеш накопители имели мягко говоря отличались от начала 10-ых?

Я так понимаю что единственная причина хейта - лицензия и авторы? А факт того, что exFAT можно считать первой и на протяжении 6 лет единственной ориентированной на твердотельные накопители ФС мы просто игнорируем? И то что F2FS только пару лет как начала получать нормальное распространение - тоже опустим.

> андроид держит больше половины мобильного сегмента

И не один год и далеко не один девайс (lg & samsung) поддерживают exFAT. Дальше то что? Или на лептопах и десктопах с шиндоушс люди SSD не используют с флешками?

Ответить | Правка | Наверх | Cообщить модератору

125. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 08-Сен-17, 13:28 
> Странно было бы если бы умела плохо, учитывая что

что самсунг - крупнейший производитель флеш памяти и не очень нуждается в услугах ms по созданию ФС в таком формате? :)

> exFAT писали в те времена когда многих аппаратных фишек попросту не было.

Когда делался exFAT, характерные черты flash уже были. Но майк делал exFAT с своими соображениями, без учета чужих наработок и используя технологии даже не уровня NTFS.

> 6 Лет разницы между релизами это не шуточки. Но всё же есть хоть
> одно доказательство плохой работы exFAT?

Есть доказательства отличной работы F2FS - на флешках, карточках и SSD рвет всех. При этом не обложено патентами, сразу есть в ядре Linux и не надо платить отчисления.

> Max. file size 3.94 TB

Когда solid state устройства такого размера появятся в таком формфакторе (карта памяти, eMMC, ...) - скорее всего наступит время если не совсем переписать, то сильно адаптировать структуры еще раз. Это будет даже не завтра. А сегодня сложно предугадать как делать удобно технологиям которых еще нет.

> exFAT
> Max. volume size 128 PiB, 512 TiB recommended
> Max. file size 128 PiB (theoretical 16 EiB–1)

Флешек такого объема на горизонте не видно, зато на структуры существующего флеша ложится абы как. А еще упрощенные структуры, у них нет причин быть быстрыми. Если туда реально вывалить петабайты, с иерархией под стать - оно имхо загнется по скорости. Зачем тебе 512 терабайтов которые ты будешь вычитывать полжизни?

> Или это основано на том, что она разрабатывалась в начале нулевых, когда
> флеш накопители имели мягко говоря отличались от начала 10-ых?

Общая логика флеша как ни странно осталась похожей. Но оптимизации которые работали на NOR и SLC NAND в случае MLC NAND работать частично перестали. С TLC еще сложнее. F2FS сделан так чтобы прилично укладываться на все варианты, особенно с контроллером (как у usb флешей, sd карт и eMMC). Но будущие варианты и он предусмотреть не может.

> Я так понимаю что единственная причина хейта - лицензия и авторы?

Странно платить отчисления и пыхтеть с лицензиями ради заурядной файлухи, без внятных преимуществ, с старыми технологиями и дурным лицензированием. Особенно когда есть бесплатная альтернатива которая лучше работает на реальных накопителях. Этого достаточно.

> А факт того, что exFAT можно считать первой и на протяжении 6
> лет единственной ориентированной на твердотельные накопители ФС мы просто игнорируем?

А интернет придумал эппл? Очень смешно. Всем кому реально было надо твердотельные накопители (эмбедовка, андроиды и проч) свои проблемы решали, многие годы назад. Без помощи майка. У майка в мелкой эмбедовке доля 0%, в смартах 0.8%, так что я даже не знаю что они используют.

> И то что F2FS только пару лет как начала получать нормальное
> распространение - тоже опустим.

Как отладили, оптимизнули и проверили - так и стала получать распостранение. А тут как раз подходящие флешки подоспели - eMMC пошел в массы недавно. На мелочи в полгига без контроллера народ мог и JFFS2 какой-нибудь использовать.

> Дальше то что?

Догадайся.

> Или на лептопах и десктопах с шиндоушс люди SSD не используют с флешками?

А смысл в exFAT на SSD? Он для такого никогда не позиционировался. Он хоть NT security descriptors умеет? Или системный диск без прав доступа это круто? F2FS то умеет все что положено нормальной линуксной файлухе, типа xattrs, шифрования и проч, его умеют бутлоадеры, поэтому он до кучи сгодится и для root и/или boot разделов на SSD. При этом у файлов будут права доступа, xattrs и прочие прелести к которым мы привыкли в полноценных файлухах.

Ответить | Правка | Наверх | Cообщить модератору

127. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Andrey Mitrofanov (?), 08-Сен-17, 13:48 
>> Странно было бы если бы умела плохо, учитывая что
> что самсунг - крупнейший производитель флеш памяти и не очень нуждается в
> услугах ms по созданию ФС в таком формате? :)

В "услугах" не нуждается, но денег должна. О славный Новый Мир!
https://hitech.newsru.com/article/29Sep2011/msandroidfrplf

>> exFAT писали

Ответить | Правка | К родителю #125 | Наверх | Cообщить модератору

128. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Andrey Mitrofanov (?), 08-Сен-17, 13:51 
>>> Странно было бы если бы умела плохо, учитывая что
>> что самсунг - крупнейший производитель флеш памяти и не очень нуждается в
>> услугах ms по созданию ФС в таком формате? :)
> В "услугах" не нуждается, но денег должна. О славный Новый Мир!
> https://hitech.newsru.com/article/29Sep2011/msandroidfrplf

Или не должна? Но платит!!?
https://lwn.net/Articles/563687/
https://lwn.net/Articles/338981/


>>> exFAT писали

Ответить | Правка | К родителю #127 | Наверх | Cообщить модератору

130. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от scorry (ok), 08-Сен-17, 15:46 
> Есть доказательства отличной работы F2FS - на флешках, карточках и SSD рвет
> всех.

Да ну ладно. Делает аппаратный апгрейд подлежащего железа, что ли?


Ответить | Правка | К родителю #125 | Наверх | Cообщить модератору

138. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от пох (?), 11-Сен-17, 12:53 
> Да ну ладно. Делает аппаратный апгрейд подлежащего железа

просто чуть меньше насилует это железо несвойственными ему операциями. Но для этого надо слишком много знать о его внутреннем устройстве.
При этом железо - _знает_ о внутреннем устройстве exfat/ntfs/fat32, и обычно неплохо с ними уживается. Но мы же хотим ext4, и сравнивать будем только с ней ;-)

Ответить | Правка | К родителю #130 | Наверх | Cообщить модератору

140. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 12-Сен-17, 16:11 
> При этом железо - _знает_ о внутреннем устройстве exfat/ntfs/fat32,

Ничего оно не знает. Там просто flash translation layer, GC и wear leveling в фирмвари. Но поскольку флэш сам по себе крупноблочный - ему удобнее всего если записи идут большими кусками и желательно в разные места (делает жизнь упрощенных FTLов проще). Судя по бенчам F2FS самсунгу удалось сделать жизнь флеша проще. И на SD картах, и на флешках, и на SSD.

Ответить | Правка | К родителю #138 | Наверх | Cообщить модератору

133. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от пох (?), 08-Сен-17, 16:19 
>> F2FS по крайней мере хорошо работает с современными флешами
> Странно было бы если бы умела плохо,

стесняюсь спросить - вы оба ее вообще видели? Или только "да ее ж использует самсуньг!"

Работает она не плохо, а вообще никак - если только...ты не самсунь! (вот так сюпризец, да?)
потому что для правильной настройки - требует сокровеннейших знаний о скрытом от пользователя внутреннем устройстве флэшки, которое ни самсунь, ни любой другой производитель обнародовать не спешит (да куда там - происхождение чипов под фирменными этикетками и то не очень-то узнаешь). Иначе получаешь ровно обратное желаемому - потерю производительности и неэффективный (двойной) механизм распределения нагрузок.

Во всех остальных случаях - пользуйтесь exFat (только, б-же упаси, не в линуксе), fat32 или ntfs (в зависимости от размера) - производители ssd, usb флэшек и всякой sd/tf памяти прекрасно понимают, что ей вряд ли посчастливится попасть в телефон самсуня, поэтому все эти самые внутренние хитрые механизмы перераспределения износа - специально подстроены под особенности именно этих fs (ни разу не ext2+, что характерно) - в том числе особо нежно обходятся с местами, которые те обожают продирать управляющими структурами

про гугль - это гражданин ляпнул неподумавши. Гугль почти никогда не использует f2fs, гугль использует ext4 где можно и где нельзя (почитайте об устройстве несъемных телефонных флэшек, ужаснитесь) - ровно потому, что не самсунь он.

> Я так понимаю что единственная причина хейта - лицензия и авторы?

канешна. (хотя, надо заметить, не лицензия, но патент и убил эту fs. Зачем ms понадобилась эта глупость - хз, ну, опять же это ms времен балмера, там с мозгом уже была напряженка, а вот хватательные рефлексы еще были ого-го)

Ответить | Правка | Наверх | Cообщить модератору

141. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 12-Сен-17, 17:14 
> стесняюсь спросить - вы оба ее вообще видели?

Нене, тут только надутые гуси. Но если посмотришь в хексэдиторе как скомпонован партишн и FAT32 на флехах и SD - увидишь ERASE BLOCK. FTL не знает про FAT или партишн, поэтому если ты форматнешь сам - таблица разделов почти наверняка попадет в тот же erase block что FAT. Там часто делается Read-modify-write и есть шанс что однажды ты останешься без таблицы разделов. С битой копией FAT работать можно, а вот без разделов... Так что основная адаптация - правильно разложенная на фабрике ФС. Можно и самому разложить правильно, но проблема в том что размер ERASE BLOCK и PAGE получить стандартным способом нельзя. F2FS однако старается делать операции в виде не враждебном к такой структуре и там есть несколько настроек под размеры структур. У SSD более навернутые контроллеры, им менее критично, но все-таки, F2FS делает удобно и им. В бенчах за это воздается. Одно дело запись попавшая в ERASE BLOCK целиком и другое - канитель с RMW.

> Или только "да ее ж использует самсуньг!"

Самсунь как один из крупнейших производителей одной из лучших флеш-памятей на планете обладает прекрасной экспертизой в области. В отличие от майкрософта. Самсунгу ФС нужна чтобы выжать лучшее из своей памяти. Так память лучше продается. MS же хочет срубить денег на патентов, на каком-то печальном крапе.

> Работает она не плохо, а вообще никак - если только...ты не самсунь!

Форониксу с их бенчами расскажешь. Если оно даже у Ларабеля нормально работает, это показатель.

> потому что для правильной настройки - требует сокровеннейших знаний о скрытом от
> пользователя внутреннем устройстве флэшки, которое ни самсунь, ни любой другой производитель
> обнародовать не спешит

Проблема в том что стандартные наборы команд пытаются мимикрировать под как бы диск, с как бы 512-байтовыми как бы секторами. Чтобы совместимость не рушить. А то что эта абстракция грубо не соответствует реалиям - следствие. Производители флешек не обнародуют геометрию, но кладут фабричную ФС с ее учетом. ERASE BLOCK можно посмотреть на примере партишна, он с фабы в отдельном блоке идет. И если выровнять на ERASE, выравнивание по page случится само - ERASEBLOCK состоит из эн страниц. Еще очень желательно чтобы характерный размер блока файлухи и его выравнивание совпало с page или было удачно кратным. Блоки ФС попавшие на пересечение страниц - могут убить скорость записи в пару раз.

> (да куда там - происхождение чипов под фирменными этикетками и то не очень-то узнаешь).

Если очень надо - можно узнать и что за контроллер и что за чипы флеша. Но это нестандартные вендорспецифичные методы или экстрим.

> Иначе получаешь ровно обратное желаемому - потерю производительности
> и неэффективный (двойной) механизм распределения нагрузок.

Можно, но F2FS даже в этом случае будет выглядеть относительно удобоваримо для флеша, в отличие от какого-нибудь FAT, где кривое пересечение кластеров с erase blocks и pages достаточно фатально. Чему примером фороникс и Ларабель, понятия не имеющий как и что там выравнивать. F2FS не только оптимизирует выравнивания, но и в целом меняет природу записи так чтобы это было удобно для флеша. Еще CoW ФС неплохо с флешом дружат, даже без специальных выравниваний.

> Во всех остальных случаях - пользуйтесь exFat (только, б-же упаси, не в линуксе)

Нафиг надо. Некромансерская технология от ms.

> fat32 или ntfs (в зависимости от размера) -

... только вы их все-равно правильно не разложите, если геометрию не угадаете.

> производители ssd,

Эти наименее придирчивы и переживут даже неидеальные сочетания. У них FTL очень крутой.

> usb флэшек и всякой sd/tf памяти прекрасно понимают, что ей вряд
> ли посчастливится попасть в телефон самсуня,

Они прекрасно понимают что простой и самый эффективный вариант выжать максимум - оптимально разложить ФС на фабрике. Остальное их не колышет и первый же формат флехи аннулирует эти оптимизации. Поэтому до того как сносить фабричную ФС может быть неплохой идеей прикинуть структуру флеша. Хомяки не в курсе, за что и страдают, теряя в скорости в два раза после первого же форматирования.

> поэтому все эти самые внутренние хитрые механизмы перераспределения износа
> - специально подстроены под особенности именно этих fs

Скорее фабричную структуру ФС подстраивают к физике флеша.

> (ни разу не ext2+, что характерно) - в том числе особо нежно обходятся
> с местами, которые те обожают продирать управляющими структурами

У меня есть выводок карт прекрасно живущий с "etx3 без журнала", если не ошибаюсь аж с 2008 (!!!) года. Это были высокоемкие SD карты, порядка 16 гигов, почти на грани технологий на тот момент. Т.е. скорее всего ранний MLC. Нежный и хрупкий. Редкая карта живет 9 лет даже с FAT. Вот ext'овский журнал - этот да, все портит. Тормозит и повышает износ. Не годится он под геометрию флешек. На SSD однако работает нормально, там FTL выдюживает. И к тому же вывешивает статистику как он ощущает происходящее, можно оценить скорость износа. На SSD ext4 с discard и журналом только метаданных проблем не создает.

> про гугль - это гражданин ляпнул неподумавши. Гугль почти никогда не использует
> f2fs, гугль использует ext4 где можно и где нельзя

В телефонах на ведроиде F2FS сейчас уже довольно частый гость, особенно для внутренней памяти. EXT4 для таких применений - не очень. Ну то-есть вы его или гоняете без журнала, а fsck в телефоне все-таки не рулит, или получаете усиленный wear и тормоза от журнала.

> (почитайте об устройстве несъемных телефонных флэшек, ужаснитесь) -

У меня лежит пара дюжин pdf на NAND и eMMC. Я их читал. Ок, требование рандомизации данных и read disturbance в высокоемких флешках штуки очень интересные. Но в случае карт и флех это проблемы FTL. Если FTL нет, можно на UBIFS посмотреть. Он и FTL и FS для raw nand, которые могут даже в такие причуды.

> канешна. (хотя, надо заметить, не лицензия, но патент и убил эту fs.
> Зачем ms понадобилась эта глупость - хз,

Чтобы денег получить. Но платить денег за ФС где нет вообще никаких выдающихся технологий - затея гнилая. Единственным достижением стал саботаж роста емкости карт и флех на долгие годы. Спасибо майкрософту, аж два раза.

Ответить | Правка | К родителю #133 | Наверх | Cообщить модератору

110. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 07-Сен-17, 20:16 
> В таких ситуациях btrfs быстро скажет, что неисправима и данные не восстановить.

Там всегда можно попробовать "btrfs restore" даже если том вообще не монтируется. Тем не менее, обычно удается прицепить readonly даже порушенные тома с бэдами, даже однодисковой файлухи. У btrfs есть жирный плюс в однодисковой конфигурации: в этом случае метаданные по умолчанию кладутся с схемой DUP - в два разных места накопителя. И если вылез бэд под метаданными, обычная ФС здорово развалится. Btrfs при таком раскладе вытащит метаданные из второй копии. Очень способствует тому чтобы с файлухой потом можно было штатно работать.

> Ну, и какой вариант лучше? А вообще, для разных задач — разные
> ФС. Для Windows, например, берут NTFS и не парятся по поводу
> сохранности данных (там её нет и не будет).

А в случае btrfs цель как раз данные не терять лишний раз. Если это не достигнуто - ок, это баг, его следует починить. CoW как таковой дает довольно много возможностей вынуть свои файлы, если понимать как это работает.

Ответить | Правка | К родителю #99 | Наверх | Cообщить модератору

51. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +4 +/
Сообщение от Аноним (-), 06-Сен-17, 14:09 
>к счастью в 3.15 (или около того) завезли xfs v5, и теперь нет проблем.

А resize в сторону уменьшения в XFS уже завезли? Если нет, то у неё таки есть проблемы.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

65. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от _ (??), 06-Сен-17, 16:40 
А ты не стесняйся - перечисли у кого есть :) А потом пореши - реально ли это проблема?
Ответить | Правка | Наверх | Cообщить модератору

68. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Анонимemail (68), 06-Сен-17, 18:30 
NTFS?
Ответить | Правка | Наверх | Cообщить модератору

96. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от iCat (ok), 07-Сен-17, 05:44 
>NTFS?

А на боевом серваке рискнёшь?

Ответить | Правка | Наверх | Cообщить модератору

101. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от 123 (??), 07-Сен-17, 12:01 
> А на боевом серваке рискнёшь?

У меня вполне себе позитивный опыт был, ничего не отваливалось.

Ответить | Правка | Наверх | Cообщить модератору

70. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 06-Сен-17, 21:13 
> надёжность ext4 вообще, мягко говоря, переоценена: она изо всех сил старается сберечь
> файлы (чего делать не должна, сохранность значимых данных всегда обеспечена бэкапами),

В дефолтном виде с журналом только метаданных - на данные файла ext4 как раз пофиг. Но журнал ext4 можно настроить по разному, от отсутствия до полного журналирования. Но ext4 не может то что может любой уважающий себя CoW (в т.ч. btrfs): запись со скоростью как без журнала но надежностью полного журнала. CoW делает хитрый трюк, используя как журнал всю поверность. За это приходится гонять garbage collector, но нужда писать данные дважды для полного журналирования все-таки отпадает и это серьезный шаг вперед.

> но не  даёт совершенно никаких гарантий сохранности самой себя.

В дефолтовом виде большинства дистров как раз наоборот - саму себя сохраняет, но файл может оказаться наполовину новый и наполовину старый. Большинство типов файлов при этом будет испорчено.

> большой раздел может устроить 40-минутную проверку после краша,

Если не было журнала - нет способа вернуть структуры в корректное состосние быстро. Придется сделать полный обход fsck, если это не сделать - будет риск наломать в процессе работы дров, оперируя некорректными структурами ФС. Это может привести к чему угодно.

> потребовать ручного вмешательства в fsck, а в тяжелых случаях вообще сдохнуть.

Потому что нефиг совсем без журнала гонять, если вы не гугль и не можете восстановить реплику данных с соседней машины.

> к счастью в 3.15 (или около того) завезли xfs v5, и теперь нет проблем.

Там насколько я помню тоже журнал только метаданных. А что будет с данными файла при записи - никто вроде бы и не отвечает за это как раз. Или они что-то сделали по этому поводу? Что-то придумать RH должны, для хоть той же реализации reflink придется сделать что-то типа cow. Но XFS изначально не CoW, RH столько осилит/осилил?

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

74. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от anonymous (??), 06-Сен-17, 21:34 
Та самая xfs, которая считает нормальным при аварии питания, сбое оборудования или крэше в ядре или драйвере занулить неизвестное количество произвольных файлов?
В самом деле, ни единой проблемы. Потому что этим просто нельзя пользоваться.
Совсем.
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

91. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 06-Сен-17, 23:29 
> Та самая xfs, которая считает нормальным при аварии питания, сбое оборудования или
> крэше в ядре или драйвере занулить неизвестное количество произвольных файлов?

Справедливости ради это более-менее починили, последние рецидивы в районе 2.6.28, чтоли. Что самое смешное это было специально, чтобы после краха непривилегированный юзер не ухватил себе кусок чужого файла к которому у него могло и не быть доступа :)

Ответить | Правка | Наверх | Cообщить модератору

102. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 123 (??), 07-Сен-17, 12:04 
> Справедливости ради это более-менее починили, последние рецидивы в районе 2.6.28, чтоли.

Совсем недолго пришлось подождать.
> Silicon Graphics began development of the Extents File System or XFS in 1993
> file system was released under the GNU General Public License (GPL) in May 2000.
> XFS update for 2.6.28 - Oct 31 2008

Ответить | Правка | Наверх | Cообщить модератору

105. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от scorry (ok), 07-Сен-17, 13:11 
> Что самое смешное это было специально, чтобы после краха непривилегированный юзер не ухватил себе кусок чужого файла к которому у него могло и не быть доступа :)

(ядовито) Просто блестящее решение.

Ответить | Правка | К родителю #91 | Наверх | Cообщить модератору

94. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от ананасус (?), 07-Сен-17, 03:04 
Как-то раз у при сбое питания xfs сказала мол поврежден суперблок или что-то такое. И стандартный их fsck послал куда подальше - нету суперблока и запасной тоже поломан, ничего не знаю.
Файлы восстановил какой-то вендовой(!) крякнутой(!) софтиной запущенной из под вайна. Причем с именами и прочим, тоесть структура легко сканится и восстанавливается, но стандартные утилиты фс не умеют это сделать, это просто позор...
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

117. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 0x0 (?), 07-Сен-17, 21:24 
> Как-то раз у при сбое питания xfs сказала мол поврежден суперблок или
> что-то такое. И стандартный их fsck послал куда подальше - нету
> суперблока и запасной тоже поломан, ничего не знаю.
> Файлы восстановил какой-то вендовой(!) крякнутой(!) софтиной запущенной из под вайна.
> Причем с именами и прочим, тоесть структура легко сканится и восстанавливается,
> но стандартные утилиты фс не умеют это сделать, это просто позор...

Сколько раз подряд свет не выключали, а что-то пока ни разу с таким не сталкивался :))

Ответить | Правка | Наверх | Cообщить модератору

131. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Led (ok), 08-Сен-17, 15:52 
> Сколько раз подряд свет не выключали, а что-то пока ни разу с таким не сталкивался :))

Так ты ж выключателем для лампочки игрался. Ты на щитке выключить попробуй.

Ответить | Правка | Наверх | Cообщить модератору

134. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от 0x0 (?), 08-Сен-17, 21:39 
Я уже начинаю верить, что ты рядом со свечой стоял :)))
Ответить | Правка | Наверх | Cообщить модератору

116. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 0x0 (?), 07-Сен-17, 21:22 
Это, наверное, ещё как постараться нужно или иметь такой раздел, чтобы устроить краш с 40-минутной проверкой :))
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

120. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 07-Сен-17, 22:53 
> Это, наверное, ещё как постараться нужно или иметь такой раздел, чтобы устроить
> краш с 40-минутной проверкой :))

Подскажу как ускорить: сначала отключить журнал в ФС, потом - питание. Получишь желаемое. Можно также срубить питание и до загрузки в ОС испортить журнал ФС. Теоретически это само случаться не должно. Практически железо бывает разным и может врать что кэши записаны когда они на самом деле еще в RAM устройства хранения. И если в этот момент гавкнется питание, допущения ФС о работе устройств будут нарушены. При перезагрузке ФС получит не то что ожидалось. Дальше может быть все что угодно. Еще многие ФС думают что если вы читаете данные то они не портятся, а когда вы перезаписываете сектор, перезаписывается только он. Но это может быть и совсем не так. Особенно на SSD.

Ответить | Правка | Наверх | Cообщить модератору

121. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 0x0 (?), 07-Сен-17, 23:15 
А не проще отформатироваться в ext2, а потом уже отключать всё остальное? :))
Ответить | Правка | Наверх | Cообщить модератору

126. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 08-Сен-17, 13:48 
> А не проще отформатироваться в ext2, а потом уже отключать всё остальное? :))

Если проще - отформатируйся, я не возражаю. Проблема в том что реальное оборудование может нарушать допущения с которыми делали ФС. Накопители на основе флеша вообще чревато отключать без отправки команды на шатдаун. SSD даже считают сколько раз их срубили без предупреждения. В фоне в фирмвари может крутиться GC и проч, его внезапно обрубить - никто не поручится что будет. У SD карт не так уж редко случается полное разрушение, когда питание пропадает в середине обновления таблиц трансляции блоков. Блоки оказываются перетасованы как колода карт. И там не то что файлов, там ФС нет, таблицу разделов спасибо если найдешь. Где-нибудь в середине флехи.

Поэтому, представляешь, все может развалиться от всего лишь слета питания. Иногда настолько что умирает стораж, особенно этим грешат SD карты и дешевые флехи.

Ответить | Правка | Наверх | Cообщить модератору

132. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Led (ok), 08-Сен-17, 15:54 
> А не проще отформатироваться в ext2, а потом уже отключать всё остальное? :))

"ext2" != "ext4 без журнала".

Но вы этого ещё не проходили - это уже в 8-м классе у вас будет.

Ответить | Правка | К родителю #121 | Наверх | Cообщить модератору

135. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от 0x0 (?), 08-Сен-17, 21:48 
Да, ладн, чувак, успокойся ...тем более, что проблемы явно у меня: это ж надо, чтоб так угораздило в эту бочку дерьма однажды попасть )))
Ответить | Правка | Наверх | Cообщить модератору

122. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 0x0 (?), 07-Сен-17, 23:27 
А можно ещё проверять надёжность файловой системы, положив ноутбук в ванну с проточной водой :)))
Ответить | Правка | К родителю #120 | Наверх | Cообщить модератору

123. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от 0x0 (?), 07-Сен-17, 23:34 
Это могло бы стать чем-то вроде теста на стойкость ФС к водяному охлаждению :)))
Ответить | Правка | Наверх | Cообщить модератору

14. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +4 +/
Сообщение от paulus (ok), 06-Сен-17, 11:24 
>btrfs не так часто выбирает юзверем

в сузе вроде по умолчанию

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

6. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +3 +/
Сообщение от Аноним (-), 06-Сен-17, 10:34 
а в процентном отношении от числа установок?
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

27. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 06-Сен-17, 12:29 
> а в процентном отношении от числа установок?

У фэйсбука на нем дохрена серверов. При том у них нагрузки выше среднего десктопа, раз так в эн. По этому поводу сразу после деплоя был всплеск багфиксов, а потом стало так же как во всех остальных ФС. Т.е. какие-то "дежурные" фиксы в примерно тех же количествах и severity.

Ответить | Правка | Наверх | Cообщить модератору

32. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +5 +/
Сообщение от SysA (?), 06-Сен-17, 12:48 
>> а в процентном отношении от числа установок?
> У фэйсбука на нем дохрена серверов. При том у них нагрузки выше
> среднего десктопа, раз так в эн. По этому поводу сразу после
> деплоя был всплеск багфиксов, а потом стало так же как во
> всех остальных ФС. Т.е. какие-то "дежурные" фиксы в примерно тех же
> количествах и severity.

Важно не сколько, а что на них стоит!

И не надо передергивать и тупо ссылаться на ФБ - обычно вменяемые люди БТР ставят под контейнеры (очень удобно, кстати), и таки да, их много, но нагрузка на ФС мизерная. Зато ФС под данными (неважно базы или что еще) кряхтит и пашет, но там БТР'ом и не пахнет, ибо была бы полная труба! Например, где-то полгода назад я мигрировал дюжину dev-хостов с БТР'а (любимая игрушка шефа) на ЕХТ4, потому как на задачах типа rsync и/или SVN даже с тысячами (а у нас десятки тысяч) небольших файлов БТР просто дохнет/висит несмотря на то, что даже SSD стоит!

Ответить | Правка | Наверх | Cообщить модератору

72. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 06-Сен-17, 21:24 
> Важно не сколько, а что на них стоит!

На них стоит Linux, разумеется. Или это про набор софта? Там по разному - у них есть разные группы серверов под разные задачи.

> И не надо передергивать и тупо ссылаться на ФБ - обычно вменяемые
> люди БТР ставят под контейнеры (очень удобно, кстати), и таки да,
> их много, но нагрузка на ФС мизерная.

Еще под виртуалки удобно - еще лучше чем контейнеры, reflink для кучи одинаковых виртуалок то что доктор прописал. Удобно также чинить терабайтнй образ порушеной ФС, сделав рефлинком рабочую копию. Снапшоты пригодятся на системном диске - можно вернуть систему в рабочее состояние за пару минут независимо от масштаба дестроя, даже если это окажется rm -rf /usr /bin/something какой-нибудь.

> Зато ФС под данными (неважно базы или что еще) кряхтит и пашет, но там БТР'ом
> и не пахнет, ибо была бы полная труба!

Это сильно зависит от характера нагрузки и как эта нагрузка дружит с устройством ФС. Заставить натужно кряхтеть можно любую ФС.

> Например, где-то полгода назад я мигрировал дюжину dev-хостов с БТР'а
> (любимая игрушка шефа) на ЕХТ4, потому как на задачах типа rsync и/или SVN даже
> с тысячами (а у нас десятки тысяч) небольших файлов БТР просто дохнет/висит
> несмотря на то, что даже SSD стоит!

Это здорово зависит от того какие именно операции с этими тысячами файлов делать. Что делает svn - я честно говоря не знаю. Он у меня не установлен уже несколько лет к ряду, увы. Я git'ом пользуюсь, особых проблем с btrfs на проекте размером с линуксный кернел вроде не видно. Более крупных проектов у меня под рукой нет.

Ответить | Правка | Наверх | Cообщить модератору

7. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +4 +/
Сообщение от Аноним (-), 06-Сен-17, 10:48 
>визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs

Что такое "выборка" знаешь?

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

13. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –3 +/
Сообщение от X4asd (ok), 06-Сен-17, 11:22 
> Что такое "выборка" знаешь?

нет

Ответить | Правка | Наверх | Cообщить модератору

16. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от KonstantinB (ok), 06-Сен-17, 11:50 
> но правда на практике почему-то визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs.

См. "парадокс доступности информации".

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

18. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:05 
Журналирование по сути менее безопасно, чем перекидывание указателей
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

19. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:07 
В btrfs еще контрольные суммы всюду
Ответить | Правка | Наверх | Cообщить модератору

25. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 12:23 
> В btrfs еще контрольные суммы всюду

А в случае если ситуация отлична от идеала - можно еще использовать btrfs restore. Утилса попробует прочитать все что читается, без использования драйвера ФС. Можно руками потыкаться в разные generation если при записи новых данных случилось что-то сильно нестандартное, искусственно вернув себя немного в прошлое, когда все еще работало как надо.

У кого еще такие тулсы есть? Для винды такое есть для fat32 и ntfs, от сторонних производителей типа парагона и за отдельные деньги. А под другие ФС таких программ вообще нет, так что если файлуха не смонтировалась - это все, хана. Можете в хексэдиторе разбирать. Так иногда делают для очень ценных файлов, но сколько файлов вы так достанете?

Ответить | Правка | Наверх | Cообщить модератору

28. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 06-Сен-17, 12:33 
П-ф-ф-ф, в DragonFlyBSDшном HAMMER такое всегда было.
Ответить | Правка | Наверх | Cообщить модератору

36. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 13:03 
> П-ф-ф-ф, в DragonFlyBSDшном HAMMER такое всегда было.

А чего пффф? Разработчики хаммера еще один пример тех кто не стал утыкаться в технологии 90х и пошел дальше. Беглый взгляд на структуры оставил положительное впечатление. Собственно, их проблема в том что это какой-то узкомаргинальный клон бсды. Файлуха симпатичная, но ОС состоит не только из ФС. И вот в этом месте линукс стрекозу очень обижает.

Ответить | Правка | Наверх | Cообщить модератору

35. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от SysA (?), 06-Сен-17, 12:57 
>[оверквотинг удален]
> btrfs restore. Утилса попробует прочитать все что читается, без использования драйвера
> ФС. Можно руками потыкаться в разные generation если при записи новых
> данных случилось что-то сильно нестандартное, искусственно вернув себя немного в прошлое,
> когда все еще работало как надо.
> У кого еще такие тулсы есть? Для винды такое есть для fat32
> и ntfs, от сторонних производителей типа парагона и за отдельные деньги.
> А под другие ФС таких программ вообще нет, так что если
> файлуха не смонтировалась - это все, хана. Можете в хексэдиторе разбирать.
> Так иногда делают для очень ценных файлов, но сколько файлов вы
> так достанете?

Зато у БТР'а вообще нет поддержки multipath'а! :) Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..

Можно, конечно, приделать костыль посредством установки БТР'а поверх программного дискового массива (mdadm RAID), и все это будет нормально работать, но это все же костыль.

А для локалхоста, пожалуйста, ставь что хочешь.

Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

41. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +3 +/
Сообщение от Аноним (-), 06-Сен-17, 13:14 
> Зато у БТР'а вообще нет поддержки multipath'а! :)

А это вообще точно должно быть в именно ФС а не как generic услуга ядра для всех?

> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..

У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с попытками сделать Очень Большую Машину - напоминает историю мамонтов.

> массива (mdadm RAID), и все это будет нормально работать, но это все же костыль.

Действительно, костыль.

> А для локалхоста, пожалуйста, ставь что хочешь.

У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они куда как.

Ответить | Правка | Наверх | Cообщить модератору

47. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от SysA (?), 06-Сен-17, 13:36 
>> Зато у БТР'а вообще нет поддержки multipath'а! :)
> А это вообще точно должно быть в именно ФС а не как
> generic услуга ядра для всех?

Нет, для нормальных ФС.
и да, для БТРа, поскольку БТР нативно САМА работает со СВОИМ набором дисков, а иначе практически все ее преимущество и эффективность пропадают.

>> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется миллионами ТАКОЕ ставить?!..
> У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с
> попытками сделать Очень Большую Машину - напоминает историю мамонтов.

Еще раз - БТР там далеко НЕ везде! И читай "(хотя бы) миллионами" - так легче? :)

...

> У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они
> куда как.

Перечитай внимательно мой пост - для контейнеров БТР практически идеальная система ибо позволяет создавать подтома на лету без задержек. Но при интенсивной работе с множеством мелких файлов - тормоза. Такие же тормоза при заполнении ФС.

И их "локалхосты" используют собственные решения, где тот же БТР - лишь частный случай, причем даже не столь уж значительный.

Ответить | Правка | Наверх | Cообщить модератору

85. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 22:21 
> Нет, для нормальных ФС.

Я преклоняюсь перед гуру. Это мощное и убедительное архитектурно-техническое обоснование правоты. А критерии нормальности для ФС можно увидеть, о великий?

> и да, для БТРа, поскольку БТР нативно САМА работает со СВОИМ набором
> дисков, а иначе практически все ее преимущество и эффективность пропадают.

БТР в лине с одной стороны делает райд кастомно, чтобы иметь возможность делать его по chunk-ам, без привязки к блочным девайсам и их размерам. С другой реюзает услуги ядра линукс по максимуму. Поэтому в отличие от "нормальных" не прет свой менеджер кэша. И даже чексумы и алгоритмы райд - из модулей ядра линя, они же используются и другими. А как это на устройства потом раскидать - второй вопрос.

Откуда напрямую напрашивается вопрос - где в случае линукса таким вещам на самом деле место. Судя по описанию от этого могут выиграть и другие ФС, не? А распихивание этого в именно ФС ничего уникального не дает вроде?

> Еще раз - БТР там далеко НЕ везде! И читай "(хотя бы) миллионами" - так легче? :)

БТР там напихан довольно много где, более чем достаточно для крупномасштабных тестов, оптимизаций, исправления кучи багов и проч. И поимки нескольких глючных контроллеров на серверах.

> Перечитай внимательно мой пост - для контейнеров БТР практически идеальная система ибо
> позволяет создавать подтома на лету без задержек.

Мне рефлинки нравятся. Можно поднять эн похожих виртуалок с жирным диском из шаблона в мгновение, места вся армада почти не займет: хранятся только отличия от readonly шаблона, которые запишутся в сторонку по мере появления отличий. Этот фокус может вызвать отвис челюсти у тех кто не знает что такое рефлинки. Ведь подъем такой армады обычным методом займет добрых полчаса и дико грузит стораж. Главное не сильно наглеть с числом рефлинков, иначе может просесть. Но даже с этим ограничение довольно эпично. Потому что остальные и так не могут.

> Но при интенсивной работе с множеством мелких файлов - тормоза.
> Такие же тормоза при заполнении ФС.

У CoW есть поводы для фрагментации. Особенно если ФС забита. Но можно врубить автодефраг и реже чекпойнтить, например. Автодефраг несмотря на название всего лишь пытается оптимизировать записи для более линейного размещения, объединяя их. Возможно имеет смысл дефрагить иногда, если к мелким файлам много кусочков дописывается, так что cow делает много фрагментов. Может быть in place хранение мелких файлов плохо работает. Но я не знаю что за файлы, насколько мелкие и что с ними делают. Может быть ваша нагрузка неудачна для CoW. Так навскидку - git с актуальным линуксным ядром на btrfs работает вполне прилично, хотя файлов там довольно много.

> И их "локалхосты" используют собственные решения, где тот же БТР - лишь
> частный случай, причем даже не столь уж значительный.

Это правда, но это и есть правильный способ создания больших суперструктур. А распальцы технологиями похожими на мамонтов выглядят очень спорно. Сколько крутым железом не бряцай, до уровня мордокниги его не отмасштабировать. Да и сказ про надежность для железа сконцентрированного в одной физической локации выглядит неубедительно. Вот то что вы распределенную ФС размазанную по всей планете не убьете даже метеоритом долбанувшим в датацентр - вот это пожалуй.

Ответить | Правка | Наверх | Cообщить модератору

57. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +6 +/
Сообщение от пох (?), 06-Сен-17, 14:44 
>> Вот ты скажи, как можно в реальном производстве, где стоимость бизнеса исчисляется
>> миллионами ТАКОЕ ставить?!..
> У фэйсбука стоимость бизнеса в миллиардах измеряется. А вся эта гигантомания с

вы стоимость бизнеса с угрозой этому бизнесу поксорьте.
Потому что у мордокниги стоимость гигантская, но если навернется чохом процентов даже 20 котиков - ну пожужжат юзвери немножко, забанят еще по разику сцукенберга, напишут что-нибудь обидное - и дальше котиков понапостят, все равно им пойти некуда.
А у какого-нибудь крохотного банчка даже без права выдачи денег физлицам - один фейл, и привет, все причастные лежат в аккуратных ямках в подвале под хорошим слоем качественного бетона, потому что так дешевле, чем увольнять по банкротству предприятия.

> У фэйсбука и гугли забавные локалхосты. И их много. И масштабируются они
> куда как.

повторяем: фейсбуку и гуле, которую ты на остановке забыл, совершенно, феерически наcpать на сохранность твоих данных. Да и большей части своих тоже - они уверены, в текущей схеме, что не потеряют разом заметную часть, и им этого вполне достаточно. Поскольку сравнивают где-то так: "при такой аварии мы снижаем эффективность подбора рекламы на столько-то и теряем бабки рекламодателей в таком количестве на такое-то время, пока система не наестся снова. Антиаварийные меры стоят на столько-то дороже, поэтому забьем на них."

_свои_ (там где бабки) они при этом не на люстре хранят ни разу.

Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

90. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от Аноним (-), 06-Сен-17, 23:27 
> вы стоимость бизнеса с угрозой этому бизнесу поксорьте.

На фоне распределенных ФС масштаба планеты, блокчейнов и проч это лишь небольшое стадо мамонтов.

> Потому что у мордокниги стоимость гигантская, но если навернется чохом процентов даже
> 20 котиков - ну пожужжат юзвери немножко, забанят еще по разику сцукенберга,
> напишут что-нибудь обидное - и дальше котиков понапостят,

Когда кто-то пытается доказать что есть лишь один путь, человеку с мозгом следует посмотреть вокруг и увидеть другой путь. Можно вообще не терять котиков. Никогда и никак. В большой инфраструктуре постоянно что-то отказывает - очень кстати если все автоматически реплицируется и чинится. В лучшем случае пользователи не заметят даже отказ пары ДЦ. Суперструктура просядет по скорости из-за снижения уровня репликации и повышения нагрузки в пересчете на сервер. Когда мощности починятся - производительность и уровень репликации восстановится. А что будет с вашими "супернадежными" технологиями если какое-то ЧП вынесет ДЦ? Ах, скажете "service unavailable" и будете рвать зад в режиме аврала? И этих людей предлагается слушать на предмет надежности? Дааааа?

> А у какого-нибудь крохотного банчка даже без права выдачи денег физлицам -
> один фейл, и привет,

Ну вы сами написали почему блокчейны рулят. Попробуйте по такой технологии завалить биткоин?

> на сохранность твоих данных.

Не обязательно. Как вариант есть еще обеспечение надежности на другом уровне абстракций, когда кучка реплик разлетается по географически распределенным машинам. При этом даже отказ целого ДЦ не проблема.

Хинт: отдельно взятому юниту не обязательно быть мощным и надежным для того чтобы получившаяся суперструктура была мощной и надежной.

> Да и большей части своих тоже - они уверены, в текущей схеме, что не потеряют
> разом заметную часть, и им этого вполне достаточно.

Конечно, ведь есть такая штука как репликация. Если часть машин отпадет - и фиг с ними. Можно починить в обычном режиме, а не авральном, после чего производительность вернется на исходный уровень.

> Поскольку сравнивают где-то так: "при такой аварии мы снижаем эффективность
> подбора рекламы на столько-то и теряем бабки рекламодателей в таком количестве
> на такое-то время, пока система не наестся снова. Антиаварийные меры стоят
> на столько-то дороже, поэтому забьем на них."

Скорее ближе к "в случае крупной аварии ваши котики грузятся немного медленнее". Но никто это и не заметит даже без бенчмарков.

> _свои_ (там где бабки) они при этом не на люстре хранят ни разу.

Да при чем тут люстры? В инсталляциях такого масштаба обычно свои решения под именно их задачи. У гугли есть распределенная ФС, она прозрачно переживает отвал ряда машин, никто ничего не замечает. А машины тем временем можно неспешно починить.

Ответить | Правка | Наверх | Cообщить модератору

103. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от 123 (??), 07-Сен-17, 12:13 
С какого перепоя в нити речь о Гугл пошла, у них своя пропиетарная GoogleFS.

Ну Фейсбук так себе пример - достаточно тормозной ресурс, иногда крашащийся и не способный открыть jpg переброшенные через мессенджер, к тому же на пэхэпэ.

Ответить | Правка | Наверх | Cообщить модератору

111. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 07-Сен-17, 20:42 
> С какого перепоя в нити речь о Гугл пошла, у них своя
> пропиетарная GoogleFS.

Это, конечно, немного оффтоп, но слова из песни о современных технологиях хранения не выкинешь. Технологии есть, не учитывать это странно. К тому же большинство достаточно крупных инсталляций рано или поздно приходят к чему-то такому. Не обязательно как ФС, но общая идея остается.

> Ну Фейсбук так себе пример - достаточно тормозной ресурс, иногда крашащийся и
> не способный открыть jpg переброшенные через мессенджер,

А ты попробуй сделать лучше и в таком же масштабе - узнаешь почем фунт лиха.

> к тому же на пэхэпэ.

У них там вроде бы свой особый уличный пых, с хипхопом и виртуалками.

Ответить | Правка | Наверх | Cообщить модератору

33. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от PnDx (ok), 06-Сен-17, 12:52 
Увы, нет. Блоки данных не подписывают (и не видел в плане, но хочу здесь ошибиться).
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

43. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 13:18 
> Увы, нет. Блоки данных не подписывают (и не видел в плане, но
> хочу здесь ошибиться).

Если надо именно цифровые подписи, как предотвращение "разбойного" изменения файлухи, даже атакующим загрузившимся с какой там внешней флехи и проч - это наверное куда-то в сторону IMA смотреть надо. IMA не принципиально какая там ФС, лишь бы xattrs умела. Btrfs в этом плане ничем не хуже других, xattrs он умеет.

Ответить | Правка | Наверх | Cообщить модератору

45. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от PnDx (ok), 06-Сен-17, 13:27 
> Если надо именно цифровые подписи, как предотвращение "разбойного" изменения файлухи,
> даже атакующим загрузившимся с какой там внешней флехи и проч -
> это наверное куда-то в сторону IMA смотреть надо. IMA не принципиально
> какая там ФС, лишь бы xattrs умела. Btrfs в этом плане
> ничем не хуже других, xattrs он умеет.

  Я всего лишь про поблочные хэши. Которые подсказывают, что если сумма не бьётся — данные в блоке тю-тю. Мега-актуально для немагнитных носителей информации.
  ЭЦП на уровне ФС — как-то всё-таки слишком, на мой вкус. Там обычно шифрования хватает.

Ответить | Правка | Наверх | Cообщить модератору

95. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +2 +/
Сообщение от Аноним (-), 07-Сен-17, 03:11 
>   Я всего лишь про поблочные хэши. Которые подсказывают, что если
> сумма не бьётся — данные в блоке тю-тю.

В btrfs для блоков считается crc32. Не предел мечтаний, но для озвученных целей - вполне достаточно.

> Мега-актуально для немагнитных носителей информации.

Там для начала своя ECC. Если она уже не тянет, так что апликухи увидели ошибки - накопитель здорово сыпется и просится в мусор. И если уж мы об этом, CRC32 обладает весьма приличными свойствами отлова битовых ошибок характерных для осыпающегося флеша и для этих целей он выглядит весма неплохим компромиссом.

>   ЭЦП на уровне ФС — как-то всё-таки слишком, на мой
> вкус. Там обычно шифрования хватает.

В случае IMA можно зарубить даже активные атаки при которых атакующий цепляет стораж к своей системе, активно его патчит там, имея на это в своей системе полные права, а потом цепляет обратно к атакуемой системе, в надежде что система купится на это и станет работать с его данными или кодом. В случае IMA такую диверсию можно обнаружить.

А шифрование диска само по себе защищает только от изучения данных атакующим. Но вот если атакующий вместо изучения запишет свои данные, они во что-то расшифруются. Если там не было сильной проверки целостности, атакующий даже не зная ключ может поприкалываться подпихивая системе мусор и устроив fuzzing. Если атакующий может видеть результат расшифровки, за несколько попыток можно более целенаправленно подобрать шифрованный блок, чтобы тот расшифровался во что-нибудь полезное атакующему. Без знания ключа. Можно зарубить сильными хэшами завязаными на ключ, но облом в том что их надо где-то хранить и лобовое шифрование секторов/блоков 1 в 1 тогда уже не получится, надо еще хэши куда-то рассовывать. И умеет ли так хоть кто-нибудь - отдельный вопрос и это надо здорово RTFMать про выбранную схему шифрования.

Ответить | Правка | Наверх | Cообщить модератору

31. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +5 +/
Сообщение от Другой Аноним (?), 06-Сен-17, 12:45 
может быть "визгов от поломанных ext4-файловых систем" больше, потому, что ext4 гораздо чаще используется.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

40. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 06-Сен-17, 13:10 
> но правда на практике почему-то визгов от поломанных ext4-файловых систем -- слышу больше чем от ситуаций с поломанными btrfs

Вероятно это потому, что файловых систем ext4 на пару порядков больше.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

67. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Fomalhaut (?), 06-Сен-17, 18:14 
Соотношение пользователей ext4/btrfs распространи на кол-во поломанный этих ФС и тогда более точно узнаешь реальность.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

144. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –1 +/
Сообщение от Анонимомус (?), 22-Сен-17, 14:41 
Интересно, у меня btrfs два раза вставала колом(было 2 раздела, корень забился при обновлении, /home при повседневной работе), когда заканчивалось место они становились readonly, т.е. даже удалить ничего нельзя, ни файлы, ни снапшоты т.к. нельзя записать, причем по показаниям df занято около 66%, утилиты btrfs выдают вообще полную ересь, ни одно из найденых решений не помогло(балансировки метаданных, что-то типа отключения CoW итд).
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

20. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +1 +/
Сообщение от Аноним (-), 06-Сен-17, 12:08 
> Это главная фишка этой fs и на Linux.

Да ты знаешь, в почти всем софте разработчики пишут AS IS и максимально отказываются от гарантий. Поэтому с какого-нибудь рейзера где fsck разнес раздел или майкрософта, где драйвер нтфс мог вынести даже таблицу разделов ты не получишь ни-че-го.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

37. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от Аноним (-), 06-Сен-17, 13:07 
да уж ;) при обновлении сусе это особенно сказывается
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

73. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  +/
Сообщение от anonymous (??), 06-Сен-17, 21:30 
Можно подумать, они вообще хоть где-то когда-то делаются.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

89. "Проект WinBtrfs 1.0 с реализацией ФС Btrfs для Windows"  –2 +/
Сообщение от Elhana (ok), 06-Сен-17, 22:54 
Будет очень забавно, если в родной версии raid и прочие радости не работают нормально, а в этой написанной с нуля все отлично.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру