The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Доступна файловая система Reiser5

01.01.2020 19:17

Доступна для тестирования файловая система Reiser5 с поддержкой логических томов на локальной машине. Основное новшество - это параллельное масштабирование (scaling out), которое осуществляется не на блочном уровне, а средствами файловой системы.

Как преимущество данного подхода заявлено отсутствие недостатков, присущих связкам FS+RAID/LVM и непараллельным ФС (ZFS, Btrfs), таких как проблема свободного места, проседание производительности при заполнении тома свыше 70%, устаревшие алгоритмы компоновки логических томов (RAID/LVM), не позволяющие эффективно распределять данные по логическому тому. В параллельной ФС перед добавлением устройства в логический том, его необходимо отформатировать при помощи стандартной утилиты mkfs.

В Reiser5 используется O(1)-аллокатор свободных блоков. Максимальная стоимость любой операции по поиску свободного блока не зависит от размера логического тома. Возможно просто и эффективно скомпоновать логический том из блочных устройств, разных по размеру и пропускающей способности. Распределение данных по таким устройствам происходит при помощи новых алгоритмов (т.н. "фибер-страйпинг"), предложенных российским математиком и программистом Эдуардом Шишкиным.

Порция запросов ввода-вывода, направленных на каждое устройство равна его относительной ёмкости, назначаемой пользователем, так что логический том заполняется данными "равномерно" и "справедливо". При этом меньшие по ёмкости блочные устройства получают меньше блоков для хранения, а устройства с меньшей пропускной способностью не становятся "бутылочным горлышком" (как это происходит, к примеру, в RAID-массивах).

Добавление устройства в том и удаление устройства из тома сопровождается перебалансировкой, сохраняющей "справедливость" распределения. При этом порция мигрируемых данных также равна относительной ёмкости добавляемого(удаляемого) устройства. Скорость миграции нефрагментированных данных близка к скорости записи на диск. Возможно параллельное обслуживание всех блочных устройств, входящих в логический том, с применением индивидуального подхода к каждому из них (дефрагментация для НЖМД, издание Discard-запросов для SSD, и т.п.). Мониторинг свободного места на логическом томе производится при помощи стандартной утилиты df(1). Помимо этого, пользователю предоставляется возможность отслеживать свободное место на каждом устройстве-компоненте логического тома.

Все операции с логическими томами (добавление, удаление устройств и т.п.) атомарны и реализованы при помощи штатных средств работы с транзакциями в Reiser4. Правильное "развёртывание" тома после прерваной такой операции регламентировано инструкциями. На данный момент в Reiser5 пока нет средств управления off-line (отмонтированными) томами, поэтому пользователям предлагается пока самостоятельно хранить и обновлять конфигурации их логических томов. Такую конфигурацию легко приготовить для примонтированного тома при помощи утилиты работы с логическими томами, входящей в состав пакета reiser4progs.

Из планируемого:

  • Распределение метаданных по нескольким подтомам;
  • Проверка/восстановление логических томов утилитой fsck (путём модернизации старой её версии);
  • Пользовательское управление распределением и прозрачной миграцией данных, имеющее большое значение для HPC-приложений (Burst Buffers);
  • Контрольные суммы данных и метаданных;
  • 3D-снимки (snapshots) логических томов с возможностью отката не только регулярных файловых операций, но и операций над томами (таких как добавление и удаление устройств);
  • Глобальные (networking) тома, агрегирующие устройства на разных машинах.


  1. Главная ссылка к новости (https://marc.info/?l=reiserfs-...)
  2. OpenNews: В файловой системе Reiser4 появилась поддержка зеркалирования
  3. OpenNews: Обновление файловой системы Reiser4 c поддержкой различных транзакционных моделей
  4. OpenNews: Разработчики Ubuntu рассматривают возможность прекращения поддержки ReiserFS
  5. OpenNews: Обновление Reiser4
  6. OpenNews: Ганс Рейзер приговорен к пожизненному заключению с возможностью досрочного освобождения через 15 лет
Автор новости: Аноним
Тип: Интересно / К сведению
Ключевые слова: reiser5, reiserfs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (160) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 20:09, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +41 +/
    Новость из параллельной вселенной.
     
     
  • 2.158, Аноним (-), 09:40, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да не, видимо разработчики все же осилили прочитать описание фич btrfs наконец и... большой текст свёрнут, показать
     
     
  • 3.168, Аноним (168), 12:00, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > А теперь несколько неудобных вопросов: 1) А что оно сделает если питание в этом процессе гавкнется?

    Ели дальше читать новость, там есть такое:

    > Все операции с логическими томами (добавление, удаление устройств и т.п.) атомарны и реализованы при помощи штатных средств работы с транзакциями в Reiser4. Правильное "развёртывание" тома после прерваной такой операции регламентировано инструкциями.

    А если сходить по ссылке, то можно найти:

    > 11. Deploying a logical volume after hard reset or system crash

    Все остальные твои комменты тоже из серии "не читал, но мнение имею".

     
     
  • 4.169, Аноним (169), 00:41, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Ели дальше читать новость, там есть такое:

    Теоретические декларации - это здорово. А на своих данных этот трюк кто-нибудь проверял? :)

    > Все остальные твои комменты тоже из серии "не читал, но мнение имею".

    Все остальные коменты из серии: "а это вообще кто-то на практике запускал?!"

    Просто потому что заявленный фичесет тянет годиков так на много въоппа большой команды с поставленным процессом разработки. С тестированием, профайлингом, бенчмаркингом, дебагом, отловом всплывших проблем и багфиксами. Господа титиретики еще имеют нехорошее свойство думать об отказах оборудования совсем не так как они на практике происходят - после чего их теоретически офигенная конструация делает отличную вермишель из данных. Проверено как минимум ReiserFS3.

     
     
  • 5.171, ПриветКолян (?), 18:50, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Господам из пту вообще не нравятся господа-теоретики. Только, не очень понимаю чья это проблема. И проблема ли вообще.
     
     
  • 6.174, Аноним (174), 07:53, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да они не только господам из пту не нравятся. Можно историю Minix и Linux сравнить для понимания того чем теория отличается от практики.
     
  • 5.172, ПриветКолян (?), 18:54, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "Багфиксы" и прочие тестирования деревянной линейки... другой деревянной линейкой нужны как раз тем, кто не любит теоретиков, а меру работы считает в кол-ве этого самого "въоппа".
     
     
  • 6.175, Аноним (174), 08:02, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Файлухи тестируют не деревянной линейкой а стресстестами и специализированными т... большой текст свёрнут, показать
     
     
  • 7.180, Наме (?), 11:40, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Э, т.е. один код... тестят другим кодом? "... А кто надзирает над наздизартелями?".
    Инженерной практике более-менее хорошо учат в любом техническом ВУЗе. Причём, в российских и европейских даже лучше (в штатах и азии с этим вообще очень плохо). Но продаёт не хорошая научная инженерная практика, а... торгаши. Торгаши не любят шибко умных, боятся их, поэтому лучше экстенсивно и плохенько, но зато в своих руках.
     
  • 5.181, Аноним (168), 13:30, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > тянет годиков так на много въоппа большой команды с поставленным процессом разработки. С тестированием, профайлингом, бенчмаркингом, дебагом, отловом всплывших проблем и багфиксами.

    Если начинать разрабатывать ФС с нуля - то да. Но все почему-то забывают, что Reiser4 - это кодовая база, стабильная и отлаженная годами, причём с большими возможностями.

     

  • 1.2, тот_же_анон_только_с_мабилы (?), 20:10, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +14 +/
    Выглядит чересчур вкусно, чтобы не было дегтя в этой сладкой бочке.
     
     
  • 2.5, timur.davletshin (ok), 20:15, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Проблема давно известна — её не замержат в ядро )))
     
     
  • 3.34, Аноним (34), 22:46, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Из-за фантазий Ларабеля? Ядро - это не группа втентакле, где режут всё, отпугивающее весёлых дебилов, приносящих хозяину группы профит. Ядро же это хардкор, тут весёлых дебилов изначально быть не должно.
     
     
  • 4.41, darkshvein (ok), 00:22, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +9 +/
    вместо весёлых дебилов = СЖВ?
     
     
  • 5.52, SOska (?), 02:24, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну а ты хотел типа вменяемых людей да?
     
  • 5.88, Аноним (34), 17:05, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нет. Весёлые дебилы приходят развлекаться и закрывают вкладку, когда видят что-нибудь не развлекательное. SJW тоже приходят развлекаться, но наоборот набигают, когда видят триггеры. Но жена Рейзера была белой и гетеросексуальной, да ещё и с детьми (не чайлдфри). У SJW триггеры другие. Вот если бы жена Рейзера была из Африки, с пенисом и махала радужным флагом, тогда SJW бы встрепенулись и заклевали.
     
  • 2.7, Аноним (7), 20:23, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +10 +/
    Бесплатный сыр из мышеловки ест вторая мышь.
     
     
  • 3.12, A.Stahl (ok), 20:32, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Имеешь в виду, что EXT надёргает отсюда адекватных вещей если они окажутся жизнеспособными, а труп первой мыши просто будет пованивать себе неспеша?
     
     
  • 4.16, Аноним (7), 20:56, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Таков путь.
     
     
  • 5.66, Аноним (66), 07:49, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ты все сказал.
     
  • 4.22, Аноним (168), 21:18, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    гибель от паразитов - достаточно распространенное явление в этом мире
     
     
  • 5.26, Аноним (26), 21:23, 01/01/2020 Скрыто модератором
  • –2 +/
     
     
  • 6.63, Тот_Самый_Анонимус (?), 07:40, 02/01/2020 Скрыто модератором
  • –3 +/
     
  • 5.176, Аноним (-), 08:06, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Я что-то запутался - а кто на ком в этом случае паразитирует? :)
    - На ядерщиках вроде хрен отпаразитируешь, балласт за борт они умеют.
    - Юзеры на сабже врядли много напаразитируют.
    - Ядерщики на этой штуке? Так они ж ее не берут?
     

  • 1.3, Аноним (34), 20:14, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +12 +/
    А когда Ханс выйдет?
     
     
  • 2.11, Peng (?), 20:28, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Судя по всему, не раньше, чем через год. https://www.opennet.ru/opennews/art.shtml?num=17635
     
  • 2.25, Аноним (25), 21:22, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    https://en.wikipedia.org/wiki/Hans_Reiser
    >As of 2018, Reiser is housed at the Correctional Training Facility near Soledad, California, with a tentative parole eligibility date of January 2020.
     
     
  • 3.40, Аноним (25), 00:16, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да, точно.
    https://inmatelocator.cdcr.ca.gov/Details.aspx?ID=G31008
    >Parole Eligible Date (Month/Year) 01/2020
    >March 05, 2020 / Parole Suitability Hearing / Tentative date for parole suitability hearing
     
     
  • 4.90, бпоон (?), 17:40, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что за слушание подходящего пароля? Это так на инглише комиссия по УДО называется?
     
     
  • 5.92, Аноним (34), 17:49, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Википедия говорит что

    >Parole is the early release of a prisoner who agrees to abide by certain conditions, originating from the French parole ("speech, spoken words" but also "promise").

     
  • 5.121, ммнюмнюмус (?), 13:36, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    korolew_enru (korolew_en-ru)
    parole
      1. n
        1) честное слово, обещание, on ~ (взятый)
    напоруки, (освобождённый) условно;
        2) воен. пароль;
            2. v освобождать под честное слово
     
  • 2.155, Аноним (155), 09:21, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > А когда Ханс выйдет?

    Эх не надо было ему на русской женится, уже бы мы raiserfs 6 имели.

     

  • 1.4, timur.davletshin (ok), 20:14, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    Надеюсь, не Ханс её пишет?
     
     
  • 2.15, Аноним (15), 20:53, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    ОН и предыдущих-то не писал.
     
     
  • 3.33, timur.davletshin (ok), 22:19, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Да ладна! А чо тогда не Шишкин ФС в ядре?
     
     
  • 4.49, Аноним (15), 01:24, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потому что здание не называют в честь строивших его негров.
     
     
  • 5.50, timur.davletshin (ok), 01:38, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    В СССР очень даже называли. Даже дворцы для развлечения "негров" строили и в их честь называли.
     
     
  • 6.75, Denys (??), 12:49, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    То было название в честь класса. Типа все пучком и все народное. А в честь кого-то конкретного - никогда.
     
     
  • 7.77, timur.davletshin (ok), 13:00, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    И конкретные негры были. Стаханов например. Без всякого сомнения негр )))
     
     
  • 8.78, Урри (?), 13:24, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Запомни, гад, стахановское движение с Городок... текст свёрнут, показать
     
     
  • 9.95, Аноним (15), 19:02, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Не так Следи, гад, за моим движением ... текст свёрнут, показать
     
  • 8.131, Аноним (131), 17:26, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    дооооо, стаханов, ага а как насчет того, что на стаханова два негра работало ... текст свёрнут, показать
     
     
  • 9.132, timur.davletshin (ok), 17:29, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Т е разделение труда придумал и ты его осуждаешь за это ... текст свёрнут, показать
     
  • 8.136, Аноним (168), 19:10, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, ты нашел тоже негра Стаханов - он как Юра Гагарин был, еспи даже не попул... текст свёрнут, показать
     
  • 7.152, Юрий (??), 21:10, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не соглашусь. К примеру институт Патриса Лумубы. Он разве не в честь кого-то?
     
     
  • 8.173, ПриветКолян (?), 18:57, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Эй ты, мерзкий белый цисгендерный абузер, Лумумба не негр, а афро-африканская тр... текст свёрнут, показать
     
  • 6.89, Аноним (26), 17:35, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > В СССР очень даже называли. Даже дворцы для развлечения "негров" строили и в их честь называли.

    В СССР негров нет. Есть только братские народы.

    // Были, конечно же.

     
     
  • 7.93, Аноним (34), 17:51, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Афрославяне же.
     

     ....большая нить свёрнута, показать (15)

  • 1.6, Аноним (6), 20:19, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Шишкин до сих пор один всё это делает? Или всё же нашёл помошников?
     
     
  • 2.10, Аноним (7), 20:26, 01/01/2020 Скрыто модератором
  • –10 +/
     
     
  • 3.28, Аноним (28), 21:46, 01/01/2020 Скрыто модератором
  • +8 +/
     
  • 2.30, ыфвыфв (?), 22:01, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Там Иван Шаповалов еще мелькает.
     
     
  • 3.39, Аноним (39), 23:26, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Этот https://ru.wikipedia.org/wiki/Шаповалов,_Иван_Николаевич что-ли?
     
     
  • 4.72, Аноним (72), 11:04, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати тоже довольно далеко отъехавший чувак. Но вроде не особо буйный.
     
  • 3.44, n80 (?), 00:59, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это который intelfx? Помню, как-то IRL с ним общался, в т.ч. на тему Reiser4. Крайне интересный разработчик, пусть и молодой.
     
  • 3.82, Аноним (82), 15:25, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А Даня Шаповалов будет или как?
     

  • 1.13, Аноним (13), 20:48, 01/01/2020 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • –7 +/
     
     
  • 2.17, Аноним (7), 20:57, 01/01/2020 Скрыто модератором
  • +1 +/
     
  • 2.19, Аноним (19), 21:06, 01/01/2020 Скрыто модератором
  • +6 +/
     

     ....ответы скрыты модератором (2)

  • 1.14, Аноним (14), 20:49, 01/01/2020 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • –14 +/
     
     
  • 2.21, Аноним (26), 21:18, 01/01/2020 Скрыто модератором
  • +7 +/
     

  • 1.20, Анонимкос (?), 21:12, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Какая сила мотивирует Эдуарда проделывать подобную работу?

    Работы много, конкурировать сложно с другими ФС, тем более без включения в ядро.

    Чтобы люд начал хоть как-то использовать нужны статьи, тесты и пиар. Ну и включение в ядро первым делом, так оно хоть растиражируется автоматом.

     
     
  • 2.23, Аноним (26), 21:20, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Какая сила мотивирует Эдуарда проделывать подобную работу?

    Научный интерес, очевидно.
    Проект производит впечатление сугубо академического. Proof of concept.
    Задачи кого-то победить перед ним, похоже, не стоит.

     
     
  • 3.32, nobody (??), 22:06, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А неплохо было бы иметь некое стандартизованное представление данных на сыром ди... большой текст свёрнут, показать
     
     
  • 4.35, Аноним (-), 22:50, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А где и как, собственно, тогда хранить эти самые метаданные Они же тоже должны ... большой текст свёрнут, показать
     
     
  • 5.71, nobody (??), 10:49, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, я не настаиваю, просто говорю, что был бы некий бонус...

    Ну, представьте, например, как вариант: каждый первый блок из 10 - служебный.
    Если выкинуть эти служебные блоки, получим просто диск в современном его понимании.

    Служебные блоки содержали бы описание какой блок к какому файлу относится.
    Да, да, супер-простая, супер тупая, вообще никакая не производительная ФС.

    В то же время, если бы существующие производительные ФС просто дополнительно
    ставили бы пометки в эти служебные блоки, то производительность не сильно бы просела,
    надёжность вообще никак бы не пострадала. Место, конечно, потерялось бы. А бонус бы появился, имхо.

     
     
  • 6.76, Аноним (-), 12:59, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Т.е. все ФС тупо дублируют часть своих данных в одном и том же формате в эти 10% зарезервированных блоков. Ок, представить себе такое я могу.

    Поясните тогда, что делать с:
    * Спец-файлами (типа сокетов и устройств) и мелкими файлами, к которых данные хранятся прямо в inode
    * Сжатыми файлами
    * xattr
    * ФС, которые поддерживают RAID нативно, а не через dm
    * Сбойными блоками, которые попадают в эти 10%

    И, наконец, кто и зачем будет использовать эти 10% резерва. Пока что это выглядит как write-only данные.

     
     
  • 7.83, nobody (??), 15:26, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да, Вы правы, сложностей многовато. Вероятно, итоговый результат того не стоит.
    Что касается Reiser5, нововведения весьма симпатичны.
     
     
  • 8.99, Аноним (-), 19:45, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Тут согласен ... текст свёрнут, показать
     
  • 4.42, Аноним (42), 00:27, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если мне не изменяет память, это уже было в VMS.
     
     
  • 5.109, DeadMustdie (??), 22:12, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Если мне не изменяет память, это уже было в VMS.

    Было и есть в OpenVMS.
    Есть аналог в мире Unix/Linux в виде IBM Spectrum Scale, в девичестве GPFS.

     
  • 4.46, Аноним (46), 01:16, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну да, а то сейчас у всех фс одинаковый подход к хранению данных, надо было общее делать, во идиоты. Намекаю, что такой вариант не жизнеспособен хотя бы потому, что каждая фс должна иметь контроль над разложением данных на блочном устройстве, иначе, во многих случаях, та просто не сможет эффективно выполнять свою работу
     
     
  • 5.177, Аноним (-), 08:10, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не, ну почему, например SSD чаще всего сделает тебе FTL для твоей файлухи. И все файлухи будут юзать его, независимо от того хотят они этого или нет. Потому что в NAND напрямую они писать все-равно там не смогут, что к лучшему если ФС к такому не готовы. Но и на это нет никаких особых стандартов, кроме того что наружу вывешивается якобы умение якобы работать с вон такими секторами на якобы линейном пространстве. А чего там у кого на блинах и в nand флешках на самом деле - только фирмвара железки и знает...
     
  • 4.170, Аноним (-), 00:48, 09/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > И всё-таки это было бы неплохо.

    Осталось только придумать набор алгоритмов, который бы устроил все файловые системы и типы устройств хранения. Как там святой грааль поживает, его уже выкопали?

     
  • 2.43, Аноним (43), 00:54, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Полагаю, Эдуарда вполне устраивает текущая ситуация. Его интересуют алгоритмы, а не возня в lkml.
     
     
  • 3.96, Аноним (15), 19:05, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "Меня интересуют только мыши, их стоимость и где преобрести." (c)
     
  • 3.153, Аноним (153), 06:25, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    тем более, зачем отнимать кусок хлеба у тн "мейнтейнеров"
     
     
  • 4.157, Аноним (26), 21:04, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ни один мейнтейнер в здравом уме это мейнтейнить не будет. Даже сам Шишкин в интервью неоднократно заявлял, что он не заинтересован во включении Reiser4 в ядро, потому что тогда её придется допиливать до рабочего состояния, а у него есть более важные дела. С Reiser5, очевидно, аналогично.
     
  • 3.159, Аноним (159), 09:43, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Его интересуют алгоритмы, а не возня в lkml.

    "Я тут изобрел крутой двигатель, но меня только процессы в нем интересуют. Проблемы фабрик с его производством и проблемы сервисов с эксплуатацией мне не интересны."

     

  • 1.24, Грусть (?), 21:21, 01/01/2020 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • –4 +/
     
  • 1.27, Аноним (27), 21:44, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    А тесты на форониксе есть?
     
  • 1.29, Аноним (29), 22:00, 01/01/2020 Скрыто модератором [﹢﹢﹢] [ · · · ]
  • –6 +/
     
     
  • 2.37, Аноним (37), 22:56, 01/01/2020 Скрыто модератором
  • –1 +/
     

  • 1.31, Аноним (31), 22:04, 01/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А этой "Чудо-юдой" кто нибудь пользуется?
    Чет по описанию прям коммунизм обещают.
     
     
  • 2.36, Аноним (37), 22:56, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Как выше написали поест кто-то этот кактус, посмотрит, а потом растащат все идеи\код\алгоритмы кто куда так что можно не напрягаться.
     
     
  • 3.38, Аноним (31), 23:01, 01/01/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Из BTRFS не перетянули, из XFS не перетянули, а тут как возьмут...
     
     
  • 4.47, Аноним (46), 01:17, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    А в xfs было что перетягивать? Если было, может уже и перетянули, а мы и не заметили? Я к тому, что она ничем особо не примечательна на сей день
     
     
  • 5.139, Michael Shigorin (ok), 22:55, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, экстенты особенно -- вообще никуда не перетянули.  Эх, дети.
     
     
  • 6.161, Аноним (159), 09:46, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    reflinks в xfs кой-как перетянули, только работает оно там как-то очень странно. XFS всегда был странный с метаданными, а с этим вообще стало тупить на ровном месте.
     
  • 4.48, Аноним (46), 01:18, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Или, может, ты хотел упомянуть ZFS?
     
     
  • 5.162, Аноним (159), 09:47, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Чего у них перетягивать? Там даже экстентов по сути нет. И остальное какое-то странное, так что без подпора терабайтом оперативки работает как черепаха.
     
  • 2.160, Аноним (159), 09:44, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Чет по описанию прям коммунизм обещают.

    А там все как с коммунизмом - придется ждать 70 лет, а потом хряп и почему-то капитализм.

     

  • 1.45, None (??), 01:06, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Вообще непонятно, какие такие плюсы даёт вкрячивание спаннинга в файловую систему.
     
  • 1.51, Аноним (51), 02:15, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    лучше скажите что с BTRFS? оно не стабильно, стабильно или уже мертво?
     
     
  • 2.53, Штирлиц (?), 04:00, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    То что мертво умереть не может
     
  • 2.67, kvaps (ok), 09:07, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Btrfs живее всех живых.

    Тот же Synology уже давно её в своих NAS продвигает.

    OpenSuse тоже предлагает btrfs по умолчанию, вместе со snapper можно настроить автоматическое создание снапшотов на каждый чих и пых.

    Юзать можно.

     
     
  • 3.69, An (??), 10:11, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зато шапка выкинула
     
     
  • 4.70, kvaps (ok), 10:42, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Шапка его выкинула из-за того что его сложно поддерживать в своих enterprise-ядрах, тем не менее из upstream ядра его никто выкидывать пока не собирается
     
     
  • 5.150, лютый жабби (?), 16:31, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Шапка его выкинула из-за того что его сложно поддерживать в своих enterprise-ядрах

    Дык, это и есть труп. 90% серверов под Шляпкой. А оставшиеся локалхосты не роляют...

     
     
  • 6.163, Аноним (163), 09:49, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это наверное опечатка, 90% серваков - под убунтой. Ну может дебианом еще каким до кучи. Шапка - только у богатого энтерпрайза, готового за саппорт платить. Их немного в количественном соотношении.

    Ну и если кто и не роляет - так это шапка на технологии хранения. Они вон рефлинки на xfs как ... на лампочку натянули. Получилось черт знает что и с боку бантик.

     
  • 3.91, Аноним (26), 17:40, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Тот же Synology уже давно её в своих NAS продвигает.

    Ну, Synology не сильно заботится о сохранности данных на конечных клиентских устройствах.

    > Юзать можно.

    Если не смущают ENOSPC, даже когда по btrfs filesystem df дофига свободного места и для данных, и для метаданных.

     
     
  • 4.98, kvaps (ok), 19:38, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну, Synology не сильно заботится о сохранности данных на конечных клиентских устройствах.

    Хорошее заявление, проверять я его конечно не буду.

    Synology - один из самых известных производителей soho и pre-enterprise NAS.
    Думаю они не стали бы рисковать своей репутацией ради пары свистоперделок, если бы не были в этом на 100% уверены.

    > Если не смущают ENOSPC, даже когда по btrfs filesystem df дофига свободного
    > места и для данных, и для метаданных.

    Юзаю btrfs в качестве основной фс на ноуте уже как три года, никаких проблем с нехватой места в ней не замечал.

     
     
  • 5.100, Аноним (26), 20:27, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Synology - один из самых известных производителей soho и pre-enterprise NAS.

    Печально известных, я бы сказал.

    > Юзаю btrfs в качестве основной фс на ноуте уже как три года, никаких проблем с нехватой места в ней не замечал.

    И что это должно доказывать? Есть люди, которые встречали. Я насмотрелся на их интересную жизнь, и не хочу вступать их ряды.

     
     
  • 6.117, Аноним (117), 07:21, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> Юзаю btrfs в качестве основной фс на ноуте уже как три года, никаких проблем с нехватой места в ней не замечал.
    > И что это должно доказывать? Есть люди, которые встречали. Я насмотрелся на
    > их интересную жизнь, и не хочу вступать их ряды.

    Я встречал. Ничего интересного. Дело было в железе, eMMC накопитель не всегда успевал обработать запросы во время распаковки большого архива.

     
     
  • 7.129, Аноним (26), 16:40, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    В том случае, который я видел — дело было не в скорости, даже на одиночный touch был ENOSPC.
    Кажется, что проблема была в нехватке места под метаданные, хотя
    Metadata, DUP: total=902.00MiB, used=564.00MiB
     
     
  • 8.145, Аноним (117), 08:25, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Проявляется проблема именно так, да Причину возникновения указал выше Возможно... текст свёрнут, показать
     
  • 7.164, Аноним (163), 09:52, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    С другой стороны, для системы на том eMMC сделать схему хранения DUP - очень козырно так получается. Только сравните: у конкурента при единственном бэде на сыпучем NAND операционка заваливается, а у вас - btrfs икает про восстановление из копии и никто ничего не замечает. Экономия на вовзвратах и злых пользователях получается отличная. И можно сколько угодно рассказывать про RAID и прочее, а теперь попробуйте найти куда еще один eMMC для этого прицеплять к вон тем одноплатникам, например.
     
  • 3.138, Gogolist (?), 22:18, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А вот интересно, хоть кто-то из тех, кто пишет что "OpenSuse продвигает btrfs" читали гайд админа, в котором написано: "Не используйте btrfs для хранения данных, она рекомендована только для размещения операционной системы.
     
     
  • 4.147, kvaps (ok), 09:21, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вопрос был не об области применения, а о стабильности и доступности данной фс.
    Так как в связи с последними действиями Red Hat у многих сложилось ложное впечатление что её вообще закопали в сообществе.
    Я попытался объяснить, что это не так.
     
     
  • 5.165, Аноним (163), 09:53, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    На данный момент у нее с стабильностью получше чем у редхата с хранением вообще. Разработчики btrfs-а куда активнее самого редхата используют xfs'ные тестовые тулсы. Сугубо по git log'у.
     
  • 2.116, Аноним (116), 02:54, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Лет пять назад btrfs была годной. С каждым новым ядром только хуже становилась, щас ей вообще пользоваться не возможно. При загрузке торрентов какое то адовое изнасилование HDD начинается на пример, с диким треском головок. Перерыл кучу материала, но это никак в итоге полностью исправить не удалось. Да и вообще скорость просела очень сильно. Ушёл год назад на ext4 и склеил харды через mdadm, вспоминаю как страшный сон теперь.
     
     
  • 3.178, Аноним (-), 08:12, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это называется: за 5 лет я тут наплодил торентами дикое количество фрагментов. Это все ФС виновата! :)
     
     
  • 4.179, Аноним (-), 08:14, 10/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    p.s. а ман читать не модно, особенно про btrfs filesystem defragment. Ну ты с ext4 покачай торенты 5 лет - и расскажешь как оно. Может заодно узнаешь нафига для него e4defrag запилили. Хотя с таким подходом наверное проще будет сказать "гамно этот линукс, я вот пересоздал ntfs - на пустом томе торенты просто летают!" :)
     

  • 1.54, Аноним (54), 04:59, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Наконец-то грамотный подход к созданию ФС с полным пониманием дела, а не жалкая попытка склонировать ZFS у FreeBSD и выдать за "принципиально новую ФС"
    Но всё равно будет цирк с понями и тупейшие отмазы в духе "надо чтобы блочный уровень использовался для совместимости, а без этого отказываемся принимать в ядро"
    А вот своё Btrfs не пахнет 💩
     
     
  • 2.68, Anonymous123 (?), 09:27, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +7 +/
    >ZFS у FreeBSD

    Клоун, ты совсем поехавший?

     
     
  • 3.84, Аноним (26), 16:02, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ZFS создана разработчиками FreeBSD. Solaris создан разработчиками FreeBSD. Даже Linux создан разработчиками FreeBSD (потому что без конкуренции скучно).
     
     
  • 4.97, Аноним (15), 19:06, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И даже небо, даже Аллах.
     
  • 4.110, Аноним (34), 22:18, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А вертолёт и самолёт создала партия.
     
  • 4.151, Аноним (151), 20:41, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Линукс создан пользователем Спектрума. QL. Так что почитайте "дидов"
     

  • 1.55, Fardok (?), 05:15, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Звучит няшно. Zfs на помойку!  Тем более что эта хрень кеш насилует по кд
     
     
  • 2.101, letsmac (ok), 20:40, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ZFS это для СХД и файлопомоек с самбой, там ей хорошо.  Райзер изначально для замены пулов от новелки был. Но устарел уже давно.  
     

  • 1.56, Fardok (?), 05:17, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Комменты огонь. Вспомнил холодильник
     
     
  • 2.79, Аноним (79), 13:41, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    ...из 11й серии?
     
  • 2.137, Аноним (137), 21:46, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Который на плоту стоит?
     

  • 1.60, Аноним (60), 05:39, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чем оно лучше btrfs?
     
     
  • 2.80, Аноним (80), 13:57, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Там же сказано: нет проблем со свободным местом
     
     
  • 3.85, Аноним (26), 16:03, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    В смысле, нет места - нет проблем?
     
  • 2.166, Аноним (163), 09:55, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Чем оно лучше btrfs?

    Теоретически алгоритмы более расово верные. Практически, это как коммунизм против загнивающего запада...

     

  • 1.61, Аноним (61), 05:40, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Посоны чем это лучше BetrFS который на Фрактальных индексах?
     
     
  • 2.62, Аноним (61), 05:42, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Есть замеры как Reiser5 спасает от амплификации?
     

  • 1.64, Аноним (64), 07:43, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Когда Рейзер выходит из тюрьмы?
     
     
  • 2.65, Аноним (64), 07:46, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Сорянчики, выше есть ответ.
     
  • 2.124, Аноним (168), 14:37, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Цветы вовремя купить хочешь, чтобы не завяли?
     
     
  • 3.154, Аноним (153), 06:28, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    _комент про искусственные цветы которые не вянут_
     

  • 1.74, Аноним (74), 11:47, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Добавьте прозрачное сжатие и поддержу ссд
     
     
  • 2.105, Сатоши (?), 21:41, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://en.wikipedia.org/wiki/NOVA_(filesystem)
     

  • 1.102, edo (ok), 20:49, 02/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > устаревшие алгоритмы компоновки логических томов (RAID/LVM), не позволяющие эффективно распределять данные по логическому тому

    Я правильно понимаю, что тут нам взамен предлагают некоторый продвинутый JBOD, никакого аналога RAID 5/RAID-Z не планируется?

     
     
  • 2.103, Аноним (168), 21:19, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Да нет там никакого JBODа. Там же вроде объясняется, чем плoх block layer и иже с ним.
     
     
  • 3.104, edo (ok), 21:39, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Речь не про внутреннее устройство, а про то, что RAID-0/JBOD теряют данные в случае выхода из строя одного из носителей. Кому нужны массивы из нескольких дисков, теряющие данные в штатной ситуации?

    Вопрос был "возможна ли поддержка (хотя бы в отдалённой перспективе) каких-либо erasure codes?", подозреваю, что нет.

    P.S. А какие существенные недостатки RAID там указаны? Что на массив из двух разнородных устройств не получится писать с максимальной скоростью? Какой-то уж очень специфичный use case

     
     
  • 4.108, Аноним (168), 21:55, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Может, кто-то захочет составить том из SSD и HDD. Чего тут специфичного?
     
  • 4.119, Аноним (26), 12:56, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Кому нужны массивы из нескольких дисков, теряющие данные в штатной ситуации?

    Судя по популярности LVM — многим.

     
     
  • 5.125, edo (ok), 15:17, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    При всей моей нелюбви к lvm, с поддержкой разных уровней raid там всё нормально

    http://man7.org/linux/man-pages/man7/lvmraid.7.html

     
     
  • 6.127, Аноним (26), 16:32, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Интеграция с mdraid появилась в LVM относительно недавно. До этого были только режимы stripe и mirror, последний был печально известен своим mirrorlog.
     
  • 6.146, . (?), 09:07, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    жаль что эта "поддержка" - всего лишь бесполезная жрущая лишние ресурсы прослойка над все тем же кодом mdraid, не правда ли?

    Интересно, оно по прежнему обеспечивает 2x penalty на raid1 вместо ускорения? (про raid5 write hole неинтересно, она by design.)

     
  • 6.167, Аноним (163), 09:56, 08/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > При всей моей нелюбви к lvm, с поддержкой разных уровней raid там всё нормально

    Пока не попробуешь btrfs device add/btrfs device remove... :)

     
  • 2.106, Сатоши (?), 21:43, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://www.synology.com/ru-ru/dsm/feature/storage_technology
     
     
  • 3.107, edo (ok), 21:45, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > https://www.synology.com/ru-ru/dsm/feature/storage_technology

    Какое это имеет отношение к райзерфс?

     
     
  • 4.113, Сатоши (?), 23:39, 02/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> https://www.synology.com/ru-ru/dsm/feature/storage_technology
    > Какое это имеет отношение к райзерфс?

    Это имеет отношение к улучению btrfs raid, который synology зажали

     
     
  • 5.128, Аноним (26), 16:35, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Это имеет отношение к улучению btrfs raid, который synology зажали

    Ну купите у них девайс и потребуйте исходники, делов-то. Ожидаемо, никаких мега-улучшений там не будет. Apple впаривает дешманские made in PRC железки за много денег, Synology впаривает экспериментальные технологии под видом супа-дупа надёжных.

     
     
  • 6.143, Аноним (143), 05:02, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Покупать нет смысла, можно юзать нашару на x86 https://pikabu.ru/story/nas_server_na_lyubom_zheleze_s_softom_synology_5437965
     
  • 5.148, KonstantinB (??), 14:47, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так сильно улучшили, что в своих собственных продуктах используют для raid обычный md.
     

  • 1.130, Аноним (130), 16:43, 03/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а где исходники?
     
     
  • 2.156, edo (ok), 19:08, 05/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > а где исходники?

    На лоре пишут, что на sf

     

  • 1.133, Аноним (131), 17:29, 03/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    а зачем пихать lvm поверх zfs?
     
     
  • 2.135, Аноним (168), 18:23, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    "lvm поверх zfs" - это оксюморон
     

  • 1.134, Аноним (134), 18:06, 03/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Про сжатие ничего не написано. Оно поддерживается?
     
     
  • 2.140, maximnik0 (?), 00:25, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Придерживается, 2 или 3 варианта.Вообще у райзера4 много
    вкусностей но не пошла в народ,говорят слишком тяжёлая архитектура,бтрфс эта попытка упростить архитектуру( для тех кто не знал основной разработчик работал в компании Райзера).Там на уровне архитектуры заложена возможность подключения модулей с внешней обработкой.Так допустим запилили копирование при записи, хотя поначалу этого не было, там предполагалась атомарная обработка по типу прошло транзакция или отказ .
     
     
  • 3.141, Аноним (134), 01:03, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Речь про reiser5
     
     
  • 4.142, Аноним (168), 01:23, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну и спросил бы у Шишкина - он на русском тоже общается
     
  • 4.149, maximnik0 (?), 15:01, 04/01/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Речь про reiser5

    А насколько я понял из новости это плавный переход, даже старые утилиты сервисного обслуживанич пока подходят.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру