The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Вышел релиз сетевой файловой системы POHMELFS

26.04.2008 21:37

Евгений Поляков объявил о выходе релиза POHMELFS, высокопроизводительной сетевой файловой системы с поддержкой кэширования данных и мета-данных на стороне клиента. Основная цель проекта - разработка средства для распределённой параллельной обработки данных.

POHMELFS находится на начальной стадии развития, многие задуманные возможности еще не реализованы. Релиз включает в себя концептуальный код сервера, работающего как пользовательское приложение, и клиента, реализованного на уровне ядра.

Основные возможности:

  • Поддержание локального кэша для данных и мета-данных, согласованного для всех узлов использующих ФС;
  • Обработка данных и событий в асинхронном режиме, за исключением операций с жёсткими и символическими ссылками;
  • Гибкая архитектура, оптимизированная для обмена данных по сети, включая возможность объединения нескольких операций в одну управляющую команду передаваемую по сети;
  • Одна из первичных целей проекта - высокая производительность;
  • Быстрый многопоточный сервер, работающий на пользовательском уровне, по производительности заметно опережающий асинхронный режим NFS сервера, работающего на уровне ядра.

Планы на будущее:

  • Расширение сервера в направлении возможности хранения данных на нескольких устройствах (что-то похожее на зеркалирование), сперва сохраняя данные в разные локальные директории, а затем реализовав возможность зеркалирования на внешние NFS или POHMELFS разделы;
  • Дополнение клиента и сервера средствами параллельного чтения/записи данных с соседних узлов;
  • Реализация средств аутентификации и шифрования передаваемых по сети данных;
  • Возможность автоматического переключения на запасной сервер в случае сбоя текущего;
  • Увеличение производительности передачи данных из асинхронных ядерных потоков в userspace память, через использование функции copy_to_user().

Дополнение: Евгений Поляков, рассказал про некоторые особенности и поделился планами:

"В основном работа была над ядерной клиентской частью, userspace сервер достаточно простой, но дальше основной процесс будет над ним. В ближайших планах по клиентской части поддержка транзакций и блокировок. Так же инвалидация кеша данных клиентов при параллельной записи.

Из-за отсутствия транзакций некоторые операции с метаданными (как например распаковка большого архива) требуют синхронной записи (т.е. запись не может стартовать, пока не создан объект), что снижает производительность (иногда до уровня NFS).

В пользовательском сервере будет добавлена возможность отвечать на lookup и readdir запросы не данными об объекте (информация, которую предоставляет системный вызов stat(2)), а адресом другого сервера, где этот объект находится, т.о. можно будет параллельно считывать данные с нескольких серверов. Пока планируется хранить целиком объекты на отдельных серверах (т.е. весь файл будет на одном сервере, пока без возможности хранить часть на одном, а часть на другом сервере, но это только пока).

Насчёт асинхронного режима, по моему мнению, это наиболее интересная (так и хочется сказать революционная :) часть: клиент может сделать очень много запросов на чтение данных (или директории), а ответы могут приходить (вообще говоря с разных серверов, но это только в планах) в любое время и в любом порядке. Т.о. можно например "подсовывать" информацию о том, что новые объекты были добавлены в директорию (другим клиентом). Это уже реализовано, но код закомментирован в сервере, т.к. не очень понятно, нужно ли это. Таким же асинхронным способом будут приходить сообщения об инвалидации кеша (наверное это будет готово завтра или, если привезут велосипед, то на следующей неделе :).

Насчёт зеркалирования: имеется ввиду возможность хранить один и тот же объект на разных корневых директориях, т.е. клиент видит только один объект, а на самом деле он был скопирован сервером например на разные машины/в разные корневые директории, чтобы не было проблем с чтением содержимого (т.е. клиент создал файл /mnt/test/1, значит он не должен видеть, что на самом деле он живет еще и в /mnt/backup/1 или /mnt/.test/1). Также в обязательном порядке будет зеркалирование с учетом имен, т.е. например '*.jpg' положить в /root1 и /root2, '*.conf' только в '/var/etc' и т.п. правила (пока в виде простейшего регулярного выражения).

По сути работы осталось не очень много (главное это представление о том, что же вообще хочется от системы, и как оно должно быть реализовано), так что такой "дизайн" уже готов. Хотя назвать это полноценным дизайном трудно, скорее эволюционное развитие (где-то я это уже слышал про развитие ядра, сам же и критиковал :)."

  1. Главная ссылка к новости (http://tservice.net.ru/~s0mbre...)
  2. OpenNews: Новое распределенное хранилище данных будет включено в Linux ядро
  3. OpenNews: Сравнение производительности сетевых файловых систем POHMELFS и NFS
  4. OpenNews: Оценка производительности CRFS, сетевой ФС с кэшированием данных
  5. OpenNews: Сетевая файловая система с кэшированием данных (CRFS)
  6. OpenNews: Обзор распределенной файловой системы PVFS2
Лицензия: CC-BY
Тип: Интересно / К сведению
Короткая ссылка: https://opennet.ru/15561-POHMELFS
Ключевые слова: POHMELFS
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (103) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (-), 22:00, 26/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Только сервер в userspace, клиент ядерный (mount и все дела)...

    > Увеличение производительности получения данных от ядра через использование функции copy_to_user().

    Это он имеет ввиду, что из асинхронных ядерных потоков можно писать в userspace память. Для этого он VM немного хачил, но пока до конца не довел (double page fault в блоге описан).

    > Гибкая архитектура, оптимизированная для обмена данных по сети, включая возможность объединения нескольких операций в одну управляющую команду передаваемую по сети;

    Это кстати он круто сделал, удаляется _все_ дерево ядра за одну команду.

     
  • 1.6, serg1224 (ok), 01:35, 27/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Евгений Поляков объявил (http://tservice.net.ru/~s0mbre/blog/devel/fs/2008_04_25.html) о выходе релиза POHMELFS

    Мда... Релиз файловой системы с таким "народным" названием должен выйти 11-го января, после бурного и продолжительного ZastolieFS :-D

     
     
  • 2.7, Аноним (-), 01:45, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Евгений Поляков объявил (http://tservice.net.ru/~s0mbre/blog/devel/fs/2008_04_25.html) о выходе релиза POHMELFS
    >
    >Мда... Релиз файловой системы с таким "народным" названием должен выйти 11-го января,
    >после бурного и продолжительного ZastolieFS :-D

    Первая версия вышла в конце января!

     

  • 1.9, Bolek (ok), 08:13, 27/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    а все-таки классное название. буду следить за развитием :)
     
  • 1.10, Аноним (10), 09:12, 27/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    что-то я отстал от жизни - подобных открытых ФС уже вроде есть несколько штук, или нет?
     
     
  • 2.11, Аноним (-), 10:45, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Вообще-то ни одной GPFS наиболее близка к задуманному функционалу, но она закры... большой текст свёрнут, показать
     
     
  • 3.21, _umka_ (ok), 08:00, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>что-то я отстал от жизни - подобных открытых ФС уже вроде есть
    >>несколько штук, или нет?
    >
    >Вообще-то ни одной. GPFS наиболее близка к задуманному функционалу, но она закрыта.
    >Все известные находятся полностью в userspace, поэтому не предоставляют POSIX API.

    Мисье забыл слово Lustre? честный posix API - уже существующие транзакции и блокировки, уже  работает на машинках из списка Top10.
    таки видимо забыли ;)

     
     
  • 4.23, _umka_ (ok), 08:08, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>>что-то я отстал от жизни - подобных открытых ФС уже вроде есть
    >>>несколько штук, или нет?
    >>
    >>Вообще-то ни одной. GPFS наиболее близка к задуманному функционалу, но она закрыта.
    >>Все известные находятся полностью в userspace, поэтому не предоставляют POSIX API.
    >
    >Мисье забыл слово Lustre? честный posix API - уже существующие транзакции и
    >блокировки, уже  работает на машинках из списка Top10.
    >таки видимо забыли ;)

    а. забыл добавить GPLv2. что бы не говорили о закрытости


     
     
  • 5.26, Аноним (-), 09:47, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален Одна проблема - сложность и огромная кодовая база Из-за... большой текст свёрнут, показать
     
     
  • 6.50, _umka_ (ok), 01:15, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален работает вы что курили какое FUSE дайте мне туже т... большой текст свёрнут, показать
     
     
  • 7.53, Аноним (-), 19:10, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Lustre 1 8 is planned for next summer and will introduce user space servers for ... большой текст свёрнут, показать
     
     
  • 8.56, _umka_ (ok), 16:36, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален и где вы увидели тут FUSE zfs вполне себе может линков... большой текст свёрнут, показать
     
     
  • 9.59, anonymous (??), 22:36, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Lustre 1 8 is planned for next summer and will introduce user space servers for ... большой текст свёрнут, показать
     
     
  • 10.62, _umka_ (ok), 23:18, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален аха 2 яблока и 2 арбуза - не равно 4 яблока user sp... большой текст свёрнут, показать
     
     
  • 11.63, anonymous (??), 23:25, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Про остальных-то я знал, но про cray нет Тогда почему sun открытым текстом заяв... текст свёрнут, показать
     
     
  • 12.65, _umka_ (ok), 23:47, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    libsysio остался только у очень не большого количества клиентов Cray SLES ... большой текст свёрнут, показать
     
     
  • 13.67, anonymous (??), 00:43, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    it will also mark the end of in-kernel servers and ext3 Так что возожно не... большой текст свёрнут, показать
     
     
  • 14.69, _umka_ (ok), 11:35, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален еще раз говорю - его наняли не в HPC отдел а значит к л... большой текст свёрнут, показать
     
     
  • 15.71, Аноним (-), 12:43, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Вы не поверите, но я в этом не сомневаюсь При параллельном доступе Да не воп... большой текст свёрнут, показать
     
     
  • 16.73, _umka_ (ok), 13:54, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    не на сколько, 6 из 18 use cases медленнее на 15 или меньше - лень в документы... большой текст свёрнут, показать
     
     
  • 17.74, Аноним (-), 14:25, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    не совсем так, при бОльших массивах слив в разы Я делаю не выводы, а предпол... большой текст свёрнут, показать
     
     
  • 18.76, _umka_ (ok), 14:42, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    да ну у вас сведения более точные чем внутренние тесты Sun gt оверквотинг уд... большой текст свёрнут, показать
     
     
  • 19.78, Аноним (-), 15:02, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Насколько я помню, это именно я их привел в треде, хотя да, из рассылки lustre ... большой текст свёрнут, показать
     
     
  • 20.79, Аноним (-), 15:04, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, вы не ответили про тип кэша в lustre Write-through и только в памяти И... текст свёрнут, показать
     
  • 21.80, _umka_ (ok), 15:24, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Зависит от локов если локи не пересекаются - синхронной записи не будет каждый... большой текст свёрнут, показать
     
  • 22.82, Аноним (-), 15:33, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Практически Т е при одновременной записи в одно место получается синхронная за... текст свёрнут, показать
     
  • 23.85, _umka_ (ok), 16:39, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    не совсем база данных работает с 1 файлом, но крайне редко пишет в одно место -... большой текст свёрнут, показать
     
  • 24.86, Аноним (-), 17:53, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    failover разрабатывается прямо сейчас - транзакции перекатываются между набором ... большой текст свёрнут, показать
     
  • 25.87, _umka_ (ok), 18:41, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    угу а о всяких безобразиях когда у клиентов есть данные которые не закомитили, ... большой текст свёрнут, показать
     
  • 26.89, Аноним (-), 19:16, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Так в том-то и дело, что транзакции перекатываются - в случае падения сервера тр... большой текст свёрнут, показать
     
  • 25.88, _umka_ (ok), 18:59, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    BTW - хорошо бы еще задумываться о возможности храненения данных на разных нодах... текст свёрнут, показать
     
  • 26.90, Аноним (-), 19:17, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Так и будет Loopkup readdir будет расширен на возвращение информации не только ... текст свёрнут, показать
     
  • 27.91, _umka_ (ok), 19:31, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    В догонку - кто будет выделять inode number в случае люстры fid number - клиен... текст свёрнут, показать
     
  • 28.92, Аноним (-), 19:35, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Здесь иной подход номера инод не синхронизируются с сервером и между клиентами,... текст свёрнут, показать
     
  • 29.93, _umka_ (ok), 20:00, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    что-то мне говорит что это будет тормоз при любых операциях связаных с metadata ... большой текст свёрнут, показать
     
  • 30.94, Аноним (-), 20:22, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это что-то вам неправильно говорит, tar -xf really_large_archive_from_tmpfs tar ... большой текст свёрнут, показать
     
  • 31.95, _umka_ (ok), 20:42, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    это подходит только в случае когда данные находятся на том же сервере что и meta... большой текст свёрнут, показать
     
  • 32.96, Аноним (-), 20:57, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Именно, и чем больше я ее туда перекину, тем будет лучше Зависит от флагов - мо... большой текст свёрнут, показать
     
  • 33.97, _umka_ (ok), 21:11, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    не выйдет выполнение rpc при захваченых vfs локах будет весело у люстры async ... большой текст свёрнут, показать
     
  • 34.98, Аноним (-), 21:33, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Естественно, что что-то вытаскивается в сервер, плюс fcntl локи уж очень медле... большой текст свёрнут, показать
     
  • 35.99, _umka_ (ok), 22:01, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    то есть разговора о производительности метаданных не идет для решения вопросов... большой текст свёрнут, показать
     
  • 36.100, Аноним (-), 22:36, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Из чего вы сделали такой вывод о производительности метаданных Ога, а кто дожид... большой текст свёрнут, показать
     
  • 37.101, _umka_ (ok), 23:45, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    хотя бы из ваших слов о fcntl lock - что они не быстрые, есть такая буква И о с... большой текст свёрнут, показать
     
  • 38.102, anonymous (??), 00:21, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это была заметка о том, что они в VFS медленные из-за чего от них отказались вс... большой текст свёрнут, показать
     
  • 39.103, anonymous (??), 00:52, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Почитал, что из себя представляла Lustre в конце 2003 года И эти люди запреща... текст свёрнут, показать
     
  • 39.104, _umka_ (ok), 01:21, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален причем тут lseek gt оверквотинг удален ээ можно ут... большой текст свёрнут, показать
     
  • 40.105, anonymous (??), 10:42, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    При том, что если два потока не синхронизированы, запись может происходить вообщ... большой текст свёрнут, показать
     
  • 41.106, _umka_ (ok), 11:40, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    для этого делаются блокировки или под dlm локингом ну ну у каждого свое виде... большой текст свёрнут, показать
     
  • 42.107, Аноним (-), 12:32, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Я всегда считал, что RPC вызывает клиент, а выполняет сервер Впрочем, вероятно ... текст свёрнут, показать
     
  • 43.108, _umka_ (ok), 14:25, 05/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    проще говорить отправитель получатель - тогда нет путаницы с сервер клиент ... текст свёрнут, показать
     
  • 20.81, _umka_ (ok), 15:28, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, конец зимы в этом году - или даже месяц назад не помню gt оверквотинг ... большой текст свёрнут, показать
     
  • 21.83, Аноним (-), 15:35, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Полагаю, что для этого и есть zfs-fuse разработчик в штате sun ... текст свёрнут, показать
     
  • 22.84, _umka_ (ok), 16:29, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален вы ошибаетесь, делаете ложные предположения, и пытаетесь... текст свёрнут, показать
     
  • 23.109, Аноним (-), 19:00, 06/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати, из вашей ссылки не в продолжение флейма, уже надоело, нам вряд-ли переу... текст свёрнут, показать
     
  • 5.31, Аноним (-), 10:27, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >а. забыл добавить GPLv2. что бы не говорили о закрытости

    http://wiki.lustre.org/index.php?title=Contribution_Policy

    No way. Как разработчик, я не хочу отдавать права на свой код кому-то еще, кто будет использовать мой код бесплатно и менять лицензию и т.п.

     
  • 4.32, anonymous (??), 10:34, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/

    >Мисье забыл слово Lustre? честный posix API - уже существующие транзакции и
    >блокировки, уже  работает на машинках из списка Top10.
    >таки видимо забыли ;)

    А прочитать еще пару строчек не смогли? Там написано про Lustre :)

     
  • 3.25, avatar (??), 09:28, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Враньё, только на днях пробовал http://www.gluster.org, и смотрел http://www.pvfs.org.
     
     
  • 4.27, Аноним (-), 09:49, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Враньё, только на днях пробовал http://www.gluster.org, и смотрел http://www.pvfs.org.

    Если в ваших тестах не обнаружились, это не означает, что их нет. Достаточно одного падения, чтобы понять, что код содержит ошибки, несколько успешных запусков не говорят о работоспособности в целом.

     
     
  • 5.35, avatar (??), 14:20, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Враньё, только на днях пробовал http://www.gluster.org, и смотрел http://www.pvfs.org.
    >
    >Если в ваших тестах не обнаружились, это не означает, что их нет.
    >Достаточно одного падения, чтобы понять, что код содержит ошибки, несколько успешных
    >запусков не говорят о работоспособности в целом.

    Я про это!

    >>что-то я отстал от жизни - подобных открытых ФС уже вроде есть
    >>несколько штук, или нет?
    >Вообще-то ни одной.

     
     
  • 6.36, Аноним (-), 14:33, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/

    >Я про это!
    >
    >>>что-то я отстал от жизни - подобных открытых ФС уже вроде есть
    >>>несколько штук, или нет?
    >>Вообще-то ни одной.

    А, ясно. Такие системы конечно же есть, но все они обладают рядом недостатков, с моей точки зрения, достаточно серьезных, зачастую неустранимых, некоторые я описал здесь, другие раньше : https://www.opennet.ru/opennews/art.shtml?num=12559

    Если устраивает существующий вариант, то вам ничего менять не нужно.

     

  • 1.13, Аноним (10), 14:44, 27/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Народ, поясните, что предпочтительнее в случае "распределённой параллельной обработки данных", работать с файлами или с некоторой базой данных?
    Мне кажется, файлы будут дороже. Да?
     
     
  • 2.14, Аноним (-), 14:57, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Народ, поясните, что предпочтительнее в случае "распределённой параллельной обработки данных", работать с
    >файлами или с некоторой базой данных?
    >Мне кажется, файлы будут дороже. Да?

    Никакая база данных не умеет быстро работать с блобами.

    Распределенность и параллельность в этом вопросе вообще не понятно для чего.

    А по сути, что база данных, что файловая система, это одно и тоже, только метод доступа разный. Для одних целей удобно одно, для других - другое.

     
     
  • 3.15, Аноним (10), 15:54, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Никакая база данных не умеет быстро работать с блобами.

    В случае параллельной обработки с блобами вообще вряд ли кто быстро сможет, разве что по чтению, но по чтению и база сможет. К тому же "распределенный" блоб - эта какая же есть нужна?

    >Распределенность и параллельность в этом вопросе вообще не понятно для чего.

    Вот пытаюсь прояснить для себя.

    >А по сути, что база данных, что файловая система, это одно и
    >тоже, только метод доступа разный. Для одних целей удобно одно, для
    >других - другое.

    Метод даже очень разный, особенно для совместной работы.
    Признаюсь, "файловая система" в данном контексте для меня вещь туманная.

     
     
  • 4.16, Аноним (-), 16:02, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Файловая система работает с блобами несравнимо лучше, чем любая существующая баз... большой текст свёрнут, показать
     
  • 4.49, Dimytch (?), 13:09, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Распределенность и параллельность в этом вопросе вообще не понятно для чего.

    Моя личная заинтересованность в такой системе - я бы захотел её использовать для объединения сотни машин, находящихся на линиях с разной пропускной способностью. Т.е. от 10 мегабит до 256К. А здесь, как раз и параллельность и распределенность была бы очень.

     
  • 3.47, Anonymous (?), 22:30, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >
    >Никакая база данных не умеет быстро работать с блобами.
    >

    BerkeleyDB умеет


     
     
  • 4.48, Аноним (-), 13:03, 30/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>
    >>Никакая база данных не умеет быстро работать с блобами.
    >>
    >
    >BerkeleyDB умеет

    она же хранит данные в файлах, а объединение большого количества блобов в один бОльший не может быть оптимально на файловой системе, не предназначенной для такой работы.
    Так что path lookup получается всяко быстрее.

     
  • 2.17, anonymus (?), 17:33, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Народ, поясните, что предпочтительнее в случае "распределённой параллельной обработки данных", работать с
    >файлами или с некоторой базой данных?
    >Мне кажется, файлы будут дороже. Да?

    посмотри список на top500.org там про субд ничего нет ибо на HPC кластерах они не используются

     

  • 1.18, Аноним (10), 20:17, 27/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Слишком длинное название для успешной раскрутки - нужно сократить до POHFS
     
     
  • 2.19, Аноним (-), 20:26, 27/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Слишком длинное название для успешной раскрутки - нужно сократить до POHFS

    "POH." в 16-тиричном виде возвращается в статистике.

     

  • 1.20, deepwalker (??), 07:23, 28/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Евгений, а насчет аутентификации, что планируется? Будет gssapi? Когда планируете вывести ФС на продакшн статус? Будете ли делать fuse клиента?
    Название конечно прикольное : ) Но хочется надеяться, что я буду использовать эту фс взамен ядерному nfs. Звучит описание весьма неплохо.
     
     
  • 2.28, Аноним (-), 09:55, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Евгений, а насчет аутентификации, что планируется? Будет gssapi? Когда планируете вывести ФС
    >на продакшн статус? Будете ли делать fuse клиента?
    >Название конечно прикольное : ) Но хочется надеяться, что я буду использовать
    >эту фс взамен ядерному nfs. Звучит описание весьма неплохо.

    FUSE не будет, т.к. написан родной ядерный клиент, в новости не совсем корректно указано, что и клиент, и сервер в userspace. Нужно много тестирования, у меня есть соответствующая база, так что переход из сильно экспериментального состояния не за горами.
    Сначала аутентификация будет попроще - секретный ключ на клиенте и сервере, HMAC сообщения, не знаю, нужно ли ее усложнять...

     
     
  • 3.33, deepwalker (??), 11:14, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >FUSE не будет, т.к. написан родной ядерный клиент, в новости не совсем
    >корректно указано, что и клиент, и сервер в userspace. Нужно много
    >тестирования, у меня есть соответствующая база, так что переход из сильно
    >экспериментального состояния не за горами.
    >Сначала аутентификация будет попроще - секретный ключ на клиенте и сервере, HMAC
    >сообщения, не знаю, нужно ли ее усложнять...

    Жалко, кластерных фс много, а толковой и допиленой типа nfs/samba нет. Безальтернативно получается.

     
     
  • 4.34, Аноним (-), 12:44, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>FUSE не будет, т.к. написан родной ядерный клиент, в новости не совсем
    >>корректно указано, что и клиент, и сервер в userspace. Нужно много
    >>тестирования, у меня есть соответствующая база, так что переход из сильно
    >>экспериментального состояния не за горами.
    >>Сначала аутентификация будет попроще - секретный ключ на клиенте и сервере, HMAC
    >>сообщения, не знаю, нужно ли ее усложнять...
    >
    >Жалко, кластерных фс много, а толковой и допиленой типа nfs/samba нет. Безальтернативно
    >получается.

    Так зачем FUSE, когда есть ядерный клиент? Или вы о другом?

     
     
  • 5.42, deepwalker (??), 08:43, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Так зачем FUSE, когда есть ядерный клиент? Или вы о другом?

    Да ну суть в том, что nfs сейчас поддерживает gssapi, а вы вроде как и не планируете : )
    Ну и вообще - вы же решили двигаться в сторону кластерной фс.


     
     
  • 6.45, deepwalker (??), 10:27, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати для кластера GSSAPI тоже было бы неплохим решением - получаете автоматически поддержку шифрования, да и вообще разом снимаете себе головную боль изобретением криптографических велосипедов - все продумано уже как много лет.
     

  • 1.22, _umka_ (ok), 08:07, 28/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/

    >-  Поддержание локального кэша для данных и мета-данных, согласованного для всех
    >узлов использующих ФС;

    lustre

    >-  Обработка данных и событий в асинхронном режиме, за исключением операций
    >с жёсткими и символическими ссылками;

    lustre, все в асинхронном режиме - кроме блокировок.

    >-  Гибкая архитектура, оптимизированная для обмена данных по сети, включая возможность
    >объединения нескольких операций в одну управляющую команду переда...

    lustre, собственно код cmd3 уже позволяет держать несколько серверов метаданных (пока только 32 - но небольшой патчик может увеличить это число до нужных приделов)

     
     
  • 2.24, deepwalker (??), 08:32, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Это не кластерная фс, это замена nfs, как я вывожу из описания. Хватит уже с люстрой своей.
     
     
  • 3.30, Аноним (-), 10:06, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Это не кластерная фс, это замена nfs, как я вывожу из описания.
    >Хватит уже с люстрой своей.

    Замена NFS это в текущем состоянии, задумка была на создание открытой и функциональной распределенной система, что-то вроде GPFS от IBM в первую очередь.

     
  • 2.29, Аноним (-), 10:03, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Я не слежу за Lustrу уже давно, но вы не путаете количество серверов метаданных ... большой текст свёрнут, показать
     
     
  • 3.51, _umka_ (ok), 01:20, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>lustre, собственно код cmd3 уже позволяет держать несколько серверов метаданных (пока только
    >>32 - но небольшой патчик может увеличить это число до нужных
    >>приделов)
    >
    >Я не слежу за Lustrу уже давно, но вы не путаете количество
    >серверов метаданных с избыточностью этих серверов? Один метадата сервер всегда был
    >узким местом Lustre, и именно с ним собирались бороться увеличением количества
    >серверов метаданных. Но при падении одного сейчас есть master/slave репликация, slave
    >сервер может быть только один.
    >Впрочем, это было давно, может быть сейчас уже все лучше...

    Не путаю. а вы очень давно смотрели люстру. как в failover узлов может быть больше 1го, так и metadata серверов может быть больше 1го. 32 в текущей реализации - и одна директория может быть расположена на разных mds серверах.

    >
    >Lustre очень сильно портит (улучшает, не важно, пусть будет "меняет") меняет ext*,
    >эти изменения зачастую далеки от идеала. А что Lustre делает с
    >VFS?
    >Это очень сложная система, с огромным набором костылей и подпорок как к
    >файловой системе, так и VFS. Она трудна в установке и администрировании.
    >Строгая привязка к ядру. Из-за всех этих проблем (или наоборот радикальных
    >улучшений, хотя вряд ли) ее и не стали принимать в ядро.

    вы что курили? собрать клиента можно без хака ядра.

    >
    >
    >Плюс ее переход на FUSE...

    Вы что курили о переходе на FUSE? дайте туже траву ;)

    и того - 2/3 лож и дезинформация :)

     
     
  • 4.54, Аноним (-), 19:10, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Да, целых два метадата сервера - састер и реплика А затем несколько таких пар д... большой текст свёрнут, показать
     
  • 3.52, _umka_ (ok), 01:30, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Лана - ответим более развернуто.

    >
    >Lustre очень сильно портит (улучшает, не важно, пусть будет "меняет") меняет ext*,
    >эти изменения зачастую далеки от идеала.

    Аха.. тота их с радостью принимают в ext4..

    А что Lustre делает с
    >VFS?

    ничего не делает. по сути очень простой патч - который позволяет форсировать вызов invalidate для dentry. openintent реализованый (хоть сколько-то нормально) в 2.6.12 and up - подобие lookup intent из lustre, который может подсказать FS что будет следующей операцией и этим съэкономить дорогой rpc.

    >Это очень сложная система, с огромным набором костылей и подпорок как к
    >файловой системе, так и VFS.

    Ошибаетесь.

    > Она трудна в установке и администрировании.

    вы что курили? или смотрели что-то очень дремучее.. lctl $param это уже сложно...


    >Строгая привязка к ядру.

    Ошибаетесь - patchless клиент работает на всем от 2.6.16 до 2.6.24 + rhel4, sles9.


    > Из-за всех этих проблем (или наоборот радикальных
    >улучшений, хотя вряд ли) ее и не стали принимать в ядро.

    да да, и это не мешало это в конечном счете реализовывать все что требуется - хоть и медленно и для других fs.

    >
    >
    >Плюс ее переход на FUSE...

    ну на счет этого мы уже говорил - вы что курили уважаемый. если вы о zfs - то смею огорчить - читать анонсы надо внимательнее - статическую линковку с libzpool не отменяли.
    Lustre никогда не будет использовать FUSE, исключение - мой собственный fuse client по большей части для тестирования порта на FreeBSD.

     
     
  • 4.55, Аноним (-), 19:11, 01/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Не принимают Они уже и слать перестали очень давно кстати Повнимательнее изу... большой текст свёрнут, показать
     
     
  • 5.57, _umka_ (ok), 16:51, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    LOL пейсши есшо в 2 6 24 или 25 - приняли multiblock allocator который писа... большой текст свёрнут, показать
     
     
  • 6.58, anonymous (??), 22:29, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Смешно А слово swsoft например встречается еще чаще При этом там не только кон... большой текст свёрнут, показать
     
     
  • 7.61, anonymous (??), 22:52, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/

    >В догонку, вы наверное читали мой блог, где я давал ссылку на
    >тестирование инженерами sun производительности lustre с fuse и sun raw device.
    >С чего бы это они стали тестировать fuse, если перехода не
    >будет?

    Впрочем, здесь я ошибся, там не fuse, а некое userspace решение с dmu.

    Я согласен, что _НЕТ_ 100% утверждения, что lustre будет работать через FUSE.
    Но Sun наняла ZFS-FUSE разработчика, Sun переводит Lustre в userspace, есть клиентский FUSE порт на wiki (не знаю насчет его функциональности).

    Пока _все_ вышеперечисленные решения медленнее родных, так что, несмотря на ваши заверения, что все в порядке, это симптом.

     
  • 7.64, _umka_ (ok), 23:40, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален Кодовую базу всей люстры да - не будут, патчи - прекрас... большой текст свёрнут, показать
     
     
  • 8.66, anonymous (??), 00:31, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Новая версия Lustre выходит для каждой версии ядра Для 1 5 это было далеко не т... текст свёрнут, показать
     
     
  • 9.68, _umka_ (ok), 11:29, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Клиент выходит для каждой Задержки только когда у меня руки заняты другими зада... большой текст свёрнут, показать
     
     
  • 10.70, Аноним (-), 12:34, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    В том-то и дело, что sun хочет, чтобы была одна и та же кодовая база И будет он... большой текст свёрнут, показать
     
     
  • 11.72, _umka_ (ok), 13:46, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    у кого одна база у zfs и lustre найдите в себе силы прочитать структуру zfs л... текст свёрнут, показать
     
     
  • 12.75, Аноним (-), 14:29, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    У вас какая-то паранойя, вы везде пытаетесь подставить глупость, которой там нет... большой текст свёрнут, показать
     
     
  • 13.77, _umka_ (ok), 14:45, 04/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    кого сервер серверу VFS даром не нужен, еще раз говорю - он там мешает особен... текст свёрнут, показать
     
  • 2.60, anonymous (??), 22:41, 03/05/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>-  Поддержание локального кэша для данных и мета-данных, согласованного для всех
    >>узлов использующих ФС;
    >
    >lustre

    Кстати, а там разве не write-through кэш?

     

  • 1.37, Guest (??), 17:57, 28/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Класс. А лицензия какая? Под FreeBSD теоретически будет?
     
     
  • 2.38, Аноним (-), 19:09, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Класс. А лицензия какая? Под FreeBSD теоретически будет?

    Для Linux однозначно GPLv2. Под FreeBSD только если система будет популярна в Linux, и люди захотят совместимость.

     

  • 1.39, nagual (?), 20:14, 28/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Для Linux однозначно GPLv2. Под FreeBSD только если система будет популярна в Linux, и люди захотят совместимость.

    Учитавая что линь все больше становится десктопом ... под BSD было бы очень кстати ...

     
  • 1.40, vvk (??), 23:31, 28/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А есть git-репозиторий?
     
     
  • 2.41, anonymous (??), 23:59, 28/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А есть git-репозиторий?

    Локальный :)
    Нужен экспорт?

     
     
  • 3.43, vvk (??), 08:48, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>А есть git-репозиторий?
    >Локальный :)
    >Нужен экспорт?

    Было бы очень хорошо, если бы его можно было бы git clone ;)
    И чтобы на видном месте была ссылка.

     
     
  • 4.44, anonymous (??), 10:05, 29/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>>А есть git-репозиторий?
    >>Локальный :)
    >>Нужен экспорт?
    >
    >Было бы очень хорошо, если бы его можно было бы git clone
    >;)
    >И чтобы на видном месте была ссылка.

    Со следующим релизом будет экспортировнное дерево.

     

  • 1.46, Xavier (?), 12:07, 29/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    статью не читал, но название понравилось :)
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру