The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Представлен полностью переработанный вариант распределённой ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от opennews on 27-Дек-11, 11:43 
Спустя три года с момента первого релиза (https://www.opennet.ru/opennews/art.shtml?num=15561) сетевой распределённой файловой системы POHMELFS в списке рассылки разработчиков ядра Linux представлен (https://lkml.org/lkml/2011/12/23/161) полностью переработанный вариант данной ФС, в котором реализовано большинство из всех запланированных ранее возможностей. Код проекта распространяется под лицензией GPLv2.

Новая реализация POHMELFS базируется на распределённом хранилище Elliptics (http://www.ioremap.net/projects/elliptics), представляющем собой (http://www.elliptics.ru/node/3) распределённую хэш таблицу. Изначально Elliptics развивался как часть POHMELFS, но два года назад был выделен в отдельный проект, который успешно используется в промышленной эксплуатации. Например, Elliptics используется для организации хранения около петабайта контента в сервисах компании Yandex (карты, фотографии, музыка). Хранилище рассчитано на организацию надёжного хранения большого объема данных в форм...

URL: http://www.ioremap.net/node/529
Новость: https://www.opennet.ru/opennews/art.shtml?num=32667

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


2. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от deadless (ok) on 27-Дек-11, 11:49 
о, восставший из пепла..
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Представлен полностью переработанный вариант распределённой ..."  +5 +/
Сообщение от Tigro (??) on 27-Дек-11, 12:27 
Автор уже четвертый день как Россию покинул, а тут такая новость:):)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Представлен полностью переработанный вариант распределённой ..."  +1 +/
Сообщение от anonymous (??) on 27-Дек-11, 15:54 
Насовсем?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

39. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Tigro (??) on 27-Дек-11, 22:45 
Не, так на лыжах покататься.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

8. "Представлен полностью переработанный вариант распределённой ..."  +2 +/
Сообщение от б.б. on 27-Дек-11, 12:53 
Решили под новогоднюю релевантность попасть?

Вспоминается история с libsexy.rpm и dcpp.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Представлен полностью переработанный вариант распределённой ..."  –9 +/
Сообщение от Аноним (??) on 27-Дек-11, 13:14 
Чем оно отличается от Tahoe-LAFS
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

36. "Представлен полностью переработанный вариант распределённой ..."  –8 +/
Сообщение от Аноним (??) on 27-Дек-11, 20:12 
Чё минусуете то, объяснить не в состоянии? Я по существу спросил, ибо интересно и действительно не знаю.
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

57. "Представлен полностью переработанный вариант распределённой ..."  +3 +/
Сообщение от wS on 28-Дек-11, 11:45 
минусуют за то что сам не хочешь разбираться.
зайди прочти про POHMELFS в чём плюсы и минусы и сравни Tahoe-LAFS
Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

64. "Представлен полностью переработанный вариант распределённой ..."  –1 +/
Сообщение от анонимм on 28-Дек-11, 18:57 
а тебя за что минусуют
Ответить | Правка | ^ к родителю #57 | Наверх | Cообщить модератору

65. "Представлен полностью переработанный вариант распределённой ..."  –1 +/
Сообщение от wS on 28-Дек-11, 22:22 
троллей не любят:)
Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

10. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от evgeny_t (ok) on 27-Дек-11, 13:21 
во человек работает )
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Представлен полностью переработанный вариант распределённой ..."  +2 +/
Сообщение от Просто прохожий email on 27-Дек-11, 13:22 
Мои поздравления. Как только она появилась в ядре в первый раз она меня сразу заинтересовала. Удачи проекту!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Представлен полностью переработанный вариант распределённой ..."  +8 +/
Сообщение от Онаним on 27-Дек-11, 13:57 
>"автоматическое восстановление сбоев"

Сильная вещь! Т.е. если один раз сбойнет, то ремонтировать бесполезно...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

50. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 04:49 
Да не, просто многократное резервирование. Помер один из узлов? Да и хрен с ним!
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

66. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 29-Дек-11, 02:03 
Очевидно, соль шутки вы не уловили.
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

74. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 31-Дек-11, 16:01 
помер один из узлов - и кластер 3е суток синкает данные на востановленную ноду
Ответить | Правка | ^ к родителю #50 | Наверх | Cообщить модератору

13. "Представлен полностью переработанный вариант распределённой ..."  –1 +/
Сообщение от Аноним email(??) on 27-Дек-11, 14:10 
Afs?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Представлен полностью переработанный вариант распределённой ..."  –1 +/
Сообщение от alrond (ok) on 27-Дек-11, 14:13 
Я так понимаю прямой конкурент GlusterFS
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от ceph on 27-Дек-11, 14:46 
Или ceph
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

29. "Представлен полностью переработанный вариант распределённой ..."  +1 +/
Сообщение от k_bx email on 27-Дек-11, 18:51 
Я думал GlusterFS -- это поверх существующих ФС. Я ошибкался?
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

37. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от alrond (ok) on 27-Дек-11, 20:25 
Так и есть, но я смотрю по задаче - обеспечение отказоустойчивого хранилища(типа сетевого raid1), способного к клиентам цепляться как posix-фс
Конечно поверх ФС удобнее - можно, например, сканировать для анализа на контентных серверах локально, что будет быстрее чем через шластер, даже локально примонтированного
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

16. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 27-Дек-11, 14:34 
Этот Elliptics в юзерспейсе работает?
Вообще, что именно из всего этого комплекса реализовано на уровне ядра?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Представлен полностью переработанный вариант распределённой ..."  –1 +/
Сообщение от Аноним (??) on 27-Дек-11, 15:13 
Как потестировать/посмотреть на это в убунте?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Представлен полностью переработанный вариант распределённой ..."  –3 +/
Сообщение от bircoph (ok) on 27-Дек-11, 16:01 
Оно уже перестало давать kernel panic при записи?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

69. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 29-Дек-11, 02:09 
> Оно уже перестало давать kernel panic при записи?

Спросите у админов Яндекса.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Представлен полностью переработанный вариант распределённой ..."  +2 +/
Сообщение от emfs (ok) on 27-Дек-11, 17:27 
кто-нибудь применяет у себя в продакшн?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

25. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Иван (??) on 27-Дек-11, 17:58 
кроме Яндекса возможно никто.
Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

27. "Представлен полностью переработанный вариант распределённой ..."  –6 +/
Сообщение от deadless (ok) on 27-Дек-11, 18:24 
откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

40. "Представлен полностью переработанный вариант распределённой ..."  +2 +/
Сообщение от Аноним (??) on 27-Дек-11, 23:05 
> откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю.

Очевидно, новости вы не читали, сразу обсуждать бросились :D

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

63. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 16:59 
>> откуда дровишки? на тестовых окружениях еще может быть но в продакшене не поверю.
> Очевидно, новости вы не читали, сразу обсуждать бросились :D

в блоге коментарий - "что-то никто не пишет сюда, и в lkml нету движухи"

Видимо оно так всем надо.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

68. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 29-Дек-11, 02:08 
> в блоге коментарий - "что-то никто не пишет сюда, и в lkml нету движухи"
> Видимо оно так всем надо.

Не, они просто еще читают и осмысливают. Не то что здешние - прочитали только заголовок (и то наискосок), и уже бегом обсуждать.

Ответить | Правка | ^ к родителю #63 | Наверх | Cообщить модератору

70. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 29-Дек-11, 10:18 
некоторые "местные" указывали автору на узкие места - а автор отмахивался - "мне так удобно и идите вон".

Кстати - он до сих пор не дает читать и писать в конец файла одновременно?

Ответить | Правка | ^ к родителю #68 | Наверх | Cообщить модератору

26. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 27-Дек-11, 18:21 
frontend - внешний интерфейс. Зачем плодить лишние сущности?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Представлен полностью переработанный вариант распределённой ..."  –3 +/
Сообщение от Аноним (??) on 27-Дек-11, 19:59 
какой смешной метод повышения отказо устойчивости.
надо будет послушать как у них будет ложиться сеть когда одна из нод умрет и все начнет синхронизироваться по сети.. ;-)
Видимо пока живет - пока ноды не умирали - или нагрузка в сети меньше 20% от пропускной :)

а вообще попытка сделать новый map-reduce ;-)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 27-Дек-11, 23:08 
> какой смешной метод повышения отказо устойчивости.

Вас послушать - так они все смешные, а отказоустойчивость - это миф.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

49. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 03:06 
>какой смешной метод повышения отказо устойчивости.

надо будет послушать как у них будет ложиться сеть когда одна из нод умрет и все начнет синхронизироваться по сети.. ;-)

Оптимизируют и это...

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

53. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 04:58 
> надо будет послушать как у них будет ложиться сеть когда одна из
> нод умрет и все начнет синхронизироваться по сети.. ;-)

Обычно в таких системах репликация данных делается заранее. Поэтому вылет узла тупо не заметен как класс. Или вы думаете что в ынтырпрайзе типа гугла или хотя-бы яндекса сервера никогда не ломаются? Агащаз, для большого ынтырпрайза вылет сервера - почти штатное событие. Если у вас есть миллион дисков - вы только и будете делать что заменять полетевшие. А если у вас их только 10, то может и за 5 лет ни 1 не замените. Чисто теория вероятности работает.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

61. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 16:53 
аха. было 3 реплики - вылетела 1 нода, стало 2, потом еще одна, осталась последная..
и что вы хотите сказать что эта система в отличии от Gluster (или ceph я их путаю) - не востанавливает количество реплик до заданного?
То есть не запускает режим востановления содержимого ноды аналогичного raid rebuild ?

учитывая что сейчас 120T на ноду это нормально - я хотел бы послушать оценки - как долго 120T будут синхронизироваться с других нод по сети ;-) А значит - как долго кластер будет тормозить.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

59. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от k_bx email on 28-Дек-11, 12:58 
>>какой смешной метод повышения отказо устойчивости.
> надо будет послушать как у них будет ложиться сеть когда одна из
> нод умрет и все начнет синхронизироваться по сети.. ;-)
> Оптимизируют и это...

А, собственно, в чем проблема? Во-первых, если точность / согласованность данных не сильно важна (как в случае с я.картами), то можно держать 3 реплики, при этом на чтение требовать только одну. Таким образом вылет 2 из 3х дисков для нас останется безболезненным. Ну и синхронизироваться никто никуда не будет при вылете, просто новый диск надо будет вставить.

А синхронизация нужна именно при удалении ноды из кластера (когда кластер уменьшать собираемся), или же при росте кластера (что тоже не так уж часто нужно).

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

62. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 28-Дек-11, 16:56 
>>>какой смешной метод повышения отказо устойчивости.
>> надо будет послушать как у них будет ложиться сеть когда одна из
>> нод умрет и все начнет синхронизироваться по сети.. ;-)
>> Оптимизируют и это...
> А, собственно, в чем проблема? Во-первых, если точность / согласованность данных не
> сильно важна (как в случае с я.картами), то можно держать 3
> реплики, при этом на чтение требовать только одну. Таким образом вылет
> 2 из 3х дисков для нас останется безболезненным. Ну и синхронизироваться
> никто никуда не будет при вылете, просто новый диск надо будет
> вставить.

Да да. raid запускает в этот момент rebuild - вы не знали об этом?

так и тут - надо востановить требуемую избыточность - что бы при следующем вылете дисков не остаться вообще без данных.
Вот и вопрос - сколько ж будет напрягаться кластер при вылете одной из нод объемом 100T?
и учтите - кластер начнет терять в производительности пока идет синхронизация и восстановление содержимого ноды..

Ответить | Правка | ^ к родителю #59 | Наверх | Cообщить модератору

72. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от psv (??) on 31-Дек-11, 11:51 
скорость синхронизации дозируется (добавление ноды производят в период наименьшей нагрузки) и никакого конца света не будет
Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

75. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 31-Дек-11, 16:07 
> скорость синхронизации дозируется (добавление ноды производят в период наименьшей нагрузки)
> и никакого конца света не будет

ну да. осталось узнать когда это наименьшая нагрузка - и прикинуть что 120T будет писаться дня 3-4 на full time -  а если "дозированно" то это будут недели, а за это время еще одна нода может сдохнуть - или не давать требуемой скорости.

Так что конец света или не конец - но дизаин кривой.

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

73. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от psv (??) on 31-Дек-11, 11:55 
> надо будет послушать как у них будет ложиться сеть когда одна из
> нод умрет и все начнет синхронизироваться по сети.. ;-)

ну почему ложится? новая нода получает свои стопятьсот терабайт от _многих_ нод хранища. то что новая нода не сможет отвечать сама не критично, а для остальных это появление всего одного дополнительного клиента.

свичи куда включены ноды обычно пропускают по своей шине полный суммарный трафик своих портов без проблем.


Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

76. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 31-Дек-11, 16:09 
>> надо будет послушать как у них будет ложиться сеть когда одна из
>> нод умрет и все начнет синхронизироваться по сети.. ;-)
> ну почему ложится? новая нода получает свои стопятьсот терабайт от _многих_ нод
> хранища. то что новая нода не сможет отвечать сама не критично,
> а для остальных это появление всего одного дополнительного клиента.

потому что - эти ноды они того... тоже бывают загружены - и с них забирают данные.
То есть загружать 120Т будут неделями. за это время может сдохнуть еще одна копия и....

> свичи куда включены ноды обычно пропускают по своей шине полный суммарный трафик
> своих портов без проблем.

Зато диски у "других" нод - имеют конечную пропускную способность. Которую почему-то все хотят израсходовать. А тут еще сливать копию потеряных реплик куда-то.


Ответить | Правка | ^ к родителю #73 | Наверх | Cообщить модератору

46. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от FSA (??) on 28-Дек-11, 00:42 
Не первый раз слышу об этой файловой системе. Но за название зачёт. Не что, что XEP от Apache :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

47. "Представлен полностью переработанный вариант распределённой ..."  +2 +/
Сообщение от pavlinux (ok) on 28-Дек-11, 01:07 
Да ты что, наш делает, Поляков, Евгений вроде...
Придумал с бадуна, потом придумал культурную расшифровку.  
Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

48. "Представлен полностью переработанный вариант распределённой ..."  –4 +/
Сообщение от progserega email(ok) on 28-Дек-11, 02:31 
Скорее наоборот. Алкогольно-наркоманский "юмор". Вообще, алкогольная тематика в интеллектуальной среде - это оксюморон.
Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

67. "Представлен полностью переработанный вариант распределённой ..."  +/
Сообщение от Аноним (??) on 29-Дек-11, 02:06 
> Скорее наоборот. Алкогольно-наркоманский "юмор". Вообще, алкогольная тематика в интеллектуальной
> среде - это оксюморон.

Да, настоящий интеллектуал должен всегда ходить в черном смокинге с похоронным выражением лица, и любой юмор презрительно называть "оксюмороном" (или "рододендроном", как раница, все равно никто не поймет).

Ответить | Правка | ^ к родителю #48 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру