forum.opennet.ru

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Оглавление

Выпуск распределенной файловой системы GlusterFS 3.7, opennews (??), 19-Май-15, (0) [смотреть все]

Кто нибудь использует в продакшене сие Как будет работать на медленных каналах , Аноним (-), 11:32 , 19-Май-15, (1) //

Года полтора назад пробовал, тупит и сильно грузит проц, manefesto (??), 13:27 , 19-Май-15, (10) –1
Пытались использовать в связке с qemu-kvm для хранения томов ВМ В качестве тран, Vee Nee (?), 13:51 , 19-Май-15, (11)
Используем в продакшене несколько хранилищ на Gluster сотни терабайт Если ниче, Demo (??), 14:21 , 19-Май-15, (12) //

Ceph можно изначально сконфигурировать или потом на предмет работы в degraded-, Аноним (-), 16:19 , 19-Май-15, (15) //

Указано было в конфиге osd pool default min size 1Для тестирования достаточно , Demo (??), 19:25 , 19-Май-15, (18)

Хм, видимо сыроват, гонял 0 87 - на подобное не нарывался А какой дистр использ, тот же самый (?), 21:00 , 19-Май-15, (19)

А какой дистр использовался и откуда ставился ceph CentOS 7 1 1503 Ceph Hammer у, Demo (??), 11:48 , 21-Май-15, (27)

У нас уже года 2 кластер ceph где-то 150 терабайт по-моему Точно не помню Нужн, mrd (??), 23:39 , 19-Май-15, (24) //

Я имел ввиду ceph с самого начала , mrd (??), 23:40 , 19-Май-15, (25)

Кто-нибудь , GrammarNarziss (?), 15:20 , 19-Май-15, (13) –2
На паре десятков миллионов мелких файлов живет очень медленно , Аноним (-), 16:07 , 19-Май-15, (14)
На гигабите живёт на грани приемлемого, потому лучше бы поиметь десяточку или во, Аноним (-), 17:59 , 19-Май-15, (16) //

быстрофикс, Аноним (-), 18:01 , 19-Май-15, (17)

Вообще 3 4 работала очень неплохо 3 7 обещает быть очень вкусной, надо тестить , AlexAT (ok), 21:09 , 19-Май-15, (20)
а если бы этот файл хранился бы на локальной файловой системе ext4 например --, Xasd (ok), 21:25 , 19-Май-15, (22) –1

Я думаю таких чудаков в продакшене нет Последний раз когда тестировал гластер, с, Shodan (ok), 12:36 , 19-Май-15, (3) –1 //

У нас на glasterfs живут жили в продакшене данные нескольких puppet мастеров и б, svr (?), 12:48 , 19-Май-15, (4) //

По сравнению с прошлым выпуском в GlusterFS 3 7 закрыто более 600 отчётов об ош, Shodan (ok), 12:53 , 19-Май-15, (5) +2 //

Ошибка ошибке рознь С , Fomalhaut (?), 13:15 , 19-Май-15, (7) +1
А сколько открыто , Аноним (-), 13:17 , 19-Май-15, (9) +1

Да ладно, я его под большой кластер вебморды личного кабинета юзерам и под храни, AlexAT (ok), 21:10 , 19-Май-15, (21)

Работает и в продакшн варианте, в одной сети живут 5 инсталляций 45 терабайт ви, Аноним (-), 21:52 , 19-Май-15, (23) //

Распределенный архив порнухи студенческого кампуса Круто , Аноним (-), 15:05 , 20-Май-15, (26)

Сообщения [Сортировка по времени | RSS]

12. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от Demo (??), 19-Май-15, 14:21

Используем в продакшене несколько хранилищ на Gluster (сотни терабайт).
Если ничего не трогать в ФС бриков и не добавлять или удалять брики — работает на приём и на отдачу хорошо. Не дай бог, если что-то произошло с FS или отвалился брик, а в это время юзер что-то записал на оставшеся — всё, начинаются проблемы. Кошмаром для админов будет состояние split brain.
> Как будет работать на медленных каналах?
Огромной проблемой является листинг каталогов (DHT феерически тормозит). Листинг каталога в несколько тысяч файлов через WAN превратится для ваших пользователей в мучительный процесс с неизвестным исходом. Оно то и через LAN тормозит не меньше.
Хочется перейти на что-то более вменяемое. Но вот буквально сегодня тестировал Ceph Hammer в 3-хнодовой конфигурации. По питанию рубанул два узла. Один OSD (хранилище) не поднялся по причине порчи журнального файла. И пока вручную не скажешь, что отсутствие одного OSD — это нормально, ввод-вывод на всё хранилище замораживается. По поводу восстановления журнального файла разработчики предлагают с помощью какой-то утилитки из бета-версии (testing) вручную вытягивать сотни Placement Groups. Затем убивать хранилище, создавать новое, с новым журналом, и заполнять его сохранёнными Placement Group-ами на свой страх и риск. — Ну, это не на много лучше ада с gfid-ами в Gluster.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

15. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от Аноним (-), 19-Май-15, 16:19

Ceph можно изначально сконфигурировать (или потом) на предмет работы в degraded-состоянии.
И, да, три узла - это ни о чём. Ну и отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств. А при чётном количестве мониторов и у Ceph может случиться раздвоение личности...

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от Demo (??), 19-Май-15, 19:25

> Ceph можно изначально сконфигурировать (или потом) на
> предмет работы в degraded-состоянии.
Указано было в конфиге:
osd pool default min size = 1
> три узла - это ни о чём
Для тестирования достаточно.
> отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств
С FS всё нормально. Накрылся журнальный файл OSD во время самовосстановления. OSD вываливается по Assertion failure через некоторое время после запуска.

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от тот же самый (?), 19-Май-15, 21:00

Хм, видимо сыроват, гонял 0.87 - на подобное не нарывался. А какой дистр использовался и откуда ставился ceph?

Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от Demo (??), 21-Май-15, 11:48

А какой дистр использовался и откуда ставился ceph?
CentOS 7.1.1503.
Ceph Hammer устанавливался по документации из репозитария ceph.com.

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от mrd (??), 19-Май-15, 23:39

У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно не помню. Нужно делить на 4 потому что 4 копии хранятся (по 2 на датацентр).
Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего нужно избегать и расширять или улучшать кэширующий слой преждевременно).
Ceph FS еще не готов, хотя в ограниченом виде мы его используем тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, опять же, это для ленивых или Windows по сути. Программно без файловой системы через S3 например вполне все хорошо работает.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

25. "Выпуск распределенной файловой системы GlusterFS 3.7" +/–

Сообщение от mrd (??), 19-Май-15, 23:40

> У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно
> не помню. Нужно делить на 4 потому что 4 копии хранятся
> (по 2 на датацентр).
> Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего
> нужно избегать и расширять или улучшать кэширующий слой преждевременно).
> Ceph FS еще не готов, хотя в ограниченом виде мы его используем
> тоже. В принципе, года через 1.5 возможно можно будет использовать. Но,
> опять же, это для ленивых или Windows по сути. Программно без
> файловой системы через S3 например вполне все хорошо работает.
Я имел ввиду ceph с самого начала.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру


	12. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от Demo (??), 19-Май-15, 14:21
	Используем в продакшене несколько хранилищ на Gluster (сотни терабайт). Если ничего не трогать в ФС бриков и не добавлять или удалять брики — работает на приём и на отдачу хорошо. Не дай бог, если что-то произошло с FS или отвалился брик, а в это время юзер что-то записал на оставшеся — всё, начинаются проблемы. Кошмаром для админов будет состояние split brain. > Как будет работать на медленных каналах? Огромной проблемой является листинг каталогов (DHT феерически тормозит). Листинг каталога в несколько тысяч файлов через WAN превратится для ваших пользователей в мучительный процесс с неизвестным исходом. Оно то и через LAN тормозит не меньше. Хочется перейти на что-то более вменяемое. Но вот буквально сегодня тестировал Ceph Hammer в 3-хнодовой конфигурации. По питанию рубанул два узла. Один OSD (хранилище) не поднялся по причине порчи журнального файла. И пока вручную не скажешь, что отсутствие одного OSD — это нормально, ввод-вывод на всё хранилище замораживается. По поводу восстановления журнального файла разработчики предлагают с помощью какой-то утилитки из бета-версии (testing) вручную вытягивать сотни Placement Groups. Затем убивать хранилище, создавать новое, с новым журналом, и заполнять его сохранёнными Placement Group-ами на свой страх и риск. — Ну, это не на много лучше ада с gfid-ами в Gluster.
	Ответить \| Правка \| К родителю #1 \| Наверх \| Cообщить модератору


	15. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от Аноним (-), 19-Май-15, 16:19
	Ceph можно изначально сконфигурировать (или потом) на предмет работы в degraded-состоянии. И, да, три узла - это ни о чём. Ну и отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств. А при чётном количестве мониторов и у Ceph может случиться раздвоение личности...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	18. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от Demo (??), 19-Май-15, 19:25
	> Ceph можно изначально сконфигурировать (или потом) на > предмет работы в degraded-состоянии. Указано было в конфиге: osd pool default min size = 1 > три узла - это ни о чём Для тестирования достаточно. > отсутствие бесперебойника может "Убить" любую FS при определённом стечении обстоятельств С FS всё нормально. Накрылся журнальный файл OSD во время самовосстановления. OSD вываливается по Assertion failure через некоторое время после запуска.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от тот же самый (?), 19-Май-15, 21:00
	Хм, видимо сыроват, гонял 0.87 - на подобное не нарывался. А какой дистр использовался и откуда ставился ceph?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	27. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от Demo (??), 21-Май-15, 11:48
	А какой дистр использовался и откуда ставился ceph? CentOS 7.1.1503. Ceph Hammer устанавливался по документации из репозитария ceph.com.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	24. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от mrd (??), 19-Май-15, 23:39
	У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно не помню. Нужно делить на 4 потому что 4 копии хранятся (по 2 на датацентр). Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего нужно избегать и расширять или улучшать кэширующий слой преждевременно). Ceph FS еще не готов, хотя в ограниченом виде мы его используем тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, опять же, это для ленивых или Windows по сути. Программно без файловой системы через S3 например вполне все хорошо работает.
	Ответить \| Правка \| К родителю #12 \| Наверх \| Cообщить модератору


	25. "Выпуск распределенной файловой системы GlusterFS 3.7"	+/–
	Сообщение от mrd (??), 19-Май-15, 23:40
	> У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно > не помню. Нужно делить на 4 потому что 4 копии хранятся > (по 2 на датацентр). > Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего > нужно избегать и расширять или улучшать кэширующий слой преждевременно). > Ceph FS еще не готов, хотя в ограниченом виде мы его используем > тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, > опять же, это для ленивых или Windows по сути. Программно без > файловой системы через S3 например вполне все хорошо работает. Я имел ввиду ceph с самого начала.
	Ответить \| Правка \| Наверх \| Cообщить модератору