https://www.opennet.ru/openforum/vsluhforumID3/102639.html Доступен (http://blog.gluster.org/2015/05/glusterfs-3-7-0-has-been-released-introducing-many-new-features-and-improvements/) релиз распределенной файловой системы GlusterFS 3.7 (http://www.gluster.org/), позволяющей организовать работу распределённого на несколько узлов хранилища, развёртываемого поверх штатных POSIX ФС, таких как Ext4, XFS и Btrfs, с использованием механизма FUSE (ФС в пользовательском пространстве). GlusterFS предоставляет средства автоматического восстановления после сбоев и обеспечивает практически неограниченную масштабируемость, благодаря отсутствию привязки к централизованному серверу мета-данных (используются распределённые хэш-таблицы). <br><br><br>По сравнению с прошлым выпуском в GlusterFS 3.7 закрыто более 600 отчётов об ошибках и принято 1220 патчей. Готовые для установки бинарные пакеты с GlusterFS 3.5 подготовлены (http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.0/) для Fedora, RHEL, CentOS, Debian, openSUSE, SLES и Ubuntu. Новый выпуск будет по умолчанию поставляться в ожи https://www.opennet.ru/openforum/vsluhforumID3/102639.html#27 Thu, 21 May 2015 08:48:45 GMT А какой дистр использовался и откуда ставился ceph?<br><br>CentOS 7.1.1503.<br>Ceph Hammer устанавливался по документации из репозитария ceph.com.<br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#26 Wed, 20 May 2015 12:05:44 GMT &gt; 45 терабайт видео и картинок<br><br>Распределенный архив порнухи студенческого кампуса? Круто!!!<br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#25 Tue, 19 May 2015 20:40:15 GMT &gt; У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно <br>&gt; не помню. Нужно делить на 4 потому что 4 копии хранятся <br>&gt; (по 2 на датацентр).<br>&gt; Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего <br>&gt; нужно избегать и расширять или улучшать кэширующий слой преждевременно).<br>&gt; Ceph FS еще не готов, хотя в ограниченом виде мы его используем <br>&gt; тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, <br>&gt; опять же, это для ленивых или Windows по сути. Программно без <br>&gt; файловой системы через S3 например вполне все хорошо работает.<br><br>Я имел ввиду ceph с самого начала.<br><br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#24 Tue, 19 May 2015 20:39:18 GMT У нас уже года 2 кластер ceph где-то 150 терабайт по-моему. Точно не помню. Нужно делить на 4 потому что 4 копии хранятся (по 2 на датацентр).<br>Вроде ничего. Проблемы только когда IO/s от клиентов превышают возможность кластера (чего нужно избегать и расширять или улучшать кэширующий слой преждевременно).<br>Ceph FS еще не готов, хотя в ограниченом виде мы его используем тоже. В принципе, года через 1.5 возможно можно будет использовать. Но, опять же, это для ленивых или Windows по сути. Программно без файловой системы через S3 например вполне все хорошо работает.<br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#23 Tue, 19 May 2015 18:52:27 GMT Работает и в продакшн варианте, в одной сети живут 5 инсталляций. 45 терабайт видео и картинок вполне себе существуют уже 3 год как. Да, медленно листаются каталоги и поиск медленно происходит, но если знаешь полный путь то все работает на ура. С восстановлением в случае сбоев танцевать приходится, но в остальном все хорошо, легко и дёшево! <br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#22 Tue, 19 May 2015 18:25:51 GMT &gt; И кстати как решаются конфликты: например два пользователя с небольшой задержкой изменяют файлы на двух распределенных серверах<br><br>а если бы этот файл хранился бы на локальной файловой системе (ext4 например) -- и два пользователя бы примерно-одновременно его меняли бы его -- то как разрешился бы этот конфликт? :-)<br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#21 Tue, 19 May 2015 18:10:19 GMT &gt; Я думаю таких чудаков в продакшене нет.<br>&gt; Последний раз когда тестировал гластер, скорость была ужасающе низкой.<br><br>Да ладно, я его под большой кластер вебморды личного кабинета юзерам и под хранилку конфигов+записей разговоров юзал - причём через fuse заметно шустрее NFS на мелочи.<br><br>Единственный нюанс - сырое слегонца. Особенно в части блокировок. Сессии и почту на нём лучше не хранить.<br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#20 Tue, 19 May 2015 18:09:07 GMT Вообще 3.4 работала очень неплохо. 3.7 обещает быть очень вкусной, надо тестить. Конфликты не решаются никак - синхронное хранилище, соответственно на медленных каналах будет задница. <br> https://www.opennet.ru/openforum/vsluhforumID3/102639.html#19 Tue, 19 May 2015 18:00:09 GMT Хм, видимо сыроват, гонял 0.87 - на подобное не нарывался. А какой дистр использовался и откуда ставился ceph?<br>