The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Первый публичный выпуск распределённой файловой системы JuiceFS

13.01.2021 15:44

После четырёх лет разработки компания Juicedata, созданная при поддержке двух крупных китайских венчурных фондов, опубликовала первый публичный выпуск POSIX-совместимой распределённой файловой системы JuiceFS, которая может быть развёрнута поверх СУБД Redis или хранилищ объектов, поддерживающих API Amazon S3. JuiceFS развивается как промежуточное решение, позволяющее упростить адаптацию любых приложений для работы в облачной инфраструктуре, благодаря возможности работать с хранилищами объектов как с традиционными ФС. Код проекта написан на языке Go и распространяется под лицензией AGPLv3.

Архитектура JuiceFS подразумевает использование СУБД Redis для хранения метаданных, определяющих структуру ФС и параметры отражения блоков данных в облачные хранилища. Файловая система реализована в пространстве пользователя с использованием механизма FUSE. Каждый файл разбивается на логические цепочки размером 64 МБ, которые в свою очередь разделяются на более мелкие блоки, которые после шифрования (опционально) и сжатия записываются в хранилища объектов.

Основные особенности JuiceFS:

  • Полная совместимость с POSIX, для приложений хранилище выглядит как традиционная файловая система.
  • Высокая производительность, отзывчивость на уровне нескольких миллисекунд и гибкие возможности по расширению. По скорости выполнения операций с метаданными, а также последовательного чтения и записи, JuiceFS на порядок опережает Amazon EFS и FUSE-модуль S3FS.
  • Поддержка архитектуры Cloud-Native с независимым масштабированием хранилища и вычислительных компонентов. На базе JuiceFS может создаваться единое общее хранилище для облачных сервисов.
  • Поддержка создания совместных хранилищ для одновременных операций чтения и записи от большого числа клиентов. На базе JuiceFS также можно легко развёртывать хранилища для резервных копий или накопления больших объёмов аналитических данных.
  • Глобальные файловые блокировки с поддержкой flock (BSD-блокировки) и fcntl (POSIX-блокировки).
  • Встроенная возможность хранения данных в сжатом виде: по умолчанию используется алгоритм LZ4 и опционально доступен Zstd.
  • Обеспечение отказоустойчивости через избыточное хранение копий данных в разных хранилищах объектов.
  • Для хранения объектов могут использоваться локальный диск, СУБД Redis, Ceph RGW, MinIO, облачные сервисы Amazon S3, Google Cloud Storage, Azure Blob Storage, Alibaba Cloud Object Storage Service (OSS), Tencent Cloud Object Storage (COS) и QingStor Object Storage.

Помимо JuiceFS, компания Juicedata также развивает открытый инструментарий JuiceSync, позволяющий реплицировать данные между разными хранилищами на базе локальных ФС, sftp, HDFS и облачных сервисов хранения объектов AWS S3, Google Cloud Platform GCS, Microsoft Azure Block Storage, Aliyun OSS, Tencent Cloud COS, UCloud UFile, Qingyun QingStor, KingSoft Cloud KS3, Baidu Cloud BOS, JDCloud Object Storage, Qiniu, Backblaze B2 и Digital Ocean Space.

  1. Главная ссылка к новости (https://github.com/juicedata/j...)
  2. OpenNews: Первый релиз wZD 1.0.0, сервера компактного хранения мелких файлов
  3. OpenNews: Обновление кластерной файловой системы LizardFS 3.13.0-rc2
  4. OpenNews: Компания Versity открыла исходные тексты файловой системы ScoutFS
  5. OpenNews: Выпуск глобальной децентрализованной файловой системы IPFS 0.7
  6. OpenNews: Выпуск СУБД Redis 6.0
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/54396-juicefs
Ключевые слова: juicefs, redis
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (68) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Иваня (?), 18:11, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Круто, надо поизучать. На гошечке отлично делать распределенные системы!
     
     
  • 2.3, Аноним (3), 18:19, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Новость дальше слова "go" ты походу и не прочитал))
     
     
  • 3.4, Аноним (3), 18:20, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +4 +/
    (то, что до него, походу, тоже)
     
     
  • 4.35, Атон (?), 21:48, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    GOoogle
    GOspel
    GOvernment


    удобно.

     
  • 2.39, Аноним (39), 22:07, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    vlang наше все. го ущербен
     
     
  • 3.57, Аноним (57), 11:16, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Оно еще живое?
     
     
  • 4.59, pda (?), 12:37, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    V? Да, причём автор пилит его с такой скоростью, будто реально решил всех вытеснить. :)
     
  • 2.60, adolfus (ok), 13:23, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В связи с последними событиями с долинковкой малвари в орион с помощью специальной версии msbuild облакам хана. Своя собственная физическая инфраструктура дешевле в разы обходится, а то и на порядок.
     
     
  • 3.82, мяя (?), 18:05, 15/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    О чём речь не подскажете?
     
     
  • 4.84, adolfus (ok), 23:36, 15/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Релиз Solar Wind Orion собирался на сервере сборки специально изготовленным msbuild, чтобы скрыть следы линковки с левыми объектными модулями. А чтобы на микрософт не подумали, то якобы "взлом" инфраструктуры Solar Wind затронул и их.
     
     
  • 5.86, Аноним (86), 07:15, 16/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Читайте первоисточники и не несите дичь. Исходники подменялись малварью во время сборки и восстанавливались после. Msbuild был самый обычный.
     

  • 1.2, _ (??), 18:16, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –7 +/
    Go fast! Go - blazing fast! ;-)
    Это вам не ржавчина какая :-р
     
     
  • 2.13, Аноним (13), 19:34, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –7 +/
    Если сРаст такой хороший язык почему на нём не написали такую простую штуку как распределенная файловая система?
     
     
  • 3.17, Аноним (17), 20:22, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    на расте пытались написать недоось - но в ней память потекла :)
     
     
  • 4.20, YetAnotherOnanym (ok), 20:23, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +14 +/
    Прям представляю, прамять такая: Ой, девочкиии, какой языыык... Я потекла...
     
  • 4.33, Аноним (-), 21:22, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > на расте пытались написать недоось - но в ней память потекла :)

    Разоблачения от опеннетных профессианналов, только сегодня, смотреть далее ...


     
     
  • 5.52, Аноним (52), 05:52, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Но и опровергнуть ты не смог...
     
     
  • 6.55, Аноним (55), 06:23, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Но и опровергнуть ты не смог...

    Зачем опровергать очередной бред?
    чайник_рассела.жпг


     
  • 6.87, Ordu (ok), 08:47, 16/01/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты слишком толст, чтобы тебя кто-нибудь опровергал. Тоньше быть надо.
     
  • 3.19, заминированный тапок (ok), 20:23, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    им пока не до новых разработок, сильно заняты пока что переписыванием существующих решений с C/C++
     
     
  • 4.30, Аноним (17), 21:12, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ясно, понятно, просто переставляют койки...
     
  • 2.48, _ (??), 03:31, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    На Rust уже есть https://github.com/openebs/Mayastor , который по функционалу уже близок к CEPH)
    Сам он ФС не предоставляет, только объектное и блочное хранилище, однако эту задачу решает NFS/любая другая ФС работающая поверх объектного хранилища (Та же JuiceFS подойдёт :D)
     
     
  • 3.51, Аноним (52), 05:50, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • –4 +/
    А как ты будеш кластеризовать сам nfs? Это не говоря о том что сама nfs это лютейшее говно.
     
     
  • 4.58, Аноним (58), 12:30, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    мисье не в курсе о pNFS и NFS v 4.2 ?
     
     
  • 5.75, Ульта (?), 21:10, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Он видать на SunOS NFS3 еще гоняет
     
  • 4.69, _ (??), 19:02, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    > Это не говоря о том что сама nfs это лютейшее говно.

    1. Я и указал что NFS это не единственный вариант
    2. Можно ли услышать аргументацию про NFS? Поддерживаю кластер 120 нод, много чего гоняется по NFS, за 3 года проблем не видел (Кроме тех что были вызваны кривыми руками)

     
     
  • 5.78, _ (??), 22:11, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    3.14159265 - do - ball ? :-)))))
    NFS - suks, no doubt. Problem is - there is noting really better :(
     
  • 2.76, Ульта (?), 21:11, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Шо раст шо го одно г0вно
     

  • 1.5, Аноним (5), 18:34, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Реально ли применить для хранения данных пользователей и бэкапов объёмом >300 Тб? И как там отказоустойчивость?
     
     
  • 2.10, Онаним (?), 19:10, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Я бы на этом ничего, кроме рецептов смузи, хранить не рискнул.
     
  • 2.11, Аноним (11), 19:19, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Его нереально применить для хранения. Это прокси до хранилищ перечисленных на картинке
     
  • 2.28, Аноним (28), 21:07, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Реально. Разрешаю.
     
  • 2.40, Аноним (40), 22:37, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Разоришься амазону башлять… Впрочем, твой дело.
     
  • 2.61, Аноним (61), 15:23, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Отказоустойчивое 0.022 цента за гигабайт только за хранение в месяц. Это приблизительно почти 7к долларов в месяц. И трафик скачать 1 гигабайт стоит 0.09 центов.
     

  • 1.6, Аноним (5), 18:35, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это что-то типа IBM GPFS?
     
     
  • 2.14, бублички (?), 19:40, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    нет, это абсолютная новинка на основе концепции Vaseline FS
     
     
  • 3.44, Сяду на лицо (?), 23:46, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Васянов огорчает твой коммент
     
  • 2.36, Атон (?), 21:52, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    здесь все метаданные в одной БД.

    в GPFS не так.

     
  • 2.66, Ульта (?), 17:15, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    GPFS это DFS, а эта подделка работает поверх различных DFS от годных типа GPFS, pNFS, Lustre, Ceph до смузиподобных GlusterFS и прочих FUSE like
     

  • 1.8, rvs2016 (ok), 18:58, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Каждый файл разбивается на логические цепочки размером 64 МБ

    А файловые системы размером меньше 64 МБ создавать нельзя? 😲

     
     
  • 2.26, Аноним (-), 21:05, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)
     
     
  • 3.38, rvs2016 (ok), 22:06, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)

    Понял. Нельзя. Да и не сильно-то было надо. Вопрос-то был не из практической плоскости, а из академической. :-)

     
  • 2.37, Атон (?), 21:53, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а смысл?
     

  • 1.12, Аноним (13), 19:32, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    наконец-то годноту подвезли.
     
  • 1.21, YetAnotherOnanym (ok), 20:25, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хммм... Интересно, как она с LeoFS будет?
     
     
  • 2.25, Аноним (25), 21:04, 13/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот протестируй и отпишись, как оно будет.
     

  • 1.42, Сяду на лицо (?), 23:43, 13/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Фс поверх фс которая поверх другой фс и так до бесконечности... да уж линукс во всей красе((( даже винда сейчас смотрится как нечто органичное и структурированное по сравнению с этим балаганом
     
     
  • 2.45, Онаним (?), 00:16, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    В винде прямо из коробки идёт подобное же рукалицо.
    Дропбокс называется.
     
     
  • 3.46, Сяду на лицо (?), 00:32, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Дропбокс это овеолей поверх оверлея??? Там просто эмуляция WebDAV/REST, типа FUSE, а не FUSE поверх FUSE которая поверх S3 который поверх FUSE который размазан поверх Lustre и все это поверх FUSE которая поверх GlusterFS которая тоже поверх FUSE
     
     
  • 4.56, Онаним (?), 09:48, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Внезапно:
    1. API файловой системы -> ядерная поддержка FS -> юзерспейсный драйвер FS дропбокса
    То есть первый оверлей ("FUSE") есть.
    2. API дропбокса - HTTPS, то есть и второй слой имеется, "FUSE" поверх HTTPS
    3. Сам дропбокс внутри - всё тот же блочный сторейдж по типу S3, просто часть, делающая возможность работать с файлами - выкинута в API дропбокса

    То есть в итоге - почти точно такое же овнище, вид в профиль, за исключением того, что конверсия в блочный сторейдж на стороне сервера выполняется.

     
     
  • 5.63, Ульта (?), 15:34, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Только описываемый тобой костыль дропбокса не на одной системе пашет, тобишь эмуляция прозрачной ФС с трансляцией в API бокса это обычный FUSE, а S3 или че он там использует это его сервер сайд, по факту имеем один FUSE

    Оверлей поверх оверлея это когда одна эмуляция поверх другой эмуляции... и где то в конце нечто приближенное с реальной ФС, как в этом смузипроджекте

     
     
  • 6.70, Онаним (?), 19:04, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    По факту имеем FUSE и дальше костылинг поверх HTTP.
     
  • 6.71, Онаним (?), 19:05, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    (не забывай, что от "FUSE" до дропбокса - ещё его кривой API)
     
     
  • 7.74, Ульта (?), 21:08, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FUSE собственно и реализует прослойку между кривым API и ядром ОС, дабы у хомячка все была НАТИВНО
     
     
  • 8.77, Онаним (?), 21:46, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    А дальше идёт прослойка в виде хытытыпы под прослойкой в виде ссл к прослойке в ... текст свёрнут, показать
     
     
  • 9.81, Ульта (?), 17:16, 15/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    FUSE это и есть прослойка... текст свёрнут, показать
     

  • 1.49, анонимно (?), 04:47, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Написана вроде интересная штука да ещё и под копилефт.
    Количество хейтеров на опеннете прибавилось )
     
     
  • 2.62, Аноним (61), 15:25, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Платное уг не нужное.
     

  • 1.50, Аноним (52), 05:46, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну тут все понятно, дохлый проект непонятно для чего. Client Core это single машина а после уже клиентам раздаем по smd или nfs, а я то уже обрадовался что появилась замена cephfs когда все клиенты из кластера смогу смонтировать и не угробить файлы.
     
  • 1.53, Аноньимъ (ok), 05:58, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я в новости про фс в вкладках браузера предложил устанавливать туда браузер.

    И вот собственно мою идею развили и реализовали.

     
  • 1.54, Аноним (52), 06:01, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    https://juicefs.com/pricing - это говори о проекте все, удачи вам с этим васяно уг...
     
     
  • 2.67, borbacuca (ok), 17:46, 14/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    дыкжеж венчурные фонды!
     

  • 1.64, Анонимленьлогиниться (?), 16:53, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хмм. Интересно, ждем когда будет работать поверх Swift. Т.к. у многих cloud провайдеров его используют. Технически там-то конечно S3 шлюз есть, но подобные жесткие сервисы обычно не работают корректно, т.к. поведение eventual consistency отличается от того, который в AWS. А если речь про использование в AWS.. Так нафига вообще козе баян? Есть же CASFS+ (https://casfs.com/documentation/casfs/casfs-white-paper/#casfs-architecture) уже.
     
  • 1.65, Ульта (?), 17:08, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    pNFS наше все, в ж0пу костыли запихать всем любителям системда
     
  • 1.68, PnD (??), 18:20, 14/01/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Оп. Метаданные в реди́се. Но без них же данные превратятся в лапшу? Или нет?
    Может, я чего пропустил и редис выпустил систему с гарантиями? Да нет, всё так же:
    "Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker."

    Ну, что же. Видимо, гм, основные цели носили не технический характер.

     
     
  • 2.79, Аноним (79), 06:49, 15/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Тот же вопрос у меня.
     
  • 2.85, ОхотникНаОленей (?), 06:02, 16/01/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Ну редис флашить состояние на диск умеет, как минимум для перезапуска машины. Плюс сохранность обеспечивает избыточность узлов.

    А без избыточности узлов и hdd без raid - не надёжен.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру