The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

02.05.2014 09:15  Основатели ClamAV представили LibreS3, открытую реализацию хранилища Amazon S3

Анонсирован первый выпуск проекта LibreS3, в рамках которого развивается открытая реализация облачного сервиса хранения Amazon S3. LibreS3 позволяет развернуть на своих серверах сервис хранения данных, полностью совместимый с клиентскими библиотеками для Amazon S3 и построенными на их основе инструментами, такими как python-boto, s3cmd и DragonDisk. Исходные тексты LibreS3 написаны на языках Си и OCaml, код распространяется под лицензией GPLv2 (библиотеки под LGPL). Платформа может быть использована в Linux, OS X и различных BSD-системах.

Стоит отметить, что проект развивается командой разработчиков, в своё время покинувших проект ClamAV для развития своих новых идей. Среди разработчиков Skylable числятся Томаш Койм (Tomasz Kojm), основатель свободного антивирусного пакета ClamAV, и ещё три разработчика, стоящих у истоков проекта.

Для организации хранения данных на группе серверов применяется распределённое кластерное хранилище Skylable Sx, первый выпуск которого представлен одновременно с LibreS3. Skylable Sx также является свободным проектом и берёт на себя выполнение задач по репликации данных между узлами и дедупликации идентичных данных на разных узлах кластера. Skylable Sx позволяет объединить в единое виртуальное хранилище дисковое пространство с нескольких серверов. Для обеспечения отказоустойчивости и сохранности информации наборы данных реплицируются на несколько разных серверов. Число копий, которые будут храниться на разных серверах, определяются администратором при конфигурации системы.

Для защиты данных применяется техника шифрования на стороне клиента, при которой на серверы системы информация поступает уже в зашифрованном виде, что исключает перехват данных в случае получения спецслужбами или злоумышленниками доступа к серверам хранения. Кроме того, опционально может быть использовано шифрование разделов на серверах, но в этом случае теряется эффективность от использования дедупликации. Обмен данными между клиентом и сервером и между узлами шифруется с использованием HTTPS. Для экономии дискового пространства используется сжатие данных на лету.

Skylable Sx состоит из следующих компонентов:

  • sxhttpd - демон, обслуживающий запросы по протоколу HTTP, используемому как для обращения клиентов, так и для взаимодействия узлов хранения.
  • sx.fcgi - работающий с использованием FastCGI процесс, непосредственно обрабатывающий запросы и распределяющий их среди дочерних процессов-обработчиков:
    • Менеджер выполнения работ - планирует передачу блоков данных и выполняет команды администрирования);
    • Менеджер передачи блоков данных - передаёт данные между узлами хранения и отдаёт данные клиентам;
    • Сборщик мусора - выполняет поиск и чистку блоков данных, потерявших актуальность или не связанных с файлами.


  1. Главная ссылка к новости (http://www.skylable.com/2014/0...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: libres3, amazon
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.2, YetAnotherOnanym, 11:06, 02/05/2014 [ответить] [смотреть все]    [к модератору]
  • +/
    Не понял - какая дедупликация, если каждый шифрует данные на своей стороне со своим собственным ключом? И какое вообще "сжатие на лету" для зашифрованных данных? Вроде как зашифрованное не жмётся в принципе?
     
     
  • 2.3, my, 11:16, 02/05/2014 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]
  • –1 +/
    > Вроде как зашифрованное не жмётся в принципе?

    С чего это вдруг?

     
     
  • 3.8, Andrew Kolchoogin, 12:26, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]
  • +2 +/
    Ну, вообще-то, Шнайер утверждает, что именно это свойство криптотекста является ... весь текст скрыт [показать]
     
     
  • 4.9, pavel_simple, 13:43, 02/05/2014 [^] [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    Шнайер не писал такой херни
     
     
  • 5.10, Аноним, 15:07, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Более того, можно зашифровать а потом избыточности добавить Забавно, правда ... весь текст скрыт [показать]
     
  • 3.14, DeadLoco, 15:50, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    Чем лучше криптование, тем выше энтропия результирующего потока Чем выше энтроп... весь текст скрыт [показать]
     
     
  • 4.20, Аноним, 10:19, 03/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    По таким заявкам сразу видно эксперта в отрасли Лишь один из критериев, не боле... весь текст скрыт [показать]
     
  • 3.15, плавализнаем, 17:17, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    Из общей теории информации же Шифрование - повышение энтропии Сигнал с высокой... весь текст скрыт [показать]
     
  • 2.4, тоже Аноним, 11:25, 02/05/2014 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Например, текст, зашифрованный шифром Цезаря, сожмется ровно так же, как и ориги... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.6, YetAnotherOnanym, 11:49, 02/05/2014 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    А, ну это да, тут не возразишь :D
     
     
  • 4.11, Аноним, 15:09, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    А как насчет такого варианта шифруем нормальным шифром Потом дублируем каждый ... весь текст скрыт [показать]
     
     
  • 5.12, A.Stahl, 15:29, 02/05/2014 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Тот, кто говорил что плохая сжимаемость признак шифровки, скорее всего имел в виду, что это ОДИН ИЗ МНОГИХ признаков шифровки.
     
  • 5.13, YetAnotherOnanym, 15:41, 02/05/2014 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Для чего? Криптостойкость это не повысит, для устойчивости к потерям есть более вменяемые методы (вроде того же Рида-Соломона), размазать по другим данным (стеганография) - тоже не похоже. Специально раздуть массив данных ради возможности его сжать - это какое-то странное упражнение.
     
     
  • 6.18, Аноним, 23:07, 02/05/2014 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Для нагибания детектирования шифрования по сжимаемости, разумеется А вы что под... весь текст скрыт [показать]
     
  • 1.5, mrd, 11:41, 02/05/2014 [ответить] [смотреть все]    [к модератору]  
  • +/
    Велосипед изобрели. OpenStack и ceph уже давно умеют S3.
     
     
  • 2.19, Ю.Т., 09:14, 03/05/2014 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Построить что-то полезное в openstack слишком трудоёмко. Если недобор по кадрам, нереально.

    Здесь вот тоже конструктор, похоже.

     
  • 2.22, Cykooz, 18:22, 05/05/2014 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Тыкали мы этот S3 поверх Swift из OpenStack - реализация не полная и для реальных web-проектов не достаточна, даже после применения дополнительных патчей.
     
  • 1.7, Аноним, 12:23, 02/05/2014 [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    Отличная новость Ещё и лицензия правильная, да и выбор языков разработки прияте... весь текст скрыт [показать]
     
  • 1.16, Аноним, 18:16, 02/05/2014 [ответить] [смотреть все]    [к модератору]  
  • +/
    Где ссылка на гитхаб?
     
     
  • 2.17, Аноним, 21:40, 02/05/2014 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +10 +/
    вот: http://github.com
     
     
  • 3.21, Анонимоус, 23:32, 03/05/2014 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Что вы, коллега, товарищ просит ссылку на новость на гитхабе.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor