The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

10.11.2010 22:16  В файловой системе HAMMER появилась поддержка объединения дубликатов

Для кластерной файловой системы HAMMER, разрабатываемой в рамках проекта DragonFly BSD, реализована поддержка объединения дубликатов данных. Представленная функция позволяет заметно сократить потребление дискового пространства в конфигурациях с большой долей повторяющихся данных за счет физического хранения на диске только одной копии всех дубликатов. Для пользователей которые не хотят рисковать использовать экспериментальный код, но не против узнать сколько можно сэкономить места на диске предусмотрен режим симуляции операции объединения дубликатов ("hammer dedup-simulate").

Некоторые возможности файловой системы HAMMER: восстановление ошибок во время монтирования, без необходимости выполнения fsck; возможность создания неограниченного числа снапшотов, отражающих состояние файловой системы в заданный промежуток времени; инкрементальное зеркалирование без использования очередей операций, поддержка режима "один master и много slave"; возможность отката операции и возврата состояния на определенную точку; поддержка объединения нескольких дисковых томов в рамках одной ФС. Максимальный объем хранилища - 1 Эксабайт. В будущем планируется реализовать multi-master режим с распределением данных на несколько хостов сети (резервирование за счет дублирования данных на разные машины) с поддержкой асинхронных транзакций.

  1. Главная ссылка к новости (http://www.shiningsilence.com/...)
  2. OpenNews: Вышел релиз ОС DragonFlyBSD 2.6
  3. OpenNews: В ZFS появилась поддержка исключения дубликатов
  4. OpenNews: Вышел релиз DragonFly BSD 2.0 с файловой системой HAMMER в комплекте
  5. OpenNews: Opendedup - файловая система с автоматическим объединением дубликатов данных
  6. OpenNews: Готовы ли файловые системы Linux к появлению многотерабайтных дисков
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: hammer, DragonFlyBSD, fs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.2, PavelR (??), 23:12, 10/11/2010 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    Нужно делать бэкапы виртуальных машин.
    Предполагается использовать rsync для их копирования.

    Необходимо организовать хранилище файлов резервных копий, с поддержкой дедупликации, чтобы хранились только изменившиеся блоки. Какая ОС/фс готовы к такому использованию в настоящий момент?
    (solaris+zfs.v26, какие еще?)

     
     
  • 2.4, Andrei (??), 00:01, 11/11/2010 [^] [ответить]    [к модератору]
  • –1 +/
    man "cp -al ... && rsync ..." ||
    man unionfs
     
  • 2.9, Алексей (??), 03:37, 11/11/2010 [^] [ответить]    [к модератору]
  • +/
    Из известных мне решений для дедупликации под Linux могу посоветовать смотреть в сторону LessFS (http://www.lessfs.com/) и SDFS (http://www.opendedup.org/), обе эти ФС работают через FUSE.
    SDFS написана на жабе, для работы требует достаточно много ОЗУ, но при этом работает весьма шустро.
     
  • 1.3, User294 (ok), 23:36, 10/11/2010 [ответить] [показать ветку] [···]     [к модератору]
  • –3 +/
    Нечто такое жутко рулило бы для виртуалок и контейнеров - по сути можно прямо на... весь текст скрыт [показать]
     
     
  • 2.11, Аноним (-), 07:17, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    VirtualBox ? Под фряхой у него даже усб есть (в OSS верии):)
    Хотя под фряхой и ZFS есть так чтЭ ...
     
  • 2.12, www2 (ok), 09:25, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    В DragonFly BSD, разработчики которой одновременно являются и разработчиками HAMMER, есть vkernel. Насколько я могу судить, это аналог User Mode Linux.
     
  • 1.5, Аноним (-), 00:20, 11/11/2010 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Замечательно, еще бы портировали в другие *БСД
     
     
  • 2.13, тигар (ok), 10:23, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    Диллон правильно сказал что "у вас(fbsd) есть zfs, пилите его лучше". Но лично Вы можете портировать hammer на нужную xBSD ;)
     
  • 1.6, Аноним (-), 00:21, 11/11/2010 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Когда ей уже во FreeBSD портируют?
     
     
  • 2.7, iZEN (ok), 00:25, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    Сейчас в FreeBSD идёт активное перелопачивание vfs и структур ZFS — подготавливается внедрение дедупликации и ZFSv28. ;)
     
     
  • 3.8, Аноним (-), 00:51, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    И? Времени достаточно было, еще даже до импорта ZFS.
     
     
  • 4.10, kshetragia (ok), 05:20, 11/11/2010 [^] [ответить]    [к модератору]  
  • +/
    Там были другие, более важные задачи.
     
  • 1.14, pavlinux (ok), 14:26, 11/11/2010 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Предлагаю снизить количество дубликатов до двух бит - 1 и 0, или да же до одного - 0 и ~0


     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor