The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

10.11.2010 22:16  В файловой системе HAMMER появилась поддержка объединения дубликатов

Для кластерной файловой системы HAMMER, разрабатываемой в рамках проекта DragonFly BSD, реализована поддержка объединения дубликатов данных. Представленная функция позволяет заметно сократить потребление дискового пространства в конфигурациях с большой долей повторяющихся данных за счет физического хранения на диске только одной копии всех дубликатов. Для пользователей которые не хотят рисковать использовать экспериментальный код, но не против узнать сколько можно сэкономить места на диске предусмотрен режим симуляции операции объединения дубликатов ("hammer dedup-simulate").

Некоторые возможности файловой системы HAMMER: восстановление ошибок во время монтирования, без необходимости выполнения fsck; возможность создания неограниченного числа снапшотов, отражающих состояние файловой системы в заданный промежуток времени; инкрементальное зеркалирование без использования очередей операций, поддержка режима "один master и много slave"; возможность отката операции и возврата состояния на определенную точку; поддержка объединения нескольких дисковых томов в рамках одной ФС. Максимальный объем хранилища - 1 Эксабайт. В будущем планируется реализовать multi-master режим с распределением данных на несколько хостов сети (резервирование за счет дублирования данных на разные машины) с поддержкой асинхронных транзакций.

  1. Главная ссылка к новости (http://www.shiningsilence.com/...)
  2. OpenNews: Вышел релиз ОС DragonFlyBSD 2.6
  3. OpenNews: В ZFS появилась поддержка исключения дубликатов
  4. OpenNews: Вышел релиз DragonFly BSD 2.0 с файловой системой HAMMER в комплекте
  5. OpenNews: Opendedup - файловая система с автоматическим объединением дубликатов данных
  6. OpenNews: Готовы ли файловые системы Linux к появлению многотерабайтных дисков
Лицензия: CC-BY
Тип: К сведению
Ключевые слова: hammer, DragonFlyBSD, fs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Показать все | RSS
 
  • 1.2, PavelR, 23:12, 10/11/2010 [ответить] [смотреть все]    [к модератору]
  • +/
    Нужно делать бэкапы виртуальных машин.
    Предполагается использовать rsync для их копирования.

    Необходимо организовать хранилище файлов резервных копий, с поддержкой дедупликации, чтобы хранились только изменившиеся блоки. Какая ОС/фс готовы к такому использованию в настоящий момент?
    (solaris+zfs.v26, какие еще?)

     
     
  • 2.4, Andrei, 00:01, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]
  • –1 +/
    man "cp -al ... && rsync ..." ||
    man unionfs
     
  • 2.9, Алексей, 03:37, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    Из известных мне решений для дедупликации под Linux могу посоветовать смотреть в сторону LessFS (http://www.lessfs.com/) и SDFS (http://www.opendedup.org/), обе эти ФС работают через FUSE.
    SDFS написана на жабе, для работы требует достаточно много ОЗУ, но при этом работает весьма шустро.
     
  • 1.3, User294, 23:36, 10/11/2010 [ответить] [смотреть все]     [к модератору]
  • –3 +/
    Нечто такое жутко рулило бы для виртуалок и контейнеров - по сути можно прямо на... весь текст скрыт [показать]
     
     
  • 2.11, Аноним, 07:17, 11/11/2010 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    VirtualBox Под фряхой у него даже усб есть в OSS верии Хотя под фряхой и Z... весь текст скрыт [показать]
     
  • 2.12, www2, 09:25, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    В DragonFly BSD, разработчики которой одновременно являются и разработчиками HAMMER, есть vkernel. Насколько я могу судить, это аналог User Mode Linux.
     
  • 1.5, Аноним, 00:20, 11/11/2010 [ответить] [смотреть все]    [к модератору]  
  • +/
    Замечательно, еще бы портировали в другие *БСД
     
     
  • 2.13, тигар, 10:23, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Диллон правильно сказал что "у вас(fbsd) есть zfs, пилите его лучше". Но лично Вы можете портировать hammer на нужную xBSD ;)
     
  • 1.6, Аноним, 00:21, 11/11/2010 [ответить] [смотреть все]    [к модератору]  
  • +/
    Когда ей уже во FreeBSD портируют?
     
     
  • 2.7, iZEN, 00:25, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Сейчас в FreeBSD идёт активное перелопачивание vfs и структур ZFS — подготавливается внедрение дедупликации и ZFSv28. ;)
     
     
  • 3.8, Аноним, 00:51, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    И? Времени достаточно было, еще даже до импорта ZFS.
     
     
  • 4.10, kshetragia, 05:20, 11/11/2010 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Там были другие, более важные задачи.
     
  • 1.14, pavlinux, 14:26, 11/11/2010 [ответить] [смотреть все]    [к модератору]  
  • +/
    Предлагаю снизить количество дубликатов до двух бит - 1 и 0, или да же до одного - 0 и ~0


     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor