forum.opennet.ru

"В ZFS появилась поддержка исключения дубликатов"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.

. "В ZFS появилась поддержка исключения дубликатов"	+/–
Сообщение от Дмитрий Ю. Карпов (?), 05-Ноя-09, 11:05
> Если говорить о 4к,8к,16к,256к блоках, то можно просто игнорировать вероятность коллизии. Когда-то Intel в Пентиумах допустила ошибку в делении и посчитала её маловероятной. Потом ей пришлось менять все дефектные процессоры за её счёт. Почитайте что-нибудь про то, как организовывают транзакции: там не смотрят на вероятность неправильного срабатывания, а доказывают правильность работы алгоритма как математики доказывают теоремы.
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

В ZFS появилась поддержка исключения дубликатов, opennews, 03-Ноя-09, 10:27 [смотреть все]

круть, файлопомойки на freenas и freebsd зарулят теперь окончательно , white_raven, 03-Ноя-09, 10:27 (1) //
- Осталось самая малось, сделать нормальную поддержку SAN , Anatoliy, 03-Ноя-09, 13:07 (37) //
  - ага, подружить фрю с iSCSI так и не удалось, oops, 03-Ноя-09, 14:27 (47) //
    - А FreeNAS это разве не FreeBSD с поддержкой iSCSI , QuAzI, 03-Ноя-09, 14:53 (49)
    - Ну зачем же на всю страну кричать что руки мол растут из альтернативного мес, Warhead Wardick, 03-Ноя-09, 19:09 (98)
    - Где именно у вас подружить не получилось У меня фряха раздаёт по iscsi zvol-ы, , Aleksey Salow, 03-Ноя-09, 20:22 (106)
      - Раздовать, может она и научилась, если установить из usr ports net iscsi-target, Ant, 03-Ноя-09, 23:02 (112)
        
        Кто ж с CX серией юзает iSCSI для это FC есть , pavlinux, 04-Ноя-09, 01:10 (115)
        
        Вот и стоит Solaris 10, пока нормальной поддержки SAN не будет - , Ant, 04-Ноя-09, 12:36 (134)
        
        8-CURRENT какой-то древний и 8-BETA1 полёт нормальный Возможно в семёрке и были, Aleksey Salow, 04-Ноя-09, 02:07 (119)
        
        Спасибо, попробую , Ant, 04-Ноя-09, 12:36 (135)
Меня удивляет, как такое простое и казалось бы очевидное решение раньше не приду, uldus, 03-Ноя-09, 10:36 (2) //
- Дело не в идее Дело в реализации Понаписать это все так чтобы оно надежно рабо, al, 03-Ноя-09, 11:31 (16)
- Если мне не изменяет память, нечто подобное, как и многое другое типа мнгновенны, xxx, 03-Ноя-09, 12:56 (34) //
  - не изменяет http en wikipedia org wiki Venti, Planner, 26-Ноя-09, 18:56 (166)
- Хардилинки 8212 только для файлов А здесь работа идёт на уровне блоков данны, iZEN, 03-Ноя-09, 18:54 (96) //
  - Не, яйцы это ещё не круть, круть это определений дуплей на уровне магнитных доме, pavlinux, 04-Ноя-09, 01:17 (116)
Интересно насколько упадёт скорость записи в таком режиме Интересно как система, letsmac, 03-Ноя-09, 10:39 (3) //
- Забудьте это слово применительно к ZFS , Mikula, 03-Ноя-09, 11:42 (20) //
  - А мозк включить От фрагментации данных на диске ZFS не спасет, а эта недоидея е, аноним, 03-Ноя-09, 15:09 (51) //
    - Включайте ZFS не подвержена фрагментации Правда анонимам это неведомо , Mikula, 03-Ноя-09, 15:11 (53)
      - Вы неуч ZFS подвержена фрагментации также как и любая другая ФС Пусть есть два , аноним, 03-Ноя-09, 17:07 (78)
        
        Это не актуально SSD и им подобные на дворе , ДяДя, 03-Ноя-09, 18:19 (93)
        
        Лол SSD пока в десять раз дороже и меньше по объему Не актуален ваш максимализ, аноним, 03-Ноя-09, 18:50 (95)
        
        Тем неменее Sun массивы во всю продаются с SSD дисками , pavlinux, 04-Ноя-09, 01:27 (117)
        
        Знаешь, Павлин, а порш кайен тоже вроде бы продается Только почему-то не каждый, User294, 04-Ноя-09, 05:01 (125)
        
        Дяденька, подарите мне SSD на 4 Тб, я с удовольствием отправлю жесткие диски в о, User294, 04-Ноя-09, 04:57 (124)
        
        Судя по этому высказыванию Вы не знаете матчасти Так что анон вперёд в гугл И , Mikula, 05-Ноя-09, 10:03 (151)
        
        Камон, расскажите же нам наконец - как это CoW да вдруг делается совсем без фраг, User294, 06-Ноя-09, 06:25 (161)
        
        Не совсем , а не критичны , не надо перегибать, QuAzI, 06-Ноя-09, 11:26 (163)
      - CoW не подверженный фрагментации Сойдет за анекдот сезона А не расскажете, User294, 04-Ноя-09, 04:33 (120)
        
        Жидкие от слова Жидкость домены, вместо магнитной пыли, - удалил и дыра за со, pavlinux, 04-Ноя-09, 05:14 (126)
        http www sun com emrkt campaign_docs expertexchange knowledge solaris_zfs_perf, Mikula, 05-Ноя-09, 10:20 (152)
        
        не верю Где бенчмарки У мну на ноуте тормозит ужасно, если сильно фрагментиров, Planner, 26-Ноя-09, 19:06 (168)
        
        реализовано 8 лет назад в Bell Labs Гуглить Venti , Planner, 26-Ноя-09, 19:04 (167)
  - Да, именно забудьте Дефрагментировать zfs невозможно А вот фрагментацию ее меха, Аноним, 03-Ноя-09, 19:34 (101) //
    - возможно, но только методом копирования данных на новый носитель и копирования и, Planner, 26-Ноя-09, 19:09 (169)
- Дефрагментация А она еще кому-то нужна , zzz, 03-Ноя-09, 12:39 (33) //
  - кагбе да, если есть желание добиться максимальной скорости работы с устройством , аноним, 03-Ноя-09, 15:10 (52) //
    - Эта проблема где нибудь существует кроме как на виндавозных FS ЕМНИП Ext4 UFS2, Mikula, 03-Ноя-09, 15:17 (55)
      - безусловно, даже если один кластер с краю блина, а другой в самой жопе, то фрагм, аноним, 03-Ноя-09, 15:24 (57)
        
        а если он еще и на другом диске, вообще лучше сразу застрелиться, иначе как же м, 222, 03-Ноя-09, 15:29 (61)
        
        казалось бы, при чем здесь zfs с дедупликацией, аноним, 03-Ноя-09, 16:11 (68)
        
        keywordszpool types , raidz , raidz2, 222, 03-Ноя-09, 16:18 (70)
        
        Нет не поэтому, но Ваш красноглазый задор меня развесилил Вы уж хотя бы матчаст, Mikula, 03-Ноя-09, 16:16 (69)
      - Везде существует Просто нормальные ФС не склонны создавать ее на пустом месте, , аноним, 03-Ноя-09, 17:07 (80)
      - Почти нет - да, но всегда может найтись какойнить граничный случай я вот напр, User294, 04-Ноя-09, 04:38 (121)
        
        Насрать, извините, можно везде, но когда при записи 1000 1Гб файлов фрагментация, Mikula, 05-Ноя-09, 10:25 (153)
    - Откуда виндовозный подход и кто вам таки сказал, что фрагментация повышает скоро, Анон, 03-Ноя-09, 16:28 (71)
      - старайтесь реже посещать лор логика и здравый смысл , аноним, 03-Ноя-09, 16:40 (75)
      - Все ФС основанные на деревьях Бэйэра от фрагментации сильно не страдают Если то, letsmac, 03-Ноя-09, 17:07 (79)
        
        Что за деревья такие Где можно почитать , sceptic, 03-Ноя-09, 17:38 (88)
        
        b-дерево учебник по программированию для первого-второго курса, аноним, 03-Ноя-09, 18:06 (92)
        
        Поясните, как Б-деревья помогают избежать фрагментации , Аноним, 03-Ноя-09, 19:35 (102)
        
        А никак сами по себе не помогают, ха-ха-ха Чуваки козыряют терминами без в, User294, 04-Ноя-09, 04:45 (122)
        
        Позорище космофлота А вы сможете рассказать почтенной публике как вы представля, User294, 04-Ноя-09, 04:51 (123)
Мне страшно от слов менее надежный Как можно обойтись без точной проверки бло, Nexor, 03-Ноя-09, 10:54 (4) //
- А сч его у вас они одинаковые будут , sauron, 03-Ноя-09, 10:59 (7) //
  - Ну вот если размер блока 4кбайта, а хэш 256 байт Сколько блоков удастся однозна, Nexor, 03-Ноя-09, 11:26 (13) //
    - Ну возьмите все свои разделы, сбейте хеши и размер всех файлов в БД, поищите сов, QuAzI, 03-Ноя-09, 11:35 (17)
      - для ценнейших данных там кстати еще и режим verify есть, 222, 03-Ноя-09, 12:33 (32)
      - просто данные для вас не ценны md5 от IP сильно ускоряет работу многих прил, nikos, 03-Ноя-09, 14:37 (48)
        
        ну так хочешь проверять содержимое, проверяй, есть же эта опция, 222, 03-Ноя-09, 15:26 (60)
    - 64 Эксабайт , pavlinux, 04-Ноя-09, 05:46 (127)
- Там процент вероятности коллизии имеет значение с 256 нулями, т е пока солнце н, Аноним, 03-Ноя-09, 11:02 (9)
- Тоесть появится некоторый файл такой же длинны, с таким же хешем К тому же вопр, QuAzI, 03-Ноя-09, 11:07 (10) //
  - Почему файл Блок А блоки все одинаковой длины, не , zazik, 03-Ноя-09, 11:48 (24) //
    - Если включено сжатие - разной , QuAzI, 03-Ноя-09, 13:06 (35)
дефрагме что простите А почему скорость должна упасть Там хеши вычисляются, , QuAzI, 03-Ноя-09, 10:55 (5) //
- Ну это один обход А тут при каждой записи вычисление хэша каждого блока поиск, letsmac, 03-Ноя-09, 10:59 (8) //
  - Нет, ну как бы ZFS поддерживает архивацию, но речь не о том Допустим поиск дубл, QuAzI, 03-Ноя-09, 11:10 (11) //
    - во первых не файл, а блокво вторых в блоге явно сказано дедупликация происходит , 222, 03-Ноя-09, 11:40 (19)
      - Перечитал Это я затупил, там просто обзор есть, мол Data can be deduplicated a, QuAzI, 03-Ноя-09, 13:14 (38)
      - видел, когда ZFS ооочень тормозила, когда системе памяти не хватало но это исклю, B.O.B.A.H., 03-Ноя-09, 13:23 (40)
        
        Можете описать, как вы добились такой нагрузки , QuAzI, 03-Ноя-09, 13:26 (41)
        
        вкратце - когда кол-во файлов приближалось к 100 000 000 сто млн - ZFS начинал, B.O.B.A.H., 04-Ноя-09, 00:52 (114)
        
        Врете ARC работает независимо от остального VM, поэтому скорее будет паника kme, аноним, 03-Ноя-09, 18:56 (97)
        
        думаю, что памяти хватало - никакой паники только не вся служебная информация , B.O.B.A.H., 05-Ноя-09, 15:46 (156)
    - Тогда смысл несколько теряется При удалении изменении захэшированного файла, вс, letsmac, 03-Ноя-09, 12:30 (31)
ИМХО это новшество чем-то напоминает файловую систему venti в Plan 9 , zerg324, 03-Ноя-09, 10:58 (6)
Вставка хардлинка на блок другого файла это фактически фрагментация При хорошей, Knuckles, 03-Ноя-09, 11:26 (12) //
- А 33 копии одного и того же файла в разных частях жёсткого диска, это лучше смот, QuAzI, 03-Ноя-09, 11:30 (14) //
  - Им необязательно быть фрагментированными Все 33 вполне могут быть записаны на п, Knuckles, 03-Ноя-09, 11:38 (18) //
    - уважаемый, при чем здесь помойка пример - на сервере несколько десятков человек, gyouja, 03-Ноя-09, 12:21 (30)
    - Если бы у тебя было хоть какое образование то ты бы знал о третьем начале Кла, Warhead Wardick, 03-Ноя-09, 19:21 (99)
      - Ох вау Это что-то из твоей религии , Knuckles, 03-Ноя-09, 20:50 (108)
Сомнительная полезность В плане производительности, проблемы калькуляции свобод, ameoba32, 03-Ноя-09, 11:30 (15) //
- А что не так со свободным местом на диске и его калькуляцией Производительность, QuAzI, 03-Ноя-09, 11:42 (21)
- однако это не только место, это и плюс в производительности записи, за счет мень, 222, 03-Ноя-09, 11:42 (22) //
  - Неверно Операций будет больше Потому что COW Неверно Никак не повлияет Для о, Knuckles, 03-Ноя-09, 11:50 (27) //
    - я рад что есть люди знающие системы лучше разработчиков It all depends on your, 222, 03-Ноя-09, 11:55 (29)
      - Ага А когда у одного файла та повторяющаяся часть поменялась, нужно это отследи, Knuckles, 03-Ноя-09, 16:33 (72)
        
        если поменялась, запись нового блока идет на общих условиях, что меняем мы этот , 222, 03-Ноя-09, 16:43 (76)
- Да нет, на уровне блоков наверняка дубликатов достаточно Такие вещи как заголов, Knuckles, 03-Ноя-09, 11:47 (23) //
  - а сильно от самих данных будет зависеть, на некоторых одни минусы получаем, 222, 03-Ноя-09, 11:49 (26)
- Как-то действительно странно Если дуБликатов мало, нафига оно надо, если дублик, zazik, 03-Ноя-09, 11:51 (28) //
  - почитайте про свойства крипто-хеш-функций , max, 03-Ноя-09, 13:07 (36)
- А на SAS, SAN или даже когда место на RAID заканчивается, и его надо расширять н, Daltinn, 03-Ноя-09, 15:40 (63)
Круто, то есть, по сути, будут две контрольные суммы два хэша - SHA256 и ещё о, webbeans, 03-Ноя-09, 11:49 (25) //
- Ну да, и дополнительная проверка блока на совпадение Всё опционально, как и с, QuAzI, 03-Ноя-09, 13:17 (39) //
  - Охренеть Скоро контрольные суммы будут занимать столько же, сколько и сами данн, аноним, 03-Ноя-09, 17:11 (81) //
    - Будут Прийдёт злобный аноним, скажет что копия неверная, потому что ему это мар, QuAzI, 03-Ноя-09, 19:25 (100)
http en wikipedia org wiki SHA256Algorithm andvariant Output size bits Int, barmaglot, 03-Ноя-09, 13:27 (42)
Похоже уже все лоровцы сюда перебрались Фключить моск никому идея не приходит, barmaglot, 03-Ноя-09, 13:44 (43) //
- Когда-то Intel в Пентиумах допустила ошибку в делении и посчитала её маловероятн , Дмитрий Ю. Карпов, 05-Ноя-09, 11:05 (154)
- Хм Вероятность коллизии, получается, стремится к нулю Ну тогда алгоритм восс, Spase, 06-Ноя-09, 00:14 (157)
вот весело будет если блок сдохнет при такой системе я потеряю все 33 файла а по, Аноним, 03-Ноя-09, 13:47 (44) //
- При активной записи на жёсткий диск однотипных данных вы потеряете жёсткий диск , QuAzI, 03-Ноя-09, 13:52 (45)
- В ZFS поддерживаются RAID5 6 конфигурации, при последнем теряйте хоть 2 блока ,, barmaglot, 03-Ноя-09, 15:16 (54) //
  - Угу, тока называются они RAID-Z1, RAID-Z2 Да, еще и RAID-Z3 есть - , Anon Y Mous, 03-Ноя-09, 16:37 (74)
Пример реального применения 1 вы занимаетесь монтажом видео Периодически дела, Aleksey, 03-Ноя-09, 14:07 (46) //
- 1 лучше решать с помощью snapshot s, уже существующих в zfs , Юра, 03-Ноя-09, 14:58 (50) //
  - Не факт В каталогах структурировать информацию намного легче Для пользователя , Aleksey, 03-Ноя-09, 15:23 (56) //
    - ln -s zfs snapshot XXX MyCoolDir, не , аноним, 03-Ноя-09, 17:12 (83)
  - Чушь, это совершенно разные фичи Вообще вероятность совпадения информации на бло, barmaglot, 03-Ноя-09, 15:26 (59)
- Обработка таких случаев присутствовала в UFS изначально , Дмитрий Ю. Карпов, 05-Ноя-09, 11:07 (155)
Эм, а что, если по умолчанию используется чексуммы fletcher4, а в dedup sha256, , аноним, 03-Ноя-09, 15:25 (58) //
- хм, хороший вопрос, похоже даразве что и для дедупликации включен режим fletcher, 222, 03-Ноя-09, 15:35 (62)
Красиво, конечно, расписано для сферических данных с дубликатами в вакууме, но х, Аноним, 03-Ноя-09, 15:50 (64)
Чего-то я не совсем понял, видать и в самом деле просто туплю В новости Наиб, аноним, 03-Ноя-09, 15:51 (65) //
- особенно если есть множество одинаковых блоков - заполненных нулями и т п Тогда, аноним, 03-Ноя-09, 15:53 (66) //
  - Ну как бы, вы ежедневно боитесь того что ваш винт помрёт, а из сервера пойдёт ды, QuAzI, 03-Ноя-09, 16:04 (67) //
    - молодец, профессионализм не скроешь , Гений, 03-Ноя-09, 23:01 (111)
  - google dedupditto, Anon Y Mous, 03-Ноя-09, 16:36 (73)
Меня вот что интересует Вот ZFS обеспечивает дедупликацию на уровне ФС, Оракл на, jSnake, 03-Ноя-09, 16:51 (77) //
- Нормальные БД типа SyBase и Oracle позволяют хранить базу на RAW разделе Что в , letsmac, 03-Ноя-09, 17:11 (82) //
  - Не, я не про то быстродействие баз на raw - отдельная оччччень спорная тема Я , jSnake, 03-Ноя-09, 17:24 (85) //
    - Ну если у вас все это железо, поддерживающее сжатие есть, то конечно надо где-, Aleksey, 03-Ноя-09, 18:27 (94)
      - Что-то мне подсказывает, что очень-очень скоро сюрпризом станет наличие проблем , jSnake, 03-Ноя-09, 19:59 (104)
        
        Это проблемы оракла, что оно бесплатно и замечательно Пусть сделает лучше и нар, QuAzI, 03-Ноя-09, 20:49 (107)
        
        А вот в том-то и проблема, что оракл УЖЕ продаёт СВОИ опции БД, сравнимые с возм, jSnake, 03-Ноя-09, 22:18 (110)
Замечательно Мало того, что ZFS даже не пытается выделять непрерывные куски мес, аноним, 03-Ноя-09, 17:16 (84) //
- Фигассе, вы каждый фильм которые в последнее время делают с таким сюжетом, что , QuAzI, 03-Ноя-09, 17:26 (86) //
  - Нет, это делает торрент клиент Фракментированный кусок дерьма, разумеется, удал, аноним, 03-Ноя-09, 17:40 (90)
- откуда дровишки и какой толк в sparse файлах, если место под них выделяется от, Аноним, 03-Ноя-09, 17:37 (87) //
  - Место можно выделять, а занимать только если писать больше некуда, знаете ли Ис, аноним, 03-Ноя-09, 17:49 (91) //
    - с dedup on блоки с нулями не будут кушать места как раньше поэтому sparse-файл, Аноним, 03-Ноя-09, 23:54 (113)
      - Остается только крайне забавный вопрос в насколько же большую задницу попадет о, User294, 04-Ноя-09, 08:13 (128)
        
        Для начала будет дописываться текущий блок, а потом уже, по мере необходимости, , QuAzI, 04-Ноя-09, 08:49 (131)
        
        Меньше Даже в самом хорошем случае т е все содержимое файла лежит более-менее, User294, 04-Ноя-09, 09:21 (132)
        
        gt оверквотинг удален вот что странно, вначале человек плачет что плахой zfs н, 222, 04-Ноя-09, 10:32 (133)
        Боже мой, вас почитать, DOS ещё жив Про упреждающее чтение ни слова, про буфера, QuAzI, 04-Ноя-09, 13:07 (136)
        
        ну это же очевидно, у них регулярно по расписанию стартует дефраг на их терабайт, 222, 04-Ноя-09, 13:24 (137)
        Эм никакой надёжности Это не параноя, это идиотизм вроде как У меня всё цен, Aleksey Salow, 04-Ноя-09, 15:46 (140)
        
        171 Automatic Acoustic Management 187 AAM - оперативная регулировка уровня, QuAzI, 04-Ноя-09, 16:01 (141)
        
        Разве это не функция самого винчестера Для IDE по крайней мере так А действи, Spase, 06-Ноя-09, 00:26 (158)
      - а без дедупликации каким местом self-healing работает окромя copies , QuAzI, 04-Ноя-09, 14:05 (138)
        
        Вот блин почему так трудно узнать ответ на те вопросы, которые действительно инт, QuAzI, 04-Ноя-09, 15:08 (139)
        
        Sha256 in ZFS IS used for self healing if you set it as checksum algorithm It , QuAzI, 04-Ноя-09, 21:03 (142)
        ЕМНИП, не делает Но на основе dedup кода, думаю, будет сделать не трудно Что-т, Аноним, 04-Ноя-09, 23:39 (143)
        
        Какой dedup Какое copies Фиг с ними, это мне уже не интересно Хеши совпадают т, QuAzI, 05-Ноя-09, 00:48 (145)
        
        до dedup а кода для поиска случайно совпавших hash ей в ZFS не было refcount ы , Аноним, 05-Ноя-09, 03:11 (147)
        Неа _если_ данные не совпадают, _то_ хеши не совпадают Обратное неверно, т к , Spase, 06-Ноя-09, 00:29 (159)
        
        я бы сказал что если хеши совпадают то данные могут не совпадать если данные не, JL2001, 06-Ноя-09, 00:41 (160)
        
        Вы ветку внимательно читали Про то что коллизий нет читали Про то что в Sun не, QuAzI, 06-Ноя-09, 11:23 (162)
        
        извините, но вы - лох, если считаете что в продакшен будет стоять сервер у котор, JL2001, 06-Ноя-09, 11:48 (164)
        Тоесть вы однозначно утверждаете что вы умнее ребят из Sun которые разрабатывают, QuAzI, 06-Ноя-09, 12:21 (165)
      - Ага Терь для торрентов нельзя будет использовать ZFS вообще, гыгы Ну страйп, ка, аноним, 05-Ноя-09, 06:36 (148)
- Иди учи матчасть, а потом перечитай свое сообщение и отредактируюй как следует , DrNo, 03-Ноя-09, 19:42 (103) //
  - Сначала напиши в поле сообщение , что хотел сказать, потом жми Отправить , поз, аноним, 05-Ноя-09, 06:37 (149)
значит ли это, что я могу перемещать копировать файлы между ZFS-датасетами почти, Аноним, 03-Ноя-09, 17:39 (89) //
- Нет, это значит, что cat dev dull FILE теперь совсем не ограничен по объём, Andrey Mitrofanov, 03-Ноя-09, 20:09 (105) //
  - dev zero хотели сказать , аноним, 03-Ноя-09, 22:16 (109) //
    - Гы, ес-тестно Оговорочки по англо-русскому словарю, наверное dull d 652 l, Andrey Mitrofanov, 05-Ноя-09, 09:24 (150)
  - Что за девайс у вас такой хитрый Он показывает при этой операции дулю Или что , User294, 04-Ноя-09, 08:14 (129)
не очень понятно можно ли использовать по дефолту быстрый fletcher4, и, если так, Аноним, 04-Ноя-09, 23:43 (144) //
- Если я правильно понял, то как раз и имелось ввиду что можно использовать fletch, QuAzI, 05-Ноя-09, 00:50 (146)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру