URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 113282
[ Назад ]
Исходное сообщение
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено opennews , 13-Янв-18 11:14 
Под вдохновением от проекта PingFS (https://github.com/yarrick/pingfs), предпринята попытка (https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...) создания более надёжной ФС  - DNSFS (https://github.com/benjojo/dnsfs).  Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.


В PingFS для хранения информации используется поле с данными в пакетах ICMP Echo -  инициируется серия непрерывных операций ping, и каждый ответ синхронизирует примерно 1400 байт информации по аналогии с синхронизацией содержимого памяти (время жизни информации от отправки пакета до получения ответа). Но в случае остановки ping или потери пакета информация потеряется.


В DNSFS для хранения информации решено использовать кэш DNS.  Для определения общедоступных резолверов было произведено сканирование всех IP-адресов сети при помощи пакета masscan, которое выявило почти 4 млн открытых DNS-резолверов, но повторная проверка показала, что 37.9% не пригодны для проекта, так как используют динамически выделяемые адреса. Дальнейшее изучение списка показало, что только 18% открытых резолверов могут хранить данные в кэше около суток. В итоге пригодными для проекта оказались 438 тысяч открытых резолверов.


Отслеживая время жизни записей и дублируя информацию можно добиться приемлимого уровня надёжности при достаточно редком цикле обновления информации (по сравнению с PingFS). В итоге можно получить полностью распределённое и не зависимое эфемерное хранилище. Для хранения было решено использовать TXT-записи в рассчёте 9 TXT-записей по 187 байт на каждый резолвер. Максимальный размер хранилища при такой разбивке составляет 250 Мб с учётом репликации данных как минимум на три разных резолвера. В текущем виде DNSFS оформлен в виде простого HTTP-интерфейса для загрузки и скачивая файла. Обновление состояния блоков пока не поддерживается, т.е. данные могут хранится не более суток.


URL: https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...
Новость: https://www.opennet.ru/opennews/art.shtml?num=47895

Содержание
Сообщения в этом обсуждении
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 11:14 
Скоро будут халявные файлопомойки на dns
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 12:58 
Давно существуют техники так называемого тумманого хранения данных. Когда данные живут в сетевом оборудовании. Скажем Ping летит за 200 ms содержит 1400 байт значит можно хранить в сети 1400 байт целых 200 ms. По сути хранением данных будут заниматься роутеры до места назначения.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено pavlinux , 13-Янв-18 17:51 
> Скоро будут халявные файлопомойки на dns

Со время апдейта 3600 секунд? :)

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 11:23 
Фрики, неиронично использовавшии Iodine, вышли на новый уровень.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 12:26 
как всегда не написано о практическом применении
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено ваш К.О. , 13-Янв-18 12:32 
cp беспалевно хранить, чего ж еще.

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 12:36 
в объёме равном десяти записей ТХТ?
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 12:37 
250М на весь мир
мало тебе чтоли?
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено аноним 12 , 13-Янв-18 12:39 
«Как и PingFS проект DNSFS позиционируется как эксперимент, не рассчитанный на серьёзное использование.»

Какое ещё практическое применение?

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Нанобот , 13-Янв-18 15:06 
Написано. Купи очки
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 16:10 
Значение слова «эксперимент» можешь посмотреть в словаре.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 13:05 
Киберпанк!
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 13:05 
Интересно, а есть прога чтобы посмотреть что там сейчас лежит?
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 14:03 
nslookup
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 15:20 
Сделал rndc dumpdb -cache, посмотрелл less'ом содержимое named_dump.db и не нашел ни одной TXT записи.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 18:39 
irfan view, acdsee :D
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 13:33 
Это таки облако, госопда
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено ыы , 13-Янв-18 14:20 
>[оверквотинг удален]
> надёжности при достаточно редком цикле обновления информации (по сравнению с PingFS).
> В итоге можно получить полностью распределённое и не зависимое эфемерное хранилище.
> Для хранения было решено использовать TXT-записи в рассчёте 9 TXT-записей по
> 187 байт на каждый резолвер. Максимальный размер хранилища при такой разбивке
> составляет 250 Мб с учётом репликации данных как минимум на три
> разных резолвера. В текущем виде DNSFS оформлен в виде простого HTTP-интерфейса
> для загрузки и скачивая файла. Обновление состояния блоков пока не поддерживается,
> т.е. данные могут хранится не более суток.
> URL: https://blog.benjojo.co.uk/post/dns-filesystem-true-cloud-st...
> Новость: https://www.opennet.ru/opennews/art.shtml?num=47895

это распределенное хранилище "ключ-значение", а не ФС.

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 16:11 
В рамках курсовой по программированию тебе любой студент напишет FuseDNSFS, было бы желание.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено pavlinux , 13-Янв-18 17:50 
> это распределенное хранилище "ключ-значение", а не ФС.

тебе прям чтоб в ядре было, иноды крутило и все syscall отрабатывало?


"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено fantom , 13-Янв-18 17:33 
Эх блин люди....

Когда был обнаружен эффект отклонения стрелки компаса в магнитном поле, его показывали как "красивый фокус, практического применения не имеющий"...
А на этом принципе все электродвигатели и генераторы построены.

Герц, открыв радиоволны, тоже считал это просто фокусом.
Первая железная дорога была аттракционом.

и список можно продолжать до бесконечности.

Мы на данном этапе не в состоянии оценить насколько полезным этот эксперимент будут считать через 100 лет :)  

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено pavlinux , 13-Янв-18 17:37 
Тут есть открытие?
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Ю.Т. , 13-Янв-18 18:01 
Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено ssh , 13-Янв-18 18:52 
> Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.

Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Ю.Т. , 13-Янв-18 19:08 
>> Ну, фантаст. серию на этом принципе запилили уже давно - "Гиперион" Симмонса.
> Ну, на обитель Техно-Центра это слабо походит. Тсс. Шрайк! :\

Но принцип очевидно схож (может, и Симмонс первоначальную идею у кого-то тяпнул).

"Эксперимент по создания файловой системы, хранящей данные в ..."
Отправлено Аноним , 16-Янв-18 03:24 
>>Герц, открыв радиоволны, тоже считал это просто фокусом.

Герц ещё считал ряды Фурье бесполезным баловством - пора для единицы частоты найти новое название!

"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено Аноним , 13-Янв-18 18:50 
Вирусописатели непременно воспользуются =)
"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено Пресли , 13-Янв-18 20:36 
А чё, как анонимизатор транзакций и L3 кэш (пул), ещё невошедших в блокчайн транзакций, - сойдёт...
"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено Аноним , 14-Янв-18 13:32 
Какой анонимизатор? Ты для этого должен доменом рулить, анонимно этого делать не дают.
"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено Pofigist , 15-Янв-18 10:36 
Что тебе мешает использовать альтернативную систему корневых доменов, где это разрешено, или вообще - создать свою?
"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено mickvav , 16-Янв-18 09:18 
Ну тогда и развернуть распределенную файловую систему не должно быть великой проблемой - если ты пилишь крипту, у тебя уже есть возможность запускать свой код на куче устройств и хозяева этих устройств уже мотивированы хранить твои данные (они же, по сути, в доле). А тут - ты хранишь данные на оборудовании людей, которые по организационным причинам не могут твои данные не хранить. Платить им не надо.
"Эксперимент по созданию файловой системы, хранящей данные в ..."
Отправлено DmA , 18-Янв-18 13:56 
но если кто-то ещё захочет этим воспользоваться, то мои данные затрутся быстро :)