Приветствую.Возник вопрос относительно поисковых возможностей у существующих распределенных p2p сетей. Общая задача связана с поиском файлов даже не по их системным параметрам (имена, расширения, даты и тп),а по мета-тегам, присваиваемым пользователями и записываемым внутрь самих файлов (в основном, картинки в jpg и png с IPTC/MWG тегами). Искать по мета-тегам локально - не проблема. Искать по мета-тегам на удаленных компьютерах - уже вопрос как (проблема ещё в том, что сами мета-теги у файлов могут меняться, а следовательно и хэш файлов пересчитывается). В целом, специфика содержимого файлов и их количество таковы, что уже понятно, что для обеспечения анонимного обмена между пользователями нужно P2P решение.
Например, в тех же торрентовых сетях (в отличие от древнего eMule - не знаю, он ещё жив?) поиск в принципе не поддерживается, поэтому для файлообмена насоздавали кучу сайтов-посредников-трекеров. Про поиск торрентов по мета-тегам файлов уже молчу.
Почитал про реализацию поиска в той же IPFS, на Гитхабе у них проект IPFS-Search, кажется, пока сыроватый. Хотя выбор распределенных файловых систем довольно широк:
https://en.wikipedia.org/wiki/Comparison_of_distributed_file...Кто-то знаком с темой реализации поиска в распределенных P2P, чтобы подсказать что-то полезное?
Заранее благодарю.
gnunet
> gnunetСпасибо за хинт. Два момента в gnunet заинтересовали: 1) F2F топология и 2) библиотека Libextractor, которая вроде как поддерживает jpg/png (поддержка библиотеки упоминается в одном старом публичном сообщении основателя GnuNet).Я правильно понимаю, что стандартные поисковые возможности GnuNet допускают поиск файлов по их метаданным на компьютерах ограниченного круга доверенных лиц, предпочитающих сохранить анонимность при обмене?
>> gnunet
> Спасибо за хинт. Два момента в gnunet заинтересовали:1) F2F топология иОпциональная возможность.
> 2) библиотека Libextractor, которая вроде как поддерживает jpg/png (поддержка библиотеки
> упоминается в одном старом публичном сообщении основателя GnuNet).Эта штука отвечает за [полу-]автоматическое получение метаданных у публикуемых файлов, сортированных по группам (автор, описание, формат...). На деле толку мало, но новичку будет полезно.
> Я правильно понимаю,
> что стандартные поисковые возможности GnuNet допускают поиск файлов по их метаданным
> на компьютерах ограниченного круга доверенных лиц, предпочитающих сохранить анонимность
> при обмене?Да.
F2F в gnunet как опциональная возможность.
Каждому файлу задаётся отдельный уровень анонимности, как у публикующего, так и у ищущего, и скачивающего...
Метаданные задаются отдельно и хранятся отдельно, сам файл может быть вовсе без метаданных или с винегретом - в любом случае gnunet будет учитывать только ту метаинформацию, которую указал пользователь при публикации (с помощью libextractor или без).
Основной способ взаимодействия с gnunet - консоль. А значит этому возможно наделать скрипты, чтобы у всей вашей корпоративной сети файлы публиковались с одними и теми же установками (помимо метаданных в т.ч.).
Еще в gnunet есть возможность распределенного хранения, ещё аналог VPN, аналог DNS и многое другое, в том числе MESH составляющая.
>[оверквотинг удален]
> ищущего, и скачивающего...
> Метаданные задаются отдельно и хранятся отдельно, сам файл может быть вовсе без
> метаданных или с винегретом - в любом случае gnunet будет учитывать
> только ту метаинформацию, которую указал пользователь при публикации (с помощью libextractor
> или без).
> Основной способ взаимодействия с gnunet - консоль. А значит этому возможно наделать
> скрипты, чтобы у всей вашей корпоративной сети файлы публиковались с одними
> и теми же установками (помимо метаданных в т.ч.).
> Еще в gnunet есть возможность распределенного хранения, ещё аналог VPN, аналог DNS
> и многое другое, в том числе MESH составляющая.Благодарю за комментарии.
На нашей стороне есть разработчики и аналитики с опытом работы с мета-данными. Но нам может понадобиться экспертиза по сетевой архитектуре GnuNet если мы остановим свой выбор на этой сети. К Вам можно будет обратиться за советом (если Вы не против обсудить вне opennet, по имейл, либо иначе)?
Пока навожу справки. Получил фидбэк от RetroShare, говорят у них тоже есть реализация с поддержкой поиска по метаданным (и, кстати, специально для подключения с Андроид на их сайте тоже предлагается какое-то решение). А от Waste сообщили что они скорее мертвы, чем живы для того, чтоб внедрять поиск по метаданным. Что-нибудь можете сказать про FreeNet или RetroShare для сравнения с GnuNet?
>>[оверквотинг удален]
> Благодарю за комментарии.
> На нашей стороне есть разработчики и аналитики с опытом работы с мета-данными.
> Но нам может понадобиться экспертиза по сетевой архитектуре GnuNet если мы
> остановим свой выбор на этой сети. К Вам можно будет обратиться
> за советом (если Вы не против обсудить вне opennet, по имейл,
> либо иначе)?Ко мне нет, извините. Есть канал #gnunet на Libera IRC сервере, англоязычный.
Документацию читать вдоль и поперёк придётся. И шишки набивать...Есть GUI (GTK) обёртки для упрощения некоторых моментов использования, но пользоваться ими нужно с осторожностью, например одно из них (GUI настройка) может сломать одним своим запуском всю конфигурацию предварительной настройки GnuNet. Там GUI обёртки отстают от разработки "ядра", поэтому берите на карандаш выше написанное предостережение.
> Пока навожу справки. Получил фидбэк от RetroShare, говорят у них тоже есть
> реализация с поддержкой поиска по метаданным (и, кстати, специально для подключения
> с Андроид на их сайте тоже предлагается какое-то решение). А от
> Waste сообщили что они скорее мертвы, чем живы для того, чтоб
> внедрять поиск по метаданным. Что-нибудь можете сказать про FreeNet или RetroShare
> для сравнения с GnuNet?По FreeNet ничего не скажу.
RetroShare умеет искать только по двум параметрам: название файла (в т.ч. с учётом .формата), HASH файла (SHA1🙄). Для Adnroid клиента нет, есть поделки на которых может быть заработает только чат. Потенциальное решение - подключаться к WEB-интерфейсу, которым не пользовался, но по отзывам пользовавшихся - всё плохо.
> По FreeNet ничего не скажу.
> RetroShare умеет искать только по двум параметрам: название файла (в т.ч. с
> учётом .формата), HASH файла (SHA1🙄). Для Adnroid клиента нет, есть поделки
> на которых может быть заработает только чат. Потенциальное решение - подключаться
> к WEB-интерфейсу, которым не пользовался, но по отзывам пользовавшихся - всё
> плохо.Спасибо за обратную связь. Мы всё таки решили что для целей внутригруппового обмена p2p решения вряд ли подойдут просто потому что возникает issue с data availability при сравнительно малом количестве участников обмена. Иными словами любые поисковые запросы на базе metadata будут с большой долей вероятности возвращать null либо мало результатов. Облачное решение с доступностью данных в режиме 24 x 7 от техногигантов типа Google конечно было бы предпочтительнее если б им было интересно развиваться в сторону поддержки более продвинутых поисковых возможностей на мета-данных внутри ограниченных community groups.