Опубликован первый выпуск проекта CacheP2P (http://www.cachep2p.com/), в рамках которого развивается распределённая система доставки контента, построенная из клиентских браузеров, которые выполняют роль узлов для отдачи прокэшированных страниц. Исходные тексты проекта распространяются (https://github.com/guerrerocarlos/CacheP2P) под лицензией MIT.Для использования CacheP2P достаточно (http://www.cachep2p.com/documentation.html) добавить на страницы загрузку предоставляемой проектом JavaScript-библиотеки, которая сформирует сеть для отдачи контента из браузерного кэша посетителей сайта. Каждый новый посетитель становится участником сети, зеркалирует у себя открытые страницы и открывает совместный доступ к прокэшированным страницам для других пользователей, позволяя получить эти страницы без прямого обращения к сайту. Подобная P2P-сеть может использоваться как для обхода блокировок, так и для снижения нагрузки на сервер и сохранения доступа в случае выхода сервера из строя.
Распределённая сеть из клиентских браузеров строится (http://www.cachep2p.com/api.html) при помощи технологии WebTorrent (https://www.opennet.ru/opennews/art.shtml?num=43690), предоставляющей реализацию клиента BitTorrent, работающего на стороне браузера в форме web-приложения, не требующего для работы внешней серверной инфраструктуры и браузерных плагинов. Для организации прямого P2P-канала связи между браузерами применяется протокол WebRTC (https://ru.wikipedia.org/wiki/WebRTC). CacheP2P рассматривает каждый URL в качестве отдельного торрента, для которого формируется идентификатор TorrentID, хэш SHA1 для верификации прокэшированных вариантов страниц и параметры для определения времени жизни данных в кэше.URL: https://news.ycombinator.com/item?id=12752168
Новость: http://www.opennet.ru/opennews/art.shtml?num=45364
Я хочу зайти на rutracker (и он установил себе CachP2P). Допустим, у меня сайт заблокирован, но у Васи есть VPN - он его себе открыл и закэшировал. Как я теперь найду Васю?
А ты как думаешь? Через треккер, очевидно. Технология bittorrent же.
DHT уже не тот?
А если серьёзно, то видимо с этой хренью никакого сертификата подделывать не надо, или специальные российские сертификаты вводить, достаточно загрузить страницу первым, и можно проводить MITM.
На самом деле подобные технологии нужны только для тяжелого контента.
Новость не читаем, сразу отвечаем?>хэш SHA1 для верификации прокэшированных вариантов страниц
Не надо искать этого Васю, потому что серьёзные люди найдут его раньше тебя, и все, кто ищет Васю, попадут на них.
чем это лучше строящихся поверх IPFS аналогов или даже вебсерверной версии собснов bittorent-а, например ? :)
Ну это, видимо, такой костыль на время, пока IPFS еще не захватил вселенную.
Не знаю, но по крайней мере размером лучше:
$ curl -sL https://unpkg.com/cachep2p/cachep2p.min.js | gzip -c4 | wc -c
81601
$ curl -sL https://unpkg.com/ipfs/dist/index.min.js | gzip -c4 | wc -c
449445
Однако, может быть эта разница нивелируется, если IPFS быстрее работает (у js-ipfs под капотом не WebTorrent) — надо побенчмарчить, только не знаю как, надо ведь много сидов откуда-то взять.
А js-ipfs уже работоспособен? Ну, в любом случае, IPFS — штука гораздо более универсальная, так что соотношение размеров неудивительно.
Хорошо, пусть доставляет!
т.е. я могу данные из кеша других пользователей запрашивать? зашибись, чо... а можно список сайтов, на которых эта либа установлена? чтобы случайно на них не зайти...
http://www.cachep2p.com/documentation.html> Security hashes allow you to define the only content that is valid and that is in sync with the latest content of your website.
> Step 4
> Add the three files to the <footer> of all the pages:
<script src="cachep2p.min.js"></script>
<script src="cachep2p.security.js"></script>
<script src="init.js"></script>
> It's important to have them in the correct order.Я правильно понимаю, что при некотором "везении" и расположении рук клепателя сайта (причем, даже не главного, а какого нибудь очередного "оптимизатора", котороый слышал звон и решил осчастливить всех подряд) чуть поближе к седалищу, будет кэшироваться и отдаваться посторонним и то, что для взора этих самых посторонних совсем не предназначено (типа "site/pm/1/read")?
Очень нужен инструмент, который даже не то что обходить будет цензуру, а позволит достучаться к заведомо утерянной информации. Регулярно умирают сайты, закрываются интересующие статьи на хабре, пропадает контент за давностью времени - это всё очень сильно бесит.
Как в этой штуке реализована поддержка динамики?
Как убедиться, что содержимое страницы актуально, а не тухляк недельной давности?
Как убедиться, что нет посторонних вставок?
> Как в этой штуке реализована поддержка динамики?Никак, вестимо. Пока есть люди, у которых открыт/в кэше нужный тебе контент - контент есть. Как только интерес пропадает, контента уже нету. Недельной давности контент не выживет.
> Как убедиться, что содержимое страницы актуально, а не тухляк недельной давности?
Кэш браузера учитывает http-заголовки expire, так что можно дать определённые гарантии, что не тухляк.
> Как убедиться, что нет посторонних вставок?
Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы.
>> Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы.Контрольные суммы нужно откуда-то получить. Если я и так делаю запрос к основному сайту чтобы получить данные, то мне уже поздно опрашивать пиров, проще и надёжнее сразу получить готовые данные. Если конечно речь всё ещё про веб, а не тупо файлопомойку с варезом.
Вообще по хорошему хотелось бы иметь что-то типа набора метатегов с указанием зеркал, где можно найти эту же страницу в случае смерти основного сайта. Плюс поддержка таких "множественных" ссылок браузерами при добавлении страницы в закладки. Что-то похожее есть в металинке - если основная ссылка не работает - есть альтернативные, ну или можно форснуть нужный источник. В том числе torrent, как один из источников. Конечно с динамикой в этом плане беда, но хотя бы базовое со статическим содержимым (статьи, документация и т.п.) будет гораздо живее, чем сейчас.
Новостные сайты идут лесом, эт технология больше подойдёт сайтам вроде википедии. Хотя эта же технология есть банальный CDN
> Новостные сайты идут лесом, эт технология больше подойдёт сайтам вроде википедии. Хотя
> эта же технология есть банальный CDNОпишите кейс, когда банальный CDN в долгосрочной перспективе (т.е. автора сбил автобус и он больше не платит за CDN) решит вопрос с доступностью контента в случае выпадания основного сайта?
В случае если вас беспокоит понятие высокой доступности, то необходимо применить один из методов обеспечения высокой доступности - резервирование (избыточность). (в данном конкретном случае (человеческий фактор) - завести второго админа, соучредителя, фин менеджера и тд)Пс: в случае с браузерным п2п кешированием лучше использовать MRU.
>>> Контент ведь ищется по контрольным суммам, как в DHT. Суммы берутся от содержимого страницы.
> Контрольные суммы нужно откуда-то получить. Если я и так делаю запрос к
> основному сайту чтобы получить данные, то мне уже поздно опрашивать пиров,
> проще и надёжнее сразу получить готовые данные. Если конечно речь всё
> ещё про веб, а не тупо файлопомойку с варезом.Проще - да. Но вот с надёжностью есть сомнения. Если ресурс массовый, то возможно будет иметь смысл отправить каркас с хэш-суммами, а загрузку данных по этим хэшам оставить на откуп браузеру пользователя. Это может выйти:
а) быстрее для пользователя
б) менее накладно для опрашиваемого ресурса.> Конечно с динамикой
> в этом плане беда, но хотя бы базовое со статическим содержимым
> (статьи, документация и т.п.) будет гораздо живее, чем сейчас.А вот это кстати интересный вопрос. Если будет возможность такие вот magnet-ссылки формировать для веб-содержимого, это было бы весьма неплохо.
> позволит достучаться к заведомо утерянной информацииarchive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те, кто это сделал!
>> позволит достучаться к заведомо утерянной информации
> archive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те,
> кто это сделал!1) Он архивирует далеко не всё, что народ читает
2) На нём тоже есть случаи когда не весь контент заархивирован
3) Он тоже может умереть/заблокироваться и т.п.
т.е. пиром больше, пиром меньше - в данном случае разница не шибко велика.
>>> позволит достучаться к заведомо утерянной информации
>> archive.org, не? Правда его самого надо открывать через обход блокировки. Уроды те,
>> кто это сделал!
> 1) Он архивирует далеко не всё, что народ читает
> 2) На нём тоже есть случаи когда не весь контент заархивирован
> 3) Он тоже может умереть/заблокироваться и т.п.
> т.е. пиром больше, пиром меньше - в данном случае разница не шибко
> велика.Я не сравниваю с сабжем, я просто предлгаю другой инструмент человеку.
>Регулярно умирают сайты, закрываются интересующие статьи на хабре, пропадает контент за давностью времени - это всё очень сильно бесит.Вот тут особенно хорош ZeroNet. Пока копия сайта есть хоть у одного пользователя, он доступен всем.
> закрываются интересующие статьи на хабре,sohabr.net и расширение «Всегдабр» тебе в помощь. И ничего пропадать не будет.
Идея классная. Я бы даже сказал, что это Internet Next Generation.Но пока что возникает много вопросов:
- сохранение контента: как/кто будет решать что хранится на моем компе? Говорили про "хорошие сайты, которые исчезают": а если сайт хороший, но я на него зашел один раз и просто добавил в букмарки на будущее: как долго он просуществует на моем компе?
- privacy 1: как/кто будет решать кому отдавать. Если раздавать всем, то по сути каждый может узнать, хранится ли на твоем компе определенный контент или нет.
- privacy 2: как будет решаться проблема "персонализированного" контента?
- performance: какое будет время от момента ввода URL до момента начала загрузки?Думаю, многое можно взять у прокси-серверов (а ведь де факто это распределенный прокси-сервер), но не всё.
В любом случае, технология интересна.
>> просто добавил в букмарки на будущее: как долго он просуществует на моем компе?Да, это самый бедовый вопрос. Некоторый контент сохраняю через ScrapBook X, но он во первых не синхронизируется никак даже между только моими ПК/смартфоном/планшетом (что уже само по себе не удобно), во вторых никак не учитывает динамику. Страница запоминается "как есть", с таким же успехом можно в PDF пулять и на DropBox, только большинство PDF-илок не дают выделить из страницы нужное и сохраняют всё тупо как картинку (весит как не в себя).
> Страница запоминается "как есть", с таким же успехом можно
> в PDF пулять и на DropBox, только большинство PDF-илок не дают
> выделить из страницы нужное и сохраняют всё тупо как картинку
> (весит как не в себя).Продайте козу, бишь не пуляйте в PDF? :)
Мне интересно как теперь пользователи из Европы и США, с их автоматическими системами обнаружения скачивания торрентов, будут доказывать, что просто зашли на сайт
Доказывает следствие.
> Доказывает следствие.Это смотря где.
Уже которая по счёту. Сможет преуспеть только если будет встраиваться в браузеры и обладать эксклюзивным контентом.
SHA1 для верификации? НадёжненькоА вообще идея мне нравится, можно снизить нагрузку на доставку определённых частей контента. Не для маленьких HTML/JS, конечно, нет - задержки на поиск с вероятностью 99% окажутся неприемлемы.
Я не хочу участвовать в отдаче своего кэша всем подряд. Но я зашел на сайт, к которому Вася прикрутил этот скрипт. Будет ли меня браузер уведомлять, что теперь я раздаю свой кэш? Нет.
Будет ли хоть одна нормальная контора доверять раздачу контента от своего имени посторонним людям (да, я прочитал про sha-1)? Нет.Как технология - красиво, интересно.
Как применение - пока не увидел ничего более достойного, чем распространение вирусов. Лендинги с ними и так долго не живут, а растащить свой дерьмо-контент по всему интернету, чтобы труднее было прибить - милое дело.
> распределённая система доставки контента, построенная из клиентских браузеров, которые выполняют роль узлов для отдачи прокэшированных страницwebRTC отключил глобально для всех.
JS по умолчанию отключён.
Если этого будет мало для получения контента напрямую без посредников, добавлю их JS скрипты в фильтры для privoxy.
Держите нас в курсе.