The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Twitter открыл код системы анализа потоков данных Storm "
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от opennews (??) on 28-Сен-11, 23:37 
Cервис Twitter открыл (http://twitter.com/#!/nathanmarz/status/115832469730770944) код проекта Storm (https://github.com/nathanmarz/storm/), предназначенного для анализа больших непрерывно поступающих потоков данных, таких как миллионы лент в Twitter. Продукт был создан компанией BackType, которая была куплена Twitter в июле этого кода. Код открыт под лицензией Eclipse Public Licence 1.0. Система написана на языке Clojure и выполняется внутри виртуальной машины JVM, некоторые скрипты написаны на языке Python.


Система Storm использовалась (http://tech.backtype.com/preview-of-storm-the-hadoop-of-real...) для обеспечения работы сервиса BackTweets (http://backtweets.com/), предназначенного для анализа отражения определенных событий в микроблогах, путем сопоставления на лету новых твитов и используемых в них ссылок. Например, производилась оценка, как внешние ссылки или публикуемые в твиттере анонсы, ретранслируются другими участниками. Несмотря на кажущуюся простоту, для непреры...

URL: http://www.h-online.com/open/news/item/Twitter-open-sources-...
Новость: https://www.opennet.ru/opennews/art.shtml?num=31888

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по ответам | RSS]

1. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Аноним (??) on 28-Сен-11, 23:37 
А картинку с китом тоже выложили в составе этой системы?
А очень уж мне нравится.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от xanten on 29-Сен-11, 01:23 
Интересная новость, плюсую.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Twitter открыл код системы анализа потоков данных Storm "  +2 +/
Сообщение от XoRe (ok) on 29-Сен-11, 01:34 
Штука интересная, только насчет сферы применения...
Не всякий проект дорастет до такого, чтобы понадобилась такая система.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от КО on 29-Сен-11, 07:48 
Думаю это будет интересно разным стартаперам, которые делают риалтайм системы.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от mator email on 29-Сен-11, 10:49 
ну и военным судя по-всему полезно будет посмотреть
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

7. "Twitter открыл код системы анализа потоков данных Storm "  +1 +/
Сообщение от MrClon on 29-Сен-11, 13:52 
Штука интересная, но новость боянистая, ещё в начале месяца (если не в прошлом месяце) читал об этом, только не помню где.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Fyjybvecjh on 29-Сен-11, 14:31 
Вы где-топропустили новость о закрытии.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

9. "Twitter открыл код системы анализа потоков данных Storm "  +1 +/
Сообщение от Аноним (??) on 29-Сен-11, 14:34 
> Штука интересная, но новость боянистая, ещё в начале месяца (если не в
> прошлом месяце) читал об этом, только не помню где.

Здесь же и была новость, но только о том, что Twitter планирует открыть код Storm. Сейчас новость о том, что они сдержали обещание и открыли код.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Twitter открыл код системы анализа потоков данных Storm "  +1 +/
Сообщение от Mna (??) on 29-Сен-11, 20:31 
Новости тут двойные часто:
как в Multi-tier architecture:
1) обещали сделать тото (Request send)
2) сделали то-то /обещание сдержали (Response received/Answer received)

только вот когда ответа не получилось, по таймауту ничего не происходит, нет новости вида:
3) хотя обещали 3 месяца назад за две недели сделать то-то но не сделали ничего и вообще молчок

А ведь стоило.

И вообще, стоило сделать каклй-то репозитарий-рейтинг заявлений, наподобие кредитного

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Аноним (??) on 29-Сен-11, 20:52 
Twitter как всегда молодцы
http://www.pcworld.com/article/240605/faq_which_social_netwo...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Аноним (??) on 29-Сен-11, 20:54 
согласен
И разработчиком приятно, что не забыты
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

13. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Аноним (??) on 30-Сен-11, 01:43 
Хорошо бы побольше деталей. А то теория как ты заткнулась на слове "топологий"... Есть хоть кто-то кто понял о чем речь в статье?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от Аноним (??) on 30-Сен-11, 19:33 
ССПТ-2 - это сертифицированное ФСТЭК и ФСБ средство защиты информации нового поколения, реализующее функции межсетевого экрана, но при этом остающееся "невидимым" для любых протоколов и тестовых воздействий, что достигается за счет отсутствия физических и логических адресов на его фильтрующих интерфейсах. ССПТ-2 невозможно
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Twitter открыл код системы анализа потоков данных Storm "  +/
Сообщение от FK on 03-Окт-11, 13:06 
> ССПТ-2 - это сертифицированное ФСТЭК и ФСБ средство защиты информации нового поколения,
> реализующее функции межсетевого экрана, но при этом остающееся "невидимым" для любых
> протоколов и тестовых воздействий, что достигается за счет отсутствия физических и
> логических адресов на его фильтрующих интерфейсах. ССПТ-2 невозможно

Да ой ли?
Берем Фрю, настраиваем бридж, к нему прикрепляем шифрованный IPSEC-туннель (gif), на другой стороне туннеля - идентичная конфа. Нет IP, по тестовому воздействию определяешь разве что задержку, есть шифрование.
Правда, ФСБ не сертифицировано )

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру