Представлен (https://blogs.apache.org/flume/entry/apache_flume_1_3_0) Apache Flume 1.3.0 (http://flume.apache.org), второй стабильный релиз, готовый для промышленного внедрения, выпущенный за время существования проекта. Apache Flume позволяет организовать работу распределённого, отказоустойчивого и гарантирующего сохранение данных сервиса, обеспечивающего эффективный сбор, агрегирование и перемещение в хранилище большого объема логов. Код системы написан на языке Java и поставляется под лицензией Apache.
Архитектура Apache Flume имеет модульную структуру (http://flume.apache.org/FlumeUserGuide.html) и основана на манипулировании потоками данных между обработчиками (модуль приёма направляет данные в модуль очереди передачи, из которой данные извлекаются модулями фильтрации, сохранения или передачи по цепочке). Система предусматривает возможность использования различных механизмов для достижения гарантированной доставки данных и восстановления в случае выявления сбоев. Apache Flume отличается использованием простой и расширяемой модели данных, что делает продукт интересным решением для построения таких систем, как приложения для online-аналитики.
<center><a href="http://flume.apache.org/FlumeUserGuide.html"><img src="https://www.opennet.ru/opennews/pics_base/0_1354687711.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
<center><a href="http://flume.apache.org/FlumeUserGuide.html"><img src="https://www.opennet.ru/opennews/pics_base/0_1354687733.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
В новой версии добавлено несколько новых источников данных: HTTP Post (сбор данных через инициирование HTTP POST-запросов), Spool Directory (забираются сохранённые в директорию файлы) и Multi-port Syslog (прием логов от нескольких демонов syslog). Обеспечена поддержка шифрования каналов передачи файлов. Добавлен модуль для извлечения данных из потока на основании правил, оформленных в форме регулярных выражений.URL: https://blogs.apache.org/flume/entry/apache_flume_1_3_0
Новость: https://www.opennet.ru/opennews/art.shtml?num=35505
Апачи на Яве прямо-таки помешались. Что ни проект, то вызывает большие вопросы "а оно мне вообще нужно в таком виде?"
тебе, одмину локалхоста - нет, не нужно
Дык, опача укусил ынтырпрайз. По поводу чего их сервак на машине с менее чем 32 гиг оперативы и 16 ядер лучше вообще не запускать.
Апачевская ллицензия как праз экономически подходит для крупных компаний (ынтырпрайз).
Вообще я бы сказал что это апач так укусилил ынтырпрайз, что ынтырпрайз комммитит и коммитит код :))
да, и в этом продукте одним серваком не обойдётся :)
ну, ява и ява. а ты что взамен предлагаешь? неужто c++? какой в этом смысл там, где не надо выжимать огромное быстродействие?
Ну как же, Ява - это не модно, а вто Ruby, NodeJS, Python - это стильно и молодёжно.
а как сюда затесалась нода, которая и вовсе не язык?
не называть же языком javascript
> не называть же языком javascriptэто ещё почему? вполне себе язык, очень мощный и удобный во многих отношениях
> не называть же языком javascriptпотому что ты его не знаешь, Капитан Необразованность.
> потому что ты его не знаешь, Капитан Необразованность.
> arisuКто бы говорил :)
видимо, имелся ввиду standalone javascript, а нода - то, на чём это в основном делается
> видимо, имелся ввиду standalone javascript, а нода — то, на чём это
> в основном делаетсячто наглядно показывает квалификацию комментатора, кстати — не отличающего js от nodejs.
А в чем фундаментальное отличие то? nodejs – это v8, запущенный как исполняемая среда
> А в чем фундаментальное отличие то?действительно: в чём отличие платформы от языка? дураки какие-то выдумали их разными словами называть.
Мне это напомнило одну статью на хабре ... там тоже было сравнение NodeJS с PHP. Вообщем квалификация понятна...
>Мне это напомнило одну статью на хабре ... там тоже было сравнение NodeJS с PHP. Вообщем квалификация понятна..NodeJS и PHP используются в сходных ситуацих для решения сходных задач, потому их и мравнивают друг с другом. А если кому непонятно почему то в общем (т.е я хотел написать Вообщем) квалификация понятна..
> а как сюда затесалась нода, которая и вовсе не язык?А кто сказал, что это перечень _языков_?
Ява не тормозная (если не гуи). Она жруча до оперативки. И требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?
А если SWT, то и гуи не тормозит.
Все равно тормозит. И выглядит как говно.
нет, ты
Hint: JavaFX
> требует установки целого окружения, т. к. софт на ней системные либы не подхватывает, нужны свои, явовские. Зачем мне ОС в ОС?Это говорит о твоей некомпетенции и близорукости, неуважаемый аноним. Мне кажется, ты сильно ошибаешься, если предполагаешь что конкретные реализации явы для конкретных операционок не используют их системные библиотеки и работают только напрямую с ядром ОС, попробуй хотя бы ldd яве сделать (libc точно в списке увидишь). А свои библиотеки нужны еще и затем, что системные либы в разных ОС разные, а одна из заявленных фич платформы - кроссплатформенность (сорри за масло масляное). Довольно часто приходится писать универсальную стандартную прослойку к разношерстным подсистемам. Аноним понимает что такое дополнительный уровень абстракции над конкретными реализациями с целью достижения единообразного метода работы с разными кучами гов...а? Или он предлагает писАть один и тот же кусок программы, но N раз, для каждой из N операционных систем?
И получается матрешка из абстракций, чтобы программист мог просто написать что-то вроде музыка_ляля_играть() и у него все тормозит, после чего он рассказывает какая ява тормозная.
ява.
программист.
/0
Остается сделать этот проект агрегатором логов для journald и у всех java- и Поттеринго-фобов будет эпичнейший баттхерт ;)))
> Остается сделать этот проект агрегатором логов для journald и у всех java-
> и Поттеринго-фобов будет эпичнейший баттхерт ;)))да у них и так сфинкторы пунцовые от потока новостей о systemd
Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.
Для чего? Ведь есть http://www.jnode.org/.
> Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я пока запасусь попкорном.Автор rsyslog, говорят, уже работает над этим (в пику поттерингу с его сишными блобами).
В будущих версиях rsyslog, чтобы не отставать по скорости поиска от journal, собираются прикрутить http://en.wikipedia.org/wiki/ElasticSearch
> Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я
> пока запасусь попкорном.они уже llvm запилили: http://www.phoronix.com/scan.php?page=news_item&px=MTIxMDM
Да на здоровье, journald будет одним из множества агентов для Flume, наряду с традиционными *syslogd и прошивками всевозможных железок, поддерживающими стандарт syslog. С чего тут баттхёрту возникнуть?
Новый релиз проекта написаного на чем? ... на ява.. все давай досвиданья.
ага, у3бывай
Вы знаете, товарищ, то что я считаю яву [censored] [censored] не мешает мне пользовать Jenkins и поддерживать его в свежем состоянии в портах.
с logstash, graylog2 кто нибудь сравнивал?
как было написано "обеспечивающего эффективный сбор большого объёма логов"
большой объём, я думаю, это от миллиарда в день. И сохранение данных в распределённом хранилище типа HDFS (есть на картинке )
слышал про применение как раз в web аналитике: на пол интернета ставится счётчики, и кажды показ этого счётчика - запись в лог
если на яве, то осмелюсь сделать предположение что вторая половина интернета как раз служит для хранения счетчиков из первой половины
