The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

05.12.2012 09:55  Релиз проекта Apache Flume 1.3.0

Представлен Apache Flume 1.3.0, второй стабильный релиз, готовый для промышленного внедрения, выпущенный за время существования проекта. Apache Flume позволяет организовать работу распределённого и отказоустойчивого сервиса, гарантирующего сохранение данных и обеспечивающего эффективный сбор большого объёма логов, его агрегирование и перемещение в хранилище. Код системы написан на языке Java и поставляется под лицензией Apache.

Архитектура Apache Flume имеет модульную структуру и основана на манипулировании потоками данных между обработчиками (модуль приёма направляет данные в модуль очереди передачи, из которой данные извлекаются модулями фильтрации, сохранения или передачи по цепочке). Система предусматривает возможность использования различных механизмов для достижения гарантированной доставки данных и восстановления в случае выявления сбоев. Apache Flume отличается использованием простой и расширяемой модели данных, что делает продукт интересным решением для построения таких систем, как приложения для online-аналитики.

В новой версии добавлено несколько новых источников данных: HTTP Post (сбор данных через инициирование HTTP POST-запросов), Spool Directory (забираются файлы, сохранённые в директорию) и Multi-port Syslog (приём логов от нескольких демонов syslog). Обеспечена поддержка шифрования каналов передачи файлов. Добавлен модуль для извлечения данных из потока на основании правил, оформленных в форме регулярных выражений.

  1. Главная ссылка к новости (https://blogs.apache.org/flume...)
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, flume, log
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 10:38, 05/12/2012 [ответить] [смотреть все]
  • –2 +/
    Апачи на Яве прямо-таки помешались Что ни проект, то вызывает большие вопросы ... весь текст скрыт [показать]
     
     
  • 2.2, Аноним, 10:48, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +5 +/
    тебе, одмину локалхоста - нет, не нужно
     
     
  • 3.26, Аноним, 17:24, 05/12/2012 [^] [ответить] [смотреть все]  
  • +2 +/
    Дык, опача укусил ынтырпрайз По поводу чего их сервак на машине с менее чем 32 ... весь текст скрыт [показать]
     
     
  • 4.28, Дмитрий, 19:13, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Апачевская ллицензия как праз экономически подходит для крупных компаний ынтырп... весь текст скрыт [показать]
     
     
  • 5.34, Дмитрий, 23:43, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Вообще я бы сказал что это апач так укусилил ынтырпрайз, что ынтырпрайз комммити... весь текст скрыт [показать]
     
  • 4.31, Дмитрий, 19:36, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    да, и в этом продукте одним серваком не обойдётся :)
     
  • 2.3, arisu, 10:54, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    ну, ява и ява а ты что взамен предлагаешь неужто c какой в этом смысл там, ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.4, Анони, 11:00, 05/12/2012 [^] [ответить] [смотреть все]  
  • +11 +/
    Ну как же, Ява - это не модно, а вто Ruby, NodeJS, Python - это стильно и молодёжно.
     
     
  • 4.5, arisu, 11:06, 05/12/2012 [^] [ответить] [смотреть все]  
  • –2 +/
    а как сюда затесалась нода, которая и вовсе не язык?
     
     
  • 5.6, Капитан, 11:21, 05/12/2012 [^] [ответить] [смотреть все]  
  • –3 +/
    не называть же языком javascript
     
     
  • 6.8, Аноним, 11:24, 05/12/2012 [^] [ответить] [смотреть все]  
  • +4 +/
    это ещё почему вполне себе язык, очень мощный и удобный во многих отношениях... весь текст скрыт [показать]
     
  • 6.10, arisu, 11:43, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    потому что ты его не знаешь, Капитан Необразованность ... весь текст скрыт [показать]
     
     
  • 7.39, Аноним, 13:51, 06/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Кто бы говорил ... весь текст скрыт [показать]
     
  • 5.7, Аноним, 11:23, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    видимо, имелся ввиду standalone javascript, а нода - то, на чём это в основном д... весь текст скрыт [показать]
     
     
  • 6.11, arisu, 11:44, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    что наглядно показывает квалификацию комментатора, кстати 8212 не отличающего... весь текст скрыт [показать]
     
     
  • 7.15, a, 12:27, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    А в чем фундаментальное отличие то nodejs 8211 это v8, запущенный как исполн... весь текст скрыт [показать]
     
     
  • 8.16, arisu, 12:44, 05/12/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    действительно в чём отличие платформы от языка дураки какие-то выдумали их раз... весь текст скрыт [показать]
     
     
  • 9.22, rshadow, 14:25, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Мне это напомнило одну статью на хабре там тоже было сравнение NodeJS с PHP ... весь текст скрыт [показать]
     
     
  • 10.33, eervcec, 21:40, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    NodeJS и PHP используются в сходных ситуацих для решения сходных задач, потому и... весь текст скрыт [показать]
     
  • 5.40, Аноним, 13:52, 06/12/2012 [^] [ответить] [смотреть все]  
  • +/
    А кто сказал, что это перечень _языков_ ... весь текст скрыт [показать]
     
  • 3.12, Аноним, 11:58, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Ява не тормозная если не гуи Она жруча до оперативки И требует установки цел... весь текст скрыт [показать]
     
     
  • 4.13, Eugene.Shiyanov, 12:04, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    А если SWT, то и гуи не тормозит.
     
     
  • 5.23, rshadow, 14:26, 05/12/2012 [^] [ответить] [смотреть все]  
  • –2 +/
    Все равно тормозит. И выглядит как говно.
     
     
  • 6.25, Аноним, 16:53, 05/12/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    нет, ты
     
  • 6.35, Аноним, 23:46, 05/12/2012 [^] [ответить] [смотреть все]  
  • +1 +/
    Hint: JavaFX
     
  • 4.37, другой аноним, 10:49, 06/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Это говорит о твоей некомпетенции и близорукости, неуважаемый аноним Мне кажетс... весь текст скрыт [показать]
     
     
  • 5.41, Elhana, 14:43, 07/12/2012 [^] [ответить] [смотреть все]  
  • +/
    И получается матрешка из абстракций, чтобы программист мог просто написать что-т... весь текст скрыт [показать]
     
     
  • 6.43, arisu, 16:03, 07/12/2012 [^] [ответить] [смотреть все]  
  • +/
    ява.
    программист.
    /0
     
  • 1.9, VoDA, 11:40, 05/12/2012 [ответить] [смотреть все]  
  • +4 +/
    Остается сделать этот проект агрегатором логов для journald и у всех java- и Поттеринго-фобов будет эпичнейший баттхерт ;)))
     
     
  • 2.20, Аноним, 13:29, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    да у них и так сфинкторы пунцовые от потока новостей о systemd... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.24, rshadow, 14:28, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Предлагаю java-любителям запилить свой загрузчик, systemd, и т д на java А я п... весь текст скрыт [показать]
     
     
  • 4.32, piteri, 19:42, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Для чего? Ведь есть http://www.jnode.org/.
     
  • 4.38, Аноним, 13:50, 06/12/2012 [^] [ответить] [смотреть все]  
  • +/
    Автор rsyslog, говорят, уже работает над этим в пику поттерингу с его сишными б... весь текст скрыт [показать]
     
  • 4.42, Elhana, 14:45, 07/12/2012 [^] [ответить] [смотреть все]  
  • +/
    > Предлагаю java-любителям запилить свой загрузчик, systemd, и т.д. на java. А я
    > пока запасусь попкорном.

    они уже llvm запилили: http://www.phoronix.com/scan.php?page=news_item&px=MTIxMDM

     
  • 2.27, YetAnotherOnanym, 18:45, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Да на здоровье, journald будет одним из множества агентов для Flume, наряду с традиционными *syslogd и прошивками всевозможных железок, поддерживающими стандарт syslog. С чего тут баттхёрту возникнуть?
     
  • 1.18, o, 13:13, 05/12/2012 [ответить] [смотреть все]  
  • –4 +/
    Новый релиз проекта написаного на чем? ... на ява.. все давай досвиданья.
     
     
  • 2.19, Аноним, 13:28, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    ага, у3бывай
     
  • 2.36, arcade, 04:40, 06/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Вы знаете, товарищ, то что я считаю яву [censored] [censored] не мешает мне пользовать Jenkins и поддерживать его в свежем состоянии в портах.
     
  • 1.21, Аноним, 13:43, 05/12/2012 [ответить] [смотреть все]  
  • +/
    с logstash, graylog2 кто нибудь сравнивал?
     
     
  • 2.29, Дмитрий, 19:21, 05/12/2012 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    как было написано "обеспечивающего эффективный сбор большого объёма логов"
    большой объём, я думаю, это от миллиарда в день. И сохранение данных в распределённом хранилище типа HDFS (есть на картинке )
     
     
  • 3.30, Дмитрий, 19:32, 05/12/2012 [^] [ответить] [смотреть все]  
  • +/
    слышал про применение как раз в web аналитике:  на пол интернета ставится счётчики, и кажды показ этого счётчика  - запись в лог
     
     
  • 4.44, o, 13:46, 08/12/2012 [^] [ответить] [смотреть все]  
  • +/
    если на яве, то осмелюсь сделать предположение что вторая половина интернета как раз служит для хранения счетчиков из первой половины
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor