The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

29.11.2016 10:15  Уязвимость в Apache Hadoop

В Apache Hadoop, свободной платформе для организации распределённой обработки больших объёмов данных, выявлена критическая уязвимость (CVE-2016-5393), позволяющая злоумышленнику, аутентифицированному в HDFS NameNode, выполнить произвольный код c правами сервиса HDFS. Проблема устранена в выпусках Apache Hadoop 2.7.3 и 2.6.5, которые были опубликованы в августе и октябре (во время релизов, явно не было упомянуто об исправлении уязвимости). Уязвимость вызвана отсутствием экранирования спецсимволов при запуске команд через shell.

  1. Главная ссылка к новости (http://seclists.org/oss-sec/20...)
  2. OpenNews: Увидела свет платформа для распределённой обработки данных Apache Hadoop 2
  3. OpenNews: Релиз Apache Hadoop 1.0.0, платформы для распределённой обработки данных
  4. OpenNews: Проекту Apache Hadoop присуждена премия новатор года
  5. OpenNews: Yahoo закрывает собственный Hadoop-дистрибутив и фокусирует внимание на Apache Hadoop
  6. OpenNews: Google разрешил проекту Hadoop использовать свои патенты, связанные с MapReduce
Лицензия: CC-BY
Тип: Проблемы безопасности
Ключевые слова: apache, hadoop
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, А, 17:11, 29/11/2016 [ответить] [смотреть все]    [к модератору]
  • +/
    Интересно, какие права у Hadoop в типичной системе, где он используется?
     
     
  • 2.2, Аноним, 18:13, 29/11/2016 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    Юзерские. Каких-то расширенных прав для нормальной работы он не требует.
     
  • 1.3, Фокс Йовович, 23:45, 29/11/2016 [ответить] [смотреть все]    [к модератору]
  • +2 +/
    Что Hadoop, что Spark - кривое тормозное жручее глючное ненужно. Юзали у себя в конторе, чтобы обрабатывать много данных в реальном времени. На ~1000 евентов в секунду понадобилось аж четыре железных машины под спарк-слейвы. А те вещи, которые на обычном питоне делаются в одну строчку, в спарке иногда занимают экран кода и полдня дебага. В итоге выкинули нахрен спарк и переписали всё на обычном питоне с joblib. ВНЕЗАПНО теперь вся обработка данных спокойно умещается на одну машину. Нет спарка - нет проблемы. С апачьего кладбища у нас сейчас в ходу только Kafka (плюс Zookeeper). Как только найдём, чем эту кафку заменить, выкинем и её.
     
     
  • 2.4, ACCA, 00:15, 30/11/2016 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    > ходу только Kafka (плюс Zookeeper). Как только найдём, чем эту кафку
    > заменить, выкинем и её.

    Расскажи поподробнее - Kafka выкинуть или-таки Zookeper? Если отскочить на кого-то вроде etcd, то может оба будут не нужны?

     
     
  • 3.7, Фокс Йовович, 17:41, 30/11/2016 [^] [ответить] [смотреть все]    [к модератору]
  • +/
    Zookeeper нужен кафке, нам он нафиг не упёрся.
     
  • 2.5, Аноним, 10:36, 30/11/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Индивидуально написанный код под обработку конкретной задачи грамотными программ... весь текст скрыт [показать]
     
  • 2.6, Аноним, 13:29, 30/11/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Интересно Продолжай Кашку можно заменить на RabbitMQ ZMQ Кластер кроликов я... весь текст скрыт [показать]
     
     
  • 3.8, Фокс Йовович, 18:09, 30/11/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Та хрен редьки не слаще, что жабка, что эрланг ZMQ вообще не вариант, потому чт... весь текст скрыт [показать]
     
     
  • 4.9, Аноним, 20:05, 30/11/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ну да, линкедин рекомендует не мелочиться и таки выдать эти 64ГБ ОЗУ Я сам д... весь текст скрыт [показать]
     
  • 2.10, alex53, 21:20, 01/12/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +/

    hadoop как бы предназначен для потоковой обработки ОЧЕНЬ большого объема данных. Если для обработки ваших данных потребовалось всего четыре сервера (у hdfs по умолчанию replication factor равен трем вообще-то, для надежности), значит вы использовали микроскоп для забивания гвоздей (или комбайн для уборки дачного огорода, если угодно).
     
  • 2.11, SunXE, 00:39, 12/12/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Смысл hadoop в том, чтобы размазанные по большему количеству серверов данные обрабатывать ярном или спарком на тех жа серверах на которых они находятся, а не выкачивать их перед обработкой. Это актуально когда данных сотни террабайт.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor