The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

14.12.2017 23:50  Релиз платформы для распределённой обработки данных Apache Hadoop 3.0

Организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных.

В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами. Проект оценивается как полностью стабильный и готовый для промышленной эксплуатции. Hadoop активно используется в крупных промышленных проектах, предоставляя возможности, аналогичные платформе Google Bigtable/GFS/MapReduce, при этом компания Google официально делегировала Hadoop и другим проектам Apache право использования технологий, на которые распространяются патенты, связанные с методом MapReduce.

Основные изменения в Apache Hadoop 3.0:

  • В HDFS добавлены средства коррекции ошибок с использованием кодов избыточности, позволяющие повысить надёжность хранения данных;
  • Предварительная поддержка новой версии YARN Timeline Service, в которой улучшены характеристики масштабируемости, надёжности и удобства работы;
  • Добавлена возможность планирования подключения дополнительных ресурсов в YARN (Yet Another Resource Negotiator), таких как диски и CPU, для улучшения интеграции с системами машинного обучения и платформами контейнерной изоляции;
  • Поддержка объединения субкластеров YARN и HDFS для прозрачного масштабирования до конфигураций с десятками тысяч узлов;
  • Оптимизированы расход ресурсов и пропускная способность для оппортунистических контейнеров (вместо мгновенного запуска ставятся в очередь и запускаются при появлении доступных ресурсов) с коротким временем жизни. Помимо применения традиционного централизованного планировщика, в YARN также появилась возможность распределённого планирования оппортунистических контейнеров;
  • Улучшение производительности и функциональности при работе с облачными системами хранения, такими как Amazon S3 (S3Guard), Microsoft Azure Data Lake и Aliyun Object Storage System.


  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Выпуск платформы для распределённой обработки данных Apache Hadoop 2.8
  3. OpenNews: Незащищённые Hadoop-серверы отдают более 5 Пб данных без аутентификации
  4. OpenNews: Следом за MongoDB начались атаки на CouchDB, Hadoop и ElasticSearch
  5. OpenNews: Уязвимость в Apache Hadoop
  6. OpenNews: Увидела свет платформа для распределённой обработки данных Apache Hadoop 2
Лицензия: CC-BY
Тип: Программы
Ключевые слова: apache, hadoop, mapreduce
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение RSS
 
  • 1.1, Борщдрайвен бигдата (?), 02:32, 15/12/2017 [ответить]    [к модератору]
  • –2 +/
    Хорошо. Очень хорошо. Читаю changelog и радуюсь, столько нужных фич появилось, особенно новая модель ресурсов.
    Однако, для продакшена решение сыроватое. Надо потихоньку переползать на 2.8.x, она в самый раз теперь.
     
     
  • 2.7, Аноним (-), 12:47, 15/12/2017 [^] [ответить]    [к модератору]
  • –1 +/
    Борщдривен же правильней.
     
     
  • 3.8, Andrey Mitrofanov (?), 12:57, 15/12/2017 [^] [ответить]    [к модератору]
  • +/
    > Борщдривен же правильней.

    Чего не "бохрсцхдривен"?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor