The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]



"Релиз платформы для распределённой обработки данных Apache H..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от opennews on 15-Дек-17, 02:32 
Организация Apache Software Foundation опубликовала (https://blogs.apache.org/foundation/entry/the-apache-softwar...) релиз Apache Hadoop 3.0 (http://hadoop.apache.org), свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce (http://ru.wikipedia.org/wiki/MapReduce), при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных.


В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами. Проект оценивается как полностью стабильный и готовый для промышленной эксплуатции.  Hadoop активно используется в крупных промышленных проектах, предоставляя возможности, аналогичные платформе Google Bigtable/GFS/MapReduce, при этом компания Google официально делегировала (https://www.opennet.ru/opennews/art.shtml?num=26398) Hadoop и другим проектам Apache  право использования технологий, на которые распространяются патенты, связанные с методом MapReduce.


Основные изменения в Apache Hadoop 3.0:

-  В HDFS добавлены средства коррекции ошибок с использованием кодов избыточности, позволяющие повысить надёжность хранения данных;
-  Предварительная поддержка новой версии YARN Timeline Service, в которой улучшены характеристики масштабируемости, надёжности и удобства работы;
-  Добавлена возможность планирования подключения дополнительных ресурсов в YARN (Yet Another Resource Negotiator), таких как диски и CPU, для улучшения интеграции с системами машинного обучения и платформами контейнерной изоляции;
-  Поддержка объединения субкластеров YARN и HDFS для прозрачного масштабирования до конфигураций с десятками тысяч узлов;

-  Оптимизированы расход ресурсов и пропускная способность для оппортунистических контейнеров (https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-ya...) (вместо мгновенного запуска ставятся в очередь и запускаются при появлении доступных ресурсов) с коротким временем жизни. Помимо применения традиционного централизованного планировщика, в YARN также появилась возможность распределённого планирования оппортунистических контейнеров;
-  Улучшение производительности и функциональности при работе с облачными системами хранения, такими как  Amazon S3 (S3Guard), Microsoft Azure Data Lake и Aliyun Object Storage System.


URL: https://blogs.apache.org/foundation/entry/the-apache-softwar...
Новость: https://www.opennet.ru/opennews/art.shtml?num=47746

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз платформы для распределённой обработки данных Apache H..."  –2 +/
Сообщение от Борщдрайвен бигдата on 15-Дек-17, 02:32 
Хорошо. Очень хорошо. Читаю changelog и радуюсь, столько нужных фич появилось, особенно новая модель ресурсов.
Однако, для продакшена решение сыроватое. Надо потихоньку переползать на 2.8.x, она в самый раз теперь.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Релиз платформы для распределённой обработки данных Apache H..."  –1 +/
Сообщение от Аноним (??) on 15-Дек-17, 12:47 
Борщдривен же правильней.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

8. "Релиз платформы для распределённой обработки данных Apache H..."  +/
Сообщение от Andrey Mitrofanov on 15-Дек-17, 12:57 
> Борщдривен же правильней.

Чего не "бохрсцхдривен"?

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема


  Закладки на сайте
  Проследить за страницей
Created 1996-2018 by Maxim Chirkov  
ДобавитьРекламаВебмастеруГИД  
Hosting by Ihor