The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Анонсирован Apache Spark 1.0

30.05.2014 23:00

Фонд Apache опубликовал релиз Apache Spark 1.0, высокопроизводительного движка для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Решения на базе Spark уже внедрены в таких компаниях, как Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.

Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat). Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации специфичных методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python.



  1. Главная ссылка к новости (https://blogs.apache.org/found...)
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/39896-spark
Ключевые слова: spark, apache, hadoop, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (3) RSS
  • 1, Q2W (?), 13:55, 31/05/2014 [ответить]  
  • +1 +/
    Звучит круто.
     
  • 2, DmA (??), 22:08, 31/05/2014 [ответить]  
  • –1 +/
    А что значит обработка данных? числа складывает?
     
     
  • 3, rob pike (?), 22:51, 31/05/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Сначала в квадрат возводит, только потом складывает.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру