The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Spark получил статус первичного проекта Apache

27.02.2014 21:20

Фонд Apache утвердил придание движку для обработки больших объёмов данных Spark статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Отныне Apache Spark признан готовым для самостоятельного существования, не требующего дополнительного надзора.

Apache Spark является высокопроизводительным движком для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat).

Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации специфичных методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python. Из компаний использующих Spark отмечаются Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.

  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Facebook открыл код распределённого SQL-движка для петабайтных хранилищ
  3. OpenNews: Увидела свет платформа для распределённой обработки данных Apache Hadoop 2
  4. OpenNews: Открыт исходный код поискового движка Gigablast
  5. OpenNews: Доступна новая версия распределённой файловой системы XtreemFS 1.4
Лицензия: CC-BY
Тип: Программы
Короткая ссылка: https://opennet.ru/39208-spark
Ключевые слова: spark, hadoop, cluster, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (23) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 21:58, 27/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    насколько ж они там помешаны на яве
     
     
  • 2.2, Аноним (-), 22:14, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну не всё же можно на Ruby написать.
     
     
  • 3.3, бедный буратино (ok), 22:17, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • –5 +/
    на ruby можно написать всё. даже небо. даже github.
     
     
  • 4.4, Аноним (-), 22:28, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • +13 +/
    >на ruby можно написать всё. даже небо. даже github.

    Даже бедного буратино и бот-генератор случайных фраз. Благо отличий-то...

     
     
  • 5.6, бедный буратино (ok), 23:09, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • –3 +/
    нее, это вотчина python
     
     
  • 6.8, Aceler (ok), 23:26, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • +8 +/
    Генератором случайных фраз всю жизнь был perl.

    Его таким родили.

     
  • 5.7, asavah (ok), 23:18, 27/02/2014 [^] [^^] [^^^] [ответить]  
  • +2 +/
    папакарло буратину кодил на vb
    делаем выводы )
     
     
  • 6.11, Аноним (-), 09:09, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потом по быстрому модернизировал, перегнав автоматическим конвертором на питон.
     
     
  • 7.13, бедный буратино (ok), 09:34, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > Потом по быстрому модернизировал, перегнав автоматическим конвертором на питон.

    не гвидохульствуй!

     
     
  • 8.24, Аноним (-), 10:50, 05/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Найти 10 отличий между кодом на vb и питоне не сможет даже папа карло ... текст свёрнут, показать
     
  • 6.12, бедный буратино (ok), 09:33, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    самты виндузятник! исключительно бейсик спектрумовского разлива

    10 LET b="word"

     
     
  • 7.15, Аноним (-), 10:19, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    20 PRINT b
    30 GO TO 10
     
  • 7.17, arisu (ok), 13:56, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > самты виндузятник! исключительно бейсик спектрумовского разлива
    > 10 LET b="word"

    эта фигня интерпретатором не прожуётся. твоё счастье, что бидон не проверяет синтаксис перед принятием строк, как zx basic: ты бы ни одной программы написать тогда не смог.

     
     
  • 8.20, бедный буратино (ok), 10:57, 02/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Да, помню, как какой-то редкий-редкий кейворд из двух букв найти не мог, перепеч... текст свёрнут, показать
     
  • 8.21, бедный буратино (ok), 11:00, 02/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    да, конечно же b или, как говорили у нас в стране социализма, b символ пуза ... текст свёрнут, показать
     
     
  • 9.22, arisu (ok), 19:17, 02/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    я начинал на msx, там была 171 черепаха 187 ... текст свёрнут, показать
     
  • 6.16, upyx (??), 11:24, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Заменил одну ногу на колесо...  и пошло-поехало.
     

  • 1.5, facha (?), 23:05, 27/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сколько же их появилось за последнее время. Spark, Presto, Impala, Tez... Глаза разбегаются


     
     
  • 2.14, hummermania (ok), 10:17, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    И это только в достаточно узкой нише, а что творится в широко используемом ПО....
    Может эта.... как её - информационная сингулярность? Частота смены событий доходит до такой величины, что уже чуть отстал в знании технологий, языков, библиотек или проектов - бесконечно опоздал.
     
     
  • 3.18, arisu (ok), 13:58, 28/02/2014 [^] [^^] [^^^] [ответить]  
  • +/
    > уже чуть отстал в знании технологий, языков, библиотек
    > или проектов — бесконечно опоздал.

    это у быдлокодеров, у них вообще жизнь очень печальная.

     
  • 3.23, Аноним (-), 10:34, 05/03/2014 [^] [^^] [^^^] [ответить]  
  • +/
    Как будто по MS рассказал. В этой области они переплюнули весь остальной мир, вместе взятый.
     

  • 1.9, Аноним (-), 02:04, 28/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache

    Прохожих не пугать, лежать смирно, шабаш только в полнолуние в пятницу?

     
  • 1.19, Аноним (-), 22:01, 28/02/2014 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ждём наездов от Oracle за использование (TM).
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру