The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

27.02.2014 21:20  Spark получил статус первичного проекта Apache

Фонд Apache утвердил придание движку для обработки больших объёмов данных Spark статуса первичного проекта Apache. Перевод в разряд первичных проектов произведён после проверки в инкубаторе Apache способности следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Отныне Apache Spark признан готовым для самостоятельного существования, не требующего дополнительного надзора.

Apache Spark является высокопроизводительным движком для обработки данных, хранящихся в кластере Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat).

Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации специфичных методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python. Из компаний использующих Spark отмечаются Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.

  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Facebook открыл код распределённого SQL-движка для петабайтных хранилищ
  3. OpenNews: Увидела свет платформа для распределённой обработки данных Apache Hadoop 2
  4. OpenNews: Открыт исходный код поискового движка Gigablast
  5. OpenNews: Доступна новая версия распределённой файловой системы XtreemFS 1.4
Лицензия: CC-BY
Тип: Программы
Ключевые слова: spark, hadoop, cluster, database
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 21:58, 27/02/2014 [ответить] [смотреть все]
  • –5 +/
    насколько ж они там помешаны на яве
     
     
  • 2.2, Аноним, 22:14, 27/02/2014 [^] [ответить] [смотреть все] [показать ветку]
  • –1 +/
    Ну не всё же можно на Ruby написать.
     
     
  • 3.3, бедный буратино, 22:17, 27/02/2014 [^] [ответить] [смотреть все]
  • –5 +/
    на ruby можно написать всё. даже небо. даже github.
     
     
  • 4.4, Аноним, 22:28, 27/02/2014 [^] [ответить] [смотреть все]
  • +13 +/
    >на ruby можно написать всё. даже небо. даже github.

    Даже бедного буратино и бот-генератор случайных фраз. Благо отличий-то...

     
     
  • 5.6, бедный буратино, 23:09, 27/02/2014 [^] [ответить] [смотреть все]
  • –3 +/
    нее, это вотчина python
     
     
  • 6.8, Aceler, 23:26, 27/02/2014 [^] [ответить] [смотреть все]  
  • +8 +/
    Генератором случайных фраз всю жизнь был perl.

    Его таким родили.

     
  • 5.7, asavah, 23:18, 27/02/2014 [^] [ответить] [смотреть все]  
  • +2 +/
    папакарло буратину кодил на vb
    делаем выводы )
     
     
  • 6.11, Аноним, 09:09, 28/02/2014 [^] [ответить] [смотреть все]  
  • +1 +/
    Потом по быстрому модернизировал, перегнав автоматическим конвертором на питон ... весь текст скрыт [показать]
     
     
  • 7.13, бедный буратино, 09:34, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    не гвидохульствуй ... весь текст скрыт [показать]
     
     
  • 8.24, Аноним, 10:50, 05/03/2014 [^] [ответить] [смотреть все]  
  • +/
    Найти 10 отличий между кодом на vb и питоне не сможет даже папа карло ... весь текст скрыт [показать]
     
  • 6.12, бедный буратино, 09:33, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    самты виндузятник исключительно бейсик спектрумовского разлива 10 LET b word ... весь текст скрыт [показать]
     
     
  • 7.15, Аноним, 10:19, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    20 PRINT b
    30 GO TO 10
     
  • 7.17, arisu, 13:56, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    эта фигня интерпретатором не прожуётся твоё счастье, что бидон не проверяет син... весь текст скрыт [показать]
     
     
  • 8.20, бедный буратино, 10:57, 02/03/2014 [^] [ответить] [смотреть все]  
  • +/
    Да, помню, как какой-то редкий-редкий кейворд из двух букв найти не мог, перепечатывая программу из книжки. Заменил двумя большими буквами - не прошло. Пришлось искать в красненьких-зелёненьких. Еле нашёл (знатоки сейчас даже скажут, что это был за кейворд) :)
     
  • 8.21, бедный буратино, 11:00, 02/03/2014 [^] [ответить] [смотреть все]  
  • +/
    >> самты виндузятник! исключительно бейсик спектрумовского разлива
    >> 10 LET b="word"
    > эта фигня интерпретатором не прожуётся. твоё счастье, что бидон не проверяет синтаксис
    > перед принятием строк, как zx basic: ты бы ни одной программы
    > написать тогда не смог.

    да, конечно же b$ :) или, как говорили у нас в стране социализма, b(символ пуза и четырёх ноожек)

     
     
  • 9.22, arisu, 19:17, 02/03/2014 [^] [ответить] [смотреть все]  
  • +/
    я начинал на msx, там была «черепаха».
     
  • 6.16, upyx, 11:24, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    Заменил одну ногу на колесо...  и пошло-поехало.
     
  • 1.5, facha, 23:05, 27/02/2014 [ответить] [смотреть все]  
  • +/
    Сколько же их появилось за последнее время. Spark, Presto, Impala, Tez... Глаза разбегаются


     
     
  • 2.14, hummermania, 10:17, 28/02/2014 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    И это только в достаточно узкой нише, а что творится в широко используемом ПО....
    Может эта.... как её - информационная сингулярность? Частота смены событий доходит до такой величины, что уже чуть отстал в знании технологий, языков, библиотек или проектов - бесконечно опоздал.
     
     
  • 3.18, arisu, 13:58, 28/02/2014 [^] [ответить] [смотреть все]  
  • +/
    > уже чуть отстал в знании технологий, языков, библиотек
    > или проектов — бесконечно опоздал.

    это у быдлокодеров, у них вообще жизнь очень печальная.

     
  • 3.23, Аноним, 10:34, 05/03/2014 [^] [ответить] [смотреть все]  
  • +/
    Как будто по MS рассказал В этой области они переплюнули весь остальной мир, вм... весь текст скрыт [показать]
     
  • 1.9, Аноним, 02:04, 28/02/2014 [ответить] [смотреть все]  
  • +1 +/
    Прохожих не пугать, лежать смирно, шабаш только в полнолуние в пятницу ... весь текст скрыт [показать]
     
  • 1.19, Аноним, 22:01, 28/02/2014 [ответить] [смотреть все]  
  • –1 +/
    Ждём наездов от Oracle за использование (TM).
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor