The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

01.06.2017 20:18  Платформа машинного обучения SystemML получила статус первичного проекта Apache

Организация Apache Software Foundation объявила о присвоении Apache SystemML статуса первичного проекта Apache. Платформа машинного обучения SystemML изначально была создана компанией IBM и используется в системе IBM Watson Health. В ноябре 2015 года наработки по SystemML были переданы под покровительство фонда Apache, в котором проект находился в инкубаторе, где была проверена способность следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache SystemML признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта написаны на языках С++ и Java и поставляются под лицензией Apache 2.0.

Платформа Apache SystemML предоставляет средства для построения масштабируемых распределённых систем машинного обучения. В состав входит транслятор для различных алгоритмов машинного обучения, способный на основе заданного декларативного описания алгоритма автоматически генерировать гибридные планы выполнения как для единичных систем c обработкой данных в оперативной памяти, так и для кластеров с крупными хранилищами, развёрнутыми при помощи систем Apache Hadoop и Apache Spark.


Назначение SystemML для машинного обучения сравнивается с SQL для баз данных, SystemML позволяет абстрагироваться от черновой работы и сконцентрировать внимание на специфике решаемой проблемы при помощи высокоуровневого синтаксиса, похожего на язык R, а все оптимизации и преобразования будут выполнены специальным оптимизатором, учитывающим имеющиеся данные и ресурсы для формирования наилучшего плана выполнения алгоритма.

Системой предоставляется большая подборка статистических функций, примитивов линейной алгебры и конструкций, специфичных для систем машинного обучения. В отличие от имеющихся библиотек машинного обучения, предоставляющих фиксированный набор алгоритмов и типовых планов выполнения кода, SystemML пытается сочетать эффективность с масштабируемостью через применение автоматической оптимизации, учитывающей особенности текущих данных и имеющегося вычислительного кластера. Решения на базе SystemML способны масштабироваться от крупных кластеров и мэйнфреймов до ПК и смартфонов, позволяя создавать новые категории бизнес-приложений, использующих элементы машинного обучения.



  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Facebook представил модульную систему машинного обучения Caffe2
  3. OpenNews: Выпуск системы машинного обучения TensorFlow 1.0 и классификатора изображений ResNeXt
  4. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  5. OpenNews: Baidu открыл наработки в области машинного обучения
  6. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
Лицензия: CC-BY
Тип: Программы
Ключевые слова: systemml, apache
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Васёк, 20:43, 01/06/2017 [ответить] [смотреть все]
  • +/
    Нифига непонятно. Всё абстрагируется, самооптимизируется, самообучается.

    Понимаю, это не моего уровня продукты и задачи, но хотя бы из интереса посмотреть малюсенькую хаутушечку с маленьким каким-нибудь примером решения конкретного примера.

     
     
  • 2.2, fsdgsdfsagsdfasdf, 20:58, 01/06/2017 [^] [ответить] [смотреть все] [показать ветку]
  • –3 +/
    Хаутушечка разве сможет удовлетворить Не лучше ли, начать с азов Computer Scien... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.3, 123, 22:22, 01/06/2017 [^] [ответить] [смотреть все]  
  • –1 +/
    Ты поаккуратнее с советами - могут случайно Skynet построить.
     
     
  • 4.14, Аноним, 11:05, 02/06/2017 [^] [ответить] [смотреть все]  
  • +/
    Скорее всего просто максимизатор скрепок.
     
  • 2.10, oopsy, 08:59, 02/06/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +4 +/
    Текст новости шикарен Я вот не знаю что такое машинное обучение и замена маш... весь текст скрыт [показать] [показать ветку]
     
  • 2.12, Sabakwaka, 10:55, 02/06/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Нет слов, Василий ... весь текст скрыт [показать] [показать ветку]
     
  • 1.4, Аноним, 02:56, 02/06/2017 [ответить] [смотреть все]  
  • +1 +/
    Интересная "вещь в себе". С какой стороны к ней подкатить?
     
  • 1.5, лютый жабист__, 05:50, 02/06/2017 [ответить] [смотреть все]  
  • –3 +/
    SystemML для машинного обучения сравнивается с SQL для баз данных Какая-то неу... весь текст скрыт [показать]
     
     
  • 2.7, Аноним, 06:31, 02/06/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    Вообще ничего SystemML настолько нужный и перспективный проект что IBM передала... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.26, KBAKEP, 10:52, 08/06/2017 [^] [ответить] [смотреть все]  
  • +/
    Сверхдоходы IBM получает от того, что написано на основе SystemML, а не от неё с... весь текст скрыт [показать]
     
  • 2.8, red, 07:40, 02/06/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Не нравится сравнивать с SQL - сравните с Прологом, например Ну и просто интере... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.9, лютый жабист__, 08:06, 02/06/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    порядок операндов фиксированный, причём до маразма limit и order by не вздума... весь текст скрыт [показать]
     
     
  • 4.11, red, 09:07, 02/06/2017 [^] [ответить] [смотреть все]  
  • +/
    и замечательно S - значит structured Иначе был бы не запрос, а нечитаемое месс... весь текст скрыт [показать]
     
     
  • 5.13, лютый жабист__, 10:58, 02/06/2017 [^] [ответить] [смотреть все]  
  • –2 +/
    от свопа limit и order маша нуну в монге вообще любой оператор можно менять ... весь текст скрыт [показать]
     
     
  • 6.17, red, 11:44, 02/06/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    Так ведь на сторону СУБД это прилетает именно в виде километровых запросов с нас... весь текст скрыт [показать]
     
     
  • 7.20, _, 18:52, 02/06/2017 [^] [ответить] [смотреть все]  
  • +/
    Все деффчонки знают что шарят только жабисты Причём почти всегда - 124 опой... весь текст скрыт [показать]
     
     
  • 8.23, лютый жабист__, 13:38, 04/06/2017 [^] [ответить] [смотреть все]  
  • +/
    > Но без жабиста, увы - ему пока мамка не разрешает :)

    Да не пью, ни пиво, ни остальное. И свитер не ношу. И подстрижен. И без коньюктивита. Фу, неправильный опеннетчик... ;) А самое приятное тут макнуть носом вас, кульДБА с 15летним опытом, в вашей же области. Про полноценное проганье с вами и поговорить не о чем.

    Кому действительно непонятно в чём убогость РСУБДшного JOINа, покажите как храните в базе не сильно сложный объект с допустим 5 уровнями

    Organisation с десятком полей-списков, в каждом ещё по 3-10 списков итд
    Т.е. итого под 400-500 полей.

    И сколько стоит сервак, который будет его отдавать полностью из 200ГБ базы за скромные 1мс.

     
  • 6.19, Аноним, 17:35, 02/06/2017 [^] [ответить] [смотреть все]  
  • +1 +/
    фикс, не благодарите ... весь текст скрыт [показать]
     
  • 4.16, hdkfhsfhsiosf, 11:31, 02/06/2017 [^] [ответить] [смотреть все]  
  • +5 +/
    Руки прочь от sql! Беда, когда люди начинают (и заканчивают) изучение программирования с джавы. Они не понимают в большинстве своём ни как их собственный код работает на уровне процессора, памяти. Ни в азах реляционной алгебры, на которой построены реляционные БД. И главное - не хотят, поливают г-ном то в чем ни**я не разбираются. Оракл с постгресом ещё на похоронах nosql простудятся. Кстати, Оракл Sun с Java-ой купил с потрохами, а не наоборот.
     
     
  • 5.18, red, 11:47, 02/06/2017 [^] [ответить] [смотреть все]  
  • +/
    Коллега, пишите скорее свой адрес, я вышлю вам пива с воблой.
     
     
  • 6.22, Аноним, 00:25, 03/06/2017 [^] [ответить] [смотреть все]  
  • +/
    88 Colin P Kelly Jr St.
    San Francisco, CA 94107.
    United States.
     
  • 5.24, Sarmat, 15:52, 07/06/2017 [^] [ответить] [смотреть все]  
  • +/
    Не реагируйте на похоронную команду которая пришла за SQL, таких уже было не один раз. Жертвы менеджмента, что ещё скажешь у нас 5-6 лет наза менеджеры тоже носились с этим вот FB смог на этом выскочить и т.п. Написали тесты они показали, что в наших задачах лучше SQL ни чего пока нет. И всё вернулось на круги своя.
     
  • 1.6, Аноним, 06:15, 02/06/2017 [ответить] [смотреть все]  
  • +/
    R-like and Python-like короче щит-лайк, а идея полезная Нафаршировать бы алго... весь текст скрыт [показать]
     
     
  • 2.15, Аноним, 11:21, 02/06/2017 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    а мы упоролись и хотим на пхп это летать ))))
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor