The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

01.06.2017 20:18  Платформа машинного обучения SystemML получила статус первичного проекта Apache

Организация Apache Software Foundation объявила о присвоении Apache SystemML статуса первичного проекта Apache. Платформа машинного обучения SystemML изначально была создана компанией IBM и используется в системе IBM Watson Health. В ноябре 2015 года наработки по SystemML были переданы под покровительство фонда Apache, в котором проект находился в инкубаторе, где была проверена способность следования принципам разработки и управления, принятым в сообществе Apache и основанным на идеях меритократии. Теперь Apache SystemML признан готовым для самостоятельного существования, не требующего дополнительного надзора. Компоненты проекта написаны на языках С++ и Java и поставляются под лицензией Apache 2.0.

Платформа Apache SystemML предоставляет средства для построения масштабируемых распределённых систем машинного обучения. В состав входит транслятор для различных алгоритмов машинного обучения, способный на основе заданного декларативного описания алгоритма автоматически генерировать гибридные планы выполнения как для единичных систем c обработкой данных в оперативной памяти, так и для кластеров с крупными хранилищами, развёрнутыми при помощи систем Apache Hadoop и Apache Spark.


Назначение SystemML для машинного обучения сравнивается с SQL для баз данных, SystemML позволяет абстрагироваться от черновой работы и сконцентрировать внимание на специфике решаемой проблемы при помощи высокоуровневого синтаксиса, похожего на язык R, а все оптимизации и преобразования будут выполнены специальным оптимизатором, учитывающим имеющиеся данные и ресурсы для формирования наилучшего плана выполнения алгоритма.

Системой предоставляется большая подборка статистических функций, примитивов линейной алгебры и конструкций, специфичных для систем машинного обучения. В отличие от имеющихся библиотек машинного обучения, предоставляющих фиксированный набор алгоритмов и типовых планов выполнения кода, SystemML пытается сочетать эффективность с масштабируемостью через применение автоматической оптимизации, учитывающей особенности текущих данных и имеющегося вычислительного кластера. Решения на базе SystemML способны масштабироваться от крупных кластеров и мэйнфреймов до ПК и смартфонов, позволяя создавать новые категории бизнес-приложений, использующих элементы машинного обучения.



  1. Главная ссылка к новости (https://blogs.apache.org/found...)
  2. OpenNews: Facebook представил модульную систему машинного обучения Caffe2
  3. OpenNews: Выпуск системы машинного обучения TensorFlow 1.0 и классификатора изображений ResNeXt
  4. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
  5. OpenNews: Baidu открыл наработки в области машинного обучения
  6. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
Лицензия: CC-BY
Тип: Программы
Ключевые слова: systemml, apache
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Васёк (?), 20:43, 01/06/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +/
    Нифига непонятно. Всё абстрагируется, самооптимизируется, самообучается.

    Понимаю, это не моего уровня продукты и задачи, но хотя бы из интереса посмотреть малюсенькую хаутушечку с маленьким каким-нибудь примером решения конкретного примера.

     
     
  • 2.2, fsdgsdfsagsdfasdf (?), 20:58, 01/06/2017 [^] [ответить]    [к модератору]
  • –3 +/
    Хаутушечка разве сможет удовлетворить?
    Не лучше ли, начать с азов Computer Science и постепенно "дойти" до сабжа?
     
     
  • 3.3, 123 (??), 22:22, 01/06/2017 [^] [ответить]    [к модератору]
  • –1 +/
    Ты поаккуратнее с советами - могут случайно Skynet построить.
     
     
  • 4.14, Аноним (-), 11:05, 02/06/2017 [^] [ответить]    [к модератору]
  • +/
    Скорее всего просто максимизатор скрепок.
     
  • 2.10, oopsy (?), 08:59, 02/06/2017 [^] [ответить]    [к модератору]
  • +4 +/
    Текст новости шикарен. Я вот не знаю что такое "машинное обучение" и замена "машинного обучения" на "сепуление" не сильно меняет смысл. Охотно верю, что не все такие серые как я и Вы. В нашей ситуации поможет wikipedia:

    https://ru.wikipedia.org/wiki/%D0%9C%D0%B0%D1%88

    https://en.wikipedia.org/wiki/Machine_learning

     
  • 2.12, Sabakwaka (ok), 10:55, 02/06/2017 [^] [ответить]    [к модератору]  
  • +/
    >>  но хотя бы из интереса посмотреть малюсенькую хаутушечку

    Нет слов, Василий.

     
  • 1.4, Аноним (-), 02:56, 02/06/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Интересная "вещь в себе". С какой стороны к ней подкатить?
     
  • 1.5, лютый жабист__ (?), 05:50, 02/06/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • –3 +/
    SystemML для машинного обучения сравнивается с SQL для баз данных Какая-то неу... весь текст скрыт [показать]
     
     
  • 2.7, Аноним (-), 06:31, 02/06/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Вообще ничего SystemML настолько нужный и перспективный проект что IBM передала... весь текст скрыт [показать]
     
     
  • 3.26, KBAKEP (ok), 10:52, 08/06/2017 [^] [ответить]    [к модератору]  
  • +/
    Сверхдоходы IBM получает от того, что написано на основе SystemML, а не от неё самой.
     
  • 2.8, red (??), 07:40, 02/06/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Не нравится сравнивать с SQL - сравните с Прологом, например.

    Ну и просто интересно: можно конкретный пример убогости и косности SQLя? Пруфы про смерть я даже не буду спрашивать.

     
     
  • 3.9, лютый жабист__ (?), 08:06, 02/06/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    > можно конкретный пример убогости и косности SQLя

    порядок операндов фиксированный, причём до маразма. limit и "order by" не вздумай поменять местами. а в например select сначала пишешь field, в потом table, в итоге автодополнение не работает. теряешь всего 3 сек, но 100500 раз - итого очень много.

    аналитические функции с использованием rank, over и "partition by" делают вывих мозга

    Плюсом из убогости (двумерность) самих РСУБД вытакает убогость всего SQL-я в виде разнообразных JOINов и 5этажных select into

    при этом я особо сложные вещи на SQL не делал, предпочитая нормальные языки программирования.

    про парсинг текста команды и костыли в виде prepared statements все знают.

    про бардак с limit, top, rownum() или там except/minus итд итп тоже

    Нормальные люди поработав с mongo api например выкидывают SQL на помойку. Можешь не видеть очевидного, мне не жалко. Но посмотри на рынок вакансий, нужно или nosql или ORM. А программисты SQL уже там же где и программисты HTML.

     
     
  • 4.11, red (??), 09:07, 02/06/2017 [^] [ответить]     [к модератору]  
  • +/
    и замечательно S - значит structured Иначе был бы не запрос, а нечитаемое месс... весь текст скрыт [показать]
     
     
  • 5.13, лютый жабист__ (?), 10:58, 02/06/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    > нечитаемое мессиво

    от свопа limit и order маша? нуну...
    в монге вообще любой оператор можно менять местами. супер.
    .find().limit(1).sort( { ts : -1 } ).pretty()

    >Начал бы с редиса

    Ну, я начал с SQL ещё лет 15 назад. С радостью выкинул в пользу ORM и NoSQL.

    Вообще по редису судить о всех NOSQL странно.

    >К слову, orm - это всего лишь

    в котором не надо писать километровые SQLзапросы. Для информации.

    >единого стандарта на nosql

    Потому что все NOSQL невероятно отличаются. Ещё скажи, что графовый Neo4j должен "говорить" на стандартном NOSQL-языке? Вся сила в разнообразии.

    Мне кстати интересно, графовый модуль к Постгресу тоже в SQLные рамки затолкали? Вот уж неведома зверушка получилась явно.

    >нет в джоинах никакого зла

    Ты не шаришь в вопросе. Когда у тебя в resultset 90% дублированных данных из-за того что ради дополнительных полей все столбцы повторяют эти данные, выгребание этого заметно тормозит. Хотя, я забыл, у РСУБДшников же тормоза это норма... и нет никакого зла :)))

     
     
  • 6.17, red (??), 11:44, 02/06/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    >>К слову, orm - это всего лишь
    > в котором не надо писать километровые SQLзапросы. Для информации.

    Так ведь на сторону СУБД это прилетает именно в виде километровых запросов с настолько ужасными планами выполнения, что хочется убивать.

    > в resultset 90% дублированных данных из-за того что ради дополнительных полей все столбцы повторяют эти данные

    ???

    > Ты не шаришь в вопросе.

    Не профи, конечно, но всякие красивые бумажки на тему DBA и Performance and tuning имеются. Тоже 15 лет в теме, кстати. Предлагаю за это выпить.

     
     
  • 7.20, _ (??), 18:52, 02/06/2017 [^] [ответить]    [к модератору]  
  • +/
    >> Ты не шаришь в вопросе.

    Все деффчонки знают что шарят только жабисты. Причём почти всегда - >|<опой по луже :)
    >Не профи, конечно, но всякие красивые бумажки на тему DBA и Performance and tuning имеются. Тоже 15 лет в теме, кстати. Предлагаю за это выпить.

    Ай молодца! Тонко ты его! Давай выпьем!
    Но без жабиста, увы - ему пока мамка не разрешает :)

     
     
  • 8.23, лютый жабист__ (?), 13:38, 04/06/2017 [^] [ответить]    [к модератору]  
  • +/
    > Но без жабиста, увы - ему пока мамка не разрешает :)

    Да не пью, ни пиво, ни остальное. И свитер не ношу. И подстрижен. И без коньюктивита. Фу, неправильный опеннетчик... ;) А самое приятное тут макнуть носом вас, кульДБА с 15летним опытом, в вашей же области. Про полноценное проганье с вами и поговорить не о чем.

    Кому действительно непонятно в чём убогость РСУБДшного JOINа, покажите как храните в базе не сильно сложный объект с допустим 5 уровнями

    Organisation с десятком полей-списков, в каждом ещё по 3-10 списков итд
    Т.е. итого под 400-500 полей.

    И сколько стоит сервак, который будет его отдавать полностью из 200ГБ базы за скромные 1мс.

     
  • 6.19, Аноним (-), 17:35, 02/06/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    фикс, не благодарите ... весь текст скрыт [показать]
     
  • 4.16, hdkfhsfhsiosf (?), 11:31, 02/06/2017 [^] [ответить]    [к модератору]  
  • +5 +/
    Руки прочь от sql! Беда, когда люди начинают (и заканчивают) изучение программирования с джавы. Они не понимают в большинстве своём ни как их собственный код работает на уровне процессора, памяти. Ни в азах реляционной алгебры, на которой построены реляционные БД. И главное - не хотят, поливают г-ном то в чем ни**я не разбираются. Оракл с постгресом ещё на похоронах nosql простудятся. Кстати, Оракл Sun с Java-ой купил с потрохами, а не наоборот.
     
     
  • 5.18, red (??), 11:47, 02/06/2017 [^] [ответить]    [к модератору]  
  • +/
    Коллега, пишите скорее свой адрес, я вышлю вам пива с воблой.
     
     
  • 6.22, Аноним (-), 00:25, 03/06/2017 [^] [ответить]    [к модератору]  
  • +/
    88 Colin P Kelly Jr St.
    San Francisco, CA 94107.
    United States.
     
  • 5.24, Sarmat (?), 15:52, 07/06/2017 [^] [ответить]    [к модератору]  
  • +/
    Не реагируйте на похоронную команду которая пришла за SQL, таких уже было не один раз. Жертвы менеджмента, что ещё скажешь у нас 5-6 лет наза менеджеры тоже носились с этим вот FB смог на этом выскочить и т.п. Написали тесты они показали, что в наших задачах лучше SQL ни чего пока нет. И всё вернулось на круги своя.
     
  • 1.6, Аноним (-), 06:15, 02/06/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    "R-like and Python-like" короче щит-лайк, а идея полезная. Нафаршировать бы алгоритмами и декларировать программы на птичьем языке без отладок и пыли.
     
     
  • 2.15, Аноним (-), 11:21, 02/06/2017 [^] [ответить]    [к модератору]  
  • +/
    а мы упоролись и хотим на пхп это летать ))))
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor