The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

29.05.2018 12:07  Intel открыл систему машинного обучения для обработки информации на естественном языке

Компания Intel представила проект NLP Architect, в рамках которого открыты наработки в области применения методов глубинного машинного обучения для обработки и распознавание смысла информации на естественном языке (NLP/NLU, Natural Language Processing/Understanding). Код библиотеки написан на языке Python и распространяется под лицензией Apache 2.0. Библиотека поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph, Intel neon, Tensorflow, Dynet и Keras.

Из задач, для решения которых может применяться NLP Architect, называется проведение тренировки моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и настроек (также предоставляются уже натренированные модели для различного применения); тренировка с использование своих данных; создание новых или расширение доступных моделей; исследование применимости различных моделей глубинного машинного обучения для решения задач обработки информации на естественном языке; проведение экспериментов и оптимизация алгоритмов машинного обучения; интеграция в свои проекты готовых модулей и утилит, предоставляемых библиотекой.

Библиотека предоставляет ряд готовых моделей NLP и NLU, пригодных для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти (Memory Networks) для построения диалогов, применения сетей ключ/значение (Key-value Network) для организации взаимодействия в форме вопрос/ответ, использования модели векторов для расстановки слов, пометка частей речи, проведения семантической сегментации словосочетаний, распознавания именованных сущностей (известных названий, имён, объектов), выделение терминов, определения смысловой информации (распознавание смысла прочитанного) и разбивки текста на структурные элементы.

В состав NLP Architect входят следующие компоненты:

  • Набор базовых моделей NLP для обработки информации на естественном языке (например, могут применяться для определения частей речи и выделения цепочек связи между словами);
  • Модули NLU для распознавание смысла информации на естественном языке (например, для извлечения смысловых единиц и выделения терминов);
  • Модули для семантического разбора (например, для определение словосочетаний и наиболее значимых слов);
  • Компоненты для создания диалоговых систем с элементами инскуственного интеллекта, таких как чат-боты;
  • Шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.

Дополнительно можно отметить публикацию универсальной системы классификации текста, разработанной проектом fast.ai. Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов, группировки статей по заданной тематике, выделения документов, в которых упоминаются определённые факты. Код классификатора написан на языке Python и распространяется под лицензией Apache 2.0. В качестве базового фреймворка применяется PyTorch. Для загрузки доступна уже натренированная модель на основе Wikitext.

  1. Главная ссылка к новости (https://ai.intel.com/introduci...)
  2. OpenNews: Проект OpenNMT развивает систему машинного перевода на основе нейронной сети
  3. OpenNews: Выпуск spaCy 1.0, библиотеки для обработки информации на естественном языке
  4. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
  5. OpenNews: Intel представил nGraph, компилятор для систем машинного обучения
  6. OpenNews: Система машинного обучения для синтеза типового кода на языке Java
Лицензия: CC-BY
Тип: Программы
Ключевые слова: nlp, ai, intel
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.2, Аноним (-), 13:00, 29/05/2018 [ответить] [смотреть все]     [к модератору]
  • –1 +/
    Я, конечно, понимаю, что люди, пишушие софт в Штеуд, не имеют отношения к процес... весь текст скрыт [показать]
     
     
  • 2.3, EuPhobos (ok), 13:04, 29/05/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • –8 +/
    Так, инопланетяне рептилоиды масоны иллюминаты гости из будущего гости из-за куп... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.7, Аноним (-), 14:10, 29/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Кто из этих фантастических существ позволил той самой ошибке в процессорах за по... весь текст скрыт [показать]
     
     
  • 4.13, Аноним (-), 16:01, 29/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    Spectre во всю в ARM64, а meltdown только у intel, x86 не помешал amd создать пр... весь текст скрыт [показать]
     
     
  • 5.31, Аноним (-), 21:24, 29/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    А я и не про ARM64 говорил, а про человеческую архитектуру, естественно опенсорс... весь текст скрыт [показать]
     
  • 2.35, Григорий Федорович Конин (?), 12:53, 30/05/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Эти лодыри ещё и в какойо-то странный опенсорс коммитят https 01 org projects... весь текст скрыт [показать] [показать ветку]
     
  • 1.6, Аноним (-), 13:58, 29/05/2018 [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Интересно, если этой штуке скормить российское законодательство...
     
     
  • 2.10, Andrey Mitrofanov (?), 14:26, 29/05/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +2 +/
    Если оно достигло уровня мысли мвд нквд, то - был бы человек хороший, а ста... весь текст скрыт [показать] [показать ветку]
     
  • 2.11, Всем Анонимам Аноним (?), 14:35, 29/05/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +4 +/
    Оно найдет что обычным людям запрещено все.
     
     
  • 3.16, Нарзан (?), 16:51, 29/05/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • –2 +/
    А необычным? И в чём именно отличие обычных от необычных?
     
     
  • 4.20, A.Stahl (ok), 17:42, 29/05/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    В том, что необычным позволено многое.
     
     
  • 5.25, Аноним (-), 19:56, 29/05/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Но не все!
     
     
  • 6.34, A (?), 09:56, 30/05/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Не все сразу.
     
  • 2.12, Аноним (-), 15:00, 29/05/2018 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Она сломается, пытаясь решить кучу найденных противоречий ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.36, PereresusNeVlezaetBuggy (ok), 14:27, 30/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Я вас умоляю Российское законодательство корнями уходит в начало XX века, по из... весь текст скрыт [показать]
     
     
  • 4.39, Аноним (-), 21:01, 30/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Сам черт ногу сломит только в прецендентом праве, это да А вот те же BGB, АGB ... весь текст скрыт [показать]
     
  • 1.9, Аниним (?), 14:17, 29/05/2018 [ответить] [смотреть все]    [к модератору]  
  • –2 +/
    >Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов,

    Так вот на чём работает "четырёхступенчатая система модерации" Опеннета...

     
  • 1.19, name (??), 17:40, 29/05/2018 [ответить] [смотреть все]    [к модератору]  
  • –1 +/
    Видеокарту использует? cuda?
     
     
  • 2.22, Dmitry77 (ok), 19:09, 29/05/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    В качестве базового фреймворка применяется PyTorch
     
     
  • 3.26, Аноним (-), 19:57, 29/05/2018 [^] [ответить] [смотреть все]     [к модератору]  
  • +3 +/
    Использует революционную технологию Intel под названием x86 CPU... весь текст скрыт [показать]
     
  • 3.41, Вареник (?), 21:19, 30/05/2018 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    На основной диаграмме TensorFlow, ngraph.
     
  • 1.30, Аноним (-), 21:05, 29/05/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    Кто знает, какие языки разработки оно поддерживает? R или Julia есть?
     
     
  • 2.33, а (?), 00:32, 30/05/2018 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    что прикрепить, то и будет
     
  • 1.42, Аноним (-), 14:33, 05/06/2018 [ответить] [смотреть все]    [к модератору]  
  • +/
    Bring yourself back online, Dolores ...
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor