Компания Intel представила (https://ai.intel.com/introducing-nlp-architect-by-intel-ai-l... проект NLP Architect (http://nlp_architect.nervanasys.com/), в рамках которого открыты наработки в области применения методов глубинного машинного обучения для обработки и распознавание смысла информации на естественном языке (NLP (https://ru.wikipedia.org/wiki/%D0%9E%D0%... (https://en.wikipedia.org/wiki/Natural_language_understanding), Natural Language
Processing/Understanding). Код библиотеки написан на языке Python и распространяется (https://github.com/NervanaSystems/nlp-architect) под лицензией Apache 2.0. Библиотека поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph (https://github.com/NervanaSystems/ngraph-python), Intel neon (https://github.com/nervanasystems/neon), Tensorflow, Dynet (https://dynet.readthedocs.io/en/latest/) и
Keras (https://keras.io/).Из задач, для решения которых может применяться NLP Architect, называется проведение тренировки моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и настроек (также предоставляются уже натренированные модели для различного применения); тренировка с использование своих данных; создание новых или расширение доступных моделей; исследование применимости различных моделей глубинного машинного обучения для решения задач обработки информации на естественном языке; проведение экспериментов и оптимизация алгоритмов машинного обучения; интеграция в свои проекты готовых модулей и утилит, предоставляемых библиотекой.
Библиотека предоставляет ряд готовых моделей NLP и NLU, пригодных для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти (Memory Networks) для построения диалогов, применения сетей ключ/значение (Key-value Network) для организации взаимодействия в форме вопрос/ответ, использования модели векторов для расстановки слов, пометка частей речи, проведения семантической сегментации словосочетаний, распознавания именованных сущностей (известных названий, имён, объектов), выделение терминов, определения смысловой информации (распознавание смысла прочитанного) и разбивки текста на структурные элементы.
В состав NLP Architect входят следующие компоненты:
- Набор базовых моделей NLP для обработки информации на естественном языке (например, могут применяться для определения частей речи и выделения цепочек связи между словами);
- Модули NLU для распознавание смысла информации на естественном языке (например, для извлечения смысловых единиц и выделения терминов);
- Модули для семантического разбора (например, для определение словосочетаний и наиболее значимых слов);
- Компоненты для создания диалоговых систем с элементами инскуственного интеллекта, таких как чат-боты;
- Шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.
URL: https://ai.intel.com/introducing-nlp-architect-by-intel-ai-lab/
Новость: https://www.opennet.ru/opennews/art.shtml?num=48677
