The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

20.10.2016 11:14  Выпуск spaCy 1.0, библиотеки для обработки информации на естественном языке

Компания Explosion AI, специализирующаяся на разработках, связанных с искусственным интеллектом и машинным обучением, представила первый значительный выпуск свободной библиотеки spaCy, в которой воплощены в рабочий код результаты последних достижений в области распознавания текста на естественном языке (NLP, Natural Language Processing). Библиотека написана на языке Cython (расширение Python, позволяющее использовать вставки на языке Си), совместима с CPython 2.6+/3.3+ на платформах Unix/Linux, macOS и Windows, и распространяется под лицензией MIT. Языковые модели пока подготовлены только для английского и немецкого языков (размер каждой модели около 500Мб).

Библиотека рассчитана на применение в конечных продуктах, снабжена исчерпывающей документацией и предоставляет целостный API, для которого гарантируется обратная совместимость. Большинство имеющихся разработок в области NLP представляют собой исследовательские проекты, реализующие сразу несколько альтернативных алгоритмов, но не готовые для поставки конечному потребителю. В spaCy обеспечена поддержка только одного алгоритма, демонстрирующего наибольшую эффективность. В случае появления более эффективного алгоритма библиотека будет переведена на него, но этот перевод останется незаметным для завязанных на библиотеку приложений и не повлияет на API. Особенностью spaCy также является архитектура, рассчитанная на обработку документов целиком, без предварительной обработки в препроцессорах, разбивающих документ на фразы.

По производительности spaCy значительно превосходит проекты ClearNLP, CoreNLP, MATE и Turbo, и тратит на обработку документа менее 50 мс. Ценой высокой скорости является незначительное снижение точности - spaCy отстаёт по точности на 2% от наиболее эффективной альтернативной релизации, но работает на порядок быстрее. Например, spaCy при точности в 91.8% выполняет обработку 13963 слов в секунду, в то время как библиотека MATE при точности в 92.5% обрабатывает 550 слов в секунду, а библиотека Turbo при точности в 92.4% обрабатывает 349 слов в секунду.

Основные возможности spaCy:

  • Разбор зависимостей на основе меток (точность 91.8% в тесте OntoNotes 5);
  • Распознавание именованных сущностей (точность 82.6% в тесте OntoNotes 5);
  • Пометка частей речи (точность 87.1% в тесте OntoNotes 5);
  • Легко используемые векторы расстановки слов;
  • Присвоение всем строкам цифровых идентификаторов;
  • Экспорт массивов данных для обработки в библиотеке NumPy;
  • Сохранение выравнивания как в исходной строке, что упрощает расчёт разметки;
  • Наличие простых орфографических функций;
  • Отсутствие препроцессора, spaCy обрабатывает текст как есть;
  • Поддержка подключения механизмов глубинного машинного обучения.


  1. Главная ссылка к новости (https://explosion.ai/blog/spac...)
  2. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
  3. OpenNews: Facebook открыл код библиотеки классификации текста fastText
  4. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
  5. OpenNews: Baidu открыл наработки в области машинного обучения
  6. OpenNews: Yahoo открыл модель машинного обучения для выявления неприличных изображений
Лицензия: CC-BY
Тип: Программы
Ключевые слова: nlp, spacy, ai, text
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Анонимус_б6_выпуск_3, 12:31, 20/10/2016 [ответить] [смотреть все]
  • +/
    поясните простыми словами человеку, далекому от умных слов в тексте новости, для чего прикладного это будет применяться?
     
     
  • 2.2, A.Stahl, 12:41, 20/10/2016 [^] [ответить] [смотреть все] [показать ветку]
  • +7 +/
    Ну, например, можно будет написать спамбота, который будет так спамить, что хрен какой фильтр сработает.
    А ещё можно написать такой спамфильтр, что как бы ты ни спамил, то всё равно тебя вычислят.
    А ещё можно будет сделать бота, который будет обижаться если ты будешь его оскорблять.
    А ещё можно сделать бота, который и тебя сможет оскорбить.

    Но самое главное его применение -- управление корчевателем.

     
     
  • 3.5, Аноним, 14:15, 20/10/2016 [^] [ответить] [смотреть все]
  • –1 +/
    Для того, чтобы сделать бота, который сможет кого-нибудь оскорбить никакие лингв... весь текст скрыт [показать]
     
  • 3.10, Какаянахренразница, 15:09, 20/10/2016 [^] [ответить] [смотреть все]  
  • +7 +/
    > Ну, например, можно будет написать спамбота, который будет так спамить,
    > что хрен какой фильтр сработает.
    > А ещё можно написать такой спамфильтр, что как бы ты ни спамил, то всё
    > равно тебя вычислят.

    А может ли бог создать камень, который сам не сможет поднять? Если на этом софте написать спамбота и спамфильтр, а потом стравить их, то кто победит?

     
     
  • 4.13, A.Stahl, 15:37, 20/10/2016 [^] [ответить] [смотреть все]  
  • +5 +/
    Смотря что за бог Если ты про того, который всемогущий, то конечно же может Он... весь текст скрыт [показать]
     
     
  • 5.17, Какаянахренразница, 16:28, 20/10/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Сможет создать или сможет поднять - Потому что принципиально возможны лишь дв... весь текст скрыт [показать]
     
     
  • 6.19, A.Stahl, 16:35, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    И то и другое Просто по определению всемогущества Не вижу отличия от дуэли чел... весь текст скрыт [показать]
     
     
  • 7.20, Какаянахренразница, 16:46, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Правда Отличие в том, что игра продавец-покупатель не является игрой с нулевым ... весь текст скрыт [показать]
     
     
  • 8.21, A.Stahl, 17:21, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Ок Пусть Но при борьбе фильтров может сначала победить один, а потом другой В... весь текст скрыт [показать]
     
     
  • 9.24, Какаянахренразница, 18:33, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Ага, всемогущий бог сначала создаст неподъёмно огромный камень, а потом вспомнит... весь текст скрыт [показать]
     
     
  • 10.26, A.Stahl, 19:46, 20/10/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Нет, он просто всемогущий И точка Да, он может создать слишком тяжёлый для себ... весь текст скрыт [показать]
     
     
  • 11.31, Я. Р. Ош, 00:33, 21/10/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    >Он может универсум на квантор всеобщности натянуть.

    незавидная у тебя судьба

     
  • 11.37, Какаянахренразница, 03:21, 21/10/2016 [^] [ответить] [смотреть все]  
  • –2 +/
    Ты чё это верующий, штоле Я думал, тут только Шигорин такой, местами н... весь текст скрыт [показать]
     
     
  • 12.38, A.Stahl, 08:18, 21/10/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Верующий? Ты бы извинился...
     
     
  • 13.39, Какаянахренразница, 10:52, 21/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Я обознался? Прошу прощения. Это тот редкий случай, когда я рад, что ошибся.
     
  • 6.43, 1111, 02:03, 22/10/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Сначала сможет его создать, затем сможет его поднять Например можно создать ка... весь текст скрыт [показать]
     
     
  • 7.47, Павел Самсонов, 11:42, 24/10/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Я не верю, что Бог творил материю Сначала Бог сотворил небо и землю, земля же ... весь текст скрыт [показать]
     
     
  • 8.49, J.L., 10:51, 15/11/2016 [^] [ответить] [смотреть все]  
  • +/
    ваши данные устарели, камни и материю могут даже простые смертные физики с помощ... весь текст скрыт [показать]
     
  • 5.18, KBAKEP, 16:31, 20/10/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Какой же он всемогущий, если не может поднять созданный собой же камень?
     
     
  • 6.22, A.Stahl, 17:44, 20/10/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Почему не может? Может. Он же всемогущий.
     
  • 6.23, Аноним, 17:57, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Ну какой же он всемогущий если даже не может создать камень, который невозможно ... весь текст скрыт [показать]
     
     
  • 7.25, synweap, 19:44, 20/10/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Решение этой философской проблемы 1 Всемогущим Бог является постольку, посколь... весь текст скрыт [показать]
     
     
  • 8.27, rshadow, 20:02, 20/10/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Есть еще ответ "попроще": да, и он его создал - это человек.
     
  • 8.33, Какаянахренразница, 02:07, 21/10/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Это не философская проблема Это иллюстрация фундаментального противоречия в чье... весь текст скрыт [показать]
     
  • 8.45, BeRUS, 10:36, 22/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Сорри))
     
  • 7.50, J.L., 10:56, 15/11/2016 [^] [ответить] [смотреть все]  
  • +/
    вы не понимаете как это работает 0 бог в состоянии всемогущества 1 бог выбира... весь текст скрыт [показать]
     
  • 4.28, anonymous, 00:14, 21/10/2016 [^] [ответить] [смотреть все]  
  • +/
    А сможешь ли ты вообразить в своём сознании такой камень, который не поместится ... весь текст скрыт [показать]
     
     
  • 5.34, Какаянахренразница, 02:09, 21/10/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    А свопить можно ... весь текст скрыт [показать]
     
     
  • 6.41, Led, 21:58, 21/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Нет Но оверкоммит разрешён ... весь текст скрыт [показать]
     
  • 5.42, Ordu, 23:07, 21/10/2016 [^] [ответить] [смотреть все]  
  • +/
    С камнем никто не пытался, а вот с астрономическими явлениями, в частности со зв... весь текст скрыт [показать]
     
  • 3.14, ПавелС, 15:39, 20/10/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Какое то кусание себя за хвост с этими секюрити и ИИ Лет 15 назад когда я начин... весь текст скрыт [показать]
     
  • 2.3, Александр, 12:58, 20/10/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +1 +/
    Всё предельно просто - для слежки за вами И за другими людьми Я серьёзно Впло... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.4, тоже Аноним, 14:10, 20/10/2016 [^] [ответить] [смотреть все]  
  • +2 +/
    Пакет Яровой преследует ровно две цели 1 завинчивание гаек в Интернете и комм... весь текст скрыт [показать]
     
     
  • 4.8, Mail, 14:51, 20/10/2016 [^] [ответить] [смотреть все]  
  • +1 +/
    Зачем в петабайтах кода нужен конкретный человечек там много-много меньше О вы... весь текст скрыт [показать]
     
     
  • 5.9, тоже Аноним, 14:56, 20/10/2016 [^] [ответить] [смотреть все]  
  • +/
    Ну, расскажите, что мешает организовать колпак для конкретного человека без вс... весь текст скрыт [показать]
     
  • 3.15, НиколайИванович, 16:03, 20/10/2016 [^] [ответить] [смотреть все]  
  • +3 +/
    Разработчики -- австралиец и немка, языки -- английский и немецкий Но использов... весь текст скрыт [показать]
     
     
  • 4.32, Вареник, 01:21, 21/10/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    Прикрутят. На этот раздел IT как раз денег не жалеют.
     
  • 1.7, adolfus, 14:28, 20/10/2016 [ответить] [смотреть все]  
  • +/
    Ничего нового. Двадцать лет назад в IBM OS/2 4.0 Merlin была обучаемая распознавалка голоса, кажется Voice Type она называлась. Даже в коробочной настройке она позволяла отдавать голосом команды программам, которые имели пулл-даун и/или контекстное меню. По-английски, разумеется. Работало достаточно четко даже с моим английским произношением. Говоришь ему слитно "файл оупен" -- открывает диалог ввода имени файла, говоришьс паузой "файл" ... "оупен" -- открывает сначала пуллдаун File, потом сдвигает курсор на Open и открывает диалог. Вначале кое-какие косяки были, но потом система подстраиваласть под особенности произношения.
     
     
  • 2.16, Аноним, 16:24, 20/10/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +2 +/
    А это без подстройки, сразу работает И не небольшое число ключевых слов, а полн... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.40, Аноним, 12:56, 21/10/2016 [^] [ответить] [смотреть все]  
  • –1 +/
    А еще была софтина с SoundBlaster AWE32.
     
  • 1.35, Аноним, 02:36, 21/10/2016 [ответить] [смотреть все]  
  • –1 +/
    А можно на Си или на Python? а не на то и другое... (
     
  • 1.36, Аноним, 02:42, 21/10/2016 [ответить] [смотреть все]  
  • +/
    Если на их сайте пролистать вниз - SPACY IS TRUSTED BY -- https foxtype com ... весь текст скрыт [показать]
     
  • 1.44, BeRUS, 10:32, 22/10/2016 [ответить] [смотреть все]  
  • +/
    А то что в дройде для распознавания речи используется, не из этой ветки?
     
  • 1.46, Аноним, 10:57, 24/10/2016 [ответить] [смотреть все]  
  • +1 +/
    смесь бидона и сей для обработки на естественном языке писать это шедеврально... весь текст скрыт [показать]
     
     
  • 2.48, Anonymissimus, 06:55, 25/10/2016 [^] [ответить] [смотреть все] [показать ветку]  
  • +/
    Если ты такой умный, то где твоя реализация?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2017 by Maxim Chirkov  
    ДобавитьРекламаВебмастеруГИД  
    Hosting by Ihor