The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги ]

13.05.2016 10:18  Google открыл код SyntaxNet, системы восприятия естественного языка

Компания Google анонсировала открытие исходных текстов фреймворка SyntaxNet, предоставляющего модель парсинга, описывающую синтаксис естественного языка. SyntaxNet может применяться для построения систем разбора предложений на естественном языке, в том числе в составе системы машинного обучения TensorFlow. Более того, для TensorFlow опубликована уже натренированная модель нейронной сети "Parsey McParseface", пригодная для разбора текста на английском языке. Код открыт под лицензией Apache 2.0.

Система разработана в рамках проекта, основными задачами которого является придание компьютерным системам возможности читать и понимать человеческий язык. Возможности "Parsey McParseface" и SyntaxNet сравниваются со способностью пятилетнего ребёнка усваивать нюансы языка. Точность работы модели "Parsey McParseface" оценивается Google в 94%. Производительность SyntaxNet позволяет обрабатывать приблизительно 600 слов в секунду на обычном настольном компьютере. В качестве сопутствующих инструментов предоставлены средства для анализа лингвистической структуры предложений или высказываний, показывающие функциональную роль каждого слова.

Например, при разборе фразы "Алиса увидела Боба", Алиса и Боб определяются как объекты (существительные), а "увидела" как определяющее действие ключевое слово (глагол). Возможен разбор и более сложных конструкций, например "Алиса, читавшая про SyntaxNet, вчера увидела Боба в прихожей". "Parsey McParseface" и SyntaxNet дают возможность определить зависимости и связи между частями предложения, и ответить на такие вопросы, как кого увидела Алиса, кто увидел Боба, о чём читала Алиса и когда Алиса увидела Боба. При этом сильной стороной SyntaxNet является вовлечение системы машинного обучения, которая позволяет правильно разобрать неоднозначные фразы, воспринимаемые человеком на интуитивном уровне (например, "Я забронировал билет в Google" воспринимается как покупка в Google, а не как билет для доступа в Google).



  1. Главная ссылка к новости (http://googleresearch.blogspot...)
  2. OpenNews: Открыт код системы машинного обучения TensorFlow, разработанной командой Google Brain
  3. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
  4. OpenNews: Компания Microsoft открыла код распределённого инструментария машинного обучения DMTK
  5. OpenNews: Компания IBM передала сообществу Apache платформу машинного обучения SystemML
  6. OpenNews: Yahoo опубликовал крупнейшую базу данных для систем машинного обучения
Лицензия: CC-BY
Тип: Программы
Ключевые слова: tensorflow
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Линейный вид | Ajax | Показать все | RSS
 
  • 1.1, Аноним, 10:32, 13/05/2016 [ответить] [смотреть все]     [к модератору]
  • –1 +/
    Перевод незаметен Это какой язык вообще ... весь текст скрыт [показать]
     
     
  • 2.3, Crazy Alex, 10:48, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +1 +/
    А в чём дело Нормальная фраза Вот что я не могу понять - так это в чём величие... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.4, Crazy Alex, 10:52, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +5 +/
    Разобрался Их основное достижение - хорошее понимание всяких неоднозначных конс... весь текст скрыт [показать]
     
     
  • 4.18, тоже Аноним, 13:54, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +7 +/
    Однако фразу "Алиса зашла в магазин с сумочками" человек поймет совсем иначе.
    Во всяком случае, женатый человек ;)
     
     
  • 5.20, Crazy Alex, 14:16, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Ну вот поэтому туда нейросеть и приходится совать
     
     
  • 6.40, _, 16:40, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Глупцы Их британские коллеги достоверно доказали что женская логика не моделиру... весь текст скрыт [показать]
     
     
  • 7.56, anonimous, 10:41, 15/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Логика не делится по половому признаку.
     
  • 5.39, _, 16:39, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Женатый как раз поймёт не как ты Как ты он поймёт фразу Алиса вышла из магаз... весь текст скрыт [показать]
     
     
  • 6.47, тоже Аноним, 18:26, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Вот как женился 14 лет назад - это помню А как мы с вами кого-то когда-то пасли... весь текст скрыт [показать]
     
  • 3.24, Лингвист, 14:37, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Да, это просто очередной синтаксический парсер, на несколько процентов обгоняющи... весь текст скрыт [показать]
     
     
  • 4.41, _, 16:45, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ви слишком много кушать С Ширли-Мырли Как то потихоньку многое о чём писали ... весь текст скрыт [показать]
     
     
  • 5.45, Лингвист, 17:05, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Эффективные открытые парсеры существуют уже не менее десятка лет http maltpar... весь текст скрыт [показать]
     
  • 2.21, Аноним, 14:18, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +3 +/
    Алиса из Купчино, читавшая за Syntaxnet, вчера контачилась с Бобом за гаражами ... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.42, _, 16:48, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +2 +/
    А Аноним подглядывал и д ч л вприсядку Гугель сраму не имёт, упражняйся скольк... весь текст скрыт [показать]
     
  • 1.2, psrafo, 10:41, 13/05/2016 [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Мне показалось, или они сказали SkyNet ?
     
     
  • 2.5, Crazy Alex, 10:53, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Тебе показалось Это тихий мирный синтаксический разбор, просто по возможности к... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.43, _, 16:53, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Таки почему ви нам заговариваете зюбы Всё это юзается для анализа содержимого ... весь текст скрыт [показать]
     
     
  • 4.44, Crazy Alex, 16:56, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Сюрприз - это кто угодно может использовать Открытого софта подобного рода полн... весь текст скрыт [показать]
     
     
  • 5.48, тоже Аноним, 18:29, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Параноики просто не в курсе, что Интернет - это удачный эксперимент по созданию ... весь текст скрыт [показать]
     
  • 1.6, Andrey Mitrofanov, 11:00, 13/05/2016 [ответить] [смотреть все]     [к модератору]  
  • +/
    13 05 2016 10 18 Google открыл код SyntaxNet, системы восприятия естественного ... весь текст скрыт [показать]
     
  • 1.7, hoopoe, 11:15, 13/05/2016 [ответить] [смотреть все]    [к модератору]  
  • +/
    пусть разберёт фразу:
    косая с косой косила на косе
     
     
  • 2.8, hoopoe, 11:18, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +1 +/
    ушло слишком рано... так надо:
    косая с косой косила на косе косой
     
     
  • 3.9, fomkin, 11:38, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +1 +/
    Косой косой косил Косой.
     
     
  • 4.10, моррут, 11:40, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +12 +/
    Закосяча косячок, с косой косой в косой косе, Косец (косящатый косой косец (косок, косач, косарь) из Косы) косой косой Косого из Косы и Косая (косая косушка (косица) коса с косой косой в косой косе) косенькой косой Косы из Косы косо, косенько касаясь косой косы, наперекосяк от косой косы к косой косе, скосившись с покосившихся косых кос, кося на перекосившихся косуль на косой косе, косно косили некошеную косую косу за косарь, а скосив нескошенное, покосились на косую косу, косея от косяков — перекоса косьбы с косинкой
     
     
  • 5.12, Аноним, 12:09, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Хорошо! :)
     
     
  • 6.33, Crazy Alex, 15:15, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Ну да, вроде того Крупные компании играются в Big Data потому что их немногим ... весь текст скрыт [показать]
     
     
     
    Часть нити удалена модератором

  • 8.38, Crazy Alex, 16:04, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Почему не получилось Получилось Сам же говоришь, что результат их применения ... весь текст скрыт [показать]
     
  • 6.49, Анончег, 21:51, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    играясь Товарищ, из какого зажопинского Мухосранска ты сюда взошёл ... весь текст скрыт [показать]
     
     
  • 7.50, solomon243, 22:57, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +2 +/
    Просто глаголу "играя" умышленно придали пренебрежительный оттенок. Вот и все.
     
     
  • 8.51, Анончег, 23:39, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ага, ага Пойди это своей бабушке на досуге расскажи Дерёвня Загадюкино вылезла... весь текст скрыт [показать]
     
     
  • 9.53, мимоопровергнул, 02:35, 14/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Слово известно, употребляется широко, зафиксировано в словарях http dic acade... весь текст скрыт [показать]
     
     
  • 10.54, тоже Аноним, 10:38, 14/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • –1 +/
    Думаю, со временем фразеологизм метать бисер перед свиньями постепенно будет в... весь текст скрыт [показать]
     
     
  • 11.57, anonimous, 12:47, 15/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Из Библии церковно-славянский текст В Евангелии от Матфея гл 7, ст 6 прив... весь текст скрыт [показать]
     
  • 10.55, Анончег, 22:45, 14/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +1 +/
    Ты сам-то по своей ссылке ходил Там вот чего сообщают Обрати внимание на сокра... весь текст скрыт [показать]
     
  • 4.11, Аноним, 12:09, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Говорят говорить говори говорю.
     
     
  • 5.22, Аноним, 14:21, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Управляемое управление управляется с места водителя из лекций на военной кафед... весь текст скрыт [показать]
     
     
  • 6.32, Crazy Alex, 15:12, 13/05/2016 [^] [ответить] [смотреть все]    [к модератору]  
  • +/
    Совершенно однозначная фраза, кстати, здесь и нейросетка не нужна
     
     
  • 7.52, ., 01:38, 14/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Ну военные же Там так и болжно быть, чтоб без тени сомнения ТовариЩЩ боец... весь текст скрыт [показать]
     
  • 4.30, Crazy Alex, 15:09, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Да плевать на такие примеры Тут и человек не сразу разберётся, если разберётся ... весь текст скрыт [показать]
     
  • 1.19, Аноним, 13:57, 13/05/2016 [ответить] [смотреть все]    [к модератору]  
  • +/
    Русский поддерживается?
     
     
  • 2.25, Лингвист, 14:38, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Если обучить на размеченном русском корпусе, то будет поддерживаться Авторы выл... весь текст скрыт [показать] [показать ветку]
     
     
  • 3.34, Crazy Alex, 15:16, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    И добавить модель русского синтаксиса - нейросеть там только поверх анализатора,... весь текст скрыт [показать]
     
     
  • 4.35, Лингвист, 15:42, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Модель русского синтаксиса нужна только в том смысле, что люди-аннотаторы долж... весь текст скрыт [показать]
     
     
  • 5.37, Crazy Alex, 16:01, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Хм, действительно они и парсер на нейросетях сделали Но зачем Отдать выбор н... весь текст скрыт [показать]
     
     
  • 6.46, Лингвист, 17:09, 13/05/2016 [^] [ответить] [смотреть все]     [к модератору]  
  • +/
    Весь синтаксический парсинг - это и есть выбор наиболее вероятного варианта R... весь текст скрыт [показать]
     
  • 1.27, Аноним, 15:01, 13/05/2016 [ответить] [смотреть все]     [к модератору]  
  • +/
    А я вот не знал что в гугл можно совершить покупку и подумал о тракторе Анализа... весь текст скрыт [показать]
     
     
  • 2.28, Аноним, 15:06, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Хех, и гуглтранслейт тоже не знает что в гугле можно купить билет.
     
  • 2.31, Crazy Alex, 15:11, 13/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Нет, просто ты к той аудитории, на текстах которой оно было обучено, отношения н... весь текст скрыт [показать] [показать ветку]
     
  • 2.59, vvv, 12:41, 17/05/2016 [^] [ответить] [смотреть все] [показать ветку]     [к модератору]  
  • +/
    Эт как бы сунуть в гугл билет бумажный, а вынуть бронированный Чтобы не мялся н... весь текст скрыт [показать] [показать ветку]
     
  • 1.58, Аноним, 21:36, 15/05/2016 [ответить] [смотреть все]    [к модератору]  
  • +/
    На русском не заработает. :)) Сдохнет на фразе "да нет наверное".
     
     
  • 2.60, Аноним, 22:31, 20/05/2016 [^] [ответить] [смотреть все] [показать ветку]    [к модератору]  
  • +/
    Задорнов, залогиньтесь.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor