The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

14.01.2017 19:38  Проект OpenNMT развивает систему машинного перевода на основе нейронной сети

Доступны первые выпуски OpenNMT (Open Neural Machine Translation), открытой системы машинного перевода, использующей методы машинного обучения. Для построения нейронной сети проект использует возможности библиотеки глубинного машинного обучения Torch. Код развиваемых проектом OpenNMT модулей для Torch написан на языке Lua и распространяется под лицензией MIT. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++, который использует предварительно натренированные модели без привязки зависимостями к Torch и Lua.

Разработчики OpenNMT пытаются создать продукт с одной стороны простой в использовании и легко расширяемый, а с другой стороны обеспечивающий высокую эффективность и качество перевода. Крупнейшими участниками проекта являются компания SYSTRAN, специализирующаяся на создании средств машинного перевода, и группа исследователей Harvard, разрабатывающая модели человеческого языка для систем машинного обучения. Для ознакомления с качеством работы OpenNMT введён в строй online-переводчик, в том числе поддерживающий русский язык.

Для упрощения применения OpenNMT подготовлено несколько уже прошедших тренировку общедоступных моделей языков, позволяющих переводить с английского на немецкий и обратно. Также доступна универсальная модель для произвольного перевода текстов на французском, испанском, португальском, итальянском и румынском языках.

Для остальных языков предлагается самостоятельно подготовить модель перевода, осуществив обучение нейронной сети на основе эталонного набора переводов (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык). Для упрощения развёртывания OpenNMT предоставляется преднастроенный контейнер на базе Docker.

Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Применение Torch позволяет задействовать возможности GPU (c поддержкой CUDA) для ускорения процесса обучения нейронной сети. Система расширений даёт возможность реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование и генерацию субтитров. На базе OpenNMT также развивается система оптического распознавания текста, способная распознавать и переводить в формат LaTeX сложные математические формулы.

  1. Главная ссылка к новости (http://opennmt.net/...)
  2. OpenNews: Facebook открыл наработки по распознаванию объектов на фотографиях
  3. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
  4. OpenNews: Facebook опубликовал концепцию сервера для систем искусственного интеллекта
  5. OpenNews: Facebook открыл модули машинного обучения, использующие GPU для ускорения
Лицензия: CC-BY
Тип: Программы
Ключевые слова: torch
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Xasd (ok), 20:57, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +1 +/
    > GPU (c поддержкой CUDA)

    всё ясно.. расходимся пацаны

     
     
  • 2.27, Аноним (-), 00:59, 15/01/2017 [^] [ответить]    [к модератору]
  • +2 +/
    В сбербанке обещают примерно 3000 пацанов разойти. Покамест правда юристов, но переводчикам скоро тоже достанется.
     
  • 1.2, A.Stahl (ok), 21:01, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]
  • +1 +/
    This demo platform allows you to experience Pure Neural™ machine translation based on the last Research community's findings and SYSTRAN’s R&D.

    Google: Эта демонстрационная платформа позволяет испытать Pure машинного перевода Neural ™ на основе выводов последнего исследования сообщества и R & D Systran в.

    Эти ребята: Эта демонстрационная платформа позволяет вам ознакомиться с преобразование компьютерных систем Intel® Clear Neural™ на основе результатов исследований и разработок SYSTRAN.

    Перевод конечно неудовлетворителен у обоих, но у OpenNMT он звучит аккуратней да и вообще передаёт смысл.

     
     
  • 2.9, Аноним (-), 22:23, 14/01/2017 [^] [ответить]    [к модератору]
  • +1 +/
    А откуда там во втором переводе взялся Intel? Это же полная отсебятина, не?
     
     
  • 3.14, A.Stahl (ok), 22:49, 14/01/2017 [^] [ответить]     [к модератору]
  • +/
    Нейронные сети не понимают что делают, а просто лепят на кучу куски в той же пос... весь текст скрыт [показать]
     
     
  • 4.17, GoogLeNet (?), 22:55, 14/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Define "понимать"
     
     
  • 5.19, A.Stahl (ok), 23:06, 14/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Понимать -- уметь классифицировать по какому-то значимому признаку, а не единственно по факту нахождения слов рядом.
     
     
  • 6.22, Лейкопластырь СлияниеУникум (?), 23:17, 14/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Нейросети так и делают.
     
     
  • 7.24, A.Stahl (ok), 23:28, 14/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Несомненно.
     
     
  • 8.32, Аноним (-), 03:11, 15/01/2017 [^] [ответить]    [к модератору]  
  • –3 +/
    Нет никаких нейро-фигейросетей. Есть копроэкономический маркетинг.


     
     
  • 9.34, Аноним (-), 06:03, 15/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Нет никаких нейро-фигейросетей. Есть копроэкономический маркетинг.

    Ога, и компьютеры - фикция.

     
     
  • 10.76, c0unt0_krsk (?), 10:18, 23/01/2017 [^] [ответить]    [к модератору]  
  • +/
    *квантовые, в ближайшем будущем.
     
  • 4.36, Ordu (ok), 07:22, 15/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Чтобы получить человеческий интеллект, надо 86 млрд нейронов в череп поместить ... весь текст скрыт [показать]
     
     
  • 5.37, A.Stahl (ok), 10:06, 15/01/2017 [^] [ответить]    [к модератору]  
  • –2 +/
    Интеллект и миллиарды "попендикулярны". Проблема не в количестве. И уж тем более не в мощности.
     
     
  • 6.43, Аноним (-), 19:45, 15/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Мде Попробуй из 10 нейронов выжать интеллект нет, не человека, хотя-бы кошки, д... весь текст скрыт [показать]
     
  • 6.45, Ordu (ok), 21:28, 15/01/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Тебе только кажется, что мощности не нужны, потому что интеллект ты наблюдаешь и... весь текст скрыт [показать]
     
     
  • 7.46, СуперКлоун (?), 21:56, 15/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун ИИ упиралась в алгоритмы Напр в 60-е не хватало места чтобы хранить корп... весь текст скрыт [показать]
     
     
  • 8.48, Ordu (ok), 05:47, 16/01/2017 [^] [ответить]     [к модератору]  
  • +2 +/
    Да-да Продолжай хвастаться тем, что абсолютно не в теме Разработки ИИ с тех по... весь текст скрыт [показать]
     
     
  • 9.54, Аноним (-), 11:55, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун в начале 60-х СССР представил программу англо-русского перевода и она пол... весь текст скрыт [показать]
     
  • 9.58, Аноним (-), 14:08, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун и ты в одну кучу мешаешь задачи неблизкого будущего футурологов и пробл... весь текст скрыт [показать]
     
     
  • 10.60, Ordu (ok), 17:21, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Я ещё раз повторяю для глухих сейчас гугель решает вопросы легализации гугломоб... весь текст скрыт [показать]
     
     
  • 11.61, Аноним (-), 17:40, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун Они нигде не легализованы по вышеуказанным причинам Именно поэтому в каж... весь текст скрыт [показать]
     
     
  • 12.70, Ordu (ok), 22:34, 16/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Сходи и почитай википедию. И по поводу public roads и по поводу всего остального. https://en.wikipedia.org/wiki/Autonomous_car#Legislation
     
     
  • 13.71, Аноним (-), 23:55, 16/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    клоун: Глубокий источник данных. Дальше можешь не продолжать.

    Хочешь, я исправлю эту статью специально для тебя, написав там, что Новый Уренгой - мировой лидер беспилотных автомобилей?

     
  • 11.62, Аноним (-), 17:44, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун Единственный разрешённый вариант - автоколонны Их разрешили ещё чёрти ко... весь текст скрыт [показать]
     
  • 11.63, Аноним (-), 17:51, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун 22 декабря губернатор штата Мичиган подписал указ, разрешающий эксплуатац... весь текст скрыт [показать]
     
  • 11.69, Аноним (-), 19:10, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун ах да, забыл про беспилотные автобусы Этим тоже 100 лет в обед Их так... весь текст скрыт [показать]
     
  • 8.49, hoopoe (ok), 09:04, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    ИИ наших дней по сравнению с ИИ 20-ти лет назад - это неплохой шаг вперёд по-на... весь текст скрыт [показать]
     
     
  • 9.55, Аноним (-), 12:03, 16/01/2017 [^] [ответить]     [к модератору]  
  • –1 +/
    клоун я бы не сказал что это прогресс Скорее, все тропинки, по которым как счи... весь текст скрыт [показать]
     
     
  • 10.57, hoopoe (ok), 13:56, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    целиком согласен но отбрасывание заведомо тупиковых ходов - это уже прогресс, а... весь текст скрыт [показать]
     
  • 10.75, Michael Shigorin (ok), 17:55, 19/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > Мы словно Джорданно Бруно, разбирающий Intel Pentium.

    В смысле такие же профнепригодные (см. мнение Галилео насчёт Джордано) "политактивисты"?

     
  • 5.64, Аноним (-), 17:52, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Странно, что этот интеллект лучший из них не может обыграть в шахматы мой теле... весь текст скрыт [показать]
     
     
  • 6.68, Аноним (-), 18:12, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун алгоритм игры в шахматы прост как 5 копеек У каждой фигуры есть вес их ... весь текст скрыт [показать]
     
     
  • 7.73, hoopoe (ok), 08:53, 17/01/2017 [^] [ответить]     [к модератору]  
  • +/
    я не знаю в какой параллельной реальности вы проходили такие курсы, но в привычн... весь текст скрыт [показать]
     
     
  • 8.74, Аноним (-), 11:41, 17/01/2017 [^] [ответить]     [к модератору]  
  • +/
    клоун шахматы являются позиционной игрой, и поэтому их вес зависит в т ч от их... весь текст скрыт [показать]
     
  • 1.3, Шарп (ok), 21:24, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > написан на языке Lua

    Какие преимущества даёт этот язык относительно мейнстримных питонов? Или чтоб не как у всех. Тогда это хипстерская поделка, которая будет вскоре заброшена.

     
     
  • 2.10, Умная Маша (?), 22:29, 14/01/2017 [^] [ответить]     [к модератору]  
  • +5 +/
    Torch - очень известный и зрелый фреймворк для нейросетей, до появления TensorFl... весь текст скрыт [показать]
     
     
  • 3.42, PSV (?), 18:58, 15/01/2017 [^] [ответить]    [к модератору]  
  • +/
    mxnet быстрее
     
  • 2.11, Аноним (-), 22:33, 14/01/2017 [^] [ответить]    [к модератору]  
  • +/
    > относительно мейнстримных питонов

    LuaJit / JIT

     
  • 2.12, barmaglot (??), 22:33, 14/01/2017 [^] [ответить]     [к модератору]  
  • +4 +/
    Для тех кто не в курсе lua как самостоятельный язык нигде не используется Это ... весь текст скрыт [показать]
     
     
  • 3.18, Аноним (-), 23:03, 14/01/2017 [^] [ответить]     [к модератору]  
  • +1 +/
    Влажные мечты неосиляторов сишки, даже в микробенчах https eklausmeier wordpr... весь текст скрыт [показать]
     
  • 2.44, Аноним (-), 19:46, 15/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Не тормозит Да и синтаксис там все-таки не подразумевает что програмер - всенеп... весь текст скрыт [показать]
     
  • 1.4, жабабыдлокодер (ok), 21:33, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +1 +/
    Я закинул первый абзац "Ветер в ивах" в гугл, яндекс и опенНМТ. Текст, на самом деле, очень тяжел для машинного перевода, хотя для прочтения не нужно очень хорошо знать язык. В гугле и яндексе ломаным языком, в принципе, более-менее понятно. ОпенНМТ выдал полную белиберду, полную: "Something up above was calling him imperiously, and he made for the steep little tunnel which answered in his case to the gravelled carriage-drive owned by animals whose residences are nearer to the sun and air." - "Что-то выше называлось его имперированным, и он сделал для крутого тоннеля, который ответил в его случае на шлюпанный грузовик, принадлежащий животным, чьи дома ближе к солнцу и воздуху." Шлюпанный!!!
     
     
  • 2.6, другой Аноним (?), 21:58, 14/01/2017 [^] [ответить]     [к модератору]  
  • –3 +/
    Что же вы так жестоко обламываете мечту школотов - найти тот самый, тайный перев... весь текст скрыт [показать]
     
     
  • 3.15, жабабыдлокодер (ok), 22:50, 14/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Почитайте фантастику - там таких переводчиков навалом, хоть с марсианского, хоть с тау-китянского... Некоторым с помощью переводчиков удавалось даже в любви инопланетянкам объясняться.
     
  • 3.66, Аноним (-), 17:59, 16/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Дык вроде найден уже и даже девайсы есть переводящие голос, не говоря про ютыбы ... весь текст скрыт [показать]
     
  • 2.67, Аноним (-), 18:01, 16/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Я не понял, его кто-то обучал русскому? Какие претензии?

     
  • 1.5, Аноним (-), 21:54, 14/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +1 +/
    Прикольно На фразе У вас баг в переводчик сайт выдаёт Error Route not found... весь текст скрыт [показать]
     
  • 1.7, pavard (??), 22:05, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    тысяча чертей - переводит лучше чем гугл и яндекс.
     
     
  • 2.8, Square1 (?), 22:15, 14/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Яндекс перевел как
    bloody hell

    А гугл как
    thousand devils

    А они как перевели?

    Правильный перевод между тем - fucking ass :)

     
  • 2.16, жабабыдлокодер (ok), 22:54, 14/01/2017 [^] [ответить]    [к модератору]  
  • +/
    А Вы попробуйте всеми тремя переводчиками перевести "holy ficking shit"...
     
     
  • 3.31, Аноним (-), 03:09, 15/01/2017 [^] [ответить]    [к модератору]  
  • –1 +/
    > А Вы попробуйте всеми тремя переводчиками перевести "holy ficking shit"...

    А кроме как ругательства ничего-никак? Ага, вы же рунет.


     
  • 2.33, Дегенератор (?), 04:46, 15/01/2017 [^] [ответить]     [к модератору]  
  • +/
    Мне онлайн перевел русское слово Жополиз на английский как Присяжные Я не з... весь текст скрыт [показать]
     
     
  • 3.39, Мадара (ok), 12:52, 15/01/2017 [^] [ответить]    [к модератору]  
  • +/
    да не, systran похлеще будет Гитлера, он его считает мягкотелой домохозяйкой:
    (en -> ru)
    Гитлер -> Домохозяйка
     
  • 1.20, Аноним (-), 23:08, 14/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Это не конечный продукт, это как и в 99 случаев - экспериментальная разработка ... весь текст скрыт [показать]
     
  • 1.21, Demo (??), 23:10, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > OpenNMT

    Тьфу ты, блин. А я, было, подумал, что это Nordic Mobile Telephony.

     
  • 1.23, Мадара (ok), 23:21, 14/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    самая жесть когда переводишь с английского на русский, вставляя русский текст, например:
    "Я хреновый переводчик." -> Э-ха.
    или еще:
    "вна Украине" -> Вранье

    ппц, там такие перлы вылетают :)

     
     
  • 2.28, Вареник (?), 02:15, 15/01/2017 [^] [ответить]    [к модератору]  
  • +1 +/
    Иногда нейросеть выдирает скрытый смысл :)
     
  • 1.25, paulus (ok), 00:20, 15/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Эта "новость" была как минимум 21 дек. 2016 :)
    Проект открытый, плюс альтарнатива гуглям/яндекскам.., так что новость позитивная хоть "двигло" пока и слабое. Гугля до сих пор переводит не ахти, так что дайте скачуху начинаниям :)
     
  • 1.35, ОдинИз3кЮристовСбера (?), 06:21, 15/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Неплохо, на фоне гугла даже хорошо.

    Оригинал:
    This provides a unique identifier for the view, which you can use to reference the object from your app code, such as to read and manipulate the object (you'll see this in the next lesson). The at sign (@) is required when you're referring to any resource object from XML. It is followed by the resource type (id in this case), a slash, then the resource name (edit_message).

    OpenNMT:
    Это уникальный идентификатор для представления, который можно использовать для ссылки на объект из кода приложения, например для чтения и управления объектом (увидите это в следующем уроке). Знак (@) необходим при ссылке на любой объект ресурсов из XML. Затем следует тип ресурса (id в данном случае), косой черты, а затем имя ресурса (edit_ message).

    Google:
    Это обеспечивает уникальный идентификатор для вида, который можно использовать для ссылки на объект из кода приложения, например, для чтения и манипулировать объектами (вы увидите это в следующем уроке). Знак (@) требуется, когда вы имеете в виду какой-либо объект ресурса из XML. За ним следует тип ресурса (ID в данном случае), косой черты, то имя ресурса (edit_message).

     
     
  • 2.65, qqq (??), 17:54, 16/01/2017 [^] [ответить]    [к модератору]  
  • +/
    Просто они сеть обучали на разных базах.
     
  • 1.40, Аноним (-), 13:55, 15/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Our cat gave birth to three kittens — two whites and one black
    Наш кот родил три коттеджа: два белых и один черный
    без афроамериканцев - уже хорошо
     
  • 1.41, chinarulezzz (ok), 16:17, 15/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    https://transfer.sh/54kXb/15-01-17-15-13-17.png

    При вводе Гитлер, выдало стихотворение:

    Гитлер гитлер гитлер гитлер,

    гитлер гитлер, гитлер гитлер,

    гитлер гитлер гитлер гитлер

    гитлер гитлер гитлер гитлер

     
  • 1.50, лютый жабист__ (?), 10:37, 16/01/2017 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    Когда переводчик будет переводить "God bless you" как "Будь здоров", тогда и называйте это ИИ, а щас - всем спасибо, все свободны ;)

    Вообще, многие текущие попытки гугла и других компашек похожи на проект 20 века по отправке в дальний космос уберракеты на ядерном топливе (забыл название, но очень монструозная штука за "нереально много денег" и с "нереально мало профита".

     
     
  • 2.51, hoopoe (ok), 11:01, 16/01/2017 [^] [ответить]    [к модератору]  
  • +/
    немного лет назад эти переводчики переводили
    how do you do?
    на русский как
    как делаешь ты делаешь
    :)

    так что скайнет близок :)

     
  • 2.52, Аноним (-), 11:46, 16/01/2017 [^] [ответить]    [к модератору]  
  • +/
    https://translate.google.ru/?hl=ru&tab=wT#en/ru/god%20bless%20you

    god bless you -> Будьте здоровы

    Уже можно называть это ИИ?

     
     
  • 3.72, лютый жабист__ (?), 04:53, 17/01/2017 [^] [ответить]    [к модератору]  
  • +/
    >god bless you -> Будьте здоровы
    >Уже можно называть это ИИ?

    Сорри, поправка - "... для всех языков".
    Делаем в обратную сторону и получаем тыкву... "Будь здоров" - "Be healthy"

     
  • 1.53, Аноним (-), 11:54, 16/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Посоветуйте более менее хороший переводчик в английского на английский или с рус... весь текст скрыт [показать]
     
  • 1.56, Аноним (-), 13:39, 16/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Лучший из всего чем приходилось пользоваться, вот пример перевода с англицкого ... весь текст скрыт [показать]
     
  • 1.59, Аноним (-), 15:01, 16/01/2017 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Кусочек новости на русском Доступны первые выпуски OpenNMT Open Neural Machine... весь текст скрыт [показать]
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor