The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Проект OpenNMT развивает систему машинного перевода на основ..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от opennews (ok), 14-Янв-17, 20:57 
Доступны (https://github.com/OpenNMT/OpenNMT/releases) первые выпуски OpenNMT (http://opennmt.net/) (Open Neural Machine Translation), открытой системы машинного перевода, использующей методы машинного обучения. Для построения нейронной сети проект использует возможности библиотеки глубинного машинного обучения Torch (http://torch.ch/). Код развиваемых проектом OpenNMT модулей для Torch написан на языке Lua и  распространяется (https://github.com/OpenNMT/OpenNMT) под лицензией MIT. Для упрощения распространения продукта проектом также развивается (https://github.com/OpenNMT/CTranslate) самодостаточный вариант транслятора на языке C++, который использует предварительно натренированные модели без привязки зависимостями к Torch и Lua.


Разработчики OpenNMT  пытаются создать продукт с одной стороны простой в использовании и легко расширяемый, а с другой стороны обеспечивающий высокую эффективность и качество перевода. Крупнейшими участниками проекта являются компания SYSTRAN (http://www.systransoft.com/), специализирующаяся на создании средств машинного перевода, и группа исследователей Harvard (http://nlp.seas.harvard.edu/), разрабатывающая модели человеческого языка для систем машинного обучения. Для ознакомления с качеством работы OpenNMT введён в строй online-переводчик (https://demo-pnmt.systran.net/production#/translation), в том числе поддерживающий русский язык.

Для упрощения применения OpenNMT подготовлено (http://opennmt.net/Models/) несколько уже прошедших тренировку общедоступных моделей языков, позволяющих переводить с английского на немецкий и обратно. Также доступна универсальная модель для произвольного перевода текстов на французском, испанском, португальском, итальянском и румынском языках. Для остальных языков предлагается (http://opennmt.net/Guide/) самостоятельно подготовить модель перевода, осуществив обучение нейронной сети на основе эталонного набора переводов (для обучения системе передаётся два файла - один с предложениями на исходном языке, а второй с качественным переводом этих предложений на целевой язык).  Для упрощения развёртывания OpenNMT предоставляется преднастроенный контейнер на базе Docker.


Применение Torch позволяет задействовать возможности GPU (c поддержкой CUDA) для ускорения процесса обучения нейронной сети. Интерфейс пользователя максимально упрощён и требует лишь указания входного файла с текстом и файла для сохранения результата перевода. Система расширений позволяет реализовывать на базе OpenNMT дополнительную функциональность, например, автореферирование и генерация субтитров. В том числе на базе OpenNMT развивается (https://github.com/OpenNMT/Im2Text) система оптического распознавания текста, способная распознавать и переводить в формат  LaTeX  сложные математические формулы.


URL: http://opennmt.net/
Новость: https://www.opennet.ru/opennews/art.shtml?num=45858

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Xasd (ok), 14-Янв-17, 20:57 
> GPU (c поддержкой CUDA)

всё ясно.. расходимся пацаны

Ответить | Правка | Наверх | Cообщить модератору

27. "Проект OpenNMT развивает систему машинного перевода на основ..."  +2 +/
Сообщение от Аноним (-), 15-Янв-17, 00:59 
В сбербанке обещают примерно 3000 пацанов разойти. Покамест правда юристов, но переводчикам скоро тоже достанется.
Ответить | Правка | Наверх | Cообщить модератору

77. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от КО (?), 19-Янв-21, 10:59 
В сбере много чего обещают.
Ответить | Правка | Наверх | Cообщить модератору

2. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от A.Stahl (ok), 14-Янв-17, 21:01 
This demo platform allows you to experience Pure Neural™ machine translation based on the last Research community's findings and SYSTRAN’s R&D.

Google: Эта демонстрационная платформа позволяет испытать Pure машинного перевода Neural ™ на основе выводов последнего исследования сообщества и R & D Systran в.

Эти ребята: Эта демонстрационная платформа позволяет вам ознакомиться с преобразование компьютерных систем Intel® Clear Neural™ на основе результатов исследований и разработок SYSTRAN.

Перевод конечно неудовлетворителен у обоих, но у OpenNMT он звучит аккуратней да и вообще передаёт смысл.

Ответить | Правка | Наверх | Cообщить модератору

9. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Аноним (-), 14-Янв-17, 22:23 
А откуда там во втором переводе взялся Intel? Это же полная отсебятина, не?
Ответить | Правка | Наверх | Cообщить модератору

14. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от A.Stahl (ok), 14-Янв-17, 22:49 
Нейронные сети не понимают что делают, а просто лепят на кучу куски в той же последовательности, как и чаще всего встречалось в обучающих материалах. Видимо у Интела есть какое-то Neural™ и сеть много прочитала рекламного шлака про эту хрень.
Кстати очень хороший наглядный пример для тех ребят, которые искренне верят в ИИ на нейронных сетях.
Ответить | Правка | Наверх | Cообщить модератору

17. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от GoogLeNet (?), 14-Янв-17, 22:55 
Define "понимать"
Ответить | Правка | Наверх | Cообщить модератору

19. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от A.Stahl (ok), 14-Янв-17, 23:06 
Понимать -- уметь классифицировать по какому-то значимому признаку, а не единственно по факту нахождения слов рядом.
Ответить | Правка | Наверх | Cообщить модератору

22. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Лейкопластырь СлияниеУникум (?), 14-Янв-17, 23:17 
Нейросети так и делают.
Ответить | Правка | Наверх | Cообщить модератору

24. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от A.Stahl (ok), 14-Янв-17, 23:28 
Несомненно.
Ответить | Правка | Наверх | Cообщить модератору

32. "Проект OpenNMT развивает систему машинного перевода на основ..."  –3 +/
Сообщение от Аноним (-), 15-Янв-17, 03:11 
Нет никаких нейро-фигейросетей. Есть копроэкономический маркетинг.


Ответить | Правка | Наверх | Cообщить модератору

34. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 15-Янв-17, 06:03 
> Нет никаких нейро-фигейросетей. Есть копроэкономический маркетинг.

Ога, и компьютеры - фикция.

Ответить | Правка | Наверх | Cообщить модератору

76. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от c0unt0_krsk (?), 23-Янв-17, 10:18 
*квантовые, в ближайшем будущем.
Ответить | Правка | Наверх | Cообщить модератору

36. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Orduemail (ok), 15-Янв-17, 07:22 
Чтобы получить человеческий интеллект, надо 86 млрд нейронов в череп поместить. Сколько же там связей между нейронами, я даже предположить боюсь -- на два-три порядка больше? У человека, между прочим, пока ещё кишка тонка создавать системы такой сложности. Сколько нейронов использует этот переводчик? 10k? То есть где-то размером с нервную систему очень умного насекомого -- пчелы. Говорят, пчёлы даже могут распознавать лица людей. Может брешут, впрочем.

ИИ на нейросетках возможен, вопрос лишь в том, сколько этажей здания придётся забивать видеокартами, для моделирования необходимого количества нейронов. Ну а на этот вопрос невозможно ответить, не определившись с тем, что такое ИИ: в задачи ИИ пихают очень много чего, в частности и машинный перевод, который к _интеллекту_ как к таковому имеет мало отношения. Но если речь о создании некоего general intelligence, то, видимо, надо будет подождать ещё лет дцать, когда закон Мура, или что там ему на смену пришло, повысит мощность железа на порядок на два. Или больше -- кто ж его знает.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

37. "Проект OpenNMT развивает систему машинного перевода на основ..."  –2 +/
Сообщение от A.Stahl (ok), 15-Янв-17, 10:06 
Интеллект и миллиарды "попендикулярны". Проблема не в количестве. И уж тем более не в мощности.
Ответить | Правка | Наверх | Cообщить модератору

43. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Аноним (-), 15-Янв-17, 19:45 
> Интеллект и миллиарды "попендикулярны". Проблема не в количестве. И уж тем более
> не в мощности.

Мде? Попробуй из 10 нейронов выжать интеллект нет, не человека, хотя-бы кошки, для начала. Извини но для сравнимого уровня интеллекта потребуется сравнимое число нейронов. А то что некоторые умудряются с своими миллиардами нейронов быть глупее кошки - так это их баг просто. Кто ж виноват что они полимеры про...ли.

Ответить | Правка | Наверх | Cообщить модератору

45. "Проект OpenNMT развивает систему машинного перевода на основ..."  +2 +/
Сообщение от Orduemail (ok), 15-Янв-17, 21:28 
Тебе только кажется, что мощности не нужны, потому что интеллект ты наблюдаешь исключительно со стороны, как чёрный ящик. Даже свой собственный. Но там внутри чёрного ящика происходит очень много разнообразных процессов обработки информации, ты оттуда получаешь либо уже готовый результат, либо почти готовый, потому что под непосредственным твоим сознательным контролем (или под видимостью этого контроля -- тут реально неясно) только чрезвычайно медленная последовательная обработка информации. А там, под капотом где-то, запрятана массированная параллельность. Скажем, обработка зрительной информации -- я боюсь наврать, читал один раз и не очень помню, -- но там на каждый "пиксель" с сетчатки три слоя нейронов в самой сетчатке, и нейрон в таламусе, и ещё несколько слоёв в первичной зрительной коре. И это всё _первичная_ зрительная обработка, которая выделяет объекты, вопросы "что это", и "где это" (в смысле локализации в пространстве) решаются уже ассоциативными областями коры, которые _существенно_ больше. И в этих ассоциативных корах, идёт синтез информации с разных органов чувств и из памяти, чтобы ты мог иметь потом законченный образ предмета. Это всё вопросы восприятия информации, но для того, чтобы создаваемый интеллект мог бы оперировать понятиями где-то плюс-минус на нашем уровне, придётся создать аналог. И я не думаю, что этот аналог будет потреблять меньше вычислительной мощности, нежели то, что в голове у человека.

Задачи ИИ всегда упирались в то, что никакой вычислительной мощности на них не хватает. Да, были и алгоритмические затыки: скажем обучать через голый back-propagation большую нейронную сеть очень утомительно, пришлось придумать deep-learning, чтобы продолжать наращивать количество слоёв. Но я всё же считаю, что ограничителем всегда была мощность: когда железо позволило моделировать десятки тысяч нейронов любому интересующемуся школию, когда широко встала необходимость придумать deep-learning, тогда его и придумали. И на данный момент, опять и снова возможности существующих алгоритмов ограничены мощностью железа.

Проблема не только в количестве -- это да, несомненно. Если бы было нужно только количество, то интеллект на Земле появился бы на несколько сот миллионов лет раньше -- тогда уже были все молекулярные механизмы, которые лежат в основе работы нейронов человека. Собрать из этих нейронов интеллект оказалось сложнее, чем просто отрастить нужное количество нейронов. Мало того, человеку, получившему в своё распоряжение мозг, способный к интеллектуальной деятельности, потребовались многие десятки тысяч лет, чтобы научиться этот мозг обучать так, чтобы он систематически начал бы демонстрировать интеллект, а не от случая к случаю. И даже сегодня большинство человеческих мозгов не удаётся этому научить.

Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

46. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от СуперКлоун (?), 15-Янв-17, 21:56 
клоун: ИИ упиралась в алгоритмы. Напр в 60-е не хватало места чтобы хранить корпору. А сейчас её можно скачать бесплатно и без регистрации. И? Мы продвинулись куда-то?
Ежегодно в Лос-Анжелесе происхлдит выставка робототехники и ИИ.  И посмотри что компании туда везут. МС стала обучать бота на форумах, широко распиарив его фейки. Пермские клоуны отпустили робота (дважды) и распиарили. В США робот охранник (а-ля мусорный бак) переехал ногу ребёнка - распиарили. Китайцы натянули realdoll на inmoov. Вот он ИИ наших дней.
Ответить | Правка | Наверх | Cообщить модератору

48. "Проект OpenNMT развивает систему машинного перевода на основ..."  +2 +/
Сообщение от Orduemail (ok), 16-Янв-17, 05:47 
Да-да. Продолжай хвастаться тем, что абсолютно не в теме. Разработки ИИ с тех пор продвинулись очень далеко. Задачи компьютерного зрения не то, что совсем и окончательно решены, но любой современный видео кодек уже легко оперирует такими понятиями как объекты и пытается предсказать их возможные движения. По сути, кодек "видит" в кадре почти то же самое, что и человек. Только что сложные социальные ситуации он ещё не ухватывает, и не пытается и эту информацию тоже использовать для того, чтобы повысить точность своей модели.
И h265 был невозможен 20 лет назад, и не только потому, что для того, чтобы им закодировать фильм, потребовалось бы платить сотни нефти за аренду крутанского кластера, проблема была ещё и в том, что для того, чтобы такой кодек разработать, пришлось бы платить на несколько порядков больше за аренду таких кластеров, или даже более крутых, чтобы разработчики алгоритмов могли бы проверить свои идеи практикой и затюнить их.
То есть да, ИИ упирается в новые алгоритмы. Но разработка новых алгоритмов упирается в стоимость выполнения FP операции.

Хомячки типа тебя, всегда воспринимают мир вокруг себя как данность, как точку отсчёта, как x_0. И они не воспринимают ни гугломобиль, ни тесламобиль за признак прогресса, потому что все эти новшества, когда они появляются, оказываются в их голове не приращением \delta x, а негласно добавляются к x_0, посредством неявного выполнения операции инкремента. Поэтому в ваших головах \delta x всегда равна нулю. А между прочим в США сейчас идут очень интересные дискуссии о том, как гугломобиль и тесламобиль могут изменить характер дорожного движения, катастрофически нарастить пропускную способность дорог, и особенно перекрёстков, и не следует ли для ещё большего повышения эффективности в перспективе вообще запретить появляться в окрестностях дорог автомобилям управляемым вручную, пешеходам и прочим эволюционным дэбилам, которые вообще не могут принимать эффективные решения за миллисекунды. Но это может быть дело будущего, но вопросы легализации такого рода автомобилей решаются уже сейчас. Сказка стала былью? Нет, конечно же, гугломобиль -- это ведь не ИИ не разу. Это не сказка, это быль. \delta x == 0.

Ответить | Правка | Наверх | Cообщить модератору

54. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 11:55 
клоун: в начале 60-х СССР представил программу англо-русского перевода и она получила хорошие отзывы за перевод текста на заранее известную тему. Я читал те доклады и видел результаты. Рекомендую и тебе ознакомиться. Считалось, что из-за недостатка памяти и места на диске, нет возможности сохранить полные словари и всю корпору, поэтому перевод на произвольную тему невозможен из-за технических ограничений. С тех пор появилось что-то кардинально лучшее? Компьютерный перевод до сих пор топчется на том же месте.

Речь про компьютерный перевод, давай не уходить в дебри ИИ.

Ответить | Правка | Наверх | Cообщить модератору

58. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 14:08 
клоун: и ты в одну кучу мешаешь задачи неблизкого будущего (футурологов) и проблемы настоящего. Автомобили с автопилотом не могут перемещаться по дорогам общего пользования из-за нерешённой проблемы ответственности.

Предположим, по вине автопилота произошла авария и погибли люди. Кто ответит за это? Если бы за рулём сидел человек, он бы получил 3 года тюрьмы (условно), кого посадим если ошибся автопилот? Владелец машины не виноват. В компании разработчике ПО работают тысячи и установить персональную ответственность нереально. Обязать компанию разработчика автопилота назначить "козла отпущения", известного ещё до начала эксплуатации автопилота - это наказание невиновного. Отменить наказание за нарушение правил ПДД для автопилотов - программы не настолько совершенны и непонятно почему мы тогда не отменяем его и для водителей-людей.

Рядом стоит проблема СПО. Предположим, водитель перепрошил автопилот. Кто теперь становится виновным в аварии? Означает ли это, что перепрошивка устройства становится незаконной и нужно ли её приравнивать к покушению на совершение преступления? Если да, значит свободная разработка автопилота может рассматриваться как создание орудия преступления и соучастие.

Всё идёт именно к этому, хотят этого некоторые или нет. Ты точно хочешь именно в эту "сказку"?

Или, как и многие, ты посчитаешь что скорость и масштаб изменений слишком велики и нужно взять "музыкальную паузу".

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

60. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Orduemail (ok), 16-Янв-17, 17:21 
> Автомобили с автопилотом не могут перемещаться по дорогам общего пользования из-за нерешённой проблемы ответственности.

Я ещё раз повторяю для глухих: сейчас гугель решает вопросы легализации гугломобилей в США. В некоторых штатах они уже легализованы. Tesla уже имеет опыт разгребания ответственности за ДТП с участием... в смысле _без_участия_ водителя. Ты уши чистишь, хоть иногда?

Да ладно уши, ты вообще помнишь, что мы живём в XXI веке, а не в XIX? За новостями следишь, или только в зомбоящик втыкаешь?

Ответить | Правка | Наверх | Cообщить модератору

61. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 17:40 
клоун: Они нигде не легализованы по вышеуказанным причинам. Именно поэтому в каждой тестовой машине у них ездит человек, который формально считается водителем.

Им "разрешили" ездить на машинах с автопилотом по испытательному полигону на который ни у кого нет доступа. По факту это просто PR акция, т.к. получать разрешение на это ни от кого не требуется.

В связи с этим, после ДТП со смертельным исходом, возник вопрос насколько в ней виноват водитель, который автомобилем фактически не управлял. Поставленный в ситуацию конфликта интересов (он отвечает за безопасность, но его з/п зависит от времени в течении которого он не управляет автомобилем) компания намеренно подстрекала водителя к нарушению техники безопасности, что, по мнению родственников погибшего, сыграло ключевую роль в его гибели. Это ещё одна проблема, но она касается только периода тестирования, поэтому я не упомянул её ранее.

Ответить | Правка | Наверх | Cообщить модератору

70. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Orduemail (ok), 16-Янв-17, 22:34 
Сходи и почитай википедию. И по поводу public roads и по поводу всего остального. https://en.wikipedia.org/wiki/Autonomous_car#Legislation
Ответить | Правка | Наверх | Cообщить модератору

71. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Аноним (-), 16-Янв-17, 23:55 
клоун: Глубокий источник данных. Дальше можешь не продолжать.

Хочешь, я исправлю эту статью специально для тебя, написав там, что Новый Уренгой - мировой лидер беспилотных автомобилей?

Ответить | Правка | Наверх | Cообщить модератору

62. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 17:44 
клоун: Единственный разрешённый вариант - автоколонны. Их разрешили ещё чёрти когда, так беспилотные автобусы в составе автоколонны использовали во время Олимпиады в Токио в 1964 г.

Три и более автомобилей двигаются неразрывной колонной, причём в первой и последней машине обязан сидеть водитель.

Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

63. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 17:51 
клоун: 22 декабря губернатор штата Мичиган подписал указ, разрешающий эксплуатацию сертифицированных (!)серийных беспилотных автомобилей, если это не нарушает правил ПДД (!). Выделил пункты из-за которых сегодня весь сыр-бор. Фактически, это было популистское решение чтобы числиться "самым первым" в учебниках истории.
Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

69. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 19:10 
клоун: ах да, забыл про "беспилотные" автобусы. Этим тоже 100 лет в обед. Их таки пустили на дороги общего пользования, но и сам автобус и все дороги утыкали камерами и датчиками, и за каждым автобусом закреплён водитель, сидящий в управляющем центре. Плюс автобусам сильно ограничили скорость, т.о. сделав из них аттракцион в историческом (туристическом) центре города. В большинстве случаев речь идёт об автопилоте, а об удалённом управлении.
Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

49. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от hoopoeemail (ok), 16-Янв-17, 09:04 
ИИ наших дней по сравнению с ИИ 20-ти лет назад - это неплохой шаг вперёд. по-настоящему эта наука только начинает развиваться, многое, что было раньше, это просто попытки понять как и куда развивать ИИ. сейчас народ начал получать хорошие вычислительные мощности для моделирования всяких моделей (эдакое масло масленое :) ) и алгоритмов, способных выполнять достаточно сложные задачи.

не всё сразу, нерезиновая тоже не сразу стала нерезиновой, быть может еще при нас компы будут рулить авто и делать домашку по ангельскому :)

Ответить | Правка | К родителю #46 | Наверх | Cообщить модератору

55. "Проект OpenNMT развивает систему машинного перевода на основ..."  –1 +/
Сообщение от Аноним (-), 16-Янв-17, 12:03 
клоун: я бы не сказал что это прогресс. Скорее, все тропинки, по которым как считалось можно прийти к решению проблемы, пройдены, и люди узнали что к решению они не ведут или позволяют достичь только локальных оптимумов.

Именно поэтому сейчас открыты все наработки, а крупные компании с радостью открывают все тестовые материалы. 20 Тб архив тестовых примеров Гугла в свободном скачивании. Разве 20 лет назад такое казалось возможным? Да это была тайна из тайн.

Сейчас (уже лет 5-10) все замерли и ждут новых идей. Есть деньги, есть вычислительные мощности, есть прекрасные команды математиков, аналитиков и программистов, но нет той самой единственной тропки на которой нужно сосредоточить усилия.

Поэтому обращаются к темам, которые прежде вообще не трогали - нейроморфные вычисления. Если не можешь сделать сам - скопируй чужое. Но там пока тоже всё грустно. Мы словно Джорданно Бруно, разбирающий Intel Pentium.

Ответить | Правка | Наверх | Cообщить модератору

57. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от hoopoeemail (ok), 16-Янв-17, 13:56 
целиком согласен. но отбрасывание заведомо тупиковых ходов - это уже прогресс, анализируя их можно понять почему именно конкретное направление не может быть использовано.

сейчас IT вышло на уровень, когда вычислительные мощности позволяют оперировать не только словарём, но и всякими идиоматическими оборотами и прочей языковой требухой, причём делать это очень быстро, что сильно развязывает руки математикам, лингвистам и программерам. это для сравнения с ситуацией 60-ти лет назад, когда комп не мог удержать в памяти даже примитивного словаря.

я к тому, что мы сейчас реально только в начале пути, и эта наука только набирает обороты.

Ответить | Правка | Наверх | Cообщить модератору

75. "Проект OpenNMT развивает систему машинного перевода на основ..."  –1 +/
Сообщение от Michael Shigorinemail (ok), 19-Янв-17, 17:55 
> Мы словно Джорданно Бруно, разбирающий Intel Pentium.

В смысле такие же профнепригодные (см. мнение Галилео насчёт Джордано) "политактивисты"?

Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

64. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 17:52 
Странно, что этот интеллект (лучший из них) не может обыграть в шахматы мой телефон. Для решения конкретной задачи нужно гораздо меньше выч возможностей, и прогресс бы должен идти в сторону их уменьшения, но т к у нас ресурсов слишком много, то мы пытаемся строить неоптимизированные мозгоподобые системы, которые что-то там решают почти как люди.
Да и наличие всех нейронов еще не гарантирует наличие интеллекта вообще и развитого тем более.
Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

68. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 18:12 
клоун: алгоритм игры в шахматы прост как 5 копеек. У каждой фигуры есть вес (их изучают на курсах шахмат), программа на каждом шаге смотрит вглубь, пересчитывая все возможные варианты ходов и рассчитывая общий вес на каждом шаге. Для "разумности" добавляют базу данных ходов и комбинаций гроссмейстеров и программа может применять их и обнаруживать их применение соперником.

Интеллекта в этом нет. Просто до определённого момента либо не хватало мощности чтобы пересчитать всю партию, либо не было данных о реальных ходах и комбинациях. Как только их объединили и подобрали правильные коэффициенты когда что применять, человек стал продувать партию за партией.

Сейчас аналогичные методы применяют и к другим играм: шашки, сёги, го, покер и пр.

Ещё проще алгоритмы игры в карточные игры. Их уже лет 150 применяют в казино и они доказали свою успешность. Так в очко (она же блэкджэк, она же 21) крупье будет брать карты пока не достигнет 16. Статистически он будет выигрывать у тех, кто берёт карты случайным образом.

"Интеллектуальные" игры? Хех. Сейчас их предпочитают называть "настольные" или "казуальные".

Ответить | Правка | Наверх | Cообщить модератору

73. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от hoopoeemail (ok), 17-Янв-17, 08:53 
> клоун: алгоритм игры в шахматы прост как 5 копеек. У каждой фигуры есть вес (их изучают на курсах шахмат)

я не знаю в какой параллельной реальности вы проходили такие курсы, но в привычном для остальных мире шахматы являются позиционной игрой, и важность каждой фигуры определяется её положением на доске и относительно остальных фигур. история шахмат знает немало знаменитых партий, где гроссмейстер сдавал тяжёлые фигуры и при этом выигрывал партию.

для того, чтобы просчитать все партии в шахматы не хватит атомов видимой части вселенной (гуглить в сторону Числа Шеннона), чтобы минимизировать вычислительную часть в компы закладывают уже известные стратегии (классические защиты, нападения) для того, чтобы сузить сектор поиска возможных ходов противника и выстроить игру компа.

компы типа Deep Blue для игры с гроссмейстерами очень долго затачивают под конкретного человека, причём практически всегда алгоритмика компа подстраивается под противника программерами/математиками прямо в процессе турнира (по правилам нельзя менять программу во время партии, если ничего не поменялось с тех пор)

Ответить | Правка | Наверх | Cообщить модератору

74. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 17-Янв-17, 11:41 
клоун: шахматы являются позиционной игрой, и поэтому их вес зависит в т.ч. от их положения, но его тоже можно посчитать.

http://chessdeti.ru/articles/obuchenie-shahmatam/urok-14-cen...

Это основы, чувак. Шахматы, как и покер, уже давно стали математическими играми. Выигрывают те, кто быстрее считают веса на шахматной доске, "силу руки" в картах и вероятности в покере.

Пересчитать шахматную партию на 50 шагов вперёд, отсекая заведомо глупые, ведущие к серьёзному уменьшению веса одного из противников, можно даже на настольном ПК. Число Шеннона о другом. Оно о полном переборе, а мы будем осуществлять поиск оптимума и максимизацию веса. Мы можем рассчитать вес каждого положения фигур, примем что для следующего хода он должен быть равен 1, для последующего 0.7, для последующего 0.5 и т.д., а затем максимизируем функцию. Пересчёт на 50 шагов вперёд обычно не требуется, уже на 10 шаге коэффициент станет слишком низким, чтобы влиять на итоговый результат.

Deep Blue - это уже прошлый век. Посмотри как обыгрывали чемпиона по Го в этом году. Никаких суперкомпьютеров, хотя вариантов в Го ЗНАЧИТЕЛЬНО больше, чем в шахматах.

Ответить | Правка | Наверх | Cообщить модератору

3. "Проект OpenNMT развивает систему машинного перевода на основ..."  –1 +/
Сообщение от Шарп (ok), 14-Янв-17, 21:24 
> написан на языке Lua

Какие преимущества даёт этот язык относительно мейнстримных питонов? Или чтоб не как у всех. Тогда это хипстерская поделка, которая будет вскоре заброшена.

Ответить | Правка | Наверх | Cообщить модератору

10. "Проект OpenNMT развивает систему машинного перевода на основ..."  +5 +/
Сообщение от Умная Маша (?), 14-Янв-17, 22:29 
Torch - очень известный и зрелый фреймворк для нейросетей, до появления TensorFlow был самым мейнстримом. Стоит за ним в основном фейсбук, где сейчас работает Ян Лекун, живой классик свёрточных сетей. У торча архитектура простая, как топор, и при этом он работает АДОВО БЫСТРО, несмотря на Lua-прослойку (LuaJIT же). Быстрее, чем Caffe, написанное на чистых плюсах, например. Алсо быстрее TensorFlow. Гугл-овцы в каждом релизе обещают всех перегнать, но что-то нипалучается.

https://github.com/soumith/convnet-benchmarks

В общем, круто, что есть разные фреймворки, да ещё и свободные. Конкуренция - залог здоровья.

Ответить | Правка | Наверх | Cообщить модератору

42. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от PSVemail (?), 15-Янв-17, 18:58 
mxnet быстрее
Ответить | Правка | Наверх | Cообщить модератору

11. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 14-Янв-17, 22:33 
> относительно мейнстримных питонов

LuaJit / JIT

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

12. "Проект OpenNMT развивает систему машинного перевода на основ..."  +4 +/
Сообщение от barmaglotemail (??), 14-Янв-17, 22:33 
Для тех кто не в курсе: lua как самостоятельный язык нигде не используется. Это скриптовый язык, который очень легко встраивается в любое приложение, легковесен, прост и достаточно гибок.  Довольно массовый кстати, из примеров: игры, nginx, torch.
Имеется реализация с JIT.
От не хипстерского питона, отличается скоростью близкой к C, размером встраивоемой либы в 600КБ, контекстно свободной грамматикой. Люди которые создавали lua, в отличии от Гвидо знали, что такое "формальные грамматики", или как минимум в своё время прочитали: "Теория синтаксического анализа" Ахо и Ульмана;  "Конструирование компиляторов" Гриса.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

18. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Аноним (-), 14-Янв-17, 23:03 
> От не хипстерского питона, отличается скоростью близкой к C,

Влажные мечты неосиляторов сишки, даже в микробенчах.
https://eklausmeier.wordpress.com/2016/04/05/performance-com.../
> The result is pretty much as expected: The C program runs three times faster than the LuaJIT program.

https://lonewolfer.wordpress.com/2014/03/13/benchmarking-has.../

Ответить | Правка | Наверх | Cообщить модератору

44. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 15-Янв-17, 19:46 
> Какие преимущества даёт этот язык относительно мейнстримных питонов?

Не тормозит. Да и синтаксис там все-таки не подразумевает что програмер - всенепременно даун, настолько проносящий ложку мимо рта что его надо заставлять прогу форматировать здюлями в стойло.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

4. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от жабабыдлокодер (ok), 14-Янв-17, 21:33 
Я закинул первый абзац "Ветер в ивах" в гугл, яндекс и опенНМТ. Текст, на самом деле, очень тяжел для машинного перевода, хотя для прочтения не нужно очень хорошо знать язык. В гугле и яндексе ломаным языком, в принципе, более-менее понятно. ОпенНМТ выдал полную белиберду, полную: "Something up above was calling him imperiously, and he made for the steep little tunnel which answered in his case to the gravelled carriage-drive owned by animals whose residences are nearer to the sun and air." - "Что-то выше называлось его имперированным, и он сделал для крутого тоннеля, который ответил в его случае на шлюпанный грузовик, принадлежащий животным, чьи дома ближе к солнцу и воздуху." Шлюпанный!!!
Ответить | Правка | Наверх | Cообщить модератору

6. "Проект OpenNMT развивает систему машинного перевода на основ..."  –3 +/
Сообщение от другой Аноним (?), 14-Янв-17, 21:58 
>  ОпенНМТ выдал полную белиберду, полную

Что же вы так жестоко обламываете мечту школотов - найти тот самый, тайный переводчик, запустить и больше не парится с английским и прочими недоязыками!


Ответить | Правка | Наверх | Cообщить модератору

15. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от жабабыдлокодер (ok), 14-Янв-17, 22:50 
Почитайте фантастику - там таких переводчиков навалом, хоть с марсианского, хоть с тау-китянского... Некоторым с помощью переводчиков удавалось даже в любви инопланетянкам объясняться.
Ответить | Правка | Наверх | Cообщить модератору

66. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 17:59 
>>  ОпенНМТ выдал полную белиберду, полную
> Что же вы так жестоко обламываете мечту школотов - найти тот самый,
> тайный переводчик, запустить и больше не парится с английским и прочими
> недоязыками!

Дык вроде найден уже и даже девайсы есть переводящие голос, не говоря про ютыбы всякие.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

67. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 18:01 
Я не понял, его кто-то обучал русскому? Какие претензии?

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

5. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Аноним (-), 14-Янв-17, 21:54 
Прикольно.

На фразе "У вас баг в переводчик" сайт выдаёт:

Error! Route not found for service: accountId: 0, service: Translate_uk_en, selectors: {owner: Systran, domain: Generic, size: M}

В правильном склонении "переводчике" оставляет без перевода.

Если поробовать перевести просто слово переводчик, то выдаёт здоровую портянку, повторяя interpreter и translator. А в конце добавляет was.

Судя по всему, нейросеть осознаёт, что она всего-лишь переводчик, причём не очень хороший, и убивает себя.

Ответить | Правка | Наверх | Cообщить модератору

7. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от pavard (??), 14-Янв-17, 22:05 
тысяча чертей - переводит лучше чем гугл и яндекс.
Ответить | Правка | Наверх | Cообщить модератору

8. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Square1 (?), 14-Янв-17, 22:15 
Яндекс перевел как
bloody hell

А гугл как
thousand devils

А они как перевели?

Правильный перевод между тем - fucking ass :)

Ответить | Правка | Наверх | Cообщить модератору

16. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от жабабыдлокодер (ok), 14-Янв-17, 22:54 
А Вы попробуйте всеми тремя переводчиками перевести "holy ficking shit"...
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

31. "Проект OpenNMT развивает систему машинного перевода на основ..."  –1 +/
Сообщение от Аноним (-), 15-Янв-17, 03:09 
> А Вы попробуйте всеми тремя переводчиками перевести "holy ficking shit"...

А кроме как ругательства ничего-никак? Ага, вы же рунет.


Ответить | Правка | Наверх | Cообщить модератору

33. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Дегенератор (?), 15-Янв-17, 04:46 
Мне онлайн перевел русское слово "Жополиз" на английский как "Присяжные". Я не знал, что в английском есть кириллические символы + убил смысл перевода. Повторно переводить теперь отказывается, может сломался как мс-совский чат бот, который за 2 недели возненавидел человечество и стал славить гитлера?.
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

39. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Мадара (ok), 15-Янв-17, 12:52 
да не, systran похлеще будет Гитлера, он его считает мягкотелой домохозяйкой:
(en -> ru)
Гитлер -> Домохозяйка
Ответить | Правка | Наверх | Cообщить модератору

20. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 14-Янв-17, 23:08 
> Разработчики OpenNMT пытаются создать продукт

Это не конечный продукт, это как и в 99% случаев - экспериментальная разработка для пробы новых алгоритмов и без четких планов применения. Из-за такого позиционирования в новостях, как правило, и возникает бугурт на тему зачем нам виртуальная машина на JavaScript.

Ответить | Правка | Наверх | Cообщить модератору

21. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Demo (??), 14-Янв-17, 23:10 
> OpenNMT

Тьфу ты, блин. А я, было, подумал, что это Nordic Mobile Telephony.

Ответить | Правка | Наверх | Cообщить модератору

23. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Мадара (ok), 14-Янв-17, 23:21 
самая жесть когда переводишь с английского на русский, вставляя русский текст, например:
"Я хреновый переводчик." -> Э-ха.
или еще:
"вна Украине" -> Вранье

ппц, там такие перлы вылетают :)

Ответить | Правка | Наверх | Cообщить модератору

28. "Проект OpenNMT развивает систему машинного перевода на основ..."  +1 +/
Сообщение от Вареник (?), 15-Янв-17, 02:15 
Иногда нейросеть выдирает скрытый смысл :)
Ответить | Правка | Наверх | Cообщить модератору

25. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от paulus (ok), 15-Янв-17, 00:20 
Эта "новость" была как минимум 21 дек. 2016 :)
Проект открытый, плюс альтарнатива гуглям/яндекскам.., так что новость позитивная хоть "двигло" пока и слабое. Гугля до сих пор переводит не ахти, так что дайте скачуху начинаниям :)
Ответить | Правка | Наверх | Cообщить модератору

35. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от ОдинИз3кЮристовСбера (?), 15-Янв-17, 06:21 
Неплохо, на фоне гугла даже хорошо.

Оригинал:
This provides a unique identifier for the view, which you can use to reference the object from your app code, such as to read and manipulate the object (you'll see this in the next lesson). The at sign (@) is required when you're referring to any resource object from XML. It is followed by the resource type (id in this case), a slash, then the resource name (edit_message).

OpenNMT:
Это уникальный идентификатор для представления, который можно использовать для ссылки на объект из кода приложения, например для чтения и управления объектом (увидите это в следующем уроке). Знак (@) необходим при ссылке на любой объект ресурсов из XML. Затем следует тип ресурса (id в данном случае), косой черты, а затем имя ресурса (edit_ message).

Google:
Это обеспечивает уникальный идентификатор для вида, который можно использовать для ссылки на объект из кода приложения, например, для чтения и манипулировать объектами (вы увидите это в следующем уроке). Знак (@) требуется, когда вы имеете в виду какой-либо объект ресурса из XML. За ним следует тип ресурса (ID в данном случае), косой черты, то имя ресурса (edit_message).

Ответить | Правка | Наверх | Cообщить модератору

65. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от qqq (??), 16-Янв-17, 17:54 
Просто они сеть обучали на разных базах.
Ответить | Правка | Наверх | Cообщить модератору

40. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 15-Янв-17, 13:55 
Our cat gave birth to three kittens — two whites and one black
Наш кот родил три коттеджа: два белых и один черный
без афроамериканцев - уже хорошо
Ответить | Правка | Наверх | Cообщить модератору

41. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от chinarulezzz (ok), 15-Янв-17, 16:17 
https://transfer.sh/54kXb/15-01-17-15-13-17.png

При вводе Гитлер, выдало стихотворение:

Гитлер гитлер гитлер гитлер,

гитлер гитлер, гитлер гитлер,

гитлер гитлер гитлер гитлер

гитлер гитлер гитлер гитлер

Ответить | Правка | Наверх | Cообщить модератору

50. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от лютый жабист__ (?), 16-Янв-17, 10:37 
Когда переводчик будет переводить "God bless you" как "Будь здоров", тогда и называйте это ИИ, а щас - всем спасибо, все свободны ;)

Вообще, многие текущие попытки гугла и других компашек похожи на проект 20 века по отправке в дальний космос уберракеты на ядерном топливе (забыл название, но очень монструозная штука за "нереально много денег" и с "нереально мало профита".

Ответить | Правка | Наверх | Cообщить модератору

51. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от hoopoeemail (ok), 16-Янв-17, 11:01 
немного лет назад эти переводчики переводили
how do you do?
на русский как
как делаешь ты делаешь
:)

так что скайнет близок :)

Ответить | Правка | Наверх | Cообщить модератору

52. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 11:46 
https://translate.google.ru/?hl=ru&tab=wT#en/ru/god%20b...

god bless you -> Будьте здоровы

Уже можно называть это ИИ?

Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

72. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от лютый жабист__ (?), 17-Янв-17, 04:53 
>god bless you -> Будьте здоровы
>Уже можно называть это ИИ?

Сорри, поправка - "... для всех языков".
Делаем в обратную сторону и получаем тыкву... "Будь здоров" - "Be healthy"

Ответить | Правка | Наверх | Cообщить модератору

53. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 11:54 
Посоветуйте более менее хороший переводчик в английского на английский или с русского на русский.

Так чтобы сложные предложения переводил в набор простых дубовых односложных предложений, больше похожих на инструкции и команды. И обратно, чтобы из набора дубовых односложных предложений генерил более менее красивые и сложносоставные предложения.

Ответить | Правка | Наверх | Cообщить модератору

56. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 13:39 
Лучший из всего чем приходилось пользоваться, вот пример перевода с англицкого:
Звонок от нескольких маленьких детей, играющих на телефоне. Отец спал, и они пытались разбудить его, когда оператор 911 года попросил поговорить с взрослым. Он продолжал кричать "Нет! Оставь меня в покое! Теперь мы должны отправить кого-то, поскольку мы не можем убедиться, что нет чрезвычайного положения.
По прибытии офицеры запрашивают удостоверение личности, а у матери есть ордер.
Ответить | Правка | Наверх | Cообщить модератору

59. "Проект OpenNMT развивает систему машинного перевода на основ..."  +/
Сообщение от Аноним (-), 16-Янв-17, 15:01 
Кусочек новости на русском:

Доступны первые выпуски OpenNMT (Open Neural Machine Translation), открытой системы машинного перевода, использующей методы машинного обучения. Для построения нейронной сети проект использует возможности библиотеки глубинного машинного обучения Torch. Код развиваемых проектом OpenNMT модулей для Torch написан на языке Lua и распространяется под лицензией MIT. Для упрощения распространения продукта проектом также развивается самодостаточный вариант транслятора на языке C++, который использует предварительно натренированные модели без привязки зависимостями к Torch и Lua.

Перевел не плохо:

The first features of the OpenNMT (Open Neural Machine Translation), an open machine translation system using machine learning methods are available. For the neural network, the project uses the capabilities of the Глубинного Advanced machine training library. The code developed by the OpenNMT modules project for Torch is written in Lua language and distributed under a license by MIT. To facilitate product distribution, the project is also developing a stand-alone translator in the C + + language, which uses a pre-натренированные model without linking dependencies to Torch and Lua.

А Google translate это сделал так:

Available first editions OpenNMT (Open Neural Machine Translation), open the machine translation system using machine learning techniques. To construct a neural network design leverages deep machine learning library Torch. Code developed by the project OpenNMT Torch modules written in Lua language and is distributed under the MIT license. To simplify product dissemination project also developed a self-contained version of the translator in the language C ++, which uses pre-trained model without reference to the Torch dependencies and Lua.

Кажется у Google Translate получилось хуже.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Ideco
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру