Программисты научили роботов готовить свои любимые блюда

Программисты из Корнелльского университета изобрели новый метод общения с роботами на естественном (человеческом) языке. Теперь машины смогут понимать самые разные формулировки, самостоятельно догадываться о неправильных или пропущенных инструкциях и адаптировать свой план действий к меняющимся обстоятельствам.

Чтобы попросить робота-помощника сварить вам лапшу, сначала нужно научить его это делать — терпеливо дать ему подробные указания, как маленькому ребенку. Вы скажете «налей воды в кастрюлю, поставь ее на плиту, доведи воду до кипения, высыпи туда лапшу», а специальная программа, разработанная Ашутошем Саксеной и его коллегами по Лаборатории робопедагогики, переведет эти слова на язык робота. Даже если вы забыли сказать «включи плиту», робот догадается о пропущенном этапе.

Далее робот Саксены осматривает пространство вокруг себя и находит там знакомые объекты (с помощью специальной программы распознавания). Машину научили ассоциировать различные объекты с их свойствами: например, в кастрюлю можно наливать и выливать воду, на плиту можно класть посуду и нагревать. Таким образом, робот связывает кастрюлю, кран с водой и плиту в один алгоритм. Если сказать ему «нагрей воду», а плиты рядом нет, он воспользуется СВЧ-печью, а если оставить кастрюлю в ванной — он найдет ее и принесет на кухню.

Такая гибкость стала возможной благодаря новой системе машинного обучения. Группа Саксены «скармливает» роботу сотни видеороликов со всевозможными бытовыми действиями, в качестве звукового сопровождения к которым звучат команды на разных голосах. Так робот учится понимать и, главное, рассчитывает вероятность той или иной последовательности действий. Например, если приказать ему включить плиту и налить воду в кастрюлю, скорее всего, дальше надо будет поставить кастрюлю на плиту и бросить что-то в воду.

В экспериментах Саксены робот готовил рамэн (японскую лапшу) и аффогато (десерт из кофе и мороженого) — и в 64 процентах случаев у него все получалось, несмотря на меняющиеся или неполные инструкции. Это в три-четыре раза лучше, чем при использовании других методов обучения. Кроме того, помочь роботу теперь может любой: Саксена создал специальный краудсорсинг-проект Tell me Dave, где каждый имеет право оставить свои кулинарные инструкции.