НЕОЖИДАННЫЕ РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ РОБОТА-КОНСЬЕРЖА.
Год назад, в мае 2018 г. на конференции разработчиков I/O 2018, Google представила Duplex — голосового робота, выполняющего функции консьержа. Он является голосовой сущностью Google Assistant и предназначен для общения с внешним миром: договориться о встрече, оформить бронирование или сделать заказ в ресторане. Самостоятельно, без участия человека. Примеры работы помощника, показанные на конференции, можно посмотреть в этом видео.
Работа Duplex произвела большое впечатление на аудиторию. Он успешно справился с несложными задачами и многие посчитали, что технология готова к использованию. Однако, многие месяцы о Duplex не было слышно.
Прошел год и о помощнике снова написали. Да не где-нибудь, а в самой New York Times! Газета провела тестирование Duplex. Вот что из этого получилось.
Журналисты сделали больше 10 звонков в различные рестораны. При этом, предварительно уведомив о том, что будут звонки от робота.
Попросить помощника сделать заказ оказалось очень просто: штатно вызвать Google Assistant и попросить заказать столик в ресторане. Помощник выводит список ближайших ресторанов и предлагает сделать заказ (там, где принимают заказы только по телефону). И все — дальше начинает действовать Duplex.
Часть ресторанов отсеялись, т.к. не принимали заказ на небольшое количество гостей. Из оставшихся было 4 успешных бронирования. По мнению журналистов, в целом помощник показал неплохие результаты: все участники тестов утверждали, что помощника нельзя было отличить от реального человека. Он имитировал не только акцент, но и высказывал эмоции, типа «эээ», «хмм» и т.п. Послушайте запись одного из разговоров. Действительно, звучит как реальный человек !
Как человек… Но именно это было самым неожиданным результатом тестирования. Дело в том, что, как выяснилось, в тестировании от имени Duplex выступают реальные люди — сотрудники колл центра !
Из четырех успешных бронирований, заказанных журналистами, 3 были сделаны людьми, а не роботом.
Google не делает из этого тайны. По его оценке, 25% заявок, обработанных Duplex, в реальности выполняются людьми, а в 15% вызовов, инициированных роботом, человек подключается уже в процессе разговора.
Участие человека, утверждают в Google, помогает набрать необходимую статистическую базу. Кроме этого, человек необходим для контроля за вызовами: в случаях, если предполагается, что ресторан не осуществляет резервирование или если есть подозрение, что осуществляются спам звонки.
Представляя в прошлом году Duplex, в Google делали упор на возможности технологий — этот сервис объединяет в себе распознавание речи, понимание смысла сказанного и генерации естественного диалога. В реальности оказалось, что даже для очень узкой задачи (заказ в ресторане) требуется существенное участие человека.
Голосовые помощники сейчас могут помочь в выполнении точно поставленной задачи. Но для их широкого применения требуется лучшее понимание контекста сказанного. И эксперимент New York Times это подтвердил.
