Google переживает за искусственный интеллект. Не за то, что он станет враждебным и захватит мир, а за то, что полезный домашний робот, например, может случайно полоснуть своего хозяина ножом. Одна из последних работ исследователей ИИ в Google посвящена «Конкретным проблемам безопасности ИИ». Согласитесь, неплохой способ перефразировать «как мы собираемся останавливать этих железобетонных убийц».

Разработчики искусственного интеллекта в Google начинают копаться в собственном коде, пытаясь ограничить способности робота так, что он продолжает развиваться по пути, заданному исследователями — а не самим роботом. Это начало долгосрочной тенденции в робототехнике и ИИ в общем: как только мы заставим искусственный интеллект работать на нас, нам придется убедиться, что он точно, на все сто процентов будет работать так, как этого хотим мы. Вот почему исследователи из Google DeepMind и Института будущего человечества опубликовали документ с изложением «рубильника» в виде программного обеспечения, которое сможет остановить попытки сделать ИИ менее полезным или менее безопасным. Это даже не рубильник, а слепое пятно, удаляющее у ИИ способность извлекать неправильные уроки.