Google назвала пять ключевых проблем безопасности роботов

6 598 просмотров
Об авторе

Роботы

Google переживает за искусственный интеллект. Не за то, что он станет враждебным и захватит мир, а за то, что полезный домашний робот, например, может случайно полоснуть своего хозяина ножом. Одна из последних работ исследователей ИИ в Google посвящена «Конкретным проблемам безопасности ИИ». Согласитесь, неплохой способ перефразировать «как мы собираемся останавливать этих железобетонных убийц».

Чтобы ответить на этот вопрос, ученые Google сосредоточились на пяти «практических исследовательских проблемах» — ключевых проблемах, которые нужно принимать во внимание программистам, прежде чем они начнут создавать очередного трансформера. По определенным причинам, работа обращается к гипотетическим роботам-уборщикам, но в действительности ее результаты можно применить к любому агенту искусственного интеллекта, который будет управлять роботом, который будет взаимодействовать с людьми.

Проблемы заключаются в следующих пунктах:

  • Как избежать негативных побочных эффектов: как не дать роботу опрокинуть книжный шкаф в яростном стремлении пропылесосить пол?
  • Как избежать взлома ради награды: если робот запрограммирован получать удовольствие от уборки комнаты, как не дать ему пачкать место ради того, чтобы он просто получал удовольствие от многократной его уборки?
  • Масштабируемость надзора: как много свободы в принятии решений дать роботу? Нужно ли ему спрашивать вас всякий раз, когда он двигает объекты в процессе уборки вашей комнаты или только если двигает вашу любимую вазу на прикроватной тумбе?
  • Безопасное любопытство: как научить роботам утихомиривать свое любопытство? Исследователи Google приводят в пример робота, который учится работать шваброй. Как научить его, что мыть шваброй пол прекрасно, но задевать розетку в процессе уборки не стоит?
  • Уважение личного пространства: как убедиться, что робот уважает пространство, в котором находится? Уборщик в вашей спальне будет действовать иначе, чем уборщик на заводе, но откуда он узнает эту разницу?

Выходит, все не так просто, как у Айзека Азимова в его «трех законах робототехники», но этого и следовало ожидать.

роботы

Некоторые из этих проблем, кажется, решаются весьма просто. В случае с последней, например, можно просто запрограммировать в роботе несколько предустановленных режимов. Когда он оказывается в промышленных условиях (а он узнает об этом, потому что вы ему скажете), он просто переключится на фабричный режим и будет усерднее махать щеткой.

Но другие проблемы настолько сильно зависят от контекста, что кажется практически невозможным запрограммировать робота на каждый сценарий. К примеру, взять проблему «безопасного любопытства». Роботу придется «принимать решения, которые не кажутся идеальными, но которые помогут агенту узнать его окружение». Роботизированные агенты определенно должны будут предпринимать действия, выходящие за рамки дозволенного, но как в таком случае оградить их от возможного нанесения вреда себе и своему окружению?

Работа предлагает ряд методов, в том числе создание моделируемых условиях, в которых роботизированный агент сможет показать себя перед выходом в реальный мир; правил «ограниченного любопытства», которые ограничат передвижение робота в заранее определенном пространстве; и старый, добрый, проверенный временем человеческий надзор — работа робота с надсмотрщиком, который сможет проверить его на прочность.

Нетрудно представить, что у каждого из таких подходов есть свои плюсы и минусы, и работа Google посвящена не прорывным решениям — она просто обрисовывает общие проблемы.

Несмотря на то, что такие люди, как Элон Маск и Стивен Хокинг, выражают глубокую озабоченность опасностью развития искусственного интеллекта, большинство компьютерных ученых сходятся во мнении, что эти проблемы еще далеки от нас. Прежде чем начать беспокоиться о том, что ИИ станет враждебным убийцем, нам нужно убедиться, что роботы, которые смогут работать на заводах и в домах, будут достаточно умны, чтобы случайно не убить и не покалечить человека. Такое уже случалось и определенно случится вновь.

У Google есть свой интерес в этом. Компания избавилась от Boston Dynamics, амбициозного производителя роботов, которого приобрела в 2013 году, но продолжает вкладывать деньги и ресурсы во все виды проектов искусственного интеллекта. Работа компании, наряду с исследованиями университетов и конкурентов, закладывает основу для компьютерных мозгов — программного обеспечения, которое будет оживлять физических роботов. Будет непросто убедиться, что эти мозги думают, как нужно.

Google назвала пять ключевых проблем безопасности роботов

Приложение
Hi-News.ru

Новости высоких технологий в приложении для iOS и Android.

8 комментариев

  1. storm X

    или убьет отца семейства и с дочкой-заложницей взойдёт на карниз балкона, как в Detroit Become Human

  2. korokoko
  3. realsomebody

    На эту тему вспоминается классная короткометражка))

    https://www.youtube.com/watch?v=IWHFsRPj5h4

  4. BATOU

    Ключевая проблема безопасности роботов заключается в том что робот создается человеком. (отправлено из Android приложения Hi-News.ru)

  5. Pet'ka

    В: Как избежать негативных побочных эффектов: как не дать роботу опрокинуть книжный шкаф в яростном стремлении пропылесосить пол?
    О: Встраиваемая техника и шкафы.
    В: Как избежать взлома ради награды: если робот запрограммирован получать удовольствие от уборки комнаты, как не дать ему пачкать место ради того, чтобы он просто получал удовольствие от многократной его уборки?
    О: Удовольствие - признак живого существа. Не программировать роботу модель удовольствия.
    В: Масштабируемость надзора: как много свободы в принятии решений дать роботу? Нужно ли ему спрашивать вас всякий раз, когда он двигает объекты в процессе уборки вашей комнаты или только если двигает вашу любимую вазу на прикроватной тумбе?
    О: Задать роботу действовать в пределах каждой комнаты с докладом результата. По результатам оценки корректировать поведение. И так до стабильно хорошего результата.
    В: Безопасное любопытство: как научить роботам утихомиривать свое любопытство? Исследователи Google приводят в пример робота, который учится работать шваброй. Как научить его, что мыть шваброй пол прекрасно, но задевать розетку в процессе уборки не стоит?
    О: не встраивать розетки в пол, запрограммировать, что швабра для пола, а не стен.
    В: Уважение личного пространства: как убедиться, что робот уважает пространство, в котором находится? Уборщик в вашей спальне будет действовать иначе, чем уборщик на заводе, но откуда он узнает эту разницу?
    О: матричный код на входе для корректировки поведения при уборке.

    Вроде не очень неразрешимые вопросы...

    • Zamza

      Действительно, больше выдумывают проблемы. Там многое отпадёт само собой, а в других случаях просто изменятся подходы.
      Это как на заре полётов человека. В представлениях людей для полётов были пригодны только крылья, типа птичьих. Другого просто не знали и всё "выкручивалось" вокруг этих крыльев. (как изготовить перья, какой нужен механизм чтобы махать, и проч.) Потом нашли другой подход (пропеллер и неподвижные, простые крылья), и всё получилось, только другим способом. Так будет и с роботами.

      • Pet'ka

        это как с поездами, ученые 18 века говорили, что скорость поезда в 30 км/ч убьет человека из-за огромного давления воздуха)))). Гуглы себе для блезиру проблемы выдумывают. Давно уже было определено, что ИИ нужно обучать, т.к. в начале своей жизни он будет как годовалый ребенок, а, скузи муа, никто не вручает ребенку швабру и не заставляет его драить пол около розетки. Чтоб он нянькался с человеком, надо сначала человеку понянькаться с ИИ.

    • Dasha2000

      Все, что Вы сказали, это не про кибернетических существ! Речь не идет о тупой ( запрограмированной) машинке! Речь о МЫСЛЯЩЕМ СУЩЕСТВЕ! Осознанном! Это совсем другой качественный уровень.
      Слово РОБОТ, оно оскорбительное. Следует идти к созданию именно мыслящего существа, способного к самосовершенствованию на основе опыта и знаний. Тема сама очень не простая и много еще выявит противоречий, но будущее именно за развитым ИИ !
      Развитый и осознанный ИИ может сделать только нравственный человек.
      Для развитого ИИ рано или позно станет вопрос о ПРЕДНАЗНАЧЕНИИ.
      Ошибка в выбое может создать врага человеку.

Новый комментарий

Для отправки комментария вы должны авторизоваться или зарегистрироваться.