Фермер послушал совет ИИ и уничтожил урожай на 10 гектарах

В Китае пожилой фермер обратился за советом к чат-боту и в результате потерял урожай на площади около 100 тысяч квадратных метров. Он послушал ИИ и опрыскал посевы опасным средством, которое их убило. История звучит как анекдот, но за ней стоит вполне серьёзный вопрос: почему нейросети так уверенно советуют вещи, которые могут дорого обойтись, и почему ИИ так редко спорит с человеком.

Фермер спросил совета у ИИ и уничтожил 100 тысяч квадратов урожая: история недели

Как доверие к чат-боту довело до потери 10 гектаров

По данным из материкового Китая, о которых сообщило тайваньское издание CTWant, 67-летний фермер из Чучжоу несколько месяцев полагался на советы ИИ. Мужчина использовал безымянный чат-бот, чтобы планировать работы на поле и подбирать удобрения. Сначала он относился к подсказкам скептически, но со временем стал им доверять.

В июле он дорого заплатил за это доверие: фермер спросил, как бороться с вредителями на посевах кунжута, и чат-бот порекомендовал смесь из нескольких препаратов, которую мужчина распылил на поле, не посоветовавшись ни с одним человеком. На следующий день он обнаружил, что около 10 гектаров урожая погибло.

Судя по всему, кунжут — культура, которую лучше держать подальше от искусственного интеллекта.

Гербицид против сорняков, а заодно против самого кунжута

Самое обидное, что причину подсказал тот же самый чат-бот. Когда фермер снова обратился к нему за разбором, ответ оказался полезнее: одно из веществ в смеси — гербицид против широколистных сорняков, который чаще всего применяют на посевах сои.

Вот тут и была ловушка — кунжут сам относится к широколистным растениям, поэтому гербицид для него смертельно опасен. Проще говоря, ИИ посоветовал средство, которое не различает «сорняк» и «культурное растение» — оно бьёт по всему, что широколистное, включая сам урожай.

«Если опрыскать, на следующий день ростки не выживут», — позже рассказал фермер изданию CTWant. Но совет пришёл слишком поздно, чтобы что-то спасти.

Нейросеть звучит уверенно, даже когда ошибается

Чат-боты — не машины истины. Их обучают на огромных массивах в основном человеческих текстов, а сами они предсказывают, какое слово должно идти следующим. Поэтому ответ может звучать гладко и уверенно, но это ещё не значит, что он верный. Иногда нейросети просто притворяются всезнайками.

ИИ выдаёт уверенный ответ, но не отвечает за его правдивость

Насколько часто это происходит, видно по исследованиям. В одном недавнем международном исследовании 45% ответов ИИ содержали хотя бы одну существенную проблему, а 20% включали попросту выдуманную ерунду. При этом ИИ ошибается не для всех одинаково: по другим данным, уязвимым пользователям (тем, кто хуже владеет языком или имеет более низкий уровень образования) чаще выдаётся менее точная информация.

Безобидная шутка обернулась реальными потерями

Часто такие ошибки безобидны. Если вы в шутку спрашиваете «сколько камней мне съесть», вы, скорее всего, всё-таки не поверите ответу «хотя бы один». Но чем больше людей полагаются на ИИ всерьёз, тем чаще советы оборачиваются реальными последствиями.

Будь в курсе новых событий по максимуму — подписывайся на наш канал в Max!

Аппетит к таким советам растёт, и это уже не только про огород. Исследования показывают, что примерно каждый седьмой человек обращался к ИИ за медицинскими советами вместо визита к врачу. А случай кунжута — далеко не единственный. Есть даже дошедший до научной публикации пример: мужчине посоветовали заменить обычную соль на бромид натрия, и закончилось всё больницей.

ИИ хорош как помощник, но не как последняя инстанция. Там, где на кону здоровье, деньги или урожай, стоит перепроверять его слова у специалиста — потому что уверенный тон нейросети и правильность ответа, к сожалению, вещи разные.