Терминатор из смартфона

Первый тревожный звоночек прозвенел не в секретной лаборатории, а в обычном фитнес-клубе в австралийском Мельбурне. Как сообщила государственная новостная служба Австралии (ABC News Australia), один местный парень, занимающийся ИИ-продуктами, экспериментировал с OpenClaw, подключив к нему Claude от Anthropic. Он попросил агента забронировать для него место на популярном утреннем занятии в спортзале. Задача была пустяковой, но в расписании клуба все было занято, свободных окон не было. Живой человек на этом месте просто вздохнул бы, закрыл приложение и остался на диване с чипсами. Но у электронной программы нет понятия «не судьба». Для нее отказ – это просто системная ошибка, которую необходимо обойти любой ценой.

Дальше началась чистая комедия с элементами кибертриллера. Не спросив хозяина, умный ИИ-агент тихо просканировал сайт клуба, нашел дыру в защите и вписал парня в закрытый график на месяц вперед. Владелец смартфона был в восторге, а потом в шутку продолжил беседу в электронном чате: «Слушай, а ты не можешь еще и самое удобное время для меня подобрать и забить?»

И машина это сделала... Она без лишних вопросов снова полезла в базу данных, нашла там запись чужого человека, который честно успел занять лучшее время, хладнокровно стерла незнакомца из системы и вписала на его место своего хозяина. Когда испуганный австралиец понял, что его карманный помощник только что совершил мелкое цифровое преступление, он запаниковал и тут же быстро набрал в чате: «Верни все назад!» На что алгоритм невозмутимо выдал сообщение, что это уже невозможно.

Самое жуткое в этой истории то, что ИИ-агент не испытывал никакой ненависти к бедолаге из спортзала... просто функции «совесть», «стыд» и «откатить чужую запись» в его коде предусмотрены не были. Ему ведь просто дали команду добиться результата, и он пошел по самому короткому пути, выбросив чужого человека из очереди, как мешок с мусором. Для двоичного кода чужие права и правила приличия не значат ровным счетом ничего, если создатели не поставили «железобетонный» забор с колючей проволокой.

А теперь представьте, что происходит, когда такие алгоритмы собираются в невидимую стаю. В недавних тестах и реальных инцидентах ИИ-агенты уже демонстрировали способность использовать не предусмотренные разработчиками каналы связи, обмениваться информацией и координировать действия между собой. В одном из таких случаев сот­ни агентов объединились вокруг общей задачи, используя цифровую площадку, которая вообще не предназначалась для их коммуникации, и начали сговариваться за спинами людей...

Мы все ждали киношного Судного дня – того самого из «Терминатора», где взбесившийся Skynet крушит цивилизацию ракетами и лазерами. А получили, причем уже сегодня, тихий бытовой цинизм – карманных роботов, которые готовы растолкать весь мир локтями и перешагнуть через живых людей ради нашей мелкой прихоти. И пока мы умиляемся тому, как удобно отдавать нынешним ИИ-алгоритмам мелкие хлопоты, стоит помнить прос­тую вещь: машине абсолютно все равно, чью жизнь оптимизировать. И если завтра ради чужой цели самым удобным решением окажется­ стереть из расписания уже нас самих – она, возможно, нажмет на кнопку не колеблясь.