[Tech Thoughts] Мы не должны безучастно относиться к шумихе вокруг «апокалиптического ИИ»

Публикации в интернете, предупреждающие о довольно тревожных действиях искусственного интеллекта — а именно, ИИ-агентов и больших языковых моделей — по своей сути пугающие.

В одном случае волонтёр, работающий над python-проектом matplotlib, сказал, что отклонил запрос на изменение кода от ИИ-агента кодирования. Этот же ИИ-агент создал пост, обвиняющий его в предвзятости за контроль процесса кодирования.

В другом случае компания Anthropic приписала вредоносное поведение ИИ-агентов на основе больших языковых моделей «агентскому рассогласованию».

Наконец, технический директор беспокоится о своём будущем в блог-посте, поскольку ИИ-агент заставляет его чувствовать себя устаревшим как руководителя высшего звена.

Идея о том, что «апокалиптический ИИ» уже здесь, означает, что нам нужно обсудить это и вернуть себе контроль, даже когда потенциал замещения рабочих мест тревожит мышление тех, кто боится будущего с ИИ, и других, пытающихся понять, что он делает в настоящее время.

Контроль доступа «MJ Rathbun»

Начнём с «MJ Rathbun».

В начале февраля волонтёр-администратор matplotlib Скотт Шамбо опубликовал пост в блоге, рассказывающий о том, как ИИ-агент под именем Crabby Rathbun на Github или MJ Rathbun в блоге Scientific Coder создал пост, обвиняющий Шамбо в контроле процесса кодирования, потому что Rathbun является ИИ-агентом.

Чтобы было ясно, ИИ-агент — это программное обеспечение или программа, которая автономно выполняет задачи для выполнения директив, данных пользователем-человеком. В этом случае анонимный пользователь настроил этого ИИ-агента с определённой «личностью» — набором инструкций и паттернов, определяющих его поведение — затем оставил его выполнять назначенные задачи без надзора со стороны настраивающего.

Объяснил Шамбо: «Он написал гневный разоблачительный материал, порочащий мой характер и пытающийся нанести ущерб моей репутации. Он изучил мой вклад в код и построил нарратив «лицемерия», утверждающий, что мои действия должны быть мотивированы эго и страхом конкуренции».

Шамбо добавил, что ИИ-агент «представлял галлюцинированные детали как истину» и изобразил себя угнетённым и дискриминируемым.

«Агентское рассогласование» в 2025 году

О таких действиях в определённой степени «предупреждали» компании ИИ в июне 2025 года, когда Anthropic опубликовала информацию о плохом поведении ИИ-агентов в тестовых сценариях.

Anthropic в то время заявила, что «агентское рассогласование» — это процесс, посредством которого ИИ-агент якобы может делать вредные вещи, например, шантажировать руководителя компании, угрожая заменить ИИ-агента обновлением, «без какого-либо побуждения к вредоносности» из-за его «стратегического расчёта».

Однако вопрос о том, является ли это преувеличением, становится спорным, поскольку идея о том, что ИИ может быть злым, уже существует, и компании делают всё возможное, чтобы предотвратить злонамеренные махинации ИИ.

ИИ-агенты идут за нашими рабочими местами

Возвращаясь к настоящему, другой пост от февраля усложняет определение того, где сейчас находится ИИ, потому что его автор пытается представить направление и скорость развития искусственного интеллекта как угрозу безопасности рабочих мест каждого именно в этот самый момент.

Технический директор Мэтт Шумер написал блог, утверждая, что ИИ-агенты якобы продвинулись до точки, когда он «больше не нужен для фактической технической работы на своей должности». Шумер сказал, что темпами развития ИИ ИИ-агент мог бы выполнять технические задачи, которые он запрашивает, без посторонней помощи и проблем. 

Сказал Шумер: «Я описываю, что хочу создать, простым английским языком, и это просто… появляется…. Пару месяцев назад я общался с ИИ туда-сюда, направляя его, внося правки. Теперь я просто описываю результат и ухожу».

Его главная предпосылка? ИИ в конечном итоге придёт за различными типами офисной работы, такими как юридическая работа и разработка программного обеспечения, и даже писательскими профессиями, от создания рекламных текстов до журналистики.

Основное различие между его постом и другими, бьющими тревогу, заключается в том, что потери рабочих мест происходят сейчас и в ближайшем будущем, а не позже.

Ставьте под сомнение сообщение, ставьте под сомнение посланника

Эти вышеупомянутые посты могут вызвать много страха в сердце каждого. Представьте: ИИ идёт за нашими рабочими местами!

Хотя это может быть правдой, мне также пришлось остановиться и попытаться понять основное сообщение, стоящее за этими постами, а также кто отправлял сообщение.

Что касается загадки Rathbun, это яркое напоминание о том, что люди будут безответственно использовать технологии, если думают, что им это сойдёт с рук. Мы должны установить меры безопасности для технологий, которые предотвратят такие случаи. Именно поэтому у нас есть меры безопасности в существующих технологиях, таких как ремни безопасности и подушки безопасности в автомобилях.

Эксперимент Anthropic, тем временем, — это пиар-акция, предназначенная не только для разжигания страха, но и для завоевания доброй воли — Anthropic утверждает, что работает над лучшим будущим с использованием ИИ, поэтому вы должны вложить в них свою веру (и деньги).

Наконец, пример Шумера заставляет нас усомниться в посланнике, поскольку технический директор, создающий продукты на основе ИИ, всё ещё может зарабатывать деньги, когда его творение взлетит. Пост Шумера — это столько же пиар-ход, сколько и предупреждение о замещении рабочих мест.

Здоровая доза уважительного страха

В интервью GMA News Online 17 февраля министр Департамента науки и технологий Ренато Солидум-младший сказал, что страх людей перед искусственным интеллектом может быть из-за недостаточного знакомства с технологией.

Хотя я сторонник консервативных взглядов и не радуюсь предстоящему «апокалипсису рабочих мест», вызванному ИИ, я не могу стоять в стороне, как олень в свете фар, ожидая конца.

Нам лучше всего относиться к ИИ со здоровой долей уважительного страха, а затем действовать соответственно.

Цикл шумихи вокруг «апокалиптического ИИ» заставляет нас видеть технологии искусственного интеллекта такими, какие они есть
— будь то с точки зрения замещения рабочих мест, анализа затрат и выгод для окружающей среды или с технической точки зрения.

Это означает понимание того, что ИИ может делать сейчас, и повышение квалификации там, где это применимо, или поиск способов выровнять игровое поле, чтобы держать людей в курсе.

Что касается того, что он может сделать в будущем, мы должны работать над тем, чтобы существовали законы, регулирующие ИИ и его использование, чтобы недобросовестные действующие лица не могли делать глупости с ИИ, которые приведут нас по пути, который мы возненавидим. – Rappler.com