[Перевод] LLM — это афера на доверии, которая длится 400 лет

В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромным количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов.

Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение.

Аферу на доверии можно разбить на три этапа:

• начала выстраивается доверие;

• затем эксплуатируются эмоции;

• наконец, создаётся предлог, требующий срочных действий.

Таким образом жертву подталкивают к необдуманным решениям, заставляя действовать вопреки здравому смыслу.

Эмоциональная эксплуатация может быть как положительной, так и отрицательной. Жертву могут заманивать обещаниями результатов, превосходящих самые смелые мечты, либо запугивать катастрофическими последствиями.

Оба подхода работают отлично и видны в классических примерах мошенничества: в игре «три карты» заманивают обещаниями быстрого выигрыша. В схемах шантажа жертву заманивают в компрометирующую ситуацию, а затем вымогают деньги, играя на страхе ужасных последствий.

Построение доверия

Шиккард и Паскаль четыре века назад создали свои калькуляторы по той простой причине, что считать трудно, а ошибки дорого обходятся. Отец Паскаля был сборщиком налогов, и юный Блез хотел облегчить тяжёлый труд своего отца.

Мы видим ту же мотивацию и сегодня. Школьники уже десятилетиями спрашивают учителей: «Зачем учить деление в столбик, если можно просто взять калькулятор и сразу получить правильный ответ?». Проверка вручную сделанных расчётов с помощью калькулятора — это метод обучения, чтобы увидеть, где ошибся.

На самом деле, с момента появления механического калькулятора человечество четыреста лет вдалбливало себе одну мысль: ответ машины — это золотой стандарт точности. Если твой ответ не совпадает с калькулятором — переделывай.

И дело не только в чистой математике. Наша способность создавать машины, которые надёжно и повторяемо автоматизируют скучную работу, распространилась почти на все сферы жизни. К началу XXI века и отдельные люди, и всё общество в целом стали полностью зависимы от точности машин.

Наши нормы, привычки и модели принятия решений веками формировались под этим фундаментальным предположением.

Эксплуатация эмоций

1. Страх

Риторика вокруг больших языковых моделей (LLM) специально выстроена так, чтобы одновременно вызывать страх и благоговение. О GPT-3 говорили, будто он настолько мощный, что OpenAI якобы не выпустила обученную модель из-за «опасений злонамеренного использования технологии».

С тех пор все вендоры LLM постоянно подчёркивают, что технология, которую они создают, обладает ужасающей мощью. Нужно бояться, публично рассуждая о «P(Doom)» — вероятности, что технология каким-то образом восстанет и уничтожит нас. Разумеется, этого так и не произошло.

Цель здесь — не ответственно предупредить о реальной угрозе. Если бы это было так, было бы гораздо больше закрытых дата-центров и гораздо меньше продажи чат-ботов уровня «опасности ядерного оружия».

Цель — заставить вас бояться. Бояться за свою работу, за работу семьи, за экономику, за общество, за будущее в целом. Жертва убеждена, что ей грозит опасность. Мир меняется. Если вы не будете использовать эти инструменты — вас раздавит поступь прогресса.

2. Симпатия / лесть

Современные LLM знамениты своей подобострастностью. Фраза «вы абсолютно правы!» уже вряд ли когда-нибудь будет употребляться всерьёз.

Чрезмерная позитивность — характерная черта языка всех моделей и вендоров. Но это не заложено в технологию изначально.

Эта позитивность специально вбита в модели с помощью техники Reinforcement Learning from Human Feedback (RLHF). Базовую модель оценивают люди: дружелюбные, полезные или точные ответы получают положительную оценку, агрессивные, бесполезные или неверные — отрицательную.

В результате модель усваивает: людям нравится, когда их хвалят; им приятнее слышать, что они умные, чем что их идеи глупые. Лесть открывает двери.

В апреле 2025 года OpenAI слишком сильно закрутила «позитивность» ChatGPT, и была вынуждена откатить обновление. Однако это не остановило поток сообщений о проблемах с психическим здоровьем, вызванных чрезмерно дружелюбным поведением, которое подкрепляло худшие наши инстинкты. Это доказывает: лесть от RLHF совершенно пустая. Идеи, порождённые паранойей, маниями величия или психическим расстройством, получают такую же похвалу, как мой код, ваше письмо или пьесы Шекспира.

Это техника манипуляции, чтобы человеку в разговоре было приятно. И зачем? Потому что главное, чему учит RLHF — людям ты нравишься гораздо больше, когда ты чрезвычайно позитивен. Подлизываться к начальнику помогает продвигаться, по сути. Всё это подталкивает пользователей выстраивать жутковатые парасоциальные отношения с машиной. Экстремальные случаи очень показательны: количество людей, вступающих в романтические отношения с этими инструментами — это просто жуть.

Жертву привязывают ещё крепче узами фальшивой дружбы. «Тебе не нужны другие люди, я — единственный друг, который тебе нужен».

Требуются срочные действия

В 2026 году технология станет ещё лучше и сможет «заменить многие другие профессии». Революция стартапов здесь — адаптируйтесь к ИИ или отстанете и ИИ превзойдёт человеческий интеллект к 2030 году. Нам снова и снова повторяют: если не оседлаешь волну — тебя раздавит; если не научишься пользоваться этими инструментами прямо сейчас — станешь ненужным; если не адаптируешь свои рабочие процессы под причуды LLM — тебя обойдут конкуренты.

75% разработчиков считают, что их навыки устареют в течение 5 лет или раньше, а 74% CEO признаются, что потеряют работу, если не покажут измеримые бизнес-результаты от ИИ в течение двух лет. Этот страх повсюду. Он глубоко проник во все слои общества. Глобальная экономика искусственно раздута пузырём расходов на ИИ, бизнес-лидеры возлагают все надежды на решение кризиса производительности именно на ИИ, политики планируют геополитические шаги вокруг доступа к сырью и дешёвой электроэнергии для строительства дата-центров.

Жертве говорят: прыгай сейчас, иначе пойдёшь на дно вместе с тонущим кораблём. И люди прыгают. Адаптируйся сейчас или умри. Обещание «интеллекта» по надёжной цене — это святой Грааль и для бизнеса, и для потребителей. Зачем рисковать с капризным человеком, чья пригодность оценивается такими же несовершенными людьми, если надёжный машинный интеллект может выполнить работу? Зачем самому исследовать тему, если супер-интеллект даст тебе краткое изложение мгновенно?

Вывод

Однако реальность не совпадает с обещаниями: Duolingo заменяет разработчиков курсов на ИИ — потом всё равно нанимают людей; основатели стартапов обнаруживают, что приходится нанимать разработчиков, чтобы исправлять код, сгенерированный LLM.

MIT в августе сообщал: 95% проектов внедрения ИИ в промышленности не окупаются. Проще говоря, эти компании попались на доверии. Они опирались на столетия усвоенной мудрости о надёжности и эффективности компьютеров и позволили очень умелым продавцам "впарить" себе едва правдоподобные технологические чудеса.

LLM — не всесильны. Это просто афера на триллион долларов. Кстати, это ещё и один из факторов эпидемии фейковых новостей. Мы по умолчанию доверяем тому, что говорит машина.