Anthropic смягчила правила безопасности ИИ на фоне жесткого ультиматума Пентагона

Компания Anthropic смягчила ключевую политику безопасности, объяснив это необходимостью сохранить конкурентоспособность. Параллельно на компанию давит Пентагон, требуя разрешить применение ИИ для слежки за гражданами США и создания автономного оружия.

Ранее фирма позиционировала себя как одна из наиболее ориентированных на безопасность ИИ-лабораторий на рынке. Однако теперь руководство отказалось от ключевого обязательства в этой сфере.

В 2023 году компания представила Responsible Scaling Policy (RSP) — свод добровольных правил для снижения катастрофических рисков при работе с нейросетями. Изначально документ предполагал, что разработчик приостановит развитие искусственного интеллекта, если признает его потенциально опасным.

В третьей версии RSP говорится, что Anthropic продолжит улучшать ИИ в том случае, если посчитает, что он не имеет значительных преимуществ над конкурентами.

Новая версия политики предусматривает большую прозрачность, включая подробную публикацию результатов тестирования моделей. Компания обещает не отставать от конкурентов в вопросах контроля систем. Anthropic готова замедлить разработку только в том случае, если станет безоговорочным лидером гонки и одновременно увидит значительный риск катастрофы.

Когда Anthropic представила RSP в 2023 году, она надеялась, что конкуренты последуют ее примеру. Но никто не дал столь же однозначного обещания приостановить развитие ИИ.

Anthropic под давлением Пентагона

Между Anthropic и Минобороны США возникли разногласия из-за планов военных применять ИИ для слежки за гражданами страны и разработки автономного оружия. Стартап против такого подхода, однако представители Пентагона заявили о намерении использовать LLM «для всех законных сценариев» без ограничений и допустили возможность расторжения контракта.

CEO стартапа Дарио Амодеи встретился с министром обороны Питом Хегсетом для обсуждения ситуации. Ведомство выдвинуло ультиматум: стартап обязан принять правительственные условия до 27 февраля.

В случае отказа власти могут признать компанию угрозой для цепочек поставок. Это поставит под удар бизнес Anthropic с другими подрядчиками правительства США. Альтернативный вариант — применение Закона об оборонном производстве (Defense Production Act), что позволит Пентагону использовать технологии стартапа принудительно.

В ответном заявлении представители ИИ-компании подчеркнули, что стороны «продолжают вести диалог в добросовестном ключе».

Anthropic непоколебим

В Reuters узнали, что Anthropic не намерен смягчать свои ограничения на использование технологии в военных целях.

Позицию стартапа поддержал сооснователь Ethereum Виталик Бутерин.

В феврале выяснилось, что ИИ-модель Claude применили в операции по захвату президента Венесуэлы Николаса Мадуро. По информации агентства, на встрече с Хегсетом CEO Anthropic не выразил обеспокоенности из-за применения продуктов компании в этой инициативе.

Столь серьезная угроза Пентагона указывает на нежелание отказываться от Claude в оборонной сфере, пишет The Economist. Журналисты отмечают, что технологии стартапа могут оказаться незаменимыми для военных задач.

Напомним, SpaceX и ее дочерняя ИИ-компания xAI участвуют в секретном тендере Пентагона по разработке автономных роев дронов с голосовым управлением.