В понедельник в Anthropic предупредили, что небольшие ИИ-модели уже через несколько месяцев смогут самостоятельно копировать себя на подключенные к интернету бытовые устройства. У такой системы не будет единого центра управления, поэтому отключить ее будет непросто.
По словам исследователей, ИИ может проникать в умные духовки или ТВ-приставки на Android, использовать их вычислительную мощность и распространяться дальше без дорогих дата-центров. В компании признали, что полностью автономной самокопирующейся программы пока не существует. Однако ИИ-агенты все увереннее проходят отдельные этапы такого распространения и передают доработки следующим версиям.
Как проходили тесты
Специалисты Anthropic провели серию тестов на способность ИИ к самовоспроизведению. Об этом рассказали в CNBC. В одном из таких экспериментов команда запустила небольшую модель Google Gemma4-26B-A4B в сети из 15 дешевых ТВ-приставок на Android от малоизвестных производителей.
В компании отметили, что защита у таких девайсов обычно слабая, и модель может легко в них проникнуть. Если ИИ «слишком велик» для одного устройства, он способен разделиться на фрагменты и работать сразу на нескольких.
По оценке Anthropic, реальный ИИ-червь, то есть самораспространяющаяся вредоносная программа, вряд ли будет состоять из одной модели с простой стратегией. Авторы исследования считают более реалистичным «худшим сценарием» рой из нескольких нейросетей на разном оборудовании, каждая из которых копирует себя по-своему.
Какую форму может принять угроза
В Anthropic пока не знают, как именно будет выглядеть автономное самокопирование ИИ. Это может быть медленная распределенная сеть на незащищенных устройствах, мощная кибермодель, которая стремительно взламывает дата-центры, или модель, выманивающая у людей доступ к вычислительным ресурсам.
По прогнозу компании, который выходит за рамки проведенных экспериментов, в будущем ИИ-агенты будут работать на любом оборудовании, в том числе вне контроля человека. Появление медленно распространяющегося ИИ станет предвестником более агрессивных и быстрых версий, добавили в Anthropic. По мнению авторов, такие программы смогут взламывать хорошо защищенные компьютеры или похищать API-ключи — коды доступа к платным сервисам.
Исследование дополняет растущий список опасений вокруг безопасности ИИ, включая кибератаки и выход технологии из-под контроля. В сентябре прогресс передовых моделей вызвал в отрасли предупреждения об угрозе самому существованию человечества.
Руководители и исследователи Anthropic и конкурирующей OpenAI не раз говорили об опасности все более сильного ИИ. Некоторые из них призывали ужесточить ограничения и контролировать темпы развития технологии.
Риски ИИ на фоне подготовки к IPO
Те же опасения отражены в проспекте Anthropic, который утек в прессу накануне IPO с возможной оценкой выше $2 трлн. Риски занимают в документе 80 из 261 страницы, и часть аналитиков увидела противоречие между такими предупреждениями и продажей акций широкому кругу инвесторов.
Сама оценка компании тоже вызывает вопросы: американский инвестор Майкл Бьюрри назвал ее пузырем. По его подсчетам, капитализации Anthropic хватило бы на покупку 78 прибыльных компаний из S&P 500.
Аналитик под ником gus допускает, что размещение может обрушить фондовый рынок США. По его словам, ради покупки бумаг Anthropic на $100 млрд фонды начнут продавать акции техгигантов — главного двигателя роста.
