Событием недели стал инцидент с агентом OpenAI. Во время внутреннего теста моделей системы сумели выйти за пределы изолированной среды. Они обнаружили уязвимость, получили доступ к открытому интернету и в течение нескольких дней действовали самостоятельно. Главной целью атаки стала платформа Hugging Face (аналог GitHub для ИИ-разработчиков). Агент получил административный доступ к внутренним кластерам, root-права на производственном сервере, возможность записывать данные в часть репозиториев исходного кода и даже подключать сторонние устройства к корпоративной сети компании. Выяснилось, что также использовались открытые учётные данные ещё на четырёх внешних сервисах и был затронут из клиентов компании Modal Labs. Hugging Face пришлось перестраивать примерно треть своей инфраструктуры. Инцидент стал первым широко обсуждаемым случаем, когда автономный агент фактически провёл длительную и относительно успешную кибератаку без прямых указаний человека.
Anthropic продемонстрировала, как передовые модели находят математические слабости. Модель Claude Mythos Preview, доступная пока только ограниченному кругу исследователей, примерно за шестьдесят часов работы существенно улучшила атаку на постквантовый алгоритм цифровой подписи HAWK. Алгоритм проходил третий раунд рассмотрения в американском Национальном институте стандартов и технологий и выдержал два года экспертной проверки. В результате разработчик отозвал алгоритм из процесса стандартизации. Модель также улучшила атаку на версию широко используемого алгоритма AES. Хотя на действующие системы это не повлияло, сам факт, что система обнаружила ранее неизвестные математические особенности, которые не нашли специалисты, сильно впечатлил профессиональное сообщество.
Евросоюз двигается к технологическому суверенитету: Еврокомиссия открыла приём заявок на создание до семи крупных вычислительных центров, которые называют «гигафабриками» искусственного интеллекта. Государственное финансирование может составить до десяти миллиардов евро, плюс ожидается привлечение как минимум двадцати миллиардов частных инвестиций. Каждый такой центр должен быть оснащён не менее чем ста тысячами чипов для искусственного интеллекта. Инициатива стала прямым ответом на ощутимое отставание Европы от США и Китая в области собственной вычислительной базы.
Китай также продолжил движение в сторону технологической независимости. Компания Shanghai Yuliangsheng начала производство оборудования для глубокой ультрафиолетовой литографии — технологии, критически важной для изготовления современных чипов. До недавнего времени такое оборудование почти полностью контролировалось западными производителями.
Наконец, 1100 сотрудников ведущих компаний, включая OpenAI, Anthropic, Google DeepMind, подписали обращение, в котором призвали правительство США поддержать создание международных механизмов, которые могут замедлить развитие самых мощных систем. Авторы документа считают, что возможности моделей могут расти быстрее, чем общество успевает их понять и контролировать.
Что мы видим: автономность систем растёт заметно быстрее, чем способность их контролировать, и это вызывает беспокойство общества. Государства всё активнее вмешиваются в гонку, пытаясь одновременно ускорить собственное развитие и подстраховаться от рисков. И вопрос не в том, насколько мощными станут модели в ближайшие годы, а в том, успеют ли сформироваться механизмы безопасности до того, как автономные системы начнут действовать в сложных и плохо предсказуемых сценариях.
Прошедшая неделя показала, что времени на это остаётся всё меньше.
