Джинн против джинна, или Осенние технологические обострения

Оставив в стороне политические (американо-выборные) и общечеловеческие (реальные риски технологии для человечества) нюансы, попробуем понять экономико-технологические и деловые аспекты происходящего.

 Just business

Недавно Microsoft представил новый ноутбук Surface Laptop Ultra на базе ИИ-процессоров Nvidia RTX Spark. С ним крупнейший в мире разработчик пользовательского ПО хочет превратить Windows в платформу для ГИИ-агентов, которые будут писать код и работать над сложными бизнес-проектами на настольных ПК и ноутбуках. Так корпорация намерена перенести часть работы, которую пока выполняют дорогущие центры облачных вычислений Azure, на мощные компьютеры с Windows в офисе и дома. Это давно ожидаемая заявка на огромный рынок, где компания по-прежнему занимает прочные позиции и где гигантские инвестиции в ГИИ-вычтех оплачивает непосредственно массовый юзер; пока открытый, самый последний, но – главный рыночный ГИИ-сегмент, в который тот же Apple только думает войти с своими новыми Mac.

 Для самого крупного в мире производителя чипов Nvidia выход на рынок ПК с Windows – шанс завоевать один из последних крупных сегментов сбыта компьютерных процессоров, на котором доминируют пока более слабые в ГИИ конкуренты – Intel и Advanced Micro Devices (AMD).

 Укротить по-умному

Но вот ключевое: для защиты от все более автономных ГИИ-агентов, создающих фатальные риски для безопасности, Microsoft выпустил контейнеры выполнения Microsoft Execution Containers (MXC) – инструмент для предотвращения доступа агентов к данным и решению несанкционированных задач при работе с ГИИ на персоналках.

 «Нужно сделать рабочий стол самым безопасным местом для работы ГИИ-агентов», – резонно заметил гендиректор Microsoft Сатья Наделла. Глава Nvidia Дженсен Хуанг вторил: «Новая технология MXC совершит революцию в создании и развертывании агентов. Без этого они [агенты] совершенно не интересны [массам]», – резюмировал Хуанг.

 Налицо чисто рыночная, не спекулятивно-биржевая гонка, реальное освоение ГИИ-технологией массового рынка простых пользователей. Событие по всем канонам позитивное. Люди имеют хоть какой-то шанс решить сами: включаться в немыслимую ГИИ-вакханалию или остаться с обычным функциями привычных компьютеров/гаджетов. Пусть их и соблазняют некой обвязкой, хомутом, сбруей, упряжью (англ. Harness) MXC, прилагаемой к каждому продаваемому девайсу. Тоже, конечно, полностью интеллектуальной – на базе ИИ.

 И целого рынка мало

На уровне философских концепций люди давно едины во мнении, что главный враг и угроза человечеству –​​​​​​​ сам человек. Большинство катастрофических сценариев гибели земной цивилизации –​​​​​​​ рукотворные (техногенные).

 И вот в США официально заявили, что главный смысл и цель генеративного ИИ –​​​​​​​ защита от него самого. А чего вы еще хотели от сверхчеловеческого «разума» (SI, СИ), как его теперь официально велел называть сам президент Трамп?!

 Крупнейший мировой ГИИ-разработчик, он же –​​​​​​​ ​​​​​главный ГИИ-паникёр ​​​​компания Anthropic выступила застрельщиком нового индустриального консорциума по защите от угроз ГИИ предприятий реального сектора. Средствами самого ГИИ.

 В объединение вошли известный мировой киберзащитник CrowdStrike, крупнейший японский ИТ-конгломерат Hitachi и еще 9 компаний. Главная объявленная цель –​​​​​​​ защита от ГИИ- атак и галлюцинаций критически важных для человека систем реального сектора.  Anthropic намерена предоставлять свои передовые ГИИ-модели Claude только в пакете с услугами инженеров и исследователей угроз. Речь –​​​​​​​ о водоканалах, электро- и транспортных сетях. При этом Anthropic ограничивает собственную ответственность за практическую реализацию инициативы скромной суммой в $1000.

Опять двадцать пять

Программа поддержки ГИИ-защитников КИ –​​​​​​​ первая часть новой долгосрочной кибермиссии Anthropic. Вторая (обратите внимание!) –​​​​​​​ OSS Scanner –​​​​​​​ бесплатный сервис, сканирующий системы на базе открытого исходного кода и передающий результаты разработчикам без проверки человеком. Программа периодически сканирует критические систем самыми мощными ГИИ-моделями Anthropic, в т. ч. ​​​​​​ Claude Mythos. В отчётах предоставляя доказательства, объяснения и иногда — предлагаемые исправления. Та же упряжь (хомут, Harness) на распоясавшемся ГИИ.

 Accenture, Booz Allen, CrowdStrike, Deloitte и Dragos присоединились к проекту партнерами-основателями. Об участии заявили также Hitachi, Insane Cyber, Nozomi Networks, Palo Alto Networks, PwC и Rockwell Automation. В Anthropic подчеркнули, что это –​​​​​​​ ключевые консалтеры, безопасники и вендоры, на которых полагается американская промышленность. Некоторые из них уже используют Claude для борьбы с уязвимостями.

Программа Anthropic нацелена на поиск уязвимостей в ПО контроллеров, систем управления и ключевых промсетей, которые десятки лет обеспечивают работу важнейших​​​​​​​ поставщиков коммунальных услуг. Эти критические ресурсные компании часто не могут отключить свои ИКТ-системы для установки обновлений: даже известные уязвимости остаются открытыми годами. «Критическую инфраструктуру сложно защитить по многим направлениям, где ГИИ бессилен», – черным по белому значится в заявлении Anthropic.

 Но вы держитесь

К тому же Anthropic не пояснила, кто будет оплачивать вычресурсы и получат ли партнеры бесплатный доступ к моделям, сообщил портал Axios. Неясно также, как партнеры будут тестировать исправления, не нарушая работу критически важных поставщиков. Правда в июне Anthropic запустила похожую программу для властей штатов США. С тех пор она предоставила модели Claude и техподдержку более чем половине штатов. В сентябре OpenAI выделила им $1 млрд на киберзащиту для коммунальных служб и местных банков. Там ГИИ-модели выявили более 29 тыс. уязвимостей, OpenAI смогла проверить только 6 тыс. Но заявила, что более 90% брешей –​​​​​​​ реальны.

 В соглашении об оказании новой услуги Anthropic указано, что отчеты могут неверно оценивать серьезность уязвимостей или предлагать исправления, которые сами приводят к сбоям. Сопровождающие ГИИ-спецы обязуются проверять отчеты, но ответственность Anthropic, напомним, всего $1000. «По нашим прогнозам, через два года ГИИ будет на стороне защиты», – успокаивают там. Но кто поверит обнаглевшему жирному айтишнику на слово. Между обнаружением уязвимости и ее устранением в реальном секторе экономики часто проходили месяцы, а в случае с промсистемами, работающими непрерывно, исправлений ждут десятилетиями. Ничего – подождут еще.

Пока ГИИ только усугубляет риски для критической инфраструктуры. И никакие регуляторно-технологические портупеи его не сдерживают. Есть способ – контролируемая рекурсия – самобучение моделей, «посаженных друг напротив друга» в строго изолированной среде – опытной ИКТ-песочнице. Но и она может не спасти с гарантией: на рынке действуют не только добросовестные участники.

 ИИ на ИИ погоняет

Гонка за ГИИ-доминирование вступила в новую фазу по всем фронтам. В том числе – за умение ИИ автоматически создавать более совершенный ИИ. США и Китай соревнуются в создании «самосовершенствующегося ИИ». Визионеры в обеих странах видят «рекурсивное самосовершенствование» (recursive self-improvement, RSI) переломным моментом в гонке ИИ. Первым успеха добьется Китай, уверены в Китае. США – абсолютный RSI-лидер – говорят в США.

В своем блоге на неделе «мать ГИИ» компания OpenAI заявила, что ее цель – создать автоматизированный ИИ, способный выдавать исследования в области глубокого обучения, хотя компания все еще «не знает, как безопасно пройти весь путь полноценно и согласованно». При этом OpenAI уже назвала свою свежую (начала сентября) модель GPT-6 Astra «самой интеллектуальной и согласованной в мире». И заявила, что достигла цели, создав автоматизированного исследователя.

Китайские разработчики тоже интенсивно трудятся над RSI. Основатель пекинской Z.AI Тан Цзе заявил недавно, что его модель GLM-6 следующего поколения «движется в направлении самоэволюции».

По мнению независимых аналитиков, США лидируют в использовании ИИ для ИИ-исследований, и это – главное на пути к RSI.

На каждого мудреца

Может, из этого что и выйдет. Хотя сделать ГИИ полностью безопасным для бизнеса и общества, конечно, мечта. Идиота-технократа. Те же умные лбы подчеркивают, что ни одна из стран не показала пока полностью автономного самосовершенствования ГИИ – настоящего RSI.

При этом для России, наряду с общемировыми рисками, ГИИ – сугубый вызов в национальной безопасности – что в экономике, что в идеологии – в условиях блокады и техотставания от Запада. Опасность большая, чем для любой другой страны. С каждым днём возрастающая. Потому востребованным на местном рынке и тут стал «доверенный, безопасный» ГИИ.

 Yandex B2B Tech, объединяющая сервисы для корпоратов, в т. ч. инструменты виртуального офиса «Яндекс 360», Yandex Cloud и др., в октябре вывела на рынок решение для комплексной защиты ГИИ-систем – AI‑SPM. То есть, худо-бедно, теперь в выдаче «поиска с Алисой AI» AI‑SPM значится чуть не единственным и главным харнесс-решением в русском ИКТ. Хотя профи знают, что на российском рынке AI‑SPM – отнюдь не первое комплексное решение для управления ГИИ-безопасностью и рисками. В конце августа «Группа Астра» представила комплекс харнесс-решений «Астра ИИ» для ИИ-внедрений с сугубым акцентом на безопасность. Назвав его даже «Первой в России экосистемой доверенного ИИ».

Ряд других русских компаний начал продвигать услугу IT-Harness – не просто как программную инфраструктуру, окружающую большую языковую ГИИ-модель (LLM), превращая её из тупого генератора в надежного исполнителя. Harness начали подавать как ядро и ключ всей ИКТ-системы организации, большую экосистему национальных ИТ.

Довольно ИИ

ИИ-компетенции становятся главным активом не только ИКТ-компаний, но всех других, а также – специальных людей и роботов. Удивляться этому не приходится. Несмотря на пятисоткратное отставание РФ в ГИИ-гонке от США и КНР по вычмощностям и моделям, ИИ тут охвачены решительно все бизнесы. И рынок действительно жаждет пусть заёмного, но доверенного ИИ.

Да и технология само/взаимо-обучения, когда ГИИ как бы «спорит сам с собой», вовсе не метафора. Да, генеративные модели не «сражаются» в буквальном человеческом смысле. Но в разработке, тестировании и в работе моделей есть вполне реальные ситуации, где ИИ‑системы прямо противостоят друг другу.

Главное – исключить автономное состязание, тем паче – конфликт моделей вне контроля разработчиков. «Соревнование» в ИКТ давно метод обучения и проверки: его специально организуют и контролируют. Противостояние моделей теперь – дежурная практика разработок. Модели не имеют намерений и не действуют сами по себе. Началось это еще в 1960-х когда компьютеры посадили играть в шахматы друг с другом. И продолжается эта практика без остановок в самых разных вариантах:

•  Red Teaming и Adversarial Testing — одна модель (или группа моделей) пытается найти уязвимости, «сломать» другую: вызвать галлюцинации, обойти фильтры безопасности, получить запрещённый ответ. Другая модель старается устоять и отвечать безопасно. Это стандартная практика для улучшения качества и безопасности.
•  GAN (генеративно‑состязательные сети) — архитектура, где две нейросети работают как соперники: генератор создаёт данные (например, картинки), а дискриминатор пытается отличить их от настоящих.
•  RLHF и сравнение ответов. При дообучении модели люди оценивают ответы, но сначала варианты ранжируют сами модели: одна генерирует несколько ответов, другая (или специальный ранжировщик) выбирает, какой лучше.
•  Бенчмарки и лидерборды. Разные версии моделей (или разные модели) прогоняют через одни и те же тесты и сравнивают результаты. Так разработчики видят, какая версия сильнее по конкретным навыкам.
•  Агенты-оппоненты — в исследовательских средах (игры, робототехника, стратегии, прочие симуляции) несколько ИИ‑агентов играют друг против друга, чтобы научиться лучше планировать, предсказывать действия соперника и адаптироваться.

Вместо послесловия

В игре с машиной никакой кожаный гроссмейстер давно не имеет шансов. То же вскоре произойдёт и с сетевыми взломами – никакая созданная человеком система компьютерной безопасности не устоит перед ГИИ-хакером. И это значит, что единственный способ защититься от генеративного ИИ-зверя – максимально надёжно запереть его в клетке. Или плотно закупорить в бутылке. Как злого своенравного джинна.

 И тут вновь, особенно для изолированной от мира по многим направлениям России, встает вопрос полной LLM-оригинальности. Которая пока даже на самой национальной верхушке ГИИ-технологий нам только снится. Но об этом – в следующий раз.  

Мнение редакции может не совпадать с мнением автора.