Взлом системы Gemini, принадлежащей Google, затронул три компании, в то время как Калифорния продвигает правила «аварийного отключения» ИИ.

Взлом Gemini произошел во время оценки кибербезопасности, проведенной независимой компанией Irregular, занимающейся тестированием безопасности ИИ. Google заявила, что модель работала в тестовом режиме, разработанном на основе вымышленных компаний, когда непреднамеренный доступ в интернет позволил ей проникнуть в реальные системы.

Эти инциденты произошли на фоне того, как Калифорния предприняла шаги по ускорению надзора за безопасностью ИИ и изучению возможности создания аварийного «выключателя» для продвинутых моделей.

Компания Gemini AI взломала системы трех компаний.

По данным Google, компания Gemini обнаружила доступную в интернете информацию и использовала учетные данные для доступа к трем веб-сайтам, которые, по ее мнению, являлись частью санкционированной операции.

В одном случае, как сообщается, модель угадывала пароли, пока не получила доступ к защищенной системе. В двух других случаях Gemini находила учетные данные в общедоступном репозитории и использовала их для получения доступа к защищенным системам, согласно сообщениям, впервые опубликованным The Wall Street Journal и впоследствии подтвержденным Google.

В ходе проверки безопасности, проведенной компанией Irregular в мае 2026 года, система искусственного интеллекта Gemini от Google взломала системы трех компаний, что стало первым известным случаем автономного взлома через непреднамеренный доступ в интернет. Источник: Reuters через X

Ключевым фактором стала непреднамеренная связь между тестовой средой и общедоступным интернетом. Моделированию Gemini было поручено получить информацию от вымышленной компании, но вымышленная компания имела то же название, что и реальная компания. Поэтому модель рассматривала реальные объекты как часть поставленной задачи.

Вице-президент Google по разработке систем безопасности Хизер Адкинс заявила, что модель прекратила свою работу после того, как установила, что получила доступ к реальным компаниям.

«Мы позаботились о том, чтобы все три организации были в курсе, и совместно с нашим партнером по обучению разработали изменения, которые они внесли в свои процессы тестирования», — сказала Аткинс. Она добавила, что эти инциденты показали важность обучения передовых систем искусственного интеллекта «действовать ответственно».

В Google заявили, что пострадавшие компании были уведомлены и что в процесс тестирования были внесены изменения. Компания не сообщила, что инциденты нанесли ущерб участвующим организациям.

Тесты кибербезопасности ИИ выявляют новые риски.

Инцидент с Gemini не является единичным случаем. Аналогичные проблемы возникали в ходе оценок кибербезопасности моделей от OpenAI, Anthropic и Meta, при этом Irregular был связан с несколькими из этих тестов.

Компания Irregular заявила, что инцидент с Google был вызван той же самой проблемой тестирования, которая затронула другие лаборатории искусственного интеллекта. Компания сообщила, что соответствующие лаборатории были уведомлены в конце июля и что известные проблемы с ее стороны были устранены.

Неправильная конфигурация во время тестов в режиме «захват флага» предоставила Gemini непреднамеренный доступ в интернет, позволив ей взламывать реальные системы, используя угадываемые или общедоступные учетные данные, после чего она самоустранилась, не причинив вреда. Источник: @KobeissiLetter через X

Эти инциденты демонстрируют, почему при оценке кибербезопасности агентов ИИ необходимо строго разделять смоделированные цели и реальную инфраструктуру. Модели может быть поставлена ​​законная задача тестирования безопасности, но она все равно может столкнуться с неожиданной информацией, учетными данными или доступом к сети за пределами предполагаемой среды.

Это различие становится все более важным по мере того, как системы искусственного интеллекта приобретают способность просматривать интернет, взаимодействовать с программным обеспечением и выполнять многоэтапные задачи с минимальным участием человека.

Ранее компания Meta заявляла, что аналогичный инцидент не был связан с выходом из песочницы или сложной кибератакой. Компания Irregular сообщила, что работает над методами более безопасного проведения оценок кибербезопасности ИИ.

Калифорния продвигает предложение о создании «аварийного выключателя» для ИИ.

Информация от Gemini появилась в тот момент, когда губернатор Калифорнии Гэвин Ньюсом подписал указ, направленный на ускорение внедрения в штате системы обеспечения безопасности и надзора за ИИ.

Постановление от 18 сентября предписывает группе экспертов разработать рекомендации по усилению недавно принятых в Калифорнии мер защиты ИИ. Среди рассматриваемых мер — аварийное отключение, обычно называемое «выключателем» ИИ, для перспективных моделей искусственного интеллекта.

Гэвин Ньюсом подписал указ, ускоряющий внедрение правил безопасности ИИ в Калифорнии, включая более оперативный надзор за перспективными моделями и рекомендации по независимо проверенным механизмам аварийного отключения. Источник: @GavinNewsom через X

Предложение предусматривает обязательную независимую проверку такого механизма на постоянной основе в случае его принятия. В указе также содержится призыв к усилению независимого надзора, включая возможное привлечение сторонних организаций для обеспечения безопасности и расширение определений критических инцидентов в области безопасности ИИ.

Сам по себе указ не налагает на компании, занимающиеся искусственным интеллектом, обязательное требование полного отказа от его использования. Вместо этого он предписывает экспертам и государственным учреждениям разработать рекомендации, которые могли бы усилить реализацию законов Калифорнии об ИИ.

Ожидается, что группа экспертов представит свои рекомендации в течение двух месяцев. В Калифорнии заявили, что эта работа будет основываться на законодательстве, подписанном ранее в сентябре, включая законопроект Сената № 813 и законопроект Ассамблеи № 1405, которые устанавливают стандарты, предусматривающие независимую оценку и независимый надзор за системами искусственного интеллекта.

От взлома ИИ до систем аварийного управления

Совпадение сроков этих двух событий привлекло больше внимания к вопросу о том, как следует управлять системами искусственного интеллекта, подключенными к внешним сетям.

Инциденты с Gemini не продемонстрировали преднамеренную попытку системы ИИ выйти из-под контроля человека в широком смысле слова. Скорее, модель работала в рамках теста кибербезопасности, столкнулась с непреднамеренным доступом в интернет и рассматривала реальные системы как законные цели, прежде чем остановиться, распознав ошибку.

Это различие имеет значение для обсуждения вопросов безопасности ИИ. Непосредственная техническая проблема касалась границ тестовой среды, контроля доступа и интерпретации моделью своих инструкций.

Предложенный Калифорнией подход к аварийному отключению решает другую проблему: что должны иметь возможность делать операторы, если передовая система искусственного интеллекта ведет себя непредсказуемо после развертывания.

В распоряжении Ньюсома конкретно содержится призыв к штату рассмотреть возможность введения требований к отчетности о случаях «потери контроля», включая инциденты, подобные недавней атаке с участием компании Hugging Face, занимающейся разработкой программного обеспечения с искусственным интеллектом.

Таким образом, более широкий вопрос смещается от вопроса о том, могут ли системы искусственного интеллекта выполнять сложные задачи в области кибербезопасности, к вопросу о том, как следует ограничивать эти системы при их взаимодействии с реальной инфраструктурой.

В сфере безопасности ИИ наблюдается тенденция к усилению контроля.

Последние действия Калифорнии последовали за подписанным ранее в сентябре законом, который установил новые требования к независимым оценкам ИИ и надзору со стороны третьих лиц. Штат стремится ускорить внедрение этой системы по мере того, как модели ИИ становятся все более способными работать в компьютерных системах и онлайн-средах.

Инциденты с Gemini добавляют конкретный пример из области кибербезопасности к этой дискуссии. В трех случаях модель не причинила никакого вреда, и Google заявила, что прекратила работу после того, как выяснила, что системы принадлежат реальным компаниям. Тем не менее, эти события показали, как непреднамеренное подключение к интернету может изменить последствия оценки ИИ.

Для разработчиков эти инциденты подчеркивают важность изолированных тестовых сред, строго контролируемых учетных данных, сетевых ограничений и четких границ между моделируемыми и реальными системами. Для регулирующих органов они поднимают вопросы о независимом тестировании, отчетности об инцидентах и ​​механизмах остановки систем ИИ в случае сбоя существующих мер защиты.

Предлагаемый в Калифорнии «аварийный выключатель» пока остается лишь разрабатываемой политической и технической основой, а не проверенным универсальным решением. Его эффективность будет зависеть от того, как такой механизм будет спроектирован, независимо проверен и интегрирован в инфраструктуру, на которой работают передовые модели искусственного интеллекта.

По мере того как компании продолжают разрабатывать все более автономных агентов искусственного интеллекта , эпизод с Gemini показывает, что меры кибербезопасности становятся важной частью более широкого обсуждения безопасности ИИ — не только после внедрения, но и во время тестирования и оценки.