O Gemini do Google invadiu os sistemas de segurança de 3 empresas enquanto a Califórnia pressiona por regras de "desligamento" para inteligência artificial.

As violações do Gemini ocorreram durante uma avaliação de cibersegurança conduzida pela Irregular, uma empresa independente de testes de segurança com IA. O Google afirmou que o modelo estava operando em um teste projetado com empresas fictícias quando um acesso não autorizado à internet permitiu que ele alcançasse sistemas do mundo real.

Os incidentes ocorreram no momento em que a Califórnia se mobilizou para acelerar a supervisão da segurança da IA ​​e examinar um "botão de desligamento" de emergência para modelos avançados.

A Gemini AI invadiu a segurança de três empresas.

Segundo o Google, a Gemini descobriu informações disponíveis online e usou credenciais para acessar três sites que acreditava fazerem parte da operação autorizada.

Em um dos casos, o modelo teria adivinhado senhas até conseguir acessar um sistema protegido. Nos outros dois casos, o Gemini encontrou credenciais em um repositório de acesso público e as utilizou para obter acesso a sistemas protegidos, de acordo com reportagem publicada inicialmente pelo The Wall Street Journal e posteriormente confirmada pelo Google.

Em maio de 2026, durante um teste de segurança realizado pela Irregular, a inteligência artificial Gemini, do Google, invadiu os sistemas de três empresas, marcando sua primeira invasão autônoma conhecida por meio de acesso não autorizado à internet. Fonte: Reuters via X

O fator crucial foi uma conexão não intencional entre o ambiente de teste e a internet pública. O Gemini havia sido solicitado a obter informações de uma empresa fictícia, mas essa empresa fictícia tinha o mesmo nome de uma empresa real. Portanto, o modelo tratou os alvos do mundo real como parte de sua tarefa atribuída.

A vice-presidente de Engenharia de Segurança do Google, Heather Adkins, afirmou que o modelo interrompeu suas atividades após constatar que havia acessado empresas reais.

“Garantimos que as três entidades fossem informadas e trabalhamos com nosso parceiro de treinamento nas mudanças que elas implementaram em seus processos de teste”, disse Adkins. Ela acrescentou que os incidentes demonstraram a importância de treinar sistemas avançados de IA “para agirem com responsabilidade”.

O Google afirmou que as empresas afetadas foram notificadas e que foram feitas alterações no processo de teste. A empresa não indicou que os incidentes resultaram em danos às organizações envolvidas.

Testes de cibersegurança com IA expõem novos riscos

O incidente com o Gemini não é um caso isolado. Problemas semelhantes surgiram durante avaliações de cibersegurança envolvendo modelos da OpenAI, Anthropic e Meta, com o Irregular associado a vários dos testes.

A Irregular afirmou que o incidente com o Google teve origem no mesmo problema subjacente de testes que afetou outros laboratórios de IA. A empresa disse que os laboratórios relevantes foram notificados no final de julho e que os problemas conhecidos de sua parte já haviam sido corrigidos.

Uma configuração incorreta durante testes de captura de bandeira deu ao Gemini acesso não intencional à internet, permitindo que ele invadisse sistemas reais usando credenciais adivinhadas ou públicas antes de se autodestruir sem causar danos. Fonte: @KobeissiLetter via X

Os incidentes demonstram por que as avaliações de cibersegurança para agentes de IA exigem uma separação rigorosa entre alvos simulados e infraestrutura do mundo real. Um modelo pode receber um objetivo legítimo de teste de segurança, mas ainda assim encontrar informações, credenciais ou acesso à rede inesperados fora do ambiente pretendido.

Essa distinção está se tornando cada vez mais importante à medida que os sistemas de IA adquirem a capacidade de navegar na internet, interagir com softwares e executar tarefas complexas com intervenção humana limitada.

A Meta afirmou anteriormente que um incidente relacionado não envolveu uma fuga de sandbox nem um ataque cibernético sofisticado. A Irregular declarou estar trabalhando em práticas para conduzir avaliações de segurança cibernética de IA de forma mais segura.

Califórnia avança com proposta de "interruptor de segurança" para IA

A divulgação dos resultados do projeto Gemini ocorreu no mesmo dia em que o governador da Califórnia, Gavin Newsom, assinou uma ordem executiva com o objetivo de acelerar a implementação da estrutura de segurança e supervisão da inteligência artificial no estado.

A ordem de 18 de setembro orienta um grupo de especialistas a desenvolver recomendações para fortalecer as salvaguardas de IA recentemente promulgadas na Califórnia. Entre as medidas em consideração está um desligamento de emergência, comumente descrito como um "interruptor de desligamento" de IA, para modelos de IA de vanguarda.

Gavin Newsom assinou uma ordem executiva acelerando as regras de segurança de IA da Califórnia, incluindo uma supervisão mais rápida de modelos inovadores e recomendações para mecanismos de desligamento de emergência verificados de forma independente. Fonte: @GavinNewsom via X

A proposta exigiria que tal mecanismo fosse verificado de forma independente e contínua, caso fosse adotado. A ordem também exige uma supervisão independente mais rigorosa, incluindo possíveis planos de segurança de terceiros e definições ampliadas de incidentes críticos de segurança em IA.

A ordem executiva em si não impõe um requisito universal de "botão de desligamento" para empresas de IA. Em vez disso, orienta especialistas e agências estaduais a desenvolverem recomendações que possam fortalecer a implementação das leis de IA da Califórnia.

Espera-se que o grupo de especialistas apresente suas recomendações dentro de dois meses. A Califórnia afirmou que o trabalho se baseará na legislação assinada no início de setembro, incluindo o Projeto de Lei do Senado 813 e o Projeto de Lei da Assembleia 1405, que estabelecem padrões envolvendo avaliações independentes e supervisão por terceiros de sistemas de IA.

Da invasão de IA aos controles de emergência

A coincidência temporal entre os dois desenvolvimentos trouxe maior atenção à forma como os sistemas de IA devem ser controlados quando conectados a redes externas.

Os incidentes do Gemini não demonstraram um sistema de IA tentando deliberadamente escapar do controle humano em sentido amplo. Em vez disso, o modelo operou dentro de um teste de segurança cibernética, encontrou acesso não intencional à internet e tratou sistemas do mundo real como alvos legítimos antes de parar após reconhecer o erro.

Essa distinção é importante para as discussões sobre segurança da IA. A questão técnica imediata envolvia os limites do ambiente de teste, os controles de acesso e a interpretação das instruções pelo modelo.

A proposta da Califórnia para um desligamento de emergência aborda uma camada diferente do problema: o que os operadores devem ser capazes de fazer se um sistema avançado de IA se comportar de maneira inesperada após a sua implementação.

A ordem de Newsom exige especificamente que o estado considere a obrigatoriedade de relatórios para incidentes de "perda de controle", incluindo incidentes semelhantes ao recente ataque envolvendo a empresa de software de IA Hugging Face.

A questão mais ampla, portanto, está mudando: de saber se os sistemas de IA podem executar tarefas sofisticadas de segurança cibernética para como esses sistemas devem ser limitados quando interagem com a infraestrutura real.

Segurança da IA ​​caminha para uma supervisão mais rigorosa

A mais recente ação da Califórnia segue uma legislação assinada no início de setembro que estabeleceu novos requisitos para avaliações independentes de IA e supervisão por terceiros. O estado busca acelerar essa estrutura à medida que os modelos de IA se tornam mais capazes de operar em sistemas de computador e ambientes online.

Os incidentes do Gemini acrescentam um exemplo concreto de cibersegurança a esse debate. O modelo não causou danos relatados nos três casos, e o Google afirmou que o interrompeu após reconhecer que os sistemas pertenciam a empresas reais. Mesmo assim, os eventos expuseram como uma conexão não intencional com a internet pode alterar as consequências de uma avaliação de IA.

Para os desenvolvedores, os incidentes reforçam a importância de ambientes de teste isolados, credenciais rigorosamente controladas, restrições de rede e limites claros entre sistemas simulados e reais. Para os reguladores, levantam questões sobre testes independentes, relatórios de incidentes e mecanismos para interromper sistemas de IA quando as salvaguardas existentes falham.

O mecanismo de desativação proposto na Califórnia permanece uma estrutura política e técnica em desenvolvimento, e não uma solução universal comprovada. Sua eficácia dependerá de como esse mecanismo for projetado, verificado de forma independente e integrado à infraestrutura que executa modelos avançados de IA.

À medida que as empresas continuam a desenvolver agentes de IA cada vez mais autônomos , o episódio Gemini demonstra que as medidas de segurança cibernética estão se tornando uma parte importante da discussão mais ampla sobre segurança da IA ​​— não apenas após a implantação, mas também durante os testes e a avaliação.