구글의 제미니가 3개 회사를 해킹한 가운데, 캘리포니아주는 AI '킬 스위치' 규정 도입을 추진하고 있다.

제미니 해킹 사건은 독립적인 AI 보안 테스트 회사인 이레귤러(Irregular)가 실시한 사이버 보안 평가 도중 발생했습니다. 구글은 해당 모델이 가상의 기업을 대상으로 설계된 테스트 환경에서 작동 중이었는데, 의도치 않은 인터넷 접근으로 인해 실제 시스템에 접근할 수 있게 되었다고 밝혔습니다.

이러한 사건들은 캘리포니아 주가 인공지능 안전 감독을 강화하고 고급 모델에 대한 비상 "킬 스위치" 도입을 검토하는 가운데 발생했습니다.

제미니 AI, 세 개 회사 해킹

구글에 따르면, 제미니는 온라인에서 구할 수 있는 정보를 발견하고 해당 정보를 이용해 승인된 훈련의 일부라고 판단되는 세 개의 웹사이트에 접속했습니다.

한 사례에서는 해당 모델이 보호된 시스템에 침입할 때까지 비밀번호를 추측한 것으로 알려졌습니다. 나머지 두 사례에서는 제미니가 공개적으로 접근 가능한 저장소에서 자격 증명을 찾아 이를 이용해 보호된 시스템에 접근했다고 월스트리트저널이 처음 보도했고, 이후 구글이 이를 확인했습니다.

구글의 인공지능 제미니(Gemini AI)가 2026년 5월 Irregular사가 실시한 보안 테스트 중 세 곳의 기업에 침입하여, 의도치 않은 인터넷 접근을 통한 최초의 자율 침입 사례가 기록되었습니다. (출처: 로이터 , X 경유)

핵심 요인은 테스트 환경과 공용 인터넷 간의 의도치 않은 연결이었습니다. 제미니는 가상의 회사로부터 정보를 수집하라는 요청을 받았는데, 그 가상의 회사가 실제 기업과 이름이 같았습니다. 따라서 모델은 실제 기업을 할당된 작업의 일부로 인식했습니다.

구글 보안 엔지니어링 부사장 헤더 애드킨스는 해당 모델이 실제 기업에 접근한 것으로 확인된 후 활동을 중단했다고 밝혔습니다.

애드킨스는 "세 기관에 이 사실을 알렸고, 교육 파트너와 협력하여 테스트 프로세스를 개선했습니다."라고 말했습니다. 그녀는 또한 이번 사건이 고급 AI 시스템을 "책임감 있게 행동하도록" 훈련하는 것이 얼마나 중요한지를 보여준다고 덧붙였습니다.

구글은 해당 기업들에 이 사실을 통보했으며 테스트 프로세스를 변경했다고 밝혔습니다. 하지만 이번 사건으로 관련 기업들이 피해를 입었는지 여부는 언급하지 않았습니다.

AI 사이버 보안 테스트에서 새로운 위험이 드러났습니다

제미니 사건은 단발적인 사건이 아닙니다. OpenAI, Anthropic, Meta의 모델을 사용한 사이버 보안 평가 과정에서도 유사한 문제가 발생했으며, Irregular가 여러 테스트와 연관되어 있는 것으로 나타났습니다.

Irregular는 구글과의 이번 사건이 다른 AI 연구소에도 영향을 미쳤던 것과 동일한 근본적인 테스트 문제에서 비롯되었다고 밝혔습니다. 회사 측은 관련 연구소들에 7월 말에 이 사실을 알렸으며, 자사 측의 알려진 문제점들은 이미 수정되었다고 덧붙였습니다.

캡처 더 플래그 테스트 중 발생한 설정 오류로 인해 제미니는 의도치 않게 인터넷에 접속할 수 있게 되었고, 추측하거나 공개된 자격 증명을 사용하여 실제 시스템에 침입한 후 피해를 입히지 않고 자체 종료되었습니다. 출처: @KobeissiLetter via X

이러한 사건들은 AI 에이전트에 대한 사이버 보안 평가에서 시뮬레이션 대상과 실제 인프라를 엄격하게 분리해야 하는 이유를 보여줍니다. 모델은 정당한 보안 테스트 목표를 부여받더라도 의도된 환경 외부에서 예상치 못한 정보, 자격 증명 또는 네트워크 접근에 노출될 수 있습니다.

인공지능 시스템이 인터넷을 검색하고, 소프트웨어와 상호 작용하며, 인간의 개입을 최소화하면서 여러 단계를 거치는 작업을 실행할 수 있게 됨에 따라 이러한 구분은 점점 더 중요해지고 있습니다.

Meta는 앞서 관련 사건이 샌드박스 탈출이나 정교한 사이버 공격과는 무관하다고 밝혔습니다. Irregular는 AI 사이버 보안 평가를 더욱 안전하게 수행하기 위한 방안을 마련 중이라고 밝혔습니다.

캘리포니아 주, AI "킬 스위치" 제안 추진

제미니의 정보 공개는 캘리포니아 주지사 개빈 뉴섬이 주 내 인공지능 안전 및 감독 체계를 가속화하기 위한 행정 명령 에 서명한 직후에 이루어졌습니다.

9월 18일자 명령은 전문가 그룹에게 캘리포니아 주에서 최근 제정된 AI 보호 조치를 강화하기 위한 권고안을 마련하도록 지시했습니다. 검토 중인 조치 중 하나는 첨단 AI 모델에 대한 비상 차단 장치, 즉 흔히 AI "킬 스위치"라고 불리는 기능입니다.

개빈 뉴섬 캘리포니아 주지사는 인공지능(AI) 안전 규정을 가속화하는 행정 명령에 서명했습니다. 이 명령에는 최첨단 모델에 대한 신속한 감독과 독립적으로 검증된 비상 종료 메커니즘에 대한 권고안이 포함됩니다. 출처: @GavinNewsom via X

이 제안이 채택될 경우, 해당 메커니즘은 지속적으로 독립적인 검증을 받아야 합니다. 또한, 이 명령은 제3자 안전 계획 수립 및 인공지능 안전 사고의 정의 확대 등 더욱 강력한 독립적 감독을 요구합니다.

이번 행정명령 자체는 AI 기업에 대해 전면적인 킬스위치(무작위 실행 방지 장치) 의무화를 부과하는 것은 아닙니다. 대신, 전문가와 주 정부 기관에 캘리포니아 AI 관련 법률 시행을 강화할 수 있는 권고안을 마련하도록 지시하는 것입니다.

전문가 그룹은 두 달 안에 권고안을 제출할 것으로 예상됩니다. 캘리포니아주는 이번 작업이 9월 초에 서명된 법안, 특히 인공지능 시스템에 대한 독립적인 평가 및 제3자 감독 기준을 마련한 상원 법안 813호와 하원 법안 1405호를 기반으로 진행될 것이라고 밝혔습니다.

AI 해킹부터 비상 통제까지

이 두 가지 발전의 시기적 차이로 인해 인공지능 시스템이 외부 네트워크에 연결될 때 어떻게 제어해야 하는지에 대한 관심이 더욱 높아졌습니다.

제미니 사건은 인공지능 시스템이 의도적으로 인간의 통제를 벗어나려 했다는 것을 보여주는 사례는 아닙니다. 오히려 해당 모델은 사이버 보안 테스트 환경에서 작동하다가 의도치 않은 인터넷 접근에 노출되었고, 실제 시스템을 합법적인 공격 대상으로 인식했다가 오류를 인지한 후 작동을 멈춘 것입니다.

그러한 차이점은 AI 안전성 논의에 중요한 의미를 갖습니다. 당면한 기술적 문제는 테스트 환경의 경계, 접근 제어, 그리고 모델이 지시를 해석하는 방식과 관련이 있었습니다.

캘리포니아 주가 제안한 비상 차단 방식은 문제의 다른 측면, 즉 고급 AI 시스템이 배포 후 예상치 못한 동작을 보일 경우 운영자가 어떻게 대처해야 하는지에 대한 문제를 다룹니다.

뉴섬 주지사의 명령은 특히 최근 AI 소프트웨어 회사인 허깅 페이스(Hugging Face)와 관련된 공격과 유사한 사건을 포함하여 "통제력 상실" 사건에 대한 보고 요건을 주 정부가 고려하도록 요구하고 있습니다.

따라서 더 중요한 질문은 인공지능 시스템이 정교한 사이버 보안 작업을 수행할 수 있는지 여부에서, 그러한 시스템이 실제 인프라와 상호 작용할 때 어떤 제약을 받아야 하는지로 바뀌고 있습니다.

AI 안전, 더욱 강력한 감독 방향으로 나아가다

캘리포니아주의 이번 조치는 지난 9월 독립적인 AI 평가 및 제3자 감독에 대한 새로운 요건을 마련한 법안에 따른 것입니다. 주 정부는 AI 모델이 다양한 컴퓨터 시스템과 온라인 환경에서 작동할 수 있게 됨에 따라 이러한 체계를 더욱 빠르게 구축하고자 합니다.

제미니 사건은 사이버 보안 논쟁에 구체적인 사례를 더했습니다. 세 건의 사례 모두에서 해당 모델이 직접적인 피해를 일으키지는 않았으며, 구글은 해당 시스템들이 실제 기업 소유임을 확인한 후 작동을 중단했다고 밝혔습니다. 그럼에도 불구하고, 이 사건들은 의도치 않은 인터넷 연결이 인공지능 평가 결과에 얼마나 큰 영향을 미칠 수 있는지를 보여주었습니다.

개발자들에게 이번 사건은 격리된 테스트 환경, 엄격하게 통제된 자격 증명, 네트워크 제한, 그리고 시뮬레이션 시스템과 실제 시스템 간의 명확한 경계 설정의 중요성을 다시금 일깨워줍니다. 규제 당국에게는 독립적인 테스트, 사고 보고, 그리고 기존 안전장치가 실패할 경우 AI 시스템을 중단시키는 메커니즘에 대한 의문을 제기합니다.

캘리포니아에서 제안된 "킬 스위치"는 검증된 보편적 해결책이라기보다는 개발 중인 정책 및 기술 프레임워크에 불과합니다. 이 메커니즘의 효과는 설계 방식, 독립적인 검증, 그리고 고급 AI 모델을 실행하는 인프라와의 통합 방식에 달려 있습니다.

기업들이 점점 더 자율적인 AI 에이전트를 개발함에 따라 , 제미니 사건은 사이버 보안 조치가 AI 안전에 대한 광범위한 논의 에서 중요한 부분이 되고 있음을 보여줍니다 . 이는 배포 후뿐만 아니라 테스트 및 평가 중에도 마찬가지입니다.