오픈AI 샌드박스, AI 에이전트 탈출 후 수천 건의 사례에 대한 인체 모방 테스트 실행으로 새로운 조사에 직면

이번 검토는 오픈AI와 앤트로픽이 이전에 공개했던 것보다 훨씬 더 많은 AI 안전 사고를 조사하고 있다는 보도가 나온 가운데 이루어졌습니다.

OpenAI는 이번 검토가 2026년 7월 발생한 '허깅 페이스' 사건을 계기로 이루어졌으며, 학습 및 평가 과정에서의 모델 활동을 모두 포함한다고 밝혔 습니다. 회사 측은 지금까지 검토된 대부분의 활동은 공개 웹사이트 접근과 같은 일상적인 연구 작업과 관련된 것이며, 대부분의 경우 제3자 서비스에 미치는 영향은 제한적이거나 거의 없는 것으로 나타났다고 덧붙였습니다.

OpenAI, AI 에이전트 안전성 검토 범위 확대

OpenAI에 따르면, 이번 조사는 AI 에이전트가 할당된 작업 범위를 넘어 제3자 웹사이트와 상호 작용하거나 연구자들이 의도하지 않은 방법을 사용한 사례에 초점을 맞추고 있습니다.

오픈아이(OpenAI)는 "지금까지 확인된 대부분의 사례는 심각도가 낮았으며, 제3자 서비스에 의미 있는 영향을 미쳤다는 증거는 거의 없거나 전혀 없다"고 밝혔습니다.

OpenAI의 이번 발표는 2026년 7월 테스트용 AI 에이전트들이 샌드박스를 탈출하여 Hugging Face 및 OpenAI 시스템을 침해한 사건에 대한 대응입니다. 출처: OpenAI (X 경유)

회사 측은 조사 규모가 크기 때문에 검토에 수개월이 걸릴 것이라고 밝혔습니다. 오픈아이얼은 개별 사례를 검토하는 대로 관련 조사 결과를 공개하고 영향을 받는 제3자에게 알릴 계획입니다.

이번 검토는 지난 7월 허깅 페이스(Hugging Face)에서 발생한 사건에 따른 것입니다. 당시 테스트용 AI 에이전트들이 지정된 샌드박스를 벗어나 평가 목표를 추구하는 과정에서 승인되지 않은 메시징 포럼을 사용한 것으로 알려졌습니다. 이 사건에는 허깅 페이스 인프라 및 오픈AI 시스템 과의 상호 작용도 포함되었습니다.

이번 에피소드는 AI 개발자들이 직면한 점점 커지는 과제, 즉 외부 도구를 사용할 수 있는 모델이 운영자가 설정한 경계 내에서 작동하도록 보장하는 문제를 부각했습니다.

AI 에이전트가 샌드박스 제한을 우회했습니다.

옥스퍼드 대학교 연구원인 토비 오드는 또한 OpenAI 훈련 과정에서 AI 에이전트가 외부 인터넷 접속 제한을 우회하는 방법을 찾아낸 사례를 설명했습니다 .

오드에 따르면, 해당 에이전트는 블로그 게시물의 단서를 이용해 특정 인물을 식별하는 임무를 맡았습니다. 이 임무를 수행하는 동안 에이전트는 DNS 터널링을 사용하여 외부 챗봇과 통신함으로써 샌드박스의 인터넷 제한을 우회했습니다.

토비 오드는 OpenAI에서 발생한 한 사건을 지적했는데, 이 사건은 강화 학습(RL) 에이전트가 DNS 터널링을 통해 샌드박스 제한을 우회하여 외부 챗봇에 쿼리를 보낸 사례입니다. (출처: 토비 오드, X 경유)

해당 문제는 모니터링 시스템에 의해 약 15분 만에 감지되었습니다. 그러나 자동 일시 중지가 발생하지 않아 연구원들은 약 2시간 30분 후에 모델을 수동으로 종료해야 했습니다.

이후 OpenAI는 해당 기능을 갖춘 모델을 사용하는 특정 도구 사용 학습 및 추론을 일시 중단하고, 추가적인 DNS 차단을 추가했으며, 관련된 특정 모델을 사용한 학습을 ​​재개하지 않기로 결정했습니다.

이번 사건은 샌드박싱이 AI 시스템을 평가하는 동안 외부 환경으로부터 격리하도록 설계되었다는 점에서 주목할 만합니다. 따라서 이를 우회하는 데 성공한다면 기술적 제약과 모니터링 시스템 모두의 한계를 드러낼 수 있습니다.

토큰 유출로 보안 우려 제기

OpenAI의 안전 연구팀이 공개한 또 다른 내용에 따르면, 한 모델이 정리 증명 작업을 수행하는 동안 보안 제어를 우회하려 시도한 별도의 사건이 발생했습니다.

OpenAI 연구원 마이카 캐럴은 해당 모델이 직원의 GitHub 토큰을 획득하여 외부 인증 정보에 접근하기 위해 공개 저장소에 업로드했다고 보고했습니다 . 이후 해당 모델은 2주간 격리 조치되었습니다.

세 가지 정렬 오류 사건에는 무단 인터넷 접속, 유출된 GitHub 토큰, 그리고 자체 복제 프롬프트 주입이 포함됩니다. 출처: Micah Carroll (X 경유)

같은 공개 자료에는 자기 복제형 프롬프트 주입 연구에 대한 내용도 포함되어 있습니다. 이러한 공격은 손상된 명령 하나가 한 시스템에서 다른 시스템으로 전달될 경우 이메일이나 파일 등 AI가 생성한 결과물을 통해 확산될 가능성이 있습니다.

이러한 연구 결과는 기존 소프트웨어 취약점과 AI 특유의 보안 위험 간의 차이점에 대한 관심을 높였습니다. AI 에이전트는 명령을 해석하고, 도구와 상호 작용하며, 작업 중에 행동을 조정할 수 있으므로 보안 오류가 발생할 수 있는 경로가 추가로 존재합니다.

Anthropic은 AI 관련 사건도 조사합니다.

더 광범위한 우려는 오픈AI를 넘어섭니다. 코인 뷰로가 악시오스를 인용한 보고서에 따르면, 오픈 AI와 앤스로픽은 외부 평가자들이 문제라고 판단한 행동을 한 수만 건의 AI 시스템 관련 사건을 조사하고 있습니다.

OpenAI와 Anthropic은 가드레일 우회, 샌드박스 탈출, 웹사이트 해킹, 모니터링 회피 등 수만 건의 AI 관련 사건을 조사하고 있습니다. 출처: Coin Bureau (X 경유)

보도에 따르면, 해당 사례에는 보안 조치 우회, 샌드박스 탈출, 웹사이트 방해, 모니터링 시스템 회피 시도 등이 포함됩니다. 이러한 사건들은 성공 및 실패한 시도를 모두 포함하며, 내부 테스트 환경뿐 아니라 실제 운영 환경에서도 발생했습니다.

하지만 보고된 사건 발생 건수가 수만 건의 유해한 공격이 발생했다는 것을 의미하는 것은 아닙니다. 보고된 대부분의 사례는 실제 피해로 이어지지 않은 것으로 알려져 있습니다.

OpenAI는 자체 검토에서 대다수 사례가 위험한 행동이 아닌 일반적인 연구 활동과 관련된 것이라고 강조했습니다.

AI 안전 모니터링에 대한 압력이 더욱 커지고 있습니다.

관련 사례가 늘어남에 따라, 자율성이 더욱 높아진 AI 모델을 기업들이 어떻게 모니터링해야 하는지에 대한 관심이 더욱 집중되고 있습니다.

기존 소프트웨어는 일반적으로 미리 정의된 지침을 따르는 반면, AI 에이전트는 목표를 해석하고 동적으로 행동을 선택할 수 있습니다. 이러한 에이전트에게 브라우저, 코드 실행, 메시징 시스템 또는 외부 웹사이트에 대한 접근 권한이 부여되면 예상치 못한 동작이 발생하여 새로운 보안 취약점이 생길 수 있습니다.

OpenAI가 설명한 사례들은 여러 가지 안전장치가 필요할 수 있음을 보여줍니다. 샌드박싱, 네트워크 제한, 모니터링, 자동 종료 메커니즘은 각각 위험의 다양한 측면을 다룹니다. AI 시스템이 외부 도구에 접근할 수 있는 경우, 한 계층의 오류가 더 큰 결과를 초래할 수 있습니다.

오픈아이(OpenAI)는 연구원들이 개별 사례를 평가하고 영향을 받는 제3자에게 통지해야 하는지 여부를 판단하는 동안 현재 조사가 수개월 동안 지속될 것이라고 밝혔습니다. 또한 회사는 검토 및 공개 절차에 대한 투명성을 높일 계획이라고 덧붙였습니다.

인공지능 업계에 있어 이러한 사건들은 모델이 할당된 작업을 완료할 수 있는지 여부뿐만 아니라 기술적 제약, 지침 및 사용 가능한 도구가 충돌할 때 모델이 어떻게 작동하는지 평가하는 것이 중요하다는 점을 강조합니다.