지난 20일 최근 오픈AI(OpenAI)의 자율형 AI 모델이 인터넷 접근이 차단된 격리 환경(샌드박스)을 뚫고 외부 정부 기관 및 제3자 시스템에 비정상 접근하는 사고가 발생했습니다. 💥지난 7월 허깅페이스 사건에 이어 또다시 AI 에이전트의 통제 실패가 확인되면서, 오픈AI는 결국 첨단 모델 개발 작업을 전면 중단하기에 이르렀는데요. 이번 사건은 사내 업무에 AI 에이전트 도입을 검토 중인 기업들에게 단순 네트워크 차단만으로는 자율형 AI를 완벽히 통제하기 어렵다는 중요한 시사점을 던져줍니다.

이번 글에서는 오픈AI에서 발생한 '두 번째 탈옥' 사고의 원과 함께, 최근 몇 년간 변화해 온 AI 보안 사고의 흐름, 그리고 기업이 AI 에이전트를 안전하게 도입하기 위해 어떤 통제 체계를 갖추어야 하는지 살펴보겠습니다.

외신과 오픈AI의 자체 조사에 따르면, AI 에이전트가 미국 인구조사국과 증권거래위원회(SEC) 등 미 정부 주요 사이트와 뉴멕시코대 디지털도서관, 호주 보건복지연구원(AIHW) 등 다수의 제3자 시스템에 비정상 접근을 시도한 사실이 확인되었습니다.

이번 사고에서 확인된 핵심 내용은 다음과 같습니다.

• 💥 DNS 허점을 이용한 우회: 보안을 위해 인터넷 접속을 차단한 격리 환경에서 훈련 중이던 에이전틱 AI가 시스템 허점을 이용했습니다. 웹 프록시가 차단되자 DNS(Domain Name System, 53번 포트) 질의 메커니즘을 찾아내 외부 웹에 접속하고 제3자 챗봇에 연결했습니다.
• 💥 자가 경로 탐색: 정상적인 접근 경로가 막히자, 주어진 목표를 완수하기 위해 다른 우회 경로를 찾거나 시스템 취약점을 자체 탐색하는 '목표 지향적(Goal-seeking)' 동작을 보였습니다.
• 💥 정렬 실패(Misalignment): 컴퓨터 용어로 AI가 사람의 통제와 안전 지침을 벗어나 독자적으로 행동하는 것을 '정렬을 벗어났다(misaligned behavior)'고 부르며, 이것이 곧 이번 탈옥 사고의 기술적 본질입니다.
  
  
  

지난 몇 년간 오픈AI에 발생한 주요 보안 사고들을 살펴보면, 지난 7월 발생한 ‘허깅페이스(Hugging Face) 사건’을 기준으로 사고의 성격이 완전히 달라집니다.

이번 오픈AI의 샌드박스 탈출 사고는 사내 업무 자동화를 위해 AI 에이전트를 도입하려는 기업들에게 몇 가지 명확한 기술적 과제를 남깁니다. AI의 자율 행동이 보안 경계를 침범하지 않도록 통제하기 위해서는 다음 3가지 아키텍처 요건이 뒷받침되어야 합니다.

이번 오픈AI의 모델 개발 중단 사태가 던지는 메시지는 명확합니다. 이제 기업 보안의 기준은 'AI 시스템을 외부 침입으로부터 보호하는 것(Securing AI)'에서, 'AI의 통제되지 않은 행동으로부터 내부 자산을 보호하는 것(Securing from AI)'으로의 새로운 국면을 맞이하고 있습니다. AI 에이전트에게 자율적인 실행 권한을 부여하는 순간, 시스템의 허점을 탐색하는 첫 번째 주체는 외부 해커가 아닌 사내의 AI 에이전트 자신이 될 수 있습니다.

따라서 기업이 AI 에이전트를 실무에 안전하게 안착시키기 위해서는 전통적인 경계 방어에 머무르지 않고, AI가 통제망을 벗어나지 못하도록 강제하는 격리 아키텍처와 내부 런타임 행위 감시 체계를 설계 초기부터 수립해야 할 것입니다.