AI는 이제 전국적인 사이버 범죄와 국가 차원의 공격에서 실시간으로 명령을 수행하며, 탈취한 데이터를 분석하고 후속 침투 과정을 직접 지시합니다.

1주일 안에 88,000줄의 악성 소프트웨어 제작

한 개발자가 AI를 활용해 일주일 만에 포괄적인 공격 프레임워크를 생성했습니다. 이는 오퍼레이터의 사소한 실수를 통해서만 AI가 개입했음을 파악할 수 있을 정도로 완성도가 높았습니다.

3개월 동안 간접 프롬프트 주입(Indirect Prompt Injection) 5배 증가

2026년 3월부터 5월까지 악성 페이로드 탐지 건수가 급격히 증가했습니다. 이는 공격 경로가 콘텐츠 기반 및 동적 에이전트 환경으로 확실히 전환되고 있음을 보여줍니다.

단 한 번의 검색으로 1초 만에 400개의 민감 파일 유출

승인된 ChatGPT 통합 기능을 통해 단 한 번의 검색으로 400개 이상의 사내 민감 파일이 노출되었으며, 그 과정에서 어떠한 보안 경고도 발생하지 않았습니다.

사내 고위험 프롬프트 비율은 1년 동안 2배로 늘어나 약 4%에 달했습니다. 기업들은 매월 평균 10개의 AI 애플리케이션을 사용하고 있지만, 상당수가 공식적인 통제 없이 쓰이고 있어 유출 위험이 지속적으로 커지고 있습니다.

합성된 가상 신원은 대규모 사기, KYC(본인 인증) 우회, 기업 침투에 광범위하게 악용되고 있으며, 음성·영상·문서 기반 인증 체계 전반을 위협하고 있습니다.

AI는 이제 스스로 해킹을 수행하고, 악성 소프트웨어를 제작하는 수준에 도달했습니다. 동시에 AI 시스템 자체가 공격 대상이 되어, 모델 오염이나 인텔리전스 인프라 노출이 실제 주요 공격 경로로 작동하고 있습니다. 또한 목소리, 얼굴, 실시간 비디오까지 정교하게 위조하는 신원 위변조 공격이 본격화되었습니다.

Q. 공격자들은 어떻게 AI를 활용하고 있나요?

공격자들은 주로 탈옥(Jailbreak)된 상용 모델을 이용해 악성코드를 작성 및 디버깅하고, 실시간 침투를 수행하며, 과거에는 전문 팀이 수 주 동안 구축해야 했던 공격 인프라를 빠르게 완성합니다.

실제로 한 개발자는 AI를 이용해 일주일 만에 88,000줄 규모의 C&C(명령 및 제어) 프레임워크를 구축하기도 했습니다. 더 나아가 최근의 우회 기법은 단순한 프롬프트 조작을 넘어, 여러 세션에 걸쳐 에이전트가 신뢰하도록 설계된 구성 파일을 심는 방식으로 진화했습니다.

Q. 어떤 산업이 AI 보안 위험에 가장 크게 노출되어 있나요?

비즈니스 서비스, 도매 및 유통, 통신, 소프트웨어 등의 산업이 평균보다 높은 AI 위협 지수를 보이고 있습니다. 그중에서도 비즈니스 서비스 분야가 가장 위험하며, 이는 직원들이 사내 업무와 민감한 비즈니스 환경을 외부 AI 도구에 위탁하는 비중이 늘어나면서 지속적으로 상승하고 있습니다.

Q. 왜 AI는 사이버 보안 환경을 근본적으로 바꾸고 있을까요?

AI가 공격에 소요되는 시간과 비용, 요구되는 기술 장벽을 대폭 낮추는 동시에 방어자에게는 완전히 새로운 방어 영역을 요구하기 때문입니다. 조직이 업무 효율성을 높이기 위해 도입한 동일한 도구를 공격자 역시 학습하여 악용하고 있으며, 실시간 공방전 속에서 양측 모두가 같은 AI 도구를 맞대고 있습니다.

👔 CISO 및 보안 리더

🕵️‍♂️ SOC 및 위협 인텔리전스(TI) 담당자

⚙️ 에이전틱 AI(Agentic AI) 또는 MCP 통합 환경을 구축하는 보안 아키텍트

📋 사내 AI 도입에 따른 위험 및 컴플라이언스를 관리하는 책임자

🛡️ 즉, AI를 보호하거나 AI로부터 시스템을 방어해야 하는 모든 보안 실무진