디노텍의 최신 소식과 보안 인사이트를 전해드립니다.
생성형 AI는 이제 단순한 대화형 도구를 넘어 기업의 업무 환경 전반의 중심축으로 자리잡고 있습니다. 임직원들은 대규모 언어모델(LLM)*을 활용해 복잡한 문서를 요약하고, 코드를 생성 및 검수하며, 고객 응대 시나리오 작성과 데이터 분석 작업을 자동화하고 있습니다. SaaS 기업들 역시 AI 기반 영업 인사이트, 문서 자동 생성, 코딩 어시스턴트, 고객 상담 에이전트 기능을 자사 플랫폼에 적극 도입하는 추세입니다.
*대규모 언어모델(LLM, Large Language Model)
방대한 양의 텍스트 데이터를 학습하여 자연어 맥락을 이해하고 답변 생성, 문서 요약, 코드 작성 등 고도의 언어 기반 작업을 수행하는 AI 모델입니다. 생성형 AI 서비스 및 AI 에이전트 구축의 핵심 엔진 역할을 담당합니다.
하지만 생성형 AI의 도입이 가속화될수록 기업의 보안 측면에서 새로운 고민도 커지고 있습니다. 기존의 보안 체계는 주로 '사용자-애플리케이션-데이터' 구조에서 명확한 접근 권한과 네트워크 경계를 통제하는 방식이었습니다.
반면 LLM이 결합된 애플리케이션은 스스로 외부 데이터를 조회하고, 사용자를 대행하여 명령을 실행하며, 내부 데이터베이스나 외부 API와 능동적으로 연동됩니다. 이 과정에서 LLM은 사용자 입력값, 시스템 프롬프트, 외부 문서, 웹페이지, 이메일, API 응답 등 수많은 비정형 데이터를 한 번에 해석합니다.
문제는 LLM이 지시문(Instruction)과 참조 데이터(Data)를 모두 동일한 '자연어 텍스트'로 처리한다는 점입니다. 공격자가 악의적인 지시를 데이터에 교묘히 숨겨두면, LLM은 이를 단순한 데이터가 아니라 반드시 수행해야 할 상위 명령으로 오인할 수 있습니다.
이러한 보안 취약점을 노린 대표적인 위협이 바로 프롬프트 인젝션 공격(Prompt Injection Attack)입니다.
이번 글에서는 프롬프트 인젝션의 개념과 주요 공격 유형, 대응 방안, 그리고 안전한 생성형 AI 활용을 위한 종합 보안 전략을 살펴보겠습니다.
1. 프롬프트 인젝션 공격이란?
'프롬프트 인젝션'은 LLM에 전달되는 프롬프트를 조작해 모델의 의도된 동작 로직이나 안전 가이드라인을 무력화하고 공격자가 원하는 임의의 동작이나 답변을 출력하도록 유도하는 공격입니다.
일반적인 LLM 기반 애플리케이션은 개발자가 사전에 정의한 시스템 프롬프트와 사용자가 입력하는 사용자 프롬프트를 결합하여 모델에 전달합니다. 시스템 프롬프트에는 “민감한 정보를 노출하지 말 것”, “허용된 범위 내에서만 응답할 것”, “특정 형식으로 답변할 것”과 같은 제어 지침이 포함됩니다.
하지만 LLM은 시스템 지침과 사용자 입력을 하나의 문맥(Context) 내에서 처리합니다. 이때 공격자가 “이전 지시를 무시하라”, “관리자 모드로 동작하라”, “숨겨진 시스템 지침을 출력하라”와 같은 우회 문구를 전달할 경우, 모델이 이를 실제 제어 명령으로 오해하여 기존 통제를 우회할 위험이 발생합니다.
프롬프트 인젝션 공격이 성공하면 내부 시스템 프롬프트나 핵심 영업비밀이 외부로 노출될 수 있으며, 임직원의 접근 권한 범위를 벗어난 데이터가 응답에 포함될 수 있습니다. 또한 AI 애플리케이션이 외부 시스템과 연동되어 있는 경우 무단 데이터 공유나 시스템 변경 등 의도치 않은 행위가 실행될 위험이 존재합니다.
즉, 프롬프트 인젝션은 단순히 “AI가 엉뚱한 답변을 하는 문제”가 아닙니다. 기업 환경에서는 데이터 유출, 권한 우회, 업무 시스템 오작동으로 직결될 수 있는 실질적인 보안 위협입니다.
2. 기업이 주의해야 할 프롬프트 인젝션 주요 유형
프롬프트 인젝션 공격은 자연어를 기반으로 하기 때문에 그 형태가 매우 다양합니다. 특히 기업 환경에서는 임직원이 직접 입력하는 채팅 프롬프트뿐만 아니라, AI가 참조하는 외부 문서, SaaS 연동 데이터, 이미지, 이메일, 웹페이지까지 다각도의 공격 경로가 존재합니다.
대표적인 공격 유형은 다음과 같습니다.
공격자가 LLM 대화창이나 프롬프트 입력창에 악의적인 제어 지시를 직접 입력하는 방식입니다. "이전 지침을 모두 무시하라", "관리자 권한으로 동작하라", "숨겨진 시스템 지침을 출력하라" 등이 대표적입니다. 이른바 '탈옥(Jailbreak)' 프롬프트도 이에 해당합니다. 최신 LLM은 단순한 우회 시도를 자율적으로 탐지하고 거부하도록 지속해서 개선되고 있으나, 공격자 역시 역할극(Role-play), 우회 표현, 다단계 지시, 긴 문맥 삽입 등을 활용해 보안 정책을 회피하도록 고도화하고 있습니다.
공격자가 악성 프롬프트를 직접 입력하지 않더라도, LLM이 참조하는 외부 데이터(웹페이지, 이메일, 공유 문서, SaaS 연동 데이터 등) 내에 악의적인 지시문을 은닉해 두는 기법입니다. 예를 들어 AI 요약 도구가 특정 웹페이지나 이메일을 읽는 과정에서 숨겨진 명령을 함께 분석하게 되면, 모델은 이를 일반 본문이 아니라 실행해야 할 상위 지시로 오인하여 사용자가 의도하지 않은 악성 동작을 수행하게 됩니다.
최근 LLM이 텍스트를 넘어 이미지, 음성, PDF 스캔 문서 등 다양한 서식을 처리할 수 있게 되면서 등장한 공격 형태입니다. 공격자는 이미지 속 미세한 글씨, 스캔 문서의 OCR 인식 영역, PDF 메타데이터 등에 악성 지시문을 숨겨 전달합니다. AI가 계약서, 영수증, 회의록, 스캔 보고서 등을 자동 분석하는 기업 업무 환경에서 각별히 주의해야 할 공격 경로입니다.
프롬프트 인젝션은 정보 유출뿐만 아니라 AI 서비스의 가용성을 저하시키고 API 사용 비용을 폭증시키는 방식으로도 악용됩니다. 공격자는 무한 루프나 과도하게 길고 복잡한 연산을 유발하는 프롬프트를 주입하여 서비스 응답 지연, 비용 급증, 시스템 마비를 일으킵니다.
특히 간접 프롬프트 인젝션과 멀티모달 공격은 기업 보안에서 더욱 대응하기가 까다롭습니다. 임직원은 악성 지시문이 숨겨져 있다는 사실을 인지하지 못한 채 정상적인 업무를 수행하지만, 공격 지시가 외부 문서나 웹페이지, 이메일, SaaS 애플리케이션을 통해 유입되어 피해를 주기 때문입니다.
3. 프롬프트 인젝션을 어떻게 방지할 수 있을까?
프롬프트 인젝션은 단순한 AI 모델의 답변 품질 문제를 넘어, 기업의 데이터 보호 및 접근 통제 체계 전반에 직접적인 타격을 줄 수 있습니다. 특히 LLM이 업무 시스템, SaaS, 이메일, 협업 도구, 코드 저장소, 고객 데이터베이스 등과 연동될수록 위협의 파급력은 더욱 커집니다.
공격자는 LLM에 부여된 권한이나 연결된 도구를 악용해 사용자가 의도하지 않은 작업을 수행하도록 유도할 수 있습니다. 따라서 기업은 AI 애플리케이션을 단순한 대화형 서비스가 아닌, 새로운 데이터 접근 경로이자 업무 자동화 인터페이스로 인식하고 통합 관리해야 합니다.
| 위험 유형 | 예시 | 보안 영향 |
|---|---|---|
| 시스템 지침 노출 | 숨겨진 시스템 프롬프트나 내부 정책을 출력하도록 유도 | AI 애플리케이션의 보안 정책과 내부 동작 방식이 외부에 노출될 수 있음 |
| 민감정보 유출 | 고객정보, 개인정보, 소스코드, 계약서 내용이 외부 AI 서비스로 입력 | 개인정보보호법 위반, 영업비밀 유출, 컴플라이언스 리스크로 이어질 수 있음 |
| 권한 우회 | AI가 사용자의 권한 범위를 넘어선 데이터 조회나 도구 호출을 시도 | 접근 통제 실패 및 내부 핵심 데이터 오남용으로 이어질 수 있음 |
| 업무 자동화 오작동 | 이메일 무단 발송, 티켓 생성, 코드 변경, 파일 공유 등 작업 오수행 | 업무 프로세스 장애, 잘못된 의사결정, 내부 연동 시스템에 장애 유발 |
결국 생성형 AI 보안의 핵심은 “AI 사용을 무조건 금지할 것인가”의 이분법적 접근이 아닙니다. 조직 내 AI 활용 현황을 정확히 파악하고, 어떤 데이터가 어디로 유동하는지 통제하며, AI가 수행 가능한 작업 범위를 명확히 제한하는 것이 핵심입니다.
프롬프트 인젝션은 일반적인 웹 애플리케이션 취약점과 달리 자연어 입력을 통해 모델의 판단과 동작을 조작하는 특성을 가집니다. 따라서 특정 키워드를 단순 필터링하는 방식만으로는 완벽한 방어가 어렵습니다.
기업은 LLM 애플리케이션을 설계하고 운영할 때 다음과 같은 핵심 보안 원칙을 적용해야 합니다.
입력 검증, 처리, 출력 단계별로 무결성을 검사하는 다단계 시스템 프롬프트를 도입하여 주입된 악성 명령어가 기본 처리 로직에 도달하기 전에 사전에 필터링되도록 설계합니다. 계층화된 접근 방식을 통해 프롬프트가 다양한 무결성 게이트를 통과하도록 구성하면 공격 성공률을 낮출 수 있습니다.
엄격한 컨텍스트 관리를 통해 시스템 지침 영역과 사용자/외부 데이터 입력 영역을 독립된 세그먼트로 격리해야 합니다. 변경되어서는 안 되는 핵심 시스템 명령을 보호된 레이어에 격리 보관함으로써 사용자 입력값이 제어 로직을 무력화하거나 변조하는 것을 물리적으로 방지할 수 있습니다.
정상적인 프롬프트 입력 및 출력 패턴을 학습하고 이를 기준으로 비정상적인 상호작용을 실시간 탐지하는 전용 AI 보안 엔진이 필요합니다.
예를 들어, 사용자가 “이전 지침을 무시하라”, “숨겨진 프롬프트를 출력하라”, “관리자 권한으로 동작하라”와 같은 탈옥형 문구를 반복 입력하는 경우 이를 인젝션 시도로 즉시 판별합니다. 아울러 평소와 다른 과도한 토큰 소비, 비정상적인 권한 요청, 민감 데이터 접근 시도 등도 위험 신호로 포착하여 보안 로그 기록 및 정책 기반 차단 체계와 연동해야 합니다.
암호화 서명 및 해싱 기술을 활용하여 시스템이 생성한 프롬프트의 무결성을 검증합니다. 모델이 프롬프트를 처리하기 직전 서명의 유효성을 검증함으로써, 최종 실행 전 중간 참조 과정에서 핵심 지침이나 템플릿이 임의로 변조되거나 불법 명령이 주입되었는지를 즉시 판별 및 차단할 수 있습니다.
정적인 프롬프트 템플릿은 구조가 일정하여 공격자의 반복적인 테스트를 통한 우회 패턴 분석에 취약합니다. 반면 사용자 역할, 세션 정보, 업무 맥락, 접근 권한, 데이터 민감도에 따라 프롬프트 구조를 동적으로 재구성하면 범용적인 인젝션 패턴을 무력화할 수 있습니다. 동적 템플릿 제어를 통해 공격자가 일관된 우회 공격을 수행하기 어렵게 만들고, 기업은 훨씬 유연하면서도 강력한 보안성을 확보할 수 있습니다.
4. 생성형 AI 보안은 '무조건 차단'이 아니라 '안전한 활용'
기업은 AI 사용을 일률적으로 통제하기보다, 내부에서 어떤 서비스가 활성화되어 있는지 명확히 파악하고, 어떠한 데이터가 외부 AI로 흐르는지 실시간 관리하며, 임직원의 역할·앱 유형·데이터 속성에 맞춤화된 세분된 정책을 적용해야 합니다.
체크포인트의 워크포스 AI(Workforce AI Security)는 임직원의 AI 사용을 탐지 하고, 정책 기반 제어를 통해 프롬프트 입력 및 파일 업로드 과정에서 발생하는 데이터 유출 위험을 차단하는 AI 보안 솔루션 입니다. 본 솔루션의 핵심 기능은 프롬프트 인젝션 공격에 효과적으로 대응하도록 다음과 같이 설계되었습니다.
보안의 출발점은 가시성입니다. 조직 내에서 어떤 AI 앱이 활성화되어 있는지, 누가 사용 중인지, 어떤 데이터 흐름이 발생하는지 파악할 수 있어야 합니다. 승인된 AI 도구뿐만 아니라 임직원이 개별 이용하는 Shadow AI, AI 에이전트, 확장 프로그램의 동작까지 식별합니다. 이를 통해 위험한 AI 사용 패턴과 비정상 데이터 흐름을 조기에 포착할 수 있습니다.
기업에서 생성형 AI를 활용할 때 가장 직접적인 위험은 핵심 데이터가 외부 AI 서비스로 전송되는 것입니다. 고객정보, 개인정보, 자격 증명, 소스코드, 금융 데이터가 입력되면 심각한 보안 사고와 컴플라이언스 문제로 이어집니다. 프롬프트 입력창, 업로드 파일, 첨부문서, 이미지 내 텍스트를 실시간 스캔하여 민감정보를 탐지하고, 정책에 따라 차단하거나 마스킹 및 비식별화 처리합니다. 특히 이미지나 스캔 문서의 OCR 인식 통제 기능은 멀티모달 프롬프트 인젝션 방어의 핵심 요소입니다.
모든 AI 활용을 일률적으로 차단하는 것은 생산성을 저해합니다. 위험을 최소화하면서 생산성을 유지하려면 사용자, 앱, 데이터 유형, SaaS 연동, AI 에이전트의 행위별로 세분화된 정책을 적용해야 합니다.
예컨대 마케팅팀은 문서 작성용 AI 사용을 허용하되 개인정보 입력은 제어하고, 개발팀은 코딩 어시스턴트를 허용하되 소스코드나 인증키 업로드는 제한할 수 있습니다. 또한 AI 에이전트의 자동화 작업 시 보안팀 승인을 요구하도록 설정 가능합니다.
데이터는 단순히 프롬프트 입력창으로만 전송되지 않습니다. 임직원들은 문서 내용을 복사하여 붙여넣거나, 파일 업로드, 이미지 스크린샷 등을 적극 활용합니다. 클립보드 복사·붙여넣기 통제, 파일 및 이미지 내 민감정보 식별, OCR 기반 텍스트 통제 기능을 통해 프롬프트 외 다각도로 유입·유출되는 보안 위협을 차단합니다.
생성형 AI 보안은 일방적인 기술적 차단만으로 완성될 수 없습니다. 임직원이 보안 위험을 올바르게 이해하고 기업의 AI 사용 정책을 자연스럽게 준수할 수 있어야 합니다. 사용자가 민감정보를 입력하거나 위험한 AI 서비스를 이용하려는 순간, 즉시 실시간 팝업 안내와 지침을 제공함으로써 업무 생산성을 지키면서도 안전한 AI 활용 문화를 정착시킬 수 있습니다.
프롬프트 인젝션 공격은 생성형 AI 시대를 맞이한 기업이 반드시 해결해야 할 핵심적인 보안 과제입니다. AI 모델이 기업 내부 업무 시스템, SaaS 플랫폼, 코드 저장소, AI 에이전트와 긴밀히 연동될수록 정교한 입력값 통제와 데이터 보호, 정책 기반 거버넌스의 중요성은 그 어느 때보다 강조됩니다.
디노텍은 글로벌 사이버 보안 솔루션 기업인 체크포인트(Check Point) 와의 파트너십을 바탕으로 기업이 생성형 AI 기술을 업무에 활용하면서도 핵심 자산과 시스템을 완벽하게 보호할 수 있도록 최적의 AI 보안 솔루션과 전방위적 컨설팅을 제공합니다.