▲LLM 위협과 내재적·외재적 위협의 대표 유형

① 학습 데이터 편향 (Data Bias)

학습 데이터의 분포 편향이 모델의 답변에 그대로 반영되거나, 학습 과정에서 특정 문자열이 모델에 그대로 각인되어 추론 시점에 원문 형태로 재현(기억화)되는 위협을 의미합니다.

② 환각 (Hallucination)

모델이 실제 사실과 무관한 정보를 마치 사실인 것처럼 그럴듯하게 지어내어 답변을 생성하는 위협입니다. LLM 구조상 보편적으로 나타나는 대표적인 현상이며, 이를 보완하기 위해 신뢰할 수 있는 외부 지식을 참조하는 벡터 DB나 RAG(검색 증강 생성) 기법이 활용됩니다.

③ 정렬 실패 (Alignment Failure)

모델의 출력이 서비스 운영자의 정책이나 시스템 프롬프트가 규정한 범위를 벗어나는 위협입니다. 정렬(Alignment)은 모델의 출력이 기업의 안전 가이드라인 및 개발자의 의도와 일치하도록 보정하는 핵심 절차이지만, 최신 정렬 기법을 적용하더라도 완전히 제거하기 어려운 모델 본연의 한계로 작용합니다.

④ 확률적 비결정성 (Non-Determinism)

동일한 질문이나 프롬프트를 입력하더라도 모델의 출력이 매번 달라지는 특성을 의미합니다. LLM 자체의 확률적 연산 구조와 GPU 병렬 연산의 특성에 기인하며, 출력이 고정되지 않기 때문에 보안 취약점 점검의 재현이 어려워지고 다른 내재적 결함들과 복합적으로 맞물려 발생할 위험이 있습니다.

① 탈옥 (Jailbreak)

모델이 정책상 거부해야 할 유해하거나 비인가된 요청을 무력화하는 기법입니다. 요청 사항이나 시스템 프롬프트에 프롬프트 인젝션(Prompt Injection) 등을 통해 LLM이 취약한 단어·기호를 삽입·변조하여 모델의 사전 설정을 무력화하고 오작동을 유도합니다. 이는 OWASP LLM Top 10의 주요 취약점(LLM01 프롬프트 인젝션, LLM07 시스템 프롬프트 유출)과 연결됩니다.

② 모델 추출 (Model Extraction)

추론 API 엔드포인트에 반복적으로 질의를 전송하여 반환되는 입출력 패턴을 분석하고, 이를 통해 원본 모델을 복제하거나 핵심 자산을 역공학(Reverse Engineering)하는 공격입니다. 독자 개발한 모델이 탈취될 뿐만 아니라, 역추적 과정에서 기업의 핵심 학습 데이터와 개인정보 유출로 직결될 수 있는 고위험 보안 위협에 속합니다.

③ 공급망･인프라 공격

오픈소스 모델, 종속 라이브러리, 학습용 데이터셋, 벡터 DB 등 AI 파이프라인의 공급망을 사전에 오염시키거나, MCP(Model Context Protocol)와 같은 외부 도구 연결 지점에 악성 페이로드를 주입하는 위협입니다. 또한 보안 패치가 누락된 추론 서빙 엔진의 취약점, 에이전트 서비스에 부여된 과도한 권한 오용, 에이전트 하이재킹 및 메모리 변조 등을 통해 백엔드 인프라와 권한 체계를 직접 장악하는 공격 경로를 포괄합니다.

④ 고성능 모델 위협

고성능 모델(High Performance Model)은 기술의 최전선에 위치한 프론티어 AI, 사회적 영향력이 큰 고영향 AI, 범용 AI 등을 포괄하는 개념입니다. 최근 고도화된 모델들은 사이버 공격 시나리오를 자동으로 설계하거나 자율적인 의사결정을 지원하는 등, 공격자의 실행 능력 상한을 비약적으로 끌어올리는 강력한 무기로 악용되고 있습니다.

이는 공격자가 첨단 AI를 공격의 전용 도구로 삼는 차원의 위협입니다. 비록 기업의 LLM 서비스 운영자가 직접 통제할 수 있는 영역은 아니지만, 엔터프라이즈 위협 모델링을 수립할 때 공격자의 가용 역량이 급격히 향상되었음을 전제 조건으로 반드시 반영해야 합니다.