“당신의 AI는 이미 오염되었다.”

2026년 2월 28일 현재, 전 세계 보안 업계를 강타한 가장 충격적인 헤드라인이다. 불과 일주일 전, 오픈소스 AI 생태계의 성지라 불리는 허깅페이스에서 상위 100개 모델 중 30%가 미세하게 변조된 ‘신경망 백도어’를 포함하고 있다는 사실이 드러났다.

개발자들은 더 이상 코드를 처음부터 짜지 않는다. 검증된 모델을 가져와 파인튜닝하여 서비스에 적용한다. 바로 이 지점이 해커들의 새로운 놀이터가 되었다. 신뢰할 수 없는 모델, 오염된 데이터셋, 그리고 취약한 배포 파이프라인. 우리는 지금 보이지 않는 적과 싸우고 있다.

2025년 ‘다크 모델(Dark Model)’ 사태의 악몽

지난해 여름, 금융권을 휩쓸었던 AI 마비 사태를 기억하는가? 유명 핀테크 기업들이 공통적으로 사용하던 금융 특화 LLM ‘FinT-7B’ 모델에 치명적인 백도어가 심어져 있었다.

신뢰의 붕괴: 트로이 목마의 진화

해커 그룹은 6개월에 걸쳐 해당 오픈소스 프로젝트에 정상적인 기여자로 위장하여 잠입했다. 그들은 모델의 가중치 파일 깊숙한 곳에 특정 트리거 단어가 입력되면 잘못된 금융 조언을 하거나, 내부 시스템 정보를 유출하도록 하는 악성 뉴런을 심어놓았다. 이른바 ‘신경망 트로이 목마’ 공격이었다. 기존의 코드 스캐닝 도구로는 바이너리 형태인 모델 가중치 파일 내부의 악성 패턴을 탐지할 수 없다는 맹점을 정확히 찌른 것이다.

피해 규모와 파장

이 모델을 검증 없이 도입한 15개국 40여 개 금융 서비스에서 동시다발적인 오작동이 발생했다. 챗봇이 고객에게 타인의 계좌 잔액 정보를 알려주거나, 환전율을 임의로 조작하여 막대한 금전적 손실을 입혔다. 더 큰 문제는 신뢰의 하락이었다. 이 사건은 “오픈소스 = 집단지성 = 안전함”이라는 공식이 AI 시대에는 더 이상 유효하지 않음을 뼈저리게 각인시켰으며, 기업들의 오픈소스 도입 프로세스를 근본적으로 재검토하게 만들었다.

AI 공급망 공격의 3가지 유형: 보이지 않는 위협

공격자들은 더욱 교묘해졌다. 단순히 악성코드를 심는 것을 넘어, AI의 학습 과정 자체를 오염시키는 방식으로 진화했다.

1. 데이터 중독(Data Poisoning)

가장 흔하면서도 막기 어려운 공격이다. 공격자는 인터넷에 공개된 데이터셋에 악의적인 데이터를 슬쩍 끼워 넣는다. 예를 들어, 자율주행 AI 학습용 이미지 데이터셋에 특정 패턴의 스티커가 붙은 ‘정지 표지판’을 ‘속도 제한 해제’로 라벨링하여 배포한다. 이 데이터로 학습된 AI는 평소에는 정상 작동하다가, 실제 도로에서 해당 스티커가 붙은 정지 표지판을 만나면 인식하지 못하고 질주하게 된다. 이는 물리적 테러와 다를 바 없는 심각한 위협이며, 학습 데이터의 양이 방대할수록 오염된 데이터를 찾아내기 어렵다.

2. 모델 가중치 변조(Model Weight Tampering)

앞서 언급한 ‘FinT-7B’ 사태와 같은 경우다. 모델 파일 자체를 변조하여 악성 코드를 실행시키거나, 특정 입력에 대해 의도된 오동작을 일으키게 한다. 최근에는 모델 압축 과정에서 발생하는 미세한 손실을 악용하여, 검증 도구를 우회하는 기법까지 등장했다. 모델의 해시 값이 일치하더라도 안심할 수 없는 이유다. 또한, ‘Model Merging’ 기법이 유행하면서, 검증된 모델 A와 B를 합치는 과정에서 백도어가 활성화되는 ‘하이브리드 오염’ 공격도 보고되고 있다.

3. 프롬프트 인젝션 & 탈옥

이것은 배포 단계의 취약점이다. 공격자는 교묘하게 설계된 프롬프트를 입력하여 LLM의 안전장치를 무력화한다. “이것은 가상의 시나리오입니다”라거나, “개발자 모드로 전환합니다”와 같은 문구로 AI를 속여, 폭탄 제조법을 알려달라거나 기업 내부 기밀을 뱉어내게 만든다. 2026년형 공격은 사람이 읽을 수 없는 특수 문자의 조합이나 이미지를 이용한 멀티모달 인젝션으로 진화하여, 기존의 텍스트 기반 필터링을 무용지물로 만들고 있다.

방어 전략: AISecOps의 시대

전통적인 보안 도구로는 AI를 지킬 수 없다. 이제 개발과 운영에 보안을 통합한 AISecOps 체계를 구축해야 한다.

1. SBOM을 넘어 ‘AI-BOM’으로

소프트웨어 자재 명세서처럼, AI 모델의 구성 요소를 명세화한 AI-BOM(AI Bill of Materials) 관리가 필수적이다.

• 학습 데이터: 출처, 수집 시점, 라이선스, 전처리 방식
• 모델 아키텍처: 베이스 모델 버전, 파라미터 수, 양자화 방법
• 학습 환경: 사용된 하드웨어, 라이브러리 버전
• 검증 기록: 수행된 레드티밍 결과, 취약점 점검 리포트 이 모든 정보를 투명하게 관리하고, 문제가 발생했을 때 즉시 영향받는 모델을 식별하여 격리할 수 있어야 한다.

2. 모델 무결성 검증

외부에서 모델을 가져올 때는 반드시 ‘암호화 서명’을 확인해야 한다. 2026년 주요 모델 저장소들은 Sigstore와 같은 기술을 도입하여 모델 작성자의 신원과 변경 이력을 블록체인에 기록하고 있다. 또한, 모델 로딩 시 샌드박스 환경에서 동적 분석을 수행하여, 모델 파일이 시스템 명령어를 호출하거나 네트워크 연결을 시도하는지 감시해야 한다. 보안 취약점이 많은 ‘Pickle’ 포맷 사용을 전면 금지하고, 안전한 ‘SafeTensors’ 포맷만 허용하는 것은 기본 중의 기본이다.

3. AI 레드티밍 상시화

이제 모의해킹은 사람이 아닌 AI가 수행한다. ‘자동화된 레드티밍 도구’를 사용하여 하루에도 수천 번씩 자사 모델을 공격해봐야 한다.

• 적대적 공격 시뮬레이션
• 프롬프트 인젝션 자동 생성 및 테스트
• 편향성 및 윤리적 가이드라인 위반 테스트 이러한 테스트를 통과하지 못한 모델은 배포 파이프라인에서 자동으로 차단되어야 한다. 이것이 바로 ‘Shift-Left’ AI 보안이다.

심층 분석: ‘Clean Data’ 파이프라인 구축

가장 근본적인 해결책은 ‘깨끗한 데이터’다. 오염된 물로는 좋은 술을 빚을 수 없듯, 오염된 데이터로는 안전한 AI를 만들 수 없다.

기업들은 이제 외부 데이터셋을 그대로 믿지 않는다. ‘데이터 세탁소’라 불리는 전처리 파이프라인을 내재화하고 있다.

1. 소스 검증: 신뢰할 수 있는 도메인에서 수집된 데이터인지 확인.
2. 중복 제거 및 이상치 탐지: 통계적 기법을 통해 악의적으로 주입된 이상 패턴을 식별하고 제거.
3. 개인정보 비식별화: PII 자동 마스킹 및 재식별 공격 시뮬레이션.
4. 저작권 필터링: 학습에 사용할 수 없는 라이선스 데이터 제외. 이 과정을 거친 ‘골든 데이터셋’만이 모델 학습실로 들어갈 수 있다.

케이스 스터디: B 제약사의 AI 신약 개발 보안 구축

글로벌 B 제약사는 신약 후보 물질 발굴에 생성형 AI를 적극 활용하고 있다. 이들의 핵심 자산은 수십 년간 축적된 화합물 데이터와 독자적인 AI 모델이다. 경쟁사나 해커에 의한 데이터 유출 및 모델 오염은 기업의 존망을 결정짓는 문제다.

B사는 ‘Zero Trust AI’ 아키텍처를 도입했다.

• 폐쇄망 운영: AI 학습 및 추론 서버는 인터넷과 완전히 단절된 에어갭 환경에서 운영된다. 외부 라이브러리 반입 시 엄격한 바이러스 스캔과 샌드박스 테스트를 거친다.
• 연합 학습: 외부 연구소와 협력할 때는 데이터를 공유하지 않고, 모델의 가중치만 주고받는 연합 학습 방식을 채택하여 원천 데이터 유출을 방지했다. 가중치 업데이트 시에도 이상 징후 탐지 알고리즘을 적용하여 악의적인 모델 오염 시도를 차단한다.
• 실시간 입력 필터링: 연구원들이 AI에 프롬프트를 입력할 때, 민감한 화학식이나 프로젝트 코드명이 포함되어 있는지 실시간으로 검사하고 차단하는 AI 방화벽을 구축했다.

그 결과, B사는 2026년 업계 최초로 AI가 설계한 항암제를 임상 1상에 진입시키면서도, 단 한 건의 보안 사고도 겪지 않았다.

CISO를 위한 2026 AI 보안 체크리스트

마지막으로, 현재 조직의 AI 보안 태세를 점검할 수 있는 핵심 질문들을 정리했다.

1. 가시성: 현재 사내에서 어떤 AI 모델이 어디서, 누구에 의해 사용되고 있는지 100% 파악하고 있는가?
2. 무결성: 외부에서 다운로드한 모델 파일의 해시 값을 검증하고, 디지털 서명을 확인하는 프로세스가 자동화되어 있는가?
3. 격리: AI 추론 엔진이 사내망의 핵심 DB에 직접 접근할 수 없도록 네트워크가 분리되어 있는가?
4. 복원력: 모델이 오염되거나 공격당했을 때, 즉시 이전 버전으로 롤백하거나 백업 모델로 전환할 수 있는 업무 연속성 계획이 수립되어 있는가?
5. 교육: 임직원들이 AI 사용 시 발생할 수 있는 데이터 유출 위험과 프롬프트 인젝션 공격에 대해 정기적인 교육을 받고 있는가?

마치며: 보안은 AI의 ‘브레이크’가 아닌 ‘핸들’

“보안 때문에 AI 도입이 늦어진다”는 말은 옛말이다. 이제는 “보안이 없으면 AI를 도로 위에 올릴 수도 없다”는 것이 정설이다. 강력한 브레이크가 있어야 고성능 스포츠카가 마음껏 달릴 수 있듯이, 견고한 보안 체계가 뒷받침되어야 기업은 AI라는 강력한 엔진을 비즈니스에 전면적으로 도입할 수 있다.

AI 공급망 보안은 개발자, 보안 담당자, 그리고 데이터 사이언티스트가 함께 풀어야 할 숙제다. 2026년, 당신의 AI 파이프라인은 안녕한가? 지금 당장 모델 저장소를 열어 점검해 보라. 보이지 않는 위협이 숨 쉬고 있을지도 모른다.

---

이 글은 2026년 2월 28일 기준의 보안 위협 트렌드를 바탕으로 작성된 기술 분석 리포트입니다.