AI와 머신러닝은 소프트웨어 애플리케이션 개발 전반에 빠르게 통합되고 있습니다. AI 에이전트 역시 개발자에게 선택 사항이 아닌 필수 요소로 자리 잡고 있으며, 기업은 경쟁력을 유지하기 위해 AI 지원 개발과 AI 자산을 적극적으로 활용하고 있습니다.
그러나 검증되지 않은 AI 구성 요소가 개발 파이프라인에 유입되면 거버넌스와 보안 위험도 함께 증가합니다. AI를 안전하게 도입하려면 위험 관리, 거버넌스, 추적성을 고려해 생산 파이프라인의 도구와 프로세스, 운영 방식을 재정비해야 합니다.
빠른 AI 도입과 보안 사이의 균형
기업은 AI를 빠르게 도입해 혁신과 생산성을 높여야 하는 동시에, 소프트웨어 공급망의 보안과 통제력을 유지해야 합니다.
AI는 기존 소프트웨어 공급망을 대체하기보다 개발 속도를 크게 높입니다. 하지만 더 많은 외부 자산이 유입되고 에이전틱 개발을 통해 생성되는 바이너리가 증가하면서, 애플리케이션이 노출되는 위협도 함께 확대됩니다.
또한 AI 모델뿐 아니라 다음과 같은 새로운 유형의 아티팩트도 관리 대상에 포함됩니다.
- AI 모델
- MCP 서버
- Agent Skills
- 플러그인
- 외부 AI 서비스
이에 따라 아티팩트 계보, 모델 출처, 과도한 AI 에이전트 권한, 개발 단계 전반의 가시성 부족과 같은 새로운 보안 사각지대가 발생할 수 있습니다.
관리되지 않은 AI 도입의 마찰 요인
Shadow AI의 확산
내부 팀이 빠른 혁신을 위해 새로운 AI 도구를 개별적으로 도입하면, 기업의 관리 범위를 벗어난 사용이 늘어날 수 있습니다. 이러한 Shadow AI는 AI 공급망에 대한 중앙 통제와 가시성을 약화시킵니다.
중앙화된 관리가 부족하면 다음과 같은 문제가 발생할 수 있습니다.
- 보안 위협과 컴플라이언스 위험에 대한 대응력 저하
- 연구개발 조직 외부에서 사용되는 AI 자산에 대한 가시성 상실
- AI 생태계에 대한 조직의 통제력 약화
- 거버넌스 정책 집행의 어려움
- 새로운 기술을 확장하기 위한 도구와 프로세스 부족
- 접근 권한 관리의 복잡성 증가
이를 해결하려면 관리되지 않는 모델과 AI 자산을 자동으로 탐지하고 통제할 수 있는 Shadow AI 탐지 기능이 필요합니다. 이를 통해 보안팀은 개발 속도를 방해하지 않으면서도 AI 사용 현황을 파악하고 컴플라이언스를 적용할 수 있습니다.
AI 자산의 ‘블랙박스’ 문제
기존 소프트웨어는 소스 코드를 검토하고 검증할 수 있지만, AI 모델은 복잡한 가중치와 바이너리로 구성된 블랙박스에 가깝습니다. 일반적인 보안 도구로는 이러한 AI 자산을 충분히 분석하기 어렵습니다.
이러한 가시성 부족은 공격자가 오염된 자산, 백도어, 손상된 종속성을 소프트웨어 개발 수명주기에 유입할 수 있는 기회를 제공합니다.
AI 에이전트를 안전하게 배포하려면 보안팀과 개발팀이 복잡한 바이너리를 분석하고 다음 질문에 답할 수 있어야 합니다.
- 사용 중인 AI 자산의 정확한 출처는 어디인가?
- 모델의 구조와 종속성 내부에는 무엇이 포함되어 있는가?
- 알려진 취약점이나 악성 페이로드가 포함된 외부 자산은 무엇인가?
- 모델의 안전성을 입증할 수 있는 감사 자료가 있는가?
- 어떤 MCP 서버를 SDLC에 안전하게 통합할 수 있는가?
이를 위해서는 AI 자산의 출처와 변경 이력을 확인하는 Traceability, 생성·학습·수정 주체를 확인하는 Chain of Custody, 보안 및 컴플라이언스 준수 여부를 입증하는 Audit-Ready Evidence, 그리고 AI 자산에 대한 지속적인 자동 스캔이 필요합니다.
확장되는 AI 공격 표면
AI 공급망의 공격 표면은 더 이상 모델에만 한정되지 않습니다. MCP 서버, Agent Skills, 도구 호출 기능, 데이터, 알고리즘, 배포 환경, 소스 코드, 외부 라이브러리까지 관리 범위가 확대되고 있습니다.
AI 공격 표면에는 다음과 같은 위험이 포함됩니다.
| 구분 | 주요 위험 |
|---|---|
| 모델 및 아티팩트 | 모델 탈취, 역추론공격(Inversion Attack), 오염된 모델 바이너리 |
| 데이터 및 학습 | 학습 데이터 오염, 민감정보 및 개인정보 노출, 손상된 데이터셋 |
| 공급망 및 종속성 | 외부 자산의 상속된 취약점, 손상된 외부 API, 신뢰할 수 없는 공개 레지스트리 |
| 에이전트 및 실행 | 과도한 권한을 가진 AI 에이전트, Tool·Skill Hijacking, 검증되지 않은 AI 출력 실행, MCP 서버 공격 |
| 입력 및 프롬프트 | 직접·간접 프롬프트 인젝션, AI 탈옥(Jailbreak), Guardrail 우회, 악성 콘텍스트 페이로드 |
이러한 위험에 대응하려면 지속적인 모니터링과 검증, 선제적인 정책기반의 통제 계층(Policy Gate), 모든 아티팩트 유형에 대한 통제를 포함하는 보안 프레임워크가 필요합니다.
신뢰를 위한 세 가지 기반
AI 애플리케이션 개발에서 신뢰는 단순한 권장 사항이 아니라 엔지니어링 체계로 관리되어야 합니다. 코딩 단계부터 운영 환경까지 소프트웨어 공급망 전체를 확인하고, AI 아티팩트의 이동 과정과 무결성을 검증할 수 있어야 합니다.
JFrog는 AI 공급망의 신뢰를 다음 세 가지 요소로 설명합니다.
- AI Management: System of Record
AI 모델, Agent Skills, MCP 서버를 일반 소프트웨어 바이너리와 동일하게 단일 시스템에서 관리합니다. 각 AI 구성 요소를 누가 만들었는지, 어디에서 가져왔는지, 어떤 종속성을 사용하는지 확인할 수 있어야 합니다. - AI Security: Continuous Inspection
AI 패키지를 배포 전과 배포 과정에서 지속적으로 스캔합니다. 복잡한 바이너리를 분석해 백도어, 오염된 페이로드, 악성 코드, 라이선스 컴플라이언스 문제를 운영 환경에 도달하기 전에 확인합니다. - AI Governance: Control Plane
어떤 AI 자산을 사용할 수 있는지, 누가 사용할 수 있는지, 어떤 방식으로 배포할 수 있는지를 정의합니다. 개발자뿐 아니라 AI 에이전트와 에이전트를 구성하는 자산에도 접근 권한과 정책을 적용해야 합니다.
신뢰할 수 있는 AI 공급망을 위한 네 가지 핵심 요소
- Shadow AI Detection
관리되지 않는 모델, 신뢰할 수 없는 외부 API, 검증되지 않은 AI 자산을 지속적으로 자동 탐지합니다. 모든 AI 자산을 가시화하면서도 개발 속도는 유지할 수 있습니다. - Centralized AI Registry
내부 및 외부 모델, MCP 서버, Agent Skills, 관련 패키지를 일반 소프트웨어 바이너리와 동일하게 관리하는 중앙 레지스트리를 구축합니다. 이를 통해 자산 검색, 버전 관리, 승인 과정과 증거관리 연속성(Chain of Custody)를 일관되게 유지할 수 있습니다. - Automated Policy Enforcement
수동 보안 승인 대신 소프트웨어 공급망에 자동화된 정책 기반의 통제 계층을 적용합니다. AI 모델과 패키지, 종속성을 악성 페이로드, 라이선스 위반, 알려진 취약점 기준으로 지속적으로 스캔하고, 정책을 준수하지 않는 자산은 운영 환경에 도달하기 전에 차단합니다. - Secure AI Gateway
내부 애플리케이션과 AI 에이전트, 외부 LLM 제공업체 사이에 보안 통제 지점을 구성합니다. 모든 요청과 MCP 서버, AI Agent Skills의 연결을 관리하고, 사용자 또는 에이전트에 명시적인 권한이 없는 작업을 차단합니다.
이를 통해 민감정보 유출과 프롬프트 인젝션을 방지하고, 에이전틱 워크플로와 도구 호출을 통제할 수 있습니다.
JFrog Platform을 통한 통합 AI 관리
AI 기반 개발을 실험 단계에서 실제 운영 환경으로 확장하려면 소프트웨어와 AI의 관리, 보안, 거버넌스를 하나의 플랫폼으로 통합해야 합니다.
JFrog Platform에서는 AI를 전체 개발 수명주기의 일부로 관리합니다. 이를 통해 분리된 팀과 프로세스를 연결하고 부서 간 협업을 지원합니다.
JFrog AI Catalog는 기업의 AI 공급망을 위한 단일 System of Record입니다. 내부 및 외부 모델부터 Agent Skills와 MCP 서버까지 AI 워크로드를 중앙에서 관리하고, 거버넌스와 보안을 적용할 수 있도록 지원합니다.
이를 통해 Shadow AI를 줄이고, 속도와 통제력을 유지하면서 신뢰할 수 있는 애플리케이션을 제공할 수 있습니다.
에이전틱 공급망의 미래 대응은 소프트웨어 공급망 전체에서 신뢰를 구축하고 입증하는 것에서 시작됩니다. 이를 위해서는 기업 환경에서 확장할 수 있는 End-to-End 신뢰 계층이 필요합니다.
출처: JFrog, When AI Outpaces Security: A Guide to Regaining Control of Your Agentic Supply Chain
https://jfrog.com/ebook/regaining-control-of-your-agentic-supply-chain/