소프트웨어 개발은 더 이상 전통적인 방식이 아닙니다. AI Software 공급망 시대가 도래했습니다.
Google 조사에 따르면 기술 분야 종사자의 90%가 일상 업무에서 AI를 사용하며, McKinsey 데이터로는 88% 조직이 최소 하나의 업무에 AI를 도입했습니다.


하지만 이러한 급속한 AI 도입은 위험한 역설을 낳았습니다. AI를 통합하고 채택해야 한다는 압박은 크지만, AI를 제어할 수 있는 메커니즘은 거의 없습니다.

조직들은 혁신을 서두르고 있지만 기록 체계가 부족한 단편적인 기반 위에서 혁신을 추진하고 있습니다.

비즈니스의 미래에 대비하기 위해서는 이러한 트렌드를 단순히 쫓는 것이 아니라 주도적으로 관리해야 합니다.
AI를 단순한 실험 대상이 아닌, 기존 소프트웨어 공급망 수준의 엄격함과 보안, 거버넌스가 적용된 관리 대상으로 전환하세요.


AI 도입의 과제

이런 환경에서 가장 두드러지는 징후는 ‘섀도우 AI(Shadow AI)’입니다. 
관리되지 않는 모델과 서버를 통제 없이 사용하는 행태로 인해, 조직 전반에 걸쳐 치명적인 사각지대가 발생합니다.


AI의 대표 위험 3가지

  • 거버넌스 공백(Governance Gap)
    명확한 프로토콜이 마련되지 않은 상황에서는, 개발자들이 일을 빠르게 처리하기 위해 보안 팀을 우회하는 경우가 많습니다.
    IBM 연구에 따르면 전체 인력 10명 중 7명이 개인 계정을 통해 AI를 사용하고 있으며, 10명 중 4명은 이러한 관리되지 않는 AI Agent에 민감한 정보를 입력한 적이 있다고 인정했습니다. 
    또한 기업의 63%는 효과적인 AI 거버넌스 정책이 없는 상태로, 이런 행동은 막대한 규정 준수 리스크로 이어집니다.


  • 보안 위협(Security Threat)
    AI 아티팩트는 단순한 정적 파일이 아니라 실행 가능한 코드이며, 공격 대상이 될 수 있습니다. 공격자들은 이 새로운 공급망을 노리는 방식으로 전략을 전환했습니다.
    2024년 3월부터 2025년 3월까지 Hugging Face에 등록된 전체 모델 수는 3배 증가했지만, 악성 모델의 수는 7배 증가했습니다.


  • 가시성 사각지대(Visibility Blind Spot)
    보이지 않는 것은 관리할 수 없습니다. IT 팀이 관리하는 AI 역량은 일부(35%)에 불과한 반면, 대부분의 사용은 보이지 않는 곳에서 이루어집니다. 
    모델, 데이터, 바이너리가 서로 다른 시스템에 흩어져 있어 “이 모델은 어디에서 실행되고 있나?” 또는 “누가 사용을 승인했나?” 같은 기본적인 질문조차 답하기 어렵습니다.

 
 

신뢰할 수 있는 AI를 위한 5가지 핵심

이러한 과제의 해법은 Hugging Face 같은 외부 허브에 대한 접근을 차단해 사용을 막는 데 있지 않습니다. 그런 방식은 장기적으로 지속하기 어렵습니다.
해법은 AI 도입 과정 전반에 걸쳐 신뢰할 수 있는 기반을 구축하는 데 있습니다.

아래의 5가지 전략은 혁신과 통제 사이의 간극을 메우는 동시에, 신뢰할 수 있는 공급망 관행을 AI 라이프사이클 전체로 확장합니다.

  • 툴체인 통합(Consolidate the Toolchain)
    AI를 고립된 환경에서 따로 관리하는 것을 멈추세요. 코드와 모델을 모두 아우르는 단일 시스템 오브 레코드(system of record)를 구축하면, 파편화된 도구로 인한 마찰을 줄일 수 있습니다.
    Hugging Face 같은 공개 리포지토리를 프록시로 연결하고, 내부 모델을 소프트웨어 바이너리와 함께 호스팅할 수 있는 중앙 레지스트리를 활용하면 데이터 사이언티스트와 개발자 사이의 사일로를 해소할 수 있습니다.

  • 숨겨진 자산 탐지(Detect Hidden Assets)
    강력한 전략에는 능동적인 탐지가 필요합니다. 많은 조직이 이미 외부 API를 호출하는 Python 패키지나 모델이 포함된 Docker 이미지처럼 다양한 AI 아티팩트를, 인지하지 못한 채 리포지토리 안에 보유하고 있습니다.
    기존 인프라를 능동적으로 스캔해 이러한 “숨겨진” AI 모델과 관리되지 않는 자산을 식별하고, 섀도우 AI를 가시적이고 관리 가능한 인벤토리로 전환해야 합니다.

  • 거버넌스 중앙화(Centralize Governance)
    자산이 보이기 시작하면, 반드시 거버넌스 체계로 관리되어야 합니다. 이를 위해 조직 전반의 정책을 적용할 수 있는 단일 제어 플레인(control plane)이 필요합니다.
    예를 들어 특정 “Llama” 모델은 연구(Research) 프로젝트에서는 허용하되, 정해진 보안 게이트를 통과하기 전까지 운영(Production)에서는 차단하는 식으로 세분화된 권한을 정의할 수 있어야 합니다.
    이를 통해 사용되는 모든 모델이 사전에 승인되고 규정을 준수하도록 보장할 수 있습니다.

  • AI-BOM으로 리스크 감소(Reduce Risk with an AI-BOM)
    모델을 신뢰하려면 그 계보를 이해해야 합니다. 우리는 AI BOM(AI Bill of Materials) 생성 방식을 제안합니다.이는 모델이 어디에서 왔는지, 어떤 학습 데이터를 사용했는지, 보안 스캔 결과는 무엇인지까지 연결하는 위변조가 어려운 메타데이터 추적 경로를 만들어줍니다.
    이러한 추적 가능성은 근본 원인 분석에 필수이며, 감사(audit) 대응 시 규정 준수를 입증하는 데도 중요합니다.

  • 프로덕션 전환 경로 단순화(Simplify the Path to Production)
    보안이 적용된 경로가 너무 어렵다면, 개발자들은 우회 방법을 찾게 됩니다. 중앙화된 셀프서비스 허브를 제공해 접근을 단순화하세요. 개
    발자가 모델 패키지를 다운로드해야 하든, API를 통해 모델을 호출해야 하든, 플랫폼은 인프라와 자격 증명(credential) 관리의 복잡성을 추상화해 원클릭 배포와 안전한 연결을 가능하게 해야 합니다.


신뢰할 수 있는 AI를 위한 JFrog AI Catalog

이 5가지 축을 실제로 운영에 적용하기 위해, 우리는 JFrog AI Catalog를 소개했습니다.
이는 모든 AI/ML 이니셔티브를 위한 중앙 허브 역할을 하며, 한 곳에서 모델을 탐색(Discover)하고, 탐지(Detect)하며, 거버넌스를 적용(Govern)하고, 제공(Serve)할 수 있도록 합니다.


큐레이션 기반 탐색(Curated Discovery)

Hugging Face 및 상용 제공업체(Anthropic, Gemini, OpenAI 등)의 수백만 개 모델을 통합된 화면에서 제공하여, 팀에서 어떤 모델을 확인할 수 있고 사용하도록 허용할지 정확히 큐레이션할 수 있습니다.


통합 보안(Integrated Security)
JFrog Xray와 연동해, 카탈로그가 악성 코드(예: pickle 직렬화 공격)와 라이선스 위반 여부를 자동으로 스캔하고, 위협이 파이프라인에 유입되기 전에 차단합니다.


통합 배포(Unified Deployment)
모델을 다른 아티팩트와 동일하게 취급함으로써 “마지막 구간(last mile)” 문제를 해소합니다. 이를 통해 클릭 한 번으로 모델을 인프라에 배포하고, 추론(inference)을 위한 보안 토큰을 생성할 수 있습니다.




결론

소프트웨어 변화는 이미 시작되었고, 그 변화는 AI가 이끌고 있습니다. 하지만 AI의 자유가 (그렇지도 않고, 그래서는 안 되지만) 통제 상실을 의미할 필요는 없습니다.

이미 신뢰하고 있는 거버넌스 기반 소프트웨어 공급망과 AI 개발을 하나로 통합하면, AI를 혼란스러운 리스크에서 확장 가능하고 안전한 비즈니스 경쟁력으로 전환할 수 있습니다.

이제 모델을 ‘그림자’에서 꺼내 ‘빛’으로 옮길 준비가 되셨나요?


JFrog AI Catalog에 대해 더 알아보고, 미래에도 흔들리지 않는 AI 기반을 오늘부터 구축할 수 있도록 AI 전문가와 데모를 예약해보세요.




출처

Beyond the Hype: Building a Future-Proof Foundation for the AI-Native Enterprise
By  




JFor 제품을 사용하고 싶으신가요?

지금 바로 커브에 문의하세요.


envelope curvc@curvc.com

telephone receiver 02-6245-5478




  • 레이블 없음