← Back
공공기관 폐쇄망 AI 업무 자동화, 구축 전에 확인해야 할 6가지
작성일:
by
Worktro
Key Summary
• 폐쇄망 AI 구축은 온프레미스 설치 여부보다 처리 데이터의 중요도와 전체 데이터 흐름을 먼저 확인해야 합니다. • 인터넷 연결이 제한된 환경에서는 모델뿐 아니라 라이선스·패키지·보안 패치·모니터링까지 내부에서 운영할 수 있는 구조가 필요합니다. • AI가 실제 행정 업무에 활용될수록 결과의 근거와 처리 이력, 사람의 최종 검토, 지속적인 성능·위험 관리가 중요해집니다.
공공기관에서 AI 업무 자동화를 검토할 때 가장 먼저 나오는 질문 중 하나가 있습니다.
“폐쇄망에서도 AI를 사용할 수 있을까?”
외부 생성형 AI API를 자유롭게 호출하기 어렵고, 내부 문서에는 개인정보나 민감한 행정정보가 포함될 수 있기 때문에 자연스러운 질문입니다.
하지만 실제 구축 단계에서는 질문을 조금 다르게 볼 필요가 있습니다.
중요한 것은 단순히 AI 모델을 내부 서버에서 실행할 수 있는가가 아니라, AI를 기존 업무 환경에 연결하고 보안 기준을 충족하면서 지속적으로 운영할 수 있는가이기 때문입니다.
공공부문의 AI 활용 범위는 빠르게 확대되고 있습니다. Gartner는 2028년까지 최소 80%의 정부가 반복적 의사결정을 자동화하는 데 AI Agent를 활용할 것으로 전망합니다. 동시에 2025년 전 세계 정부기관 138곳을 대상으로 한 조사에서는 41%가 분절된 전략을, 31%가 레거시 시스템을 디지털 솔루션 도입의 주요 장애요인으로 꼽았습니다.
즉, AI 기술을 확보하는 것과 실제 행정 업무에 안착시키는 것은 별개의 과제입니다.
국내 보안 환경 역시 변화하고 있습니다. KISA가 2026년 공개한 「국가 망 보안체계(N2SF) 실증 사례집」은 모든 기관에 동일한 망분리 구조를 일률적으로 적용하기보다, 기관별 네트워크 구성과 연동 시스템, 보안정책을 고려해 적합한 보안 구조를 설계할 것을 권고합니다.
결국 폐쇄망 AI 구축에서 확인해야 할 것은 단순히 “외부와 연결되어 있는가?”만이 아닙니다.
어떤 데이터를 AI가 처리하는지, AI가 어디까지 판단하는지, 사람이 어느 단계에서 검토하는지, 기존 업무 시스템과 어떻게 연계되는지, 그리고 구축 이후 누가 AI를 운영하고 관리할 것인지까지 함께 설계해야 합니다.
이번 글에서는 공공기관의 폐쇄망·망분리 환경에서 AI 업무 자동화를 검토할 때 우선 확인해야 할 여섯 가지 기준을 정리합니다.
1. 데이터가 어디에서 처리되고 어디까지 이동하는지 먼저 확인해야 합니다
폐쇄망 AI를 검토할 때 첫 번째 질문을 “어떤 모델을 사용할 것인가?”로 시작하기 쉽습니다.
하지만 모델 선정에 앞서 먼저 확인해야 할 것은 어떤 정보가 AI에 입력되고, 어떤 시스템을 거치며, 어디에 저장되는가입니다.
Gartner는 2027년까지 AI 관련 데이터 유출 사고의 40% 이상이 부적절한 국가 간 생성형 AI 사용과 관련될 것으로 전망했습니다. 특히 기존 제품에 AI 기능이 내장되면서 사용자가 충분히 인지하지 못한 상태에서 민감한 Prompt나 데이터가 외부 AI 도구·API로 전달되는 상황도 위험요인으로 지적합니다.
국내에서는 개인정보보호위원회가 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」를 통해 생성형 AI의 수명주기 각 단계에서 개인정보 처리와 보호 이슈를 검토하고 필요한 안전조치를 적용할 것을 안내하고 있습니다.
따라서 구축 전에는 최소한 다음과 같은 전체 데이터 흐름을 확인할 필요가 있습니다.
업무 문서·데이터 → AI 처리 → RAG·지식베이스 → 결과 생성 → 로그 → 기존 업무 시스템
이때 관리 대상은 원본 문서에만 한정되지 않습니다.
RAG에 저장되는 문서와 색인 데이터, 대화·질의 로그, 임시 파일, 모델 평가 데이터처럼 AI 활용 과정에서 새롭게 생성되는 데이터 역시 관리 범위에 포함해야 합니다.
예를 들어 원본 문서는 내부망에 보관되더라도 임베딩 생성이나 로그 분석 과정에서 외부 서비스가 호출된다면, 전체 데이터 흐름을 기준으로는 완전한 내부 처리가 아닐 수 있습니다.
N2SF 역시 기관별 정보와 시스템 환경에 따라 보안대책을 설계하도록 하고 있습니다. 따라서 “폐쇄망에 구축한다”는 결론부터 정하기보다 처리 정보의 중요도와 데이터 이동 경로를 먼저 정의하는 것이 출발점이 되어야 합니다.
2. ‘온프레미스 지원’과 ‘폐쇄망에서 독립적으로 운영 가능’은 구분해야 합니다
On-Premise 지원이라는 표현만으로 폐쇄망 구축 가능 여부를 판단하기는 어렵습니다.
온프레미스는 기본적으로 소프트웨어와 데이터를 기관 내부 인프라에서 운영한다는 의미입니다. 하지만 제품 구조에 따라 모델 호출, 라이선스 인증, 텔레메트리, 패키지 다운로드, 모니터링 등 일부 기능이 외부 연결을 전제로 할 수 있습니다.
따라서 실제 공공기관의 망분리 환경에서는 업무 데이터가 외부로 나가지 않는가뿐 아니라 솔루션을 설치하고 운영하는 전 과정에서 외부 연결이 필요한 지점이 있는가까지 확인해야 합니다.
예를 들어 다음 항목을 점검할 수 있습니다.
AI 모델 추론 → 외부 호출 여부
라이선스 인증 → 외부 서버 의존 여부
운영 로그 → 외부 전송 여부
모델·패키지 업데이트 → 내부망 반입 방식
장애 대응 → 외부 원격접속 필요 여부
여기에 기존 행정시스템과의 연계 방식도 함께 검토해야 합니다.
AI가 문서를 읽고 답변을 생성했다고 해서 실제 업무가 끝나는 것은 아닙니다. 생성된 결과를 업무시스템에 입력하거나, 다른 시스템의 정보를 조회하거나, 후속 프로세스를 실행해야 하는 경우가 많기 때문입니다.
예를 들어 AI가 민원 내용을 분류한 이후 담당 시스템에 결과를 입력하거나, 심사 문서에서 필요한 정보를 추출한 뒤 기존 업무시스템의 정형 데이터와 비교하는 과정이 이어질 수 있습니다.
따라서 폐쇄망 AI 아키텍처는 AI 모델 하나의 배치 구조가 아니라 ‘AI 처리 → 검증 → 기존 시스템 실행’까지 이어지는 전체 업무 흐름을 기준으로 설계해야 합니다.
3. 구축 이후 모델과 보안을 어떻게 업데이트할지도 처음부터 설계해야 합니다
폐쇄망 AI에서는 최초 구축보다 운영 이후 발생하는 변화에 어떻게 대응할 것인가가 더 어려운 문제일 수 있습니다.
AI 모델은 지속적으로 변경되고, 라이브러리와 보안 패치도 업데이트됩니다. 행정 서식이나 내부 규정이 바뀌거나 새로운 형태의 문서가 업무에 추가될 수도 있습니다.
인터넷 연결이 자유로운 SaaS 환경에서는 이러한 업데이트 상당 부분을 서비스 공급자가 처리하지만, 폐쇄망에서는 상황이 다릅니다.
어떤 파일을 내부망으로 반입할 것인지, 반입 전에 어떻게 검증할 것인지, 검증된 업데이트를 내부 운영 환경에 어떻게 배포할 것인지까지 별도의 운영 절차가 필요합니다.
2026년 NIA의 「공공부문 AI 도입·활용 가이드」 역시 AI 구축 절차를 서비스 구현 단계에서 끝내지 않습니다. 서비스 배포 이후 성능 모니터링과 지속적인 데이터 업데이트를 별도의 ‘운영 및 고도화’ 단계로 제시합니다.
따라서 도입 전에는 공급사와 다음과 같은 운영 항목을 구체적으로 확인하는 것이 좋습니다.
모델은 어떤 주기로 업데이트되는가?
보안 패치는 어떤 방식으로 내부망에 반입하는가?
업데이트 패키지의 무결성은 어떻게 검증하는가?
행정서식이나 내부 규정이 변경되면 누가 시스템을 수정하는가?
새로운 문서 유형이 추가됐을 때 재학습이나 별도 개발이 필요한가?
여기에 버전 관리와 롤백 정책도 함께 확인할 필요가 있습니다. 새로운 모델이나 패치를 적용한 이후 예상치 못한 성능 저하가 발생한다면 이전 버전으로 복구할 수 있어야 하기 때문입니다.
결국 폐쇄망 AI의 운영 가능성은 ‘오늘 정상적으로 작동하는가’보다 ‘6개월 뒤에도 안정적으로 관리할 수 있는가’에서 판가름 날 수 있습니다.
4. GPU 사양보다 실제 업무량을 기준으로 인프라를 설계해야 합니다
생성형 AI 구축을 검토하면 GPU 종류나 모델 파라미터 규모가 먼저 논의되기 쉽습니다.
하지만 공공기관에서 필요한 인프라 규모를 결정하는 핵심 기준은 결국 실제 업무량과 처리 방식입니다.
월간 처리 문서는 몇 건인지, 문서당 평균 페이지 수는 어느 정도인지, 동시에 몇 명이 사용하는지, 어느 수준의 응답시간이 필요한지에 따라 필요한 컴퓨팅 자원은 달라집니다.
NIA의 공공부문 AI 가이드 역시 AI 도입 전에 필요한 비용 항목을 검토하고, 범정부 AI 공통기반 활용 가능성을 우선 확인하도록 안내합니다. 개별 기관이 모든 AI 인프라를 각각 구축하면서 발생하는 중복투자와 기술 파편화를 줄이기 위한 접근입니다.
특히 문서 처리 자동화에서는 모든 페이지를 동일한 고비용 AI 모델로 처리해야 하는지도 확인할 필요가 있습니다.
Worktro DocuOps의 경우 페이지 복잡도에 따라 정형·단순 페이지에는 OCR 경로를, 비정형·복합 페이지에는 VLM 경로를 선택하는 하이브리드 구조를 적용해 불필요한 GPU 연산을 줄이는 방식을 사용합니다.
예를 들어 정형화된 표나 단순 텍스트 페이지까지 모두 VLM으로 처리한다면 정확도 차이는 크지 않은 반면 연산 비용은 증가할 수 있습니다. 반대로 도표, 이미지, 복잡한 레이아웃이 포함된 문서에서는 VLM 기반 분석이 더 적합할 수 있습니다.
따라서 인프라 설계의 핵심은 가장 큰 모델과 가장 높은 사양의 GPU를 확보하는 것이 아니라 업무 특성에 따라 필요한 모델과 처리 경로를 구분하고 적정한 자원을 배치하는 것입니다.
하드웨어 구매비만 비교해서도 안 됩니다.
GPU 가동률, 스토리지, 백업, 전력·냉각, 이중화, 유지보수, 모델 업데이트 비용까지 포함한 총소유비용(TCO) 관점에서 인프라를 비교해야 실제 운영 비용을 보다 정확하게 판단할 수 있습니다.
5. 결과의 근거와 처리 이력을 추적할 수 있어야 합니다
공공기관에서 AI가 업무에 깊이 활용될수록 ‘결과가 맞았는가?’만큼 ‘어떤 근거로 이런 결과가 나왔는가?’가 중요해집니다.
특히 민원, 심사, 행정문서 검토처럼 업무 결과에 대한 근거가 필요한 영역에서는 AI가 생성한 최종 응답만 저장해서는 충분하지 않습니다.
어떤 문서를 참고했는지, 어떤 버전의 모델이 사용됐는지, 어떤 결과가 생성됐는지, 담당자가 무엇을 수정했으며 누가 최종 승인했는지까지 추적할 수 있어야 합니다.
NIST의 AI RMF와 생성형 AI Profile은 AI 제품과 서비스의 설계·개발·사용·평가 전반에서 신뢰성과 위험을 지속적으로 관리하는 접근을 제시합니다.
ISO/IEC 42001 역시 AI를 개별 모델의 성능 문제가 아닌 조직 차원의 AI Management System으로 바라보며 위험관리와 투명성, 추적성, 지속적인 개선 체계를 강조합니다.
이러한 원칙은 실제 시스템에서는 구체적인 기능으로 구현되어야 합니다.
예를 들어 문서 기반 AI라면 답변과 함께 참고 문서·페이지·문장 위치를 제시할 수 있어야 합니다.
업무 자동화라면 입력값, AI 처리 결과, 담당자의 수정 내용, 최종 처리 결과가 하나의 이력으로 남아야 합니다.
필요한 경우 특정 시점에 어떤 모델과 어떤 데이터가 사용됐는지 재현할 수 있는 구조도 중요합니다.
AI가 높은 정확도로 결과를 생성하는 것과 그 결과의 생성 과정을 설명하고 추적할 수 있는 것은 서로 다른 요건입니다.
공공 업무에서는 두 가지 모두 필요합니다.
6. AI가 어디까지 처리하고 사람이 어디에서 최종 판단할지 정해야 합니다
마지막 기준은 Human-in-the-loop입니다.
AI의 정확도가 높아지더라도 모든 행정 판단을 자동화할 수 있는 것은 아닙니다.
「행정기본법」 제20조는 법률로 정하는 경우 완전히 자동화된 시스템으로 처분할 수 있도록 하면서도 재량이 있는 처분은 제외하고 있습니다.
「개인정보 보호법」 제37조의2 역시 완전히 자동화된 시스템의 결정이 정보주체의 권리 또는 의무에 중대한 영향을 미치는 경우 일정한 권리를 규정하고 있습니다.
2026년 8월 28일 시행된 「인공지능 및 데이터 기반 행정 활성화에 관한 법률」도 공공기관이 AI를 정책 수립과 의사결정에 활용할 때 최종적인 권한과 책임이 해당 공공기관에 있음을 명확히 하도록 하고, 개인정보 보호와 의사결정의 투명성도 고려하도록 규정합니다.
글로벌 흐름도 비슷합니다. Gartner는 2029년까지 정부기관의 70%가 시민 서비스에 영향을 미치는 자동화된 의사결정에 XAI와 Human-in-the-loop를 요구할 것으로 전망합니다.
따라서 AI 업무 자동화는 단순히 자동화율을 최대화하는 방향으로 접근하기보다, 업무 단계별로 AI와 사람의 역할을 구분하는 방식으로 설계하는 것이 현실적입니다.
예를 들면 다음과 같습니다.
정보 검색 → AI가 지원
문서 해석·분류 → AI가 처리하고 필요 시 담당자가 검토
정형적인 입력·전송 → 규칙 기반 자동화 또는 RPA
예외·재량 판단 → 담당자가 최종 확인
여기에 AI의 신뢰도나 업무 위험도에 따라 검토 단계를 다르게 적용할 수도 있습니다.
신뢰도가 충분히 높은 정형 업무는 자동 처리하고, 기준 이하의 결과만 담당자에게 전달하는 방식입니다. 반면 국민의 권리·의무와 직접 연결되거나 재량 판단이 필요한 업무는 AI를 의사결정 지원 수단으로 제한할 수 있습니다.
중요한 것은 AI가 어느 단계까지 처리할 수 있는지뿐 아니라 어떤 조건에서 사람에게 다시 업무를 넘길 것인지까지 사전에 정의하는 것입니다.
NIA도 2026년 7월 별도의 「공공부문 AI 통제를 위한 사람 감독의 해외 사례 분석 및 시사점」을 발간할 정도로 공공 AI에서 사람 감독 체계를 독립적인 정책 과제로 다루고 있습니다.
폐쇄망 AI 구축은 ‘모델 설치’보다 ‘운영 구조 설계’에 가깝습니다
공공기관에서 폐쇄망 AI를 검토할 때 모델과 GPU, 온프레미스 지원 여부부터 비교하기 쉽습니다.
물론 모두 중요한 요소입니다.
하지만 PoC를 넘어 실제 업무 운영 단계로 들어가면 더 많은 질문이 필요합니다.
어떤 데이터를 AI에 맡길 것인가.
외부 연결 없이 전체 AI 스택을 운영할 수 있는가.
모델과 보안을 어떻게 업데이트할 것인가.
실제 업무량에 적합한 인프라인가.
AI가 생성한 결과와 근거를 다시 확인할 수 있는가.
사람이 어느 단계에서 최종 판단과 책임을 맡을 것인가.
이 여섯 가지가 함께 정의되어야 AI가 단순한 기술 검증을 넘어 실제 행정 업무의 일부로 운영될 수 있습니다.
결국 폐쇄망 AI 도입의 핵심은 특정 모델이나 솔루션을 선택하는 것이 아니라 현재 업무를 기준으로 AI가 들어갈 수 있는 지점과 운영 조건을 구체적으로 설계하는 것에 가깝습니다.
폐쇄망·망분리 환경에서 문서 처리, 지식검색, 업무 자동화 도입을 검토하고 있다면 먼저 현재 업무 흐름과 처리 데이터, 보안 환경, 사람의 검토 지점, 기존 시스템과의 연계 방식을 함께 정리해볼 필요가 있습니다.
Worktro에 문의해주시면 현재 운영 중인 업무를 기준으로 AI가 담당할 수 있는 영역과 기존 자동화 또는 사람의 판단을 유지해야 하는 영역을 구분하고, 실제 운영 환경에 적용할 수 있는 구축 방향을 함께 논의할 수 있습니다.
References
한국인터넷진흥원, 「국가 망 보안체계(N2SF) 실증 사례집」, 2026.04.
한국지능정보사회진흥원, 「공공부문 AI 도입·활용 가이드(`26.5월 기준)」, 2026.06.11.
한국지능정보사회진흥원, 「공공부문 AI 통제를 위한 사람 감독의 해외 사례 분석 및 시사점」, 2026.07.31.
개인정보보호위원회, 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」, 2025.08.22.
