공공기관의 수많은 데이터, AI로 어떻게 찾고 관리할까?

공공기관에는 업무를 수행하는 과정에서 다양한 데이터가 쌓입니다. 행정 시스템에서 생성되는 데이터부터 교통, 공간정보, 에너지 등 여러 분야의 데이터까지 서로 다른 시스템에서 관리되는 경우가 많습니다.

문제는 데이터가 많아질수록 필요한 데이터를 찾고 활용하는 일도 함께 복잡해진다는 것입니다.

어떤 시스템에 데이터가 있는지, 정확한 데이터명이 무엇인지, 누가 관리하는지 알아야 검색할 수 있습니다. 비슷한 데이터를 시스템마다 서로 다른 이름과 형식으로 관리하고 있다면 여러 데이터를 연결해 활용하는 일은 더욱 어려워집니다.

이든티앤에스가 실제로 참여한 국내 공공기관의 데이터 통합·활용 프로젝트에서도 이러한 데이터 관리 문제가 주요 과제 중 하나였습니다.

해당 프로젝트에서는 여러 시스템에 분산된 데이터를 통합하는 동시에, 데이터 카탈로그와 AI Agent를 활용해 데이터 등록부터 검색, 운영까지 지원하는 구조를 설계했습니다.

단순히 데이터를 한곳에 모으는 것이 아니라, 필요한 사람이 원하는 데이터를 쉽게 찾고 실제 업무에 활용할 수 있는 환경을 만드는 것이 핵심이었습니다.

데이터는 많은데, 왜 필요한 정보는 찾기 어려울까?

데이터를 쉽게 찾으려면 데이터 자체만 관리해서는 부족합니다.

어떤 데이터인지, 무엇을 담고 있는지, 어떤 항목으로 구성되어 있는지처럼 데이터를 설명하는 정보가 함께 정리되어야 합니다. 이를 메타데이터(Metadata)라고 합니다.

데이터명과 설명, 관리 정보, 구성 항목 등이 대표적인 메타데이터입니다.

그리고 기관이 보유한 여러 데이터의 메타데이터를 모아 검색하고 확인할 수 있도록 구성한 것이 데이터 카탈로그(Data Catalog)입니다. 쉽게 말하면 기관 안에 어떤 데이터가 있는지를 한눈에 찾아볼 수 있는 ‘데이터 지도’에 가깝습니다.

실제 프로젝트에서도 데이터를 통합하는 것에 그치지 않고, 데이터셋과 메타데이터를 함께 관리하고 필요한 데이터를 카탈로그에서 탐색할 수 있도록 전체 구조를 설계했습니다.

AI 검색보다 먼저 필요한 것은 ‘데이터를 이해할 수 있는 기준’

여러 시스템에서 수집한 데이터는 이름도, 구조도 서로 다를 수 있습니다.

따라서 데이터를 한곳에 모았더라도 각각을 서로 다른 기준으로 설명하고 있다면 검색하거나 연계해 활용하는 데 한계가 생깁니다.

이번 프로젝트에서는 이를 해결하기 위해 데이터와 메타데이터를 일정한 기준으로 관리할 수 있는 표준 기반 구조를 적용했습니다.

이 과정에서 활용되는 대표적인 표준이 DCAT과 NGSI-LD입니다.

DCAT은 데이터명과 설명 등 메타데이터를 일정한 형식으로 정리하기 위한 기준입니다. 쉽게 말하면 여러 데이터에 공통으로 적용할 수 있는 ‘데이터 소개서의 공통 양식’입니다.

NGSI-LD는 서로 다른 시스템이 데이터를 일정한 방식으로 연결하고 주고받을 수 있도록 하는 표준입니다. 시스템 간 데이터를 연결하기 위한 ‘공통 규칙’이라고 이해하면 쉽습니다.

기술 용어보다 중요한 것은 그 목적입니다.

AI가 데이터를 제대로 찾고 활용하려면, 그보다 먼저 각 데이터가 무엇인지 일관된 기준으로 설명할 수 있어야 합니다.

반복되는 메타데이터 관리에도 AI Agent를 적용했습니다

데이터 카탈로그는 구축 이후의 운영도 중요합니다.

새로운 데이터가 추가될 때마다 담당자는 데이터 내용을 확인하고 설명을 작성해야 합니다. 각 데이터 항목이 기관에서 사용하는 표준용어에 맞는지 검토하는 작업도 필요합니다.

데이터가 늘어날수록 이러한 관리 업무 역시 함께 증가합니다.

이든티앤에스는 실제 프로젝트에서 이 과정을 지원하기 위해 메타데이터 관리에 AI Agent를 적용하는 구조를 설계했습니다.

AI가 데이터 구조를 분석해 메타데이터를 생성·추천하고, 데이터 항목별로 적절한 표준용어를 제안합니다. 담당자가 결과를 검토할 수 있도록 추천 근거와 설명도 함께 제공하도록 구성했습니다.

다만 AI의 결과를 그대로 확정하는 방식은 아닙니다.

AI 추천 → 담당자 검토·승인 → 이력 관리

과정을 거치도록 설계해 반복적인 작성과 확인은 AI가 지원하되, 데이터 품질에 대한 최종 판단은 담당자가 맡도록 했습니다.

AI가 사람의 판단을 대체하기보다 반복적인 데이터 관리 업무를 줄이고 담당자가 검토와 품질 관리에 집중할 수 있도록 보조하는 구조입니다.

정확한 데이터명을 몰라도 자연어로 찾을 수 있도록

데이터를 일정한 기준으로 정리했다면 다음 과제는 필요한 데이터를 얼마나 쉽게 찾을 수 있는가입니다.

기존 검색에서는 정확한 데이터명이나 관련 키워드를 알아야 원하는 결과를 찾기 쉬웠습니다. 하지만 실제 업무에서는 필요한 정보는 알고 있어도 해당 데이터셋의 정확한 이름까지 알고 있는 경우는 많지 않습니다.

예를 들어 담당자는 다음과 같이 질문할 수 있습니다.

“지역별 에너지 사용 현황을 분석할 수 있는 데이터가 있을까?”

이번 프로젝트에서는 이처럼 업무에서 사용하는 자연어로 질문해 필요한 데이터를 탐색할 수 있는 AI 검색 환경을 설계했습니다.

AI가 질문의 의미를 파악한 뒤 키워드 검색과 의미 기반 검색을 함께 수행하고, 관련성이 높은 데이터 후보를 다시 정렬합니다. 검색 결과에는 추천 근거와 관련 정보도 함께 제공하도록 구성했습니다.

이러한 방식을 하이브리드 검색(Hybrid Search)이라고 합니다.

정확히 같은 단어가 포함된 데이터뿐 아니라, 표현은 달라도 질문의 의미와 관련성이 높은 데이터까지 함께 찾는 방식입니다.

결과적으로 담당자는 데이터의 정확한 이름을 먼저 알아내야 하는 방식에서 벗어나, 업무 목적을 자연어로 질문하며 필요한 데이터를 탐색할 수 있게 됩니다.

검색을 넘어 데이터 운영까지 지원하는 AI Agent

데이터 활용은 필요한 데이터를 찾는 것으로 끝나지 않습니다.

새로운 데이터가 추가되고 기존 데이터가 변경되면 메타데이터와 품질을 지속적으로 관리해야 합니다. 시스템의 운영 상태를 확인하고 정기적인 보고 자료를 작성하는 업무도 발생합니다.

이번 프로젝트에서는 AI Agent의 역할을 이러한 운영 과정까지 확장하는 방향으로 설계했습니다.

AI Agent가 지원하는 영역에는 메타데이터 추천·분류·품질 점검, 데이터 설명 생성, 이상징후 요약·알림, 운영 리포트 작성, 자연어 기반 데이터 검색·추천 등이 포함됩니다.

핵심은 기존 데이터 관리 시스템을 AI로 대체하는 것이 아닙니다.

기존 시스템 위에서 담당자가 반복적으로 수행하던 등록·정리·검색·모니터링·보고 업무를 AI가 보조하는 것입니다.

즉 AI Agent는 별도의 새로운 시스템이라기보다, 기존 데이터 관리 체계 위에서 운영과 활용을 지원하는 지능형 보조 역할을 수행합니다.

공공 데이터 활용, AI 검색만 추가해서는 충분하지 않습니다

AI 검색을 효과적으로 활용하려면 먼저 데이터를 찾고 이해할 수 있는 관리 체계가 갖춰져야 합니다.

기관 내 데이터가 여러 시스템에 흩어져 있거나 데이터마다 설명 방식이 다르면, AI를 적용하더라도 필요한 정보를 정확하게 찾고 활용하는 데 한계가 있습니다. 이를 위해서는 분산된 데이터를 연결하고 메타데이터를 표준화해, 어떤 데이터가 어디에 있고 무엇을 의미하는지 파악할 수 있는 데이터 카탈로그를 구축하는 과정이 필요합니다.

이든티앤에스의 공공기관 프로젝트 역시 이러한 데이터 관리 체계를 기반으로 AI Agent를 연계해 메타데이터 등록·관리와 데이터 탐색을 지원하는 방식으로 설계했습니다.

결국 중요한 것은 데이터를 단순히 축적하는 것이 아니라, 필요한 사람이 원하는 데이터를 쉽게 찾고 실제 업무에 활용할 수 있는 환경을 만드는 것입니다.

기관 내 데이터 관리와 검색 업무에 AI 적용을 고민하고 있다면 Worktro에 문의해 주세요. 현재 데이터 환경과 업무 프로세스에 적합한 활용 방안을 함께 살펴보겠습니다.

FAQ

데이터 카탈로그란 무엇인가요?

기관이 보유한 데이터를 쉽게 찾고 이해할 수 있도록 정리한 데이터 목록입니다. 데이터명뿐 아니라 설명, 관리 정보, 구성 항목 등을 함께 관리합니다. 쉽게 말하면 기관 안에 어떤 데이터가 있는지 확인할 수 있는 ‘데이터 지도’입니다.

메타데이터란 무엇인가요?

데이터가 무엇인지 설명하는 정보입니다. 데이터명, 설명, 관리 정보, 갱신 정보, 각각의 데이터 항목이 무엇을 의미하는지 등이 메타데이터에 해당합니다.

DCAT은 무엇인가요?

DCAT(Data Catalog Vocabulary)​은 데이터 카탈로그 간의 상호운용성을 높이기 위해 W3C에서 정의한 데이터 카탈로그 메타데이터 표준입니다. 데이터셋과 데이터 서비스의 이름, 설명, 제공 기관, 주제 등의 정보를 공통된 구조와 용어로 표현할 수 있도록 합니다. 이를 활용하면 기관이나 시스템마다 다르게 관리되는 데이터 정보를 일관된 형태로 정리하고, 여러 데이터 카탈로그에서 필요한 데이터를 검색하고 연계하기 쉬워집니다.

NGSI-LD는 무엇인가요?

NGSI-LD는 서로 다른 시스템의 데이터를 연결하고 활용할 수 있도록 ETSI에서 정의한 Context Information Management API 표준입니다. 사람, 시설, 차량, 센서 등 현실의 대상을 데이터 개체(Entity)로 표현하고, 각 개체의 속성과 관계를 함께 정의할 수 있습니다. 이를 통해 여러 시스템에 분산된 데이터를 공통된 방식으로 연결하고 조회·갱신·구독할 수 있습니다.

하이브리드 검색이란 무엇인가요?

키워드 검색과 의미 기반 검색을 함께 활용하는 방식입니다. 입력한 단어가 정확히 포함된 데이터뿐 아니라, 표현이 달라도 질문의 의미와 관련성이 높은 데이터까지 함께 탐색할 수 있습니다.

AI가 메타데이터를 만들면 담당자가 확인하지 않아도 되나요?

아닙니다. 이번 프로젝트에서는 AI가 메타데이터와 표준용어를 먼저 추천하고, 담당자가 결과를 검토·승인하는 방식으로 설계했습니다. AI는 반복적인 작성과 확인을 지원하고, 최종 데이터 품질에 대한 판단은 담당자가 수행합니다.