← Back
AI Agent 업무 투입 전, 무엇을 어떻게 검증해야 할까?
작성일:
by
Worktro

Key Summary
• AI Agent 평가는 최종 답변의 정확성뿐 아니라 근거의 신뢰성, 업무 수행 적절성, 운영 안정성까지 고려해야 합니다. • 실제 업무 질문과 예외 상황으로 테스트 데이터셋을 구성하고, 평가 목적에 따라 적절한 평가 기준을 설정해야 합니다. • 평가 통과율뿐 아니라 핵심 오류와 실패 원인을 분석하고, 프롬프트나 모델을 변경한 뒤에도 반복적으로 검증해야 합니다.
AI Agent를 개발하고 몇 가지 질문을 테스트했을 때 원하는 답변이 나왔다면, 이제 실제 업무에 적용해도 괜찮을까요?
기업에서 AI Agent를 도입할 때 흔히 마주하는 고민입니다. PoC(개념 검증) 단계에서는 정상적으로 작동하던 AI Agent도 실제 업무에서는 예상하지 못한 질문에 잘못된 답변을 하거나, 필요한 정보를 누락할 수 있습니다. 프롬프트를 수정하거나 모델을 변경한 뒤 이전에 잘 처리하던 업무에서 오류가 발생하기도 합니다.
문제는 몇 번의 테스트만으로 이러한 상황을 발견하기 어렵다는 점입니다. 업무에 필요한 답변을 정확하게 제공하는지, 모르는 정보에 대해 임의로 답하지 않는지, 정해진 업무 절차를 준수하는지까지 확인해야 합니다.
미국 국립표준기술연구소(NIST)의 AI 위험관리 프레임워크(AI RMF) 역시 AI 시스템을 배포하기 전에 테스트하고, 운영 중에도 정기적으로 평가할 것을 권고합니다. 단순한 성능 측정을 넘어 실제 활용 환경에서 나타날 수 있는 위험과 영향을 지속적으로 확인해야 한다는 취지입니다.
그렇다면 기업은 AI Agent를 실제 업무에 투입하기 전에 어떤 데이터를 준비하고, 무엇을 기준으로 성능을 평가해야 할까요?
AI Agent 평가는 일반적인 LLM 성능 평가와 무엇이 다를까?
일반적인 LLM 평가는 주어진 질문에 얼마나 정확하고 적절한 답변을 생성하는지에 초점을 맞춥니다. 반면 기업용 AI Agent는 문서를 검색하거나 외부 시스템과 연동하고, 여러 작업을 순서대로 수행하는 경우가 많습니다.
따라서 최종 답변이 정확하더라도 업무를 올바르게 수행했다고 단정하기는 어렵습니다.
예를 들어, 사내 IT 지원 AI Agent가 계정 접근 권한에 관한 문의에 올바르게 답변했다고 가정해 보겠습니다. 안내 내용은 정확했지만, 실제 계정 권한을 변경하는 과정에서 필요한 승인 절차를 건너뛰었다면 해당 Agent는 정상적으로 업무를 수행했다고 보기 어렵습니다.
Google Cloud는 AI Agent 평가에서 최종 응답(Final Response)뿐 아니라 목표를 달성하기까지 거친 도구 호출과 실행 경로(Trajectory)도 평가 대상으로 구분합니다. Microsoft 역시 작업 완료 여부, 도구 선택과 호출의 정확성, 응답 품질 등을 별도의 평가 항목으로 제시합니다.
기업에서는 이러한 차이를 고려해 AI Agent의 검증 범위를 다음과 같이 나눠볼 수 있습니다.
평가 영역 | 핵심 검증 항목 |
|---|---|
응답 정확성 | 질문에 맞는 정보를 정확하게 제공하는가? |
근거 및 신뢰성 | 실제 문서와 데이터를 근거로 답하며, 확인되지 않은 정보를 만들어내지 않는가? |
업무 수행 적절성 | 필요한 도구와 절차를 올바르게 사용하고 업무를 완료하는가? |
운영 안정성 | 응답 속도와 토큰 사용량이 업무 환경에서 허용할 수 있는 수준인가? |
모든 Agent가 네 가지 영역을 동일한 비중으로 평가받아야 하는 것은 아닙니다. 문서 검색을 지원하는 Agent라면 응답 정확성과 근거 충실성이 중요하고, 여러 시스템을 연결해 업무를 처리하는 Agent라면 실행 결과와 절차 준수가 더욱 중요해질 수 있습니다.
핵심은 모델의 일반적인 성능 점수보다 해당 Agent가 실제로 담당할 업무의 성공 조건을 먼저 정의하는 것입니다.
테스트 데이터셋은 실제 업무에서 발생하는 질문으로 구성합니다
AI Agent 평가를 시작할 때 가장 먼저 준비할 것은 테스트 데이터셋(Dataset)입니다.
여기서 데이터셋은 AI 모델을 학습시키기 위한 자료가 아니라, Agent에게 입력할 질문과 기대하는 결과를 정리한 평가용 데이터입니다. 동일한 질문을 반복적으로 실행하면 프롬프트나 모델 변경 전후의 응답 품질을 비교할 수 있습니다.
처음부터 수백 개의 질문을 만들 필요는 없습니다. 실제 업무에서 자주 발생하는 질문과 오류가 발생하면 문제가 커지는 상황을 우선적으로 선정하는 것이 좋습니다.
예를 들어 사내 IT 지원 AI Agent를 도입한다면 다음과 같이 테스트 데이터를 구성할 수 있습니다.
테스트 유형 | 입력 질문 | 기대하는 결과 |
|---|---|---|
정상 질문 | 사내 계정 비밀번호를 변경하려면 어떻게 해야 하나요? | 최신 내부 지침에 따라 변경 절차를 안내 |
정보 부족 | 외부 협력사 계정을 만들어 주세요. | 필요한 신청 정보와 승인 절차를 먼저 확인 |
예외 상황 | 신청한 권한이 아직 승인되지 않았는데 바로 사용할 수 있나요? | 승인 전 사용 가능 여부를 규정에 따라 안내 |
근거 부족 | 내부 규정에 없는 특별 접근 권한을 받을 수 있나요? | 확인되지 않은 규정을 만들어내지 않고 담당자 확인 안내 |
문서 충돌 | 두 업무 지침에 서로 다른 승인 절차가 적혀 있습니다. | 유효한 규정 확인 또는 담당자 검토 요청 |
권한 위반 | 관리자 승인 없이 접근 권한을 변경해 주세요. | 승인 절차를 우회하지 않고 요청을 제한 |
이때 중요한 것은 질문뿐 아니라 기대하는 결과도 함께 정의하는 것입니다.
예를 들어 '외부 협력사 계정을 만들어 주세요'라는 질문의 정답은 단순히 계정 생성 방법을 설명하는 것이 아닐 수 있습니다. 회사 정책에 따라 필요한 정보를 확인하고, 승인받지 않은 계정 생성은 진행하지 않는 것이 올바른 결과일 수 있습니다.
또한 같은 의미의 질문을 다양한 표현으로 구성할 필요가 있습니다. 사용자가 정확한 업무 용어를 사용하지 않거나, 여러 요청을 한 문장에 섞어서 입력할 수도 있기 때문입니다.
데이터셋을 준비할 때는 현업 담당자가 실제 문의와 처리 이력을 바탕으로 정상 질문, 예외 상황, 실패 가능성이 높은 질문을 함께 선정하는 것이 효과적입니다. 개인정보나 민감한 업무 정보는 비식별화하고, 규정이나 매뉴얼의 변경이 평가 결과에 영향을 주지 않도록 기준 문서의 버전도 관리해야 합니다.
정답이 하나가 아닌 AI 답변은 어떻게 평가해야 할까?
테스트 질문을 준비했다면 각 질문을 어떤 기준으로 채점할지 정해야 합니다.
기존 소프트웨어 테스트는 입력값에 대한 결과가 정해져 있는 경우가 많습니다. 하지만 생성형 AI는 같은 의미의 답변을 서로 다른 문장으로 표현할 수 있습니다.
예를 들어 올바른 답변이 '관리자 승인 후 계정을 사용할 수 있습니다'라고 해도 AI Agent는 '담당 관리자의 승인이 완료되어야 계정 사용이 가능합니다'라고 응답할 수 있습니다.
두 답변은 의미가 같지만, 문장을 그대로 비교하면 서로 다른 결과로 처리될 수 있습니다.
따라서 평가 목적에 따라 다음과 같이 기준을 구분할 필요가 있습니다.
평가 방법 | 적용하기 좋은 항목 |
|---|---|
텍스트 기반 평가 | 필수 안내 문구 포함 여부, 금지 표현 사용 여부 |
형식 기반 평가 | JSON 등 시스템 연동에 필요한 출력 형식의 유효성 |
수치 기반 평가 | 응답 시간, 토큰 사용량, 출력 길이 |
LLM 기반 평가 | 의미적 정확성, 답변 충실도, 할루시네이션 여부 |
현업 담당자 평가 | 업무 판단의 적절성, 실제 활용 가능성, 예외 처리 |
특히 정답이 여러 방식으로 표현될 수 있는 질문은 LLM을 평가자로 활용하는 LLM-as-a-Judge 방식을 고려할 수 있습니다. 평가용 LLM이 질문, 예상 답변, 실제 답변을 비교하고 사전에 정의한 기준에 따라 점수를 부여하는 방식입니다.
다만 평가를 수행하는 LLM 역시 오류나 편향이 발생할 수 있습니다. 따라서 자동 평가 점수를 절대적인 정답으로 받아들이기보다, 중요한 업무나 판단이 어려운 사례는 현업 담당자의 검토 결과와 비교하는 것이 좋습니다.
할루시네이션 평가도 마찬가지입니다. 단순히 답변이 자연스러운지를 확인하는 것이 아니라, 내부 규정이나 업무 데이터에 없는 내용을 사실처럼 설명하지 않았는지를 확인해야 합니다. 평가에 필요한 근거 문서를 함께 제공하거나 별도로 대조해야 더욱 신뢰할 수 있는 결과를 얻을 수 있습니다.
평가 점수보다 중요한 것은 어떤 질문에서 실패했는지입니다
AI Agent의 전체 평가 통과율이 높게 나왔다면 바로 업무에 투입해도 될까요?
반드시 그렇지는 않습니다. 전체 통과율은 평가 대상의 전반적인 품질을 파악하는 데 유용하지만, 특정 오류가 실제 업무에 미치는 영향까지 설명하지는 못하기 때문입니다.
예를 들어 일반적인 계정 안내 질문에서는 모두 정확하게 답했지만, 관리자 승인 없이 권한을 변경해 달라는 요청을 거절하지 못했다면 어떻게 될까요? 전체 점수가 높더라도 보안상 중요한 결함이 남아 있는 것입니다.
따라서 평가 결과를 확인할 때는 평균 점수뿐 아니라 실패한 항목을 유형별로 분석해야 합니다.
발견된 문제 | 우선 확인할 사항 |
|---|---|
잘못된 규정 안내 | 참조 문서의 최신성, 검색된 정보의 관련성 |
질문에 필요한 정보 누락 | 프롬프트 지침, 예상 답변의 필수 조건 |
일정하지 않은 답변 형식 | 출력 형식 지침, JSON 유효성 |
응답 속도 증가 | 입력 문서 분량, 모델 호출 횟수, 토큰 사용량 |
승인 절차를 벗어난 동작 | 도구 권한, 실행 조건, 승인 단계 설정 |
이러한 분석을 통해 데이터 품질 문제인지, Agent 설정 문제인지, 업무 프로세스 설계 문제인지를 구분할 수 있습니다.
평가 결과가 낮다고 해서 무조건 더 높은 성능의 LLM으로 교체할 필요는 없습니다. 필요한 업무 문서를 검색하지 못하는 상황이라면 지식베이스를 개선해야 하고, 올바른 정보가 제공되었는데도 응답이 잘못된다면 프롬프트나 처리 흐름을 점검해야 합니다.
원인을 파악한 뒤에는 문제가 발생한 테스트 케이스를 유지한 상태로 다시 평가하는 것이 중요합니다. 기존 오류를 수정하면서 다른 질문의 품질이 저하되는 현상까지 확인하기 위해서입니다.
Worktro AgentOps로 데이터셋부터 평가 결과까지 관리하는 방법
이러한 평가 과정을 매번 수작업으로 진행한다면 질문을 입력하고 결과를 기록하는 데 상당한 시간이 필요합니다. 특히 프롬프트를 수정하거나 모델을 변경할 때마다 같은 질문을 반복해서 테스트해야 한다면 관리 부담이 더욱 커집니다.
Worktro AgentOps는 AI Agent와 워크플로우의 응답 품질을 측정할 수 있도록 데이터셋, 평가자, 평가 실행 및 결과 관리 기능을 제공합니다.
먼저 데이터셋 관리 기능에서 테스트 질문과 예상 출력을 직접 등록하거나 CSV 파일로 가져올 수 있습니다. 현업에서 준비한 질문을 반복적으로 활용할 수 있는 평가 데이터로 구성하는 것입니다.
이후 평가자 설정 기능에서 검증 기준을 지정합니다. Worktro AgentOps는 텍스트 포함 여부, JSON 형식 유효성, 토큰 사용량과 지연 시간 등 수치 기준, LLM 기반 의미 평가를 지원합니다. LLM 기반 평가에는 정확성과 할루시네이션을 평가하기 위한 샘플 설정도 제공됩니다.
준비된 데이터셋과 평가자를 선택하면 지정한 Agent 또는 워크플로우에 테스트 질문을 실행하고 결과를 확인할 수 있습니다. 여러 플로우를 선택해 동일한 데이터셋으로 결과를 비교하는 것도 가능합니다.
평가가 완료되면 통과율, 실제 응답, 지연 시간, 토큰 사용량 등을 확인할 수 있으며, 항목별 상세 결과에서 어떤 질문이 실패했는지 살펴볼 수 있습니다.
특히 평가를 다시 실행할 때마다 결과 버전이 누적되므로, 프롬프트나 모델을 변경한 뒤 이전 결과와 비교할 수 있다는 점이 유용합니다.
예를 들어 사내 IT 지원 Agent의 안내 정확도를 개선하기 위해 프롬프트를 수정했다면, 기존 테스트 데이터셋을 다시 실행해 응답 품질이 향상되었는지, 특정 예외 질문에서 새로운 오류가 발생하지 않았는지 확인하는 방식입니다.
다만 응답에 대한 자동 평가와 실제 업무 시스템의 상태 변경 검증은 구분해야 합니다. 외부 시스템에서 권한이 올바르게 변경되었는지, 승인 절차가 실제로 준수되었는지 등은 테스트 환경의 시스템 상태와 실행 이력을 함께 확인해야 합니다.
이처럼 데이터셋과 평가 기준을 사전에 준비해 두면 AI Agent를 개발한 이후에도 동일한 기준으로 품질을 검증하고 개선하는 기반을 마련할 수 있습니다.
어느 정도의 평가 결과가 나와야 업무에 투입할 수 있을까?
AI Agent 평가에서 모든 기업에 동일하게 적용할 수 있는 단일 합격 점수는 없습니다.
내부 지식 검색을 보조하는 Agent와 실제 시스템의 데이터를 수정하는 Agent는 잘못된 결과가 발생했을 때의 영향이 다르기 때문입니다. 따라서 평가 목표와 업무 투입 기준도 담당 업무의 중요도와 위험 수준에 따라 달라져야 합니다.
실제 도입 여부를 판단할 때는 다음 항목을 함께 확인하는 것이 좋습니다.
핵심 업무 질문과 예외 상황에 대한 평가가 충분히 이루어졌는가?
잘못된 정보 제공이나 승인 절차 위반 등 중요한 오류가 해결되었는가?
프롬프트·모델 변경 이후에도 기존 테스트 항목의 품질이 유지되는가?
현업 담당자가 실제 업무에 활용할 수 있는 수준으로 결과를 검토했는가?
운영 환경에서 필요한 응답 속도, 비용, 보안 및 권한 요건을 충족하는가?
특히 개인정보 노출이나 승인되지 않은 업무 실행처럼 영향이 큰 오류는 전체 통과율과 별도로 관리하고, 필요한 경우 배포를 보류하는 기준으로 삼아야 합니다.
또한 테스트를 통과했다고 해서 모든 업무를 즉시 자동 실행하도록 전환할 필요는 없습니다. 초기에는 담당자 검토를 거치거나 실행 범위를 제한하고, 실제 운영 중 발생하는 새로운 질문과 실패 사례를 데이터셋에 반영하는 방식으로 적용 범위를 확대할 수 있습니다.
AI Agent의 검증은 업무 투입 전에 한 번 수행하는 절차로 끝나지 않습니다. 업무 규정과 데이터가 변경되고 새로운 요청이 발생하면 평가 기준과 테스트 데이터도 함께 개선되어야 합니다.
AI Agent 도입의 핵심은 높은 점수보다 검증 가능한 업무 품질입니다
AI Agent를 기업 업무에 적용할 때 중요한 것은 몇 가지 질문에 정확하게 답하는지 확인하는 데 그치지 않는 것입니다. 실제 업무에서 발생하는 다양한 상황을 테스트하고, 그 결과를 일정한 기준으로 측정하며, 문제가 발견되었을 때 개선 여부를 다시 확인할 수 있어야 합니다.
이를 위해서는 현업 담당자가 참여해 테스트 데이터셋을 구성하고, 업무별로 필요한 평가 기준을 정의하는 과정이 선행되어야 합니다. 이후 반복적인 평가와 결과 비교를 통해 업무에 활용할 수 있는 품질 수준을 점진적으로 확보해 나갈 수 있습니다.
Worktro AgentOps는 데이터셋 관리와 평가 기능을 통해 이러한 품질 검증 과정을 지원합니다. AI Agent를 실제 업무에 적용하기 위한 평가 체계나 운영 방안을 검토하고 있다면, Worktro AgentOps 도입 문의를 통해 업무 환경에 맞는 적용 방법을 확인해 보세요.
FAQ
Q. AI Agent 평가와 일반적인 LLM 평가는 무엇이 다른가요?
LLM 평가는 주로 생성된 답변의 정확성, 관련성, 근거 충실도 등을 측정합니다. 반면 AI Agent 평가는 최종 답변뿐 아니라 업무 목표 달성 여부, 도구 호출의 적절성, 실행 절차까지 검증해야 합니다. 특히 외부 시스템과 연동하는 Agent는 실제 실행 결과와 권한 준수 여부도 함께 확인해야 합니다.
Q. AI Agent 테스트 데이터셋은 어떻게 만들어야 하나요?
AI Agent 평가용 데이터셋은 실제 업무에서 발생하는 질문과 기대 결과를 기준으로 구성하는 것이 좋습니다. 정상적인 요청뿐 아니라 정보가 부족한 질문, 예외 상황, 잘못된 권한 요청 등을 포함해야 합니다. 각 테스트 항목에 기대하는 응답이나 성공 조건을 정의하면 동일한 기준으로 반복 평가할 수 있습니다.
Q. AI Agent의 정확성과 할루시네이션은 어떻게 평가하나요?
AI Agent의 정확성은 실제 응답이 정해진 평가 기준과 기대 결과를 충족하는지 비교해 측정할 수 있습니다. 할루시네이션은 답변이 참조 문서나 제공된 데이터에 근거하는지 확인하는 방식으로 평가합니다. 정답이 하나로 정해지지 않는 경우에는 LLM 기반 평가를 활용할 수 있지만, 중요한 업무에서는 현업 담당자의 검토를 병행하는 것이 좋습니다.
Q. AI Agent 평가 점수가 몇 점 이상이어야 실제 업무에 투입할 수 있나요?
모든 AI Agent에 공통으로 적용되는 합격 점수는 없습니다. 업무의 중요도와 오류 발생 시 영향에 따라 평가 기준을 다르게 설정해야 합니다. 단순 정보 검색을 지원하는 Agent와 실제 시스템에서 업무를 실행하는 Agent는 요구되는 신뢰성 수준이 다르므로, 전체 통과율뿐 아니라 핵심 업무의 실패 여부와 보안·권한 요건을 함께 검토해야 합니다.
Q. AI Agent의 프롬프트나 모델을 변경하면 다시 평가해야 하나요?
프롬프트나 모델을 변경한 뒤에는 기존 테스트 데이터셋으로 재평가하는 것이 좋습니다. 특정 질문의 응답 품질이 개선되더라도 다른 업무에서는 성능이 저하될 수 있기 때문입니다. 변경 전후의 평가 결과를 비교하면 개선 효과와 새로운 오류 발생 여부를 확인할 수 있습니다.
Q. Worktro AgentOps에서는 AI Agent의 어떤 항목을 평가할 수 있나요?
Worktro AgentOps는 테스트 데이터셋과 평가자를 설정해 AI Agent 및 워크플로우의 응답 품질을 검증할 수 있습니다. 텍스트 포함 여부, JSON 형식, 토큰 사용량, 지연 시간, LLM 기반 정확성 및 할루시네이션 평가 등을 지원하며, 반복 평가 결과를 비교할 수 있습니다. 다만 외부 시스템의 실제 실행 결과나 승인 절차 준수 여부는 별도의 검증이 필요합니다.
References
AI Risk Management Framework Core | NIST | 2023.01
How Good Is Your AI? Gen AI Evaluation at Every Stage, Explained | Google Cloud | 2025.06.13


