에이전트 평가: 벤치마크와 실환경 차이

에이전트 시스템 평가는 "이 질문에 정확히 답했는가"가 아니라 "목표에 이르는 과정 전체가 얼마나 안정적으로 작동하는가"를 묻는다. 벤치마크는 통제된 조건에서 비교 가능한 지표를 제공하지만, 실제 업무 환경에서는 상태 변화, 도구 오류, 사용자 개입, 예측하기 어려운 입력이 개입된다. "시험 점수"가 "실무 수행력"을 보장하지 않는 것과 같다.

이 글에서는 에이전트 시스템 평가가 어려운 이유와 벤치마크 평가와 실환경 평가의 차이를 설명한다. 특정 평가 지표 설계, 점수 비교, 성과 판단 기준은 다루지 않는다.

기존 LLM 평가와의 차이

일반 LLM 평가는 "질문에 대한 답이 얼마나 정확한가"를 본다. 에이전트 평가는 그것만으로 부족하다.

에이전트는 단일 응답이 아니라 다회 실행으로 목표를 달성한다. 따라서 과정 전체가 평가 대상이다. 어느 단계에서 도구를 호출했는지, 상태를 어떻게 관리했는지, 오류에 어떻게 반응했는지까지 봐야 한다.

같은 목표와 입력이라도 매번 다른 경로를 선택할 수 있는 비결정성도 문제다. 단일 실행 결과 하나로는 성능을 판단하기 어렵고, 반복 실행의 통계적 경향을 봐야 한다.

실환경에서는 외부 변수가 개입한다. 외부 API의 응답 속도, 도구 결과의 품질, 사용자의 추가 입력 같은 요소가 성능에 영향을 미친다. 이 변수들은 벤치마크에서 통제하기 어렵다. 그래서 벤치마크 성능이 높아도 실환경에서 예상대로 작동하지 않는 경우가 생긴다.

대표적인 에이전트 벤치마크

에이전트 전용 벤치마크는 단순 응답 정확도가 아니라, 다단계 추론, 도구 사용, 환경 적응, 복구 능력을 측정하도록 설계되어 있다.

AgentBench는 코드 실행, 게임, 웹 상호작용 등 8개의 다양한 환경에서 LLM을 에이전트로 평가하는 종합 벤치마크다. 환경별 Task Success Rate를 가중 평균해 Overall AgentBench Score를 산출한다.

GAIA는 "인간에게는 개념적으로 단순하지만, 멀티모달·웹 브라우징·도구 사용·다단계 추론이 필요한 466개 질문"으로 구성된다. 인간은 약 92%를 맞히는 반면, 초기 GPT-4+플러그인은 약 15% 수준에 머물렀다. 현재 최신 에이전트는 60~70%대 수준이지만 여전히 인간과 큰 격차가 있다.

SWE-bench는 실제 GitHub 이슈를 자동으로 해결하는 능력을 측정한다. 실제 리포지토리를 탐색하고 수정 패치를 생성한 후, 테스트를 통과하는 비율(Task Success Rate)을 측정한다. "문제를 풀었는가"뿐 아니라 "복잡한 코드베이스 안에서 정확한 위치를 찾는가"까지 평가하는 변형(SWE-PolyBench)도 있다.

실환경에서 쓰이는 지표들

벤치마크와 달리, 운영 환경에서는 다음과 같은 지표들이 논의된다.

Task Success Rate(TSR): 목표를 성공적으로 완료한 비율. 에이전트 성능의 기본 지표.
Recovery Rate: 오류나 실패 후 목표를 재달성하는 비율. 시스템의 회복력을 나타낸다.
Cost per Task: 하나의 태스크를 완료하는 데 드는 토큰·API 호출 비용. 규모 운영에서 중요하다.
Hallucination Rate: 근거 없는 정보를 생성하는 빈도. 실행과 결합될 때 위험성이 커진다.

벤치마크 평가와 실환경 평가 비교

구분벤치마크 평가실환경 평가조건통제됨변동적과제고정된 문제 세트실제 업무 맥락측정 대상정답·점수 중심목표 달성·안정성·비용재현성높음상대적으로 낮음한계현실 반영에 한계비교·정량화 어려움

자주 하는 오해

"벤치마크 점수가 높으면 실환경에서도 잘 작동한다"
벤치마크는 통제된 조건의 스냅샷이다. 실제 환경에서는 외부 도구, 사용자 행동, 예측하기 어려운 입력이 개입되어 성능이 달라질 수 있다.

"정확도 하나로 에이전트를 평가할 수 있다"
에이전트는 최종 정확도만이 아니라 과정의 안정성, 비용 효율, 오류 복구 능력을 함께 봐야 한다.

"평가는 도입 이후에만 필요하다"
설계 단계에서 평가 기준을 정하지 않으면, 운영 중 문제가 생겼을 때 원인을 파악하기 어렵다. 평가 계획은 설계와 함께 시작하는 것이 일반적이다.

FAQ

Q1. 기존 LLM 평가 방식으로 에이전트를 평가할 수 있는가?
일부 요소는 참고할 수 있지만, 목표 달성과 과정 안정성, 도구 사용 능력, 회복력은 별도로 평가해야 한다.

Q2. 재현성이 낮아도 평가가 가능한가?
가능하다. 단일 실행보다 반복 실행의 평균적 경향과 실패 패턴을 중심으로 접근한다.

Q3. 종단 간(E2E) 평가는 무엇을 강조하는가?
개별 단계의 정확도보다 전체 흐름이 일관되게 작동하는지, 목표를 끝까지 달성하는지를 함께 평가한다.