RARE — 고객 문서 기반으로 RAG 정확도를 직접 측정합니다

RARE(Custom RAG Evaluation Framework)가 출시됐습니다. 고객의 실제 문서를 기반으로 RAG 평가 데이터셋을 자동으로 생성하는 프레임워크입니다. 기존 MiRA를 대체합니다.

달라진 것들

기존 RAG 평가는 범용 학술 벤치마크에 의존했습니다. 문제는 표준 벤치마크에서 80점을 받는 시스템이 실제 고객 문서에서는 10%대로 떨어지는 경우가 흔하다는 점입니다. 고객마다 문서 패턴, 도메인, 언어 특성이 다르기 때문입니다.

RARE는 이 문제를 다음 방식으로 해결합니다:

• 고객별 데이터셋 자동 생성: 실제 업로드된 문서에서 평가 질문과 정답을 자동으로 생성
• 반복 가능: 문서가 추가·변경될 때마다 새 평가셋 생성 가능
• 수치 기반 소통: "더 나아진 것 같다"에서 "정확도가 62%에서 71%로 개선됐습니다"로

왜 중요한가

AI 도입 프로젝트에서 "잘 작동하는가"를 증명하는 것은 구축만큼 중요합니다. RARE는 고객 환경에 맞는 측정 기준을 만들어 그 증명을 가능하게 합니다.

궁금한 점은 문의 페이지에서 연락해 주세요.