LLM Eval
DeepEval
DeepEval은 RAG, 챗봇, Agent의 응답 품질을 테스트 케이스로 관리하게 해줍니다. 기능은 빠르게 붙였지만 답변 품질 회귀를 잡기 어려운 팀에게 특히 유용합니다.
GitHub 보기confident-ai/deepeval
쉽게 말하면
LLM 앱의 답변 품질을 테스트 코드처럼 평가하는 오픈소스 평가 프레임워크입니다.
4.4 평점86 OSS Score9k stars보통 난이도
주요 팩트
- LLM 응답 품질을 테스트로 관리
- RAG/환각/정확도 평가에 적합
- CI에 붙여 회귀를 감지 가능
좋은 점
AI 기능의 품질 기준을 코드화할 수 있습니다.
출시 전 답변 품질 점검 루틴을 만들기 좋습니다.
주의할 점
평가 데이터셋을 직접 잘 설계해야 합니다.
평가 모델 비용과 지연시간을 고려해야 합니다.
해외 반응 요약
GitHub
AI 앱 테스트 자동화에 실용적이라는 평가가 많습니다.
positiveProduct Hunt
비개발 운영자도 품질 지표를 이해하기 쉽다는 반응이 있습니다.
positive