728x90 SMALL LLM 평가 자동화1 promptfoo로 프롬프트 바꿀 때마다 회귀 테스트 돌리는 방법 프롬프트 문장을 몇 글자 다듬었을 뿐인데 이전까지 잘 나오던 JSON 응답의 특정 키가 사라지거나 예외 처리가 무너지는 일이 흔합니다. promptfoo는 YAML 설정 파일 하나에 비교할 프롬프트, 호출할 언어 모델, 테스트 입력값과 단언문(assert)을 묶어 두고 명령줄에서 검증하는 평가 도구입니다. 프롬프트 수정 사항이 생길 때마다 모델 창에 일일이 붙여 넣어 보지 않고도 이전 테스트 케이스들이 그대로 통과하는지 빠르게 확인할 수 있습니다.설정 파일 하나에 프롬프트와 모델과 검증식을 모읍니다작업 폴더에서 npx promptfoo init 명령을 실행하면 기본 틀인 promptfooconfig.yaml 파일이 만들어집니다. 이 파일은 크게 prompts, providers, tests 세 덩어리로 .. 2026. 10. 15. 이전 1 다음 728x90 LIST
