LangSmith 계정에서 프로젝트와 API 설정
강의 목적
•
커스텀 에이전트 생성 전에, LangSmith를 먼저 설정한다.
•
이후 골든 데이터셋(Golden Dataset) 을 만들고, 트레이싱(Tracing) 과 평가(Evaluation) 에 활용할 수 있도록 준비한다.
LangSmith 로그인 및 프로젝트 생성
1) LangSmith 접속 및 로그인
•
LangSmith에 접속한다.
•
로그인하지 않았다면 로그인을 먼저 진행한다.
2) Tracing 메뉴로 이동
•
좌측 메뉴에서 Tracing 항목으로 이동한다.
•
여기서 프로젝트(Project) 를 하나 생성한다.
API Key 발급 및 환경변수 설정
1) API Key 생성
•
프로젝트 생성 후 Generate API Key를 클릭한다.
•
생성된 키를 복사한다.
2) .env 파일에 등록
•
복사한 API Key를 .env 파일에 붙여넣는다.
•
기존 설정 중 OpenAI API Key 관련 항목이 있으면 정리하거나 필요에 맞게 수정한다.
LANGSMITH_API_KEY=복사한_API_KEY
Plain Text
복사
트레이싱 확인
1) 첫 실행으로 트레이스 생성
•
설정이 정상적으로 되었는지 확인하기 위해 에이전트/코드를 한 번 실행한다.
•
실행 후 LangSmith 대시보드에 trace 가 생성되면 설정이 성공한 것이다.
2) 확인 가능한 정보
•
Latency(지연 시간)
•
Token 사용량
•
비용(Cost)
이 정보들을 통해 실행 결과를 쉽게 모니터링할 수 있다.
데이터셋과 평가 연동
1) Dataset / Experiment 활용
•
LangSmith의 Dataset / Experiment 기능에 골든 데이터셋을 넣어 사용할 수 있다.
•
이를 통해 실험 결과를 체계적으로 비교하고 평가할 수 있다.
2) 커스텀 이벨루이터(Evaluator)
•
LangSmith는 커스텀 evaluator 를 지원한다.
•
특히 LLM as a Judge 방식처럼, 미리 작성된 평가 프롬프트를 카테고리별로 쉽게 연동할 수 있다.
3) 모니터링의 장점
•
트레이싱을 기반으로 실행 흐름을 시각적으로 확인할 수 있다.
•
예를 들어, 왜 특정 요청이 오래 걸렸는지 같은 성능 이슈를 쉽게 파악할 수 있다.
핵심 정리
•
먼저 LangSmith 프로젝트와 API Key를 설정한다.
•
.env에 키를 넣고 실행해 trace 생성 여부를 확인한다.
•
LangSmith를 사용하면 레이턴시, 토큰 사용량, 비용을 함께 모니터링할 수 있다.
•
이후 골든 데이터셋, 커스텀 evaluator, 실험 관리로 이어지는 평가 워크플로우를 구축할 수 있다.
