Claude Code Agent Skill을 활용한 Golden Dataset 생성
1. Claude Code Skill의 개념
Skill이란?
•
Skill은 자주 사용하는 기능을 반복적인 프롬프트 대신 재사용 가능하게 만든 인스트럭션(지시문) 입니다.
•
쉽게 말해, 프롬프트를 구조화해서 다른 사람도 편하게 쓸 수 있게 만든 형태입니다.
왜 “프롬프트”가 아니라 “스킬”이라고 부르는가?
2. Skill의 구성 요소
1) skill.md
•
LLM이 수행할 핵심 지시사항이 들어갑니다.
•
예: “주어진 문서를 바탕으로 골든 데이터셋을 만들어라”
2) sample.md
•
입력/출력 예시를 넣는 영역입니다.
•
강의에서는 FAQ 등을 Markdown 형태로 변환해서 예시로 사용할 수 있다고 설명합니다.
3) Template
•
결과를 어떤 형태로 만들지 정하는 출력 양식입니다.
•
예를 들어 다음처럼 빈 칸을 두고 채우게 할 수 있습니다.
question | answer | source
Plain Text
복사
4) Script
•
단순 프롬프트보다 더 강력하게 만드는 요소입니다.
•
Shell Script, Python, JavaScript 등을 실행할 수 있습니다.
•
장점:
◦
프롬프트에만 의존하지 않고 코드를 직접 실행 가능
◦
결과의 안정성이 높아짐
◦
기존 코드 기반 작업을 AI와 연결하기 쉬움
5) Reference
•
참고자료를 추가해 도메인 지식을 반영할 수 있습니다.
•
예: 특정 문서, 정책, 가이드라인을 참고해 골든 데이터셋 생성
3. Golden Dataset 생성에 Skill을 사용하는 이유
장점
•
PDF를 바로 입력으로 줄 수 있음
•
Markdown으로 변환하는 과정을 생략 가능
•
Claude Code는 구독형이므로 별도 토큰 비용 부담이 적음
•
문서의 내용뿐 아니라 의도, 목적, 규정까지 반영한 질문/답변 생성이 가능
예시
•
단순 문서 내용만 묻는 것이 아니라
•
문서의 목적이나 전결 규정처럼 맥락을 반영한 질문도 생성 가능
4. 실제 사용 방식
간단한 실행 예
•
PDF 파일 경로를 복사한 뒤 Claude Code에서 스킬을 실행합니다.
claude
/generating-golden-dataset <파일경로>
Bash
복사
결과
•
문서를 읽고 질문, 답변, 소스가 포함된 CSV를 생성합니다.
•
파일명에 맞춰 CSV로 저장하도록 설정할 수 있습니다.
5. Skill 작성 방법
기본 작성 흐름
1.
원본 문서를 연다
2.
Copy Page로 본문을 Markdown 형태로 복사한다
3.
이를 Skill의 컨텍스트로 붙여넣는다
4.
“무엇을 해야 하는지” 태스크를 명확하게 작성한다
프롬프트 형식
•
강의에서는 XML 형태를 사용한 예시를 설명합니다.
•
이유:
◦
Claude의 시스템 프롬프트가 XML 스타일로 발전한 흐름을 반영
◦
구조화된 지시를 주기 쉬움
•
다만, 모든 경우에 XML이 필수는 아님
◦
짧은 프롬프트는 일반 줄글로도 충분
◦
XML 태그는 토큰을 더 사용하므로 불필요하게 복잡하게 만들 필요는 없음
6. Skill 개선 방법
베스트 프랙티스 문서 활용
•
Anthropic 문서의 Best Practices를 참고해 Skill을 개선할 수 있습니다.
•
문서를 복사해 Claude에 넣고, flat mode를 켜서 계획을 세우게 합니다.
Flat mode를 쓰는 이유
•
Claude가 먼저 계획을 세우도록 유도
•
요구사항을 더 세밀하게 조정할 수 있음
•
작성된 결과를 바탕으로 다시 수정하는 이터레이션이 쉬움
개선 과정의 핵심
•
이미 만들어진 데이터셋 파일들을 Claude가 참고하게 할 수 있음
•
같은 경로의 파일들을 읽으며 기존 패턴을 학습하고 개선 방향을 제안함
•
예:
◦
단순히 question / answer / source만 보는 것이 아니라
◦
도구 사용 방식, 문서 구조, 타입 가이드라인까지 고려해 확장 가능
중요 포인트
•
Skill은 500줄 미만이 권장됨
•
너무 길어지면 Claude가 스스로 줄이기도 함
•
복잡한 기능이 아니라면 짧고 단순한 Skill로도 충분함
7. 실습에서 다룬 생성 결과
생성된 데이터셋 형태
•
주로 다음 컬럼을 포함한 CSV 형태로 저장
◦
question
◦
answer
◦
source
특징
•
문서의 단순 요약이 아니라
•
문맥을 반영한 질문과 **근거(source)**를 함께 포함
•
평가용 Golden Dataset으로 활용 가능
8. 정리
핵심 요약
•
Claude Code Skill은 반복적인 프롬프트를 재사용 가능한 형태로 만든 도구입니다.
•
•
Golden Dataset 생성에서는
◦
PDF를 직접 입력하고
◦
CSV 형태로 결과를 만들며
◦
문서의 목적과 맥락까지 반영할 수 있다는 장점이 있습니다.
•
Skill 작성 후에는 베스트 프랙티스 기반 개선과 이터레이션을 통해 성능을 높일 수 있습니다.
다음 주제
•
이 강의는 이후 에이전트 평가(Evaluation), 특히 본격적인 평가 방법론으로 넘어가기 위한 준비 단계입니다.
