실행 추적 채점은 에이전트 실행에서 각 호출과 인계를 기록한 뒤 기준표로 평가합니다. 어느 단계에서 선택이 나빴는지 찾아 프롬프트나 도구 구성을 고칠 수 있습니다.
데모는 추적의 세 단계를 훑으며 도구 선택 오류에 점수를 매깁니다. 추적에 민감 정보가 남을 수 있고, 채점 기준도 오판할 수 있으므로 보관 범위와 샘플 검토가 필요합니다.
언제 쓰나
에이전트 워크플로의 실패 원인을 단계별로 찾고 변경 전후를 비교할 때 사용합니다.
실행 추적 채점
Trace grading
모델·도구·인계 단계가 담긴 추적을 기준표로 평가합니다.
···
<div class="stage"><div class="title">TRACE GRADING</div><div class="canvas"><div class="trace"><div id="t0"><span>MODEL</span><b>intent</b></div><div id="t1"><span>TOOL</span><b>wrong source</b></div><div id="t2"><span>HANDOFF</span><b>review</b></div></div><div class="grade" id="grade">grading model call</div></div></div>.stage{width:min(94vw,820px);height:min(88vh,330px);box-sizing:border-box;padding:clamp(9px,2.4vmin,18px);border:1px solid var(--line);border-radius:13px;background:var(--surface);display:flex;flex-direction:column;gap:clamp(7px,2vmin,14px);font:600 clamp(12px,2.5vmin,16px)/1.28 "Pretendard Variable",Pretendard,-apple-system,BlinkMacSystemFont,"Apple SD Gothic Neo",sans-serif;color:var(--fg);overflow:hidden}.title{color:var(--accent);letter-spacing:.035em;flex:none}.canvas{position:relative;flex:1;min-height:0;display:flex;align-items:center;justify-content:center}.muted{color:var(--muted)}.mono{font-family:ui-monospace,SFMono-Regular,monospace}.box{border:1px solid var(--line);border-radius:8px;background:var(--bg);padding:clamp(5px,1.4vmin,12px);text-align:center}.active{border-color:var(--accent)!important;color:var(--accent)!important;background:color-mix(in srgb,var(--accent) 12%,var(--surface))!important}.canvas{flex-direction:column;gap:clamp(8px,3vmin,20px)}.trace{display:flex;width:100%;max-width:650px;gap:clamp(3px,1vmin,9px)}.trace div{flex:1;min-width:0;border:1px solid var(--line);border-radius:6px;padding:clamp(5px,1.7vmin,12px);display:flex;flex-direction:column;gap:6px;text-align:center}.trace span{color:var(--muted)}.trace b{overflow-wrap:anywhere}.trace .bad{border-color:var(--accent-3);color:var(--accent-3)}.grade{color:var(--accent)}let n=0;function grade(){const s=n++%3;for(let i=0;i<3;i++){const el=document.getElementById('t'+i);el.classList.toggle('active',i===s&&i!==1);el.classList.toggle('bad',i===s&&i===1)}document.getElementById('grade').textContent=['model: pass','tool choice: review','handoff: pass'][s]}grade();setInterval(grade,950)