모델 라우팅은 요청의 난도, 지연 요구, 비용 한도 등에 따라 처리 경로를 정합니다. 간단한 요청과 복잡한 요청을 한 경로로만 처리하지 않고 적절한 후보로 보냅니다.
데모는 요청 카드가 분류기를 지나 두 레인 중 하나로 이동하는 모습을 보여줍니다. 분류 오류와 재시도 비용까지 측정하지 않으면 비용 절감이 품질 저하로 이어질 수 있습니다.
언제 쓰나
요청별 요구 수준이 달라 품질·지연·비용을 함께 조절해야 할 때 사용합니다.
모델 라우팅
Model routing
요청의 특성에 맞춰 다른 모델이나 처리 경로를 선택합니다.
···
<div class="scene"><div class="heading">REQUEST ROUTER</div><div class="router"><div id="request" class="request">짧은 요약</div><div class="junction">분류기</div><div class="lanes"><div id="small">빠른 경로</div><div id="large">정밀 경로</div></div></div><div class="muted" id="route-note">빠른 경로 선택</div></div>.scene{width:min(94vw,800px);height:min(88vh,326px);padding:clamp(10px,2.7vmin,19px);border:1px solid var(--line);border-radius:13px;background:var(--surface);font:500 clamp(13px,2.4vmin,17px)/1.3 var(--font-sans,sans-serif);position:relative;overflow:hidden}.scene .mono{font-family:ui-monospace,SFMono-Regular,monospace}.scene .muted{color:var(--muted)}.scene .accent{color:var(--accent)}.scene .heading{font-weight:750;color:var(--accent);margin-bottom:clamp(5px,1.6vmin,12px)}.router{height:66%;display:flex;align-items:center;justify-content:space-around;gap:5px}.request,.junction,.lanes div{border:1px solid var(--line);background:var(--bg);border-radius:7px;padding:clamp(6px,2vmin,13px);text-align:center}.junction{border-color:var(--accent)}.lanes{display:grid;gap:8px}.lanes div.active{background:color-mix(in srgb,var(--accent) 20%,var(--surface));border-color:var(--accent);color:var(--accent)}let complex=false;function draw(){complex=!complex;document.getElementById('request').textContent=complex?'다단계 분석':'짧은 요약';document.getElementById('small').classList.toggle('active',!complex);document.getElementById('large').classList.toggle('active',complex);document.getElementById('route-note').textContent=complex?'정밀 경로 선택':'빠른 경로 선택'}draw();setInterval(draw,1500)