토큰화는 문장을 모델 어휘에 맞는 조각과 ID로 바꾸는 단계입니다. 한 단어가 하나의 토큰이라는 보장은 없고 공백·기호·언어에 따라 분할이 달라집니다.
데모는 예시 문자열을 조각으로 분리하고 개수를 세는 과정입니다. 실제 토큰 경계는 모델의 토크나이저마다 달라서 이 그림의 분할과 같지 않을 수 있습니다.
언제 쓰나
입력 길이, 비용, 청킹 크기를 추정할 때 토큰 단위를 확인합니다.
토큰화
Tokenization
입력 문자열을 모델이 처리하는 조각인 토큰으로 나눕니다.
···
<div class="scene"><div class="heading">TEXT → PIECES</div><div class="source" id="source">AI builds tools.</div><div class="parts" id="parts"></div><div class="count mono" id="count">0 tokens</div></div>.scene{width:min(94vw,800px);height:min(88vh,326px);padding:clamp(10px,2.7vmin,19px);border:1px solid var(--line);border-radius:13px;background:var(--surface);font:500 clamp(13px,2.4vmin,17px)/1.3 var(--font-sans,sans-serif);position:relative;overflow:hidden}.scene .mono{font-family:ui-monospace,SFMono-Regular,monospace}.scene .muted{color:var(--muted)}.scene .accent{color:var(--accent)}.scene .heading{font-weight:750;color:var(--accent);margin-bottom:clamp(5px,1.6vmin,12px)}.source{padding:10px;border-bottom:1px solid var(--line);font-size:1.15em}.parts{height:46%;display:flex;align-items:center;justify-content:center;gap:5px;flex-wrap:wrap}.part{border:1px solid var(--accent);color:var(--accent);background:color-mix(in srgb,var(--accent) 10%,var(--surface));padding:7px;border-radius:5px;animation:rise .35s both}.count{text-align:right;color:var(--muted)}@keyframes rise{from{transform:translateY(12px);opacity:0}to{transform:translateY(0);opacity:1}}const samples=[['AI builds tools.',['AI',' builds',' tools','.']],['hello-world',['hello','-','world']]];let i=0;function draw(){const [source,parts]=samples[i];document.getElementById('source').textContent=source;document.getElementById('parts').innerHTML=parts.map((p,n)=>'<span class=part style=animation-delay:'+n*90+'ms>'+p+'</span>').join('');document.getElementById('count').textContent=parts.length+' example pieces';i=1-i}draw();setInterval(draw,2400)