Top-p는 다음 토큰 후보를 확률 순으로 정렬하고 누적 합이 p에 도달할 때까지의 후보 집합을 만듭니다. 확률 분포가 뾰족하면 후보가 적고 평평하면 더 많아지는 가변 크기 집합입니다.
데모는 p 경계가 움직일 때 선택 가능한 막대가 늘고 줄어드는 모습을 보여줍니다. 온도는 확률 분포 자체를 바꾸고 top-p는 그 분포에서 남길 후보를 고르므로 둘을 함께 바꿀 때는 결과를 따로 평가해야 합니다.
언제 쓰나
생성 다양성을 조절하되 낮은 확률의 긴 꼬리 후보를 제외하고 싶을 때 사용합니다.