문서 청킹은 긴 본문을 일정 길이나 의미 경계에 따라 나누고 각 조각을 검색 가능한 단위로 저장합니다. 구간이 너무 작으면 문맥이 끊기고, 너무 크면 검색 결과에 불필요한 내용이 섞일 수 있습니다.
데모는 문장을 나누는 경계를 옮기고 중첩 구간이 앞뒤 문맥을 어떻게 보존하는지 보여줍니다. 실제 크기와 중첩량은 자료 형태와 검색 평가 결과에 맞춰 조정합니다.
언제 쓰나
긴 문서를 RAG용 색인에 넣거나 문맥 창에 필요한 부분만 담을 때 사용합니다.