text splitters1 Retrieval - Text Splitters Text Splitter는 토큰 제한이 있는 LLM이 여러 문장을 참고해 답변할 수 있도록 문서를 분할하는 역할 Text Splitter의 종류에는 2가지가 있음대부분의 경우 RecursiveCharacter TextSplitter를 통해 분할RecursiveCharacter TextSplitter줄바꿈, 마침표, 쉼표 순으로 재귀적으로 분할하므로, max_token을 지켜 분할Character TextSplitter구분자 1개 기준으로 분할하므로, max_token을 지키지 못하는 경우가 발생CharacterTextSplitter가장 간단한 텍스트 분할기로, 특정 구분자를 기준으로 텍스트를 여러 개로 분할합니다.# This is a long document we can split up.with open.. 2025. 3. 7. 이전 1 다음
