LLM7 Retrieval - Document Loaders Retrieval - Document LoadersRAG(Retrieval-Augmented Generation)란외부 데이터를 참조하여 LLM이 답변할 수 있도록 해주는 프레임 워크Document Loaders는 다양한 형태의 문서를 RAG 전용 객체로 불러들이는 모듈Page_content : 문서의 내용Metadata : 문서의 위치, 제목, 페이지 넘버 등URL Document Loader (WebBaseLoader, UnstructuredURLLoader)WebBaseLoader# !pip install langchain pypdf unstructured pdf2image docx2txt pdfminer# pip install -U langchain-communityfrom langchain.do.. 2025. 3. 7. PromptTemplate에 대해 https://colab.research.google.com/drive/1wF8zTDDUdmq59RXYLOprje3yrpP8z9Pv?usp=sharing#scrollTo=-bX3Wvsy-tyv프롬프트 템플릿은 크게 2가지가 존재합니다.Prompt TemplateChat Prompt Template1번 Prompt Template은 일반적인 프롬프트 템플릿을 생성할때 활용합니다.2번 Chat Prompt Template은 채팅 LLM에 프롬프트를 전달하는 데에 활용할 수 있는 특화 프롬프트 템플릿입니다.Prompt 예시from langchain.prompts import PromptTemplate, ChatPromptTemplate#프롬프트 템플릿을 통해 매개변수 삽입 가능한 문자열로 변환string_pr.. 2025. 3. 7. LangChain의 개념 Lang Chain 개념언어 모델로 구동되는 애플리케이션을 개발하기 위한 프레임워크데이터 인식 : 언어 모델을 다른 데이터 소스에 연결합니다.에이전트 기능: 언어 모델이 환경과 상호 작용할 수 있도록 합니다.Lang Chain 왜 써야할까?정보 접근 제한 학습된 이후의 정보에 대해 답변을 하지 못하거나, 거짓된 답변을 제공함=> Vectorsotre 기반 정보 탐색 or Agent 활용한 검색 결합토큰 제한⇒ TextSplitter를 활용한 문서 분할환각현상 (Hallucinaition)Fact에 대한 질문을 했을 때, 엉뚱한 대답을 하거나 거짓말을 하는 경우가 많다.⇒ 주어진 문서에 대해서만 답하도록 Prompt 입력ChatGPT 개량 방법Fine-tuning기존 딥러닝 모델의 weight를 조정하여 .. 2025. 3. 7. 이전 1 2 다음
