LLM15 Llama 3.1 8B 파인튜닝 하기(1) - 전처리, 파인튜닝 📌 Llama 3.1 8B, 한국어 대화에 약하다.최근 Llama 3.1 8B 모델을 테스트해본 결과, 한국어 대화에서 문맥이 맞지 않는 답변을 하는 경우가 많았다. 🤔특히, 감성적인 대화에서 어색한 표현이 종종 등장하여 자연스러운 대화를 이어가기 어려웠음.그래서 "감성대화 말뭉치" 데이터를 학습시켜, 보다 자연스럽고 문맥에 맞는 대화를 생성할 수 있도록 개선해보았다! 🚀📂 사용한 데이터셋📌 데이터셋 이름: 감성대화 말뭉치📌 출처: AI Hub 감성대화 말뭉치📌 설명:약 5만 건의 대화 데이터 포함 💬사람과 시스템의 응답이 기록되어 있음 📝🛠️ 전처리 과정1. 먼저 Data를 csv 파일로 변환하고 파일구조를 변경시킴.db/emotional_data/train/test.CSVdb/emo.. 2025. 3. 17. Llama 3.1 8B 로컬에서 실행하기 로컬 세팅 환경- GPU : RTX 3060 Ti (VRAM 8GB)- NVIDIA-SMI (Driver Version) : 572.70- CUDA version : 12.8- Python 3.10.11 RTX 3060 Ti (8GB VRAM)에서 실행할 수 있는 최적의 LLM을 찾다가 Llama 3.1 8B를 설치했다.13B 이상 모델은 VRAM 한계로 부담스럽고, 7B보다는 성능이 좋아서 적당한 타협점이었다.CUDA 12.8과 최신 드라이버 환경에서 GPU 가속을 활용해 최적화할 수 있고, 로컬에서 LLM을 실험하며 성능을 테스트하기에도 적절하다.LLM 개발을 진행 중이라 다양한 모델을 직접 다뤄보는 게 중요했는데, 이 모델이 속도와 메모리 사용량 면에서 가장 균형 잡힌 선택이었다.모델 다운로드1... 2025. 3. 13. 📝 LLM 논문 읽기 #1 - A Survey of Large Language Models 📌 논문 정보제목: A Survey of Large Language Models저자: Zhao, Wayne Xin et al.출처: arXiv (📄 논문 PDF)게재일: 2023년 3월 31일인용 횟수: 2,165회 (2025년 기준)선정 이유: LLM을 처음 공부하는 사람들에게 좋은 입문서라 생각되어 선정https://arxiv.org/pdf/2303.18223📖 1. 논문의 개요 (Abstract)SLM → NLM → PLM → LLM 순으로 발전모델 크기가 커질수록 성능이 향상됨 (LLM 등장)LLM의 주요 연구 주제: 발전 과정, 핵심 기술, 응용, 성능 평가, 미래 방향🏗️ 2. 언어 모델의 발전 과정 (Introduction)🟠 1) 통계적 언어 모델 (SLM, Statistical .. 2025. 3. 11. Retriever Retriever는 비정형 쿼리가 주어지면 문서를 반환하는 인터페이스입니다. 벡터 저장소보다 더 일반적입니다. Retriever는 문서를 저장할 필요 없이 단지 반환(또는 검색)만 할 수 있습니다. - Langchain Document쉽게 말해, Retriever는 검색을 쉽게 할 수 있도록 구성된 모듈입니다. 이를 통해 손쉽게 문서를 검색할 수 있도록 하고 이를 기반으로 LLM과 대화할 수 있도록 합니다.랭체인의 Retriever의 RAG의 대부분의 구성요소를 아우르며, 구성 요소 하나하나가 RAG의 품질의 좌우합니다.Chain의 종류 4가지Stuff Documents Chain분할된 텍스트 청크를 Context에 그대로 주입합니다. 토큰 이슈가 발생할 수 있어 주의를 요합니다.Map reduce do.. 2025. 3. 7. 이전 1 2 3 4 다음
