LLM/LLM 개발3 Llama 3.1 8B 파인튜닝 하기(2) - 테스트(BLEU, 코사인 유사도) 전체 코드(Colab에서 GPU A100 40GB 할당 받아 수행) 수행시간 약 4시간더보기import torchimport pandas as pdfrom transformers import AutoTokenizer, AutoModelForCausalLMfrom datasets import load_datasetfrom sentence_transformers import SentenceTransformer, utilfrom nltk.translate.bleu_score import sentence_bleu, SmoothingFunctionimport nltkfrom tqdm import tqdmfrom multiprocessing import Poolnltk.download('punkt_tab', qui.. 2025. 3. 18. Llama 3.1 8B 파인튜닝 하기(1) - 전처리, 파인튜닝 📌 Llama 3.1 8B, 한국어 대화에 약하다.최근 Llama 3.1 8B 모델을 테스트해본 결과, 한국어 대화에서 문맥이 맞지 않는 답변을 하는 경우가 많았다. 🤔특히, 감성적인 대화에서 어색한 표현이 종종 등장하여 자연스러운 대화를 이어가기 어려웠음.그래서 "감성대화 말뭉치" 데이터를 학습시켜, 보다 자연스럽고 문맥에 맞는 대화를 생성할 수 있도록 개선해보았다! 🚀📂 사용한 데이터셋📌 데이터셋 이름: 감성대화 말뭉치📌 출처: AI Hub 감성대화 말뭉치📌 설명:약 5만 건의 대화 데이터 포함 💬사람과 시스템의 응답이 기록되어 있음 📝🛠️ 전처리 과정1. 먼저 Data를 csv 파일로 변환하고 파일구조를 변경시킴.db/emotional_data/train/test.CSVdb/emo.. 2025. 3. 17. Llama 3.1 8B 로컬에서 실행하기 로컬 세팅 환경- GPU : RTX 3060 Ti (VRAM 8GB)- NVIDIA-SMI (Driver Version) : 572.70- CUDA version : 12.8- Python 3.10.11 RTX 3060 Ti (8GB VRAM)에서 실행할 수 있는 최적의 LLM을 찾다가 Llama 3.1 8B를 설치했다.13B 이상 모델은 VRAM 한계로 부담스럽고, 7B보다는 성능이 좋아서 적당한 타협점이었다.CUDA 12.8과 최신 드라이버 환경에서 GPU 가속을 활용해 최적화할 수 있고, 로컬에서 LLM을 실험하며 성능을 테스트하기에도 적절하다.LLM 개발을 진행 중이라 다양한 모델을 직접 다뤄보는 게 중요했는데, 이 모델이 속도와 메모리 사용량 면에서 가장 균형 잡힌 선택이었다.모델 다운로드1... 2025. 3. 13. 이전 1 다음
