Create load_model.py

load_model.py

@@ -2,28 +2,19 @@ import os
 import torch
 from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
 from langchain_huggingface.llms import HuggingFacePipeline
-from unsloth import FastLanguageModel
-
-import dotenv
-dotenv()
-
 
 '''
-FastLanguageModel 사용하여 모델 불러오기
-Fine-tuning을 도와주는 Unsloth 패키지를 사용하여 모델 불러오기
-불러오는 모델 repo안에 adapter_config가 존재하면 안된다.
-빠른 추론 할 수 있도록 도와준다.
-'''
-def load_Fast():
-    max_seq_length = 2048
-    hf_token = os.getenv('hf_token')
+AutoModelForCausalLm을 사용하여 모델 불러오기
 
-    model, tokenizer = FastLanguageModel.from_pretrained(
-        model_name="Dongwookss/last_small_pre", # adapter_config가 존재하지 않는 모델명으로 불러와야한다.
-        max_seq_length=max_seq_length,
-        dtype=None,
-        load_in_4bit=False,
-        token = hf_token,
+속도가 느린편에 속하나 문제 없이 돌아갈 수 있는 안정적인 방식
+'''
+def load_Auto():
+    model_id = 'Dongwookss/small_fut_final'
+    tokenizer = AutoTokenizer.from_pretrained(model_id)
+    model = AutoModelForCausalLM.from_pretrained(
+        model_id,
+        torch_dtype=torch.bfloat16,
+        device_map="auto",
     )
 
     pipe = pipeline(