| import gradio as gr | |
| from ctransformers import AutoModelForCausalLM | |
| # On pointe vers le bon fichier GGUF de TheBloke | |
| model = AutoModelForCausalLM.from_pretrained( | |
| "TheBloke/openchat_3.5-GGUF", | |
| model_file="openchat_3.5.Q4_K_M.gguf", # Tu peux changer pour une autre version si tu veux | |
| model_type="llama", | |
| local_files_only=False | |
| ) | |
| def chat(prompt): | |
| return model(prompt) | |
| gr.Interface(fn=chat, inputs="text", outputs="text", title="OpenChat 3.5 GGUF", description="Version CPU optimisée via GGUF & ctransformers.").launch() | |