pasha
commited on
Commit
·
7491360
1
Parent(s):
9ac8113
Tunes
Browse files- README.md +5 -2
- chat_transformers.py +1 -1
README.md
CHANGED
|
@@ -4,6 +4,7 @@ datasets:
|
|
| 4 |
- Egor-AI/Russian_thinking_dataset
|
| 5 |
language:
|
| 6 |
- ru
|
|
|
|
| 7 |
base_model:
|
| 8 |
- t-tech/T-lite-it-1.0
|
| 9 |
pipeline_tag: question-answering
|
|
@@ -12,16 +13,18 @@ tags:
|
|
| 12 |
- cot
|
| 13 |
- thinking
|
| 14 |
- reflection
|
|
|
|
| 15 |
---
|
| 16 |
|
| 17 |
-
#
|
| 18 |
|
| 19 |
LoRA-адаптер для модели [T-lite-it-1.0](https://huggingface.co/t-tech/T-lite-it-1.0) обученный на
|
| 20 |
датасете [Egor-AI/Russian_thinking_dataset](https://huggingface.co/datasets/Egor-AI/Russian_thinking_dataset) (машинный
|
| 21 |
перевод на русский язык
|
| 22 |
датасета [BintangFortuna/OpenO1-SFT-EN-SY](https://huggingface.co/datasets/BintangFortuna/OpenO1-SFT-EN-SY)).
|
| 23 |
|
| 24 |
-
Обученная
|
|
|
|
| 25 |
|
| 26 |
Необходимо использовать следующего вида системный промт:
|
| 27 |
|
|
|
|
| 4 |
- Egor-AI/Russian_thinking_dataset
|
| 5 |
language:
|
| 6 |
- ru
|
| 7 |
+
- en
|
| 8 |
base_model:
|
| 9 |
- t-tech/T-lite-it-1.0
|
| 10 |
pipeline_tag: question-answering
|
|
|
|
| 13 |
- cot
|
| 14 |
- thinking
|
| 15 |
- reflection
|
| 16 |
+
- o1
|
| 17 |
---
|
| 18 |
|
| 19 |
+
# Russian o1 / T-lite-it-1.0 LoRA
|
| 20 |
|
| 21 |
LoRA-адаптер для модели [T-lite-it-1.0](https://huggingface.co/t-tech/T-lite-it-1.0) обученный на
|
| 22 |
датасете [Egor-AI/Russian_thinking_dataset](https://huggingface.co/datasets/Egor-AI/Russian_thinking_dataset) (машинный
|
| 23 |
перевод на русский язык
|
| 24 |
датасета [BintangFortuna/OpenO1-SFT-EN-SY](https://huggingface.co/datasets/BintangFortuna/OpenO1-SFT-EN-SY)).
|
| 25 |
|
| 26 |
+
Обученная модель способна имитировать логические размышлению ра русском языке по аналогии с тем, как
|
| 27 |
+
это делает `o1` от `OpenAI`.
|
| 28 |
|
| 29 |
Необходимо использовать следующего вида системный промт:
|
| 30 |
|
chat_transformers.py
CHANGED
|
@@ -5,7 +5,7 @@ from peft import PeftModel
|
|
| 5 |
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, BitsAndBytesConfig
|
| 6 |
|
| 7 |
MODEL_BASE = "t-tech/T-lite-it-1.0"
|
| 8 |
-
MODEL_ADAPTER = "evilfreelancer/
|
| 9 |
|
| 10 |
SYSTEM_PROMPT = "Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>"
|
| 11 |
|
|
|
|
| 5 |
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, BitsAndBytesConfig
|
| 6 |
|
| 7 |
MODEL_BASE = "t-tech/T-lite-it-1.0"
|
| 8 |
+
MODEL_ADAPTER = "evilfreelancer/o1_t-lite-it-1.0_lora"
|
| 9 |
|
| 10 |
SYSTEM_PROMPT = "Вы — ИИ-помощник. Отформатируйте свои ответы следующим образом: <Thought> Ваши мысли (понимание, рассуждения) </Thought> <output> Ваш ответ </output>"
|
| 11 |
|