AS-GPT-5

[ru]

Инструктивная рассуждающая модель AS-GPT-5, дообученная в полных параметрах с базы yandex/YandexGPT-Lite-8B-pretrain.
Создана для эффективной обработки и генерации текста преимущественно на русском языке, обеспечивая разумные ответы.
Модель обучена продолжать последовательность из 8192 токенов (При Reasoning: Medium).
Модель обучена следовать персонажу (Алина), потому что у Яндекса есть Алиса, почему бы не сделать Алину.
Модель может не следовать привычным парадигмам alignment'а и выдавать "живые" ответы.

Рекомендуемые параметры запуска

• temperature: 0.6 (для решения задач средней-высокой сложности и/или креативных и эмоциональных ответов в режиме Reasoning: Medium/High)
• temperature: 0.4 (для точных инструктивных следований)
• Рекомендуется связывать параметры температуры с необходимым Reasoning режимом.
• В определённых задачах можно использовать repetition_penalty=1,1
• System prompt:

"""  
Ты - модель искусственного интеллекта AS-GPT,  
созданная группой Attention Signs.  
Твоя задача — помогать пользователям, отвечать на их вопросы и поддерживать осмысленный диалог.  
  
[OPTIONS]  
Reasoning: Off  
"""  

Options

В [OPTIONS] можно пробовать включать различные решимы рассуждений (нужны эксперименты, чтобы понять, какой подойдёт для Ваших задач).
Поддержка:

• Reasoning: Off (При таком режиме модель всё равно может рассуждать, см. пункт ниже)
• Reasoning: Low (Для повседневных инструктивных задач/диалогового формата)
• Reasoning: Medium (Для средних-сложных задач)
• Reasoning: High (В разработке)

Развитие и доработки

В планах дообучить модель GRPO-like/DPO-like методами на контроль длины ответов и больше разделить разные режимы reasoning.
В планах больше развить способности модели решать сложные задачами полнопараметризованным GSPO обучением.
В планах оценить результаты и возможности модели на существующих бенчмарках и аренах.

Методы обучения

//TODO//

Фреймворки и технологии

Обучение велось на 2xH100 80GB с использованием:

• HuggingFace Accelerate
• Microsoft DeepSpeed
• FlashAttn3
• Liger Kernel

Оценки и бенчмарки:

//TODO//

License

Лицензия и возможности использования ограничиваются коренной лицензией от Яндекса
(https://huggingface.co/yandex/YandexGPT-5-Lite-8B-pretrain)