Update advice.py

advice.py

@@ -6,7 +6,7 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 
 from common import read_json_stdin, write_json_stdout, current_month_snapshot, clean_ru
 
-ALLOWED_MODEL_ID = "Qwen/Qwen2.5-0.5B-Instruct"
+ALLOWED_MODEL_ID = "google/gemma-3-1b-it"
 
 os.environ.setdefault("OMP_NUM_THREADS", "1")
 os.environ.setdefault("MKL_NUM_THREADS", "1")
@@ -28,13 +28,11 @@ def _load():
 
     _tokenizer = AutoTokenizer.from_pretrained(
         ALLOWED_MODEL_ID,
-        trust_remote_code=True,
     )
     _model = AutoModelForCausalLM.from_pretrained(
         ALLOWED_MODEL_ID,
         torch_dtype=torch.float32,
         low_cpu_mem_usage=True,
-        trust_remote_code=True,
     ).to(_DEVICE).eval()
 
     if _tokenizer.pad_token_id is None:
@@ -45,9 +43,13 @@ def _load():
 
 
 def _gen(messages, tok, mdl, max_new_tokens=200, det=True):
+
     txt = tok.apply_chat_template(
-        messages, tokenize=False, add_generation_prompt=True
+        messages,
+        tokenize=False,
+        add_generation_prompt=True,
     )
+
     inputs = tok(
         txt,
         return_tensors="pt",
@@ -76,11 +78,11 @@ def _gen(messages, tok, mdl, max_new_tokens=200, det=True):
                 **inputs,
                 do_sample=True,
                 temperature=0.8,
-                top_p=0.9,
-                top_k=50,
                 **common,
             )
-    return tok.decode(out[0], skip_special_tokens=True)
+
+    gen_ids = out[0, inputs["input_ids"].shape[-1]:]
+    return tok.decode(gen_ids, skip_special_tokens=True)
 
 
 _BULLET_KILL = re.compile(
@@ -94,7 +96,7 @@ def _to_bullets(text: str) -> str:
         return ""
     m = re.search(r"(\n\s*[-*]\s+|\n\s*\d+[\).\s]+|•)", "\n" + text)
     if m:
-        text = text[m.start() :]
+        text = text[m.start():]
 
     text = re.sub(r"^\s*[*•]\s+", "- ", text, flags=re.M)
     text = re.sub(r"^\s*\d+[\).\s]+", "- ", text, flags=re.M)
@@ -124,7 +126,7 @@ def main():
 
     tx = req.get("transactions") or []
     question = (req.get("question") or "").strip()
-    
+
     df = pd.DataFrame(tx) if tx else None
     snap = current_month_snapshot(df) if df is not None and not df.empty else {}
 
@@ -145,7 +147,8 @@ def main():
 
     system_msg = (
         "Ты финансовый помощник. Отвечай по-русски. "
-        "Верни ТОЛЬКО список из 5–7 конкретных шагов экономии с цифрами (лимиты, проценты, частота). "
+        "Верни ТОЛЬКО список из 5–7 конкретных шагов экономии с цифрами "
+        "(лимиты, проценты, частота). "
         "Каждая строка должна начинаться с символов \"- \". Никаких вступлений."
     )
     messages = [