FreeLLMRL‑Feinabstimmung steigert den wiederholbaren Erfolg von Qwen3.8‑27B auf ThinkingBox‑Bench
Nach 50 GRPO‑Schritten stieg Qwen3.8‑27B's beobachtetes 20/20 von 7.5% auf 21.1% im 507‑Aufgaben‑Benchmark.
Microsoft and Hugging Face released ThinkingBox‑Training, a GitHub tool that turns executable database checks into rewards for post‑training agents.
They selected 507 tasks from ThinkingBox‑Bench, each providing a real backend and tool set, then built an offline policy‑relative difficulty pool for training.
Fine‑tuning Qwen3.8‑27B with GRPO for 50 steps raised pass@1 from 51.70% to 60.78% and increased tasks solved on every attempt (observed‑20/20) from 38 to 107.
The improvement came with a slight drop in pass@20 (tasks solved at least once) from 453 to 446, indicating higher repeatability but marginally less breadth.
Domain‑level results show gains across all five categories, with the largest observed‑20/20 increase in retail (+24.5 points) and the biggest pass@20 decline in auto insurance (‑7 points).
Was das für dich bedeutet
The higher repeatable success makes agents more reliable for production database operations, reducing risky “done” false positives. For users preferring free or locally run models, the results highlight that larger models like Qwen3.8‑27B can become more dependable through targeted RL fine‑tuning, though broader coverage may require additional strategies.
Quellen
- Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox, Hugging Face (official), 22 Oct 2026
Automatisch aus den obigen Quellen geschrieben, dann von unserem Code geprüft: Jede Zahl und jeder Name muss darin vorkommen, und kein Satz darf eine Quelle kopieren. Einen Fehler entdeckt? Melde ihn.
Welche KI kannst du heute kostenlos nutzen?
Jedes kostenlose KI‑Modell, bewertet durch blinde menschliche Stimmen, mit dem Speicher und der Geschwindigkeit, die es auf deiner eigenen GPU benötigt.