FreeLLMCan we trust LLMs to judge whether a research idea is novel?
Sechs führende LLMs geben völlig unterschiedliche Neuheitsbewertungen ab, mit Genauigkeitsschwankungen von 50 Punkten nach kleinen Prompt‑Anpassungen.
The benchmark uses two pools: 154 high‑novelty ideas from top‑rated ICLR papers and 145 low‑novelty ideas from rejected papers, plus a matched set of AI‑generated ideas.
Small prompt changes altered a model’s accuracy by more than 50 percentage points.
Adding retrieval or extra reasoning steps did not consistently improve performance, and two purpose‑built novelty systems performed worse than a simple Claude Opus 4.6 baseline.
The authors warn that current novelty judges are unstable, making it hard to rely on LLMs for automated scientific discovery.
Was das für dich bedeutet
Researchers cannot yet trust LLMs to filter genuinely new ideas, so human review remains essential for scientific evaluation. Users of free or locally hosted models—such as Kimi K3, GLM‑5.3, MiMo‑V2.6‑Pro, DeepSeek‑V4.1‑Flash, and GLM‑5.3‑Flash—should be aware that novelty assessment tools built on these models may inherit the same instability.
Auf FreeLLMArena
Aus unseren Rankings vom 31 Oct 2026, basierend auf Arena's Blind‑Abstimmungen:
- Kimi K3 (Max): #1 among free chat models
Quellen
- Can we trust LLMs to judge whether a research idea is novel?, Hugging Face (official), 27 Oct 2026
Automatisch aus den obigen Quellen geschrieben, dann von unserem Code geprüft: Jede Zahl und jeder Name muss darin vorkommen, und kein Satz darf eine Quelle kopieren. Einen Fehler entdeckt? Melde ihn.
Welche KI kannst du heute kostenlos nutzen?
Jedes kostenlose KI‑Modell, bewertet durch blinde menschliche Stimmen, mit dem Speicher und der Geschwindigkeit, die es auf deiner eigenen GPU benötigt.