FreeLLMCan we trust LLMs to judge whether a research idea is novel?
6つの主要LLMは、わずかなプロンプト変更で50ポイント以上の新規性評価の差異を示し、精度が大きく揺れます。
The benchmark uses two pools: 154 high‑novelty ideas from top‑rated ICLR papers and 145 low‑novelty ideas from rejected papers, plus a matched set of AI‑generated ideas.
Small prompt changes altered a model’s accuracy by more than 50 percentage points.
Adding retrieval or extra reasoning steps did not consistently improve performance, and two purpose‑built novelty systems performed worse than a simple Claude Opus 4.6 baseline.
The authors warn that current novelty judges are unstable, making it hard to rely on LLMs for automated scientific discovery.
あなたにとっての意味
Researchers cannot yet trust LLMs to filter genuinely new ideas, so human review remains essential for scientific evaluation. Users of free or locally hosted models—such as Kimi K3, GLM‑5.3, MiMo‑V2.6‑Pro, DeepSeek‑V4.1‑Flash, and GLM‑5.3‑Flash—should be aware that novelty assessment tools built on these models may inherit the same instability.
FreeLLMArena上
Arenaのブラインド投票に基づく、31年10月2026日のランキングから：
- Kimi K3 (Max): #1 among free chat models
ソース
- Can we trust LLMs to judge whether a research idea is novel?, Hugging Face (official), 27 Oct 2026
上記のソースから自動的に生成し、当社のコードでチェックしました：すべての数値と名前が含まれ、文がソースをコピーしてはいけません。間違いを見つけましたか？報告する。
今日無料で使えるAIはどれですか？
すべての無料AIモデルをブラインドヒューマン投票で順位付けし、あなたのGPUで必要なメモリと速度を示します。