FreeLLMCan we trust LLMs to judge whether a research idea is novel?
Seis LLM líderes dan evaluaciones de novedad muy distintas, con variaciones de precisión de más de 50 puntos tras pequeños ajustes de prompts.
The benchmark uses two pools: 154 high‑novelty ideas from top‑rated ICLR papers and 145 low‑novelty ideas from rejected papers, plus a matched set of AI‑generated ideas.
Small prompt changes altered a model’s accuracy by more than 50 percentage points.
Adding retrieval or extra reasoning steps did not consistently improve performance, and two purpose‑built novelty systems performed worse than a simple Claude Opus 4.6 baseline.
The authors warn that current novelty judges are unstable, making it hard to rely on LLMs for automated scientific discovery.
Qué significa para ti
Researchers cannot yet trust LLMs to filter genuinely new ideas, so human review remains essential for scientific evaluation. Users of free or locally hosted models—such as Kimi K3, GLM‑5.3, MiMo‑V2.6‑Pro, DeepSeek‑V4.1‑Flash, and GLM‑5.3‑Flash—should be aware that novelty assessment tools built on these models may inherit the same instability.
En FreeLLMArena
De nuestras clasificaciones del 2026 de 31 de 2026, basadas en los votos ciegos de Arena:
- Kimi K3 (Max): #1 among free chat models
Fuentes
- Can we trust LLMs to judge whether a research idea is novel?, Hugging Face (official), 27 Oct 2026
Escrito automáticamente a partir de las fuentes anteriores, luego revisado por nuestro código: cada número y nombre debe aparecer en ellas, y ninguna oración puede copiar una fuente. ¿Detectaste un error? Infórmalo.
¿Qué IA puedes usar gratis hoy?
Todos los modelos de IA gratuitos, clasificados por votos humanos ciegos, con la memoria y velocidad que necesita tu GPU.