Vota en Free Arena

Noticias··1 min de lectura·Datos actualizados automáticamente

Meta publica el benchmark TuringSpace que expone brechas espaciales en los MLLM

La nueva suite TuringSpace de 125 CAPTCHAs interactivos muestra a GPT‑6 Astra con 74.1% de precisión, muy por debajo del 94.1% humano, y destaca las mejoras al ajustar finamente modelos abiertos.

Ver en YouTube · Ver el corto

Meta published TuringSpace, a synthetic web environment containing 125 interactive spatial CAPTCHAs that require click‑and‑drag actions.

The benchmark tests five spatial abilities and measures the loop of reading a 3D scene, acting, and adjusting after feedback.

GPT‑6 Astra achieved the highest score among evaluated models with 74.1% success, while humans solved 94.1% of the tasks.

The best open‑weight model, Kimi K3, failed 68.0% of the CAPTCHAs, and Qwen3.5‑9B rose from 1.6% to 33.1% after fine‑tuning on 55 K generated trajectories.

Fine‑tuning also improved performance on seven out‑of‑distribution benchmarks, adding 9.9 points on real‑world indoor videos from VSI‑Bench.

Qué significa para ti

The results reveal that current MLLMs still struggle with 3D spatial reasoning, especially when actions are required. For users, this means that AI assistants may misinterpret visual layouts in interactive settings. For developers of free or locally run models, the study shows that targeted fine‑tuning on spatial interaction data can substantially close the gap, offering a path to improve open models without relying on proprietary systems.

En FreeLLMArena

From our rankings on 21 Nov 2026, based on Arena's blind votes:

Fuentes

Escrito automáticamente a partir de las fuentes anteriores, luego revisado por nuestro código: cada número y nombre debe aparecer en ellas, y ninguna oración puede copiar una fuente. ¿Detectaste un error? Infórmalo.

Clasificación gratuita

¿Qué IA puedes usar gratis hoy?

Todos los modelos de IA gratuitos, clasificados por votos humanos ciegos, con la memoria y velocidad que necesita tu GPU.

Abre la clasificación →

Comparte esta página:XLinkedInRedditWhatsApp

Pulsa / o Ctrl+K para buscar desde cualquier página.