In der Free Arena abstimmen

Nachrichten··1 Min. Lesezeit·Daten werden automatisch aktualisiert

Meta veröffentlicht den TuringSpace‑Benchmark, der räumliche Lücken in MLLMs aufdeckt

Die neue TuringSpace‑Suite von 125 interaktiven CAPTCHAs zeigt GPT‑6 Astra mit 74.1% Genauigkeit, weit unter dem menschlichen Wert von 94.1%, und hebt Verbesserungen durch Feinabstimmung offener Modelle hervor.

Auf YouTube ansehen · Kurzversion ansehen

Meta published TuringSpace, a synthetic web environment containing 125 interactive spatial CAPTCHAs that require click‑and‑drag actions.

The benchmark tests five spatial abilities and measures the loop of reading a 3D scene, acting, and adjusting after feedback.

GPT‑6 Astra achieved the highest score among evaluated models with 74.1% success, while humans solved 94.1% of the tasks.

The best open‑weight model, Kimi K3, failed 68.0% of the CAPTCHAs, and Qwen3.5‑9B rose from 1.6% to 33.1% after fine‑tuning on 55 K generated trajectories.

Fine‑tuning also improved performance on seven out‑of‑distribution benchmarks, adding 9.9 points on real‑world indoor videos from VSI‑Bench.

Was das für dich bedeutet

The results reveal that current MLLMs still struggle with 3D spatial reasoning, especially when actions are required. For users, this means that AI assistants may misinterpret visual layouts in interactive settings. For developers of free or locally run models, the study shows that targeted fine‑tuning on spatial interaction data can substantially close the gap, offering a path to improve open models without relying on proprietary systems.

Auf FreeLLMArena

From our rankings on 21 Nov 2026, based on Arena's blind votes:

Quellen

Automatisch aus den obigen Quellen geschrieben, dann von unserem Code geprüft: Jede Zahl und jeder Name muss darin vorkommen, und kein Satz darf eine Quelle kopieren. Einen Fehler entdeckt? Melde ihn.

Kostenlose Rangliste

Welche KI kannst du heute kostenlos nutzen?

Jedes kostenlose KI‑Modell, bewertet durch blinde menschliche Stimmen, mit dem Speicher und der Geschwindigkeit, die es auf deiner eigenen GPU benötigt.

Rangliste öffnen →

Diese Seite teilen:XLinkedInRedditWhatsApp

Drücke / oder Strg+K, um von jeder Seite aus zu suchen.