Die Studie „A Survey on Benchmarks of Multimodal Large Language Models“ (Li et al., 2024) bietet einen umfassenden Überblick über die aktuellen Bewertungsansätze für multimodale große Sprachmodelle (MLLMs). Ziel der Arbeit ist es, die Vielfalt, Struktur und Grenzen der bestehenden Benchmarks systematisch zu analysieren.

Multimodale Sprachmodelle kombinieren mehrere Eingabeformen – typischerweise Text, Bild, Audio oder Video – um Inhalte zu verstehen und zu erzeugen. Die Forschenden haben rund 180 bis 200 Benchmarks untersucht und sie in fünf Hauptkategorien eingeteilt: Wahrnehmung und Verstehen, Kognition und Schlussfolgern, spezialisierte Anwendungsdomänen, grundlegende Fähigkeiten sowie andere Modalitäten.

Im Bereich Wahrnehmung und Verstehen wird geprüft, ob ein Modell Objekte, Szenen und Zusammenhänge korrekt erkennt und interpretieren kann. Kognitive Benchmarks messen, wie gut Modelle logische Schlüsse ziehen, multimodale Informationen kombinieren und komplexe Aufgaben lösen.

Spezifische Domänen-Benchmarks bewerten die Leistungsfähigkeit in Bereichen wie Medizin, Robotik, Industrie oder Wissenschaft, wo präzises Verständnis und Fachwissen notwendig sind. Die Kategorie grundlegende Fähigkeiten umfasst Aspekte wie Robustheit, Konsistenz, Halluzinationsfreiheit, Instruktionsbefolgung und Zuverlässigkeit.

Unter „andere Modalitäten“ fassen die Autoren Benchmarks für Audio-, Video- und 3D-Daten zusammen – Felder, die für zukünftige MLLM-Forschung zunehmend wichtig werden, aber bislang wenig untersucht sind.

Die Studie stellt fest, dass es derzeit keine einheitlichen Bewertungsstandards gibt. Viele Benchmarks decken nur einfache Aufgaben ab und spiegeln die Komplexität realer Szenarien unzureichend wider. Auch Themen wie Fairness, Sicherheit, Transparenz und ethisches Verhalten von Modellen sind noch unterrepräsentiert.

Als wichtigste Herausforderung nennen die Autoren die Notwendigkeit, realistischere, kontextreiche und vielseitige Testszenarien zu schaffen, die mehrere Modalitäten gleichzeitig einbeziehen.

Abschließend betont die Studie, dass zukünftige Forschung auf einheitliche, offene und skalierbare Bewertungsmethoden hinarbeiten sollte, um Fortschritte bei multimodalen KI-Systemen verlässlicher und vergleichbarer zu machen.