Bildverbesserung bei »GTA V« Ist das noch Grafik oder schon die Realität?

Wissenschaftler aus dem Bereich künstliche Intelligenz haben »GTA V« zu ihrem Forschungsprojekt gemacht. Sie haben eine Software entwickelt, die das Videospiel verblüffend echt wirken lässt.
Grafikvergleich: Wissenschaftler lassen das Spiel mit ihrem KI-Filter (rechts) realistischer wirken.

Grafikvergleich: Wissenschaftler lassen das Spiel mit ihrem KI-Filter (rechts) realistischer wirken.

Foto: Rockstar Games/Intel

Gestochen scharfe Palmwedel, Risse im Asphalt, Sonnenreflexionen auf Autodächern: Das virtuelle Südkalifornien im Videospiel »GTA V« sieht auch Jahre nach Release des Videospiels beeindruckend aus, vor allem in seiner PC-Version. Zugleich lässt sich die im Spiel simulierte Welt aber noch gut von der echten unterscheiden.

Wissenschaftler des amerikanischen Chipherstellers Intel wollen das mit einer Bildverbesserungssoftware ändern. Die Forscher haben ein Softwaremodell (PDF ) entworfen, das auf künstlicher Intelligenz (KI) basiert und die Straßen der Großstadt Los Santos deutlich realistischer aussehen lässt.

Bei YouTube hat das Team ein Video hochgeladen, das die verbesserte Grafik zeigt . Mit dem KI-Filter wirkt der Asphalt authentischer, die Autos reflektieren das Licht schöner und auch die Bäume sehen aus wie mit einer Kamera aus dem Fahrzeug heraus gefilmt.

Empfohlener externer Inhalt
An dieser Stelle finden Sie einen externen Inhalt von YouTube, der den Artikel ergänzt und von der Redaktion empfohlen wird. Sie können ihn sich mit einem Klick anzeigen lassen und wieder ausblenden.
Externer Inhalt

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Seit zwei Jahren arbeitet Stephan Richter mit zwei Kollegen an dem Projekt. »Unser Ziel war es, das Spiel so echt wie möglich aussehen zu lassen«, sagt der Intel-Forscher im Gespräch mit dem SPIEGEL. »Oft sehen Spiele-Simulationen nicht realistisch genug aus: Die Grafik reicht bisher nicht aus, um die reale Welt abzubilden.« Es sei viel Arbeit in das Projekt geflossen, bis die Bilder so aussahen wie jetzt.

Software zweigt Infos für die Grafikkarte ab

Um saubere Bilder zu erzeugen, haben die Forscher auf einen Doppelcheck gesetzt: Einerseits wird das fertig gerenderte Spielbild durch den KI-Filter geschickt. Parallel greift die Software aber auch noch auf sogenannte G-Buffer zurück. Darin stecken Informationen für die Grafikkarte, um geometrische Details wie die Entfernung von Gebäuden zur Kamera und die Position der Lichtquelle richtig zu berechnen.

Die Forscher zweigen die G-Buffer ab, um damit der KI klarzumachen, keine Bäume im Himmel zu platzieren. Das Ergebnisbild wird schließlich noch einem Realitäts-Check unterzogen. Die Software vergleicht das Ergebnis mit Straßen-Schnappschüssen und vergibt Echtheitspunkte.

Auch wenn die Farbe an die deutsche Straßenstimmung der Trainingsbilder angepasst wird, wirken die Originalbilder (links) künstlicher als das gefilterte Video der Forscher.

Auch wenn die Farbe an die deutsche Straßenstimmung der Trainingsbilder angepasst wird, wirken die Originalbilder (links) künstlicher als das gefilterte Video der Forscher.

Foto: Rockstar Games/Intel

Um die Realität möglichst genau abzubilden, greift die Software unter anderem auf Trainingsbilder von Cityscapes  zurück. In dieser Fotodatenbank sind Straßenzüge von 50 überwiegend deutschen Städten wie Erfurt, Köln und Stuttgart hinterlegt. Auf den Bildern ist klar gekennzeichnet, ob es sich bei einem Objekt um einen Fußgänger, ein Verkehrszeichen oder eine Bushaltestelle handelt.

Nicht alles ist stimmig

Während Straße, Bäume und Autos wirklich realistischer aussehen, stößt die Bildverbesserung bei einigen Objekten an ihre Grenzen – auch, weil etwa Palmen am Straßenrand hierzulande eher selten sind. Kräne deutet die Software teilweise als Ampeln und aus Parkbänken werden eingerollte Markisen. Auch Fußgänger würden »weniger überzeugend bearbeitet«, heißt es in einem Bericht der Wissenschaftler.

Trotz solcher Probleme gehen die Forscher davon aus, dass die Technologie für realistischere Grafik in Spielen sorgen könnte. »Ich kann mir gut vorstellen, dass Engine-Entwickler diese Software als Realitätsfilter einsetzen«, sagt Richter. »GTA ist hier nur stellvertretend. Das lässt sich auf viele Spiele anwenden.«

In der jetzigen Form ist die Software allerdings noch zu langsam. Selbst mit dem Grafikkarten-Topmodell GeForce RTX 3090 von Nvidia spuckt die Bildverbesserung das Ergebnis erst eine halbe Sekunde später aus. Laut Richter handelt es sich im Moment um einen Prototyp, »den man derzeit noch nicht direkt in ein Spiel reinstöpseln kann«.