Die Homepage wurde aktualisiert. Jetzt aufrufen.
Hinweis nicht mehr anzeigen.

iPhone-App Word Lens: Die übersetzte Wirklichkeit

Von Paul Boutin

Eine iPhone-App dolmetscht Straßenschilder nicht nur, sondern stellt sie anschließend fotorealistisch auf das Display. Dafür mussten die Entwickler tief in die Trickkiste greifen.

iPhone-App: Word Lens kann englischen Text ins Spanische übersetzen und nachbauen Zur Großansicht
Quest Visual

iPhone-App: Word Lens kann englischen Text ins Spanische übersetzen und nachbauen

Stellen Sie sich vor, Sie machen Urlaub in Mexiko. Das Meer lädt zum Baden ein, wäre da nicht dieses Ihnen unverständliche spanische Schild. Sie ziehen Ihr iPhone aus der Tasche und richten die Kamera auf die Hinweistafel. Auf dem Display erscheint wieder das Schild, nur diesmal mit der Warnung "Strand wegen Hai-Attacken geschlossen" - auf Englisch.

Diese iPhone-App ist keine Science-Fiction, sondern seit Ende 2010 unter dem Namen "Word Lens" in Apples Appstore erhältlich, 7,99 Euro kostet die Übersetzungsfunktion aus dem Englischen ins Spanische. Word Lens identifiziert in Echtzeit spanischen Text und übersetzt ihn ins Englische - oder umgekehrt. Dabei wird die Übersetzung in der gleichen Größe, Farbe und Schrift wiedergegeben wie das Original, ganz so, als sei das Schild selbst neu beschriftet worden. Das funktioniert nicht nur mit Schildern, sondern auch mit Zeitungen, Speisekarten oder Web-Seiten.

Word Lens ist eines der eindrucksvollsten kommerziellen Beispiele für " Augmented Reality" (AR) - Anwendungen, die Abbilder der realen Welt mit computergenerierten Inhalten verbinden. Erste Demo-Videos machten vor rund zwei Jahren die Runde. Jetzt schickt sich AR an, unseren Umgang mit der Umgebung grundlegend zu ändern. Die besten AR- Apps machten Smartphones "zu einem Zauberstab", sagt Christopher Stapleton von der University of Central Florida, der seit mehr als einem Jahrzehnt AR-Anwendungen entwickelt.

Die "Google Goggles"-App etwa erkennt Produkte oder Sehenswürdigkeiten. Ein mit der Handykamera geschossenes Foto, zum Beispiel vom Itsukushima-Schrein in Japan, wird um von Google gesammelte Informationen ergänzt. Ähnlich arbeitet auch der "Wikitude World Browser" der österreichischen Firma Mobilizy. Die App des Niederländischen Architektur-Instituts nutzt Archivaufnahmen, um Gebäude so anzuzeigen, wie sie früher aussahen. Und AR-Entwickler Metaio arbeitet an einer Reparatur-App, die technisch überforderte Büromenschen durch die Diagnose und Fehlerbehebung ihrer Drucker lotsen soll.

"Recht simple grafische Operation"

Angetrieben wird AR von der zunehmenden Leistungsfähigkeit mobiler Geräte: Jüngst haben Smartphone-Prozessoren die Ein-Gigahertz-Grenze überschritten, womit sie fast auf dem Stand kleinerer Laptops sind. Neue Grafikprozessoren machen die Geräte YouTube- und sogar Gaming-tauglich. Die integrierten Kameras sind mittlerweile so hoch entwickelt, dass sie die Bildverarbeitungsalgorithmen mit Unmengen von Rohdaten füttern können, und die Display-Qualität hat sich von körnig zu hochauflösend gemausert. Doch entscheidend ist, dass viele Smartphones heute über GPS, Kompass, Beschleunigungs- und Lagesensoren verfügen. Damit können AR-Apps etwa ermitteln, wo ein Nutzer steht und wohin die Kamera zeigt.

Word Lens in seiner jetzigen Form benötigt allerdings keine Ortung, sondern macht sich vor allem Fortschritte in der optischen Texterkennung zunutze. Diese wurde ursprünglich für die vergleichsweise einfache Aufgabe entwickelt, gescannte Dokumente zu digitalisieren. Word Lens geht aber einen großen Schritt weiter: Die Software erkennt nicht nur Text auf gut ausgeleuchtetem Papier, sondern auch auf verbeulten Schildern.

Die größte Herausforderung sei, "Wörter von Bäumen oder Gesichtern unterscheiden zu lernen", sagt Otávio Good, Hauptentwickler von Word Lens. "Text ist scharf - also entfernen wir mit Filtern alles, was unscharf ist." Um die Buchstaben besser zu erkennen, wird das Bild in Schwarz-Weiß-Töne umgewandelt. Zunächst generiert die App also nur Flecken, die alles Mögliche darstellen können. Potentielle Buchstaben vergleicht sie dann mit Referenzschriften in einer Software-Bibliothek und ermittelt, welchem Wörterbucheintrag gefundene Zeichenketten am ehesten entsprechen. Findet sich ein passendes Wort, wird es übersetzt. Abschließend wird das Bild auf dem Smartphone-Display neu zusammengebaut. "Das Original wird ausradiert und mit neuem Text der gleichen Ausrichtung, Farbe und Schattierung überschrieben", erklärt Good, "eine recht simple grafische Operation." Und das alles vollbringt die App bei neu gesichteten Texten bis zu zehnmal pro Sekunde.

Lackmustest für eine gute AR-Anwendung

Auch wenn Good es unkompliziert klingen lässt, konnte Word Lens nicht einfach aus bereits vorhandenen Komponenten zusammengestrickt werden. Good, ein ehemaliger Programmierer für die Spielekonsole Xbox 360, musste nämlich feststellen, dass der Grafikprozessor des iPhones nicht annähernd stark genug war, um die Bildverarbeitungstricks zu nutzen, die er bei der Xbox gelernt hatte. Also musste er die gesamte Bildberechnung auf den Hauptprozessor des iPhones umleiten. Um dessen Rechenleistung optimal auszunutzen, griff Good auf altmodische Programmiersprachen zurück.

Die Doppelkern-Prozessoren und Hochleistungs-Grafikchips, die noch in diesem Jahr im iPhone 5 und neuen Android-Geräten auftauchen sollen, können Word Lens noch besser machen. Die App wird sich dann nicht mehr von Schildern mit den Rostfahnen angegammelter Befestigungsschrauben verwirren lassen und beim Bewegen des iPhones nicht mehr flackern, hofft Good. Denn dies ist so etwas wie der Lackmustest für eine gute AR-Anwendung: vergessen zu können, dass man einen Computerbildschirm betrachtet.

© Technology Review, Heise Zeitschriften Verlag, Hannover

Diesen Artikel...
Forum - Diskutieren Sie über diesen Artikel
insgesamt 22 Beiträge
Alle Kommentare öffnen
    Seite 1    
1. Oje
Gani, 03.07.2011
"Jüngst haben Smartphone-Prozessoren die Ein-Gigahertz-Grenze überschritten, womit sie fast auf dem Stand kleinerer Laptops sind" Solche Sätze bescheinigen dem Verfasser recht bescheidene Kenntnisse der Prozessor Technik. Die Taktfrequenz ist schon seit vielen Jahren nicht mehr das alleinige Merkmal der Leistungsfähigkeit. Und da es sich hier bei diesem Vergleich auch noch um völlig verschiedene Prozessor Architekturen handelt, wird der Vergleich völlig unzulässig. Aber selbst zwischen smartphones lässt sich so nicht mehr eindeutig vergleichen, da viele Modelle mit unterschiedlichen Generationen der meist auf ARM Architekturen basierenden Prozessoren ausgestattet sind. War es vor einem dreiviertel Jahr noch der Taktfrequenz-Hype, so ist es nun der Mehrkern-Wahnsinn der die Marketing Buzzwords dominiert. Das kannten wir ja schon vom PC, nur geht das bei den smarhones und tablets noch deutlich schneller mit der Ablösung der vermeintlichen einzig wichtigen Leistungsmerkmale.
2. Willkommen, Ambermoon.
Ambermoon 03.07.2011
Oha! In Ländern mit lateinischen Buchstaben kommt man ja grad noch mit dem Wörterbuch zurecht, aber für alle anderen Länder ist das echt mal hilfreich!
3. Dauerwerbeartikel?
fred77 03.07.2011
Zumindest ein Konkurrenzprdukt (z.B. Wordshot) sollte doch auch mit angegeben sein in einem nicht als Werbung gekennzeichneten Text.
4. Wl
Spieegel 03.07.2011
Zitat von fred77Zumindest ein Konkurrenzprdukt (z.B. Wordshot) sollte doch auch mit angegeben sein in einem nicht als Werbung gekennzeichneten Text.
Hatte ich mir auch gedacht, allerdings ist Wordshot nicht identisch mit Word Lens. Wordshot behält zum Beispiel nicht das Originalschild bei. Ich müsste Wordshot mal an einem Hinweisschild ausprobieren, ob er diese überhaupt übersetzen kann. Zeitungsartikel klappt wunderbar, wenn auch umständlich.
5. C:\
Tony 03.07.2011
Zitat von AmbermoonOha! In Ländern mit lateinischen Buchstaben kommt man ja grad noch mit dem Wörterbuch zurecht, aber für alle anderen Länder ist das echt mal hilfreich!
Richtig !! Arabisch, Japanisch, Chinesisch, Kyrilisch usw., daß wäre was. Spanisch auf Englisch ist eigentlisch langweilig. Trotzdem beeindruckend wie gut die Software z.B. Schilder "umwandelt"
Alle Kommentare öffnen
    Seite 1    

© SPIEGEL ONLINE 2011
Alle Rechte vorbehalten
Vervielfältigung nur mit Genehmigung der SPIEGELnet GmbH



Gefunden in...

Technology Review
Das M.I.T.-Magazin für Innovation
Ausgabe Juni 2011

Inhaltsverzeichnis

Aktuelles Heft bestellen

Homepage Technology Review


Handy-Anwendungen
Apps
Sogenannte Apps (Applications) sind Software-Anwendungen, die zusätzlich gekauft und dann auf entsprechend ausgestatteten Handys installiert werden können. Sie reichen von der Wasserwaage über Spiele bis hin zu Navigationssystemen fürs Mobiltelefon.
Apple App-Store
Der App-Store der Apple Inc. ist ein Portal, auf dem Programme und Spiele aus dem iTunes-Store für das iPhone heruntergeladen werden können. Der Mac-Konzern war bei diesem Thema Vorreiter. Apple gibt an, dass im April 2010 bereits rund 4 Milliarden Programme aus dem App-Store heruntergeladen worden seien. Aktuell sind rund 185.000 Anwendungen verfügbar, mehr als hunderttausend Entwickler haben sich registriert, um Anwendungen für den App Store entwerfen zu dürfen.
Nokias Ovi-Store
REUTERS
Seit Ende Mai 2009 gibt es auch von Nokia ein Portal, das eine Vielzahl von Programmen für Handys bietet. Im Nokia Ovi-Store können Kunden sich Spiele, Navigationskarten und Nachschlagewerke auf ihre Handys laden. Auch für den Ovi Store können sich externe Entwickler registrieren und versuchen, dort Software anzubieten. Rund 1,6 Millionen Anwendungen sollen dort täglich heruntergeladen werden.
Blackberry App World
Die Blackberry App World ist ebenfalls ein Pendant zum App-Store von Apple. Es ist ein vom Hersteller RIM betriebenes Softwareportal, in dem sich jeder Blackberry Nutzer Software kaufen kann. Die soll dann auf jedem Blackberry-Smartphone mit OS-Version 4.2 oder höher, sowie auf allen Geräte mit Trackball oder Touchscreen laufen. Ähnlich wie beim App-Store kann auch bei Blackberry jeder, der sich dort als solcher anmeldet, theoretisch Entwickler einer Handy-Anwendung werden. Man spricht von rund einer Million Downloads am Tag.
Android Market
AP
Android ist ein Handy-Betriebssystem von Google. Aktuell gibt es im Android Market genannten Downloadshop ungefähr 50.000 verschiedene Anwendungen. Auch hier kann theoretisch jeder eigene Programme entwerfen und anderen Nutzern kostenlos oder zum Kauf zur Verfügung stellen - vorausgesetzt, er registriert sich zunächst als Entwickler.

Anzeige
  • Christian Stöcker:
    Spielmacher

    Gespräche mit Pionieren der Gamesbranche.

    Mit Dan Houser ("Grand Theft Auto"), Ken Levine ("Bioshock"), Sid Meier ("Civilization"), Hideo Kojima ("Metal Gear Solid") u.v.a.

    SPIEGEL E-Book; 2,69 Euro.

  • Bei Amazon kaufen.
Der kompakte Nachrichtenüberblick am Morgen: aktuell und meinungsstark. Jeden Morgen (werktags) um 6 Uhr. Bestellen Sie direkt hier: