Programme für Apples neuen 3D-Scanner Lidar geil

Apple stattet die Pro-Modelle der iPads und iPhones seit letztem Jahr mit einem Lidar-Scanner aus, mit dem Augmented Reality besser funktioniert. Jetzt gibt es erste Spiele und Anwendungen, die davon profitieren.
Von »Mac & i«-Autor Holger Zelder

Die Lidar-Technik ähnelt der Radartechnik und kommt bereits bei autonomen Fahrzeugen zum Einsatz. Moderne Saugroboter orientieren sich damit in der Wohnung. Die Abkürzung steht für »Light Detection and Ranging«. Technisch nutzt Lidar Lichtimpulse statt Radiowellen.

Entsprechende Lidar-Scanner stecken bereits im Kameramodul des iPhone 12 Pro (Max) und des iPad Pro von 2020. Der Scanner emittiert Laserlicht und erfasst gleichzeitig die Reflexionen. Die für das menschliche Auge unsichtbaren und ungefährlichen Strahlen reichen bis zu fünf Meter weit. Trifft ein Strahl auf ein Objekt und wird reflektiert, errechnet der Scanner anhand der Laufzeit des reflektierten Lichts die Entfernung zum iPhone respektive iPad.

Da der Lidar-Scanner die Photonen in einem Punktraster ausstrahlt – ähnlich wie die Infrarotstrahlen bei Face ID –, erfasst der Sensor mehrere Objektteile auf einmal und erstellt in Echtzeit ein 3D-Modell mit Tiefeninformationen. Davon profitiert unter anderem die Kamera: iPads und iPhones können bei schlechten Lichtverhältnissen auf den LiDAR-­Sensor zurückgreifen und schneller scharf stellen sowie bei Bokeh-Aufnahmen zwischen Objekt und Hintergrund unterscheiden. Das unterstützt den Effekt solcher Bilder mit einer natürlichen Hintergrundunschärfe.

Apps für die Augmented Reality (AR) arbeiten mit den Tiefeninformationen genauer und erkennen beispielsweise schneller, ob ein Gegenstand einen anderen verdeckt. So schweben virtuelle Monster nicht in der Luft, sondern stehen auf dem Boden. Alle Apps, die auf Apples Framework ARKit zugreifen, profitieren automatisch von dem neuen Sensor.

Andere Apps besitzen Funktionen, die ohne Lidar kaum oder gar nicht funktionieren würden. Die Maßband-App etwa arbeitet auf Lidar-iPhones genauer, und die Lupe misst die Entfernung zu einer Person. Einige Programme können aus den erfassten Objekten 3D-Modelle erzeugen, die sich dann in AR- oder 3D-Apps nutzen lassen. Würde man die 3D-Modelle ausschließlich mit der Kamera aufnehmen, sähen sie ziemlich platt aus.

Die Fähigkeiten von Lidar werden durch die relativ geringe Auflösung des Sensors begrenzt. Das merkt man vor allem bei 3D-Scans. Große Flächen und Objekte wie eine Wand, einen Schrank oder einen Stuhl nimmt der Scanner recht zuverlässig auf. Für kleinere oder dünnere Gegenstände, etwa eine Fahrradspeiche oder eine Spielzeugfigur aus Lego, ist das Punkte­raster viel zu grob. Und obwohl der Lidar-Sensor genauer misst als die Kamera, kann es bei Raumvermessungen immer noch Abweichungen geben. Den Zollstock ersetzt ein LiDAR-fähiges iPhone also noch nicht zuverlässig.

Überschaubares Angebot

Mit dem iPad Pro hat Apple im vergangenen Jahr einige Apps vorgestellt, die vom Lidar-Sensor profitieren, viele von ihnen fehlen allerdings immer noch im App Store. So soll etwa die Anatomie-App Complete Anatomy Bewegungen von Patienten erfassen, um motorische Einschränkungen zu erkennen. Der Hersteller des CAD-Programms Shapr3D verspricht, mit dem Sensor Räume oder Möbel zu scannen und daraus 3D-Modelle oder 2D-Grundrisse zu erstellen. Beide Apps mit LiDAR-Unterstützung waren bereits für 2020 angekündigt. Auf Nachfrage zum Redaktionsschluss der aktuellen Ausgabe der »Mac & i« Anfang 2021 teilten die Entwickler mit, dass sie noch an der Integration von Lidar arbeiten. Einen konkreten Zeitpunkt für die Umsetzung wollten sie uns nicht nennen.

Dennoch finden sich im App Store schon Dutzende Programme, die Apples neuen Lidar-Sensor einbinden. Geben Sie einfach in der Suche »Lidar« ein, um weitere Exemplare zu finden. Darunter finden sich auch viele simple Apps mit Schauwert: Einige zeigen etwa nur das 3D-Bild des Lidar-­Sensors an, das man zur Nachtsicht ohne Lampe nutzen kann, wie Lidar Night Vision.

Wir stellen die aus unserer Sicht interessantesten Apps vor, die es sich auszuprobieren lohnt:

3D Scanner App (3D-Scanner)

Anbieter: Laan Labs. Preis: kostenlos

Die App besitzt zwei Modi: Der niedrig auflösende scannt große Bereiche und erzeugt dreidimensionale Raummodelle, wenn man sich in einem Zimmer um die eigene Achse dreht. Der zweite, hochauflösende Mo­dus erfasst frei stehende Objekte, um die man langsam herumschreitet. Zwar ist die Auflösung für kleine oder detaillierte Gegenstände zu grob, größere Objekte wie Möbel, Statuen oder Autos nahm die App mit ein bisschen Übung aber gut auf. Bei schlechten Lichtverhältnissen oder reflektierenden Oberflächen bildeten sich an Kanten leichte Artefakte.

Die Scans lassen sich in der App nachträglich ausmessen und als Drahtgittermodell oder als texturiertes 3D-Objekt exportieren. Per AirDrop oder iMessage schickt man sie an andere Nutzer, um sie in AR-Programmen anzuzeigen. Außerdem kann der Nutzer die Dateien in verschiedenen Formaten exportieren, um sie in 3D-Programmen wie Blender, Maya oder SketchUp weiterzuverarbeiten oder für den 3D-Druck aufzubereiten.

Teamviewer Pilot (Fern­wartung)

Teamviewer; kostenlos (Privatgebrauch); ab 27,90 Euro/Monat (kommerziell)

Manche Dinge lassen sich schlecht erklären, man muss sie zeigen: Anders als das Fernwartungstool Teamviewer gibt der Pilot nicht den Bildschirm, sondern das Kamerabild von iPad oder iPhone für einen anderen Teamviewer-Nutzer frei, der am Mac oder PC sitzt. So kann der eine dem anderen bei Problemen in der realen Welt helfen. Praktisch, wenn man den Eltern in der Ferne erklären soll, in welche Buchse des neuen Routers welches Kabel gehört oder wie man ein Fahrrad repariert.

Per AR lassen sich Gegenstände markieren: Mit einem kurzen Tipp auf das Display erscheint ein Pfeil über einem Objekt; streicht man über den Bildschirm, zeichnet man Linien. Das klappt auch auf iOS-Geräten ohne Lidar, mit dem Sensor markiert es sich aber präziser. Außerdem funktioniert die Objekterkennung besser: Bewegt man sich mit dem iPhone und dreht die Kamera so, dass eine Markierung von einem anderen Gegenstand überdeckt wird, erscheint diese transparent. Markierungen lassen sich obendrein mit Text versehen, um etwa Bauteile zu benennen.

Mit einem Anleitungsmodus lassen sich selbst ohne Fernzugriff oder Netzwerkverbindung kurze Videos aufnehmen, in denen man per AR Objekte markiert. Die App funktionierte meist zuverlässig, auf einem iPad Pro von 2020 gab es aber gelegentlich Probleme mit der Ausrichtung, die sich durch kurzes Drehen des Tablets beheben ließen.

Für den Privatgebrauch sind die iOS-App Teamviewer Pilot wie auch die Desktop-App Teamviewer kostenfrei. Servicetechniker und Außendienstmitarbeiter können die kommerzielle Version im Abo ab 27,90 Euro pro Monat und Nutzer beziehen. Sie erlaubt eine unbegrenzte Anzahl an Verbindungen.

Canvas Pocket 3D Room Scanner (3D-Raumscanner)

Occipital; kostenlos, mit In-App-Käufen

Canvas erfasst alle Wände und Objekte innerhalb eines Raums und erstellt daraus ein 3D-Modell. Dazu stellt man sich in die Mitte und dreht sich im Kreis, während man das iPhone oder iPad auf und ab bewegt. Sobald die App etwa ein Möbel erfasst hat, markiert sie dieses mit Hilfslinien, und man kann sich weiterdrehen. Bei hellen Flächen stockte das Tracking gelegentlich, und wir mussten uns zum letzten erkannten Punkt zurückdrehen.

Nach einem vollständigen Scan benötigt Canvas ein paar Minuten, um das Modell zu berechnen. Im 3D-Raum kann man anschließend selbst per Fingertipp Möbel ausmessen, mit Notizen versehen oder als 360-Grad-Foto anzeigen. Die Maße wichen teilweise um zwei Zentimeter ab; zudem gab es Artefakte bei Lampen, Spiegeln oder Fenstern.

Canvas bietet einen CAD-Export, der allerdings kostenpflichtig ist, weil der Entwickler jedes Modell überarbeiten will, was zwei Tage Wartezeit dauern soll. Je nach Zielformat, etwa für SketchUp, Revit oder Chief Architect, kostet die exportierte Datei zwischen 15 und 39 US-Dollar.

Magicplan (Raumplaner)

Sensopia; kostenlos / Abo (9,99 Euro monatlich bis 899 Euro jährlich)

Wer umzieht oder renoviert, sollte einen Blick auf Magicplan werfen: Die App erfasst mit der iPhone-Kamera Räume und erzeugt daraus einen Grundriss. Für jedes Zimmer legt man die Etage und die Raumart wie Küche oder Schlafzimmer fest. Ist die Deckenhöhe unbekannt, bestimmt sie der Lidar-Sensor, indem er die Grundlinien von Boden und Decke scannt. Anschließend dreht man sich in der Mitte des Raums um die eigene Achse, bis man alle Wände gescannt hat. Ecken setzt Magicplan entweder automatisch oder durch Fingertipp. Zum Abschluss hält man die Kamera noch einmal auf vorhandene Türen und Fenster, um diese im Grundriss zu hinterlegen.

Die automatisch erstellten Grundrisse lassen sich später mit Notizen oder Objekten wie Elektrogeräten oder Schränken ergänzen. Die Erfassung klappt am besten in leeren Räumen, funktionierte aber auch in eingerichteten Zimmern. Bei einem 16 Quadratmeter großen, rechteckigen Schlafzimmer erfasste Magicplan die Wände und Türen korrekt. Ein Fenster erschien allerdings vier Zentimeter zu breit. Die App unterstützt einige Bluetooth-Lasermesser für genauere Werte.

In der kostenlosen App darf der Nutzer nur zwei Grundrisse speichern. Mit einem Abo, das sich vor allem an Architekten, Makler oder Handwerker richtet, gibt es keine Begrenzung. Auch lassen sich anhand der Wohnfläche Kosten kalkulieren, etwa für die Wandfarbe.

Lidar Sense (Entfernungsmesser)

Mike Dopsa; kostenlos

Die App soll Menschen mit einer Sehbeeinträchtigung helfen. Dazu hält man das iPhone vor sich, sodass der Lidar-Sensor nach vorn zeigt. Sobald er Hindernisse erfasst, beginnt das iPhone zu vibrieren. Falls man AirPods Pro oder Max besitzt, nutzt die App auch deren 3D-Audio-Fähigkeiten und spielt einen Ton aus der Richtung des Hindernisses ab. Mit anderen Kopf- oder Ohrhörern gibt es lediglich ein Monosignal.

Je mehr man sich dem Objekt nähert, desto stärker gerät die Vibration respektive lauter wird der Ton, was im Test gut klappte. Die Empfindlichkeit der App lässt sich zwischen einem und acht Metern einstellen. Bei Objekten, die fünf Meter oder weiter entfernt waren, bemerkten wir keinen Unterschied – weiter reicht der Sensor ohnehin nicht.

»Hot Lava« (Geschicklichkeit)

Im Apple-Arcade-Spiel »Hot Lava« turnt die Spielfigur mit Lidar-Unterstützung durch Küche, Wohn- oder Kinderzimmer

Im Apple-Arcade-Spiel »Hot Lava« turnt die Spielfigur mit Lidar-Unterstützung durch Küche, Wohn- oder Kinderzimmer

Foto: Mac & i

Klei; kostenlos (mit Apple-Arcade-Abo)

Bleib auf dem Sofa, der Flur ist Lava! Im Geschicklichkeitsspiel, das zum Startkatalog von Apple Arcade gehört, springt, klettert und spurtet man eigentlich in der Ichperspektive über das Mobiliar. Berührt man bei der wilden Parcourhatz den Boden, verbrennt die Spielfigur und muss am letzten Checkpoint wieder anfangen.

Auf iPads und iPhones mit Lidar-Sensor schaltet die App einen AR-Modus frei: Hier darf man Fallen, Gegner und hilfreiche Objekte wie etwa Trampoline per AR im Raum platzieren und die Spielfigur schließlich aus der Vogelperspektive durch das Wohnzimmer scheuchen. Durch die Lidar-Sensoren erkennen iPhone und iPad auch Höhenunterschiede realer Objekte: So fällt der Protagonist etwa herunter, wenn er über die Tischkante hinaus läuft.

»RC Club – AR Racing Simulator« (Rennspiel)

Abylight; kostenlos, mit In-App-Käufen

Wer früher voll Inbrunst mit ferngesteuerten Autos über den Spielplatz bretterte, könnte hier seine Freude haben: In »RC Club« steuert man einen Rennwagen in AR durch Küche, Wald oder Nachbarschaft. Die App funktioniert auf iOS-Geräten ab dem iPhone 6s; auf einem iPad oder iPhone mit Lidar-­Sensor bindet die App auch reale Objekte als Hindernisse ein. So erkennt der Sensor etwa eine Schräge als Steigung oder lässt die Bo­liden gegen einen Schrank crashen. Mit Möbeln klappte das gut, bei nassen Laubhügeln oder Teppichen war die räumliche Einbindung kaum bemerkbar.

Momentan stehen mit einem offenen Modus (Sand­box) und dem Zeitrennen nur zwei Modi zur Verfügung. Weitere wie ein Kampfmodus oder ein Duell sollen folgen. Das Grundspiel ist gratis, Upgrades oder andere Autos bekommt man durch lange Spielesessions – oder gegen kostenpflichtige In-App-Käufe.

»Epic Marble Run« (Geschicklichkeit)

Patched Reality; kostenlos

Bei »Epic Marble Run« lässt man eine Murmel vom Start bis ins Ziel rollen: Dabei setzt man per AR einen Startpunkt sowie ein Ziel, einen Tipp später rollt die Kugel los. Das funktioniert auf dem Wohnzimmertisch, im Treppenhaus oder auch in der U-Bahn-Station. Je länger die absolvierte Strecke, desto mehr Punkte gibt es beim Zieleinlauf.

Die Murmel lässt sich während der Fahrt nicht beeinflussen, lediglich der Winkel, in dem sie abrollt. An Hindernissen, die der Sensor erfasst, prallt die Kugel physikalisch korrekt ab. Was erst mal langweilig tönt, entpuppt sich als schwieriger denn gedacht. Und gerade an größeren Treppen, etwa an einer Haltestelle, ist die App ein kurzweiliger Zeitvertreib.

Die Wiedergabe wurde unterbrochen.