mini|Augmented-Reality-App Wikitude auf einem Smartphone Unter erweiterter Realität (auch [], kurz AR) versteht man die computergestützte Erweiterung der Realitätswahrnehmung. Diese virtuelle Erweiterung kann alle menschlichen Sinnesmodalitäten ansprechen.
Augmented Reality ist Teilbestand des übergeordneten Sammelbegriffs Extended Reality, welcher noch weitere immersive Medien mit hohem Grad an Immersion (Mixed Reality und Virtual Reality) unter sich vereint.
In Abgrenzung zu Mixed Reality wird unter Augmented Reality nur eine Überlagerung der realen Welt mit virtuellen Zusatzinformationen verstanden. Beispielsweise die Ergänzung der realen Welt mit Texten, Bildern, Videos oder virtuellen Objekten mittels Überlagerung.Das ist Augemented Reality. telekom.com. 14. Juli 2021. Abgerufen am 3. Februar 2023. Bei Fußball-Übertragungen ist Erweiterte Realität beispielsweise das Einblenden von Entfernungen bei Freistößen mithilfe eines Kreises oder einer Linie.
Definition und Abgrenzung 512px|rechts|Realitäts-Virtualitäts-Kontinuum nach Milgram
Beim Realitäts-Virtualitäts-Kontinuum (nach Paul Milgram et al., 1994) sind die erweiterte Realität (, AR) und erweiterte Virtualität () Teil der sogenannten gemischten Realität (). Während der Begriff Augmented Virtuality kaum von der Fachwelt benutzt wird, werden und , selten auch , meist synonym verwendet. Im Gegensatz zur virtuellen Realität, bei welcher der Benutzer komplett in eine virtuelle Welt eintaucht, steht bei der erweiterten Realität die Darstellung zusätzlicher Informationen im Vordergrund. Für die visuelle Modalität führt dies zu wesentlich härteren Anforderungen an die Positionsbestimmung () und Kalibrierung.
Unter einem AR-System (kurz ARS) versteht man das System der technischen Bestandteile, die nötig sind, um eine Augmented-Reality-Anwendung aufzubauen: Kamera, Trackinggeräte, Unterstützungssoftware usw.
Die Literatur verwendet meist die Definition der erweiterten Realität von Azuma:R. Azuma: A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments. 6, Nr. 4, 1997, S. 355–385 (PDF; 479 kB). Die virtuelle Realität und die Realität sind miteinander kombiniert (teilweise überlagert). Interaktivität in Echtzeit. Reale und virtuelle Objekte stehen 3-dimensional zueinander in Bezug.
Diese Definition hat zwei Nachteile: sie stützt sich allein auf technische Merkmale, sie beschränkt sich auf nur einen Teilaspekt von AR.
Andere Arbeiten definieren AR als eine Ausweitung der Sinneswahrnehmung des Menschen durch Sensoren von Umgebungseigenschaften, die der Mensch selbst nicht wahrnehmen kann: Radar, Infrarot, Distanzbilder usw.
Technik
Darstellungstypen der Realität bei AR Typ A) Realität naturbelassen, analog dargestellt.
Die Wahrnehmung der physischen Realität/Wirklichkeit/Umgebung erfolgt in der Analogwelt ohne elektronische Signalverarbeitung auf natürliche Weise. Allenfalls werden Sinneswahrnehmungen wie Bilder durch klassische Hilfsmittel wie durch Brillen wahrgenommen oder durch Vergrößerungsoptik oder Spiegel abgebildet. Beispiel: Sicht aus einem Fahrzeug. Dazu werden virtuelle Objekte/Bilder auf unterschiedliche Art eingefügt: Durch optische Projektion auf ein teildurchsichtiges Glas eingeblendet, durch welches auch die natürlichen physischen Objekte betrachtet werden (Beispiel: Optical see-through Head-up-Display HUD)Ronald T. Azuma: A Survey of Augmented Reality: 3.2 Optial vs. Video. cs.unc.edu, S. 10–11. Abgerufen am 2. Februar 2023. oder durch direkte Projektion auf das reale Objekt im Blickfeld des Betrachters. Mit einer Sichtfläche (z. B. einem Brillenglas oder einem Schaufenster) integrierte elektrooptische Anzeige mit durchsichtigen Bereichen und zusätzlich eingeblendeten virtuellen Bildteilen.
Typ B) Realität gewandelt erfasst, digital bearbeitet, gewandelt dargestellt.
Die physische Realität/Wirklichkeit wird durch photoelektrische Umwandlung oder durch andere Wandler (z. B. für Radarsignale, Ultraschall und Schall) wie auch Sensoren einer elektronischen Signalverarbeitung unterworfen, bevor sie über eine künstliche Wiedergabe wahrgenommen wird. Beispiel: Video see-through HUD. In diesem Fall geschieht die Kombination/Überlagerung der Wiedergabe von Sinneswahrnehmungen der realen Welt mit virtuellen Elementen ausschließlich auf elektronische Weise. Dazu werden Sensordaten (z. B. einer Digitalkamera, eines Mikrofons, eines Touchscreens, von Bewegungs- und Positionsmeldern wie einer Computermaus, INS oder GPS) sowie Messdaten wie Temperatur, Geschwindigkeit, Uhrzeit und Speicherinhalte mittels Signalverarbeitung durch softwaregesteuerte Prozessoren aufbereitet, um dann durch Ausgangswandler wie Anzeige/Bildschirm, Lautsprecher wie in Headset oder Hörgerät oder Vibrator kombiniert wiedergegeben zu werden.AR Technology. softwaretestinghelp.com, abgerufen am 23. März 2021.
Hardware Zur Gerätetechnik gehören Eingabeeinrichtungen wie Sensoren (Positions-, Bewegungsmelder usw.), Joysticks, Tastaturen, Mikrofone und Kameras aber auch traditionelle Brillen, Sichtscheiben und Spiegel zur Erfassung der analogen Sinneswelt. Zur Verarbeitung der gewonnenen Information wie auch der Wiedergabe von Speicherinhalten werden Prozessoren verwendet. Ausgabeeinheiten wie Anzeigen, Optikeinrichtungen, Lautsprecher und Vibratoren sorgen für die Wiedergabe der verarbeiteten Informationen. Eine Stromversorgung ist ebenfalls notwendig.
Portable Geräte mini|Ein Head-Mounted Display Bei portablen Geräten sind Kompaktheit und geringes Gewicht wesentlich. Geräte wie Mobiltelefone, insbesondere Smartphones, Tabletcomputer und elektronische Hörgeräte weisen Kombinationen der erwähnten Komponenten auf. Head-Mounted Displays (HMD) und Videobrillen gehören ebenfalls dazu, welche bisher vor allem für Anwendungen der Virtuellen Realität (VR) entwickelt werden.Samsung Display acquires eMagin, maker of OLED microdisplays for XR headsets. flatpanelshd.com, 16. Mai 2023. Abgerufen am 18. Mai 2023. Im Unterschied zu reinen VR-Anwendungen wird bei AR die verarbeitete analoge Realität derart elektronisch mit virtuellen Inhalten vereint, dass ein kombinierter Sinneseindruck entsteht (Typ B). Zu dieser Art von HMD gehört beispielsweise die Apple Vision Pro. Andrerseits basieren SmartglassesCognitive technology, immersive experience, AR. qualcomm.com, abgerufen am 23. März 2021.Magic Leap 2. magicleap.com. Abgerufen am 2. Februar 2023. auf normalen Brillen, bei welchen die naturgetreue Wahrnehmung der realen analogen Außenwelt mit künstlich erzeugten virtuellen Bildern durch optische Wellenführungstechniken wie Diffraktionsoptik oder Projektion kombiniert wird (Typ A).Smart-Glasses. wikitude.com. Abgerufen am 2. Februar 2023. Zu dieser Art gehört beispielsweise die Microsoft HoloLens 2. Weitere Möglichkeiten zur AR-Wahrnehmung sind spezielle Kontaktlinsen oder Retina-Anzeigen, bei welchen Bilder durch Scanning direkt auf der Netzhaut im Auge erzeugt werden.H.L. Pryor, T.A. Furness und E. Viirre: The Virtual Retinal Display: A New Display Technology Using Scanned Laser Light. Proc. 42nd Human Factors Ergonomics Soc., Santa Monica, Calif. 1998, S. 1570–1574
Grossformatigere Einrichtungen Großflächige AR-Anwendungen existieren für Flugzeug-Cockpits, Windschutzscheiben von FahrzeugenHead-Up Display im Auto nachrüsten. mobile.de/magazin. Abgerufen am 3. Februar 2023.HUDs. softwaretestinghelp.com. Abgerufen am 2. Februar 2023. wie auch Kiosksysteme (Magical Mirror) und Schaufenster.AR-Geräte: Kiosksysteme. conrad.ch. Abgerufen am 3. Februar 2023. Die älteste Anwendung sind Head-up-Displays (HUD)s für Kampfflugzeuge ab den 1940er-Jahren. Es werden verarbeitete Daten von Messinstrumenten, Navigationshilfen, Radar usw. über Projektionseinrichtungen auf Scheiben im Sichtfeld des Piloten sichtbar gemacht (Projection Mapping; optical see-through windows) (Typ A). Diese Technik eignet sich auch für Anwendungen, welche nicht auf einen einzelnen Betrachter beschränkt sind, und wie bei Schaufenstern von Gruppen benützt werden können.
Software Die für AR-Anwendungen benötigt Software besteht einerseits aus Standardmodulen wie z. B. für die Signalverarbeitung von Bild- und Tonaufnahmen und deren Wiedergabe sowie andrerseits aus Lösungen, welche vom Prozessor, dem Betriebssystem und der Software-Entwicklungsplattform abhängig sind. Diese Software dient zur Kombination von Positions-, Bewegungs- und weiteren Inputs aus der realen Welt mit virtuellen Inhalten. Die Qualität von AR-Applikationen hängt wesentlich davon ab, wie realistisch Inputs aus der realen Welt mit den computererzeugten virtuellen Inhalten verknüpft werden. Oft sind Lösungen zweiteilig: Zuerst werden in den von einer Kamera aufgenommenen Bildern der realen Welt Markierungselemente (Referenzmarker) wie Ecken und Kanten durch Mustererkennung (feature extraction) detektiert. In einem zweiten Schritt wird daraus ein Koordinatensystem für die erfasste reale Welt erzeugt. Für diesen zweiten Schritt werden mathematische Methoden wie Projektionsgeometrie, geometrische Algebra, Rotationsabbildung, Filtertechnik und Statistik eingesetzt. Diese Lösung verwendet die beschriebenen Markierungen, um die reale und die virtuelle Welt in Einklang zu bringen. Im Gegensatz dazu beruht markierungsloses Verfolgen einer Szene auf der Ausrichtung der Kamera auf bestimmte Objekte aus unterschiedlichen Blickrichtungen durch den Betrachter. Geeignete Sensoren in den portablen AR-Geräten detektieren dabei die Positionen von markanten Elementen wie Wänden oder Schnittpunkten.Augmented Reality Technology. softwaretestinghelp.com. Abgerufen am 2. Februar 2023.
Als Hilfsmittel wurde die Augmented Reality Markup Language (ARML) als Standard des Open Geospatial Consortiums (OGC) entwickelt. Sie beruht auf der Grammatik der Extensible Markup Language (XML), um die korrekte Positionierung und Erscheinung virtueller Objekte in der realen Szene zu ermöglichen.
Um die Entwicklung von AR-Applikationen zu fördern, werden Software-Entwicklungsplattformen (Software Development Kits SDK) durch mehrere Hersteller zur Verfügung gestellt.Wikitude SDK. wikitude.com. Abgerufen am 2. Februar 2023.Apple ARKit. softwaretestinghelp.com. Abgerufen am 2. Februar 2023.
Stand der Technik Am meisten verbreitet sind Anwendungen für Smartphones, Tabletcomputer und Spielkonsolen, wobei die Kombination von Realitätsinputs und VR elektronisch geschieht und die gemeinsame Ausgabe über elektrooptischen Bildschirm und Lautsprecher erfolgt (Typ B). Auch Head-Sets (HMD) mit AR werden von mehreren Anbietern vermarktet, allerdings ebenfalls mit Erfassung der Realität über Kameras und Sensoren, um sie dann gemeinsam mit virtuellen Inhalten kombiniert elektrooptisch darzustellen, d. h. es besteht in diesem Fall keine direkte Wahrnehmung der Außenwelt (Typ B).Bridget Carey: How Apple gets you to care about VR. CNET, 27. Januar 2023. Video en. Abgerufen am 29. Januar 2023
Auf Windschutzscheiben von Fahrzeugen werden bereits vermehrt verarbeitete Daten durch Projektion eingeblendet (Typ A).
Für Fahrzeuge sind HUDs in Entwicklung, welche Holografie zur 3D-Darstellung verwenden.WayRay: Who we are. wayray.com. Abgerufen am 2. Februar 2023.
Ein Problem ist die hohe technische Belastung bei erweiterter Realität, besonders die Nachführung der Bilder bei Bewegungen. Auch die Sensoren werden durch die Bewegung beeinträchtigt. So gibt es Rauschen, Drift und Abschattung des Trackingsystems (beispielsweise bei GPS, INS).Ronald T. Azuma: A Survey of Augmented Reality: 4. Registration. cs.unc.edu, S. 18–29. Abgerufen am 2. Februar 2023. Eine Kombination von beispielsweise GPS mit Trägheits- und optischer Navigation ist daher bei fortgeschrittenen Systemen üblich.