Mensch-Computer Interaktion beschränkt sich nicht auf die Touchbedienung von Displays oder die Nutzung von grafischen Benutzeroberflächen mit Maus und Tastatur. Neue Hardware wie beispielsweise die Microsoft HoloLens ermöglicht die Integration virtueller Einblendungen in unsere natürliche Umgebung (Mixed Reality oder auch Augmented Reality).
Hieraus ergeben sich auch neue Interaktionsmechanismen: Die Microsoft HoloLens erkennt beispielsweise Handgesten, die vor der Brille ausgeführt werden, mit Hilfe eingebauter Kameras. In Kombination mit der Blickrichtung können so vielfältige Interaktionen mit den eingeblendeten virtuellen Objekten ausgelöst werden.
In Unternehmen ermöglichen Mixed Reality Devices neue Anwendungsfälle:
- Handwerkern können spezifische Informationen zu Objekten eingeblendet werden, die sie montieren oder reparieren müssen.
- Durch das Einblenden in das natürliche Sichtfeld wird ein häufiger Blickwechsel zwischen einem Bildschirm und dem eigentlichen Objekt vermieden.
- Das durch die Brille betrachtete Bild kann an eine Zentrale übertragen werden und ermöglicht so das Zuziehen externer Experten (remote assistance).
Eine beispielhafte Anwendung für die Wartung von Aufzügen zeigt dieses Video von thyssenkrupp: