Was mit 5G im Mixed Reality Bereich möglich wird

106 Kameras, vier Mikrofone, rundherum um eine Person platziert: Mit diesem System werden Bewegungen von allen Seiten eingefangen. Eine Hälfte sind RGB-Kameras, die Oberflächen und Farben filmen. Die andere sind Infrarotsensoren, die Tiefeninformationen aufzeichnen. Bei 30 Bildern pro Sekunde fallen zehn Gigabyte Daten pro Sekunde an, die von Algorithmen zu bewegten 3D-Modellen zusammengefügt werden. Das Ergebnis ist ein hologrammähnliches 3D-Video der Person, das mit zehn Megabit pro Sekunde per Wi-Fi auf mobile Geräte oder in VR- und AR-Brillen gestreamt werden kann.

Microsoft-Managerin Julia White trat kürzlich mit einer Hololens 2 auf die Rednerbühne und projizierte eine dreidimensionale AR-Kopie ihrer selbst in den Raum. Das Hologramm sprach für Frau White zum Publikum, jedoch in Japanisch statt auf Englisch. Dies wurde durch besagte Studios möglich, welche Frau White dank reduzierter Details über die Azure-Cloud direkt in die Hololens streamen konnten, damit die visuelle Komponente abdeckte.

Die Audio stammte aus Aufzeichnungen der Stimme Whites, deren Daten zum Trainieren einer KI genutzt wurden. Diese KI lernte die Stimme zu imitieren und wurde mit einer KI-gestützten Sprachsynthese verknüpft, die Text in gesprochene Sprache verwandelt. White selbst spricht kein japanisch.

Das Besondere an Microsofts Hololens-Präsentation ist, dass sie die Konvergenz und das Zusammenspiel mehrerer Zukunftstechnologien, nämlich Künstliche Intelligenz, Mixed Reality und Cloud-Streaming mittels 5G, beispielhaft vorführt. So bald dürfte das gezeigte Anwendungsszenario allerdings nicht im Alltag ankommen.

Microsoft arbeitet seit sieben Jahren an der Technologie. Wegen der teuren und aufwendigen Technik sind die Studios nicht der Öffentlichkeit zugänglich. Lediglich Prominente, Geschäftskunden und Journalisten durften bisher einen Blick in die Studios werden. Dennoch erwartet der Leiter des Westküstenstudios Steve Sullivan, dass die Aufnahmetechnik schon in wenigen Jahren erschwinglich und verbreitet sein wird, so wie vor hundert Jahren Fotostudios.