thumb

Microsoft Research hat mit "Projekt Zanzibar" eine Entwicklung vorgestellt, die eine Brücke zwischen realer und virtueller Welt schlägt. Es handelt sich um eine aufrollbare Sensor-Matte, die sowohl Objekte als auch Gesten erkennt. Auf einem beliebigen, an die Matte angeschlossenen Bildschirm erweckt das System so beispielsweise normales Spielzeug wie Playmobil-Figuren zum virtuellen Leben.

"Die Frage, die uns über einige Jahre angetrieben hat, ist, wie man die Interaktion mit einem Computer sehr natürlich unsichtbar machen kann", meint Microsoft-Forscher Nicolas Villar. Project Zanzibar ist ein Ergebnis solcher Bemühungen. Die Matte kombiniert NFC-Technologie, um Gegenstände mit entsprechenden Tags zu erkennen, und kapazitive Sensoren. Letztere erfassen, wo Objekte auf der Matte stehen und dienen auch dazu, Gesten wie Fingerbewegungen des Users zu erkennen. Auf einem via USB oder Bluetooth angeschlossenen Display erwachen dann den einzelnen Gegenständen entsprechende virtuelle Avatare zum Leben.

Als Beispiel, was damit möglich ist, dient den Forschern eine Anwendung, mit der Kinder im Alter von fünf bis zwölf Jahren mithilfe von Playmobil-Piraten kurze digitale Filme erstellen können. Die App erlaubt dabei unter anderem, mit entsprechenden Gegenständen auf der Matte die genaue Position der virtuellen Kamera und von Lichtquellen zu definieren. Dank NFC-Tags kann die Matte verfolgen, wie die Figuren bewegt werden und das auch vertikal - beispielsweise, wenn ein Pirat einen Turm erklimmt. Auch ist es möglich, das virtuelle Gegenstück einer Playmobil-Kanone abzufeuern, samt Knall und mit Platschen, wenn die Kugel im Wasser landet.

Das Platzieren zusätzlicher Objekte auf die Matte wiederum kann die virtuelle Umgebung verändern. So steht beispielsweise eine Palme für ein tropisches Setting. Zudem speichert das System jedes physische Objekt und zugehörige Daten mit eigener ID. So ermöglicht es auch, dass die zugehörigen virtuellen Avatare beispielsweise Dinge lernen oder mit dem Kind "aufwachsen". Jeder virtuelle Pirat hat so eine eigene Geschichte, die mit jeder Spielsitzung eine Fortsetzung findet.

Freilich hat Project Zanzibar auch Potenzial für ernsthaftere Anwendungen. Mit Blick auf Kinder dient den Forschern hier das Lernen als Beispiel. Sie zeigen, dass das digitale Display Feedback zu Montessori-Lernübungen mit Buchstaben-Kärtchen geben kann, wenn Kinder Buchstaben suchen, nachzeichnen oder damit Wörter bilden. Noch genauer wird das Team Project Zanzibar und seine Möglichkeiten Ende April im Rahmen der Konferenz CHI 2018 https://chi2018.acm.org in Montréal vorstellen.
http://research.microsoft.com