Immersive Lab

Als laatste hebben we een aantal prototypes en tests gedaan op de layout en afmetingen voordat we uiteindelijk de hardware installeerden.

Toen de fysieke set-up klaar was, hebben we twee in-house software onderdelen ontwikkeld om de ruimte in te richten. YIPP-ontwikkelaars trainden een neuraal netwerk met tienduizenden bovenaanzichten en dieptebeelden van mensen in allerlei poses en hoogtes. Hiermee creëerden we een tracking system voor het Immersive Lab dat een “persoon” van bovenaf kan detecteren.
Naast de tracking hebben we een stuk software geschreven dat beelden van 6 camera’s samenvoegt tot één enkele 3D-afbeelding van de ruimte.

3d Layout Test

Fysieke Layout test

Neural net-handdetectie tests

Wat kan het doen?

Belangrijkste kenmerken van het volgsysteem:

• Detecteert de locatie van het hoofd van de gebruiker, evenals de linker- en rechterhand

  
• De tracking gebeurt van bovenaf, dus wordt niet gestoord door gebruikers die voor en achter elkaar langs lopen. Hierdoor kan de ruimte door meerdere personen tegelijk gebruikt worden.
  
• Het systeem kan consequent individuele gebruikers volgen in een zeer groot gebied, zolang ze zichtbaar blijven in het systeem en niet uit de ruimte stappen.
  

We kunnen deze informatie gebruiken om:

• Verborgen inhoud te tonen in de projectie als deze wordt geactiveerd door de handen van de gebruiker (door de functie hand-detectie te gebruiken en deze in elk type interactie te laten activeren).
  
• Het opslaan en weergeven van persoonlijke informatie voor elke unieke gebruiker bv. een score/voortgang van een gebruiker of tekst in de gekozen taalselectie van de gebruiker (door gebruik te maken van individuele tracking van gebruikers).
  

• Een aanname te doen naar kijkrichting van de gebruiker (met behulp van de gedetecteerde linker- versus rechterhand).
  
- Ruwweg de lengte van een gebruiker te bepalen (door de hoofdpositie te gebruiken).
  

De ruimte kan eenvoudig worden gebruikt om interactieve en niet-interactieve meeslepende projectie-ervaringen te creëren. Vanwege de inrichting van de ruimte creëren we alle interactieve projecten in Unity. We hebben ook een functie gemaakt waarbij je afbeeldingen en video’s kunt “uploaden” zonder dat er code aan te pas hoeft te komen.

Zoom

4 leuke projecten die we hebben gedaan

Necessity is the mother of invention?
Wat voor spel zou jij maken als alleen de head-tracking werkt? 
Precies, een multiplayer kippenspel waarin jij de moederkip bent die haar kleine kuikentjes moet voeren met wormen. Wormen die je, net zoals een echte vogel, alleen met je hoofd naar de grond toe kan pakken. Sommige collega’s hadden dagenlang spierpijn…

Voed de vogel

Altijd al eens willen struinen door je eigen kunst?
In deze niet-interactieve projectie plaatste onze collega de tekeningen van haar dochter in de ruimte, zodat ze in haar eigen getekende wereld kon spelen. Hiervoor heeft ze de afbeelding eenvoudig gewijzigd en geüploadet naar ons systeem en voila!

non-interactieve projectie

Denk je dat Tetris moeilijk is?
Wacht maar tot je onze Tetris hebt geprobeerd. Stap op controllers in de vloer, om je blokken te verplaatsen…

Tetris

Hallo Vis!
Voor een klant in België hebben we een prachtige onderwaterwereld gecreëerd. Ons favoriete detail? De kleine vis in de vloerprojectie die je overal volgt.

Achtervolgende vis

De toekomst

In de toekomst willen we het neural net meer tweaken en trainen, meer mooie en leuke projecten realiseren samen met opdrachtgevers en de ruimte delen met meer enthousiaste mensen.

Ben je geïnteresseerd in het gebruik van de ruimte, of wil je met ons praten over immersieve projecten?
Neem dan contact op met Wouter van der Zouwe via info@yipp.nl 


Het testen van 3d in het Immersive lab