Kennisbank / Interactieve & creatieve AI

Wat zijn gesture-controlled interfaces?

Een gesture-controlled interface is een interface die je bestuurt met bewegingen van je handen of lichaam, in plaats van met een muis, toetsenbord of touchscreen. Een camera ziet wat je doet, software vertaalt dat naar landmarks (punten op je hand of lichaam), en die punten sturen live actie op het scherm aan.

Het bijzondere: dit draait tegenwoordig gewoon in de browser, zonder speciale hardware. Een webcam en moderne computer vision zijn genoeg.

Hoe werkt het technisch?

De kern is real-time computer vision. Modellen zoals MediaPipe herkennen tot 21 punten per hand, zo'n 30 keer per seconde. Uit die punten leidt de software af waar je hand is, hoe open die is, hoe snel je beweegt en welk gebaar je maakt (knijpen, wijzen, een vuist).

Die gegevens koppel je vervolgens aan wat er moet gebeuren:

Positie stuurt bijvoorbeeld een cursor, een bat of een schuifregelaar aan.
Gebaren triggeren acties: knijpen is klikken, een vuist is stoppen.
Beweging kan geluid, beeld of animatie live vormgeven.

Een lichte AI-laag (bijvoorbeeld op TensorFlow.js) maakt de tracking soepeler door ruis weg te filteren, zodat de besturing niet schokkerig aanvoelt.

Van losse punten naar een stabiele besturing

Die 21 punten per hand zijn ruwe meetwaarden, en ruwe meetwaarden trillen. Een hand die stilhangt levert nooit twee identieke frames op: het licht verandert, de camera ruist, en een vinger die half achter een andere vinger valt springt een paar pixels heen en weer. Stuur je die getallen rechtstreeks door naar het scherm, dan beweegt een schuifregelaar uit zichzelf en voelt de besturing onbetrouwbaar, ook al klopt de herkenning.

Het echte werk zit dus niet in het herkennen maar in het gladstrijken. Wij gebruiken daarvoor een klein neuraal netwerk dat de reeks punten over de tijd bekijkt in plaats van één frame tegelijk. Het leert hoe een hand werkelijk beweegt en filtert de sprongen eruit die daar niet bij passen. In WaveMotion levert dat 18 herkende gebaren op en 11 doorlopende waarden die met de hand meebewegen, zoals openheid, kanteling en snelheid.

Dat onderscheid tussen gebaar en doorlopende waarde is belangrijker dan het lijkt. Een gebaar is een schakelaar: het gebeurt of het gebeurt niet. Een doorlopende waarde is een knop die je draait. De meeste installaties die niet lekker voelen, gebruiken alleen schakelaars, waardoor je continu moet mikken op een drempel in plaats van gewoon te bewegen.

De vertraging die je wel en niet voelt

Bij gesture-besturing kijk je naar je eigen hand, dus je merkt elke vertraging meteen. Er zitten drie stappen tussen je beweging en het beeld: de camera levert een frame, het model leest de punten eruit, en het scherm tekent het resultaat. De tracking loopt op ongeveer 30 frames per seconde, de weergave op 60. Die twee snelheden lopen niet gelijk, en dat is met opzet: je vult de gaten tussen twee metingen op door de beweging door te trekken, zodat het beeld soepel blijft terwijl de camera achterloopt.

Wat je ontwerpt is dus niet alleen wat een gebaar dóet, maar ook wat het scherm laat zien terwijl het nog niets zeker weet. Een cursor die meteen meebeweegt en pas bij de klik hard bevestigt, voelt sneller dan een cursor die wacht tot de herkenning rond is.

Waar zet je gesture-besturing voor in?

Experiential marketing: een interactieve installatie op een beurs of in een etalage die bezoekers met hun handen bedienen.
Kiosken en publieke schermen: handsfree bediening, hygiënisch en zonder slijtage van knoppen.
Interactieve ervaringen: games, instrumenten en kunstinstallaties die reageren op beweging.
Toegankelijkheid: besturing zonder fysiek contact, bruikbaar in situaties waar aanraken lastig is.

Twee voorbeelden uit eigen huis

Wij bouwden zelf twee gesture-projecten die in de browser draaien. WaveMotion is een audiovisueel instrument waarbij je handen het instrument zijn: hoogte bepaalt de toon, afstand het volume, een knijp tokkelt. En dGEN Pong is de klassieke game, maar dan bestuurd met je hand voor de camera. Beide staan in onze project-library.

Wat heb je nodig om te beginnen?

Verrassend weinig: een idee, een webcam en een browser. De zwaarste keuzes zitten in het ontwerp, welk gebaar doet wat, en hoe houd je de besturing intuïtief. Dat is precies waar wij bij helpen.

Wat er in de praktijk misgaat

Drie dingen bepalen of een installatie op een beurs de hele dag werkt of na een uur wordt uitgezet.

Het licht. Een camera ziet minder dan jij denkt. Tegenlicht van een raam of een felle spot achter de bezoeker maakt de hand tot een silhouet, en dan valt de herkenning weg. Licht van voren, ook al is het zacht, lost dat vrijwel altijd op.

De achtergrond. Lopen er mensen achter de bezoeker langs, dan ziet het model ook hun handen. Je moet dus kiezen wélke hand de baas is, meestal de grootste of de dichtstbijzijnde, en die keuze vasthouden zolang die hand in beeld blijft. Zonder die regel springt de besturing over naar een voorbijganger.

Niemand weet wat hij moet doen. Dit is de grootste. Een scherm zonder muis geeft geen enkele hint. Een installatie heeft daarom een stand nodig waarin hij laat zien wat er kan, bijvoorbeeld een hand die de beweging voordoet, en hij moet binnen een seconde reageren op de eerste beweging van de bezoeker, ook als die beweging nergens op slaat. Die eerste reactie is wat iemand laat doorspelen.

Wanneer je het beter niet doet

Gesture-besturing is slecht in precisie en slecht in lange sessies. Je arm wordt moe, en een doel van een paar pixels raken met een zwevende hand is zwaarder dan met een muis. Voor formulieren, tekst en dagelijks werk is het de verkeerde keuze.

Het werkt juist goed waar aanraken onhandig of ongewenst is, waar de beweging zelf het onderwerp is, en waar mensen kort en vrijwillig meedoen. Een bezoeker die dertig seconden speelt, onthoudt het. Een medewerker die er acht uur per dag mee moet werken, niet.

Van installatie naar meetsysteem

Dezelfde techniek die een gebaar herkent, kan ook gewoon kijken. Diezelfde punten vertellen hoeveel mensen er voor een scherm staan, welke kant ze op kijken, hoe lang ze blijven en of een houding afwijkt van normaal. Dan gebruik je de camera niet om iets te besturen, maar om iets te meten.

Dat is een aparte toepassing met eigen keuzes, vooral over wat je wel en niet opslaat. We beschrijven die kant bij tracking-systemen, en de bredere toepassingen van beeldherkenning staan in computer vision voor bedrijven.

Aan de slag

dGEN Productions bouwt interactieve AI-apps met computer vision en gesture-besturing, van concept tot werkende browser-app. Bekijk de dienst Interactieve AI-apps of plan een gratis gesprek.

Meer over Interactieve & creatieve AI

Uit de blog

dGEN Productions, AI-bureau in Veldhoven, regio Eindhoven (Brainport), onderdeel van dGEN Labs. De Run 1141 (1e verdieping, nr. 12), 5503 LB Veldhoven · info@dgenproductions.nl · 06-87413056 · KvK 97916137 (eenmanszaak) · btw NL005295840B15