Google rolt handtracking methode via machine learning uit
Google ontwikkelaars Valentin Bazarevsky en Fan Zhang hebben een “nieuwe waarnemingsmethode van handen” ontwikkeld. Een handtracking methode via machine learning op smartphones. Hoe werkt dat?
Op CVPR 2019 werd het voor het eerst aan de wereld getoond. En Google’s nieuwe methode is nu ook beschikbaar voor ontwikkelaars! Via MediaPipe kan iedereen met deze nieuwe vorm van handtracking aan de slag.
Gebaren worden op drie verschillende manieren geanalyseerd. Allereerst wordt de handpalm gedetecteerd via het “Blazepalm” detectie model. Daarnaast wordt er gebruik gemaakt van 21 detectiepunten. Deze worden toegekend aan de handpalm en vingers. Door een combinatie van deze detecties worden gebaren herkent en geïnterpreteerd. Er is dankzij machine learning slechts een enkele frame nodig om dit voor elkaar te krijgen.
De huidige en gangbare methodes vergen high-end apparaten om handtracking voor elkaar te krijgen. Maar de onderzoekers van Google is het gelukt om dit klaar te spelen op een smartphone, aldus Bazarevsky en Zhang. Allemaal dankzij machine learning.
De onderzoekers hopen dat de handtracking methode via machine learning creativiteit en inventiviteit zullen stimuleren. Daarnaast worden er wellicht ook nieuwe deuren in onderzoeksmethodes geopend.
In de nabije toekomst hopen de onderzoekers de techniek nog meer te kunnen verfijnen. Ook willen ze de techniek meer gebaren laten herkennen, met meer de focus op dynamiek. Dit zou een groot voordeel zijn bij het automatisch vertalen van bijvoorbeeld gebarentaal.
Tot slot zou een meer betrouwbare vorm van handtracking van onschatbare waarde zijn voor AR headsets en de ontwikkeling daarvan. Zolang deze headsets vertrouwen op camera’s zonder dit soort achterliggende technieken, zullen ze moeite hebben om onze wereld te kunnen interpreteren.
