Googles realtidsalgoritme til håndsporing bruger smartphone til at forbedre tegnsproggenkendelse

Tegnsprog bruges af millioner af mennesker over hele verden. Forskere har arbejdet med at opbygge teknologier, der kan forstå bevægelserne og automatisk konvertere dem til menneskeligt forståeligt sprog. Imidlertid har sådanne projekter ikke opnået stor succes med hensyn til nøjagtighed.

Google har for nylig udviklet en algoritme, der kan bruges til realtids håndsporing. Det intelligente system udnytter maskinindlæring til at skabe et kort over hånden. Kortet oprettes ved hjælp af et kamera eller en smartphone. Vi kan ikke benægte det faktum, at de fleste af systemerne ikke nøjagtigt fanger hurtige håndbevægelser. Google har specifikt behandlet dette problem i denne forskning. Interessant nok har de begrænset mængden af ​​data, der tidligere blev behandlet af algoritmerne.

Hvordan fungerer håndsporing i realtid?

De fleste af de eksisterende projekter oversætter tegnsprog ved at registrere størrelsen og placeringen af ​​den komplette hånd. Med denne forskning. forskerne har fjernet behovet for at håndtere rektangulære former i forskellige størrelser. Googles system genkender bare håndfladen, som er firkantet i form. For det andet udføres en separat analyseproces for fingrene.

Forskerne brugte omkring 30.000 håndbilleder til at træne maskinlæringsalgoritmen. Disse billeder blev taget under forskellige lysforhold og udgør. Systemet registrerer derefter gesten ved at foretage en sammenligning mellem håndpositionen og en liste over kendte enheder såsom en bold eller lykke. Google beskriver gestusgenkendelsen i et blogindlæg.

Den endelige håndsporingsalgoritme giver avancerede resultater med hensyn til dens hastighed og nøjagtighed. Algoritmen bruger MediaPipe framework til at køre. Denne teknik virker som et stort fremskridt inden for tegnsprogdomænet. Selvom der stadig er meget plads til forbedringer. at skabe en bedre forståelse af tegnsproget. Alle kan udvide dette arbejde til at bruge ansigtsudtryk og begge hænder for at opnå bedre resultater.

Selvom der ikke er noget ord fra Google, er der en mulighed for, at Google kan forbedre denne realtids håndsporingsteknologi til at bruge den i sine produkter. I mellemtiden, hvis du vil lege med koden, er den offentligt tilgængelig på GitHub.