Sådan oversættes tegnsprog til tekst ved hjælp af Arduino?

Vi har konsekvent accepteret, at teknologien burde være tilgængelig for alle og til godt, hvad enten de er normale mennesker eller specielt dygtige individer. Den grundlæggende fordel ved innovation er at engagere enkeltpersoner og forbedre dem, ikke at erobre dem, men snarere at hjælpe dem.

Mennesker med manglende evne til at tale bruger forskellige kommunikationsmidler til at formidle deres budskaber. Den mest almindelige af dem er tegnsprog. Tegnsprog er et sprog, der bruger gestusmodalitet til at formidle en besked. Tegnsprog er almindeligt blandt de mennesker, der ikke er i stand til at tale eller lytte. Så her er et projekt, der hjælper dig med at oversætte tegnsproget til en tekst, som andre mennesker kan forstå.

Hvordan bruges Arduino til at lave en Sign to text-oversætter?

Lad os nu bevæge os mod at indsamle yderligere data, analysere dem, skabe et kredsløb og brænde koden på mikrocontrolleren.

Trin 1: Forudsætninger

Før vi begynder at arbejde, er det bedre at samle og studere om det apparat, vi skal bruge. En liste nedenfor viser alle de ting, vi har brug for i dette projekt.

Trin 2: Opsætning af apparatet

Vi bruger Flex-sensorer til at registrere gestus. Flex-sensoren er en sensor, der giver en anden modstand og en anden vinkel, hver gang den bøjes. Den har to ben, der er forbundet i en spændingsdelerkonfiguration. Forbindelsen af ​​disse stifter til Arduino er vist nedenfor.

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 er flexsensorerne, og RES1, RES2, RES3, RES4, RES5 er de 470 ohm modstande. Et punkt af alle flex-sensorer er almindelige, og der anvendes 5V til det. I den anden ende er det ene ben af ​​alle modstandene fælles og forbundet til jorden. Indgangen til Arduino-stifterne modtager analoge data fra 0 til 1023, der konverteres til den digitale form i koden.

Nu, da vi ved, hvordan en flex-sensor fungerer, skal du fastgøre hver flex-sensor på handskens fingre (undgå at bruge klæbemidler). Loddejumperkabler til alle flex-sensorer og forbinder dem på Veroboard som vist i ovenstående billede. Lod forsigtigt forbindelserne ud og udfør en kontinuitetstest. Hvis kontinuitetstesten mislykkes, skal du kontrollere dine loddede forbindelser og rette dem.

Trin 3: Kom godt i gang med Arduino

Hvis du ikke har Arduino IDE, skal du downloade den nyeste version fra Arduino

1. Forbind Arduino med din pc, og gå til Kontrolpanel> Hardware og lyd> Enheder og printere for at kontrollere navnet på den port, som Arduino er tilsluttet. På min pc er det COM14. Det kan være anderledes på din pc.
2. Åbn din Arduino IDE, og sæt tavlen til "Arduino / Genuino Uno".
3. Åbn din Arduino IDE, og indstil den port, som du observerer på din pc før.
4. Download nu koden, der er vedhæftet nedenfor, og upload den til din Arduino Board ved at klikke på Upload-knappen.

Download link: Klik her

Trin 4: Kode

Koden er kommenteret godt, men her er en generel forklaring på, hvordan den fungerer.

1. I starten af ​​koden initialiseres 5 analoge ben fra Arduino til brug sammen med flex-sensorer. End Vcc fra Arduino og 4.7k ohm modstand er initialiseret, der bruges i kredsløbet. Derefter initialiseres modstanden af ​​den lige flex-sensor og modstanden i en 90-graders vinkel. Disse initialiseringer vil være nyttige ved skrivning af koden.
2. ugyldig opsætning () er en funktion, hvor vi initialiserer Arduino's baudrate og alle de fem analoge ben initialiseres til brug som INPUT. Baudrate er den hastighed, hvormed mikrokontrolleren kommunikerer.
3. ugyldig sløjfe () er en funktion, der kører kontinuerligt igen og igen i en cyklus. I denne funktion læses alle analoge værdier og konverteres til digitale værdier. Derefter beregnes modstanden ved hjælp af spændingsdelerformlen, og gennem denne modstand beregnes flex-sensorens bøjningsvinkel.

Når du har forstået og uploadet koden, skal du bære handskerne og gøre forskellige bevægelser for at oversætte dem til tekst. I koden kan du tilføje flere kombinationer af fingerbevægelse efter eget valg og vise meddelelsen i overensstemmelse hermed. Du vil se, at dit tegnsprog nu er konverteret til tekst.

Trin 5: Avanceret

Dette projekt handler om at konvertere tegnsprog til tekst og vise det på den serielle skærm. Da den anvendte mikrokontroller er Arduino, fungerer denne enhed kun, når Arduino er tilsluttet pc'en via et datakabel, fordi Arduino ikke har et indbygget WiFi-modul. For at gøre dette projekt lidt mere interessant kan du tilføje et eksternt WiFi-modul eller bruge et ESP-modul i stedet for Arduino og slippe af med datakablet og nyde et tegn til tale-oversættelse via WiFi.