Tehnologia ”citește” semnele arătate în cameră și afișează practic instant textul în engleză.

Priyanjali Gupta studiază ingineria și știința datelor la Institutul de Tehnologii din Vellore, India. În anul 2022 ea a creat un model de inteligență artificială pentru care a scris instrucțiuni de recunoaștere a limbajului de comunicare prin semne american și traducerea imediată a semnelor în text în limba engleză. 

Pe monitor, în afară de cuvintele și expresiile echivalente semnelor, este afișată și precizia procentuală a traducerii.

Gupta a înregistrat experimentul și a postat un video în rețelele sociale, dare adunase peste 60.000 de aprecieri la momentul publicării acestui articol. 

La miezul tehnologiei se află API-ul de detectare a obiectelor ”Tensortflow”, pe care ea l-a învățat – prin intermediul unui fișier pre-antrenat numit ”ssd_mobilenet” – să interpreteze semnele limbajului american și să le transcrie în text englez.

Deocamdată posibilitățile modelului sunt limitate la cele mai răspândite semne/cuvinte și semne/expresii gen ”salut”, ”te iubesc”, ”multumesc”, ”te rog”, „da”, ”nu” și altele, dar Gupta promite să finalizeze proiectul și să-l lanseze sub formă de aplicație pentru cei ce vor să comunice cu persoanele afectate de afazie (pierderea totală sau parțială a facultății de a vorbi și de a înțelege limbajul articulat, a posibilității de a reda cuvintele, ca urmare a unei leziuni cerebrale). 

Ea s-a inspirat și din cercetările specialistului în științele datelor la IBM Nicholas Renotte cu privire la detectarea în timp real a limbajului semnelor. 

Aplicațiile pentru persoanele care suferă de afazie sunt o raritate. Una dintre ele este Zoom Boom, care a devenit popular în timpul pandemiei COVID-19. Un model similar are și Google, care poate ”citi” semnele cu o precizie de 91%.