Cercetătorii de la UC San Francisco și UC Berkeley au dezvoltat o interfață creier-computer (BCI) care a permis unei femei cu paralizie severă de la un accident vascular cerebral de trunchi cerebral să vorbească printr-un avatar digital.
Este prima dată când vorbirea sau expresiile faciale au fost sintetizate din semnalele creierului.
De asemenea, sistemul poate decoda aceste semnale în text cu aproape 80 de cuvinte pe minut, o îmbunătățire majoră față de tehnologia disponibilă comercial.
Edward Chang, MD, președinte de chirurgie neurologică la UCSF, care a lucrat la tehnologia, cunoscută sub numele de interfață de computer pentru creier sau BCI, timp de mai bine de un deceniu, speră că această ultimă descoperire în cercetare, va duce la un sistem aprobat de FDA care permite vorbirea de la semnalele creierului în viitorul apropiat.
Echipa lui Chang a demonstrat anterior că este posibilă decodificarea semnalelor creierului în text la un bărbat care a suferit și un accident vascular cerebral cu mulți ani în urmă.
Studiul actual demonstrează ceva mai ambițios: decodificarea semnalelor creierului în bogăția vorbirii, împreună cu mișcările care animă fața unei persoane în timpul conversației.
Chang a implantat un dreptunghi subțire ca hârtie de 253 de electrozi pe suprafața creierului femeii în zonele pe care echipa sa le-a descoperit că sunt esențiale pentru vorbire.
Electrozii au interceptat semnalele creierului care, dacă nu ar fi fost accidentul vascular cerebral, ar fi ajuns la mușchii ei, limbă, maxilar și laringe, precum și față. Un cablu, conectat într-un port fixat pe capul ei, a conectat electrozii la o bancă de computere.
În loc să antreneze AI să recunoască cuvinte întregi, cercetătorii au creat un sistem care decodifică cuvintele din foneme.
Acestea sunt subunitățile vorbirii care formează cuvintele rostite în același mod în care literele formează cuvintele scrise.
Folosind această abordare, computerul avea nevoie doar să învețe 39 de foneme pentru a descifra orice cuvânt în limba engleză. Acest lucru a sporit precizia sistemului și l-a făcut de trei ori mai rapid.
Pentru a crea vocea, echipa a conceput un algoritm pentru sintetizarea vorbirii, pe care l-a personalizat pentru a suna ca vocea ei înainte de accidentare, folosind o înregistrare a vorbirii ei la nunta ei.
Echipa a animat avatarul cu ajutorul unui software care simulează și animă mișcările musculare ale feței, dezvoltat de Speech Graphics, o companie care realizează animații faciale bazate pe inteligență artificială.
Cercetătorii au creat procese personalizate de învățare automată care au permis software-ului companiei să se integreze cu semnalele trimise din creierul femeii în timp ce aceasta încerca să vorbească și să le transforme în mișcările de pe fața avatarului, făcând maxilarul să se deschidă și să se închidă, buzele să iasă în afară. precum și mișcările faciale pentru fericire, tristețe și surpriză.
„Oferirea oamenilor abilitatea de a-și controla liber propriile computere și telefoane cu această tehnologie ar avea efecte profunde asupra independenței și a interacțiunilor sociale”, a spus co-primul autor David Moses, PhD, profesor adjunct în chirurgie neurologică.
