Учените: „По-близо сме до говорната протеза“

Снимка: WENHT/ISTOCK.COM

„Това е важен резултат. Една стъпка по-близо до говорната протеза, към която всички толкова много се стремим.“ Така коментира резултатите от проучване целящо трансформиране на електронни данни от мозъка в компютърна реч д-р Херф (Herff), един от участниците в изследването, в статия на  Kelly Servick в Science.

За много хора, които са парализирани и неспособни да говорят, сигналите за това, което биха искали да кажат, остават скрити в мозъка им. На пръв поглед никой не би могъл да ги дешифрира. Но три изследователски групи наскоро постигнаха значителен напредък, трансформирайки данни от електроди, поставени хирургично в мозъка, в компютърна реч. Използвайки изчислителни модели, известни като невронни мрежи, те пресъздали думи и изречения, които в някои случаи са били ясни за слушателите.

Нито един от опитите, описани в документите на сърварите на принтерите bioRxiv, не пресъздава речта, по начин, по който хората си я представят. Вместо това, учените са проконтролирали части от мозъка, когато хората или четат на глас, говорят наум, или слушат записи. Но това е „определено вълнуващо“, казва Стефани Мартин (Stephanie Martin) – невролог инженер в Женевския университет в Швейцария, които не са участвали в нови проекти.

Хората, които са загубили способността си да говорят след инсулт или заболяване, могат да използват очите си или да правят други малки движения, за да контролират курсора или да избират букви на екрана. (Космологът Стивън Хокинг напрегна бузата си, за да активира и монтира очилата си). Но ако интерфейсът между мозъка и компютъра може да пресъздаде директно речта си, те биха могли да се възстановят много повече: например контролът на тона или способността да се намесва с бърз разговор.

За сега трудностите са много, но според Нима Месгарани (Nima Mesgarani), компютърен учен в Колумбийския университет:  „Опитваме се да разработим схема на … неврони, които се включват и изключват в различни моменти във времето и извеждат звука на речта. Картирането им не е много просто. Начинът, по който тези сигнали се превръщат в звуци на реч, варира от човек на човек, така че компютърните модели трябва да бъдат „обучени“ за всеки човек. И моделите работят най-добре с изключително точни данни, които изискват отварянето на черепа.„

Изследователите твърдят, че макар и в редки случаи, все пак е възможно възпроизвеждането на „по-инвазивни“ записи.  Един от тях е по време на премахването на мозъчен тумор. Електрическите измервания от отворен мозък могат да помагнат на хирурзите да открият и избегнат ключови речеви и двигателни области. В друг случай, на човек с епилепсия са били имплантира електроди в продължение на няколко дни. Последните са позволили да се определи точно произхода на конвулсиите преди хирургичното лечение. „Имаме максимум 20 минути, може би 30“ за събиране на данни, казва Мартин. „Ние наистина сме много ограничени.“

Изследователите, автори на информацията в статиите, са положили много усилия за максимално използване на ценната информация чрез прехвърлянето ѝ към невронни мрежи, обработва ни от сложни модели и предаващи  информация чрез изчислителни „възли“.

Трите екипа, участващи в проучването, са се потрудили да разчетат и данните на пет души с епилепсия, анализирайки звуковите записи на слуховия кортекс (който е активен както по време на речта, така и по време на слушане), тъй като тези пациенти са чували записи на истории, а хората са наричали номера от нула до девет. Тогава компютърът възстановява говоримите числа само от невронни данни; когато компютърът „говореше“ числа, а група слушатели ги наричаха с точност от 75%.

Подобни резултати съобщават и учени от Германия и Холандия.

В заключение трябва да се каже, че неврохирургът Едуард Чунг (Edward Chang) и екипът му от Калифорнийския университет в Сан Франциско са успели да пресъздадат цели изречения, на база дейността от речевите и двигателните области на мозъка, на трима пациенти с епилепсия, на които е прочетено на глас. В последвалия онлайн тест на 166 души е било предложено да чуят едно изречение и да го изберат от 10 предложени варианта. Някои предложения са били идентифицирани правилно в 80% от случаите. Изследователите са направили още една значителна крачка напред  по отношение на модела, опитвайки се да възобновят изречение от записани данни, когато хората са говорили наум.

„Това, което наистина чакаме е как (тези методи) ще работят, когато пациентите не могат да говорят“, казва Стефани Риес (Stephanie Riès), невролог от Университета в Сан Диего в Калифорния, който изучава езиковото производство. Сигналите на мозъка, когато човек „говори“ наум или „чува“ гласа си в главата си, не са идентични на сигнали на реч или слух. Без външен звук, който съответства на мозъчната дейност, може да е трудно за компютър дори да определи къде започва и свършва вътрешната реч.

„Дешифрирането на въображаема реч изисква „огромен скок“„, казва Джервин Шалк ( Gerwin Schalk), невроинженер от Националния център за адаптивна невротехнология в Министерството на здравеопазването на щата Ню Йорк в Олбъни. „Наистина все още не е ясно как да се направи това.“

Източник: Science

Оригиналните звукозаписи в статията.