Имплант преобразува мислени букви в текст (видео)

Мозъчно-компютърните интерфейси или BCI могат да възстановят движението при хора с парализа и да помогнат за лечението на неврологични и психични заболявания. Изследване, публикувано в списание Nature, съобщава за мозъчен имплант, който ще позволи на хората с увредени движения на крайниците да общуват, използвайки текст, формулиран в съзнанието им, без да използват ръцете си.

Когато се движим, чувстваме, казваме или правим нещо, мозъкът ни генерира определен модел на електрическа активност. И вече няколко десетилетия учените свързват тези импулси с машини, не само да разбират и лекуват мозъчни заболявания, но и да помагат на хората с увреждания. Мозъчно-компютърните интерфейси или BCI могат да възстановят движението при хора с парализа и да помогнат за лечението на неврологични и психични заболявания.

Следващата граница в BCI може да бъде неща като обикновени текстови съобщения; машинописът продължава да бъде изключително трудно предизвикателство за биоинженерите.

Софтуерът за изкуствен интелект, разработен от екип от Станфордския университет, в комбинация с електроди, имплантирани в мозъка, може да „прочете“ ума на човек с парализа на цялото тяло, когато бъде помолен да го превърне в почерк. BCI трансформира въображаемите си букви и думи в текст на компютърен екран – формата на „умствен почерк“. Тази технология може да бъде от полза за милиони хора по света, които не могат да пишат или говорят поради нарушения на крайниците или гласовите мускули.

Предишна работа с водещ автор на изследването Кришна Шена (Krishna Shenoy) в Станфорд помогна да се анализират невронни модели, свързани с речта. Изследването декодира също въображаеми движения на ръцете, така че хората с парализа да могат бавно да преместват курсора през екрана на клавиатурата, за да пишат букви. Но този метод им позволява само да въвеждат около 40 знака в минута, много под средната скорост на клавиатурата от около 190 знака в минута.

_{Когато парализиран човек в едно проучване си представя, че пише писмо или символ, имплантирани в мозъка му сензори откриват модели на електрическа активност. След това алгоритъмът интерпретира тези сигнали и проследява пътя на въображаемата му писалка. Кредит: Frank Willett et al., Nature; 2021 г.}

Нова работа на екипа на Шена се фокусира върху въображаемия почерк като начин за подобряване на скоростта на комуникация за първи път. И изследователите се надяват, че ще постигне поне скоростта на изпращане на текстови съобщения от смартфони. Техниката им позволява на субекта, който по време на изследването е бил на 65 години, психически да напише 90 знака в минута. Тази скорост е близка до средната за повечето по-стари текстови съобщения, които обикновено могат да достигнат около 115 знака в минута на телефона.

„Този ​​ред на работа може да помогне за възстановяване на комуникацията при хора, които са силно парализирани или„ блокирани “, казва Франк Уилет (Frank Willett), водещ автор на статията и изследовател в Станфордската транслационна лаборатория за невронна протетика. „Това трябва да помогне на хората да изразят себе си и да споделят своите мисли. Много е вълнуващо.“

Участник в изследването е претърпял травма на гръбначния мозък през 2007 г. и е загубил по-голямата част от движенията на тялото под врата. През 2016 г. неврохирургът от Станфорд Джейми Хендерсън (Jaimie Henderson), съавтор на статията, имплантира два малки BCI чипа в мозъка на пациента. Всеки от чиповете имаше 100 електрода, способни да откриват невронната активност. Те са имплантирани в зона на моторната кора, която контролира движението на ръцете и ръцете, което позволява на изследователите да профилират модели на мозъчна дейност, свързани с писмения език.

^{(d), Декодираните траектории на писалката са показани за всички 31 тествани знака. Проектната 2D скорост на върха на писалката е линейно декодирана от невронната активност, като се използва кръстосана валидация (всеки знак е валидиран), а изходът на декодера е изчистен от „шум“ чрез осредняване в опитите. Оранжевите кръгове означават началото на траекторията. (e), 2D визуализация на невронната активност. Всеки кръг е единичен опит (27 опити са показани за всеки от 31 знака). Кредит: https://doi.org/10.1038/s41586-021-03506-2}

„Това изследване е важен и ясен пробив в областта на интракортикалните интерфейси мозък-компютър“, казва Ейми Л. Орсборн (Amy L. Orsborn), член на катедрата по биоинженерство във Вашингтонския университет. „Една очевидна причина е, че те са направили огромен скок в производителността на задача, която е толкова сложна, но важна, колкото писането. Това е и най-значимата демонстрация досега за използване на утвърдени инструменти за машинно обучение, като например предсказуеми езикови модели за подобряване на BCI.“

„Видях това изследване, първоначално включено в плаката през 2019 г., и мисля, че е чудесно!“, коментира Миджил Д. Серруя (Mijail D. Serruya), асистент по неврология в университета „Томас Джеферсън“, който изучава BCI за възстановяване на инсулт, но не е участвал в изследвания. „Мисля, че това ясно показва, че фините двигателни траектории могат да бъдат дешифрирани от неокортикалната дейност.“, добавя Суррея.

Серруя добавя, че изследванията му може да са в съответствие с изследванията на Уилет за подпомагане на лечението на хора с мозъчна травма или инсулт. „Показахме, че сигналите за управление на двигателя могат да бъдат декодирани (след инсулт), което означава, че някои от подходите за декодиране на Уилет могат да бъдат приложени към повече от просто хора с увреждане на гръбначния мозък“, казва той.

Но Серруя има и забелжки новото проучване – колебание, което той споделя с Уилет преди няколко години: той вярва, че макар фокусирането върху възстановяването на комуникацията чрез писмени писма да е интуитивно разбираем, той едва ли е най-ефективният начин за постигане на целта.

„Защо да не научим човек на нов език, базиран на по-прости елементарни жестове като стенографски акорди или език на жестовете?“ – пита Серруя. „Той може както да увеличи скоростта на комуникация, така и най-важното, да намали необходимите умствени усилия и внимание.“

Най-интересните факти за нашия мозък

Но засега Уилет е съсредоточен върху умственото дешифриране на по-познатите ни форми на комуникация – и иска да повтори експеримента с машинопис с други парализирани хора. Той обяснява, че докато превеждането на контрола на мозъка върху почерка е важна първа стъпка за възстановяване на нечия способност за комуникация, транскрибирането на реалната реч – чрез анализ на това, което някой ще каже – остава основно предизвикателство, пред което са изправени изследователите, като се има предвид, че ние генерираме реч много по-бързо . отколкото пишем или печатаме.

Според Уилет не е било никак лесно да се дешифрира речта с достатъчна точност и обем на речника, за да могат хората да водят общ разговор, тъй като съотношението сигнал / шум е много по-високо, и е трудно да се прехвърли на компютъра. „Но сега се радваме, че можем да дешифрираме почерка много точно. Всяка буква задейства напълно различни модели на невронна активност„, казва той.

Наричат го „Наполеон на неврозите“

Що се отнася до това кога технологията за декодиране на текст и реч може да стане публично достъпна, Уилет е предпазлив и оптимистичен едновременно.

„Трудно е да се предвиди кога нашият метод ще бъде приложен в реално устройство, което всеки може да си купи“, признава той. „Разбира се, надяваме се това да се случи скоро и вече има компании, които работят върху BCI имплантируеми устройства. Но никога не се знае кога някой ще може да го преведе. Надяваме се това да се случи през следващите години, а не десетилетия!“

––––––––––––––––––––––––––––

Източник: New Brain Implant Turns Visualized Letters into Text, ScientificAmerican

High-performance brain-to-text communication via handwriting, Francis R. Willett, Donald T. Avansino, Leigh R. Hochberg, Jaimie M. Henderson & Krishna V. Shenoy, Nature, Received: 2 July 2020, Accepted: 26 March 2021, Published online: 12 May 2021 https://doi.org/10.1038/s41586-021-03506-2