№11 ноябрь 2024

Портал функционирует при финансовой поддержке Министерства цифрового развития, связи и массовых коммуникаций.

Письмо из мозга

Мозг парализованных людей снабдили нейрокомпьютерной пишущей машинкой.

Парализованный человек, который не может двигать руками и которому к тому же трудно говорить, всё же способен написать, что он хочет — в этом ему могут помочь специальные устройства, которые подчиняются голосовым командам или движениям глаз. Принцип действия таких устройств понятен: они либо прислушиваются к звукам, которые человек всё же как-то произносит, либо отслеживают, на какую букву он посмотрел, и печатают именно эту букву. Но скорость печати будет в среднем лишь 47,5 символов в минуту — намного меньше средней скорости в 115 символов в минуту, с которой печатает обычный здоровый человек. Кроме того, есть парализованные, которые не могут двигать глазами и вообще внятно произносить хоть какие-то звуки.

(Иллюстрация: vectorfusionart / Depositphotos
Желая написать ту или иную букву, человек представляет, как он двигает рукой. На буквы это не очень похоже, но целая серия машинных алгоритмов помогает определить в этих линиях буквы и знаки препинания. (Иллюстрация: Frank Willett / Stanford University)

В то же время существуют так называемые нейрокомпьютерные интерфейсы. Это довольно сложные аппараты, работающие со сложными алгоритмами: электроды, вживлённые в мозг, считывают активность определённой группы нейронов, после чего нейронная информация переводится на машинный язык, и машина выполняет то действие, о котором человек подумал. Можно сказать, нейрокомпьютерные интерфейсы читают мысли: к примеру, если у человека вместо руки — протез, и он хочет им пошевелить, то машина считает это желание из нейронов и заставит протез пошевелиться.

То же самое можно было бы устроить и для печати текста. Но дело в том, что букв в алфавите много. Научить аппарат различать, когда мозг подумал про букву «а», а когда про букву «к», пока что нет никакой возможности. Приходится идти обходным путём: человек смотрит на алфавит и думает о том, что курсор на экране нужно передвинуть с одной буквы на другую, а нейрокомпьютерный интерфейс считывает мысли и превращает их в набранные буквы. До последнего времени это была самая совершенная «нейрокомпьютерная клавиатура», но её скорость была всего лишь 40 символов в минуту.

Устройство, которое описывают в Nature сотрудники Стэнфордского университета, решает проблему набора текста без помощи рук, но решает особым образом. Здесь нейрокомпьютерный интерфейс считывает из мозга письменные движения — человек представляет, как он пишет ту или иную букву или знак препинания, а машина интерпретирует письмо по активности нейронов. Но мы двигаем рукой не только для того, чтобы что-то написать. Для расшифровки нейронной активности исследователи использовали алгоритм, который раньше применялся для анализа речевых сигналов. Благодаря речевому алгоритму нейрокомпьютерная машина понимала, когда человек собирается произнести букву, и начинала декодировать двигательные импульсы как письменные. Человек писал в уме — машина печатала на экране.

Серии нейронных импульсов для каждой буквы были более или менее постоянными. Кроме того, исследователи использовали методы обучения машинных алгоритмов, чтобы машина могла довольно точно воспроизводить раз за разом одну и ту же букву, когда бы человек о ней ни подумал. Вдобавок нейрокомпьютерный интерфейс снабдили предсказательной функцией, чтобы он мог заранее угадать по контексту, что человек хочет написать-напечатать. Точность письма составила 99,1% — то есть в 99,1% случаев напечатанная буква была именно той, которую человек писал в уме. Скорость же печати составила 90 символов в минуту — вдвое больше, чем у предыдущих нейрокомпьютерных устройств.

Правда, у нейрокомпьютерного набора текста всё равно есть ряд минусов. Во-первых, это электроды, вживлённые в мозг. Они могут оставаться в мозге достаточно долго, но всё равно было бы лучше, если бы у нас было устройство, считывающее нейронные сигналы транскраниально, то есть с поверхности черепа. Пока что такие транскраниальные аппараты работают достаточно грубо, то есть они могут достаточно точно определить активность только большой группы нейронов, целого нейронного центра, и без особой детализации.

Во-вторых, многие буквы пишутся очень похоже, возьмём, к примеру, «ш» и «щ», у многих из нас на письме они вообще неразличимы. В-третьих, есть языки с очень сложным алфавитом и своеобразной письменностью — например, языки Индии. Научить машину различать в уме письменные движения в этих языках будет отдельной большой задачей. Но удивительное развитие нейротехнологий позволяет надеяться, что и такие проблемы тоже будут решены.

Автор: Кирилл Стасевич


Портал журнала «Наука и жизнь» использует файлы cookie и рекомендательные технологии. Продолжая пользоваться порталом, вы соглашаетесь с хранением и использованием порталом и партнёрскими сайтами файлов cookie и рекомендательных технологий на вашем устройстве. Подробнее