«В мозгу всё сложно и нелинейно»
О том, как с помощью современных нейротехнологий можно расширить когнитивные возможности человека, а также вернуть утраченные функции людям с нейродегенеративными заболеваниями, рассказывает доктор физико-математических наук Алексей Осадчий, директор центра биоэлектрических интерфейсов НИУ ВШЭ, ведущий научный сотрудник Института искусственного интеллекта AIRI.
— Алексей, как появился Центр биоэлектрических интерфейсов?
— Наш Центр был создан на основе моей группы методов нейровизуализации в НИУ ВШЭ в 2018 году как следствие победы в конкурсе мегагрантов вместе с Михаилом Альбертовичем Лебедевым. Далее мы с ребятами и замечательными клиническими партнёрами из МГМСУ имени А.И. Евдокимова, Михаилом Синкиным и при поддержке Владимира Крылова реализовывали флагманский проект по созданию инвазивного двунаправленного интерфейса «Мозг-компьютер». Глобальная идея заключается в том, чтобы восстановить двигательную активность пациентов, у которых по той или иной причине нарушена передача нервных импульсов в спинном мозге. Сделать так, чтобы они могли управлять протезами рук, роботами, которые их обслуживают, а для этого им необходимо обеспечить непосредственный контакт с мозгом, чтобы человек, представляя, например, движения рукой, управлял бы роботизированным устройством. Но этого мало – нужно ещё эту роботизированную руку «очувствить», сделать так, чтобы человек чувствовал, когда искусственная рука к чему-то прикасается. Это существенно повысит чувство агентности, то есть человек, управляя этой рукой, будет более отчетливо осознавать, что она его часть.
— Вы продолжаете развивать это направление?
— Да. Также мы развиваем технологию нейрообратной связи, по-другому её называют нейробиоуправлением или нейрофидбэком. Сам по себе метод был давно придуман, в 60-х годах прошлого века. Джо Камео показал, как человек может научиться управлять активностью собственного мозга произвольно. Вы можете зарегистрировать активность мозга человека. Например, альфа-ритм, который возникает в затылочной части коры. Когда вы закрываете глаза, у вас возникает этот ритм. А что, если глаза не закрывать? Можете ли вы мощность этого ритма увеличить по собственному желанию? Оказалось, что этому можно научиться. Такая тренировка используется для пациентов с СДВГ, эпилепсией, а также для людей, которые хотят научиться лучше управлять своим организмом – расслабляться или наоборот концентрироваться.
Но есть одна сложность – метод работает не у всех. Примерно 40% людей оказываются невосприимчивы к такому обучению, не могут научиться. Мы показали, что эффективность этой тренировки зависит от того, насколько быстро человеку предъявляется обратная связь. Сокращая задержку между моментом времени, когда произошло желаемое изменение активности мозга и моментом, когда человек получает информацию об этом, мы смогли существенно повысить процент успешных пользователей. При этом занятно, что при задержке в 750 миллисекунд эффект от тренировки был сравним с плацебо. Мы назвали нашу технологию мгновенной нейрообратной связью, или iNeurofeedback.
— Как это работает?
— Для человека это выглядит так: он просто сидит перед монитором и играет, только у него на голове надета ЭЭГ шапочка и он пытается управлять игрой «силой мысли». Если точнее – изображение на экране или звук в колонках изменяется в соответствии с активностью мозга человека. Тут важно, насколько быстро изображение на экране реагирует на изменение активности мозга. Если слишком медленно, научиться будет сложно. Чтобы понять, почему это так важно, можно представить, что вы воспитываете собаку, но даёте ей награду не сразу после выполнения команды, а через 20 минут. В таком случае ей будет очень сложно связать свое поведение и награду. Так же и с тренировкой нашего мозга: ему нужно понять, когда он всё делает «правильно». Только состояние мозга меняется очень быстро, на совершенно другой временной шкале, чем в примере с собакой, – тут речь идёт о сотнях миллисекунд. Мы первые в мире поняли важность своевременной обратной связи и затем научились это делать – общаться с мозгом на той временной шкале, где он может эффективно воспринимать информацию и использовать её для перестройки характера собственной работы. Сейчас у нас есть своя компания «Брейнстарт», резидент Сколково, где мы развиваем эту технологию.
— Знаю, у вас также есть работы, демонстрирующие взаимосвязь тела и мозга.
— Это отдельное направление исследований, которое курирует моя коллега Мария Володина, кандидат биологических наук. В основе — вопрос о том, как наше телесное восприятие влияет на работу мозга и психику, можем ли мы с помощью специальных тренингов научиться управлять тем, как воспринимаем сигналы тела, и начать их регулировать. На эту тему у нас вышло несколько статей (PlOS One, Scientific Reports), где мы изучали физиологические эффекты медитации осознанности — то, как у человека в процессе практики меняется активность мозга, ритм сердца и другие объективные показатели. Мы отдельно изучали, как это работает у людей, давно занимающихся медитацией, и у тех, кто только начинал обучение. Ведь существует много данных о пользе медитации, но с другой стороны — есть информация и о негативных эффектах. Поэтому мы задаёмся вопросом: можем ли мы с помощью наших методов объективно оценить, правильно ли человек практикует? Какой эффект человек получит от медитации? Можно ли помочь ему научиться быстрее и «правильнее» это делать?
— Но медитация – понятие очень широкое.
— Безусловно, поэтому сейчас мы в каком-то смысле разбираем её на составные части, изучаем эти части более прицельно. Например, как мы воспринимаем тактильные ощущения, как слышим внутренние интероцептивные сигналы, и можно ли научиться распознавать их лучше. И конечно, главный вопрос: как это умение повлияет на эмоциональное состояние человека, его самовосприятие и эмпатию?
— Почему всё это важно изучать?
— Потому что эти навыки влияют на то, как мозг воспринимает внешний мир. Например, показано, что люди после тренировок для улучшения интероцепции (ощущения внутренних состояний своего тела) по-другому воспринимают картинки, связанные с насилием. На уровне мозга они реагируют на них не так остро. Это отдельная тема для дискуссии – хорошо это или плохо. С одной стороны, казалось бы, способность к сопереживанию – это залог успешного социального взаимодействия. С другой стороны, слишком выраженный эмпатический отклик, когда мы переживаем чужую боль как свою, может привести к эмоциональному выгоранию и неспособности принимать рациональные решения. Получается, что с помощью тренингов, влияющих на связь мозга и тела, мы можем влиять не только на то, как человек себя чувствует, на его восприятие самого себя, но и на социально значимые решения.
— Правильно ли я понимаю, что это снижает чувствительность к стрессу, повышает к нему устойчивость?
— Да. Это актуально, например, для людей с посттравматическим тревожным расстройством. Конечно, есть и другие возможности снимать стресс. Кто-то читает книжки, кто-то занимается йогой, проходит психологические тренинги. Наши исследования подчеркивают свойство целостности нашего организма. Не голова отдельно, ноги-руки – отдельно. Еще святитель Лука говорил, что человек думает сердцем, и был очень недалёк от истины. Сейчас появляются довольно интересные результаты, которые показывают, что наше сердцебиение, например, влияет на возбудимость коры головного мозга.
— Вы изучаете мозг и говорите, что мы думаем сердцем? Это как?
— Если точнее, оно создает контекст. Есть такой известный нейроученый Антонио Дамасио в университете USC, где я учился, он сейчас руководит там большим центром. Так вот, Антонио вместе с супругой исследует понимание того, как мы воспринимаем эмоции. В соответствии с теорией Дамасио, в ответ на какие-то внешние или внутренние события в организме сразу запускается физиологическая реакция, например, учащается сердцебиение, и только затем мозг, воспринимая эти физиологические сдвиги, на их основе формирует субъективное ощущение эмоции. То есть мы не просто «думаем» о страхе — мы сначала физически реагируем на угрозу, а потом мозг с учётом остального контекста интерпретирует эти реакции как страх.
— Из того, что вы сейчас говорите, получается, что создать ИИ невозможно, ведь у него нет сердца.
— Вообще не согласен! Очень даже возможно. Тело и мозг, развитый, чтобы это тело защищать, это лишь один из путей, один из вариантов реализации более фундаментальных принципов. Современный ИИ, методы машинного обучения, языковые модели, которыми все мы пользуемся, это что такое? Существующий ИИ – это игра с плотностью распределения вероятности. Вот живая клетка. Она живёт в определённых условиях. Если вы сильно повысите температуру, белки свернутся, и она умрёт. Если вы увеличите кислотность, добавите больше перекиси водорода, она тоже умрёт. Но, тем не менее, есть довольно большой диапазон параметров внешней среды, при которых эта клетка сохраняет жизнеспособность, и все процессы фантастической сложности в ней происходят штатно. Мы говорим не об одной точке, а о некоей области значений параметров, а их тоже очень много – температура, давление, химическая среда – они определяют и обеспечивают жизнеспособность клетки. Когда параметры попадают в эту зону, клетка живёт, делится, информация передаётся от клетки к клетке, организм не умирает. Тут важно понимать, что все эти химические уравнения, процессы – это суть вероятностные процессы.
Теперь перенесёмся в мир искусственных моделей. Возьмите, например, очень простую языковую модель, которая научена продолжать фразу с заданного слова. Вы даёте слово, а она научилась на его основе генерировать целый текст. Но как она этому научилась? Она сначала обучается делать совсем бессмысленную последовательность букв, но средней длины слов в языке, ставить пробелы между словами. Дальше она обучается перед словами типа «что», «кто», «а» ставить запятую. Постепенно она начинает генерировать слова русского языка. Так у вас появляется некоторый вероятностный инструмент, который вам генерирует слова русского языка и почти не ошибается. Дальше вы её учите чему-то более высокоуровневому, на каких-то смыслах, и она вам генерирует тексты на условно заданную тему. Понятно, что нейросеть – это огромное количество математических нейронов, они между собой взаимодействуют. По сути это просто способ формирования плотности распределения вероятности. И получается, что эта модель, которая реализует игру плотности распределения вероятностей, приобретает, если хотите, интеллект. В нашем мозге и теле это реализовано одним образом. В искусственных нейронных сетях – другим. В нейронных сетях, надо сказать, реализовано очень неэффективно, потому обучение моделей и поддержание всей ИИ инфраструктуры требует огромного количества электроэнергии.
— Но ситуация же будет меняться, они будут становиться всё эффективнее.
— Да, но вопрос в другом. Я думаю, что сейчас идёт активный поиск субстрата, на котором реализовывают эту игру вероятности. Например, так называемые спайковые сети. Это один из вариантов, не слишком эффективный, но зато нейроморфный, более похожий на то, как это происходит в живом организме. По сути, они реализуют те же плотности вероятностей. Также идёт речь о квантовых компьютерах, где в качестве единицы информации используются кубиты. Это нечто, находящееся в нескольких состояниях, и это состояние реализуется после процесса считывания. Или оптические методы реализации нейронных сетей, где довольно эффективно можно параллельно запускать много процессов. Всё это только вопрос оптимизации. Но обычный искусственный интеллект уже создан, он работает.
— Несёт ли этот искусственный интеллект какие-то опасности?
— О «бунте машин» много пишут. Мне тут видится другая опасность. Среди разработчиков этого ИИ язык и стиль коммуникации меняются. Ребята, которые обучают нейронные сети, довольно много программируют. Когда ты их просишь написать, как работает та или иная нейросеть, они вам формулу не напишут. Найти человека, который напишет формулу, иллюстрирующую, как работает его нейросеть, очень сложно. Подавляющее большинство предложат прислать код.
— Это нормальная тенденция? Вас это не пугает?
— Безусловно, пугает. В большом количестве статей, которые я рецензирую, описывается комбинирование существующих решений, нагромождение кода без глубокого понимания сути обработки, которую делает полученная структура. Важно, чтобы она была достаточно сложной и побила все остальные существующие решения. Радует, что всё же есть небольшая когорта специалистов, кто занимается непосредственно математикой машинного обучения. Они придумывают, как организовать процесс обучения нейросети, какую функцию потерь реализовать, как оптимизировать сложную сеть, заменить её на более легковесную и менее энергозатратную. Все эти вещи очень важны, именно результаты такой работы и формируют суверенитет технологически развитых государств. Создавать нейросетевые решения, скопировав блок из гит-репозитория, добавив в него блок из другого, много ума не надо. Те же нейросети это уже активно делают, пишут себя сами. Здесь особо творческой компоненты уже нет, поэтому непонятно, зачем человеку этим заниматься.
— Получается, незачем?
— Получается, что в ряде случаев так. Почему меня это беспокоит? Кажется, с теми инструментами, которые у нас сейчас есть, наш прогресс должен сильно ускориться, мы должны гораздо больше выдавать «на-гора». Но когда ты занимаешься наукой, часть этого занятия – это осознание того, что ты сделал. Это попытка понять, что ты придумал нового и для чего. Необходимо время, чтобы это осознать, а с таким ускорением непонятно, как учить студентов, чтобы они тренировали свои мозги учёбой, а не генерацией промптов для LLM.
— Что же делать, дабы избежать подобных последствий?
— Не знаю… Я знаю, что делают мои коллеги. Например, Екатерина Скорб из ИТМО, начальник мегафакультета «Науки о жизни», инфо-химик, говорит, что у неё теперь студенты сдают экзамены, но засчитывается только абсолютная «5», всё остальное – мимо. Это хорошая защита. Пользуйся, чем хочешь, но сдал ты только тогда, когда у тебя абсолютная «пятёрка». Это к вопросу о «выдавании на-гора», и это вполне в рамках такой философии.
— Одна из задач, указанная на вашем сайте, это расширение когнитивных возможностей человека. Правильно ли я понимаю, что вы делаете это с помощью нейросетей?
— Не только. Часто мы делаем это с помощью стандартных, классических разработанных методов обработки сигналов, которые следят за активностью мозга и предъявляют человеку задачи в нужные моменты времени. Например, у нашего сенсомоторного ритма есть две компоненты: низкочастотная и высокочастотная, альфа и бета. Ритмы возникают всплесками. Мы показали, что если во время всплеска бета-ритма человеку давать задание нажать на кнопку, то он выполнит его с большей задержкой, чем если это задание дать, когда всплеска нет. Мы транслируем это на киберспортсменов, которые научатся тренировать свой бета-ритм, будут его держать под контролем, и спортсмены смогут в среднем быстрее реагировать. Предположим, они научены держать бета-активность под контролем и могут понизить е перед стартом, значит, в среднем они смогут начать бег на 50 миллисекунд раньше, сразу после выстрела стартового пистолета.
И ещё важно помнить о тех людях, которые утратили какие-либо возможности – например, люди с ампутированными конечностями. Недавно мы разработали систему, которая анализирует активность мышц человека и управляет аватаром кисти руки, которой уже нет, но в виртуальной среде она «вырастает». Мы это опробовали на пациентах. Они погружались в среду, где у них вырастает рука, научились ею управлять. Вот тут уже работает нейросетевой алгоритм. В итоге мы синтезируем индивидуальную систему управления. Сейчас мы сотрудничаем с Центром мозга и нейротехнологий ФМБА, где реализуется большой проект. Задумка такая: алгоритм управления, который построен в виртуальной среде, мы планируем переносить на физический протез. И тогда «порог вхождения» в использование протеза у пациентов будет меньше.
— Почему именно кисть, а не нога, например?
— Тут интересный факт: пациенты с ампутацией нижних конечностей довольно быстро получают протез, буквально в течение недели, а дальше учатся ходить в ходе реабилитации. А люди с ампутацией верхних конечностей ждут протеза достаточно долго, до трёх месяцев. Естественно, у них негативные эмоции, мышцы атрофируются, что не позволит эффективно управлять протезом. Наша система даёт им возможность влиять на ситуацию. Им очень нравится, они с удовольствием всё это делают. Это не расширение возможностей, это восстановление утраченных. Врачи в свою очередь смогут оценить потенциал по управлению протезом, подобрать его тип, понять, верно ли сформирована культя, и если нет, провести дополнительные манипуляции.
— Знаю, что вы работаете с аспирантами. Какова их роль в ваших исследованиях?
— У нас в Центре биоэлектрических интерфейсов за пять лет защитили кандидатские диссертации семеро ребят, прямо сейчас ещё готовятся к защите двое. Работа с аспирантами мобилизует, заставляет доводить начатое до конца и вообще помогает получить очень интересные результаты. Хочу остановиться на работе аспирантки Дарии Клеевой, которую материально поддерживает научный центр «Идея». За пару лет до этого я стал научным руководителем Дарии, когда она поступила к нам в Вышку на магистерскую программу в Институт когнитивных нейронаук, и мы с ней уже шесть лет вместе работаем. Диссертация, которую она защитила в этом году, и наши дальнейшие совместные исследования посвящены разработке методов поиска функциональных взаимосвязей в коре головного мозга при помощи методов нейровизуализация, таких, как магнитоэнцефалография. Модное для этого слово – «функциональный коннектом».
— А что это за метод магнитоэнцефалографии?
— Это метод, который позволяет нам «видеть» электрическую активность мозга неинвазивно за счёт измерения сверхслабых магнитных полей, порождаемых активными нейронными популяциями. Метод бесконтактный, при этом очень точный, позволяющий обнаружить «работающие” зоны коры головного мозга с точностью до нескольких миллиметров и увидеть их электрические сигналы с очень высоким временным разрешением. Буквально в масштабе десяти миллисекунд можно наблюдать, как меняется активность какой-то нейронной популяции. Это завораживает. Аппаратную часть этой технологии мы развиваем в сотрудничестве с Физико-техническим институтом имени А.Ф. Иоффе РАН и компанией LIFT.
— В чём суть этой работы?
— В работе Дарии речь идёт вот о чём. Вы регистрируете активность мозга при помощи тоё же магнитоэнцефалографии, и если человек выполняет какие-то задания, то соответствующие популяции нейронов начинают «общаться» с другими популяциями, обмениваются информацией – так реализуется определённая функция. Тут предпринимается попытка исследовать функциональные сети головного мозга при помощи неинвазивных данных, которые измеряют активность всего мозга. Можно посмотреть, как зрительная кора связывается с моторной корой или как лобная кора, фронтальная кора связывается со зрительной. Здесь мы разрабатываем довольно сложные математические методы на основе моей первой работы, сделанной ещё в 2018 году. Потом мы с Дарией вместе сделали ещё две работы (Neuroimage 2023, Neuroimage 2025), все они опубликованы в Neuroimage – это ведущий международный журнал, посвящённый методикам нейрокартирования.
— Какие принципиально новые возможности открывают эти методы?
— Тут важно вот что. Обычно говорят о синхронизации между какими-то ритмическими процессами. Есть такое мнение, что, если нет ритмов, то нет и синхронизации. Действительно, чему же тогда синхронизироваться? На самом деле всё не совсем так. Когда какая-то популяция нейронов не работает, находится в состоянии покоя, не выполняет свою функциональную роль, в ней как раз и возникает ритмическая активность. Вы можете сколько угодно анализировать сети, сформированные такими участками коры во время простоя, но это не даст вам информации о взаимосвязях, которые реализуются для определённой функции. Не будет коммуникации, которая реализуется между активными участками коры. И мы с Дарией научились, как на самом деле визуализировать такие сети, возникающие у человека, когда он начинает какое-то действие, в то время как на самом деле ритмическая активность соответствующих популяций нейронов действительно исчезает. Сам факт соединения участков коры мы видим при помощи наших новых подходов. По этому последнему исследованию мы как раз готовим ещё одну публикацию.
—Дария теперь ваша полноценная коллега?
— Да, Даша постепенно выросла в методическом плане, вышла на синтез новых решений, а не просто реализацию идей научного руководителя, и это очень хорошо! Далеко не все аспиранты достигают такого уровня, это, помимо врождённых способностей, требует очень интенсивной работы, привычки не жалеть себя и, конечно же, неподдельного интереса к делу. Это и есть слагаемые еёуспеха.
Мозг – это сетевая система, у него функция реализуется за счёт сетевых взаимодействий, за счёт связей между разными его зонами. Есть гипотеза локализационизма, которая говорит о том, что разные высокоуровневые функции реализованы в разных частях коры головного мозга. При письме – одна, когда ты слышишь – другая. И есть полярная гипотеза о том, что всё распределено. Понятно, что правда где-то посередине. Соответственно, каждая популяция отвечает за какую-то базовую функцию, но они настолько базовые, что из них, как из кирпичиков, должно складываться наше поведение. Чтобы оно складывалось, должны реализовываться эти взаимосвязи между различными участками мозга. Вот эти взаимосвязи мы с Дашей и учимся обнаруживать и анализировать.
— Иначе говоря, наш интеллект «разлит» по мозгу?
— Да. В соответствии с современными представлениями так и есть. Есть такая интересная гипотеза «Воплощённый язык» – «Embodied language». Когда вы слышите слово «бежать», у вас активируется не только первичная слуховая кора и всё, что связано с анализом речи, а ещё сенсомоторная кора. Такая совместная активация этих подсистем после многократных повторений приводит к возникновению ассоциативной связи между этими участками мозга. Теперь, когда вам говорят: «Беги!», акустический сигнал возбуждает нейроны первичной слуховой коры, что в свою очередь за счёт сложных нейронных связей приводит к активации нейронов моторной коры. А это, в свою очередь, создаёт контекст, в котором вы функционируете и воспринимаете сказанное. Известно также, что многие болезни, например, болезнь Альцгеймера, связаны с разрушением сетей мозга. Поэтому прогнозирование и оценка степени эффективности этой коммуникации является важной задачей. При помощи расчёта силы связей в сетях мозга мы сможем формировать биомаркеры для прогнозирования развития ряда неврологических расстройств.
— Вы себя считаете больше научным менеджером или учёным?
— Очень стараюсь оставаться учёным, хотя иногда это бывает сложно на фоне огромного количества проектов и на фоне всей этой коммерциализации, когда ты должен не только науку делать, но и создавать технологии, которые потом будут превращаться в промышленные образцы. Но что касается полезности нашей работы, тут у нас есть успехи. Мы с Дарией довольно регулярно, раз в неделю, работаем с пациентами с эпилепсией, у которых регистрируем магнитоэнцефалограмму и локализуем зоны интериктальной активности – ищем зоны, которые ответственны за наступление судороги. Эти пациенты являются кандидатами на нейрохирургическое вмешательство по удалению таких зон. Работа делается на основе моих старых исследований, у меня диссертация этому посвящена.
Но мы с Дарией развили те идеи. Самое главное – мы наладили довольно плотное взаимодействие с врачами из Склифа, из МГМСУ, из Центра мозга и нейротехнологий ФМБА, из Российского Центра неврологии и нейронаук. Они нам направляют своих пациентов, мы их картируем и даём врачам «третье мнение» при помощи наших алгоритмов. А на базе Центра мозга и нейротехнологий ФМБА мы развиваем методику мультимодального картирования эпилепсии – это попытка свести воедино, на одной условной «картинке» информацию о том, что говорят разные методы диагностики. Например, магнитоэнцефалография, высокоплотная электроэнцефалографии, функциональная МРТ, структурная МРТ и позитронно-эмиссионная томография.
— Используете ли вы в этой работе искусственный интеллект?
— Да, мы вовсю пользуемся ИИ, у нас, по сути, есть несколько агентов, и каждый агент работает со своей модальностью нейрокартирования. Каждый агент имеет право на ошибку, мы знаем статистику его ошибок, знаем, когда он хорошо работает, когда ошибается. Сведение результатов работы этих агентов – это вероятностная задача, где мы должны сформировать плотность вероятности. Сказать, что вот здесь больше, а здесь меньше вероятность вероятность существования патологии у пациента. А ещё у нас много работ по применению методов интерпретируемого ИИ для нейроимиджинга, для науки. Эти методы мы развиваем в тесном сотрудничестве с Институтом AIRI. Наша задача – понять, как работает мозг. Идея заключается в том, что традиционный метод – это проведение довольно сложного когнитивного эксперимента: вы показываете картинки и пытаетесь выровнять условия, в которых эти картинки человек видит, чтобы понять, какая сеть мозга у него активируется в ответ на грустные сюжеты, каков там общий механизм. Обычно мы учитываем несколько факторов, которые могут влиять на активность мозга, а потом анализируем результаты при помощи довольно простых методов, например Analysis of variance (дисперсионный анализ) с очень простой аддитивной моделью, в которой факторы просто складываются. Однако обработка данных мозгом нелинейна.
— Как же можно понят нелинейный процесс с помощью линейных алгоритмов?
— Есть альтернативный подход. Так как в мозгу всё нелинейно, всё сложно, то кажется очень наивным аппроксимировать эти сложные нелинейные процессы такой простой линейной моделью. При этом важно помнить, что сами измерения электрических и магнитных полей линейно связаны с электрической активностью популяций нейронов. Поэтому кажется более перспективным метод, в котором мы бы научили специальным образом построенную нейронную сеть по измеренным данным активности мозга предсказывать какие-то поведенческие параметры – например, что человек слышит, что делает его рука, какие эмоции он переживает, а потом проанализировали весовые коэффициенты нейронной сети и поняли бы, что для неё оказалось важным для решения этой задачи.
Тут важно, чтоб задача была достаточно сложной. Это большой проект, который мы сейчас делаем. У нас есть метод, который называется «LISA» – Linear Interpretable Slim and Aware. Наша модель состоит из двух частей, линейной и нелинейной. Первая часть моделирует процесс регистрации активности мозга, она линейная, и связана с физикой процесса измерения электрических токов, порождаемых популяциями нейронов. Второй блок учится аппроксимировать сложную нелинейную обработку, реализуемую мозгом. Линейная часть должна научиться «прицепляться» к нужным источникам, а нелинейная часть – правильно интерпретировать активность этих источников, чтобы решать текущую задачу классификации.
— Что у вас получается?
— Например, мы применяем это к МЭГ-данным, когда человеку начитывали много текстов, и дальше по трёхсекундным фрагментам МЭГ мы должны понять, что человек слышит. У нас есть тысяча сегментов, на которых мы тестируем, какой из них он слышал, но нейронная сеть при обучении их не видела. Обучение и последующий анализ линейной части нашей нейронной сети выявляет всю цепочку кортикальных зон, ответственных за восприятие речи. Это очень хорошо соотносится с исследованиями механизмов восприятия речи, которые были получены ранее. Часто эти знания добываются за счёт анализа пациентов с повреждениями участков коры, которые приводят к «выпаданию» соответствующей функции. Такой подход машинного обучения даёт возможность открывать новое за счёт анализа неинвазивно собранных данных об активности мозга.
— Слышала, что вы сделали первый в России речевой интерфейс. Это правда?
— Да, ещё в 2021 году, и он до сих пор остаётся единственным. Мы записывали активность мозга пациентов с эпилепсией, уже инвазивно, со стерео-ЭЭГ электродами, которые внедряются в мозг для обнаружения участка, в котором начинается эпилептический приступ. Пациент произносит слова, а мы записываем ЭЭГ и пытаемся из данных активности мозга, записанных в интервал времени, когда он только готовится произнести слово, декодировать, что он произнесёт. Мне очень нравится эта наша работа, которую в 2022 году мы опубликовали в Journal of neural engineering.
Следующий наш шаг – реализовать такой интерфейс в реальном времени, используя высокоплотные электроды. В идеале они не должны разрушать кору, как это случается с Utah arrays, которые для решения аналогичной задачи использовали наши американские коллеги из Университета Калифорнии в Дэвисе. Они сделали интерфейс и опубликовали статью, в которой описали, как им удалось у реального пациента с боковым амиотрофическим склерозом восстановить речь. Машина за него говорит в реальном времени. Связки у него уже не работают штатно, но в мозгу паттерны сохранились, их нейросеть распознаёт в реальном времени, они озвучиваются, и человек использует эту обратную связь, чтобы формировать дальнейшую речь. Вот это космос! Но мы не так далеко от них: вся технология обработки данных у нас своя, аппаратная часть тоже почти готова, дело лишь за неразрушающим и высокоплотным контактом с нервной тканью.
— Всё будет, как у Стивена Хокинга?
— Нет. Под конец жизни, когда у него активной осталась только щечная мышца, Стивен управлял синтезатором речи при помощи неё. Ему на очки был установлен инфракрасный датчик, направленный на его правую щеку. Датчик считывал любое движение щеки, останавливая бегущий по матрице с буквами курсор. Так он выбирал буквы. Но Стивен не использовал нейроинтерфейс. Помогли бы наши технологии Хокингу или нет? Важно сказать, что в описанном выше случае пациент предпринимает активные попытки говорить, то есть у него активно гораздо большее число мышц, чем было у Хокинга. Открытым остаётся и вопрос, сколько информации речевой нейроинтерфейс, сделанный в Университете Калифорнии, берёт из мышечной активности, а сколько из мозга. Мы, кстати, в своём решении это тщательно проверяли и удостоверились, что наш декодер работает исключительно с активностью головного мозга пациента. Для академической работы это очень важно, однако для практического решения, которое вернёт человеку возможность общения, любые источники информации хороши.
