Парализованная женщина смогла заговорить с помощью цифрового аватара – впервые в истории

18 лет назад 47-летняя Энн из Калифорнии перенесла инсульт, оказалась парализована и лишилась способности говорить. Недавно она согласись на хирургическую имплантацию в кору головного мозга набора из 253 крошечных электродов, для обнаружения электрической активности в области мозга, ответственной за речь и движения лица. В отличие от широко используемых синтезаторов речи, новая технология поражает воображение – сигналы, полученные с помощью импланта, преобразуются в речь и выражение лица цифрового аватара, на котором можно увидеть улыбку, недовольство и удивление. Результаты исследования, опубликованного в журнале Nature, дают надежду многим людям, потерявшим способность говорить из-за таких заболеваний как инсульты и боковой амиотрофический склероз (БАС).

Ученые из Калифорнии разработали цифровой аватар и мозговой имплант, благодаря которому парализованная женщина снова может разговаривать

Зона Брока

Прежде чем прийти у обсуждению результатов нового исследования, напомним, что в человеческом мозге есть речевой центр – зона Брока. Свое название эта область получила в честь французского врача Поля Брока, который объявил об этой удивительной находке в 1861 году, обнаружив, что эта область играет жизненно важную роль в формировании членораздельной речи.

Зона Брока расположена в третьей лобной извилине, непосредственно перед лицевой областью моторной коры и соединена с другими областями мозга. Помимо того, что зона Брока играет важную роль в производстве речи, она также участвует в понимании языка, моторной деятельности, связанной с движениями рук, а также в сенсомоторном обучении.

Открытие Поля Брока навсегда изменило наше понимание мозга и его устройства. Изображение: ПостНаука

Так, повреждение лобной доли может привести как к расстройству речи, известному как афазия Брока (характеризуется обдуманной, телеграфной речью с очень простой грамматической структурой, хотя говорящий может совершенно четко представлять, что он или она хочет сказать, и может успешно общаться), так и к полной потере речи.

Больше по теме: Чем мозг человека отличается от мозга животных?

Цифровой аватар и мозговой имплант

До сегодняшнего дня, пациенты, потерявшие способность говорить, полагались на удручающе медленные синтезаторы речи, которые предполагают произнесение слов, отслеживая взгляд или небольшие движения лица – все это, к сожалению, делает невозможным естественный разговор.

Цель, которой задались авторы нового исследования, заключалась в том, чтобы восстановить полноценный способ общения для людей, не способных говорить из-за перенесенных заболеваний. Так, 47-летнюю Энн, парализовало после инсульта, из-за чего женщина не может говорить и общается с помощью технологии отслеживания движений – устройство помогает ей медленно подбирать буквы – со скоростью до 14 слов в минуту.

Технология «Аватар» позволяет Энн полноценно общаться

Это интересно: Компания Neuralink почти готова имплантировать чипы в мозги людей

В ходе работы ученые имплантировали на поверхность мозга Энн прямоугольник толщиной с бумагу из 253 электродов в зоне Брока (критически важной области для речи, как говорится выше). Принцип работы устройства заключается в перехвате сигналов мозга, которые, если бы не инсульт, контролировали бы мышцы ее языка, челюсти, гортани и лица.

Наша цель – восстановить естественный способ общения между людьми. Эти достижения приближают нас к реальному решению этой проблемы для пациентов, – говорит руководитель исследования профессор Эдвард Чанг, из Калифорнийского университета в Сан-Франциско (UCSF).

После имплантации Энн работала с командой над обучением языковой модели, подобной ChatGPT – системы искусственного интеллекта, способной распознавать уникальные сигналы ее мозга для различных звуков путем многократного повторения разных фраз. Компьютер выучил 39 фонем — составных частей слов – и смог расшифровывать мысли Энн преобразуя сигналы в текст со скоростью почти 80 слов в минуту.

Это – первый в истории случай, когда речь и выражения лица были зафиксированы на основе сигналов мозга и переданы аватаром — тем, который говорит собственным голосом пациента.

Как только система была обучена, мысли Энн были переведены в понятные устные предложения и транслировались на экран с помощью цифрового аватара (голос аватара был создан с помощью загруженной видеозаписи со свадьбы пациентки).

Еще больше интересных статей читайте на нашем канале в Яндекс.Дзен – там регулярно выходят статьи, которых нет на сайте!

Насколько успешна новая технология?

Исследователи отмечают, что несмотря на революционные результаты, их технология несовершенна и работает в тестовом режиме, который включает не более 500 фраз, а слова подлежат правильной расшифровке в 28% случаев. Для сравнения – в естественном разговоре человек произносит порядка 110-150 слов в минуту.

И все же достижения исследователей свидетельствуют о том, что новая технология в скором будущем будет широко использована на практике. Авторы работы считают, что беспроводные портативные устройства с использованием цифрового аватара будут исплантироваться в череп и появятся максимум через десять лет.

Общение с помощью цифрового аватара при помощи мысли – шаг в будущее

Предоставление пациентам возможности свободно управлять компьютерами и телефонами с помощью новейшей технологии может оказать огромное влияние на их независимость и общение с окружающими, – говорит доктор Дэвид Мозес, доцент кафедры неврологии Калифорнийского университета и соавтор исследования.

Компьютеризированное устройство, позволившее Энн впервые заговорить за почти два десятилетия заговорить получило название AAC (augmentative and alternative communication) и в будущем может быть использована парализованными пациентами для общения с помощью мышления.

Не пропустите: Эта женщина тестирует мозговой имплантат для восстановления зрения. Как продвигаются дела?

Интересно, что мере совершенствования технологии, передача мыслей через электроды, установленные на кожу головы, скорее всего станет возможна. На данный момент такие электроды можно использовать для подачи сигнала о выборе одной буквы из цепочки, но для идентификации каждой буквы требуется много времени и крупная техника. Не следует также забывать о том, что технология, которой воспользовалась Энн, работает с одним условием – имплантацией электродов в мозг.