С использованием только записей мозга от пациентов ученые восстанавливают песню Pink Floyd.

Ученые восстанавливают песню Pink Floyd из записей мозга пациентов.

Из звука, который грязный, но музыкальный, возникают знаменитые слова песни Pink Floyd:

«В итоге это был просто кирпич в стене».

Но эта конкретная запись не была сделана из альбома 1979 года «The Wall» или с концерта Pink Floyd.

Вместо этого исследователи создали ее из реконструированных мозговых волн людей, слушающих песню «Another Brick in the Wall, Part 1».

• Боль после инфаркта может предсказывать долгосрочное выживание
• Группа педиатров настаивает на том, чтобы все младенцы получили нов...
• Раскрытие скрытого сознания в коматозных мозгах

Это первый раз, когда исследователи воссоздали узнаваемую песню только на основе записей мозга, по данным нового отчета, опубликованного 15 августа в журнале PLOS Biology.

В конечном итоге исследовательская группа надеется, что их результаты приведут к более естественной речи с использованием интерфейсов мозг-машин, которые помогают общаться с людьми, которые находятся в состоянии паралича и не могут говорить.

«Прямо сейчас, когда мы просто говорим слова, это роботизированный звук», – сказал старший исследователь доктор Роберт Найт, профессор психологии и нейронауки Университета Калифорнии в Беркли.

Рассмотрим компьютерную речь, связанную с одним из самых известных пациентов с параличом, Стивеном Хокингом.

Речь человека состоит из слов, но у нее также есть музыкальность, сказал Найт, люди добавляют разные значения и эмоции на основе музыкальных концепций, таких как интонация и ритм.

«Музыка универсальна. Она, вероятно, существовала в культурах до появления языка», – сказал Найт. «Мы хотели бы объединить этот музыкальный сигнал сигналом извлечения слов, чтобы создать более человеческий интерфейс».

Электроды, имплантированные в мозг пациентов, фиксировали электрическую активность участков мозга, известных своей способностью обрабатывать атрибуты музыки – тональность, ритм, гармонию и слова – в то время как исследователи проигрывали трехминутный отрывок из песни.

Эти записи были собраны у 29 пациентов в 2012 и 2013 годах. Все пациенты страдали от эпилепсии, и хирурги имплантировали электроды, чтобы определить точное участие мозга, вызывающее их судороги, по словам Найта.

«Когда они находятся в больнице и ждут три судороги [чтобы определить место судорог], мы можем проводить такие эксперименты, если пациенты соглашаются», – пояснил Найт.

Начиная с 2017 года, исследователи начали подавать записанные мозговые волны в компьютер, программированный для анализа данных.

В конечном итоге алгоритм стал достаточно умным, чтобы декодировать активность мозга в воспроизведение песни Pink Floyd, которую пациенты слышали несколько лет назад.

«Это исследование является шагом вперед в понимании нейроанатомии восприятия музыки», – сказал доктор Александр Пантелят, невролог-двигательных расстройств, скрипач и директор Центра музыки и медицины Джонс-Хопкинса. Пантелят не принимал участия в исследовании.

«Точность обнаружения звука должна быть улучшена в будущем, и неясно, будут ли эти результаты непосредственно применимы для декодирования просодических элементов речи – тон, интонация, настроение», – сказал Пантелят.

«Однако эти первые результаты дают надежду на улучшение качества обнаружения сигнала для мозг-компьютерных интерфейсов путем нацеливания на верхнюю височную борозду», – добавил Пантелят. «Это дает надежду пациентам, у которых есть проблемы с общением из-за различных неврологических заболеваний, таких как боковой амиотрофический склероз или травматическая травма головы».

Фактически, результаты показали, что аудиторные области мозга могут оказаться более подходящей целью для воспроизведения речи, сказал ведущий исследователь Людовик Беллье, постдокторант Гельмс-Уиллсского института нейронауки в Беркли.

Многие ранние попытки воспроизвести речь на основе мозговых волн сосредоточены на моторной коре, части мозга, генерирующей движения рта и голосовых связок, используемые для создания акустики речи, сказал Беллье.

«Прямо сейчас технология больше похожа на клавиатуру для разума», – сказал Беллье в пресс-релизе. «Вы не можете читать свои мысли с клавиатуры. Вам нужно нажимать кнопки. И это звучит как робот; конечно, есть меньше того, что я называю выразительной свободой».

Сам Беллье был музыкантом с детства, в один момент даже выступал в хэви-метал группе.

Используя записи мозга, сам Беллье и его коллеги также смогли определить новые области мозга, участвующие в обнаружении ритма. Кроме того, разные области слухового региона реагировали на разные звуки, такие как звуки синтезатора по сравнению с продолжительным вокалом.

Исследователи подтвердили, что правая сторона мозга более чувствительна к музыке, чем левая сторона, – сказал Найт.

На данный момент технологии недостаточно развиты, чтобы люди могли воспроизводить эту качественную речь, используя ЭЭГ-считывания с кожи головы, – сказал Найт. Для этого требуются имплантаты электродов, то есть инвазивная хирургия.

СЛАЙДШОУ

«Сигнал, который мы записываем, называется высокочастотной активностью, и он очень устойчивый в коре, около 10 микровольт», – сказал Найт. «Но при достижении кожи головы он уменьшается в 10 раз, что означает один микровольт, что находится на уровне шума активности мышц кожи головы».

Кроме того, для действительно качественного воспроизведения речи требуются лучшие электроды, добавил Найт. Он отметил, что используемые электроды разнесены на расстояние 5 миллиметров, и гораздо лучший сигнал можно получить, если они будут разнесены на расстояние 1,5 миллиметра.

«Нам действительно нужны сетки с более высокой плотностью, потому что для любого метода машинного обучения это количество данных, которое вы вводите за определенное время», – сказал Найт. «Мы ограничены 64 точками данных в течение 3 минут. Если у нас было бы 6000 за 6 минут, качество песни, я думаю, было бы невероятным».

Найт сказал, что его команда только что получила грант для исследования пациентов с афазией Брока, типом нарушения функции речи.

«У этих пациентов нет возможности говорить, но они могут петь», – сказал Найт. То, что было выяснено в этом исследовании, может помочь команде лучше понять, почему люди с такими травмами могут петь, но не могут сказать.

Дополнительная информация

О клинике Кливленд больше информации о синдроме заключенного.

ИСТОЧНИКИ: Роберт Найт, доктор медицинских наук, профессор психиатрии и нейронауки, Университет Калифорнии, Беркли; Александр Пантеляят, доктор медицины, невролог-двигательный специалист по расстройствам, скрипач и директор Центра музыки и медицины Джонса Хопкинса, Балтимор; Людовик Беллье, доктор философии, постдокторант, Институт нейронаук Хелена Виллс, Университет Калифорнии, Беркли; PLOS Biology, 15 августа 2023 года