Новый прорыв в области нейропротезирования (в Nature его даже не поскупились назвать «Святым Граалем речевых нейроинтерфейсов», но подождем): устройство, созданное в Калифорнийском университете в Дэвисе, практически мгновенно переводит нейронную активность в слова, возвращая парализованным пациентам обычную речь – спонтанную, непрерывную, с интонациями, - они могут даже петь. Прогресс в этой области идет очень быстро, но до сих пор самые совершенные модели воспроизводили речь только после того, как пользователи заканчивали произносить в уме целое предложение, - да и то с трехсекундной задержкой. А чтобы нормально говорить, принципиально важно получать обратную связь в реальном времени, сразу же слышать свой голос.

Разработанное устройство – один из тех нейроинтерфейсов нового поколения, которые используют искусственный интеллект для декодирования электрической активности мозга. И первый, способный воспроизводить не только слова, но и помогающие выразить смысл и эмоции особенности естественной речи, такие как интонация, высота тона и ударение. Все предыдущие нейроинтерфейсы говорили ровным и монотонным «голосом робота».

Участнику эксперимента, практически потерявшему речь из-за болезни управляющих мышцами нейронов, вживили имплант из 256 кремниевых электродов, каждый длиной 1,5 мм, в область коры, контролирующую движения (на рисунке). Алгоритмы глубокого обучения обрабатывают сигналы, поступающие от моторной коры каждые 10 миллисекунд, и декодируют их в реальном времени в звуки, которые пытается воспроизвести пациент, - не только слова, но и междометия, нечленораздельные восклицания и вообще любое бульканье.

Исследователи персонализировали синтетический голос так, чтобы он звучал как собственный голос мужчины, обучив нейросеть на записях интервью, которые он давал до начала болезни. С новым нейроинтерфейсом участник произносил слова, отвечал на открытые вопросы и говорил все, что хотел, используя слова, которые не были частью обучающих данных декодера. Он рассказал исследователям, что синтетический голос ощущает своим, и чувствует себя счастливым.

Кот Шрёдингера

Новый прорыв в области нейропротезирования (в Nature его даже не поскупились назвать «Святым Граалем речевых нейроинтерфейсов», но подождем): устройство, созданное в Калифорнийском университете в Дэвисе, практически мгновенно переводит нейронную активность в слова, возвращая парализованным пациентам обычную речь – спонтанную, непрерывную, с интонациями, - они могут даже петь. Прогресс в этой области идет очень быстро, но до сих пор самые совершенные модели воспроизводили речь только после того, как пользователи заканчивали произносить в уме целое предложение, - да и то с трехсекундной задержкой. А чтобы нормально говорить, принципиально важно получать обратную связь в реальном времени, сразу же слышать свой голос.

Разработанное устройство – один из тех нейроинтерфейсов нового поколения, которые используют искусственный интеллект для декодирования электрической активности мозга. И первый, способный воспроизводить не только слова, но и помогающие выразить смысл и эмоции особенности естественной речи, такие как интонация, высота тона и ударение. Все предыдущие нейроинтерфейсы говорили ровным и монотонным «голосом робота».

Участнику эксперимента, практически потерявшему речь из-за болезни управляющих мышцами нейронов, вживили имплант из 256 кремниевых электродов, каждый длиной 1,5 мм, в область коры, контролирующую движения (на рисунке). Алгоритмы глубокого обучения обрабатывают сигналы, поступающие от моторной коры каждые 10 миллисекунд, и декодируют их в реальном времени в звуки, которые пытается воспроизвести пациент, - не только слова, но и междометия, нечленораздельные восклицания и вообще любое бульканье.

Исследователи персонализировали синтетический голос так, чтобы он звучал как собственный голос мужчины, обучив нейросеть на записях интервью, которые он давал до начала болезни. С новым нейроинтерфейсом участник произносил слова, отвечал на открытые вопросы и говорил все, что хотел, используя слова, которые не были частью обучающих данных декодера. Он рассказал исследователям, что синтетический голос ощущает своим, и чувствует себя счастливым.

Nature

World first: brain implant lets man speak with expression — and sing

Nature - Device translates thought to speech in real time.

hottg.com/kot_sh/10148

7.5K viewsАндрей Константинов, edited  Jun 16 at 13:47