Речевой декодер преобразует сигналы мозга в синтетическую речь

Краткое изложение публикации в сообществе «Фарма РФ» от .

Нейробиологи разработали речевой декодер, который переводит сигналы мозга в синтетическую речь. Описание устройства опубликовано в журнале Nature 24 апреля 2019 года. В исследовании участвовали пять человек, которым электроды установили на поверхность мозга во время лечения эпилепсии. Ученые записывали активность мозга, пока участники читали предложения вслух, а затем обучили алгоритм глубокого обучения переводить сигналы в движения языка, губ, челюсти и гортани и преобразовывать их в звук.

Слушатели распознали в среднем 70% слов в 101 синтезированном предложении. Когда участник произносил фразы беззвучно, двигая ртом, качество речи было ниже. Разработка пока недостаточно готова для применения за пределами лаборатории; также не установлено, сможет ли декодер работать, если человек представляет слова мысленно, не двигая губами.

Главное

  • В исследовании участвовали пять человек с электродами на поверхности мозга, установленными во время лечения эпилепсии.
  • Алгоритм переводил сигналы мозга в движения языка, губ, челюсти и гортани, а затем — в синтетическую речь.
  • Слушатели распознали в среднем 70% слов в 101 синтезированном предложении.
  • При беззвучном произнесении предложений качество синтетической речи было ниже.

Подготовлено автоматически с помощью ИИ, возможны неточности. Полный просмотр материала доступен только специалистам фармацевтической отрасли.

Регистрация

По теме