О контроллерах можно будет забыть: учёные позволили людям играть в видеоигры силой мысли

[Article Publisher]

Исследователи из Йельского университета разработали новый интерфейс “мозг-компьютер”, который позволяет играть в видеоигры силой мысли.



С помощью функциональной МРТ в режиме реального времени учёные продемонстрировали, что пользователи могут взаимодействовать с компьютером исключительно благодаря активности мозга. Исследователи выяснили, что активность мозга следует по установленным нейронным путям.

Обучение с использованием интерфейса “мозг-компьютер” становится значительно проще, когда система взаимодействует с этими нейронными путями, а не противодействует им. Когда интерфейс “мозг-компьютер” соответствует естественной организации мозга, пользователи быстрее осваивают управление, а активность их мозга быстрее адаптируется к процессу обучения. Системы, не соответствующие этой структуре, демонстрируют незначительные результаты или не показывают улучшений вообще.

“Результаты этого исследования могут найти применение в самых разных областях: от помощи людям с двигательными или коммуникативными нарушениями до разработки методов лечения депрессии или тревоги, а также создания следующего поколения потребительских игр и технологий. Методы, разработанные с учетом естественной геометрии мозга, скорее всего, будут быстрее, эффективнее и доступнее”, — объясняет первый автор исследования Эрика Буш.
Хотя над большинством систем с интерфейсом “мозг-компьютер” работали в течение многих лет, многие из них демонстрировали ограниченные результаты. Ранние системы на основе фМРТ, которые опирались на обратную нейросвязь в режиме реального времени с помощью сканирования, отслеживающего изменяющиеся паттерны мозговой активности, часто требовали до 10 длительных тренировок. Даже после этого улучшения были относительно незначительными. Около трети участников не осваивали систему, сколько бы ни тренировались.



По мнению Эрики Буш и её коллег, проблема заключалась в проектировании этих систем. Часто интерфейсы “мозг-компьютер” требовали от мозга усвоения паттернов, не соответствующих его естественной организации. Исследователи предположили, что более совершенные инструменты, способные адаптировать обратную нейросвязь к базовой структуре каждого мозга, могли бы значительно повысить скорость обучения и его эффективность.

Чтобы проверить эту идею, исследователи привлекли здоровых молодых участников для прохождения четырёх сеансов фМРТ. Во время первого сеанса они играли в видеоигру, в которой управляли персонажем на виртуальной арене с помощью джойстика, а исследователи в это время регистрировали активность их мозга.

Элли Бартон
Исследователи сосредоточили внимание на областях мозга, участвующих в навигации и пространственном перемещении. Затем они применили алгоритм, разработанный на основе результатов предыдущих исследований и получивший название T-PHATE. Это математический метод, который определяет естественную структуру мозговой активности человека, известную как “нейронное разнообразие”.

Используя нейросеть каждого участника, исследователи создали три различные системы управления игрой на основе интерфейса “мозг-компьютер”. Одна из систем следовала самым сильным и естественным паттернам мозговой активности, называемым “интуитивным отображением”. Другая опиралась на менее доминирующие, однако естественные паттерны активности, известные как “возмущения внутри разнообразия”. Третья система требовала паттернов активности, которые мозг не генерирует естественным образом и которые называются “возмущением вне разнообразия”.


После этого исследователи создали замкнутую систему, которая анализировала новый снимок каждые 2 секунды и мгновенно преобразовывала эту информацию в команды движения для персонажа в игре. В течение следующих трех сеансов участники пытались управлять аватаром силой мысли, и каждый из сеансов был посвящён трём разным системам управления.

Результаты показали, что участники научились управлять персонажем менее чем за час, когда интерфейс “мозг-компьютер” следовал естественной нейросети мозга, а в некоторых случаях — даже быстрее. В то же время участники не смогли за это же время освоить соотношение, выходящее за пределы естественных нейронных паттернов.

В процессе обучения мозговая активность участников реорганизовывалась для лучшего соответствия требованиям интерфейса “мозг-компьютер”. В определенных условиях степень этой реорганизации определялась эффективностью. Изменения также распространялись за пределы целевых областей мозга, что указывает на способность подобного обучения влиять на более обширные нейросети.

По мнению исследователей, полученные результаты могут объяснить, почему одни навыки усваиваются легче других. Успех может зависеть не только от усилий или способностей, но и от того, насколько хорошо задача соответствует реальной нейроструктуре мозга.

Полученные результаты могут быть использованы для совершенствования методов лечения депрессии и тревоги, а также для создания более совершенных интерфейсов «мозг-компьютер» для людей с ограниченными возможностями, а также помочь в создании новых устройств для управления видеоиграми.