Риа новости. «ученые совместили магнитные поля мозга и глаза для управления компьютером»

Разработки, инновации

https://ria.ru/20210301/mgppu-1599103752.html   

 

Уникальную систему для управления компьютером при помощи взгляда и "силы мысли" разрабатывают ученые Московского государственного психолого-педагогического университета (МГППУ). Система, основанная на считывании магнитных полей мозга, по словам создателей, может облегчить использование компьютера людьми с ограниченными возможностями здоровья. Результаты опубликованы в журнале Frontiers in Neuroscience.

Управление компьютером с помощью взгляда все чаще используется парализованными людьми, а функция “управления глазами” даже входит в стандартный набор специальных возможностей некоторых операционных систем, сообщили исследователи МГППУ. Для этого применяется устройство отслеживания взгляда – айтрекер. С помощью видеокамеры он определяет положение зрачка пользователя и вычисляет, в какое место на экране он смотрит. Задержки взгляда на участках экрана заменяют “клики” мышью.

У этой технологии сегодня, по словам ученых, есть серьезный недостаток: она не умеет различать намеренные и непроизвольные задержки взгляда, которые случаются, например, когда пользователь хочет что-то рассмотреть. Избежать непроизвольных задержек, как объяснили исследователи, попросту невозможно – взгляд легко выходит из-под сознательного контроля, в результате чего происходят ложные срабатывания.

Исследователи МГППУ создают систему управления, которая будет способна определять, является ли задержка взгляда намеренной или непроизвольной. По словам создателей, она будет представлять собой гибрид айтрекинга и еще одной технологии, применяемой для помощи инвалидам, – “интерфейс мозг-компьютер” (ИМК). За счет различения мозговых сигналов, возникающих при выполнении определенных мысленных действий, ИМК позволяет отдавать компьютеру команды буквально "силой мысли".

“Многие пытались объединить ИМК с “глазоуправлением”. С помощью ИМК удобно сделать “клик” – для этого можно вообразить движение рукой. Но такая комбинация пока оказывается крайне неудобной, так как ИМК работает медленно, заставляя пользователя, представляющего требуемое действие, надолго задерживать взгляд. Кроме того, мысленные действия, нужные для ИМК, довольно плохо сочетаются с намеренной задержкой взгляда”, – рассказал руководитель исследования, ведущий научный сотрудник МЭГ-центра Сергей Шишкин.

В своих разработках специалисты МГППУ использовали другой подход: пользователю их системы достаточно лишь намеренно задержать взгляд, и само это действие, по словам ученых, уже меняет рисунок мозговых сигналов так, что удается распознать намерение “кликнуть”.

Чтобы точно выделить мозговые сигналы, соответствующие такому намерению, применялся метод магнитоэнцефалографии (МЭГ), позволяющий бесконтактно регистрировать слабые магнитные поля мозга. В ходе эксперимента участники играли в специальную модификацию компьютерной игры “Lines”, управление в которой осуществляется посредством задержек взгляда. Полученные данные МЭГ обрабатывались искусственными нейросетями, которые определяли, являются ли задержки взгляда намеренными или непроизвольными.

“Точность определения “намеренности” задержки взгляда у нас пока что недостаточна для немедленного внедрения технологии. Связано это с тем, что во время эксперимента пока не удается записать достаточно данных для обучения нейросетей. Это стандартная проблема при классификации мозговых сигналов глубокими искусственными нейросетями. Сейчас мы работаем над расширением нашей выборки МЭГ-данных”, – отметила старший научный сотрудник МЭГ-центра МГППУ Анастасия Овчинникова.

Исследование выполнялось в рамках сотрудничества между МГППУ и Национальным исследовательским центром “Курчатовский институт” при поддержке Российского научного фонда. В дальнейшем исследователи планируют создать гибридный интерфейс высокой точности, объединяющий в одной системе данные айтрекинга, МЭГ и электроэнцефалографии.

Вернуться к оглавлению