Ученые улучшили "декодер мозга" на базе ИИ для преобразования мыслей в текст

Исследователи из Техасского университета в Остине разработали новый алгоритм, позволяющий быстро адаптировать существующий декодер мозга для работы с другими людьми. Это открытие может помочь людям с афазией — расстройством мозга, влияющим на способность общаться.

Ранее декодеры мозга, использующие машинное обучение для перевода мыслей в текст, требовали многочасового сканирования мозга в МРТ во время прослушивания историй. При этом они работали только с теми людьми, на данных которых были обучены.

В новом исследовании, опубликованном в журнале Current Biology, ученые сначала обучили декодер на нескольких участниках традиционным способом — собирая данные МРТ во время 10-часового прослушивания радиопередач.

Затем они протестировали два конвертирующих алгоритма: один использовал данные 70-минутного прослушивания радио, другой — просмотра немых короткометражек Pixar. Используя функциональное выравнивание, команда сопоставила реакции мозга разных участников на одинаковые истории.

При тестировании на новой истории декодер, хотя и не дословно, но успешно передавал смысл услышанного. Например, когда в истории говорилось о нелюбимой работе официантки, алгоритм выдал:

Я была на скучной работе. Мне приходилось принимать заказы, они мне не нравились.

Соавтор исследования Александр Хут отметил:

Удивительно, что мы можем делать это даже без использования языковых данных. Мы можем собирать данные во время просмотра немых видео и использовать их для создания языкового декодера.

Исследователи планируют протестировать технологию на пациентах с афазией и разработать интерфейс, который поможет им генерировать речь. Результаты также показывают, как мозг одинаково представляет определенные концепции, независимо от формата их восприятия.