Ученые из Йельского, Дартмутского и Кембриджского университетов разработали, способную преобразовывать сигналы функциональной магнитно-резонансной томографии (fMRI) в текст.

В отличие от предыдущих методов, она не требует индивидуальной настройки для каждого человека.

Ранее попытки перевести мозговую активность в текст сталкивались с проблемами низкой точности, ограниченного набора задач и невозможности работы с разными людьми.

Существующие модели зависели от индивидуальных особенностей мозга и плохо переносили знания на новых пользователей.

MindLLM использует иной подход, основанный на обработке общих закономерностей работы мозга, что позволяет ей лучше адаптироваться к разным людям и задачам.

Модель включает два ключевых компонента: fMRI-энкодер и языковую нейросеть. Сканирование мозга делит его на крошечные трехмерные участки — воксели, количество и расположение которых варьируются у разных людей. Однако функции мозга остаются схожими, и MindLLM анализирует активность мозга, учитывая эту особенность.

Специальный механизм обработки сигналов помогает модели понимать смысл информации, а методика Brain Instruction Tuning (BIT) улучшает ее способность расшифровывать семантические данные.

Это позволяет MindLLM выполнять сложные задачи, такие как создание описаний по сигналам мозга, ответы на вопросы и логические рассуждения.

В тестах модель показала на 16,4% лучшую адаптацию к новым пользователям и на 25% лучше справлялась с новыми задачами по сравнению с предыдущими решениями.

MindLLM также выявила связи между активностью определенных областей мозга и когнитивными функциями, такими как восприятие и мышление.

источник: Ferra.ru, © Ferra.ru