Новая модель Brain-IT превращает данные МРТ в изображения и показывает высокую точность даже при небольшом объёме исходных данных Учёные разработали ИИ-модель Brain-IT, которая восстанавливает изображения, увиденные человеком, по данным функциональной МРТ (fMRI).
Главная проблема предыдущих методов заключалась не столько в способности получить правдоподобное изображение, сколько в его соответствии реальному:
диффузионная модель могла правильно определить предметы, но ошибиться с расположением объектов, цветами и другими деталями.
В Brain-IT специально разделили эти два типа информации.
В основе модели лежит преобразование активности мозга в компактное представление.
Авторы сводят около 40 тысяч вокселей — объёмных элементов данных fMRI — к 128 функциональным кластерам.
В один кластер
попадают воксели с похожими функциональными характеристиками.
Каждый кластер
затем превращается в Brain Token — представление содержащейся в нём информации, с которым уже работает Transformer.
Дальше Brain-IT извлекает из этих токенов два разных набора визуальных признаков.
Первый описывает смысл изображения и подаётся на вход диффузионной модели чтобы определить, какие объекты и сцены должна получиться.
Второй содержит низкоуровневую визуальную информацию — прежде всего общую структуру и расположение элементов.
По этим признакам система сначала восстанавливает грубый вариант изображения, который затем становится начальной точкой для диффузионной генерации.
Такой подход нужен потому, что одна только семантическая информация недостаточна для точной реконструкции.
Диффузионная модель может создать изображение, соответствующее смыслу, но изменить композицию или цвета.
Brain-IT сначала фиксирует грубую структуру, а затем уточняет её под воздействием семантических признаков.
По данным авторов, объединение двух веток логики работы даёт более точное соответствие исходному изображению, чем использование каждой из них отдельно.
Источник изображения:
Roman Beliy / Amit Zalcher / Jonathan Kogman / Navve Wasserman / Michal Irani Для проверки модели использовали Natural Scenes Dataset — набор
данных fMRI восьми человек, которым показывали разнообразные фотографии.
В основном сравнении Brain-IT превзошла предыдущие методы по 7 из 8 используемых метрик.
Например, значение SSIM, характеризующее структурное сходство изображений, составило 0,486 против 0,431 у предыдущего лучшего результата MindEye2, а корреляция пикселей выросла до 0,386 против 0,322.
Особенно заметным оказался результат при задействовании модели с данными fMRI нового человека.
Авторы отмечают, что результат сопоставим с показателями предыдущих методов, обучавшихся на полном наборе из 40 часов данных, при 1 часе fMRI у Brain-IT.
Авторы также проверили, насколько модель сохраняет работоспособность при ещё меньшем количестве данных.
Качественные реконструкции удалось получить при 30 и 15 минутах данных нового участника:
исследователи называют это первым, по их данным, случаем получения реконструкций такого качества при 15-минутной записи.
Однако эти результаты не означают, что система способна буквально «прочитать картинку из мозга» за 15 минут:
качество реконструкций остаётся ограниченным, а отдельные объекты и детали могут восстанавливаться неправильно.
Примечательно, что анализ работы механизма внимания Brain-IT показал специализацию отдельных токенов.
Разные токены систематически вносили вклад в разные области предсказываемого изображения, а некоторые преимущественно были связаны с семантически значимыми областями вроде лиц, конечностей или текста.
Пока что это скорее свойство работы модели, чем готовая новая карта зрительной коры.
Важно, что Brain-IT не превращает fMRI в точную видеозапись активности мозга.
Задача модели гораздо конкретнее:
извлечь из ограниченного и шумного сигнала достаточно информации, чтобы отдельно восстановить содержание изображения и его структуру, а затем объединить их с помощью генеративной модели.
Сообщает www.ixbt.com
Новость из рубрики: Наука и Технологии
Поделиться новостью:
Топ новости часа
Топ новости часа- Ушаков: Россия и США продолжают контакты по закрытым каналам...
- Японская надежность за доступную цену: Почему стоит покупать Suzuki Grand Vitara второго поколения на «вторичке», несмотря на слабые места...
- «Контакты не прерывались»: Песков о взаимодействии России и Азербайджана...
- Роль инноваций в развитии рынка антрацита и металлургических углей в России...
- Альпинист Ищенко заявил, что Наговицина сломала ногу еще до восхождения на пик Победы: «Она поступила безответственно. В таком состоянии нельзя идти в горы»...
- В НЦ «Россия» открылся форум Международного волонтерского корпуса 80-летия Победы...
22:10, 08 Авг Ученые МГУ улучшили память ИИ-ассистентов для длительных диалогов В пресс-службе Московского государственного университета имени М.
В.
Ломоносова сообщили, что ученые факультета вычислительной математики и кибернетики вуза разработали ...
16:10, 18 Сен Российские ученые улучшили алгоритм мониторинга Черного моря Севастопольские ученые представили обновленную версию трехканального алгоритма CHL-CDM для обработки спутниковых данных.
Разработка предназначена для оперативного наблюд...
07:10, 27 Мар Ученые связали «возраст мозга» со сном и риском деменции Исследователи из Калифорнийского университета в Сан-Франциско и Медицинского центра Бет Израэль Диконесс установили связь между «возрастом мозга», определяемым по активн...
12:10, 06 Дек Петербургские учёные сообщили о системе «охлаждения мозга» у динозавров Компьютерные технологии позволили группе Павла Скучаса сделать это открытие.
Исследовательская группа СПбГУ под руководством доцента Павла Скучаса занималась исследовани...
17:10, 31 Июл Ученые выяснили, какие клетки мозга сохраняют воспоминания Астроциты участвуют в длительном хранении воспоминаний, а не только поддерживают работу нейронов.
Эксперименты на мышах показали, что нарушение функций этих клеток не ме...
09:11, 25 Мар Нижегородские учёные создали приложение, определяющее биологический возраст мозга Исследователи из нижегородского Университета Лобачевского (ННГУ) разработали онлайн-платформу «Калькулятор
когнитивного биологического возраста», которая на основе пяти ...
17:10, 31 Июл Ученые нашли способ поддержать работу мозга в пожилом возрасте Прием пищи в течение восьми-девяти часов в сутки может помочь сохранить когнитивные функции в пожилом возрасте.
К такому предварительному выводу пришли специалисты Ратге...
01:10, 10 Мар Учёные обнаружили смещение мозга у астронавтов после длительных полётов на МКС Новая работа исследовательской группы из Университета Флориды показала, что длительное пребывание в космосе приводит к заметным изменениям положения мозга внутри черепа....
22:10, 12 Сен Ученые выявили неожиданную связь между томатной пастой и работой мозга Регулярное употребление томатной пасты на протяжении трех месяцев способствует улучшению избирательного внимания и ассоциативной памяти у здоровых людей. К такому выводу...
22:10, 08 Авг Учёные ДГТУ создали защитное средство для мозга из коллагена медуз-корнеротов Исследователи Донского государственного технического университета разработали гибридный материал на основе коллагена из медуз-корнеротов для защиты и восстановления клет...
16:10, 06 Авг Российские учёные замедлили рост рака мозга с помощью инфракрасного лазера Исследователи Саратовского государственного университета вместе с коллегами из России и Ирана предложили лечить глиобластому — наиболее агрессивную форму рака мозга — с ...
22:10, 26 Авг Считывает и сразу лечит: ученые научили МРТ мгновенно перезагружать нейроны мозга Инженеры из Shanghai United Imaging Healthcare и Тяньцзиньского университета создали технологическую платформу uMR Shenguan, которая объединяет запись сигналов мозга, не...
04:10, 22 Сен Химия мозга может объяснить, чего не хватает искусственному интеллекту: учёные предложили биохимическую модель памяти Новая модель связывает память не только с обработкой информации, но и с химическими процессами, которые сопровождают эмоциональные и физиологические реакции Учёные предл...
22:10, 11 Сен К старту отопительного сезона закончили реконструкцию теплосетей в Красногвардейском районе АО "ТЭК СПб" закончило реконструкцию около 400 метров тепловых сетей на Салтыковской дороге. Этот участок, пролегающий от 4-й Красногвардейской котельной, обеспечивает т...
08:10, 05 Ноя Вернуть себя. Хирург Мельников рассказал про реконструкцию груди после рака С раком молочной железы, судя по статистике, в течение жизни суждено столкнуться как минимум каждой десятой женщине. И многим ради спасения жизни приходится жертвовать г...
23:10, 06 Дек Моделирование роста кости улучшили в ПНИПУ Технологии восстановления костей выходят на новый уровень благодаря моделям, которые позволяют просчитывать рост тканей с высокой точностью. Разработки в этой области ст...
16:10, 22 Май "Продолжает спасать культурное наследие России". Роман Абрамович может направить миллиарды рублей в реконструкцию Дома писателей в Комарове Структуры миллиардера Романа Абрамовича могут проинвестировать масштабный проект редевелопмента Дома творчества писателей в курортном посёлке Комарово под Санкт-Петербур...
07:10, 02 Окт В Брянской области за год улучшили жилищные условия почти 400 семей Участниками областной целевой программы «Развитие ипотечного кредитования в жилищном строительстве Брянской области на 2027-2030 годы» в этом году стали 395 се...
17:10, 28 Ноя В городе «между Ленинградом и Москвой» улучшили качество связи Туристы, приезжающие в Бологое полюбоваться строениями железнодорожного узла — настоящим музеем под открытым небом, — теперь смогут на 20% быстрее загружать необходимые ...
06:10, 14 Окт Грязь — не проблема: в России улучшили бетон, который очищает сам себя Вы, скорей всего, замечали, как со временем фасад зданий, плитка, штукатурка, и так далее, начинают запыляться и состариваться. Чтобы этого избежать, требуется постоянны...
15:10, 05 Сен В России начался второй пик активности клещей В России начался второй пик активности клещей, который может продлиться до первых устойчивых заморозков. Об этом сообщается в официальном канале Роспотребнадзора в мессе...
18:10, 20 Фев Microsoft добавляет поддержку изображений в «Блокнот» для Windows 11 Microsoft продолжает расширять возможности стандартного приложения «Блокнот» для Windows 11, пытаясь превратить его в полноценную замену устаревшему WordPad, удалённому ...
08:10, 11 Авг xAI выпустил Imagine Image 2.0 — ИИ-модель для генерации изображений Компания xAI выпустила новую версию генератора изображений Imagine Image 2.0. Главный упор разработчики сделали на точное выполнение промптов и профессиональной работы с...
05:10, 24 Янв В Курской области более 3,5 тысячи семей улучшили жильё с помощью маткапитала в 2025 году В Курской области по итогам 2025 года 3 503 семьи смогли улучшить жилищные условия за счёт средств материнского капитала. На эти цели региональное отделение Социального ...
08:10, 24 Авг «Северяне» объяснили отсутствие активности ВСУ на Сумском направлении На Теткинском и Глушковском участках фронта, а также в районе Юнаковки на Сумском направлении ВСУ за сутки активных действий не предпринимали, рассказали бойцы группиров...
08:10, 27 Янв ИКИ РАН предупредил о росте геомагнитной активности из-за корональной дыры Небольшое увеличение геомагнитной активности прогнозируется на ближайшие сутки из-за влияния корональной дыры на Солнце, сообщили в лаборатории солнечной астрономии ИКИ ...
05:10, 13 Авг Пентагон объявил о рекордном снижении активности наркоторговцев Действия военных США привели к существенному сокращению перемещений криминальных судов в ключевых морских коридорах Латинской Америки и Карибского бассейна, заявил глава...
13:10, 24 Дек Билайн представит общероссийский рейтинг ИИ-активности регионов Фото: unsplash.comКоманда Билайн Big Data & AI, развивающая решения на основе больших данных и ИИ, приступила к созданию рейтинга регионов 2026. Эксперты ранее уже разра...
09:10, 04 Апр Microsoft представил три ИИ-модели для генерации текста, голоса и изображений Исследовательское подразделение компании Microsoft представило три новые ИИ-модели, способные генерировать текст, голос и изображения. Разработчики сделали упор на сниже...
03:10, 21 Мар 55% американских подростков использовали ИИ для создания изображений сексуального характера В ходе опроса американских подростков более половины (55,3%) сообщили, что создали хотя бы одно изображение с помощью инструментов для создания обнаженных изображений, к...
03:12, 12 Авг Microsoft представила новую ИИ-модель MAI-Image-2.6 для генерации изображений Путь Microsoft в области ИИ-моделей для генерации изображений начался в октябре 2025 года с выпуска MAI‑Image‑1. В рейтинге Arena эта модель заняла лишь скромное девятое...
13:10, 30 Дек AndroidInsider сообщил о росте активности мошенников вокруг мессенджера MAX Мошенники усилили попытки вовлечения пользователей в российский мессенджер MAX, используя его как инструмент для дальнейших манипуляций. Об этом сообщил портал AndroidIn...
18:10, 28 Июл «Расширяет географию активности»: Песков о терроризме киевского режима В Кремле прокомментировали сообщения из Ирака. Пресс-секретарь президента Дмитрий Песков отметил, что Киев расширяет географию своей террористической активности. И это у...
13:10, 10 Июн Песков: Путин проведет совещание по восстановлению инвестиционной активности Президент России Владимир Путин в среду проведет встречу с членами правительства для обсуждения мер поддержки и стимулирования финансовых вложений в отечественную эконом...
23:10, 09 Дек Глава РАН Красников рассказал об уникальных измерениях солнечной активности Группа из четырех гелиогеофизических спутников «Ионосфера-М» позволила России получить на мировом уровне уникальные данные солнечной активности, заявил глава РАН Геннади...
21:10, 05 Апр Microsoft представила собственную линейку моделей для речи, голоса и изображений Microsoft анонсировала три новые ИИ-модели: MAI-Transcribe-1, MAI-Voice-1 и MAI-Image-2. Эти модели, разработанные полностью внутри компании, направлены на преобразовани...
17:10, 22 Апр Генератор изображений ChatGPT обновился: что умеет, как пользоваться и примеры картинок Новый ChatGPT Images 2.0 умеет генерировать людей, скриншоты и тексты (с последними, как видно, есть проблемы) Компания OpenAI выпустила ChatGPT Images 2.0. Это крупнейш...
13:10, 11 Янв Как одеться на каток и другие активности зимой: стильные правила многослойности Как одеться на каток по всем правилам Поход на каток часто начинается с самой распространённой ошибки – желания укутаться потеплее. Длинный пуховик до колен кажетс...
12:10, 16 Сен Минздрав: Норму физической активности соблюдают 44% детей дошкольного возраста Министр здравоохранения Михаил Мурашко сообщил о недостаточной физической активности детей дошкольного возраста на фоне растущего интереса россиян к здоровому питанию. М...
15:10, 01 Июл Google выпустил Nano Banana 2 Lite — быстрый и недорогой ИИ-генератор изображений Компания Google выпустила Nano Banana 2 Lite – самую быструю и дешевую модель семейства Gemini Image для генерации изображений. Также была выпущена Gemini Omni Flash, пр...
19:10, 20 Ноя Google выпустила Nano Banana Pro, свою новейшую модель для генерации изображений Google представила новую модель под названием Nano Banana Pro, основанную на передовой модели для работы с большими языковыми моделями. Компания утверждает, что Nano Ban...
18:10, 16 Сен Солнце обмануло ожидания: после рекордного минимума — неожиданный рост активности В новом исследовании показано, что с 2008 года активность Солнца неуклонно возрастает. Хотя солнечная активность известна своими 11-летними циклами, существуют и более д...
00:10, 17 Янв OpenAI запустила отдельный сервис ChatGPT Translate для перевода текста, речи и изображений OpenAI представила отдельный инструмент для перевода на базе ChatGPT. Хотя пользователи уже давно применяли основной чат-бот для перевода, теперь сервис ChatGPT Translat...
16:10, 29 Окт Apple представила исследовательский датасет Pico-Banana-400K для обучения AI-редакторов изображений Apple выпустила Pico-Banana-400K — тщательно отобранный набор из 400 тысяч изображений, предназначенный для обучения моделей текстового редактирования. Любопытно, ...
10:10, 17 Дек Про Nano Banana можно забыть. OpenAI запустила флагманский генератор изображений ChatGPT Images Стартап OpenAI представил абсолютно новый генератор изображений под названием ChatGPT Images. Он использует флагманскую модель генерации изображений GPT Image 1.5, котор...
11:10, 24 Окт Справки: Магнитные бури в ноябре 2025 года: даты, прогноз, график геомагнитной активности Магнитные бури представляют собой возмущения магнитного поля Земли, которые возникают в периоды повышенной солнечной активности. Прогноз магнитных бурь на ноябрь 2025 го...
00:10, 10 Янв Что происходит с каждым человеком после 30 лет? Можно сказать, что после 30 лет у человека в голове что-то «перещелкивает» После 30 лет многие люди чувствуют себя странно. Кажется, что ты все такой же человек, и никак...
21:10, 02 Мар Мотор форсировали, подвеску улучшили, коробку заменили. АвтоВАЗ заявил, что самая мощная Lada будет дороже Lada Vesta Sportline На АвтоВАЗе назвали ориентиры стоимости новой Lada Vesta Sport. В компании советуют отталкиваться от текущих цен на версию Lada Vesta Sportline и учитывать доплату за те...
00:10, 12 Дек Доигрались: ИИ стал человеком года по версии Time Каждый декабрь журнал Time выбирает «Человека года» — того, кто оказал наибольшее влияние на новости и мир, как в хорошем, так и в плохом смысле. В этом году журналисты ...
15:10, 14 Окт Что делать рядом с простуженным человеком, чтобы не заразиться Простуженный человек запросто может заразить окружающих, но этого можно избежать. Кадр из сериала «Парки и зоны отдыха» Каждый раз, когда кто-то рядом чихает или кашляет...
18:10, 26 Июн ИИ заменит педагогов на 80%. Доцент МАИ объяснил, что останется за человеком Искусственный интеллект может взять на себя до 80% образовательных функций преподавателей, заявил доцент Московского авиационного института Дмитрий Сошников. Эксперт объ...
06:10, 07 Июл В России впервые официально испытали дрон с человеком на борту В перспективе он сможет работать как аэротаксиНа Сахалине прошли первые в России зарегистрированные испытания дрона с человеком на борту, сообщается на сайте Правительст...
19:10, 23 Фев В Подмосковье на видео попало, как фура врезалась в машину с человеком Инцидент произошёл на ЦКАД. Об этом сообщает Telegram-канал «ДТП и ЧП Москва и МО». «Стянуло на ровном месте, повезло, жив, только руку рулём сломало», -- говорится в пу...
22:10, 17 Апр Президент OpenAI заявил о смене ролей между человеком и машиной Президент и сооснователь OpenAI Грег Брокман опубликовал программный пост о переходе мира к «экономике вычислений» (compute-powered economy), в которой масштаб задач, ре...
13:10, 14 Сен Когда не надо оставаться наедине с неприятным человеком - запомните раз и навсегда Когда не надо оставаться наедине с неприятным человеком - запомните раз и навсегда В рабочем пространстве порой встречаются люди, способные превратить обычный день в мар...
22:10, 18 Дек ИИ-код содержит в 1,7 раз больше ошибок, чем код, написанный человеком: исследование предупреждает о рисках качества ПО Согласно данным компании CodeRabbit, pull request-ы (запросы на включение изменений в код проекта), созданные с использованием инструментов искусственного интеллекта, со...
16:10, 20 Дек Blue Origin впервые запустила корабль New Shepard c человеком на инвалидной коляске В ходе новой миссии Blue Origin суборбитальный космический корабль доставил экипаж из шести человек, включая первого участника на инвалидной коляске. Компания Blue Origi...
19:10, 16 Дек Илон Маск стал первым человеком в истории с состоянием более 600 млрд долларов 54-летний Илон Маск стал первым человеком в истории, размер состояния которого превысил 600 млрд долларов, сообщает Forbes.На резкое увеличение состояния Маска (ещё в ок...
17:10, 02 Окт Илон Маск стал первым человеком в истории, чьё состояние достигло 500 млрд долларов Илон Маск стал первым в истории человеком, размер состояния которого достиг 500 миллиардов долларов, сообщает Forbes.По подсчётам журнала, накануне, 1 октября, по ходу б...
01:10, 27 Сен Как правильно общаться с токсичным человеком и сохранить свою психику. Объясняем простыми словами Токсичный человек — это тот, кто своими словами и действиями негативно влияет на эмоциональное состояние окружающих. Токсики могут проявлять агрессию, манипулировать дру...
05:10, 13 Янв Недорогой 4K QLED телевизор, с которым можно разговаривать, как с человеком: тест Sber 7000 Вот теперь это уже можно называть громким именем «умный телевизор»! 2025 год подарил нам телики, которыми можно управлять с помощью разговорной речи и без пульта. Вопрос...
10:10, 06 Янв «С одним человеком проще»: Илья Гуров о том, почему перестали создавать музыкальные группы На российской эстраде преобладают больше сольные артисты, нежели музыкальные группы. Певец Илья Гуров рассказал в интервью 5-tv.ru на «Реальной премии Music box&ra...
02:10, 12 Июн "Хочется вдохновляться человеком, с которым ты вместе". Каллум Тёрнер раскрыл подробности отношений с Дуа Липой 36-летний актёр Каллум Тёрнер рассказал, как начинались их отношения с Дуа Липой, на которой он недавно женился, и почему он влюбился в певицу."Хочется вдохновляться чел...
14:10, 19 Июн «Держись, всё будет хорошо» — плохая помощь: в Брянске объяснили, как вести себя рядом с человеком в стрессе Брянское отделение Российского Красного Креста напомнило: помочь человеку в остром стрессе способен каждый — без психологического образования и специальных техник. Доста...
15:10, 14 Июл «Галина была великой спортсменкой и человеком несгибаемой воли». ОКР выразил соболезнования в связи со смертью Куклевой Олимпийский комитет России выразил соболезнования в связи со смертью Галины Куклевой. «Не стало олимпийской чемпионки по биатлону Галины Куклевой… Прославленная спортсме...
10:10, 03 Авг Лиза Лазерсон назвала Зинаиду Пронченко* человеком, "который живет чужой жизнью взамен своей собственной" 37-летняя журналистка Лиза Лазерсон ответила иноагенту Зинаиде Пронченко на её извинения за слова, сказанные на стриме издания-иноагента Republic. В своём посте Лазерсон...
17:10, 14 Авг Робота научили новому навыку по одному видео с человеком: 29 секунд вместо 50 демонстраций и 62% успеха с первой попытки Система HOST повышает успешность выполнения задач с 17% до 62%, не меняя веса обученной нейросетиГруппа, аффилированная с X Square Robot, выложила на arXiv метод HOST (H...
18:10, 21 Окт "Зачем я буду спорить с человеком, который глуповат". 19-летняя невеста Григория Лепса отреагировала на иск Виктории Бони 19-летняя невеста Григория Лепса Аврора Киба отреагировала на иск Виктории Бони. Она подала в суд на Кибу и потребовала публичных извинений."Вообще в детстве, когда меня...
20:10, 20 Июл Илья Протас о брате: «Не замечал, чтобы Алексей как-то изменился или поймал звезду. Он всегда был и остается честным, правильным человеком» Нападающий « Вашингтона » Илья Протас высказался об игре со своим братом Алексеем Протасом за «Кэпиталс».