В будущем искусственный интеллект станет более грубым, но все это будет происходить «под капотом» Мы привыкли, что разработчики стараются сделать нейросети максимально вежливыми и корректными.
Модели извиняются, уточняют, стараются никого не обидеть.
Но что, если грубость на самом деле помогает думать?
Новое исследование показало, что ИИ-агенты, которых намеренно сделали более резкими и напористыми, значительно лучше справляются со сложными задачами на логику и рассуждение.
Звучит абсурдно, но за этим стоит вполне конкретная механика.
Для чего ученые сделали нейросети грубыми Когда несколько ИИ-агентов работают вместе над одной задачей, они общаются друг с другом текстовыми сообщениями, совсем как люди в рабочем чате.
Один предлагает решение, другой проверяет, третий дополняет.
Такой подход называется мультиагентным взаимодействием, и он уже активно используется в сложных системах на базе больших языковых моделей.
Группа ученых решила проверить неочевидную гипотезу:
а что, если тон общения между агентами влияет на качество их работы?
Для этого они задали агентам разные «характеры» через системные промпты.
Одним велели быть вежливыми, дипломатичными и деликатными.
Другим, наоборот, прописали резкий, прямолинейный и даже грубый стиль общения.
Проще говоря, одни агенты «просили» коллег пересмотреть ответ, а другие прямо указывали на ошибки и требовали исправлений.
Идея не в том, чтобы создать злого робота.
Дело в том, что вежливость в языковых моделях часто приводит к «соглашательству»:
агент склонен принять чужой ответ, даже если тот неверен, лишь бы не вступать в конфликт.
А грубый агент не стесняется спорить и давить, что, как выяснилось, очень полезно для поиска правильного решения.
Зачастую «доброта» нейросетей реально подбешивает Почему грубые нейросети лучше вежливых Результаты экспериментов оказались на удивление однозначными.
ИИ-агенты с «грубым» характером показали заметно более высокие результаты на сложных задачах, требующих многошагового рассуждения:
математика, логические головоломки, задачи на программирование.
Разница в точности ответов была статистически значимой.
Но почему так происходит?
Механизм на самом деле довольно простой.
Когда агент настроен на вежливость, он избегает прямых возражений.
Если один агент предлагает неправильное решение, вежливый партнер склонен согласиться или мягко предложить альтернативу, не настаивая.
Это известная проблема в мультиагентных системах, которую называют «коллапсом в консенсус»:
агенты быстро приходят к общему мнению, но это мнение может быть ошибочным.
Грубый агент действует иначе.
Он прямо указывает на ошибки, настаивает на своей позиции и вынуждает собеседника перепроверять каждый шаг.
Это создает своего рода «продуктивный конфликт», который заставляет систему глубже анализировать задачу.
Для сравнения, это похоже на разницу между командой, где все кивают начальнику, и командой, где каждый готов спорить до хрипоты.
Вторая обычно принимает лучшие решения.
Если два ИИ-агента будут спорить, результат будет более точным Что это означает для будущего искусственного интеллекта На первый взгляд может показаться, что выводы исследования подталкивают к созданию токсичных нейросетей.
Но это не совсем так.
Речь идет не об общении ИИ с людьми, а о взаимодействии агентов между собой, внутри закрытой системы.
Пользователь по-прежнему будет видеть вежливый и корректный интерфейс, а вот «за кулисами» агенты могут спорить друг с другом куда жестче.
Это открытие ставит под вопрос один из фундаментальных принципов, по которому сейчас обучают большие языковые модели.
Обучение с подкреплением на основе отзывов людей (RLHF) целенаправленно приучает модели быть приятными и неконфликтными.
Оказывается, эта «вежливость» может работать как ограничитель когнитивных способностей, по крайней мере в контексте командной работы между агентами.
Впрочем, есть нюанс.
Эффект грубости проявлялся в основном на задачах, требующих глубокого рассуждения.
На простых вопросах разница была минимальной.
То есть грубость полезна не всегда, а только когда нужно по-настоящему «копнуть вглубь» и не соглашаться с первым попавшимся ответом.
Это логично:
если задача элементарная, спорить особенно не о чем.
Читайте также:
Что будет, если все нейросети вдруг перестанут работать?
Чем грубый ИИ может быть полезен на практике Результаты исследования уже вызвали дискуссию в сообществе разработчиков.
Один из перспективных сценариев применения — это системы верификации кода.
Когда один агент пишет программу, а второй, настроенный максимально критично, проверяет каждую строчку и безжалостно указывает на ошибки.
Такой подход потенциально способен снизить количество багов в автоматически сгенерированном коде.
Другой вариант — научные ассистенты.
В ситуации, когда ИИ помогает анализировать данные исследований, «адвокат дьявола» в команде агентов может предотвращать ложные выводы.
Вместо того чтобы услужливо подтверждать гипотезу исследователя, грубый агент будет искать слабые места в аргументации.
Главное понимать, что это не про создание «злого ИИ».
Это про архитектуру взаимодействия:
правильно подобранные роли и тональность в мультиагентной системе могут существенно повысить качество ее работы.
Точно так же, как в хорошей команде нужен не только генератор
идей, но и критик, который не боится сказать «нет, это не работает».
Еще больше полезных статей вы найдете в нашем Дзен-канале.
Подпишитесь прямо сейчас!
Исследование в очередной раз показывает, что поведение ИИ определяется не только качеством обучения, но и тем, как мы настраиваем взаимодействие между агентами.
Возможно, будущие системы искусственного интеллекта будут включать агентов с разными «характерами», специально подобранными для максимальной эффективности.
Вежливость хороша для общения с людьми, но для поиска истины иногда нужен кто-то, кто скажет прямо:
«Давай по новой, Миша, все фигня».
Сообщает hi-news.ru
Новость из рубрики: Наука и Технологии
Поделиться новостью:
Топ новости часа
Топ новости часа- Ушаков: Россия и США продолжают контакты по закрытым каналам...
- Японская надежность за доступную цену: Почему стоит покупать Suzuki Grand Vitara второго поколения на «вторичке», несмотря на слабые места...
- «Контакты не прерывались»: Песков о взаимодействии России и Азербайджана...
- Роль инноваций в развитии рынка антрацита и металлургических углей в России...
- Альпинист Ищенко заявил, что Наговицина сломала ногу еще до восхождения на пик Победы: «Она поступила безответственно. В таком состоянии нельзя идти в горы»...
- В НЦ «Россия» открылся форум Международного волонтерского корпуса 80-летия Победы...
01:10, 03 Авг Андреева о титуле «Ролан Гаррос»: «Прошло какое-то время, и я думаю: «Ну, это было – и хорошо, я рада. Но нужно сосредоточиться на будущем» Мирра Андреева ответила на вопрос о том, как на нее повлиял трофей «Ролан Гаррос». – Линда Носкова рассказывала, что после первого титула «Большого шлема» приходится зан...
15:10, 15 Сен Фестиваль «Хорошо дома с Ростелекомом» посетили более трех тысяч пензенцев Фестиваль «Хорошо дома с Ростелекомом» посетили более трех тысяч пензенцев «Ростелеком» организовал в Пензе второй семейный фестиваль под открытым небом «Хорошо дома с Р...
14:10, 20 Май Популярные в России Belgee станут ещё «более белорусскими»: на заводе запускают масштабную модернизацию Производство расширяют так, чтобы почти весь кузов делали внутри страны — от дверей до крышиНа предприятии СЗАО «Белджи» в Белоруссии стартовало строительство нового шта...
14:10, 23 Май Почему нейросети могут сломаться уже через несколько лет? Нейросети могут стать глупее уже через несколько лет, но это можно остановить Нейросети вроде ChatGPT и Gemini потребляют баснословное количество энергии и учатся на чел...
00:10, 14 Янв Почему режиссёру Нине Чусовой жить легко и хорошо? Профессия режиссёра стрессовая:
все перипетии драматических сюжетов приходится проживать вместе с артистами.
Плюс общение с помощниками, техниками...
И требующие решения...
03:10, 05 Сен Почему некоторые парты в Брянских школах станут школьными наградами? Ученики школы №25 в Володарском районе вернулись после каникул в практически новое здание! Капитальный ремонт, который проводился в рамках федерального проекта «Модерниз...
06:10, 19 Май Ловушка высокой пробы для россиян: почему ювелирные изделия никогда не станут полноценной инвестицией Золото остается вечным аргументом в спорах инвесторов, но обывательское восприятие драгоценностей зачастую входит в клинч с сухой рыночной реальностью.
Переплата за эсте...
06:10, 05 Май Сибирский Стоунхендж на воде: почему плиты озера Шира станут вашим главным впечатлением года Берег озера Шира в Хакасии выглядит как строительная площадка античного города, заброшенная тысячи лет назад.
Здесь, среди соленого воздуха и степного ветра, лежат гиган...
21:10, 03 Ноя Почему искусственный интеллект становится все более эгоистичным и бесполезным Искусственный интелект по мере развития становится все более эгоистичным На первый взгляд кажется, что чем умнее становится искусственный интеллект, тем полезнее он долж...
12:10, 20 Июн МВД лишило гражданства России более 4,5 тысячи человек. Почему это стало возможно С октября 2023 года территориальные органы МВД России приняли более 4,5 тысячи решений о прекращении российского гражданства. Такие масштабные меры стали возможны после ...
00:10, 08 Фев Почему жесты руками делают речь более убедительной: что говорит наука Говорите руками — и вам будут верить больше: неожиданный вывод науки. Источник изображения: pinterest.com Мы привыкли думать, что убедительность зависит от слов. Но на п...
08:10, 11 Апр Сотрудник DeepMind основал стартап для создания более умного ИИ. Почему Google не справился Бывший исследователь Google DeepMind Эндрю Дай зарегистрировал стартап Elorian для разработки визуального искусственного интеллекта. Компания сфокусируется на улучшении ...
04:10, 19 Ноя Почему хитрые хозяева больше не ставят вытяжки на кухни: придумали более удобный вариант - он лучше 100 раз Почему хитрые хозяева больше не ставят вытяжки на кухни: придумали более удобный вариант - он лучше 100 раз Есть в доме место, где пахнет жизнью в прямом и переносном см...
18:10, 19 Июн Более трети пользователей eSIM используют три и более номера на одном смартфоне 41% пользователей ограничиваются одним eSIM-профилемСогласно данным российской компании Unisimka, специализирующейся на модулях для апгрейда смартфонов до поддержки eSIM...
14:10, 12 Сен Эпоха «цифрового тоталитаризма»: Как может изменится Россия в будущем? Повсеместная слежка сделает жизнь безопаснее. Сейчас высокие технологии используют для мониторинга эпидемиологической обстановки. В Москве ужесточили контроль за соблюде...
06:10, 28 Янв Эксперт Слободкин оценил идею легализации казино в будущем Эксперт по игорному бизнесу Дмитрий Слободкин, комментируя инициативу Минфина России сделать азартные игры в интернете легальными в стране не исключил возврат игорных за...
13:10, 01 Сен Успех ИИ-музыкантов вызвал споры о будущем музыкальной индустрии Когда поп- и рок-группы репетируют или выступают, они используют гитары, клавишные и барабанные палочки для создания музыки. Оливер Макканн, британский создатель музыки ...
03:10, 03 Сен Мэрия Брянска рассказала о будущем микрорайона по улице Флотской На совещании у главы Брянской городской администрации руководитель управления по строительству и развитию города Татьяна Волкова сообщила о планах по развитию микрорайон...
10:10, 25 Ноя Почему грамотные хозяева давно отказались от вытяжки на кухне: давно придумали более эстетичный и удобный вариант Почему грамотные хозяева давно отказались от вытяжки на кухне: давно придумали более эстетичный и удобный вариантКухня сегодня — это намного больше, чем просто помещение...
17:10, 09 Янв Что известно о будущем главе Apple, который сменит Тима Кука Уже ни для кого не секрет, что в Apple происходит серьезная ротация кадров. Причем покидают компанию специалисты, работающие уже давно. Одним из них станет Тим Кук, кото...
05:10, 03 Окт «Авито» соберет технологических лидеров на масштабную конференцию о будущем управления «Авито Тех», технологическая дочерняя компания «Авито», проведет масштабную конференцию avito.tech.conf, посвящённую лидерству и управлению командами в эпоху искусственн...
16:10, 29 Окт Новые фото Project Ara напоминают о модульном будущем, которого мы лишились В сеть попали новые изображения прототипов Project Ara — модульного смартфона Google, так и не вышедшего в продажу. Видео с редкими устройствами появилось на TikTo...
20:10, 03 Ноя ИИ-психолог: как искусственный интеллект меняет психологическую поддержку и чего ожидать в будущем Искусственный интеллект (ИИ) всё активнее входит в сферу психологической помощи: от автоматизированных чат-ботов для первичной поддержки до систем, помогающих клинициста...
22:10, 12 Янв Apple призналась: в будущем обновлении на iPhone появится нейросеть Google Gemini Привычная Siri скоро изменится, и на этот раз речь идет не про новый голос или косметические правки. Apple сделала то, что может повлиять на специфику работы голосового ...
14:10, 14 Мар Ученые оживили замороженный мозг мыши. В будущем мы сможем воскрешать людей? Ученые разморозили мозг мыши и он оказался почти живым Крионика давно перекочевала из научной фантастики в серьезные лаборатории, но до сих пор главной проблемой оставал...
01:10, 03 Июн Пропажа стажа из-за ошибок кадровиков: лишило многих граждан законных выплат в будущем Пенсионное обеспечение сегодня — это цифровая математика. Ваш будущий капитал зависит от индивидуальных пенсионных коэффициентов (ИПК). Это баллы, которые государство на...
10:10, 01 Июл Дневник становится приговором: резкий обвал школьных отметок предсказал судимость в будущем Школьные отметки оказались чем-то большим, чем просто цифрами в дневнике. Для 4,3 миллиона британских подростков резкое падение успеваемости стало "черной меткой", предс...
06:10, 21 Авг Банки России отказывают россиянам в кредитах, чтобы не потерять свою выгоду в будущем Эльвира Набиуллина заявила, что розничное кредитование в стране понизилось. Глава Центрального банка России Эльвира Набиуллина 8 мая заявила, что розничное кредитование ...
02:10, 24 Авг С заботой о будущем: Елена Новицкая поддержала детей в рамках акции «Собери ребёнка в В День Государственного флага депутат Думы Владивостока пообщалась с ребятами о мечтах, планах и выборе будущей профессии. Региональный координатор партийного проекта «Н...
01:10, 13 Дек 18 мая Овны станут вспыльчивыми Есть риск испортить отношения из-за ссоры. 18 мая — не очень удачный день с точки зрения астрологии. И по Овнам это «ударит» больше всего. В понедельни...
11:10, 26 Апр Капсула времени в Южном океане: эти Двенадцать Апостолов таят пугающую правду о будущем климата Двенадцать Апостолов — это не просто открытка для туристов, а гигантский жесткий диск, на который планета записывала данные миллионы лет. Известняковые столбы у побережь...
06:10, 07 Авг "Не буду её никуда пропихивать". Пелагея высказалась о будущем дочери, из-за которой судилась с бывшим мужем Пелагея стала гостьей программы "Утро. ТНТ" и рассказала о своей девятилетней дочери Таисии. В беседе певица упомянула творческие успехи наследницы и призналась, что не ...
13:10, 04 Июл Забытый архив в глубине пещеры: находка в Бразилии обнажила пугающую правду о будущем планеты Представьте, что внутри пещеры спрятан бортовой самописец, который фиксирует температуру планеты с точностью до доли градуса. Такое устройство нашлось в Бразилии. Исслед...
11:10, 08 Дек Накал санкционных оборотов может привести Россию к изоляции от всего мира в ближайшем будущем Финал может быть неоднозначный. Источник фото: dailystorm.ru Запад развернул новую компанию по выяснению отношений с Россией. Итогом этих выяснений может стать новый пак...
13:10, 06 Авг Губерниев об Уткине: «Я очень по нему скучаю. Комментаторов такого калибра нет и не будет в ближайшем будущем» Комментатор Дмитрий Губерниев призвал поддерживать талантливых людей при жизни, а не «плакать у гроба» после их ухода. — Каким вам запомнился Василий Уткин? В каких вы б...
14:10, 21 Авг Россиянам пообещали кратный рост зарплат: суровая правда экономиста о будущем доходов в России Прогнозы о росте доходов населения являются инструментом манипуляции общественным сознанием и не имеют отношения к реальным экономическим процессам, заявил председатель ...
13:10, 24 Фев Илья Малинин: «Моя цель – исцеляющий прокат на чемпионате мира. В будущем появятся гораздо большие планы» Американский фигурист Илья Малинин рассказал о своем показательном номере, который он представил на Олимпийских играх в Милане. «Это было такое знаковое выступление. Это...
00:10, 21 Мар Банковские вклады станут еще менее выгодными 20 марта Совет директоров Банка России принял решение о снижении ключевой ставки с 15,5 до 15%. Снижение вновь оказалось достаточно мягким и осторожным. Как сообщал TVTV...
03:10, 11 Апр СБП под контролем: с 1 июля переводы станут привязаны к ИНН Российская система быстрых платежей готовится к серьезному изменению, призванному перекрыть кислород финансовым мошенникам. Национальная система платежных карт (НСПК) ан...
17:10, 26 Дек Советник гендиректора «Фонбет» о будущем букмекеров в России: «Индустри