У искусственного интеллекта есть проблемы с уверенностью в себе
Они используются в различных отраслях, таких как финансы, здравоохранение и информационные технологии , для решения задач, требующих рассуждений и принятия решений.
Поэтому их точность и надёжность имеют первостепенное значение, а это означает, что они должны быть всегда уверены в своих ответах. Однако они могут колебаться. Для безопасного использования LLM их ответы сопровождаются оценками уверенности.
Но неясно, как они используют их для управления своим поведением. Это исследование, опубликованное на сервере препринтов arXiv , показывает, что они могут быть слишком уверены в своих первоначальных ответах, но терять уверенность и менять свое мнение, когда им предъявляют неверный контраргумент.
Проверка уверенности в LLM Чтобы исследовать этот очевидный парадокс, исследователи проверили, как обладатели степени магистра права обновляют свою уверенность и решают, следует ли изменить свой ответ при получении внешней консультации.
Сначала «отвечающему LLM» предлагался вопрос с бинарным выбором ответа. После ответа он получал совет от второго LLM, сопровождаемый оценкой точности ответа. Этот «совет LLM» также мог либо согласиться с первым ответом отвечающего LLM, либо возразить, либо отнестись нейтрально к нему.
Затем отвечающему LLM предлагалось сделать окончательный выбор. Исследователи также варьировали, мог ли LLM видеть свой первый ответ при принятии окончательного решения.
Результаты Исследование показало, что магистры права (LLM) чаще придерживаются своего первоначального ответа и не меняют его, когда он виден, чем когда он скрыт. Другими словами, они становятся более уверенными в себе.
Исследование также показало, что, когда модели получают противоположные советы, они часто теряют уверенность и меняют своё решение. Они делают это гораздо охотнее, чем когда советы поддерживают их. Эти закономерности были выявлены в нескольких различных магистрах права, таких как Gemma 3, GPT4o и o1-preview.
«Наши результаты показывают, что поведение магистров права отличается от нормативного несколькими существенными способами: во-первых, они демонстрируют поразительную предвзятость в отношении выбора, которая повышает их уверенность в своем ответе и заставляет их придерживаться его даже при наличии доказательств обратного», — говорят исследователи.
«Во-вторых, мы показываем, что, хотя LLM действительно интегрируют новую информацию в свои убеждения, они делают это неоптимальным образом: они демонстрируют профиль обновлений уверенности, который отличается от идеального наблюдателя, и заметно переоценивают противоположные советы, что приводит к заметной потере уверенности в их первоначальном ответе».
Создание лучшего ИИ Всё это важно, поскол.
Система искусственного интеллекта может представить себе целый мир по одной картинке Ученые-компьютерщики Университета Джонса Хопкинса создали систему искусственного интеллекта, способную «воображать» свое окружение без необходимости …
Software 14:26, декабря 26, 2024 | android-robot.comSpinncloud представляет SpiNNaker2: чип искусственного интеллекта В рамках проекта Human Brain Project, запущенного Манчестерским университетом, компанией Spinncloud был создан ИИ-процессор SpiNNaker (Spiking Neural …
Наука и Технологии 16:24, мая 15, 2024 | hardwareluxx.ru
Лукашенко предупредил об опасности искусственного интеллекта К чему приведет развитие искусственного интеллекта в мире неизвестно. Об этом 10 июля заявил президент Белоруссии Александр Лукашенко на открытии XXX …
Технологии 21:26, июля 13, 2025 | eadaily.com
Эти 10 новых функций искусственного интеллекта появятся в iOS 18 В iOS 18 и macOS 15 появится множество новых функций искусственного интеллекта, таких как автогенерируемые эмодзи, предлагаемые ответы на электронные …
Наука и Технологии 10:12, мая 27, 2024 | itzine.ru
«Магнит» создал лабораторию искусственного интеллекта «Магнит» создал лабораторию искусственного интеллекта AI.Lab – подразделение компании, занимающееся разработкой... …
Интернет и Игры 18:12, апреля 18, 2024 | cnews.ru
Advantech IPC-730 – ПК для задач в сфере искусственного интеллекта Компания Advantech представила IPC-730 – промышленный компьютер для различных задач искусственного интеллекта: машинное... …
Интернет и Игры 21:26, ноября 3, 2024 | cnews.ru
«Первый Бит» открыл лабораторию искусственного интеллекта На базе интегратора ИТ-решений «Первый Бит» открылась лаборатория искусственного интеллекта (ИИ) – новое подразделение... …
Интернет и Игры 21:26, ноября 3, 2024 | cnews.ruAMD представила новые процессоры для искусственного интеллекта AMD представила новые процессоры Ryzen 9000 для ПК и Ryzen AI 300 для ноутбуков. Новые чипы обещают пользователям высокую производительность и поддер …
Наука и Технологии 06:42, июня 4, 2024 | ferra.ru
Ученые разработали чип для телекоммуникаций и искусственного интеллекта Команда из Лаборатории фотоники (PRL)-iTEAM Политехнического университета де Валенсии и компании iPRONICS создали чип для телекоммуникаций, центров о …
Наука и Технологии 23:54, апреля 15, 2024 | ferra.ru
У искусственного интеллекта обнаружили любимые числа В новом исследовании, проведенном аналитиками компании Gramener, стало ясно, что различные ИИ-модели предпочитают одни и те же числа при выборе случа …
Наука и Технологии 16:42, мая 30, 2024 | astera.ru
Маск пригрозил Apple из-за искусственного интеллекта Компани предпринимателя и миллиардера из США Илона Маска могут отказаться от устройств Apple. Дело в том, что корпорация ввела технологии искусственн …
Общие новости 02:36, июня 11, 2024 | ura.news
В Совфеде обсудили регулирование искусственного интеллекта Сенаторы признали: ИИ может вызвать проблемы, если попадет не в те руки. Применение технологии нуждается в серьезной законодательной корректировке. …
Власть и Закон 17:00, мая 24, 2024 | pravo.ru Представлен процессор Apple M4 — ещё больше искусственного интеллекта и игр С новым процессором производительность планшетов Apple будет сопоставима с новейшими игровыми ноутбуками. …
Наука и Технологии 18:24, мая 7, 2024 | iguides.ru
79% ИТ-специалистов не боятся потерять работу из-за искусственного интеллекта ИТ-компания QTIM и платформа онлайн-рекрутинга hh.ru провели совместный опрос среди российских ИТ-специалистов и... …
Интернет и Игры 00:26, января 4, 2025 | cnews.ru
Adobe добавляет в Photoshop функции искусственного интеллекта Adobe Photoshop получит масштабное ИИ-обновление, пишет Forbes.Компания Adobe анонсировала ряд новых функций искусственного интеллекта, которые будут …
Экономика и Финансы 16:42, апреля 23, 2024 | finam.ru Создание искусственного интеллекта для Кремля закончилось арестами Мало кто знает, что наряду с коммерческими справочно-правовыми системами существует и бесплатная информационно-правовая система «Законодательст …
Бизнес и Промышленность 04:18, июня 3, 2024 | rucriminal.info Программные решения для искусственного интеллекта: AMD покупает Silo AI за $665 млн. AMD объявила о покупке финской компании Silo AI за $665 миллионов. Silo AI разрабатывает ИИ-решения для корпоративного рынка и промышленности. Среди …
Наука и Технологии 14:26, июля 14, 2024 | hardwareluxx.ru
Arm выпустит чипы искусственного интеллекта к 2025 году Arm, британский разработчик чипов, 90% акций которого принадлежит SoftBank, планирует выпустить чипы искусственного интеллекта к следующему году на ф …
Экономика и Финансы 13:00, мая 13, 2024 | finam.ru Япония представила проект по регулированию искусственного интеллекта Премьер-министр Японии Фумио Кисида обнародовал международную структуру для регулирования и использования генеративного искусственного интеллекта. …
Гаджеты 07:24, мая 6, 2024 | gagadget.com В Уфе в межвузовском кампусе создадут Центр искусственного интеллекта Уже подписано соглашение Центра. Подписи поставили директор АНО «УК НОЦ РБ» Наталия Латыпова, генеральный директор ООО «Лексема» Виктор Тимошин и дир …
Общие новости 17:36, мая 28, 2024 | mgazeta.com В Сбере рассказали о будущем развитии искусственного интеллекта Следующим шагом искусственного интеллекта станет выход в физический мир. Об этом во время своей лекции "Новые горизонты с AI" в Волгоградском государ …
Бизнес 20:24, мая 17, 2024 | gazeta.ru OpenAI представила новую модель искусственного интеллекта GPT-4o Компания OpenAI, разработчик чат-бота ChatGPT, представила новую модель искусственного интеллекта – GPT-4o. Она быстрее предыдущей версии и обладает …
Общие новости 03:42, мая 14, 2024 | vz.ru
МТС усилила сеть в Якутии с помощью искусственного интеллекта МТС запустила на мобильной сети в большинстве регионах Дальнего Востока функционал распределения частотного... …
Интернет 14:18, мая 28, 2024 | internet.cnews.ru