Несмотря на впечатляющие результаты, генеративный ИИ не обладает целостным пониманием мира
Такие удивительные возможности могут создать впечатление, что модели неявно изучают некие общие истины о мире. Но это не обязательно так, согласно новому исследованию.
Исследователи обнаружили, что популярный тип генеративной модели ИИ может предоставлять пошаговые инструкции по вождению в Нью-Йорке с почти идеальной точностью — без формирования точной внутренней карты города.
Несмотря на сверхъестественную способность модели эффективно ориентироваться, когда исследователи закрыли некоторые улицы и добавили объезды, ее эффективность резко упала.
Копнув глубже, исследователи обнаружили, что карты Нью-Йорка, неявно сгенерированные моделью, содержали множество несуществующих улиц, изгибающихся между сеткой и соединяющих далекие перекрестки.
Это может иметь серьезные последствия для моделей генеративного ИИ, используемых в реальном мире, поскольку модель, которая, как кажется, хорошо работает в одном контексте, может выйти из строя, если задача или среда немного изменятся.
«Одна надежда заключается в том, что, поскольку LLM могут делать все эти удивительные вещи с помощью языка, возможно, мы могли бы использовать эти же инструменты и в других областях науки.
Но вопрос о том, изучают ли LLM согласованные модели мира, очень важен, если мы хотим использовать эти методы для совершения новых открытий», — говорит старший автор Ашеш Рамбачан, доцент кафедры экономики и главный исследователь в Лаборатории информационных и систем принятия решений Массачусетского технологического института (LIDS).
К Рамбачану в работе над статьей о работе присоединились ведущий автор Кейон Вафа, постдок Гарвардского университета; Джастин Й.
Чен, аспирант электротехники и компьютерных наук (EECS) Массачусетского технологического института; Джон Кляйнберг, профессор компьютерных наук и информационных наук Университета Тиша в Корнеллском университете; и Сендхил Муллайнатан, профессор Массачусетского технологического института на кафедрах EECS и экономики, а также член LIDS.
Исследование будет представлено на конференции по нейронным системам обработки информации.
Работа опубликована на сервере препринтов arXiv.
Новые метрики Исследователи сосредоточились на типе генеративной модели ИИ, известной как трансформатор, которая формирует основу LLM, таких как GPT-4.
Трансформеры обучаются на огромном количестве языковых данных, чтобы предсказывать следующий токен в последовательности, например, следующее слово в предложении.
Однако, по словам исследователей, если ученые хотят определить, создал ли магистр права точную модель мира, то простого измерения точности его предсказаний будет недостаточно.
Например, они обнаружили, что трансформер может почти всегда предсказывать правильные ходы в игре «Четыре в ряд», не понимая при этом никаких правил.
Итак, ко.
Федеральный проект «Искусственный интеллект» показал впечатляющие результаты, считают в Сбере Федеральный проект «Искусственный интеллект» показал впечатляющие результаты. Об этом заявил первый зампред правления Сбербанка Александр Ведяхин. «М …
Общество и Происшествия 23:54, мая 11, 2024 | ng.ru
Агент Эраковича: «Страхинья верил в чемпионство, несмотря на то, что результаты «Зенита» были не лучшими» Зоран Павлович, агент защитника «Зенита» Страхиньи Эраковича, прокомментировал чемпионство сине-бело-голубых по итогам сезона-2023/24. …
Футбол 05:24, мая 27, 2024 | sport-express.ruНесмотря на санкции. В Калининград съехались философы со всего мира В Калининграде проходит четырехдневный международный философский конгресс, посвященный трехсотлетию Канта. …
Общие новости 01:06, апреля 23, 2024 | aif.ru"Видим положительные результаты": Алиев выразил надежду на восстановление мира на Южном Кавказе Процесс согласования армяно-азербайджанской границы даёт надежду на заключение мирного соглашения. Соответствующее заявление сделал президент Азербай …
Общие новости 20:00, мая 19, 2024 | life.ruЭкс-наставник "Динамо" Крикунов объяснил, почему смотрит чемпионат мира, несмотря на отстранение России Бывший главный тренер московского "Динамо" Владимир Крикунов рассказал об интересе к чемпионату мира по хоккею. Соревнования проходят в эти дни в Чех …
Хоккей 16:42, мая 23, 2024 | sport.ru
Индия не выходит из Моди // Лидер «крупнейшей демократии мира» переизбран на третий срок, несмотря на успех оппозиции В Индии обнародовали итоги всеобщих выборов, которые власти страны назвали «самым продолжительным и масштабным голосованием в мировой истории». Правя …
Общие новости 10:42, июня 5, 2024 | kommersant.ruСамые впечатляющие достижения биопечати Передовые разработки в области биопечати доказывают, что медицина и трансплантология радикально изменятся в ближайшее время. …
3D Печать 18:06, апреля 22, 2024 | 3d-expo.ruКремль отнесся к решению Канады по российскому титану с пониманием В Кремле с пониманием отнеслись к разрешению на использование Airbus российского титана вопреки санкциям, заявил Песков. По его словам, ряд компаний …
Общие новости 13:42, апреля 25, 2024 | rbc.ru
OpenAI представит ИИ-ассистента с пониманием сарказма и добавит в ChatGPT звонки Компания OpenAI может вскоре представить цифрового помощника с поддержкой мультимодального искусственным интеллектом. Как сообщает ресурс The Informa …
Hardware 14:42, мая 12, 2024 | 3dnews.ru
Google демонстрирует впечатляющие возможности Project Astra на I/O 2025 Project Astra — это передовой ИИ-ассистент, способный выполнять задачи в реальном времени с высокой автономностью. Главной особенностью Project Astra …
Интернет и Игры 00:26, мая 22, 2025 | itndaily.ru
Подростки-мусульмане в ФРГ с пониманием относятся к насилию, если речь идет об Аллахе Треть немецких подростков-мусульман с пониманием относятся к актам насилия в отношении людей, оскорбляющих Аллаха или пророка Мухаммеда. Об этом свид …
Общество и Регионы 09:12, апреля 21, 2024 | eadaily.com
Расходы съели впечатляющие доходы: бюджет страны остался дефицитным В первом квартале бюджет впечатляюще прирос доходами. Нефтегазовые выросли на 82,2%, а ненефтегазовые — на 36,8%. Правда, и государственные расходы з …
Энергетика 04:30, мая 14, 2024 | eadaily.com Композитная пена обладает прочностью стальной брони Легкие и одновременно прочные материалы больше не фантастика, а реальность. После многолетних интенсивных испытаний инновационный материал под назван …
Наука и Технологии 14:26, февраля 21, 2025 | api.follow.it
Эксперты группы ЛАНИТ: «Российский рынок облачных услуг который год подряд демонстрирует впечатляющие темпы роста» В группе ЛАНИТ делают большую ставку на развитие облачного бизнеса. Например, в Artezio развивают синергию облачных технологий и искусственного интел …
Наука и Технологии 00:26, мая 9, 2025 | ict-online.ru Каждый город на Земле обладает своим уникальным микробиомом После завершения уникального исследования международная группа ученых заявила об индивидуальном микробиомном следе каждого города. В рамках проекта б …
Наука и Технологии 00:48, июня 7, 2024 | pravda.ru
Харин о жизни в Грозном: «Было тяжело привыкнуть, особенно, что нельзя носить шорты. Вышел гулять в них – на меня все смотрели. Отношусь с пониманием» Полузащитник «Ахмата» родился и вырос в Эстонии. – Ты уже шесть лет в Грозном. Насколько велико культурное отличие между Эстонией и Чечней? – Отличие …
Спорт 19:42, июня 6, 2024 | sports.ru Учёные обнаружили необъяснимую экзопланету — она обладает плотностью сахарной ваты Среди более чем 5000 открытых учёными экзопланет нашлось настоящее чудо — планета-гигант с плотностью сахарной ваты. Есть только одна экзоплане …
Hardware 17:30, мая 14, 2024 | 3dnews.ru
Баранник: «Алипу в пару нужен «хозяин», он не обладает «шефскими» способностями» Экс-футболист «Зенита» и бывший глава селекционного отдела сине-бело-голубых Дмитрий Баранник поделился мнением об игре казахстанского защитника Нура …
Спорт 15:30, мая 4, 2024 | sport-express.ru Билл Гейтс обладает большой властью и продолжает неофициально работать в Microsoft В марте 2020 года Билл Гейтс, сооснователь Microsoftи ее генеральный директор официально покинул компанию. В 2021 году газета Wall Street Journal соо …
Наука и Технологии 11:24, апреля 30, 2024 | ixbt.com Adobe интегрирует генеративный ИИ Firefly в Photoshop Компания Adobe объявила о серии обновлений для Photoshop, включая возможность создавать изображения с помощью системы искусственного интеллекта Firef …
Гаджеты 20:42, апреля 23, 2024 | gagadget.com Генеративный ИИ улучшил защиту конфиденциальности фотографий Исследователи из Японии, Китая и Финляндии разработали систему под названием Generative Content Replacement (GCR), которая использует генеративный ис …
Наука и Технологии 09:06, июня 2, 2024 | ferra.ru Adobe разработает генеративный ИИ для видеоредактора Premiere Pro Adobe разрабатывает генеративную модель искусственного интеллекта для семейства Firefly, которая привнесет новые инструменты в платформу видеоредакти …
Наука и Технологии 23:54, апреля 15, 2024 | ferra.ru