ИИ проваливает языковой тест, исключая грамматику из уравнения
Они могут писать более-менее приличные стихи , создавать эстетически приятные картины и сочинять оригинальную музыку. Эти замечательные возможности могут создать впечатление, что генеративные системы искусственного интеллекта готовы взять на себя работу людей и оказать значительное влияние практически на все аспекты общества.
Однако, хотя качество их продукции иногда соперничает с работой, проделанной людьми, они также склонны уверенно штамповать фактически неверную информацию.
Скептики также подвергают сомнению их способность рассуждать . Большие языковые модели были созданы для имитации человеческого языка и мышления, но они далеки от человека. С младенчества люди учатся через бесчисленные сенсорные впечатления и взаимодействия с окружающим миром.
Большие языковые модели не учатся так, как люди, — вместо этого они обучаются на огромных массивах данных, большая часть которых взята из интернета.
Возможности этих моделей весьма впечатляют, и существуют агенты ИИ, которые могут посещать встречи вместо вас, ходить за вас по магазинам или обрабатывать страховые иски . Но прежде чем передавать ключи большой языковой модели для решения любой важной задачи, важно оценить, как их понимание мира соотносится с пониманием мира людей.
Я исследователь, изучающий язык и значение. Моя исследовательская группа разработала новый критерий , который может помочь людям понять ограничения больших языковых моделей в понимании значения.
Понимание смысла простых словосочетаний Так что же «имеет смысл» для больших языковых моделей? Наш тест включает оценку осмысленности двухсловных фраз существительное-существительное. Для большинства людей, которые бегло говорят по-английски, пары слов существительное-существительное, такие как «beach ball» и «apple cake», имеют смысл, но «ball beach» и «cake apple» не имеют общепонятного значения.
Причины этого не имеют ничего общего с грамматикой.
Это фразы, которые люди выучили и обычно принимают как осмысленные, разговаривая и взаимодействуя друг с другом с течением времени. Мы хотели проверить, имеет ли большая языковая модель такое же чувство смысла словосочетаний, поэтому мы создали тест, который измерял эту способность, используя пары существительное-существительное, для которых правила грамматики были бы бесполезны в определении того, имеет ли фраза узнаваемое значение.
Например, пара прилагательное-существительное, такая как «красный мяч», имеет смысл, в то время как ее перестановка, «мяч красный», делает словосочетание бессмысленным.
Тест не спрашивает у большой языковой модели, что означают слова. Вместо этого он проверяет способность большой языковой модели извлекать значение из пар слов, не полагаясь на опору простой грамм.
Министр: Свердловская область проваливает план по набору контрактников на СВО Свердловская область серьезно выбивается из графика по набору контрактников для участия в специальной военной операции РФ на Украине. План выполнен л …
Общие новости 20:12, апреля 16, 2024 | ura.newsGoogle облегчила жизнь учащимся: визуальный поиск Circle to Search научился решать уравнения Ранее в этом году Google представила функцию визуального поиска Circle to Search («Обведение для поиска»), которая позволит пользователям …
Software 13:36, мая 15, 2024 | 3dnews.ruiPadOS 18 получит Math Notes, свой почерк и обновленное приложение "Калькулятор", которое решает сложные уравнения Apple объявила о выпуске iPadOS 18, который принесет значительные обновления для пользователей iPad. …
Гаджеты 01:12, июня 11, 2024 | gagadget.com
Языковой предел: как изменится система экзаменов для мигрантов Коммерческие центры начали сворачивать свою работу, а вузы ищут новых партнеров среди госорганизаций …
Общие новости 21:00, апреля 18, 2024 | iz.ru
Google экспериментирует со встраиванием в Chrome большой языковой модели Компания Google объявила о проведении эксперимента по встраиванию в Chrome большой языковой модели машинного обучения. Для доступа к модели из web-пр …
Интернет и Игры 14:26, августа 10, 2024 | opennet.ruПравительство России утвердило концепцию государственной языковой политики Правительство России утвердило Концепцию государственной языковой политики страны. О принятии документа сообщили представители Министерства просвещен …
Политика 00:26, июня 15, 2024 | versia.ru
Языковой омбудсмен Кремень призвал к «наступательной украинизации» Украины Уполномоченный по защите украинского языка Тарас Кремень выступил по видеосвязи на международной конференции «Языки и культуры во время войны» в Лонд …
Общие новости 08:18, мая 3, 2024 | kommersant.ru
Языковой геноцид: пять лет назад на Украине запретили русский язык Курс на вытеснение русского языка украинские власти взяли уже давно, когда лишали его даже регионального статуса. …
Общие новости 04:18, мая 16, 2024 | ren.tv
Alibaba выпускает новую версию своей большой языковой модели Alibaba Cloud заявила в четверг, что выпустила последнюю версию своей большой языковой модели, передает CNBC.Цзинжэнь Чжоу, технический директор Alib …
Экономика и Финансы 23:36, мая 9, 2024 | finam.ru
Языковой скандал: Тренера сборной Украины попросили говорить на русском Во вторник вечером сборные Албании и Украины сойдутся в последнем туре групповой стадии Лиги нацийЧитать дальше → …
Футбол 14:26, ноября 19, 2024 | euro-football.ru
Языковой коуч Гуревич назвала препятствие на пути изучения иностранных языков Языковой коуч экспертов и предпринимателей, топ-тренер по снятию языкового барьера Ольга Гуревич рассказала, в чём, с её точки зрения, заключается ос …
Общие новости 18:30, июня 3, 2024 | russian.rt.com Microsoft запустила разработку собственной большой языковой модели ИИ — это добавит независимости от OpenAI Вложившая в капитал стартапа OpenAI более $10 млрд американская корпорация Microsoft, по данным The Information, занялась разработкой собственной бол …
Software 10:30, мая 7, 2024 | 3dnews.ru Самый популярный в мире языковой сервис не заблокируют в России: Duolingo выполнил требования Роскомнадзора Языковой сервис Duolingo выполнил требования Роскомнадзора, удалив контент, связанный с пропагандой ЛГБТ (*признано экстремистским движением и запрещ …
Наука и Технологии 13:42, июня 5, 2024 | ixbt.com Мигрантам установят языковой барьер // Минобрнауки и Рособрнадзор планируют изменить процедуру экзаменов для иностранцев Министерство науки и высшего образования РФ и Рособрнадзор планируют внести ряд изменений в процедуру экзаменации иностранных граждан, которые хотят …
Общество и Регионы 09:24, апреля 19, 2024 | kommersant.ru Языковой демарш Зеленского: Украинский лидер отказался говорить по-английски после напряженного визита в США Украинский лидер Владимир Зеленский изменил свою коммуникационную стратегию, отказавшись от использования английского языка в общении с журналистами …
Политика 00:26, марта 19, 2025 | pravda.ru
«К преимуществам NeMo можно отнести сильные многоязыковые возможности» // Александр Леви — о языковой модели Mistral и Nvidia Обозреватель “Ъ FM” Александр Леви рассказывает о модели с открытым исходным кодом от французской корпорации и ее отличиях от GPT-4o mini. …
Наука и Технологии 14:26, июля 24, 2024 | kommersant.ru Принципиальный суд: тест по позициям ВС Когда норм для защиты нарушенных прав недостаточно, в ход идут принципы. Они помогают суду разрешить дело с учетом основных идей правопорядка и «духа …
Власть и Закон 21:26, января 3, 2025 | pravo.ru Ученые улучшили тест на деменцию Простой пятиминутный тест 5-COG эффективно выявляет нарушения мышления и памяти у пожилых людей. Это показала работа, опубликованная в журнале Nature …
Наука 01:30, июня 10, 2024 | gazeta.ru Тест и обзор: радиатор Arctic M2 Pro для SSD В последние годы, с распространением PCIe 5.0, NVMe-накопители стали выделять немало тепла. И без хорошего радиатора уже не обойтись. На рынке можно …
Наука и Технологии 00:26, октября 25, 2024 | hardwareluxx.ru Тест. Цвет глаз и характер Макияж и сумочка, помада и украшения способны рассказать о женщине многое. Но все-таки, для того, чтобы информация стала более полной, стоит заглянут …
Знаменитости 00:26, августа 3, 2024 | woman.ru В США прошел тест вооруженных робопсов В Соединенных Штатах состоялись испытания новой версии роботизированных собак от компании Ghost Robotics. Улучшенная модель Quadruped Unmanned Ground …
Наука и Технологии 13:12, мая 10, 2024 | ferra.ru Ответственность директора: тест по позициям ВС Чтобы помочь директору избежать ответственности, нужно знать важные позиции Верховного суда. Например, о том, получится ли привлечь к субсидиарке дир …
Власть и Закон 21:26, августа 23, 2024 | pravo.ru GPT-4 впервые прошел тест Тьюринга GPT-4 впервые прошел тест Тьюринга, большинство участников исследования приняли нейросеть за человека, пишет Live Science.Тест, впервые предложенный …
Экономика и Финансы 14:26, июня 18, 2024 | finam.ru ТЕСТ: Какой вы волк? Определите по ауф-цитатам! Мемы с волками прошли большой эволюционный путь. Сначала в пабликах всерьёз постили картинки с животными, сопровождая их брутальными пацанскими цитат …
Это интересно 00:26, июня 23, 2025 | lifehacker.ru