Модели ИИ учатся разделять задачи, сокращая время ожидания сложных подсказок
Традиционные LLM основаны на концепции «авторегрессивного декодирования», где каждый элемент («токен») в последовательности предсказывается на основе ранее сгенерированных выходных данных.
Такой подход неизбежно приводит к задержкам при обработке более сложных подсказок, хотя исследователи пытались смягчить это с помощью проектов, более эффективно использующих параллелизм многоядерных компьютерных чипов.
Например, спекулятивное декодирование использует быструю черновую модель для предложения токенов, которые затем параллельно проверяются более медленной, высококачественной моделью.
Новый класс методов вместо этого использует «семантическую независимость», выявляя синтаксические шаблоны, такие как пункты списка, и параллельно раскрывая каждый из них.
Однако они опираются на вручную созданные синтаксические эвристики, которые нестабильны и часто дают сбои, когда ответы отклоняются от ожидаемых форматов.
Эти недостатки вдохновили исследователей из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) и Google использовать подход, основанный на обучении, для параллельного декодирования.
Вместо того, чтобы полагаться на фиксированные правила, их метод обучает LLM распознавать семантическую независимость, то есть параллельно идентифицировать и декодировать семантически независимые фрагменты текста.
В частности, метод параллельной структурной аннотации (PASTA), разработанный командой CSAIL, позволяет магистрам права генерировать текст параллельно, значительно ускоряя время ответа .
В отличие от предыдущих попыток, которые опирались на жёсткие, вручную запрограммированные правила для определения независимых текстовых сегментов, PASTA позволяет магистрам права изначально понимать и выражать эти возможности параллелизации в своих ответах.
Этот подход, называемый «обученным асинхронным декодированием», знаменует собой переход к обучению моделей самостоятельной стратегии параллельного декодирования.
Результаты исследования опубликованы на сервере препринтов arXiv . «Традиционные программы магистратуры права (LLM) подобны повару, готовящему лазанью в одиночку, шаг за шагом», — пояснил Тянь Цзинь, ведущий автор новой статьи по проекту, представленной на Международной конференции по машинному обучению ( ICML 2025 ) в Ванкувере.
«PASTA учит повара понимать, когда разные части лазаньи можно готовить одновременно, например, смешивая подмножество ингредиентов, пока разогревается духовка, что значительно ускоряет процесс в целом».
Это нововведение устраняет фундаментальное узкое место в выводе LLM, где последовательный характер декодирования часто приводит к недоиспользованию оборудования и длительному ожид.
Омские светофоры будут подстраиваться под дорожный трафик, сокращая время в пути Режимы их работы можно запрограммировать заранее, адаптируя под расписание будней, выходных или праздников. …
Общие новости 21:26, ноября 9, 2024 | om1.ru
Bitget повышает эффективность найма с помощью ИИ, сокращая время подбора персонала на 38% Bitget, ведущая криптовалютная биржа и компания в сфере Web3, опубликовала... Сообщение Bitget повышает эффективность найма с помощью ИИ, сокращая вр …
Наука и Технологии 07:26, марта 2, 2025 | gadgets.suГоликова перечислила важнейшие задачи ФМБА на ближайшее время Федеральное медико-биологическое агентство (ФМБА) должно принять все меры для достижения показателей нацпроекта «Здравоохранение», который завершаетс …
Общие новости 20:18, апреля 25, 2024 | vz.ruРакета «Ангара-А5 выполнила все задачи во время испытательного пуска Российская ракета-носитель тяжелого класса «Ангара-А5» выполнила все поставленные задачи во время испытательного пуска, который состоялся 11 апреля, …
Наука и Технологии 22:06, апреля 17, 2024 | news.rambler.ruAndroid 15 увеличит время автономной работы в режиме ожидания до 3 часов Вторая бета-версия Android 15 уже доступна и она приносит некоторые интересные улучшения. Одно из них связано с продолжительностью работы в режиме ож …
Гаджеты 20:18, мая 19, 2024 | gagadget.com
Диспетчерам Петроградского ГУЖА удалось сократить время ожидания на линии в 100 раз Внедрение бережливых технологий в работу единой диспетчерской службы СПб ГКУ «Жилищное агентство Петроградского района» сократило среднее время ожида …
Общие новости 00:26, августа 29, 2025 | konkretno.ruСобянин: Время ожидания приема врача в поликлиниках сократилось с 30 до 7 минут Это достижение стало возможным благодаря комплексным мерам, направленным на оптимизацию работы медицинских учреждений и внедрение новых технологий. П …
Общие новости 21:26, марта 30, 2025 | dni.ruAndroid 15 увеличил время работы смартфонов в режиме ожидания на 3 часа Грядущее обновление Android 15 от Google обещает увеличить время автономной работы в режиме ожидания до трех дополнительных часов на некоторых устрой …
Наука и Технологии 15:00, мая 19, 2024 | ferra.ru
Время ожидания — минимум. Билайн запустил доставку SIM-карт от 15 минут Билайн запустил экспресс-доставку SIM-карт от 15 минут в партнерстве с Самокатом. До сих пор минимальный срок получения составлял около 40 минут при …
Общие новости 14:26, ноября 10, 2025 | aif.ru
Время ожидания на приеме в частных медицинских клиниках России: факторы и влияние. Вопрос времени ожидания на приеме у врача в частных медицинских клиниках России является достаточно актуальным и интересующим многих пациентов. Опред …
Медицина 08:36, апреля 24, 2024 | versiya.info Военный эксперт назвал главные задачи России на фронте в ближайшее время Для России важно в ближайшее время сохранить темп наступления на фронте, считает военный эксперт, доцент кафедры политического анализа и социально-пс …
Военное 14:42, июня 2, 2024 | news.rambler.ru Как объединять и разделять ячейки в Excel: инструкция Объединение ячеек в Excel может придать таблице более опрятный вид и облегчить навигацию по данным. По сути, она превращает несколько прилежащих ячее …
Наука и Технологии 07:26, ноября 11, 2024 | news.rambler.ru Вылечить овечку без «шпор» и подсказок: будущие айболиты сдали новый демоэкзамен в ЕАО Проверку готовности к профессиональной деятельности на практическом демонстрационном экзамене прошли выпускники отделения ветеринарии ОГПОБУ «Сельско …
Общие новости 21:18, июня 9, 2024 | riabir.ru В Дубае в ближайшее время начнут официально продавать модели Lada В ходе Петербургского международного экономического форума один из участников, прибывший из Дубая, посидел за рулем новой модели Iskra: он заявил, чт …
Авто / Мото 16:36, июня 7, 2024 | motor.ru Беруби не будет разделять Мэттьюса и Марнера в 6-й игре: «Я им доверяю. Я верю в них» Главный тренер «Лифс» Крэйг Беруби сообщил, что не намерен разделять дуэт форвардов в 6-й игре серии плей-офф. На данный момент «Торонто» уступает «Ф …
Хоккей 07:26, мая 17, 2025 | sports.ru Компания расширяет производство, сокращая его в своём автограде Российский автогигант вознамерился существенно расширить географию производства своих машин. До 2028 года концерн, чьё главное предприятие работает в …
Общие новости 14:26, ноября 11, 2025 | versia.ru
Миллениалы учатся на курсах материнства Подготовка к родам – дело обоснованное и понятное. Много женских страхов собрал вокруг себя процесс родоразрешения. Но что с материнством?! Онлайн-шк …
Общие новости 00:26, ноября 14, 2024 | 443000.ru Как нейросети меняют Интернет и учатся креативности? ИИ-системы становятся все лучше и лучше, стремительно меняя Интернет и подход к креативности. Изображение: media.wired.com С момента своего дебюта ге …
Наука и Технологии 23:12, июня 12, 2024 | hi-news.ru Ставропольские школьники учатся управлять беспилотниками В Кочубеевском округе Ставрополья дети учатся управлять беспилотниками. Кроме того, изучают их устройство. …
Общие новости 11:30, мая 8, 2024 | stavropolye.tv Лепс объяснил, почему его дети учатся за границей Народный артист России Григорий Лепс объяснил, почему его дети учатся за границей. Об этом он поговорил в рамках записи интервью для YouTube-канала " …
Культура и искусство 13:36, мая 11, 2024 | gazeta.ru Rutube в США: кто-то ошибся, а американцы уже учатся готовить пельмени Команда видеохостинга Rutube с юмором отреагировала на ситуацию, связанную с попыткой блокировки их мобильного приложения для Android в официальном м …
Наука и Технологии 07:26, октября 5, 2024 | api.follow.it «Учатся далеко»: Филипп Киркоров отправил детей за границу Дети Филиппа Киркорова — 12-летняя Алла-Виктория и 11-летний Мартин — учатся за границей. Об этом сообщили в эфире федерального телеканал …
Общие новости 23:18, июня 2, 2024 | 5-tv.ru