Платформа VoicePilot улучшает коммуникацию между людьми и физически ассистирующими роботами
Большие языковые модели (LLM), которые могут как понимать, так и генерировать человеческий язык и код, имеют решающее значение для эффективной коммуникации человека и робота.
Группа исследователей из Института робототехники Университета Карнеги-Меллона признала важность LLM и определила, что дальнейшая разработка инновационных интерфейсов улучшит коммуникацию между людьми и вспомогательными роботами, что приведет к улучшению ухода за людьми, страдающими двигательными нарушениями.
Исследовательская группа, в состав которой вошли преподаватели и студенты из Лаборатории роботизированного ухода и взаимодействия с человеком (RCHI), Лаборатории взаимодействия человека и робота (HARP) и Лаборатории мягких машин (SML), предложила VoicePilot — структуру и рекомендации по проектированию для включения LLM в качестве речевых интерфейсов для физически ассистивных роботов.
Будучи экспертами в области взаимодействия человека и робота , команда обеспечила, чтобы их подход был ориентирован на человека, что сделало VoicePilot первой работой, в которой люди напрямую взаимодействовали с LLM, интегрированным в физически ассистирующего робота.
Статья VoicePilot была принята к публикации на Симпозиуме по программному обеспечению и технологиям пользовательского интерфейса ( UIST 2024 ), который пройдет в Питтсбурге в октябре.
Она доступна на сервере препринтов arXiv.
«Мы считаем, что степень магистра права является ключом к разработке персонализируемых и надежных речевых интерфейсов для вспомогательных роботов, которые могут предоставить роботам возможность интерпретировать высокоуровневые команды и тонкие настройки», — сказала Джесси Юань, соавтор и студентка бакалавриата в Лаборатории роботизированного ухода и взаимодействия с человеком.
Группа реализовала свой речевой интерфейс на основе LLM на Obi, коммерчески доступном вспомогательном роботе для кормления.
Целью использования Obi было дать пользователям персонализированные инструкции, во многом похожие на инструкции для человека, осуществляющего уход, и успешно выполнить эти персонализированные инструкции.
Чтобы проверить эффективность VoicePilot, команда провела исследование на людях с 11 пожилыми людьми, проживающими в независимом жилом учреждении.
Используя предопределенные задачи, открытый сеанс кормления и анализ аудиозаписей, собранных в ходе исследования, они собрали данные для предоставления рекомендаций по проектированию для включения LLM во вспомогательные интерфейсы.
Команда использовала собранные данные, чтобы определить пять основных принципов интеграции LLM в качестве речевых интерфейсов: интеграция должна предлагать возможности настройки, последовательно выполнять несколько функций, выполнять команды со скоростью, сопостав.
3D-печать улучшает коммуникацию между врачами и пациентами С технологией аддитивного производства индивидуальных анатомических моделей некоторые учреждения сделали огромные шаги для содействия коммуникации ме …
3D Печать 21:54, мая 3, 2024 | 3d-expo.ruНа кинофестивале «Малая земля» представили ленту о важности диалога между людьми На Открытом российском фестивале патриотического кино «Малая земля» в Новороссийске представили короткометражную ленту об армянине и азербайджанке, к …
Общие новости 08:18, мая 22, 2024 | nsn.fmУ автодилеров появится платформа для торговли машинами между собой Ассоциация «Российские автодилеры» (РОАД) до конца нынешнего года запустит платформу, на которой дилеры будут продавать друг другу машины. Об этом пи …
Авто / Мото 12:06, апреля 22, 2024 | motor.ru
«Паранойя структурирует все отношения между людьми через разделение их на своих и чужих» // Почему нам часто кажется, что нас преследуют Часто кажется, что паранойя буквально пронизывает современный мир. Мы видим ее проявления в мировых новостях и склоках социальных сетей; обвинения в …
Культура и искусство 15:48, апреля 26, 2024 | kommersant.ru
Цифровая платформа для управления стройкой Pragmacore и облачная платформа Tangl реализовали бесшовную интеграцию Цифровая платформа для управления строительными проектами Pragmacore (резидент «Сколково») и российская платформа... …
Интернет и Игры 16:48, апреля 19, 2024 | cnews.ruИИ помог врачам улучшить коммуникацию с пациентами Исследователи из Университетской медицинской школы Калифорнийского университета в Сан-Диего (UC San Diego) провели исследование, в рамках которого оц …
Наука и Технологии 19:18, апреля 16, 2024 | ferra.ruОтношения ребенка и отчима: как наладить коммуникацию Психолог делится важными советами, как построить позитивные отношения между ребенком и вашим новым избранником. …
Знаменитости 00:26, июня 21, 2024 | 7days.ru
«МТС Exolve» поможет наладить коммуникацию участникам модной индустрии «МТС Exolve» внедрила сервис «Защита номера» в работу платформы Bee-online.ru — отраслевой экосистемы для производителей... …
Интернет 21:26, сентября 4, 2025 | internet.cnews.ru
Крайводоканалу и муниципалитетам поручено наладить коммуникацию со ставропольцами по вопросам водоснабжения В правительстве края состоялось очередное заседание регионального штаба по противодействию последствиям аномальной жары. …
Общие новости 21:26, июля 26, 2024 | news.1777.ru
Орлов: Энрике пока не готов физически Российский комментатор Геннадий Орлов оценил игру нападающего "Зенита" Луиса Энрике в матче с "Локомотивом" (1:1). …
Футбол 14:26, апреля 6, 2025 | rusfootball.info
«Удалось эффективно выстроить коммуникацию с игровым сообществом», — Сергей Русских из «Сайберия Нова» об итогах 2025 года Продолжаем вместе с топ-менеджерами и экспертами игровой индустрии подводить итоги 2025 года. На очереди — интервью с генеральным директором студии « …
Наука и Технологии 21:26, декабря 31, 2025 | app2top.ru
Комличенко — о сборной Нигерии: «Физически сильные ребята» Форвард «Ростова» и сборной России Николай Комличенко прокомментировал BetBoom товарищеский матч с Нигерией (1:1). …
Футбол 00:26, июня 8, 2025 | sport-express.ru
Николич: «Алеррандро физически не очень готов на данный момент» Главный тренер ЦСКА Марко Николич объяснил, почему новичок команды Алеррандро не сыграл в 19-м туре РПЛ с «Зенитом» (0:0). …
Футбол 00:26, марта 2, 2025 | sport-express.ru Грибам доверили управлять роботами Американские инженеры использовали электрические сигналы, генерируемые грибным мицелием, для управления роботами. Для этого они вырастили мицелий веш …
Наука 00:26, сентября 6, 2024 | nplus1.ru Ученые нашли решение для субсветового физически возможного варп-двигателя Физики из США нашли решение для субсветового варп-двигателя, двигающегося с постоянной скоростью, которое удовлетворяет всем энергетическим условиям …
Наука 17:12, мая 20, 2024 | nplus1.ru
В Арктике прошли учения по борьбе с роботами Экипаж большого противолодочного корабля "Вице-адмирал Кулаков", возглавляющего отряд кораблей и судов Северного флота, провел в Карском море учения …
Военное 07:26, августа 29, 2024 | военное.рф
Будро: «Овечкин физически не может делать то, чего хочет от него его разум» Бывший главный тренер «Вашингтона» Брюс Будро поделился мнением об игре российского нападающего «Кэпиталз» в первом раунде плей-офф НХЛ против «Рейнд …
Спорт 06:36, апреля 26, 2024 | sport-express.ru Лапорта: Флик сможет подготовить «Барселону» физически, не отказываясь от нашего стиля Президент «Барселоны» Жоан Лапорта поделился ожиданиями от работы нового главного тренера каталонского клуба Ханс-Дитера Флика. …
Спорт 05:48, июня 5, 2024 | championat.com Россиянам рассказали, почему будущее за человекоподобными роботами Топ-менеджер «Сбера» рассказал о развитии роботов, созданных по подобию человекаНа Петербургском экономическом форуме старший вице-президент Сбербанк …
Наука и Технологии 14:36, июня 9, 2024 | ferra.ru Затопленные рудники могут быть разработаны роботами Интересное предложение поступило от ученых Уральском государственном горном университете. Они находят возможной разработку важных месторождений, оказ …
Наука и Технологии 09:00, апреля 23, 2024 | api.follow.it «Лента» оснастит роботами-уборщиками новые супермаркеты Розничная сеть «Лента» завершила тестирование автоматической поломоечной машины Pudu CC1. По его результатам компания трудоустроила робота-уборщика в …
Наука и Технологии 20:42, мая 9, 2024 | news.rambler.ru Ученые создали новый способ управления роботами Исследователи из Японии и Швейцарии разработали новый метод управления роботами, который позволит им более естественно двигаться и приспосабливаться …
Наука и Технологии 02:24, мая 9, 2024 | ferra.ru