Инструмент на основе ИИ создает простые интерфейсы для виртуальной и дополненной реальности
В конечном итоге команда хотела разработать элемент управления, который обеспечивал бы тактильную обратную связь, используя только датчики, поставляемые со стандартной гарнитурой дополненной/виртуальной реальности.
OmniTouch, предыдущий метод, разработанный Крисом Харрисоном, доцентом HCII и директором Future Interfaces Group, был близок к этому.
Но этот метод требовал специальной, неуклюжей камеры с датчиком глубины.
У Вимала Моллина, аспиранта, которого консультировал Харрисон, возникла идея использовать алгоритм машинного обучения для обучения обычных камер распознаванию прикосновений.
«Попробуйте взять палец и посмотреть, что произойдет, когда вы коснетесь им кожи. Вы заметите, что есть эти тени и локальные деформации кожи, которые возникают только тогда, когда вы касаетесь кожи», — сказал Моллин.
«Если мы можем их увидеть, то мы можем обучить модель машинного обучения делать то же самое, и это, по сути, то, что мы сделали».
Mollyn собрал данные для EgoTouch, используя специальный сенсорный датчик, который проходил по нижней стороне указательного пальца и ладони. Датчик собирал данные о различных типах прикосновений с разной силой, оставаясь невидимым для камеры.
Затем модель научилась соотносить визуальные особенности теней и деформаций кожи с прикосновением и силой без человеческого комментария.
Команда расширила сбор данных для обучения, включив в него 15 пользователей с разным тоном кожи и густотой волос, и собрала многочасовые данные по различным ситуациям, видам деятельности и условиям освещения.
EgoTouch может определять прикосновения с точностью более 96% и имеет уровень ложных срабатываний около 5%. Он распознает нажатие вниз, поднятие вверх и перетаскивание.
Модель также может классифицировать, было ли прикосновение легким или сильным, с точностью 98%. «Это может быть очень полезно для реализации функции щелчка правой кнопкой мыши по скину», — сказал Моллин.
Обнаружение изменений в касании может позволить разработчикам имитировать жесты сенсорного экрана на коже. Например, смартфон может распознавать прокрутку вверх или вниз страницы, увеличение масштаба, смахивание вправо или нажатие и удерживание значка.
Чтобы перевести это в интерфейс на основе кожи, камера должна распознавать тонкие различия между типом касания и силой прикосновения.
Точность была примерно одинаковой для разных тонов кожи и густоты волос, а также для разных участков руки и предплечья, таких как передняя часть руки, задняя часть руки, ладонь и тыльная часть руки.
Система не очень хорошо работала на костных участках, таких как суставы пальцев. «Ве.
Спортивные игры с дополненной и виртуальной реальностью улучшают психическое здоровье и социальные связи Давно известно, что физические виды спорта помогают бороться с тревогой и улучшают психическое здоровье. Но могут ли спортивные игры с дополненной и …
Software 07:26, сентября 26, 2025 | android-robot.comApple прекратила разработку очков дополненной реальности Apple отменила проект по разработке очков дополненной реальности (AR), подключаемых к компьютерам Mac, что стало еще одной неудачей компании на этом …
Наука и Технологии 21:26, февраля 2, 2025 | ferra.ruЭлектромобиль Атом получил собственное ПО для дисплея дополненной реальности Разработчики электромобиля «Атом» выпустили альфа-версию программного обеспечения Builder, который представляет собой конструктор для создания прилож …
Наука и Технологии 19:18, апреля 16, 2024 | ferra.ruВ России впервые провели операцию с использованием дополненной реальности Российские медики впервые использовали технологии дополненной реальности для проведения операцииВ Оренбургской областной клинической больнице имени В …
Наука и Технологии 23:48, апреля 22, 2024 | ferra.ru"Известия" рассказали о разработке системы дополненной реальности для врачей Учёные из МГТУ имени Н. Э. Баумана разработали оптический модуль для системы дополненной реальности для использования в медицине. Об "AR-очках" для в …
Наука и Технологии 13:48, мая 30, 2024 | pravda.ruВ России разработали шлем для спасателей с технологией дополненной реальности На международном салоне «Комплексная безопасность — 2024» представлен шлем, оборудованный технологией дополненной реальности, способный обеспечить ви …
Наука и Технологии 17:54, мая 30, 2024 | ferra.ruПредставлен 3D-смартфон для дополненной реальности без поддержки мобильной связи Компания Xreal анонсировала необычный смартфон Beam Pro без поддержки функций мобильного телефона. Об этом сообщает портал GSMArena. Отличительной ос …
Наука и Технологии 12:54, мая 31, 2024 | news.rambler.ruMudRunner адаптируют для шлемов виртуальной реальности Издатель и разработчик Saber Interactive анонсировал новую игру в серии MudRunner, специально адаптированную для шлемов виртуальной реальности — MudR …
Наука и Технологии 18:12, апреля 25, 2024 | astera.ru
Дисплей дополненной реальности в электромобиле «Атом» будет работать на собственном ПО Разработчики электромобиля «Атом» выпустили альфа-версию программного обеспечения Builder. Это конструктор приложений... …
Наука и Технологии 14:06, апреля 18, 2024 | zoom.cnews.ru
Ученые рассказали о первых российских очках дополненной реальности для хирургов Специалисты МГТУ имени Н.Э. Баумана создали отечественный оптический модуль для системы дополненной реальности. Он позволяет на основе данных МРТ или …
Общие новости 05:36, мая 30, 2024 | iz.ru
Выпущены первые в истории очки дополненной реальности, от которых не тошнит Американские исследователи сообщили о разработке первых очков дополненной реальности (AR), которые не вызывают неприятных ощущений или тошноты при ис …
Наука и Технологии 15:30, мая 23, 2024 | zoom.cnews.ru
Представлен ноутбук Spacetop G1 со 100-дюймовым экраном в дополненной реальности за $1900 Компания Sightful в начале этого года выпустила в рамках программы раннего доступа инновационный ноутбук Spacetop, не имеющий экран — вместо не …
Software 21:24, мая 30, 2024 | 3dnews.ru Компания Sightful сделала прорыв — ноутбук с очками дополненной реальности Компания Sightful представила довольно необычный портативный компьютер Spacetop G1. У него отсутствует стандартный экран — вместо этого разработчики …
Наука и Технологии 21:36, июня 9, 2024 | pravda.ru
Google заключил соглашение со стартапом дополненной реальности Magic Leap Google и стартап дополненной реальности Magic Leap договорились о стратегическом партнерстве, пишет агентство Reuters. Компания Magic Leap в своем бл …
Экономика и Финансы 01:24, июня 1, 2024 | finam.ru К технологии виртуальной реальности пребегли для обучения на механиков CNN сообщает, что в исправительном заведении для женщин в штате Мэриленд в США пятнадцать заключенных готовятся к экзаменам по автомобильному техобсл …
Наука и Технологии 21:36, июня 9, 2024 | pravda.ru
Выпуск открытой платформы виртуальной реальности Monado 25.1.0 Представлен выпуск проекта Monado 25.1.0, развивающего открытую реализацию стандарта OpenXR. Стандарт OpenXR подготовлен консорциумом Khronos и опред …
Интернет и Игры 00:26, декабря 14, 2025 | opennet.ru Представлены Xreal One: главный претендент на звание лучших очков дополненной реальности Компания Xreal представила новую серию очков дополненной реальности — Xreal One. Линейка включает две модели: базовую Xreal One и продвинутую Xreal O …
Наука и Технологии 14:26, декабря 6, 2024 | ichip.ru В Google Play Store скоро добавят категорию для гарнитур дополненной реальности Google собирается расширить свой магазин Play Store, добавив поддержку гарнитур дополненной реальности (XR). Об этом стало известно благодаря изменен …
Наука и Технологии 14:26, ноября 4, 2024 | astera.ru Как технологии виртуальной реальности формируют инклюзивное будущее архитектуры Представьте, что вы входите в дом своей мечты еще до того, как он будет построен. Технологии виртуальной реальности (VR) производят революцию в архит …
Software 14:26, января 16, 2025 | android-robot.com Создан прецедент использования виртуальной реальности в судебном процессе Американский судья округа Брауард, Эндрю Сигел, стал первым в истории правосудия, кто использовал виртуальную реальность в зале суда. Во время слушан …
Наука и Технологии 14:26, января 5, 2025 | pravda.ru Медитация в виртуальной реальности может облегчить симптомы депрессии и тревоги Новое исследование, проведенное в Школе общественного здравоохранения Техасского университета A&M, предоставляет дополнительные доказательства того, …
Software 00:26, февраля 1, 2025 | android-robot.com Видеокарту GeForce RTX 4070 проверили в виртуальной реальности — тест в 11 VR-играх Возможности видеокарты и VR-гарнитуры проверили на ПК с процессором AMD Ryzen 9 7950X3D и 32 ГБ ОЗУ DDR5-6000. Результаты:Subnautica, настройки High …
Наука и Технологии 17:30, мая 4, 2024 | ichip.ru