Использование иллюстраций для обучения системы компьютерного зрения без изображений распознаванию реальных фотографий
Они могут писать код рендеринга изображений для создания сложных сцен с интригующими объектами и композициями — и даже если эти знания не используются должным образом, LLM могут улучшить свои изображения.
Исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) наблюдали это, когда предлагали языковым моделям самостоятельно корректировать свой код для различных изображений, при этом системы улучшали свои простые рисунки с каждым запросом.
Визуальные знания об этих языковых моделях получены из того, как такие понятия, как формы и цвета, описываются в Интернете, будь то на языке или в коде.
Когда им дают такое указание, как «нарисовать попугая в джунглях», пользователи запускают LLM, чтобы обдумать то, что они читали в описаниях ранее. Чтобы оценить, насколько обширными визуальными знаниями обладают LLM, команда CSAIL провела «проверку зрения» для LLM: используя свой «набор данных визуальных способностей», они проверили способности моделей рисовать, распознавать и самостоятельно корректировать эти концепции.
Собрав каждый окончательный вариант этих иллюстраций, исследователи обучили систему компьютерного зрения, которая определяет содержание реальных фотографий.
Их работа опубликована на сервере препринтов arXiv . «По сути, мы тренируем систему зрения, не используя напрямую какие-либо визуальные данные », — говорит Тамар Ротт Шахам, соавтор исследования и постдок в CSAIL из Массачусетского технологического института в области электротехники и информатики (EECS).
«Наша команда запросила языковые модели, чтобы написать коды рендеринга изображений для генерации данных для нас, а затем обучила систему зрения оценивать естественные изображения.
Нас вдохновил вопрос о том, как визуальные концепции представляются с помощью других средств, таких как текст.
визуальные знания, LLM могут использовать код как точку соприкосновения между текстом и изображением». Чтобы создать этот набор данных, исследователи сначала запросили модели, чтобы сгенерировать код для различных форм, объектов и сцен.
Затем они скомпилировали этот код для визуализации простых цифровых иллюстраций, таких как ряд велосипедов, показав, что студенты LLM достаточно хорошо понимают пространственные отношения, чтобы рисовать двухколесные транспортные средства в горизонтальном ряду.
Другой пример: модель создала торт в форме автомобиля, объединив две случайные концепции. Языковая модель также создала светящуюся лампочку, что указывает на ее способность создавать визуальные эффекты. «Наша работа показывает, что когда вы запрашиваете LLM (без мультимодального предварительного обучения) для создания изображения, он знает гораздо больше, чем кажется», —.
Apple купила французский стартап, создающий технологии ИИ и компьютерного зрения — СМИ Компания Apple приобрела парижский стартап Datakalab, специализирующийся на сжатии данных искусственного интеллекта и технологии компьютерного зрения …
Гаджеты 20:42, апреля 23, 2024 | gagadget.comApple купит технологии компьютерного зрения и специалистов стартапа Prompt AI за «некоторую сумму» Согласно данным ресурса CNBC, компания Apple близка к заключению сделки со стартапом Prompt AI, специализирующимся на разработке технологий компьютер …
Software 21:26, октября 12, 2025 | 3dnews.ru
«Делимобиль» автоматизировал обработку фотографий с помощью алгоритмов машинного зрения «Делимобиль», российский оператор каршеринга, внедрил модели машинного зрения на основе искусственного интеллекта... …
Интернет и Игры 13:42, мая 20, 2024 | cnews.ru
Konica Minolta Business Solutions Russia и Facemetric предложат заказчикам решения на базе технологий компьютерного зрения ИТ-провайдер полного цикла Konica Minolta Business Solutions Russia и Facemetric, российский разработчик решений для бизнеса, основанных... …
Интернет и Игры 14:24, мая 15, 2024 | cnews.ruChatGPT на основе зрения демонстрирует дефицит интерпретации радиологических изображений Исследователи, оценивающие производительность ChatGPT-4 Vision, обнаружили, что модель хорошо справилась с текстовыми вопросами радиологического экза …
Интернет и Игры 14:26, сентября 4, 2024 | android-robot.comGoogle разберётся с OpenAI за использование YouTube для обучения ИИ Генеральный директор Google Сундар Пичаи (Sundar Pichai) пообещал «разобраться», если выяснится, что OpenAI использовала контент YouTube …
Hardware 01:00, мая 16, 2024 | 3dnews.ruOpenAI позволит правообладателям запретить использование контента для обучения ИИ OpenAI сообщила, что разрабатывает инструмент под названием Media Manager, который позволит создателям и владельцам контента отметить свои работы для …
Hardware 16:36, мая 8, 2024 | 3dnews.ruSony пригрозила 700 компаниям судом за несанкционированное использование музыки для обучения ИИ Sony Music Group разослала предупреждения более чем 700 технологическим компаниям и службам потоковой передачи музыки о недопустимости использования …
Hardware 17:54, мая 18, 2024 | 3dnews.ru
Reddit подала в суд на Anthropic за использование данных соцсети для обучения ИИ без ее согласия Социальная сеть Reddit подала в суд против ИИ-стартапа Anthropic, сообщает Bloomberg. Согласно иску, с июля 2024 года Anthropic более 100 тыс. раз пы …
Это интересно 07:26, июня 6, 2025 | incrussia.ru
Anthropic выплатит авторам 1,5 млрд долларов за использование книг для обучения ИИ Выплаты будут производиться в размере около 3000 долларов за каждое произведение, и общий объем может увеличиться, если число заявленных работ превыс …
Интернет и Игры 07:26, сентября 8, 2025 | itndaily.ru Роботы с ногами успешно катаются на скейтборде с помощью системы обучения с подкреплением Роботы с ногами, которые часто вдохновлены животными и насекомыми, могли бы помочь людям выполнять различные задачи реального мира, например, доставл …
Наука и Технологии 00:26, марта 23, 2025 | android-robot.com В Минобрнауки определились с продолжительностью обучения студентов в рамках новой системы высшего образования Российская система высшего образования готовится к масштабным преобразованиям, которые отменят единые сроки обучения для всех специальностей. Нововве …
Общество и Регионы 14:26, ноября 17, 2025 | versia.ru
ЕС может ввести запрет на использование системы передачи финансовых сообщений Банка России Европейский союз (ЕС) может ввести запрет на использование системы передачи финансовых сообщений Банка России, заменившей SWIFT. Такие меры рассматри …
Бизнес и Промышленность 20:12, мая 6, 2024 | finam.ru Google платит Apple по $20 млрд за использование своей поисковой системы на iPhone, iPad и Mac Компания Google продолжает выплачивать Apple огромные суммы только для того, чтобы сохранить свою поисковую систему в качестве основной на устройства …
Наука и Технологии 19:42, мая 2, 2024 | ichip.ru Гендиректор скандального стартапа по распознаванию лиц ушёл в отставку Хоан Тон-Тхат, генеральный директор Clearview AI, ушел в отставку, заявив, что в его жизни наступило «время для следующей главы». Он останется в сове …
Наука и Технологии 21:26, февраля 22, 2025 | ferra.ru В Красноярском крае прокуратура потребовала изъять из продажи и уничтожить «Вредные советы» Григория Остера — якобы из-за жестоких иллюстраций Прокуратура Красноярского края потребовала изъять из продажи и уничтожить книгу Григория Остера «Вредные советы». Об этом сообщил журналист Андрей Кр …
Общие новости 06:12, мая 28, 2024 | meduza.io Для отечественного бизнеса необходимо ввести стандарты по распознаванию дипфейков Зампредседателя правления Сбербанка Станислав Кузнецов принял участие в пленарной сессии SOC-форума, посвященного безопасности бизнеса …
Общество и Регионы 14:26, ноября 19, 2025 | primamedia.ru Бумажные паспорта уйдут в прошлое благодаря смартфонам и распознаванию лиц В ближайшие годы традиционные бумажные паспорта могут стать пережитком прошлого. Вместо них на смену придут технологии распознавания лиц и смартфоны, …
Software 14:26, декабря 30, 2024 | 3dnews.ru Экс-сотрудник Amazon обвинил компанию в нарушении санкций. По его словам, она поставляла в РФ технологию по распознаванию лиц после начала войны Бывший сотрудник Amazon Чарльз Форрест утверждает, что компания нарушила санкционные ограничения Великобритании, продолжив поставлять свою технологию …
Общие новости 00:00, июня 8, 2024 | meduza.io
X-Com расширяет ассортимент серверов и компьютерного оборудования Группа компаний X-Com подписала партнерское соглашение с компанией RDW Technology — российским производителем компьютерного и серверного оборудования …
Наука и Технологии 07:12, мая 17, 2024 | iemag.ru Обзор компьютерного корпуса DeepCool CH690 Digital CH690 — выполнен в модной сегодня стилистике «аквариумов», когда мы можем видеть комплектующие уже не только через одну из боковых стенок системного …
Наука и Технологии 21:26, июня 11, 2025 | droidnews.ru Обзор компьютерного кресла Zone 51 Freelancer Y2 Black Без пафоса и излишков — таков девиз игрового компьютерного кресла Freelancer Y2 Black от компании Zone 51. Пожалуй, это и впрямь крайне простой и пон …
Интернет и Игры 21:26, марта 25, 2025 | itndaily.ru
В Мариуполе будет создан центр компьютерного спорта — ДАН В городе Мариуполь Донецкой Народной Республики планируется создать центр компьютерного спорта «БАZA» для тренировок и соревнований геймеров. …
Спорт 21:26, сентября 18, 2024 | eadaily.com Федерация компьютерного спорта России создаст VR-игру Федерация компьютерного спорта России анонсировала создание первой отечественной игры виртуальной реальности (VR). Об этом сообщил президент Федераци …
Наука и Технологии 21:26, сентября 3, 2024 | ferra.ru