В Китае представлена модель генерации видео, которая превращает изображение в видеоролик
Это прорыв, который может изменить сферу цифровых развлечений и коммуникаций. Новая система под названием OmniHuman генерирует видеоролики в полный рост, на которых люди жестикулируют и двигаются в соответствии с речью, превосходя предыдущие модели искусственного интеллекта, которые могли анимировать только лица или верхнюю часть тела.
Как OmniHuman использует 18 700 часов обучающих данных для создания реалистичного движения.
«В последние годы сквозная человеческая анимация претерпела заметные улучшения», — пишут исследователи ByteDance в статье, опубликованной на arXiv .
«Однако существующие методы по-прежнему с трудом масштабируются в качестве больших общих моделей генерации видео, что ограничивает их потенциал в реальных приложениях».
Команда обучила OmniHuman на более чем 18 700 часах человеческих видеоданных, используя новый подход, который объединяет несколько типов входных данных — текст, аудио и движения тела.
Эта стратегия обучения «всеобщих условий» позволяет ИИ обучаться на гораздо более крупных и разнообразных наборах данных, чем предыдущие методы.
Прорыв в создании видео с помощью искусственного интеллекта демонстрирует движения всего тела и естественные жесты.
«Наша главная идея заключается в том, что включение в процесс обучения множественных кондиционирующих сигналов, таких как текст, аудио и поза, может значительно сократить потери данных», — пояснила исследовательская группа.
Технология знаменует собой значительный прогресс в медиа, созданных с помощью ИИ , демонстрируя возможности, которые варьируются от создания видеороликов людей, произносящих речи, до изображения субъектов, играющих на музыкальных инструментах.
В ходе тестирования OmniHuman превзошел существующие системы по нескольким показателям качества.
Технологические гиганты соревнуются за разработку систем видеоискусственного интеллекта следующего поколения.
Развитие происходит на фоне усиливающейся конкуренции в области генерации видео с использованием искусственного интеллекта, когда такие компании, как Google , Meta и Microsoft, разрабатывают схожие технологии.
Прорыв ByteDance может дать ее материнской компании TikTok преимущество в этой быстро развивающейся области. Эксперты отрасли говорят, что такая технология может трансформировать производство развлечений, создание образовательного контента и цифровые коммуникации.
Однако она также вызывает опасения относительно потенциального злоупотребления при создании синтетических медиа в обманных целях.
Исследователи представят свои выводы на предстоящей конференции по компьютерному зрению, хотя пока не уточнили, когда и на какой именно.
На культовом ПК Commodore 64 из 1982 года запустили модель ИИ, которая создаёт изображение 8 х 8 пикселей за 20 минут Для работы с искусственным интеллектом сейчас используют либо специализированные процессоры, либо GPU, либо NPU. А авто канала Nick Bild решил попроб …
Наука и Технологии 19:30, мая 10, 2024 | ixbt.comТеперь BMW M-Series будут производить в Китае. Там засняли первую модель X1 M35Li, которая мощнее, чем европейская или американская версии Компания BMW начала собирать первые автомобили M-Series в Китае. Модель X1 M35Li была сфотографирована на стенде автосалона в Гуандуне, Гонконге и Ма …
Наука и Технологии 22:48, июня 1, 2024 | ixbt.comTopaz Labs представила диффузную ИИ-модель, которая автоматически улучшает старые видео Компания Topaz Labs, специализирующая на разработке программного обеспечения для редактирования фотографий и видео, представила модель ИИ Project Sta …
Software 21:26, февраля 7, 2025 | 3dnews.ruУченые назвали еду, которая превращает детей в "старичков" Дети, которых кормят ультраедой, становятся похожи на старичков, ведь в их организмах проходят те же изменения в обмене веществ, что и у их бабушек и …
Общие новости 00:06, мая 24, 2024 | tolknews.ruОпубликовано первое изображение разрабатываемой в США «малой крылатой ракеты», которая запускается с транспортных самолётов Благодаря системе Rapid Dragon появляется возможность запуска "малых крылатых ракет" при помощи сброса контейнера с десантной рампы военно-транспортн …
Военное 19:18, мая 10, 2024 | topwar.ruСтратегия, которая превращает независимые театры в локальные культурные ориентиры Административный директор и со-основатель "Полупустого театра" Егор Годионенко рассказывает, как прозрачная экономика, сильные партнёрства и дисципли …
Культура и искусство 21:26, октября 20, 2025 | pravda.ruТуристы делятся схемой, которая превращает дорогой отпуск в бюджетный квест Планирование отдыха часто начинается с вопроса: как уложиться в бюджет, не жертвуя комфортом? По словам экспертов туристической отрасли, при грамотно …
Туризм, путешествия 21:26, октября 6, 2025 | pravda.ruApple анонсирует свою первую модель генерации кода искусственного интеллекта — Swift Assist Swift Assist , описанный как сопутствующий инструмент для всех задач кодирования, призван помочь разработчикам преобразовывать идеи в код и сосредото …
Наука и Технологии 14:26, июля 3, 2024 | android-robot.com
Почему ИИ для генерации видео сделают NVIDIA еще влиятельнее Генеральный директор NVIDIA Дженсен Хуанг накануне сообщил, что новые модели ИИ, создающие видео, увеличат спрос на нейрочипы компании. Ранее популяр …
Наука и Технологии 15:30, мая 24, 2024 | ferra.ru «Сбер» запустил нейросеть для генерации видео Kandinsky Video 1.1 Открытое бета-тестирование нейросети уже ведется. Оценить работу ИИ могут все. С помощью Kandinsky Video 1.1 создаются ролики длинной до 6 секунд с ч …
Наука и Технологии 21:54, мая 29, 2024 | ichip.ru
Представлена GPT-4o: самая умная и быстрая ИИ-модель OpenAI Компания OpenAI провела презентацию большой языковой модели GPT-4o. Она стала в два раза быстрее предшественника, обучена как на тексте, так и на мул …
Наука и Технологии 16:18, мая 14, 2024 | 4pda.to Представлена модель для предсказания структуры белков AlphaFold 3 Компании Google DeepMind и Isomorphic Labs, принадлежащие Alphabet, представили AlphaFold 3 — новую версию модели на основе машинного обучения для пр …
Наука 13:36, мая 9, 2024 | nplus1.ru OpenAI запустила в открытый доступ нейросеть Sora для генерации видео OpenAI объявила о публичном выпуске нейросети Sora для генерации видео – почти через 10 месяцев после первой демонстрации в феврале 2024 года. Фактич …
Гаджеты 07:26, декабря 12, 2024 | mobidevices.com Meta разрабатывает новые модели для генерации изображений, видео и текста Meta работает над двумя новыми моделями искусственного интеллекта для обработки изображений и видео, а также для генерации текста. По данным The Wall …
Гаджеты 00:26, декабря 21, 2025 | gagadget.com Новый ИИ для генерации видео Microsoft станет следующей «интернет-революцией» Microsoft разрабатывает технологию, которая снова может перевернуть наше представление о цифровом мире. VASA-1 – модель, создающая реалистичное видео …
Наука и Технологии 08:48, апреля 19, 2024 | ferra.ru Представлена новая модель шин для аграрного сектора от KAMA TYRES Компания KAMA TYRES объявила о начале серийного производства новой модели сельскохозяйственных шин КАМА АТТ в типоразмере 600/70R30. Новинка предназн …
Hardware 21:26, апреля 7, 2025 | android-robot.com Сбер показал новую версию нейросети для генерации видео Kandinsky Video 1.1 Команда разработчиков Сбера выпустила обновленную версию нейросети Kandinsky Video 1.1 для создания видео. По словам разработчиков, новая модель увел …
Наука и Технологии 15:30, мая 29, 2024 | itzine.ru Adobe Premiere Pro получит мощные инструменты генерации видео на основе ИИ семейства Firefly Компания Adobe работает над добавлением новых инструментов на базе искусственного интеллекта в свою платформу для видеомонтажа Premiere Pro. …
Гаджеты 21:48, апреля 16, 2024 | gagadget.com Представлена универсальная модель с открытым исходным кодом для манипулирования объектами роботов Публичный выпуск ChatGPT и других больших языковых моделей (LLM) позволил разработчикам по всему миру начать экспериментировать с этими моделями для …
Software 19:36, июня 12, 2024 | android-robot.com 271 л.с., постоянный полный привод и только механическая коробка передач. Представлена Subaru WRX tS (которая не совсем STI) Subaru говорила, что не будет выпускать версию STI на базе WRX текущего поколения, и компания свое слово держит, ведь новая WRX tS — это не STI …
Наука и Технологии 04:24, мая 31, 2024 | ixbt.com «Павербанк», который умеет делиться на две самостоятельные половинки. Представлена модель Nimble Champ Stack 10K Компания Nimble на выставке CES 2026 представила очень необычный «павербанк» Champ Stack 10K. Это фактически два отдельных портативных ак …
Наука и Технологии 14:26, января 11, 2026 | ixbt.com Ora 03, которая продается в России, обновилась в Китае У себя на родине Ora, суббренд Great Wall, вовсю готовится к премьере «ноль-третьего», обновленного в середине жизненного цикла. Обошлось малой кровь …
Авто / Мото 14:26, мая 29, 2025 | motor.ru