Преобразование текста в видео – это следующий важный этап в области искусственного интеллекта. Пару недель назад можно было видеть, насколько потрясающей (и немного жутковатой) была реклама Pepperoni Hugspot, созданная искусственным интеллектом. Человек, который разработал это видео, рассказал, что его команда использовала инструмент под названием Runway Gen-2 для создания движущихся изображений в этом проекте. Механизму преобразования текста в видео они давали простые подсказки, такие как «счастливый мужчина / женщина / семья, едящие кусок пиццы в ресторане, телевизионная реклама», и получали фотореалистичный контент.
Аврам Пилтч получил доступ к публичной бета-версии Runway Gen-2, и он сообщил, что действительно впечатлен реалистичностью ее результатов. Несмотря на то, что видеоролики короткие, всего по четыре секунды каждое, качество изображений впечатляет, и все это работает путем отправки коротких запросов боту на сервере Discord от Runway ML.
Запрос Runway Gen-2
Вот как выглядел пьяный робот. Все видео можно воспроизводить в Discord, и вы можете скачать их в виде файлов MP4.
🐢Как сделать оповещения с твича и ютуба в дискорде | Настройка дискорд бота | Carl bot
Можно заметить, что приведенный выше клип был не совсем тем, что было запрошено. Робот не тошнит болтами. Вместо этого он просто угрожающе смотрит на кружку. Другие попытки выполнить эту подсказку тоже были не совсем тем, чего от него хотели. Если убрать слово «пьяный», то получится робот, открывающий рот, но ничего не выплевывающий.
Использование изображений с подсказками Runway Gen-2
Вы также можете передать изображения боту, либо скопировав и вставив их в Discord вместе с текстовым запросом, либо указав URL-адрес изображения. Однако Runway Gen-2 фактически не будет использовать загруженное вами изображение. Он будет черпать вдохновение только из изображения при создании собственного видео. Ему много раз загружали фото человека. Бот выдал видео людей, которые несколько похожи, но определенно не человеком с фото.
Например, когда Аврам Пилтч загрузил свою фотографию и не дал никакой дополнительной информации, на ней был изображен лысеющий мужчина средних лет в темных очках, который не был им, стоящий рядом с рекой и какими-то зданиями. Его рот шевелился, а вода двигалась.
Бот Runway Gen-2 лучше копирует эмоцию или тему изображения, которое вы предоставляете. Он прислал ему свое изображение с выражением отвращения на лице и попросил «этого парня, который смотрит в камеру и бормочет «о боже».
Многие пользователи сервера Discord говорят, что они добились отличных результатов, сгенерировав неподвижное изображение с помощью другого инструмента искусственного интеллекта, такого как Midjourney или Stable Diffusion, а затем передав это изображение в CLIP Interrogator 2.1 на Hugging Face, инструмент, который просматривает изображение, а затем дает вам подсказки, что, по его мнению, относится к этому изображению.
Аврам Пилтч попробовал этот процесс, попросив Stable Diffusion сделать изображение мальчика на тротуаре, играющего с игрушечными роботами в 1980-х. Затем он загрузил изображение в CLIP Interrogator и получил несколько примеров подсказок, которые были довольно очевидными, например, «мальчик стоит рядом с роботом». Тем не менее подача того же изображения в подсказку дала не совсем то, что требовалось. Получился мальчик с двумя роботами, стоящими перед улицей, но это была не та же самая улица или тот же мальчик.
Генерация движения
Само ограничение по времени обычно означает, что в каждом клипе не так много времени для движения. Но вдобавок ко всему, обнаружилось, что во многих клипах очень мало движения. Часто это было просто качание чьей-то головы, или вытекание какой-то жидкости, или дым, поднимающийся от огня.
Хороший способ получить больше движения — поставить подсказку, в которой запрашивается замедленная съемка или какое-либо панорамирование. Когда бот попросили замедленную съемку исландского вулкана или панорамный снимок нью-йоркского метро, то получились довольно хорошие результаты. Когда его попросили сгенерировать панорамный вид на горизонт Тайбэя, получилось движение облаков, но не панорама, и город определенно был не Тайбэем.
Просьба о беге, погоне или верховой езде может привести к выполнению задания, а может и не привести. Когда боту предложили сгенерировать «черепаха на скейтборде», то получилось какое-то странное, похожее на черепаху животное, катящееся по улице с большой скоростью. Но когда его попросили сгенерировать, как боксеры Intel и AMD сражаются друг с другом, то получилось изображение двух боксеров, которые вообще не двигались (и ни на одном из них не было логотипов Intel или AMD).
В чем хорош и плох Runway Gen-2
Как и другие генераторы изображений с искусственным интеллектом, Runway Gen-2 не очень хорошо справляется с воспроизведением очень специфических фирменных персонажей, продуктов или мест. Когда его попросили сгенерировать боксеров Марио и Луиджи, то получились два персонажа, которые выглядят как подделки персонажей Nintendo. Его много раз просили сделать видео с Годзиллой, но получались лишь непохожие гигантские ящерицы.
С отсылками к Minecraft было немного лучше. Когда его попросили сгенерировать крипера и эндермена, которые едят пиццу, а также крипера, который ест в Макдональдсе, то получились прилично выглядящие криперы, но вот эндермен получился не очень. Когда его попросили сгенерировать семейство криперов, поедающих пиццу, то получилось семейство гуманоидов, которые выглядят так, будто пришли из Майнкрафта. Любой, кто играл в Майнкрафт, знает, что криперы — это зеленые монстры с черными пятнами.
Инструмент ужасно плохо работает с логотипами. Ему дали логотип Tom’s Hardware и попросили использовать его в рекламе. В ответ он прислал это:
Источник: dzen.ru
Бот для совместного просмотра видео в Discord (Теперь можно смотреть влада а4 с друзьями прямо в дискорде!)
chapo
колобок опирел
Автор темы
Модератор
пригласить бота на свой сервер
Создать «комнату»: /activity [название канала] [любой из предложенных вариантов]
так же можно играть в betrayal.io, покер и fishington.io
SSProject
Печально, что с телефона не работает, а так прикольный бот
NeRin
пригласить бота на свой сервер
Создать «комнату»: /activity [название канала] [любой из предложенных вариантов]
так же можно играть в betrayal.io, покер и fishington.io
Посмотреть вложение 98177
Скажите, пожалуйста, не могли бы вы доработать бота, чтобы он не выходил вслед за человеком, который его активировал и задал ему плейлист? Было бы очень круто, если бы он выходил по окончанию своего плейлиста. То есть, даже если человек из войс-канала ушел, то бот бы работал и дальше, а любой входящий в любое время человек мог бы продолжить просмотр
Источник: www.blast.hk
Как настроить бота чтобы в дискорд сервере приходило уведомление о новом видео на канале? | Discord
Канал друга: https://youtube.com/channel/UC4SUoLxkhJgHnjqIbZt6H0A Сайт для бота: https://juniper.bot/ Мой дискорд: TemaPlay TV#1312 Дискорд друга: Fca.
Опубликовать в социальную сеть
Поделиться видео
Russian
- Albanian
- Amharic
- Arabic
- Brazilian
- Bulgarian
- Croatian
- Danish
- Deutsch
- English
- Farsi
- Français
- Georgian
- Greek
- Hebrew
- Italian
- Lithuanian
- Nederlands
- Polish
- Portuguese
- Română
- Serbian
- Slovak
- Spanish
- Swedish
- Türkçe
- Thai
Источник: best-coding.ru