Как сделать комикс в Телеграмме

Как неудачное приложение из конкурса telegram обрело вторую жизнь. В telegram.

43 750 просмотров

Этим летом telegram устроил конкурс по разработке мобильного приложения для создания стикеров.

С мобильной разработкой до этого момента я вообще не сталкивался, но у меня уже был другой бот, который делал из фото комиксы. Переделав исходный комикс-алгоритм под новую задачу, я сваял на коленке приложение на react native. Оно просто стучалось на api и позволяло сохранить и пошерить результат.

Приложение это после торжественного запуска утонуло в минусах. Впрочем, сообщество оказалось беспристрастно и заминусовало вообще всех, судя по тому, что максимальный балл там сейчас -1, лол.

Не дожидаясь результатов конкурса, я решил завернуть новый алгоритм в бота. И не прогадал, так как результатов конкурса все еще нет, а на дворе уже конец октября. Прием работ, напомню, был завершен в начале июля

face2sticker

В итоге получился telegram бот с одной функцией. Запустил я его еще летом, то есть до того, как это стало мейнстримом

Как сделать комикс / мангу ? + Розыгрыш комиксов

.png файлы можно использовать как угодно, хоть в том же instagram — прозрачность там отлично работает.
Правда, это на самом деле не png, а webp, так как телеграм не дает отправить webp файлом 🙁

Расскажу немного о реализации.

Сам бот написан на TypeScript/telegraf.js, алгоритм обработки фото — на питоне.
Пример бота в связке с питоном. Ему уже пара лет, но если будет интерес, могу попробовать причесать код текущего бота и тоже выложить на гитхаб.

Под капотом алгоритма несколько нейросетей, каждая из которых выполняет свою роль.

u2net создает маску для отделения ключевых объектов от фона,

RetinaFace обнаруживает лица и их ключевые точки.

Лицо вырезается, улучшается с помощью GPEN, стилизуется unet и вклеивается на фон, который также предварительно улучшается и стилизуется.

Вместе с этим изображения немного блюрятся и шарпятся для большего комикс-эффекта.

По координатам лица определяем, в какой части фото оно находится, и, исходя из этого, рисуем баббл с текстом. Вуаля!

Что дальше

Уже было небольшое обновление, в котором была добавлена минималистичная обработка — улучшение и обводка контуров лица, без комикс-стиля.
Алгоритм постоянно совершенствуется и облегчается, чтобы в будущем запилить поддержку анимированных стикеров.

Также в планах добавить и стикер-менеджмент, чтобы можно было создавать стикерпаки не отходя о кассы.

Если у вас есть какие-то пожелания — не забудьте отписать в комментах.

Источник: vc.ru

Автоматическая генерация комиксов с озвучкой через GPT-4

Мультимодальный telegram-бот, который я недавно сделал, получил оглушительный успех Я был удивлен, сколько людей воспользовались им и форкнули/лайкнули на гитхабе. Но захотелось чего-то большего.

Как сделать комикс за месяц? | Мой первый опыт

Я решил создать сервис, где люди могут создавать свои собственные комиксы, сказки, да и вообще любые истории. Желательно одним нажатием кнопки.

Моя идея заключалась в том, чтобы создать программу, которая бы могла генерировать истории на основе небольшого числа параметров. Это был язык, затравка для генерации текста, визуальный сеттинг, и т.д. Я знал, что для этого мне нужно использовать GPT-4, какое то API для картинок, переводчик, и синтезатор речи. После быстрой проверки, оказалось что все это доступно и не так уж дорого!

В голове родилась следующая картинка:

На реализацию ушло чуть меньше двух недель. Но прошу не судить слишком строго — ведь я в одном лице разработчик backenda, frontenda, devops-инженер, дизайнер, product manager и маркетолог. И еще кое-кто.

Некоторые технические моменты опишу ниже.

Картинки

Решил использовать старый добрый Stable Diffusion, ведь он дешевый (даже опенсорсный, но я использую API) и довольно неплохо рисует, а MidJourney все равно закрыт.

Генерирую изображение, соответствующее описанию каждого шага сцены. Кроме того, я добавил различные визуальные стили и сеттинг, чтобы сделать изображения более привлекательными и соответствующими контексту сцены. Например, я использовал стилизацию изображений в стиле Star Wars, Disney, Marvel и т.д. Все это на выбор пользователя.

В результате я получаю набор изображений в едином стиле, которые готовы для генерации видео.

Недавно в одном сообществе подбросили почти гениальную идею — не создавать картинки, а гуглить их на Google Pictures. Это бесплатно, быстро, и в некоторых случаях даже лучше работает, например для новостей. Определенно реализую.

Звук

Когда я только начал работать над проектом, я столкнулся с проблемой – как сделать так, чтобы пользователи могли не только читать, но и слушать созданные истории?

И тут мне пришла в голову идея озвучивать кусочки текста через Google Text-to-Speech. Он позволяет создавать реалистичное голосовое сопровождение на разных языках и с различными голосами.

Нужно лишь разбить текст, сгенерированный GPT-4 на абзацы, и отправить каждый абзац на озвучивание. Таким образом, пользователи могут читать историю и одновременно слушать ее озвученную версию. Это делает процесс чтения более интересным и увлекательным, а также помогает людям, которые предпочитают слушать текст, а не читать его.

Видео

Самым сложным оказалась сборка истории через videoshow.js.

Для создания видео я создал объекты, которые будут содержать информацию о каждом кадре видео. Для этого я использовал примерно такой код:

const videoOptions = < fps: 25, loop: 5, transition: true, transitionDuration: 1, videoBitrate: 1024, videoCodec: «libx264», size: «640x?», audioBitrate: «128k», audioChannels: 2, format: «mp4», pixelFormat: «yuv420p», >; const imageDescriptions = [ < path: «path/to/image1.jpg», caption: «Caption 1» >, < path: «path/to/image2.jpg», caption: «Caption 2» >, < path: «path/to/image3.jpg», caption: «Caption 3» >, ]; const audio = «path/to/combined/audio.mp3»;

В этом коде я определил параметры видео, такие как частота кадров, длительность цикла, битрейт видео и аудио, а также размер видео и формат файла. Также создается массив объектов, каждый из которых содержит путь к картинке и ее описание, а также путь к одному большому аудио файлу.

Далее я создал массив объектов, каждый из которых будет представлять собой кадр видео:

const frames = []; for (let i = 0; i < imageDescriptions.length; i++) < const image = imageDescriptions[i]; const frame = < path: image.path, caption: image.caption, loop: 5, >; frames.push(frame); >

В этом коде я прохожу по каждой картинке и создаю объект кадра, который содержит путь к картинке, ее описание и длительность кадра.

Наконец, собирается видео, используя созданные ранее объекты:

videoshow(frames, videoOptions) .audio(audio) .save(«path/to/output.mp4») .on(«start», function (command) < console.log(«ffmpeg process started:», command); >) .on(«error», function (err, stdout, stderr) < console.error(«Error:», err); >) .on(«end», function (output) < console.log(«Video created in:», output); >);

Довольно много времени ушло на отладку всего этого. И вот, для примера, одна из получившихся историй:

Глобализация

Генератор историй не привязан к языку, является полностью глобальным. На самом деле, на любом языке из списка Google Text-2-Speech.

Так что в моих планах запуск в том числе и на американский рынок, ProductHunt, Y Combinator и все такое Буду рад любой поддержке в этом направлении.

Философские вопросы

Наконец, использование контента, созданного искусственным интеллектом, вызывает несколько философских вопросов. Например, какова роль человека в создании и использовании такого контента? Каковы этические вопросы, связанные с использованием искусственного интеллекта для создания контента, который может имитировать человеческий разум и поведение? Каково будущее создания и использования контента, созданного искусственным интеллектом, и как это повлияет на нашу культуру и общество в целом? Эти вопросы требуют серьезного обсуждения и размышления, чтобы мы могли максимально эффективно использовать потенциал искусственного интеллекта в нашем мире.

Но я решил сначала сделать, а потом уже думать об этом

Будет ли автоматический контент достаточно высокого качества?

Сегодня существуют алгоритмы, которые способны создавать достаточно качественный тексты, звук, изображения. Однако, пока что они не могут заменить творческий потенциал человека и создать нечто совершенно новое и оригинальное.

Функция редактирования истории может помочь в том чтобы сделать контент более качественным и интересным. Редактирование позволяет улучшить и доработать отдельные слайды, исправить ошибки, добавить новые элементы, расставить ударения наконец. Кроме того, редактор всегда может внести свой творческий вклад.

А что думаете вы? Интересный ли проект? Стали бы пользоваться? Какие способы монетизации посоветуете?

UPD: ознакомиться с проектом можно по этой ссылке

Источник: habr.com

Как создавать медийные посты в Telegra.ph

Создания ценности через контент — это ваш ключевой навык для раскрутки канала в Telegram. Цель ценности контента — способность решать какую-либо проблему. Важно опубликовать контент так, чтобы он генерировал трафик. Для этого существует несколько сервисов. В этой статье я расскажу о Telegra.ph.

Telegraph

Telegra.ph дает возможность публиковать тексты, фотографии, видео. Если разместить ссылку на пост в Telegraph в чат или собственный канал, то подписчики смогут посмотреть статью с функцией быстрого просмотра Instant View . То есть, при нажатии на ссылку, происходит мгновенный переход на статью. В частности, в Telegraph вы можете создать : 1-2) курсив, жирный 3) ссылка 4-5) два типа заголовков (первого и второго уровней) 6) цитирование 7) вставка фотографии (с возможностью добавить подпись)

8) вставка видео с YouTube и Vimeo Про цитирование нужно заметить, что оно бывает двух видов

Якоря

С помощью якорей можно сделать оглавление, можно отправить читателя сразу к интересующему его месту вашего текста. Якорь — это заголовок, который не должен повторяться далее, не может быть одинаковым с другим заголовком. Ссылка на якорь начинается с тега # и без пробелов. Если в заголовке несколько слов, они пишутся через тире (пример #Глава-номер-пять) ссылка #_tl_editor она просто перебрасывает в начало всего документа.

Работа с картинками

Картинки можно вставить с помощью маленького фотоаппаратика, что появляется слева в каждой новой строке абзаца, либо просто перетянуть сюда и сохранить. Можно перетащить картинку из интернета, например с яндекса. Иногда бывает, при попытки сохранить публикацию сразу после вставки картинки, выскакивает надпись «Upload in progress.

Please wait. » Тут нужно просто подождать, пока картинка прогрузится в телеграф. Картинку можно подписывать: Вы видите надпись под картинкой Caption (optional)? Здесь можно подписывать картинку.

Видео

В телеграф можно загружать как видео так и гиф. Размер не должен превышать 5 Мб. Делается также через маленький фотоаппаратик (жмем <>), появится

Страничность

1. Для начала сохраняем первую статью. Потом создаем вторую. Тоже сохраняем.
2. Копируем ссылку 2-й статьи и идем в первую и редактируем.
3. Внизу документа, пишем сообщение формата «Следующая глава», или «Читать дальше».
4. Сохраняем, копируем ссылку первого документа, идем во второй и повторяем пункт два.

Пример: ЧИТАТЬ ДАЛЬШЕ —>

Так можно вернуться в начало статьи. Помните же про тег#_tl_editor , пример его применения: Наверх (вставляем код)

Вот так выглядит пост в Telegraph на моем канале Деньги в Telegram

Желаю вам создавать медийные посты!

Но в Telegraph есть одно “но”. Telegraph не индексируется поисковыми системами. Проще говоря, ваши посты в Telegraph не будут видны поисковым системам, которые будут дополнительно выдавать их в выдаче поиска. Поэтому в следующей статье я расскажу, какие сервисы индексируются в поиске, в том числе сервис https://spark.ru/

Если вас интересует красота и молодость, подпишитесь на канал Леди Молодость: https://goo.gl/i98KZX

Спасибо за внимание и ваше время. Инна Нефедовская

#telegram #телеграм #Telegraph #контентtelegram

Источник: spark.ru