Пример такого — это FeedRetranslatorBot в телеграме которые перенаправляет новости из RSS каналов на сайте и просто страниц где есть новости в телеграм каналы.
Ivan Begtin
Aug 14, 2018 • 4 min read
В свободное от общественных и коммерческих проектов время я немного сам программирую. В основном то что мне же самому нужно и что может пригодится другим.
Пример такого — это FeedRetranslatorBot в телеграме которые перенаправляет новости из RSS каналов на сайте и просто страниц где есть новости в телеграм каналы. Бот был сделан для того чтобы заменить разного рода новостные читалки, а для удобства вместо категорий новостей чтобы можно было создать себе новостные каналы и в них транслировать то что интересно.
Особенность именно FeedRetranslatorBot в алгоритмах внутри которые извлекают новости из сайтов у которых нет экспорта в RSS. Примеры:
- сайт ЦСР http://csr.ru/
- раздел пресс-релизов Лукойла http://www.lukoil.ru/PressCenter/Pressreleases
- отдел по церковной благотворительности РПЦ http://www.diaconia.ru/news/diaconia
- и многие другие
Инструкция как подключить канал
- Необходимо создать новый публичный канал. В десктопном приложении это раздел «New channel» на английском или «Новый канал» на русском.
У канала надо заполнить основные его параметры: название, описание и выбрать картинку - Сделать канал публичным
После создания необходимо настроить канал для работы
В настройках канала укажите что это «Public channel» а в Link укажите публичный идентификатор канала. В данном случае — это rudigitaltop - Добавьте бота к администраторам канала.
В Manage Channel нажмите на вкладку Administrators
Нажмите кнопку «Add administrator»
В поиске наберите FeedReatranslatorBot и нажмите на выпадающий бот.
Подтвердите назначение бота администором канала
Установите и подтвердите разрешения для бота. На практике ему достаточно прав на публикацию материалов. - Добавление канала для подписок
Откройте чат с FeedRetranslatorBot и наберите команду /channel (то которое было указано в Link). Пример: /channel rudigitaltop
Как настроить RSS для сайтов, Telegram, YouTube, Twitter, Instagram. Не пропускай новости!
как подключить автопостинг телеграмм бота через Rss ленту
Проверьте ленту которую вы хотите транслировать в канал командой /test. Это позволит убедится что новости извлекаемы из этого источника. Пример в данном случае «/test https://corp.mail.ru/ru/press/releases/» проверяет извлекаются ли корпоративные новости mail.ru
Добавьте новости командой /add . Пример «/add rudigitaltop https://yandex.ru/blog/company/rss»
В итоге получился канал «Ведущие интернет компании» (rudigitaltop) в который транслируются новости Яндекса, Mail.ru груп, 1С, 2Gis и других.
Список всех каналов и привязанных к ним подписок можно получить командой «/list».
Пример того как выводятся подписки по каналу rudigitaltop
Примеры каналов
На основе бота уже создано множество каналов:
- Правительственный дайджест https://t.me/govdigest : новости администрации Президента, Правительства, ключевых министерств и мозговых центров
- Контрактная система https://t.me/gzcontracts : новости электронных торговых площадок, сайта госзакупок и других источников регулирования российской контрактной системы (государственной)
- Госфинансы https://t.me/govfin : новости Минфина, Казначейства, ФНС России и другие новости по госфинансам
- Московский патриархат https://t.me/mospatriarhia новости Московского патриархата и всех его синоидальных отдела (без учёта митрополий и епархий)
- Open Data Digest https://t.me/opendatadigest : международные новости про открытые данные
- Open Government Digeest https://t.me/opengovdigest : международные новости про открытость государства
- Data is Good https://t.me/dataisgood : международные источники про данные и алгоритмы
- Крупнейшие компании https://t.me/topcorpnews : новости топ 20 российских компаний по рейтингу РБК 500 (Газпром, Лукойл, Ростех и др)
Кроме того многие публичные каналы создают пользователи.
Например, Фил Кулин (канал Эшер II, https://t.me/usher2, https://usher2.club) создал такие каналы:
- Лента новостей с regulation.gov.ru https://t.me/ru_regulation : поток новостей по законопроектам для публичной реакции
- Новости Минцифры и Роскомнадзора https://t.me/ru_comnews : новости этих двух ведомств соответственно
Подробнее о боте
Для того чтобы извлекать оттуда новости бот использует библиотеку newsworker https://github.com/ivbeg/newsworker которая как раз и извлекает из HTML заголовки, даты, ссылки и текст новости. Это даёт возможность охватить ещё и те источники новостей которые можно упустить при медиамониторинге.
Новости собираются в режиме от 15 до 30 минут, если не возникает проблем с первоисточником, например если он не банит внешних ботов как это иногда бывает с сайтом Роскомнадзора, например.
Бот работает на принципе forever free, создан не для монетизации, а для личного удобства (как я уже говорил он мне нужен для замены RSS читалок). Большая часть его кода открыта или будет открыта на github’е.
Не все возможности реализованы, как я писал — вначале бот готовился для себя и лишь позже открыт для всех желающих.
Из того что запланировано:
- веб-интерфейс с документацией и каталогом общедоступных каналов (для тех кто решит их публичить)
- API и утилита командной строки для управления подписками
- монитор доступности сайтов с новостями (не заблокировали ли бота)
- упрощение горизонтального масштабирования
Вы также можете создать свои каналы с помощью этого бота. Он реагирует на команду /help, а мне можно задавать вопросы и пожелания в https://t.me/begtinchat и на почту [email protected] .
Sign up for more like this.
Enter your email
Было ваше, стало государственное
На regulation опубликовали законопроект о НСУД [1], в виде проекта изменений в 149-ФЗ «Об информации, информационных технологиях и о защите информации», сейчас он должен проходить антикоррупционную экспертизу. Разрабатывали этот законопроект давно, наконец-то опубликовали и в нём много того с чем лично я очень не согласен, правда относится это не к
Ivan Begtin May 7, 2021 • 4 min read
Озера данных для исследователей по COVID-19 и не только
За время коронавируса появляются новые отраслевые озёра данных (data lakes) для исследователей, многие с коммерческим уклоном. Например, CVID data lake [1] в рамках продукта Cortelis Research Intelligence от Clarivate [2] аналитического агентства с широким спектром продуктов для исследователей. Они анонсировали это облако, буквально, 5 дней назад, 20 августа [3] и,
Ivan Begtin Aug 25, 2020 • 2 min read
Мобильный шпионаж
Wall Street Journal пишет о академическом проекте в США по мониторингу военных объектов в России на основе данных собираемых приложениями для смартфонов [1]. Хотя проект и называется академическим, но данные которые в нём используются предоставляются поставщиком Babel Street Inc. на основе их продукта Locate X. О Babel Street Inc. [2]
Источник: begtin.tech
UZLEC.ru — Узлец блог
Рассмотрим процесс установки бота, который будет сканировать ленты RSS сайтов и публиковать анонсы новых записей в чате или группе Telegram. Повествование ведется на примере ОС Linux Debian 9 «Stretch». Разворачивать будем rssbot.
Разработчик rssbot публикует самодостаточные бинарные исполняемые файлы под ОС Linux, скомпилированные статично: https://github.com/iovxw/rssbot/releases Их установка достаточно проста и особых проблем вызвать не должна. Рассмотрим вопрос компиляции самой последней на момент написания этой статьи версии rssbot v2.0.0-alpha.9 из исходного кода с целью получения динамически слинкованного бинарного файла, который будет потреблять несколько меньше ресурсов.
rssbot написан на языке программирования Rust, поэтому начинаем с разворачивания соответствующих инструментов. Rust и Cargo устанавливаем с помощью rustup. rustup будет расположен в каталоге /usr/local/share/rustup/, Cargo – /usr/local/share/cargo/.
mkdir /usr/local/share/rustup /usr/local/share/cargo
RUSTUP_HOME=/usr/local/share/rustup CARGO_HOME=/usr/local/share/cargo bash -c ‘curl —proto ‘=https’ —tlsv1.2 -sSf https://sh.rustup.rs | sh’
Обратите внимание, что toolchain в меню настройки установщика rustup обязательно необходимо сменить со stable на nightly, иначе в процессе компиляции получите ошибку.
Скачиваем исходные коды rssbot:
mkdir /usr/local/src/rssbot
cd /usr/local/src/rssbot
git clone https://github.com/iovxw/rssbot.git
cd /usr/local/src/rssbot/rssbot
Компилируем. На это потребуется некоторое время:
RUSTUP_HOME=/usr/local/share/rustup CARGO_HOME=/usr/local/share/cargo bash -c ‘LOCALE=en cargo build —release’
rssbot в целях безопасности будет исполнятся в ОС от имени одноименного непривилегированного пользователя. Проводим соответствующие настройки:
mv /usr/local/src/rssbot/rssbot/target/release/rssbot /usr/local/bin/
useradd rssbot
passwd -d rssbot
passwd -l rssbot
chown rssbot:rssbot /usr/local/bin/rssbot
chmod 755 /usr/local/bin/rssbot
mkdir /var/lib/rssbot
chown rssbot:rssbot /var/lib/rssbot/
chmod 755 /var/lib/rssbot/
На следующем этапе нам необходимо зарегистрировать бота в Telegram. Делается это путем диалога с BotFather. В ответ вы получите token вида «110201543:AAHdqTcvCH1vGWJxfSeofSAs0K5PALDsaw». Он необходим для авторизации.
Пропишем rssbot как сервис systemd для удобного управления и автозапуска. Создаем файл настроек /etc/systemd/system/rssbot.service следующего содержания:
[Unit]
Description=Chinese Telegram RSS bot[Service]
ExecStart=/usr/local/bin/rssbot —restricted —insecure —min-interval 300 —max-interval 900 —database /var/lib/rssbot/rssbot.json 110201543:AAHdqTcvCH1vGWJxfSeofSAs0K5PALDsaw
User=rssbot
Type=simple
Restart=on-failure
RestartSec=10[Install]
WantedBy=multi-user.target
Включаем автозапуск и запускаем бота вручную:
systemctl daemon-reload
systemctl start rssbot.service
systemctl enable rssbot.service
Источник: uzlec.ru
Как настроить автопостинг новых статей блога в Телеграм канал через RSS
Друзья, всем привет! На днях озадачился решением вопроса об автоматической публикации новых статей блога на канал в Телеграм, но столкнулся с проблемой: бот под названием Manybot, о котором много информации в сети, по какой-то причине не работает. Решение есть.
Быть может только в рамках данной задачи он уже не пригоден, я не в курсе. Вообще, я далек от всякого рода программирования, Python и других страшных слов, на которые можно наткнуться, пытаясь решить задачу с автопостингом статей на канал.
Материалы он присылает с небольшой задержкой в 1-3 часа после их выхода, но это для меня абсолютно не страшно. Мне понравилось то, что он выводит картинку, описание и ссылку постов так, как это и задумано.
Стало интересно, какие еще есть функции у него. Мог бы порыться в интернете, но решил для начала почитать описание и посмотреть настройки.
- Подпишись на мой канал в Телеграме
- Как вести учет инвестиций — лучшие решения для инвестора.
Перейдя по ссылке попадаем на страницу с описанием telegra.ph/telefeedbot-05-12 , а спустившись чуть вниз, находим то, что нам нужно.
Оказывается, бот отлично может справляться и с публикацией новостей в любой Ваш канал или группу.
Сейчас я пошагово распишу что сделать, добавлю красочных картинок, что бы растянуть этот пост :), и надеюсь, кому-то окажу добрую услугу.
Настраиваем автопостинг в канал Телеграм
Стоит сказать, что проделать это в телефоне мне не удалось. Что-то пошло не так. Декстопная же версия для таких целей удобнее и все получилось. Скачать ее можно на официальном сайте telegram.org .
Далее все просто.
Находим в поиске и добавляем себе бота Telefeedbot.
Создаем свой канал. Как это делать рассказывать не стану, справится как школьник, так и пенсионер. Пару щелчков мыши, название, картинка, готово.
Создавать группы или каналы, кстати, в Телеграм можно только именно в компьютерной версии.
Добавляем, жмем соответствующую кнопку (в моем случае он уже добавлен):
Возвращаемся в Telefeedbot и шлем ему ссылку на созданный канал. В моем случае t.me/investbro_ru .
Все готово! Бот начнет публиковать посты из указанной RSS ленты.
Проверить, все ли получилось, можно командой /channels:
Остается опубликовать новый пост в блоге и через некоторое время он автоматически появится в Вашем канале Телеграм. Я это проверил, все работает отлично (правда пост появился на канале через 4 часа, но ничего. )
Описанный в этой статье способ не претендует на роль лучшего решения данной задачи. Другого варианта я просто не нашел. Но он рабочий и достаточно простой.
Если у Вас есть другие варианты решения задачи по автопубликации постов из RSS в канал Телеграмм — поделитесь в комментариях.
В заключение хочу сказать пару слов о сервисе, который собрал и объединил в себе публикации целого ряда блогов инвестиционной тематики — investorss.ru .
Этот проект создал Антон Весенний , тот самый, курс которого в настоящее время я пытаюсь осилить. Ничего вроде сложного, просто не каждый день получается собраться и сесть за парту 🙂
Так вот, если Вы хотите получать намного больше информации по финансам и инвестированию, или же выбрать для себя самые интересные для Вас источники — рекомендую им воспользоваться.
Лучше всего для этого — подписаться на канал этого сервиса в Телеграм , куда поступают анонсы свежих статей со всех размещенных на нем ресурсов.
Интересно, как Антон реализовал эту функцию автопостинга? Надо бы спросить.
Еще в этом сервисе проходит голосование для выбора Лучшего Блога Инвестора с призовым фондом в 1000$.
Я не претендую на эту роль. Серьезно. Там есть ряд довольно приличных таких, инвестиционных порталов и блогов, которые я с удовольствием регулярно читаю. И весьма крайне полезных. Но прошу поучаствовать.
Вот что пишут об этом организаторы и спонсоры:
«Мы хотели бы организовать масштабное интернет-голосование в инвесторской среде, которое поможет выявить лучшие финансовые блоги, а также познакомить сообщество с новыми полезными ресурсами. Мы заинтересованы в том, чтобы все были в выигрыше. Аудитория читателей получит качественный контент, топ-10 лучших авторов получат реальные деньги, а все остальные новых заинтересованных читателей»
А я на этом заканчиваю. Подписывайтесь на обновления, конечно же и на мой канал 🙂
До скорой встречи!
- Подпишись на мой канал в Телеграме
- ТОП-7 лучших сервисов и программ для учета всех Ваших инвестиций.
Автор статьи
Более 8 лет изучаю инструменты интернет заработка, создал несколько источников дохода.
Активно инвестирую в различные направления.
На страницах блога помогаю людям становиться финансово грамотными и улучшать качество своей жизни.
Источник: investbro.ru