В новом уроке мы с вами поговорим о настройке хуков и напишем свой первый обработчик команд.
В первом уроке я вам рассказывал что такое хуки, давайте повторим:
Hooks (Хуки) — это способ общения с программой, по средствам отправки данных от сервера — клиенту. То есть при определённых изменениях в программе, сервер (приложение) будет отправлять данные на указанный URL скрипта клиента.
Например. Каждый раз когда пользователи будут писать сообщения боту, данные о сообщениях будут отправляться на указанный скрипт, где вы сможете записать сообщения в БД или отправить ответ.
Для регистрации хука нужно выполнить 2 правила:
- разместить скрипт на виртуальный сервер (хостинг)
- домен на который будут отправляться запросы, должен иметь SSL сертификат и работать через HTTPS соединение
Если ваш хостинг соответствует данным требованиям, то давайте займёмся регистрацией хука для Telegram бота.
Телеграм бот на Python / #4 – SQLite3. Подключение к базе данных
Теперь выведем полученную информацию на страницу
echo file_get_contents(__DIR__.»/message.txt»);
Вот что мы получаем. Это объект в котором записана информация о созданном сообщение, мы видим данные о пользователе, данные о чате, дата отправления и текст сообщения.
< «update_id»: 803290892, «message»: < «message_id»: 41, «from»: < «id»: 1424646511, «is_bot»: false, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «language_code»: «ru» >, «chat»: < «id»: 1424646511, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «type»: «private» >, «date»: 1659098034, «text»: «Новое тестовое сообщение» > >
Данные при нажатие на кнопку в чате
Если пользователь нажал на кнопку, то на скрипт также будет отправлен запрос с данными о пользователе и о кнопке.
Отличительной особенностью таких запросов является то что главный ключ message заменяется на callback_query, а сам массив message будет находиться внутри.
Получить код кнопки на которую было произведено нажатие, можно из callback_query -> data.
< «update_id»: 803290921, «callback_query»: < «id»: «6118810175780540321», «from»: < «id»: 1424646511, «is_bot»: false, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «language_code»: «ru» >, «message»: < «message_id»: 113, «from»: < «id»: 5340791844, «is_bot»: true, «first_name»: «test_prog_time», «username»: «test_prog_time_bot» >, «chat»: < «id»: 1424646511, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «type»: «private» >, «date»: 1659335238, «text»: «Тестовое сообщение», «reply_markup»: < «inline_keyboard»: [ [ < «text»: «YOUR BUTTON LABEL TEXT», «callback_data»: «test_123» >] ] > >, «chat_instance»: «4661722712167232747», «data»: «test_123» > >
Данные при отправке изображения
Теперь давайте посмотри данные которые приходят при отправке изображения в чат, от пользователя.
< «update_id»: 803290893, «message»: < «message_id»: 42, «from»: < «id»: 1424646511, «is_bot»: false, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «language_code»: «ru» >, «chat»: < «id»: 1424646511, «first_name»: «Илья», «last_name»: «Лящук», «username»: «iliyalyachuk», «type»: «private» >, «date»: 1659099213, «photo»: [ < «file_id»: «AgACAgIAAxkBAAMqYuPYTHnTFqNQZ3DB5B-f_MovPOMAArm9MRud5CFLxgi3BP6dpsoBAAMCAANzAAMpBA», «file_unique_id»: «AQADub0xG53kIUt4», «file_size»: 1863, «width»: 90, «height»: 90 >, < «file_id»: «AgACAgIAAxkBAAMqYuPYTHnTFqNQZ3DB5B-f_MovPOMAArm9MRud5CFLxgi3BP6dpsoBAAMCAANtAAMpBA», «file_unique_id»: «AQADub0xG53kIUty», «file_size»: 30064, «width»: 320, «height»: 320 >, < «file_id»: «AgACAgIAAxkBAAMqYuPYTHnTFqNQZ3DB5B-f_MovPOMAArm9MRud5CFLxgi3BP6dpsoBAAMCAAN5AAMpBA», «file_unique_id»: «AQADub0xG53kIUt-«, «file_size»: 133230, «width»: 880, «height»: 880 >, < «file_id»: «AgACAgIAAxkBAAMqYuPYTHnTFqNQZ3DB5B-f_MovPOMAArm9MRud5CFLxgi3BP6dpsoBAAMCAAN4AAMpBA», «file_unique_id»: «AQADub0xG53kIUt9», «file_size»: 138716, «width»: 800, «height»: 800 >] > >
После получения данного массива мы можем сохранить отправленное изображение на своём сервере. Для этого нам нужно с помощью метода getFile получить полный путь к изображению, передав ему в качестве параметра file_id.
Полный код для сохранения будет выглядеть так:
/* токен */ $token = «5340791844:AAEXXDduvInvQrlWHRXykV91USOQSevrPVU»; /* массив с параметрами запроса */ $getQuery = array( «file_id» => «AgACAgIAAxkBAAMqYuPYTHnTFqNQZ3DB5B-f_MovPOMAArm9MRud5CFLxgi3BP6dpsoBAAMCAAN5AAMpBA», ); $ch = curl_init(«https://api.telegram.org/bot». $token .»/getFile?» . http_build_query($getQuery)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_HEADER, false); $resultQuery = curl_exec($ch); curl_close($ch); /* записываем ответ в формате PHP массива */ $arrDataResult = json_decode($resultQuery, true); /* записываем URL необходимого изображения */ $fileUrl = $arrDataResult[«result»][«file_path»]; /* формируем полный URL до файла */ $photoPathTG = «https://api.telegram.org/file/bot». $token .»/» . $fileUrl; /* забираем название файла */ $arrFilePath = explode(«/», $fileUrl); $newFilerPath = __DIR__ . «/img/» . $arrFilePath[1]; /* сохраняем файл на сервер */ file_put_contents($newFilerPath , file_get_contents($photoPathTG));
Скрипт для ответа на запросы через Хук
Получив представление о работе хуков, давайте теперь напишем полноценного бота, который будет отвечать на сообщения. Бот будет отвечать на текстовые сообщения, отправлять изображения по запросу и сохранять изображения пользователей.
Токен бота запишем в константу TG_TOKEN
define(«TG_TOKEN», «5340791844:AAEXXDdu324vInvQrlWHyk8V91USOQSevrPVU»);
Для удобства я создал специальные функции для отправки типовых запросов на сервер Telegram. Созданные функции принимают в качестве первого аргумента массив с параметрами запроса.
/* для отправки текстовых сообщений */ function TG_sendMessage($getQuery) < $ch = curl_init(«https://api.telegram.org/bot». TG_TOKEN .»/sendMessage?» . http_build_query($getQuery)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_HEADER, false); $res = curl_exec($ch); curl_close($ch); return $res; >/* для отправки изображений */ function TG_sendPhoto($arrayQuery) < $ch = curl_init(‘https://api.telegram.org/bot’. TG_TOKEN .’/sendPhoto’); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $arrayQuery); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_HEADER, false); $res = curl_exec($ch); curl_close($ch); return $res; >/* для получения данных о файле */ function TG_getFile($arrayQuery) < $ch = curl_init(«https://api.telegram.org/bot». TG_TOKEN .»/getFile?» . http_build_query($arrayQuery)); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); curl_setopt($ch, CURLOPT_HEADER, false); $res = curl_exec($ch); curl_close($ch); return $res; >
Так же я добавил дополнительную функцию, которая выводит список всех файлов из директории. Данная функция будет отдавать массив с файлами, для последующего отправления рандомного файла в чат.
function list_files($path) < if ($path[mb_strlen($path) — 1] != ‘/’) < $path .= ‘/’; >$files = array(); $dh = opendir($path); while (false !== ($file = readdir($dh))) < if ($file != ‘.’ $file != ‘..’ !is_dir($path.$file) $file[0] != ‘.’) < $files[] = $file; >> closedir($dh); return $files; >
Ниже напишем конструкцию, которую мы использовали для отлова хуков. Бот будет сразу отвечать на команды, поэтому нам не нужно записывать информацию в лог файл.
В переменные $textMessage записывает текст сообщения, а в переменную $chatId записываем id чата.
$data = file_get_contents(‘php://input’); $arrDataAnswer = json_decode($data, true); $textMessage = mb_strtolower($arrDataAnswer[«message»][«text»]); $chatId = $arrDataAnswer[«message»][«chat»][«id»];
Ниже мы проверяем наличие файла в сообщение. Если пользователь отправил файл, то мы его сохраняем в папку с картинками.
Здесь желательно прописать более сложный обработчик для проверки типа файла, но сейчас, чтобы не затягивать видео, я просто буду проверять наличие файла в сообщение.
if(!empty($arrDataAnswer[«message»][«photo»])) < $documentData = array_pop($arrDataAnswer[«message»][«photo»]); >else if(!empty($arrDataAnswer[«message»][«document»]))
Далее мы прописываем проверку на текст сообщения и в случае нужного текста отправляем ответное сообщение.
Если пользователь отправил «Привет», то мы в ответ отправляем сообщение «Привет! Есть фото для меня?». Данное сообщение отправляется с помощью ранее созданной функции TG_sendMessage().
if($textMessage == ‘привет’) < $textMessage_bot = «Привет! Есть фото для меня»; $arrayQuery = array( ‘chat_id’ =>1424646511, ‘text’ => $textMessage_bot, ‘parse_mode’ => «html», ); TG_sendMessage($arrayQuery); >
Ниже пропишем подобный код для запроса изображения. Если пользователь отправил «хочу фото», то мы выбираем рандомное изображение и отправляем его пользователю с помощью функции TG_sendPhoto().
else if($textMessage == ‘хочу фото’) < $textMessage_bot = «Вот, держи!»; $listFile = list_files(__DIR__ . «/img/»); $max = count($listFile) — 1; $randIdFile = rand(0, $max); $filePath = __DIR__ . «/img/» . $listFile[$randIdFile]; $arrayQuery = array( ‘chat_id’ =>$chatId, «photo» => new CURLFile($filePath), «caption» => «Вот твоё фото!» ); TG_sendPhoto($arrayQuery); >
Далее пропишем код для сохранения любых, отправленных в чат, изображений.
if(!empty($documentData)) < $arrayQuery = array( «file_id» =>$documentData[«file_id»], ); $resultQuery = TG_getFile($arrayQuery); /* записываем ответ в формате PHP массива */ $arrDataResult = json_decode($resultQuery, true); /* записываем URL необходимого изображения */ $fileUrl = $arrDataResult[«result»][«file_path»]; /* формируем полный URL до файла */ $photoPathTG = «https://api.telegram.org/file/bot». TG_TOKEN .»/» . $fileUrl; /* забираем название файла */ $arrFilePath = explode(«/», $fileUrl); $newFilerPath = __DIR__ . «/img/» . $arrFilePath[1]; /* сохраняем файл на сервер */ file_put_contents($newFilerPath , file_get_contents($photoPathTG)); $arrayQuery = array( ‘chat_id’ => 1424646511, ‘text’ => «Отличное фото! Я его, пожалуй, сохраню», ‘parse_mode’ => «html», ); TG_sendMessage($arrayQuery); >
Ну и на последок, давайте пропишем ещё 2 условия. Первое условие будет отправлять кнопку в чат, а второе условие будет проверять нажатие на кнопку и отправлять дополнительное сообщение.
Запрос для отправки кнопок создаём аналогично запросу со словом «Привет». По запросу мы будем отправлять 2 кнопки с callback_data — but_1 и but_2.
if($textMessage == ‘отправь кнопки’) < $textMessage_bot = «Вот твои кнопки! Нажимай»; $arrayQuery = array( ‘chat_id’ =>1424646511, ‘text’ => $textMessage_bot, ‘parse_mode’ => «html», ‘reply_markup’ => json_encode(array( ‘inline_keyboard’ => array( array( array( ‘text’ => ‘Кнопка 1’, ‘callback_data’ => ‘but_1’, ), array( ‘text’ => ‘Кнопка 2’, ‘callback_data’ => ‘but_2’, ) ), ), )), ); TG_sendMessage($arrayQuery); >
Теперь давайте пропишем проверку нажатия на кнопки. Здесь нам нужно записать в переменную $dataBut код нашей кнопки, чтобы по нему в дальнейшем делать проверку. В переменную $textMessage и $chatId мы так же записываем текст сообщения и id пользователя, только в этот раз достаём эти данные из массива с ключом callback_query.
Ниже проверяем код нажатой кнопки и отправляем простое текстовое сообщение в ответ.
if($arrDataAnswer[«callback_query»]) < $dataBut = $arrDataAnswer[«callback_query»][«data»]; $textMessage = mb_strtolower($arrDataAnswer[«callback_query»][«message»][«text»]); $chatId = $arrDataAnswer[«callback_query»][«message»][«chat»][«id»]; if($dataBut == «but_1») < $arrayQuery = array( ‘chat_id’ =>1424646511, ‘text’ => «Ты нажал на ‘КНОПКА 1′», ‘parse_mode’ => «html», ); TG_sendMessage($arrayQuery); > else if($dataBut == «but_2») < $arrayQuery = array( ‘chat_id’ =>1424646511, ‘text’ => «Ты нажал на ‘КНОПКА 2′», ‘parse_mode’ => «html», ); TG_sendMessage($arrayQuery); > >
Подведём итоги! В новом уроке, мы с вами научились обрабатывать запросы от Телеграма к серверу и прописали свой простой обработчик. Аналогичным образом вы можете прописать ответы на любые команды.
Так же, я хочу сказать, что в ближайшее время выйдет курс по разработке интернет-магазина в Telegram, разработанный на основе материалов из этого курса. Новый курс будет состоять только из практических материалов. По окончанию данного курса вы сможете создавать полноценные интернет-магазины в Telegram с каталогом, карточками товаров, корзиной и формой для оформления заказа. Все данные о заказах будут записываться в базу данных. По итогу вы сможете разработать отличное решение, которое легко продать как готовый кейс на фриланс биржах.
Скорее всего ссылка на данный курс уже находится в описание, поэтому переходите и изучайте данный материал.
На этом всё!
Больше интересных статей в нашей группе — https://vk.com/progtime
Вы так же можете разместить свой вопрос на нашем форуме, где другие программисты смогут вам помочь в решение вашей задачи — https://vk.com/prog_time
Так же прокачивайте свои навыки на нашем канале — https://www.youtube.com/c/ProgTime
Наши планы
- Написание материала для курса по разработке ботов на Telegram
- Разработка универсального парсера на PHP
Поддержите мой сайт!
Каждый переведённый донат, мотивирует на создание новых записей и уроков на YouTube
Источник: prog-time.ru
Как написать Telegram бота: практическое руководство
6 Апрель 2016 , Python, 454293 просмотров, How To Create a Telegram Bot Using Python
В последнее время Telegram у всех на слуху. Нужно отдать должное отделу маркетинга этого приложения, шумиху подняли на славу. Одной из основных «фишек» Telegram является его якобы защищённость — по словам Павла Дурова вся переписка между пользователями шифруется. Более того, ни одна спец.служба мира не будет иметь доступ к вашим сообщениям. Но в данной статье речь не об этом. Сегодня хотелось бы поговорить о не менее крутой фишке в Telegram, а именно о ботах. Помимо того, что в сети уже полно информации о различного рода Telegram ботах (github бот, например), мессенджер открыл своё API для разработчиков, и теперь каждый может создать своего собственного бота с блэкджеком и плюшками.
В статье я приведу пример написания онлайн бота с использованием Python и Django фреймворка. То есть мы «запилим» полноценное веб-приложение, которое будет крутиться на удалённом хосте и принимать команды от пользователей. Весь исходный текст доступен в моём github репозитории.
Документация, описывающая процесс взаимодействия с ботами Telegram находится тут. Чтобы не изобретать велосипед, я нашел неплохую Python библиотеку, реализующую все основные функции ботов — telepot. Как я уже упоминал ранее, для того, чтобы обслуживать пользователей нашего бота мы будет разрабатывать веб-приложение, используя Django фреймворк.
Как создать Telegram бота?
Для начала нам необходимо зарегистрировать в Telegram нашего будущего бота. Это делается следующим образом:
- Необходимо установить приложение Telegram на телефон или компьютер. Скачать приложение можно тут
- Добавляем к себе в контакт-лист бота с именем BotFather
- Запускаем процедуру «общения» с ботом нажатием кнопки Start. Далее перед нами предстанет список команд точно как на скриншоте.
- Для того, чтобы создать нового бота необходимо выполнить команду /newbot и следовать инструкциям. Обратите внимание, что username для бота должен всегда содержать в конце слово bot. Например, DjangoBot или Django_bot.
- Для нашего бота я выбрал имя PythonPlanetBot, так как его основная функция заключается в парсинге RSS feed сайта Python Planet и выдача информации о последних постах пользователю 🙂
После создания бота, обратите внимание на строку с текстом:
Use this token to access the HTTP API:
За которой следует т.н. token по которому мы будем манипулировать нашим ботом. Помимо функции создания telegram бота, BotFather также имеет ряд других возможностей:
- Присвоить боту описание
- Установить аватар
- Поменять token
и так далее. Полное описание доступных команд можно увидеть на первом скриншоте.
Приступаем к кодированию
Как я ранее уже упоминал, мы будем писать веб-приложение на Django. Но стоит отметить, что это делать необязательно. Можно обойтись и обычным Python скриптом, правда в этом случае необходимо будет периодически опрашивать Telegram на предмет новых запросов от пользователей бота (используя метод getUpdates) и увеличивая offset для получения самых последних данных без повторений. В Telegram существует два взаимоисключающих метода получения команд/сообщений для вашего бота.
- Использование вызова API метода getUpdates
- Установка Webhook
Установка Webhook заключается в передаче боту специального URL адреса на который будет поступать POST запрос каждый раз, когда кто-то начнёт посылать сообщения боту. Именно этот вариант мы и будем использовать для взаимодействия между ботом и его пользователем. Для того, чтобы задать URL, необходимо использовать API метод setWebhook. Отмечу, что URL должен начинаться с https, то есть иметь защищённое SSL соединение с валидным сертификатом. Telegram разрешает использовать самоподписанный сертификат, правда для этого необходимо в методе setWebhook передавать также публичный ключ в PEM формате (ASCII base64). Либо же можно получить валидный бесплатный SSL сертификат от Let’s Encrypt.
Подробнее о getUpdates и setWebhook можно почитать соответственно здесь и тут.
Итак, вернёмся к python библиотеке для работы с Telegram — telepot. На текущий момент самой последней её версий является 6.7. Устанавливаем её в виртуальное окружение python virtualenv:
pip install telepot
Самый простой вариант взаимодействия с Telegram ботом на Python выглядит следующим образом:
import telepot token = ‘123456’ TelegramBot = telepot.Bot(token) print TelegramBot.getMe()
Переменной token присваиваем значение токена, полученного при создании бота через BotFather. В итоге после выполнения этих команд мы получим:
Поздравляю! Мы вызывали самый простой API запрос getMe, который возвращает информацию о боте: username, id, first_name.
Добавим нашего бота к себе в контакт-лист и пошлём ему первую стандартную команду /start
TelegramBot.getUpdates() [, u’message_id’: 1, u’chat’: >, u’update_id’: 649179764>]
Процесс общения с telegram ботом происходит по HTTPS; для передачи данных используется JSON. Метод getUpdates возвращает список/массив из объектов типа Update. Внутри Update находится объект Message. Для стандартного взаимодействия с ботом нас фактически интересует именно объект Message, у которого мы считываем атрибут text, хранящий в себе текст, переданный боту и объект chat, в котором лежит информация о пользователе, инициировавшем общение с нашим Telegram ботом. Также имеется параметр update_id, который служит в качестве offset параметра при вызове метода getUpdates. То есть update_id+1 вернёт все сообщения, поступившие после последнего update_id, при этом все предыдущие сообщения будут удалены.
TelegramBot.getUpdates(649179764+1) [, u’message_id’: 13, u’chat’: >, u’update_id’: 649179765>]
На этапе написания простейшего Telegram бота нам этих вызовов достаточно. Приступим к написанию Django приложения для обслуживания наших пользователей.
Простая функция парсинга RSS фида Planet Python выглядит вот так:
# -*- coding: utf8 -*- from xml.etree import cElementTree import requests def parse_planetpy_rss(): «»»Parses first 10 items from http://planetpython.org/rss20.xml «»» response = requests.get(‘http://planetpython.org/rss20.xml’) parsed_xml = cElementTree.fromstring(response.content) items = [] for node in parsed_xml.iter(): if node.tag == ‘item’: item = <> for item_node in list(node): if item_node.tag == ‘title’: item[‘title’] = item_node.text if item_node.tag == ‘link’: item[‘link’] = item_node.text items.append(item) return items[:10]
Здесь я использую python библиотеку requests для работы с HTTP в самом простейшем варианте без обработки ошибок. Django «вьюшка» выглядит следующим образом:
CommandReceiveView ждёт POST запрос на себя, парсит его и отвечает исходя из заданной команды. Полноценное Django приложение можно найти по этой ссылке. Стоит отметить в коде использование ещё одного API вызова — sendMessage. Этот метод отправляет сообщение заданному пользователю, используя при этом chat_id и сам текст сообщения. Chat_id — это уникальный идентификатор чата между пользователем и ботом (его идентификатор есть в ответе на запрос getUpdates). У Telegram ботов есть одно ограничение, они не могут посылать сообщения пользователям, которые предварительно не инициировали общение с ним. По-видимому это сделано дабы избежать массового создания спам-ботов.
Я предполагаю, что вы уже клонировали мой репозиторий, настроили окружение и установили все необходимые зависимости: Django, requests, telepot. Если же вы не знаете как это сделать, то совсем скоро я напишу цикл статей о разработке веб-приложений на Python, включая разбор экосистемы: разработка, настройка, деплой. Если вам это интересно, то отпишитесь, пожалуйста, в комментариях к этой статье. Хочется получить обратную связь 🙂
Итак, веб-приложение на Django запущено. Как же начать тестировать бота? А всё очень просто — необходимо симулировать действия Telegram сервиса. Для этого нам понадобится HTTP клиент и тело запроса. В качестве HTTP клиента я часто использую Chrome плагин под названием Postman, а тело запроса мы возьмём напрямую из данных, полученных с помощью API вызова getUpdates.
После запуска runserver, URL на который необходимо посылать запрос выглядит следующим образом:
http://127.0.0.1:8000/planet/b. BOT_TOKEN/
где BOT_TOKEN — это токен нашего бота. Смотрим скриншот:
А давайте-ка отправим команду feed для получения списка новостей из Planet Python:
На скриншотах видно, что бот адекватно отреагировал на нашу команду вывести список последних 10 постов.
Следующим шагом является деплой нашего Django приложения на удалённый хост и последующий вызов метода setWebhook для передачи URL на который будет посылаться POST запрос от сервиса Telegram каждый раз при поступлении команд боту от пользователей. Об этом мы поговорим в следующей заметке.
Интересные записи:
- Celery: начинаем правильно
- Обзор Python 3.9
- Работа с MySQL в Python
- Что нового появилось в Django Channels?
- FastAPI, asyncio и multiprocessing
- Pyenv: удобный менеджер версий python
- Руководство по работе с HTTP в Python. Библиотека requests
- Django Channels: работа с WebSocket и не только
- Введение в logging на Python
- Почему Python?
- Разворачиваем Django приложение в production на примере Telegram бота
- Введение в pandas: анализ данных на Python
- Работа с PostgreSQL в Python
- Авторизация через Telegram в Django и Python
- Python-RQ: очередь задач на базе Redis
- Django, RQ и FakeRedis
- Обзор Python 3.8
- Интеграция Trix editor в Django
- Итоги первой встречи Python программистов в Алматы
- Участие в подкасте TalkPython
- Строим Data Pipeline на Python и Luigi
- Видео презентации ETL на Python
Источник: khashtamov.com
Вступление
Заикнулся в присутствии нового коллеги о своем блоге, первый его вопрос был “что за блог?”, а второй “а телеграм канал у тебя есть?”. Поймал себя на мысли неужели я стал ретроградом. Когда начался хайп вокруг влогов и Youtube каналов я остался верен теплому ламповому формату текстовых статей, так и сейчас, считаю что нет необходимости иметь свой Telegram канал, но задача меня заинтересовала.
Вокруг Telegram ботов сейчас много шумихи, как завести своего бота или канал написано в официальной документации. Не хотелось делать что-то надуманное, только ради “попробовать” и я решил что более менее полезной задачей будет уведомление о новых статьях в этом же блоге и только потом понял, что в принципе, мою реализацию можно использовать для любой RSS ленты c небольшими правками под себя.
Обзор
- Вступление
- Наивная реализация или тупой бот
- Используем простую БД или чуть более умный бот
- Прикручиваем РСУБД или умеренно сообразительный бот
- Заключение
Наивная реализация или тупой бот
Первое что нужно сделать это создать бота и получить API токен.
Недолго думая, я взял самую популярную либу-обертку для ботов Telegram — gem telegram-bot-ruby и наваял следующий код:
Что же тут происходит? Все очень просто, вот здесь:
require ‘rss’ require ‘telegram/bot’
подключаем библиотеки для работы с RSS и Telegram, а вот здесь:
token = ENV[‘TELEGRAM_BOT_API_KEY’]
Здесь я использую переменные окружения (Environment variables), чтобы это работало, перед запуском скрипта нужно выполнить в командной строке export TELEGRAM_BOT_API_KEY=123456789 , где вместо 123456789 нужно вставить собственно токен. Использование переменных окружения один из двенадцати факторов приложения согласно — Adam Wiggins
Затем, с помощью строчки:
rss = RSS::Parser.parse(‘https://doam.ru/feed.xml’, false)
сохраняем в объект rss всю RSS ленту моего блога (я точно знаю что у меня там только 10 записей, поэтому не боюсь никаких переполнений или задержек).
После этого мы создаем бот клиента, обходим каждый item внутри rss и отправляем его ссылку в канал Telegram.
Таким образом, при каждом запуске скрипта в канал будет отправляться 10 сообщений с одинаковыми ссылками. Я использую бота, хотя для такого же функционала, например, в Slack я бы использовал Incoming Hooks.
Кстати, чтобы бот мог слать сообщения в канал, его нужно добавить в администраторы этого канала.
На этом этапе я понял что нужно хранить состояние постов, т.е. запоминать информацию какие записи уже отправлены в канал, а какие еще нет.
Используем простую БД или чуть более умный бот
На самом деле новая версия бота растянулась на 55 строк кода, и вот он целиком:
Опять же приведу разбор этого кода по кусочкам далее по тексту.
require ‘telegram/bot’ require ‘rss’ require ‘sdbm’ require ‘json’ require ‘logger’
Я использую теже две библиотеки что и раньше rss и telegram , затем подключаю sdbm это встроенная либа Ruby, которая предоставляет простое хранилище типа ключ-значение (key-value), в качестве ключей или значений могут выступать только строки. Далее я подключаю json , чтобы легко кодировать объекты в строки и декодировать обратно. И еще одной библиотекой является logger , который предоставляет простой способ для отладки.
logger = Logger.new(STDOUT) if ENV[‘TELEGRAM_BOT_API_KEY’].nil? logger.fatal «Environment variable TELEGRAM_BOT_API_KEY not set!» exit 1 else token = ENV[‘TELEGRAM_BOT_API_KEY’] end rss = RSS::Parser.parse(‘https://doam.ru/feed.xml’, false)
Сперва делаем простые вещи, создаем объект для логирования и сетим переменную окружения.
Устанавливаем переменную окружения в этот раз мы чуть сложнее. Вначале мы проверяем что ENV пустая и если это так то выбрасываем ошибку через логгер и выходим из программы c использованием exit кода 1, в обратном случае, если переменная не пустая, записываем её значение в переменную, которую мы будем использовать в дальнейшем.
Парсинг RSS ленты происходит таким же образом как и ранее.
SDBM.open ‘doam_posts.db’ do |posts|
Далее, этой строчкой мы открываем нашу базу данных, которая является просто файлами в нашей файловой системе, в случае если базы не существует она будет создана с нуля.
rss.items.each do |item| key = item.link.href title = item.title.content published = item.published.content # next if posts[key] if posts.has_key?(key) logger.info «Post exist in DB will not rewrite» else posts[key] = JSON.dump( title: title, published: published, sended: 0 ) end end
И после этого мы начинаем первый цикл: обходим все полученные rss итемы, записываем ссылки, заголовок и дату публикации соответственно в переменные key, title и published. Проверяем есть ли в нашей базе ключ с таким же значением как наш и если есть просто выводим в лог текст, что не будем ничего перезаписывать (это нужно только на этапе отладки, но вообще не обязательно), в обратном случае, если в базе нет записи с таким ключом мы генерируем json строку и записываем её в базу. В качестве ключа я выбрал URL, так как они обеспечивают уникальность, всегда написаны в одном регистре и латиницей.
Следующим шагом я создаю объект типа Hash и прохожусь по всем записям которые есть в базе. С помощью hash[k] = JSON.parse(v) я делаю парсинг строки значения и создаю вложенные хеши. Затем проверяю значение поля sended , если там 0 то генерирую текст и отправляю его в канал, после чего перезаписываю объект cо значением 1, чтобы не отправить эту же запись при следующем запуске.
На самом деле это не совсем рабочая версия кода, я почему-то не закоммитил тот момент когда довел работу с SDBM до ума. Можете попробовать сами понять что здесь не так.
Теперь уже я решил попробовать задеплоить мой код на Heroku и выполнить его там. С использоавнием раннера задач все получилось, да только вот Heroku не сохраняет файлы между запусками задачи (да и вообще). Так что мое решение с SDBM является быстрым и простым, но может быть использовано только как selfhosted.
Прикручиваем РСУБД или умеренно сообразительный бот
Пост становится довольно длинным, но вы же вместе сомной прошли все этапы разработки этого бота и уже в курсе дела, поэтому привожу код обновленной версии:
Здесь проделывается точно такая же работа: иницилизируются необходимые компоннеты, синхронизируется rss лента и локальная база данных и отправляются ссылки на записи которые числятся в базе как “неотправленные”. Только в качестве базы используется PostgreSQL и все это обернуто в класс и методы. Метод initialize выполняется при вызове метода new на объекте класса DoamTelegramBot , остальные методы нужно вызывать отдельно. И чтобы выполнить всё правильно, я создал каталог bin в который положил файл с именем doam_bot и содержимым:
В котором я указываю что для выполнения скрипта нужно использовать язык Ruby, подключаю созданный мной класс через файл app.rb , создаю объект telegram и передаю в него урл для парсинга и id канала, вызываю методы sync и send . После чего я заливаю код на Heroku и создаю периодическую задачу, например раз в сутки. И если за сутки появились новые записи то в мой канал придет уведомление, уже без моего содействия в автоматическом режиме.
Заключение
Полностью это маленькое приложение можно посмотреть у меня в gitlab (для этого нужно залогиниться в gitlab.com). Лицензия пока не указана, но она MIT, т.е. можете править и использовать в своих целях. Если будет время я хотел бы прикрутить еще несколько функций, например отправку не только в телеграм но и другие сервисы, а также решить проблему первого запуска, когда база наполняется новыми записями с флагом “не отправлено” но неизвестно точно какие записи уже были отправлены в канал. В любом случае готов рассмотреть ваши Merge Requests.
- Поблагодарить автора
- Telegram канал
Источник: doam.ru