HTTP протокол используется при открытии сайтов и скачивании файлов из Интернета. HTTP протокол работает по принципу запрос-ответ — от клиента приходит запрос и сервер отправляет ответ. Каждый запрос и каждый ответ состоит из элементов:
- Стартовая строка
- Заголовки
- Тело сообщения
Тело сообщения — это то, ради чего делается запрос — страница сайта или файл.
Заголовки — это метаинформация, которую мы обычно не видим.
В заголовках запроса могут быть такие данные как:
- предпочитаемые языки
- характеристика программы, которая делает запрос
- содержимое кукиз
- информация для сервера — для какого хоста предназначен запрос и прочее
В заголовках ответа могут быть такие данные как:
- кодировка присланного текста
- тип присланного контента (изображение, текст, архив и пр.)
- данные о ПО веб-сервера
- данные о кэшировании: ПО, используемое для кэширования, возраст присланных данных и прочее
Эта статья расскажет, как посмотреть HTTP заголовки.
Вкладка Network в Chrome DevTools
Как в веб-браузере увидеть HTTP заголовки
Это самый простой способ, доступный в любой операционной системе.
Нажмите в веб-браузере F12 и откройте интересующую вас страницу. Перейдите на вкладку Network (сеть) и выберите интересующее вас подключение.
Вначале идут Заголовки ответа (Response Headers), а затем Заголовки запроса (Request Headers), хотя, конечно же, вначале отправляется запрос и его заголовки, а затем приходит ответ.
Это удобный метод, причём вам не нужно беспокоиться о HTTPS протоколе — поскольку веб-браузер является конечным адресатом, то он может показывать уже расшифрованные данные.
Как в cURL посмотреть HTTP заголовки
Для cURL есть опции -I, -v и -i, которые делают так, что эта утилита показывает HTTP заголовки.
Разница в том, что опция -I означает использовать метод HEAD, то есть в реальности кроме HTTP заголовков ничего не будет прислано. А опция -v делает вывод более вербальным, в результате в него включаются и заголовки. Но если вы отправляете запрос по HTTPS протоколу, то с опцией -v также будут показаны данные, относящиеся к TLS рукопожатию — они не имеют отношения к HTTP заголовкам. Ещё нужно знать, что опция -I показывает только заголовки ответа, а опция -v показывает и Заголовки запроса и Заголовки ответа.
Опция -i также показывает только заголовки ответа, не показывает TLS рукопожатие, но зато показывает всё тело ответа.
Пример использования метода HEAD:
curl -I https://suip.biz/ru/ -A ‘Chrome’
Здесь «HTTP/1.1 200 OK» это строка статуса, а всё остальное — поля HTTP заголовка.
Пример вербального вывода:
Структура HTTP запроса
curl -v https://suip.biz/ru/ -A ‘Chrome’ > /dev/null
Отправленные на веб сервер заголовки имеют в начале символ >, а полученные с веб-сервера строки начинаются на .
Синей рамкой выделены стартовые строки (строка запроса и строка статуса), а красным HTTP заголовки.
Пример вывода заголовков вместе с телом сообщения:
curl -i https://suip.biz/ru/ -A ‘Chrome’
С опцией -i HTTP заголовки выводятся в стандартный вывод, а с опцией -v заголовки выводятся в вывод ошибок.
HTTP заголовки в Wireshark (только для протокола HTTP, без HTTPS)
До сих пор мы программа, которая показывает HTTP заголовки и которая отправляет запросы и принимает ответы совпадали, поэтому даже при использовании протокола HTTPS мы видели расшифрованные данные. Но программа Wireshark не может расшифровывать протокол HTTPS, поэтому в ней можно просмотреть только заголовки для незашифрованного трафика.
Для поиска HTTP сообщений используйте фильтр
http
Заголовки запросов и ответов смотрите в «Hypertext Transfer Protocol»:
Преимущества Wireshark в том, что кроме просмотра HTTP заголовков, вы можете использовать гибкую и мощную систему фильтров для поиска по полям заголовка. Подробности смотрите в справочной статье «Фильтры Wireshark».
HTTP заголовки в Burp Suite
Программа Burp Suite содержит прокси специально для просмотра заголовков. Более того, в программе имеются функции по модификации заголовков и другого содержимого на лету. Но Burp Suite это профессиональная программа, требующая изучения.
Burp Suite умеет работать с запросами по HTTPS, но для этого требуется настройка SSL сертификатов в веб-браузере.
Смотрите также большую статью «HTTP протокол», которая содержит подробное, но написанное простым языком описание протокола.
И ещё смотрите близкую по теме статью: Как отобразить данные POST с cURL.
Связанные статьи:
- Ошибка «curl: (1) Received HTTP/0.9 when not allowed» (РЕШЕНО) (78.5%)
- Как отправить HTTP запрос OPTIONS из командной строки (РЕШЕНО) (73.1%)
- Как выгрузить файлы методом POST с помощью cURL. Как отправить форму в cURL (62.2%)
- При использовании s_client всегда возникает ошибка «HTTP/1.1 400 Bad Request» (РЕШЕНО) (55.5%)
- PHP cURL как установить значение User Agent ИЛИ как сделать так, чтобы сервера не блокировали запросы cURL? (54.1%)
- Как в NetworkManager удалить Mobile broadband и Bluetooth подключение (RANDOM — 50%)
Источник: zalinux.ru
Как просмотреть HTTP Headers в Google Chrome?
Следуйте за нами на нашей фан-странице, чтобы получать уведомления каждый раз, когда появляются новые статьи. 
1- Просмотр информации Http Headers в Chrome
На браузере Google Chrome вам нужно получить доступ в веб страницу, на которой вы хотите просмотреть информацию Http Header, например:
Нажать на правую кнопку мыши, и выбрать «Inspect» чтобы открыть окно инструментов для программиста (Developer tools)
Выбрать tab «Network», потом refresh (обновить) веб страницу.
После того, как веб страница была refresh (обновлена), выбрать любой адрес слева от Developer Tools. И вы можете увидеть информацию Http Headers.
* Http Request Header *
GET /home/index.php HTTP/1.1 Host: www.eclipse.org Connection: keep-alive Cache-Control: max-age=0 Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 Accept-Encoding: gzip, deflate Accept-Language: en-US,en;q=0.9 Cookie: eclipse_oxygen=eclipse_oxygen; PHPSESSID=uj5inrbp41sfcd7qpeibl222931duv2t; __utma=264369051.1574847913.1510424825.1510424825.1510424825.1; __utmb=264369051.7.10.1510424825; __utmc=264369051; __utmz=264369051.1510424825.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)
* Http Response Header *
HTTP/1.1 200 OK Date: Sat, 11 Nov 2017 19:07:31 GMT Server: Apache Expires: Mon, 26 Jul 1997 05:00:00 GMT Last-Modified: Sat, 11 Nov 2017 19:07:38 GMT cache-Control: no-store, no-cache, must-revalidate cache-Control: post-check=0, pre-check=0 Pragma: no-cache Vary: Accept-Encoding Content-Encoding: gzip X-NodeID: www-vm2 X-Frame-Options: SAMEORIGIN Content-Length: 7056 Keep-Alive: timeout=3, max=200 Connection: Keep-Alive Content-Type: text/html
View more Tutorials:
Maybe you are interested
Это онлайн курс вне вебсайта o7planning, который мы представляем, он включает бесплатные курсы или курсы со скидкой.
Learn JavaScript Fundamentals- Ultimate Coding Course for Web App and Android Development
- Oracle Database 12c Installation For All Levels
- 2D Game Development With HTML5 Canvas, JS — Tic Tac Toe Game
- DevOps on AWS: Learn to set up your infrastructure on cloud
- PHP Tutorial: PHP/MySQL for Beginners
- Python Programming Full Course (Basics,OOP,Modules,PyQt)
- Full Stack Angular 5 and NodeJS 9 Developer
- jQuery in Action: Build 17 jQuery Projects
- Advanced WordPress Theme Development with Bootstrap 4
- PostgreSQL For Beginners
- Flutter Business Intelligence Essentials
- Spring Redux: Build modern apps (2nd edition)
- Understanding JDBC with PostgreSQL (A step by step guide)
Источник: betacode.net
HTTP-заголовки, которые влияют на SEO
108
Скорее всего, вы знаете, что при открытии страницы любого сайта происходят действия на сервере, которые не видны пользователям. Однако эти данные обрабатывают поисковые системы. И к счастью, некоторые из этих данных поддаются корректировке, и мы немного можем облегчить работу веб-сервера.
- Схема работы веб-сервера и понятие HTTP-заголовки
- Важные HTTP-заголовки для SEO
- Проверка HTTP Headers
- Просмотр HTTP-заголовков в браузере Google Chrome
- Просмотр HTTP-заголовков в браузере Firefox
- Другие способы проверки HTTP-заголовков
Схема работы веб-сервера и понятие HTTP-заголовки
Итак, в клиент-серверных протоколах, таких как HTTP, сеансы состоят из трёх фаз:
- Клиент устанавливает TCP-соединение (или соответствующее соединение, если транспортный уровень не является TCP).
- Клиент отправляет свой запрос и ждёт ответа.
- Сервер обрабатывает запрос, отправляя ответ обратно, предоставляя код состояния и соответствующие данные.
Код состояния (200OK, 301, 429, 500 и другие) является лишь частью полного HTTP-ответа, который сервер отправляет клиенту. Полный ответ кода состояния плюс дополнительная информация называется заголовком HTTP.
Этот заголовок может содержать инструкции, которые клиенты и поисковые системы могут использовать для правильной обработки URL.
Важные HTTP-заголовки для SEO
Далее рассмотрим ряд важных элементов заголовка HTTP для SEO.
X-Robots-Tag
Это аналог метатега robots в html. У данного элемента есть преимущества над meta name=“robots”. Например, если вы хотите запретить к индексации файлы PDF, метатег robots не поможет, так как он не работает с PDF-файлами. Вместо этого, вы можете использовать заголовок X-Robots-Tag.
К тому же у X-Robots-Tag есть ещё одно преимущество – его легко настраивать для целых каталогов и папок, что может ускорить работу.
Помимо «noindex» и «nofollow», вы можете прописать другие ответы X-Robots-Tag. Директивы из справки Google — ссылка:
Canonical
Обычно теги canonical расположены в исходном HTML-коде веб-страницы. Однако вы также можете указать канонический URL как часть HTTP-заголовка URL.
Поскольку реализовать тег rel= “canonical” в HTML довольно просто, редко можно найти канонические ссылки, отправленные как часть HTTP-ответа страницы. Однако всегда стоит перепроверить HTTP Headers страницы на наличие канонических ссылок, особенно если вы видите на сайте необычные проблемы с индексацией и ранжированием. Как именно проверить заголовки сайта, мы расскажем чуть ниже.
Hreflang
Так же, как канонические ссылки, вы можете включить ссылки hreflang в ответ HTTP-заголовка страницы, чтобы сообщить поисковым системам об альтернативных версиях страницы на разных языках и/или для разных стран.
Cache-control
Cache-control может влиять на то, как браузер кэширует страницу и связанные с ней ресурсы. Например, вы можете предоставить ответ «max-age», который сообщает браузеру, что через некоторое время страница должна быть повторно запрошена с сервера. В противном случае кэш страницы действителен то время, которое указано в значении «max-age», тем самым ускоряя скорость загрузки страницы. Директивы из справки Google — ссылка:
Vary
Служит для определения различий отображения контента для ПК и мобильных устройств. Особенно это важно для сайтов, которые используют динамический показ для мобильных пользователей. Для сайтов с адаптивным дизайном данный элемент не так актуален.
При правильной настройке заголовка Vary поисковые боты будут сканировать сайт со всеми указанными типами User-agent и определять, какая версия кода будет ранжироваться для какого типа пользователей.
Last-Modified
В значении Last-Modified необходимо указывать дату последнего изменения ресурса. HTTP Header используется для сравнения нескольких версий одного и того же ресурса. Он тесно связан с заголовками If-Modified-Since и If-Unmodified-Since.
If-Modified-Since
Это условный запрос, который передаёт объект, если он был изменен после указанной даты. То есть передаются данные только в том случае, когда кэш устарел.
If-Unmodified-Since
Это условный запрос, который передаёт объект, только если он не был изменен после указанной даты.
Expires
Дата/время, после которого ответ веб-сервера считается устаревшим. Например, можно указывать текущую дату + 7/10/14 дней.
Accept-Encoding
Алгоритм кодирования, обычно алгоритм сжатия, который можно использовать на отправленном ресурсе. Это заголовок запроса, который запрашивает HTTP-клиент, чтобы сообщить серверу, какую кодировку он поддерживает. Серверу разрешено отправлять содержимое ответа в любой из этих кодировок.
Content-Encoding
Используется для указания алгоритма сжатия. Это заголовок ответа, в котором HTTP-сервер использует этот заголовок, чтобы сообщить клиенту, в какую именно кодировку фактически был закодирован контент.
Content-Length
Размер ресурса в десятичном числе байтов.
Content-Type
Указывает тип носителя ресурса.
Location
Указывает URL-адрес для перенаправления страницы. Он используется только тогда, когда для пользователя указывается перенаправление на другую страницу (3xx код) или при новом местоположении ресурса (201 код).
Проверка HTTP Headers
Далее рассмотрим некоторые способы, как посмотреть HTTP-заголовки страницы или отдельного файла.
Просмотр HTTP-заголовков в браузере Google Chrome
HTTP Headers в Chrome можно найти в инструментах разработчика. Для этого необходимо нажать либо Ctrl+Shift+I (многие используют просто F12), либо правой кнопкой мыши и выбрать пункт «Посмотреть код», либо в верхнем выпадающем меню браузера выбрать «Дополнительные инструменты» → «Инструменты разработчика».
После чего выбрать вкладку «Network» и обновить страницу (F5).
Далее в графе «Name» необходимо выбрать тип файла, для которого вы хотите проверить заголовки, и справа во вкладке «Headers» будут указаны все заголовки текущего файла.
Просмотр HTTP-заголовков в браузере Firefox
Аналогичным способом можно проверить заголовки и в Firefox: при помощи Ctrl+Shift+C либо в верхнем выпадающем меню выбрать «Веб-разработка»→«Инструменты разработчика». Далее выбрать вкладку «Сеть» и обновить страницу (F5). После чего выбрать тип документа для проверки и в правой части экрана выбрать вкладку «Заголовки». Перед вами появятся заголовки текущей страницы.
Другие способы проверки HTTP-заголовков
Для того чтобы посмотреть HTTP-заголовки в два счёта, есть множество расширений для любого браузера, будь то Google Chrome, Mozilla Firefox или Internet Explorer.
Примеры популярных расширений:
- Live HTTP Headers для Mozilla Firefox.
- HTTP Header Spy для Google Chrome и Mozilla Firefox.
- Microsoft Fiddler для Internet Explorer.
- Web Developer для Chrome, Mozilla Firefox и Opera.
Также в сети есть большое количество онлайн-программ, при помощи которых вы можете проверить заголовки своего сайта:
- https://bertal.ru/
- https://checkmy.ru/
- https://pr-cy.ru/headers/
Вдобавок в Яндекс.Вебмастере и Google Search Console также есть инструменты проверки HTTP Headers.
В заключение
Внедрение HTTP-заголовков особенно актуально для средних и крупных сайтов для ускорения работы веб-сервера, а также уменьшения расхода краулингового бюджета на ресурсы, которые нет необходимости повторно скачивать. Подробнее о том, какими ещё способами можно увеличить краулинговый бюджет сайта, читайте в статье: https://siteclinic.ru/blog/technical-aspects/kak-uvelichit-kraulingovyj-byudzhet/.
Если Вы хотите исправить все ошибки оптимизации на сайте, обращайтесь к нам!
Подписаться на рассылку
- Вы не любите Joomla!? Вы просто не умеете ее готовить Продолжим серию обзоров популярных CMS и поговорим о Joomla: в чем её преимущества и с чем вам придется познакомиться, работая с этой CMS. Мы постарались.
- Обзор CMS-систем. Мощный, гибкий, безопасный Drupal Мы продолжаем наш цикл статей, посвященных описанию самых интересных CMS. Сегодня мы с Вами поговорим о DRUPAL. Для каких задач стоит её выбирать, главные особенности.
- Технический аудит сайта: когда проводить, какие инструменты использовать и что проверять Когда проводить технический аудит сайта Какие инструменты использовать Что нужно проверять Когда нужно проводить технический аудит, с какой периодичностью Технический аудит сайта обязательно проводится перед.
- Гайд по robots.txt: создаём, настраиваем, проверяем В этой статье мы рассмотрим: Что такое robots.txt? Все директивы файла: Disallow и Allow Sitemap Host Crawl-delay Clean-param Использование спецсимволов Как проверить корректную работу файла.
- Распространённые технические ошибки сайтов Из статьи вы узнаете, какие технические ошибки всё ещё встречаются на сайтах, и что делать с ними при обнаружении. Ошибки из отчётов Google Search Console.
Девиз: Никогда не останавливайся на достигнутом.
Источник: siteclinic.ru