Где находятся сервера ВК

Все что вы пишите, каждая буква, отправленная фотография, записанное видео или аудиосообщения, все это записывается и хранится в таких дата центрах.

Например, дата центры есть у таких компаний как: Яднекс, Mail.ru, Google, Amazon, Ozon и тд.

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Что такое дата-центр?

Это не дата центр вк, а просто взята для примера

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

ДЕЛАЕМ МОНИТОРИНГ ИГРОВОГО СЕРВЕРА В ГРУППЕ ВК | CS:GO RUST GTA … | ПИАР СЕРВЕРОВ

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c.

Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Источник: dzen.ru

Как выглядит дата-центр соцсети ВКонткте

Дата-центр социальной сети VK находится на улице Цветочная в Санкт-Петербурге, в пределах одного километра от станции метрополитена «Московские ворота».

Это отдельно стоящее здание, общая площадь которого равна 1500 квадратных метров. Северное помещение имеет площадь 700 квадратных метров, и в нем находится 210 телекоммуникационных шкафов, кластеры бесперебойных источников питания и прецизионные кондиционеры.

В отдельном помещении располагаются батарейные кабинеты для источников бесперебойного питания. Для того, чтобы погрузка и разгрузка оборудования была комфортной, оборудованы грузовые ворота.

Электропитание дата-центра VK

Данный дата-центр применяет два независимых ввода электропитания, мощность каждого из них составляет 2 МВт. В помещении дата-центра оборудованы две новые трансформаторные подстанции, которые резервируют друг друга. Два кластера из 4-х источников бесперебойного питания Liebert NXa 200 KVA с общим резервированием N+1 обеспечивают непрерывность электропитания. На тот случай, если произойдет отключение двух вводов электропитания, установлен дизель генератор FG Wilson, который оборудован системой автозапуска, если электричество отключается.

НА ЧТО ГОТОВЫ ИГРОКИ РАДИ ДЕНЕГ? — МАЙНКРАФТ ФАНТАЙМ

Всю мощность дата-центра резервируют ДГУ. Применяемые ДГУ оборудованы в исполнении «Север», который предусматривает запуск при температуре до -30 градусов по Цельсию. Без дополнительной дозаправки гарантированное время работы этих дизель генераторов составляет 24 часа.

Вентиляция и кондиционирование дата-центра VK

Кондиционеры EMICON обеспечивают микроклимат в Северном помещении с поступлением воздуха под фальшпол. С резервированием по схеме N+1 основана система кондиционирования. Оборудование охлаждается по принципу «горячих» и «холодных коридоров», в «холодных» температура составляет 20-22 градуса по Цельсию.

Телекоммуникации дата-центра VK

У дата-центра имеются свои собственные оптические каналы, основные точки обмена трафиком в городе Санкт-Петербург — Боровая, 57 и Большая Морская, 18, а также с дата-центрами «Дубровка-3», «Дубровка-2», «Дубровка». В помещении дата-центра располагаются кабельные вводы не только из телефонной канализации СЗТ, но и из воздуха. На данный момент в дата-центре в наличии такие операторы как РетнНет, Вымпелком, Ростелеком, TeliaSonera, Раском, ОБИТ, Мегафон, ТрансТелеКом, МТС, РТКомм.РУ, Северен-Телеком, ЕДПнет, Runnet.ru и другие. Также присутствуют на площадке точки обмена трафиком Пирикс и Data-IX.

Как охраняются дата-центры VK

Дата-центр оборудован современными защитными системами для предотвращения нежелательного проникновения как в само здание, так и в северное помещение. На входе в здание и в северное помещение установлен круглосуточный пост мощной вооруженной охраны. За входом, всеми помещениями и периметром здания следят более 100 камер видеонаблюдения.

В каждом помещении дата-центра оборудована система контроля и учета доступа с использованием магнитных карт, а также видеокамер и датчиков пожарной сигнализации.

Как обслуживаются дата-центры VK

Системные инженеры с высокой квалификацией круглые сутки следят за работой основных систем дата-центра. Техническая поддержка работает, не прекращая, 24 часа в сутки.

Весь перечень работ, выполняемых дата-центром VK

• аренда серверной стойки,
• аренда выделенного сервера,
• аренда выделенного пространства,
• облачное хранилище,
• виртуальное приватное облако,
• аренда сервера произвольной конфигурации,
• волоконно-оптические линии связи,
• мониторинг, размещение сервера,
• сеть доставки контента,
• аренда программного обеспечения,
• администрирование серверов,
• защита от ddos.

Вот такой он – дата-центр VK «Цветочная». Могли ли вы себе представить, насколько много здесь оборудования и как оно все одновременно работает?

2724

Источник: v-mire.net

Дата-центр ВКонтакте

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

• Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.
• Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.
• Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

• Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.
• Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.
• Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.
• Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.
• Система видеонаблюдения.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тб/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тб/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Первый машинный зал. Возможно, именно здесь лежит Ваше любимое видео.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1. Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Схема электропитания в штатном режиме

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Схема электропитания при аварии на вводе

Если всё совсем плохо, и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Источники бесперебойного питания

А это аккумуляторы для них — внешне очень похожи на автомобильные…

… только занимают несколько больших помещений

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Дизель-генераторные установки

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

Статический переключатель нагрузки + ручной байпас Digital Energy

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определенный температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Внутренние блоки прецизионных кондиционеров

Внешние блоки прецизионных кондиционеров

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

Холодный коридор машинного зала

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Горячий коридор машинного зала

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Баллоны с хладоном

Манометр

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Мониторинг электроснабжения

Мониторинг системы охлаждения

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Подведём итоги

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.

Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Если Вы — первоклассный специалист, у Вас есть шанс познакомиться с нашим дата-центром поближе, став частью команды. Мы приглашаем на работу руководителя тестовой лаборатории ЦОД и системных администраторов.

P.S. Статьи о технической стороне ВКонтакте также можно читать в нашем блоге на русском и английском языках. Задать вопрос автору можно в официальном сообществе.

• Блог компании VK
• IT-инфраструктура
• Сетевые технологии
• Хранение данных

Источник: habr.com