Как хранятся данные в на Youtube

Я надеюсь, что кто-нибудь сможет мне помочь в этой теме, даже если это не конкретный вопрос программирования. Я пишу бакалаврскую диссертацию, в которой сравниваю MySQL с MongoDB и хочу написать что-нибудь о Youtube, поскольку платформе приходится обрабатывать множество запросов с большой загрузкой данных. Единственным хорошим ресурсом, который я нашел, было это видео: Сиэтлская конференция по масштабируемости: масштабируемость YouTube

Поскольку конференция проходила в 2007 году, я могу представить, что в базу данных были внесены некоторые обновления.

Последняя информация, которую я получил из этого выступления, заключается в том, что эскизы хранятся в базе данных BigTable, а метаданные — в MySQL. Есть ли какие-то изменения с тех пор? Где хранятся видео? Есть ли в таблице MySQL запись, которая относится к сохраненному видео?

Заранее спасибо за ответ!

Daniel Blaichinger 5 Апр 2012 в 14:23
Это хорошее чтение на нем 8bitmen.com/…
16 Дек 2019 в 17:33

4 ответа

Лучший ответ
kristianp 13 Апр 2012 в 15:26

Где хранится видеоконтент YouTube, резервируется ли он, каков общий размер хранилищ данных?

Они могут использовать hadoop для повышения производительности. сайт слишком большой и все еще быстрый

13 Апр 2012 в 16:19

Я уверен, что они используют ряд различных технологий, но похоже, что mysql определенно является одной из них. Hadoop — это не то, что может использовать сайт, принадлежащий Google, Hadoop вдохновлен Google Map-Reduce.

14 Апр 2012 в 13:03
Спасибо за ссылку! Думаю, там можно получить полезную информацию.
Daniel Blaichinger
14 Апр 2012 в 20:41

Я не уверен, как обстоят дела на YouTube, но я разрабатываю аналогичное приложение для нашего клиента. Итак, мы используем лучшее из обоих миров, то есть SQL и NoSQL.

Где находятся сервера ютуба

Сервера YouTube хранят очень много контента. Содержание. Как YouTube хранит такое количество данных; Количество серверов у «Ютуба»; Где располагаются сервера .

Где хранятся данные YouTube?

YouTube – это сервис компании Google. Соответственно, весь контент видеосервиса хранится на серверах в дата-центрах Google. Данные, хранящиеся на серверах, реплицируются в нескольких дата-центрах, так что выход из строя одного из них к потере данных не приведет. Информация об объемах хранения официально не публикуется.

Где находится сервер гугла?

Дата-центр Google в Каунсил Блаффс, штат Айова, США. 15. У каждого сервера есть четыре интерфейса, обозначенные проводами различных цветов.

Какие всё-таки ip адреса у www.youtube.com?

nslookup www.youtube.com 8.8.8.8
Каждый раз выдаёт другой ip-адрес.

Различные DNS выдают разные адреса, некоторые списком, некоторые по одному.

• Вопрос задан более трёх лет назад
• 22912 просмотров

• Facebook
• Вконтакте
• Twitter

• Facebook
• Вконтакте
• Twitter

• Facebook
• Вконтакте
• Twitter

Как и где Ютуб хранит столько контента?

Разумеется он разный. Очень мало шансов что вам выпадет один и тот же.
www.youtube.com и youtube.com это одно и тоже, и никак на адрес не влияет.

Это называется балансировка по DNS

DNS сервер отдает пользователю нужный адрес исходя из нагрузки на конкретный сервер, региона, и.т.д.

https://amdy.su/wp-admin/options-general.php?page=ad-inserter.php#tab-8

Самих серверов у крупных компаний тысячи, IP адресов тоже может быть много.

Как использовать IP-адрес YouTube для доступа к сайту

Вместо использования обычного DNS-имени можно использовать IP-адрес YouTube для доступа к URL-адресу www.youtube.com. Как и многие популярные веб-сайты, YouTube использует несколько серверов для обработки входящих запросов. Это означает, что домен YouTube имеет более одного доступного IP-адреса в зависимости от того, когда и где вы подключаетесь.

Микела Буттиноль / Lifewire

Если вы открываете YouTube с его IP-адреса, потому что он заблокирован там, где вы находитесь, используйте анонимный веб-прокси-сервер или службу VPN, чтобы открыть YouTube.

IP-адреса YouTube

Это наиболее распространенные IP-адреса для YouTube:

• 208.65.153.238
• 208.65.153.251
• 208.65.153.253
• 208.117.236.69

Так же, как вы можете перейти на главную страницу YouTube, введя https://www.youtube.com/ в веб-браузере, так что вы также можете добавить https:// на любой IP-адрес YouTube, например, https://208.65.153.238/.

Если вы не можете открыть YouTube с его IP-адресом, см. Дополнительную информацию в разделе внизу этой страницы.

Диапазоны IP-адресов YouTube

Для поддержки большой и растущей сети веб-серверов YouTube владеет рядом IP-адресов в диапазонах, называемых блоками.

Эти блоки IP-адресов принадлежат YouTube:

• 199.223.232.0 — 199.223.239.255
• 207.223.160.0 — 207.223.175.255
• 208.65.152.0 — 208.65.155.255
• 208.117.224.0 — 208.117.255.255
• 209.85.128.0 — 209.85.255.255
• 216.58.192.0 — 216.58.223.255
• 216.239.32.0 — 216.239.63.255

Администраторы, которые хотят заблокировать доступ к YouTube из своей сети, должны заблокировать эти диапазоны IP-адресов, если их маршрутизатор позволяет.

Во время известного инцидента в 2008 году пакистанский национальный провайдер интернет-услуг «Пакистан Телеком» внедрил блокировку на YouTube, которая транслировалась в другие части Интернета, в результате чего YouTube стал недоступен нигде в течение нескольких часов.

Допустимое использование IP-адресов YouTube

Если вы не можете перейти на https://www.youtube.com/, возможно, ваш веб-хостинг блокирует доступ к нему. В этом случае использование URL-адреса на основе IP-адреса может быть успешным, но при этом нарушить политику допустимого использования (AUP) вашей хост-сети. Прежде чем использовать IP-адрес для подключения к YouTube, проверьте свой AUP или обратитесь к администратору локальной сети.

Некоторые страны запретили доступ к YouTube. Независимо от того, используют ли его имя или IP-адрес, люди в этих странах должны ожидать, что их соединения не будут работать. Это основная причина использовать прокси-сервер HTTP или службу VPN.

Такому веб-сайту, как YouTube, сложно заблокировать отдельных пользователей по их общедоступным IP-адресам, потому что большинство интернет-провайдеров распределяют их клиентам динамически (эти IP-адреса часто меняются). По той же причине YouTube не ограничивает строгое голосование за видео одним голосом на каждый IP-адрес, хотя сохраняет и другие ограничения, чтобы предотвратить подтасовку голосов.

Найдите IP-адреса пользователей YouTube

Пользователи, которые голосуют за видео или оставляют комментарии на сайте, записывают свои IP-адреса на YouTube. Как и другие крупные веб-сайты, YouTube могут попросить передать журналы своих серверов юридическим агентствам по решению суда.

Однако вы, как обычный пользователь, не можете получить доступ к этим частным IP-адресам.

Это не всегда работает

Некоторые IP-адреса, помеченные как принадлежащие YouTube, указывают на другой продукт Google, такой как Google Search на google.com. Это связано с виртуальным хостингом. Google использует одни и те же серверы для доставки своих продуктов, включая YouTube.

Иногда общего IP-адреса, используемого продуктом Google, недостаточно, чтобы объяснить, какую именно веб-страницу вы пытаетесь посетить, и поэтому вы можете не получить ничего полезного и увидеть пустую страницу или какую-то ошибку.

Эта концепция применима к любой веб-странице. Если вы не можете открыть веб-сайт, используя его IP-адрес, то есть вероятность, что адрес относится к серверу, на котором размещено более одного веб-сайта, и поэтому сервер не знает, какой веб-сайт загружать по вашему запросу.

Похожие публикации:

1. Dd wrt как прошить
2. Maven snapshot что это
3. Wm off что это
4. Как выполнить код в браузере

Источник: amdy.su

Как Google хранит информацию?

Ежедневно на сервисы Google попадают петабайты информации, будь то видеоролики в YouTube, пользовательские данные или игры в Play Market.

Для хранения информации в таких огромных объёмах требуется соответствующее оборудование и далеко не все знают, как это хранится.

Вся информация хранится в большой вычислительной системе — сервере. Простыми словами, это огромное множество вычислительных машин, объединённых между собой. Все компьютеры в такой сети имеют равные права, но управление происходит с одного главного компьютера — главный процессор всей этой сети.

На чём хранится информация?

Информация хранится на знакомых нам жёстких дисках. Объём одного жёсткого диска может достигать около 20 терабайт. Кажется, что это очень немного, но в такой вычислительной сети таких жёстких дисков огромное множество, сотни тысяч (если не миллионы). Весь сервер Google занимает площадь размером в 10.000 квадратных метров, это как самое большое футбольное поле.

Ежеминутно на YouTube заливается 300 часов видео.

Примерный вес YouTube — 5 петабайт (5 тысяч терабайт).

Вес Netflix — 1 петабайт (1 тысяча терабайт).

Если рассматривать на примере YouTube, то каждый день платформа обрабатывает терабайты видео-роликов.

Если допустить, что в среднем люди загружают видео по 15 минут в разрешении FullHD (1920×1080) в 60 fps/frames, то вес одного такого видео-ролика будет примерно 10 гигабайт. Из данных выше можно сделать вывод, что каждую минуту в YouTube загружают свыше 100 гигабайт информации.