Я знаю, что эта статья не сильно вписывается в тематику моего блога, но вообще информация из статьи показалась мне крайне интересной, и я решил перевести ее для читателей. Кстати, можно попробовать притянуть за уши к тематике блога и эту статью — пока ее писал, позаходил на некоторые сайты, которые в ней упоминаются, и все они активно рекламируют, что поддерживают iPad и не требуют для работы Flash. Вполне может быть, что как в свое время порно-индустрия проголосовала за VHS, а затем выбрала Bluray, так и сейчас решение порно-индустрии не в пользу Flash, скорей всего, окончательно добьет эту технологию как инструмент поставки видео в сети. Вот. Теперь к сути.(простите, не мог удержаться до понедельника, так хотелось перевести).
—————
Общепринято считать, что человек с быстрым интернет-подключением может желать какой-нибудь порнушки.
И хотя в эту сферу сложно внедриться — точных данных очень мало, мы точно знаем, что порно-сайты являются одной из самых популярных частей интернета с точки зрения трафика. Согласно DoubleClick Ad Planner, который отслеживает пользователей в сети с помощью куки, среди 500 популярнейших веб-сайтов есть десятки сайтов для взрослых. Xvideos, крупнейший порно-сайт в сети с 4,4 млрд просмотров в месяц, в три раза больше CNN или ESPN, и в два раза больше Reddit. LiveJasmin не намного меньше. YouPorn, Tube8 и Pornhub — это все очень крупные сайты, больше которых только Google и Facebook.

И хотя количество просматриваемых страниц — это неплохое начало, но они нам говорят только о том, что порно-сайт А более популярен, чем непорно-сайт Б. 4 миллиарда просмотров страниц звучит круто, но когда вы учтете, что именно делают на этих сайтах посетители, тогда можно оценить размер и масштаб сайтов для взрослых по-настоящему.
[ad#intext-inside]
Начнем с базовых вещей, а потом расскажем о реальных цифрах от YouPorn, второго по величине порно-сайта в интернете. Если хотите, можете попробовать поугадывать количество трафика, которое проходит через YouPorn каждую секунду. Потом расскажете в комментариях, угадали ли вы.
Масштаб
Основная разница между порно и не-порно сайтами — в средней продолжительности визита: для новостного сайта вроде Engadget или ExtremeTech среднее посещение длится примерно от 3 до 6 минут; достаточно времени, чтобы прочитать 1-2 статьи. Среднее время, проведенное на порно-сайте, однако, составляет от 15 до 20 минут.
Еще надо учитывать, что большинство веб-сайтов состоят в основном из текстов и картинок, в то время как крупнейшие порно-сайты транслируют видео. Когда вы загружаете главную страницу ExtremeTech, мы говорим о паре мегабайт, а затем, может быть, 500 килобайт, если вы загружаете статью. Когда вы смотрите порно, допустим, в низком разрешении 480х200, вам передается около 100кб в секунду — так что за 15 минут набегает на 90 мегабайт.
А затем надо умножить 90 мегабайт на количество посетителей в месяц — это около 350 миллионов у Xvideos. Так что получается примерно 29 петабайт данных каждый месяц, или же 50 гигабайт в секунду. Для сравнения, ваше домашнее интернет-подключение, скорей всего, способно пропускать несколько мегабайт в секунду, что в 25 тысяч раз меньше.
Короче говоря, порно-сайтам приходится работать с астрономическими объемами данных. Единственные сайты, которые похожи по этим параметрам — это YouTube или Hulu, но даже YouPorn примерно в 6 раз больше Hulu.
Инфраструктура
Раздача видео требует гораздо больше ресурсов, чем загрузка текста или изображений — и в плане хранения, и процессора, и систем ввода/вывода, и мощности канала передачи данных.
От сайта к сайту эта цифра, конечно, отличается, но большинство сайтов для взрослых хранят примерно от 50 до 200 терабайтов порно. Это много для веб-сайта (только сайты типа Google, Facebook, Blogger, YouTube хранят больше данных), но в мире, где диски на 2ТБ дешевые и доступные, это не так уж и много. Мы писали в прошлом году про систему хранения Backblaze, где можно хранить 135ТБ в ящике 4U, стоимостью всего 7400 долл.
Мощность процессора и ввода-вывода зависят от битрейта транслируемого видео и количества просматриваемых страниц. Вначале порно-сайт должен выдать динамическую, доступную для поиска базу данных тысяч роликов, а затем, когда кто-то кликает на видео, этот файл надо прочитать с жесткого диска и затем транслировать его через интернет. Если
вы когда-то передавали много больших файлов по локальной сети (то есть, нагружая и жесткий диск, и порт Ethernet), вы знаете, какую нагрузку это вызывает.
Реальные аппаратные требования практически невозможно получить (их не публикуют), но в случае с большим порно-сайтом мы, видимо, говорим о стойках четырехядерных серверов, гигабитных свичах и балансировщиках нагрузки. В программном плане большинство крупных порно-сайтов используют высокопроизводительную базу данных Redis для хранения и выдачи видео, и легкий HTTP-сервер вроде Nginx для выдачи веб-страниц.
Ну и, конечно, канал связи. Возвращаясь к примеру Xvideos (на основе оценки Ad Planer), большой порносайт должен иметь достаточно широкий канал, чтобы выдавать 50 гигабайтов в секунду (400Гбит/с). И речь идет о средней нагрузке: в пиковые моменты Xvideos может подниматься до 1000Гбит/с (1Тбит/с) или даже больше. Для сравнения, между Лондоном и Нью-Йорком общая ширина каналов связи составляет примерно 15Тбит/сек.
Чтобы справиться с таким объемом трафика, есть несколько вариантов: можно построить свой дата-центр, арендовать несколько стоек в очень большом дата-центре, или же использовать облачного провайдера вроде Amazon AWS или Microsoft Azure.
Реальный пример
Второй по величине порно-сайт в интернете, YouPorn, поделился с нами реальными данными. Вас может порадовать (или напугать) тот факт, что оценочные цифры DoubleClick Ad Planner оказываются значительно ниже, чем на самом деле.
YouPorn хранит “более 100ТБ порно”, и показывает более “100 млн” страниц в день. С учетом этого, в среднем получается 950 терабайт данных в день, почти все — потоковое видео. Это примерно 28 петабайт в месяц, что означает, что наша оценка про 29ПБ для Xvideos занижена; там, видимо, передается от 35 до 40ПБ в месяц.
Но это еще не все! В моменты пиковой нагрузки YouPorn выдает 4000 страниц в секунду, что равно пиковому трафику в районе 100 гигабайт в секунду (800Гбит/с). Это равно передаче более 10 двухслойных DVD каждую секунду.
В программной части для хранения данных YouPorn на 100% построен на Redis, а MySQL используется как администрирующий инструмент для управления и добавления данных в кластер Redis. Сайт был когда-то сделан на Perl с бэк-эндом в виде MySQL, но в 2011 году Perl заменили на PHP, а MySQL заменили на Redis. Nginx используется в качестве HTTP-сервера, а HAProxy и Varnish используются для балансировки загрузки.
Сервер Redis обрабатывает 300 тысяч запросов в секунду, и каждый час сохраняется 8-15ГБ логов (логи посещаемости, поведение, и тд). Нам рассказали, что это решение способно обрабатывать до 200 млн просмотров в день.
К сожалению, YouPorn не смогли рассказать о своей аппаратной инфраструктуре. Судя по IP-адресам их сети доставки контента, они не размещаются “в облаке” вроде Amazon, а, скорее, где-то в большом дата-центре, где пиринг обеспечивается провайдерами третьего уровня.
[ad#intext-inside]
Чтобы оценить масштабы этой цифры в 800Гбит/с, можно сказать, что в Интернете ежедневно передается около половины экзабайта, что равно примерно 50Тбит/сек — другими словами, один порно-сайт передает примерно 2% всего трафика интернета. А сайтов масштаба YouPorn — десятки, и сотни таких, которые размером с ExtremeTech или ваш любимый новостной сайт. Так что вполне можно допустить, что порнография занимает 30% всех данных, передаваемых по сети интернет.
Интернет на самом деле для порнографии.
Оригинал