Замедление YouTube с технической стороны

Замедление YouTube с технической стороны

Привет, Хабр!

В последнее время замечаю огромное количество информации по поводу замедления Великого, но очень мало где видел конкретику о том, как именно это работает. Одно лишь отчаяние "мы все умрём".

Сразу скажу, что буду говорить обо всём, что известно на данный момент. Понятно, что с этим разбирался далеко не один я: огромное спасибо обывателям ntc party форума за проделанный ресёрч.

Так вот, начнём сначала, с злополучного GGC. Официальное заявление было, что кэш сервера устарели и долго не обновлялись, но у многих возникло такое скептическое чувство: "до этого работали, а тут в один момент всё поломалось". К тому же есть статья на википедии, которая утверждает, что разговоры про эти GGC шли еще с 2018 года. Да и если это были они, у нас бы плохо работала львиная доля гугл сервисов, включая Google Drive, Google PlayMarket, Google Images. А оно работает прекрасно, как и прежде.

Дальше рассмотрим идею, что это вообще гугл тестирует ограничение загрузчиков типа yt-dlp, потому что, в первую очередь, проблемы коснулись именно их. Идея на самом деле интересная, потому что действительно на современных протоколах (QUIC) всё хорошо работает, а проблемы есть только на старом добром TCP (сейчас ходят слухи, что и QUIC начали ограничивать, и, вроде как, я могу это подтвердить). Эту и предыдущую идеи мы опровергнем далее.

Как только я начал разбираться с этой проблемой и открыл Wireshark, меня ждали логи, состоящие наполовину из красных полос. Я не стал особо думать над тем, как именно замедляется ютуб со стороны TCP, но сразу стало понятно, что замедление искусственное, потому что если бы это были GGC, они бы либо не работали вообще, либо просто скорость была маленькая, а тут тонны потерянных пакетов. А еще забавно, что с QUIC, который автоматом работает в хроме такого вообще не происходило и скорость была в норме. Я начал искать и вспомнил про один очень крутой форум по обходу всяких подобных приколов с цензурой интернета, ntc party. Там я нашёл, как именно замедляется ютуб и контрпример, подтверждающий на 100%, что это проделки большого брата.

Но перед тем, как назвать способ замедления, давайте подумаем, а как они могут вообще определить, что я смотрю ютуб просто видя raw ip пакеты. Пойдём с самого низкого уровня, который может их заинтересовать, IP. Что тут есть? IP адрес. И это очень мощный инструмент, правда если их не тысячи, и если на них работает только один сервис, googlevideo. В случае огромной инфраструктуры гугла их банально сложно получить, я уже не говорю про то, что если на одном айпишнике работают, скажем гуглвидео и гугл плеймаркет, а ведь вероятность такая есть, это же GGC как никак. Тогда обрубая одно, обрубим и другое. Что делать? Посмотрим выше. На TCP мало чего интересного, поднимаемся еще выше. А дальше TLS. И это всё? Почти... Да, современные протоколы сделаны так, чтобы шифровать всё, что можно. Но есть только одно исключение. В спецификации TLS есть такая вещь, как SNI. Она передаётся серверу и говорит ему, к какому именно сайту мы хотим подключиться и, следовательно, какой именно сертификат нам давать. Что-то типа Host в HTTP, но для TLS. Так вот, этот самый SNI спокойно себе передаётся в незашифрованном виде. Было много спецификаций, предлагающих его зашифровать, но мэйнстримом оно не стало. К тому же, провайдеры блокировали такие подключения, чтобы не мешали следить за юзерами.

Так вот, SNI лежит в незашифрованном виде в Client Hello, и, обнаружив его, мы можем коннмарком пометить соединение и выкидывать рандомные пакеты.

Я знаю, что вы ждёте пруфов, господа, и вот они:

curl --connect-to ::speedtest.selectel.ru[censored] -k -o/dev/null

Что мы видим в этом curl запросе? У curl'a есть возможность подключаться к серверу с его именем, но вместо резолвинга DNS поставить какой-нибудь свой айпи. При этом вся информация более высокого уровня будет передаваться, как будто мы используем именно это имя. Такое поведение заставляет curl подменять тот самый SNI (ну еще и Host, но это нас не особенно интересует). -k флаг используется, чтобы отключить проверку сертификатов (она провалится, потому что speedtest.selectel.ru будет нам давать свой сертификат, но никак не желаемый от гуглвидео). И если запустить это запрос, то мы получим весёлую скорость в 120 килобайт на начале, и дальше она пойдёт на спад. Даже до нуля может дойти. А теперь замените любую букву в googlevideo на другую и скорость прыгнет до нормальной скорости интернета. Всё стало на свои места.

Как с этим бороться?

Конечно, способы борьбы существуют. Для этого будем думать в сторону манглинга (изменения) пакетов. Но если мы просто заменим googlevideo.com на yandex.ru, получим ошибку сертификатов. И не факт что браузер вообще позволит отключить эту проверку для гуглвидео и нормально будет с этим жить. Так что же делать?

Вспомнить про то, что ТСПУ - это всё-таки очень высоконагруженная штука, которая вряд ли будет запоминать, что и когда мы там отправляли в сеть, и, соответственно, если мы просто разобьем наш запрос на два в середине SNI, то О Чудо! Всё начинает работать. В моём случае не понадобились даже фейковые Client Hello или задержка между пакетами (но вроде как ему всё-таки нужен обратный порядок пакетов: сначала идёт хвост, потом голова).

Как разбивать? Есть два варианта: фрагментами IP и на уровне сегментации TCP. У меня лично фрагментация IP сначала работала на половину, а потом и вообще отвалилась. Возможно, провайдеру не понравилось. Идём выше, к TCP. И тут у них всё очень приятно работает. Даже несмотря на то, что я, казалось бы, из одного пакета сделал два, поменял размеры двух пакетов, я не нарушил никаких правил TCP соединения: Ack по количеству доставленных байт - вещь.

Готовые средства обхода. Ну и самое вкусненькое. Я лично написал[censored] которое направлено только на ютуб. Также для Windows существует[censored] под линукс еще есть[censored] Существует[censored] который работает как прокси (Windows/Linux). Также есть[censored] работает как "фейковый впн". Советую прочитать[censored] о том, как использовать эти средства. Если есть желание погрузиться глубже в эту тему, вот тут можно посмотреть подробнее:[censored] and[censored]

Ты посмотри как много готовых решений как обойти замедление ютупа и все раздаются бесплатно и все синхронно размещаются на всех информационных площадках...

Вопрос к тем кто разбирается, насколько безопасно использовать это решение?
Ну то есть так то за мной следит и меня ограничивает моё родное КГБ, а тут непонятный англоязычный Виталя (ValdikSS).
Я не умею препарировать exe-шники, как понять что там не спрятана какая-нибудь гадость?

В russia-blacklist.txt у него довольно интересная подборка сайтов) я про 95% и не слышал никогда.

> Есть какое-то рациональное объяснение?

Его ещё черт-те когда дал Оруэлл: "Все животные равны, но некоторые равнее".

> вот заблокировали Инстаграм, отлично, но при этом жена Хинштейна, куча политиков, общественных деятелей - продолжает им пользоваться, демонстративно практически - в чём смысл таких запретов? Есть какое-то рациональное объяснение?

В одном из банков как-то посчитали, что если при выплате кэшбека округлять до рублей, а копейки не выплачивать, то можно нормально сэкономить. Количество держателей карт тогда уже перевалило за 1 млн. Ну, т.е., к примеру, ты получишь не 15 руб. 97 коп., а просто 15 руб.
Понимая, что не все клиенты будут таким поворотом довольны, ответственные за направление спустили сотрудникам скритп по работе с возражением: " но, какого хера стали меньше начислять?". Скрипт был простой: "это для вашего же удобства, чтобы былр удобнее считать!".
Про жену Хинштейна, политиков и общественных деятелей можно предложить такой вариант: "это интеллектуальная элита общества, они не подвержены вражеской пропаганде, в отличие от тупого быдла". Хотя, наверное, время такой риторики ещё не пришло

> Мне больше непонятно, почему фейсбук, инстаграм и даже окулус заблокировали, а вотсапом от той же экстремистской компании мета все продолжают пользоваться

wa является мессенджером, а не социальной сетью. Так объясняли

> в чём смысл таких запретов? Есть какое-то рациональное объяснение?

Снижение конверсии. Каждый препон, даже банальная капча, или неправильно расположенная кнопка снижают аудиторию сервиса. А блокировка снижает ее в разы.

> wa является мессенджером, а не социальной сетью

А сервер обновления прошивки для VR-очков чем является?

> А сервер обновления прошивки для VR-очков чем является?

Не знаю, спроси у специалистов

>
> Вроде есть ещё MAC и тут всё проще, не?
> Я сварщик ненастоящий, но вопрос имею. ))

MAC - не имеет отношения к интернету. Только к внутренней сети.

> Вроде есть ещё MAC и тут всё проще, не?
>

Не. MAC это сетевой адрес на уровне железа. По сути -- номер сетевой карты. Поменяли железо (апгрейд, ремонт) -- поменяли MAC. С его помощью можно различать устройства пользователя, например. Но смысл блокировки -- не устройства пользователя различать, а выдавать пользователю говно если пользователь качает данные с определённого ресурса. У ресурса куча адресов и они могут меняться. Плюс, один адрес может отвечать за несколько сервисов. Поэтому такая фильтрация (по адресу) плохо подходит. Ну а MAC здесь подходит ещё меньше.

> Мне больше непонятно, почему фейсбук, инстаграм и даже окулус заблокировали, а вотсапом от той же экстремистской компании мета все продолжают пользоваться.

Видимо в госдуме им пользуются, а на ТГ переходить не с руки, сложен больно=)

>
> Кстати, последней каплей, после которой всё и началось, стал бан ютубом страницы Шамана. Зачем нужен ресурс, на котором нельзя смотреть шамана, я вас спрашиваю?

А то что перед этим забанили сперва каналы российских СМИ, потом российских телеведущих, потом блоггеров, оказывающих прямую поддержку властям, потом блоггеров, которые просто не тех людей пригласили, а потом уже перешли к бану каналов, которые были замечены в прошлом в публикации материалов СМИ РФ - это хуйня из под коня, да.
Интересно, почему никому в голову не приходит, в том числе и нашим контентмейкерам, что каналы, у которых российская аудитория, и которая ходит на ютуб без ВПН, для гугла говно на палке, не приносящее денег, и с ними можно делать, что угодно?

> Кстати, последней каплей, после которой всё и началось, стал бан ютубом страницы Шамана

Шамана заблокировали потому, что ОН - РУССКИЙ! (это у него так в телеге написано)

И шесть тысяч комментов в стиле "мы - русские! С нами господь и шаман!"

> это хуйня из под коня, да

Да. Есть куча альтернативных источников, откуда ты можешь смотреть любимые СМИ РФ. А ютуб — это крупнейшая в мире библиотеке видеоконтента, на любые темы и на любых языках. Банить её — самострел в чистом виде и очередной удар по собственному населению, вместо реального врага. Очередное исполнение концепции "Бомбить Воронеж", чтобы враги боялись.

ЗЫ Самый пиздец в том, что они как нашкодившие школьники, даже не хватает смелости взять ответственность за свои поступки и сказать: "Да, режем скорость". Вместо этого втирают дичь про технические причины. Мол оборудование Гугл устарело, два года не ломалось, но есть чуйка что с этой среды начнёт. И точно.

ValdikSS - очень известный в сетевой безопасности специалист с большим бэкграундом в рунете. Есть открытые им уязвимости, публикации и прочее. Whitehat, по терминологии ИБ, короче.
А так-то да, никому верить нельзя!

> большинство российских пользователей и производителей контента на отечественную платформу, подконтрольную нашему государству

А вот такой вопрос. Как планируется пересадить иностранных производителей контента на рутуб?

> Ну то есть так то за мной следит и меня ограничивает моё родное КГБ, а тут непонятный англоязычный Виталя (ValdikSS).
> Я не умею препарировать exe-шники, как понять что там не спрятана какая-нибудь гадость?
>
> В russia-blacklist.txt у него довольно интересная подборка сайтов) я про 95% и не слышал никогда.

Никак, так же как и с кряками к софту на рутрекере.

Процитирую товарища про рутуб.

"Я тут смотрел как ноут разобрать...
Пока шли рекламы я передумал. Слишком долго ждать инфы.
Пока ждал технического контента узнал: чем правильно стирать, куда ехать отдыхать, где и за сколько купить квартиру. Понял что работаю не там и выключил."

Так то конкуренцию у гугла точно выиграть.
А про отношение отечественных платформ к контентмейкерам иногда рассказывают ребята с IXBT.games. Тоже впечатляет.

Хотя, понятно, что политика у ютуб явно не пророссийская и требования роскомнадзора они не исполняют и каналы удаляют и сделать с этим ничего не получается.

Специалисты, лучше ответьте Почему до сих пор весь ютуб не скачан и не выложен в рутуб?

> А вот такой вопрос. Как планируется пересадить иностранных производителей контента на рутуб?

Никак, иностранный контент останется на youtube. В этом же и цель - отключить массового зрителя от неподконтрольного иностранного контента.
Да он большинству и нахрен не сдался.
Если пересадить всех российских производителей контента на рутуб, то 95% тех, кто сейчас бьётся и хрипт, и не вспомнят чего они так youtube защищали. А оставшиеся 5% будут пользоваться двумя платформами и ходить за роликами на иностранном языке через vpn.

> Вотт тебе первый канал. Вотт тебе рен-тв. Вотт тебе Шаман. Что тебе надо то ещё?

А еще там Гоблин есть. Но это для лохов, реальные пацаны зарубежный контент на ютубе смотрят.

Вспомнят. По словам тех же ребят с ixbt, когда им кидали страйки на контент по сталкеру 2, то единственной платформой на которой можно было подать аппеляцию и добиться результата был ютуб. Ни вк плей, ни рутуб до конструктивного диалога не снизошли.
Думаю это не единственное в чем наши ресурсы проигрывают ютубу по работе с контентмейкерами.

> А зачем в СССР иностранное радио глушили?

В войну - из необходимости.

В позднем - уже от безысходности и идеологической некомпетентности, не позволяющей в моменте противостоять западной пропаганде иначе чем вот так.
Чем закончилось - известно, восторгами от жвачки и джинсов в социуме, стоило только приоткрыть шторку.

> зачем в США ходят разговоры про запрет тиктока?

От некомпетентности же.

Слабеют пред Китаем.

> Ютуб это в первую очередь средство пропаганды под управлением наших врагов, (как и Википедия и Твитер и Инстаграм), а потом уже библиотека.

Да, а машины это в первую очередь средство давления на пролетариат в руках капитала, а не техпрогресс.

Поэтому станем же луддитами.

> Главная цель пересадить - большинство российских пользователей и производителей контента на отечественную платформу, подконтрольную нашему государству и подключить к собственной пропаганде, а не вражеской.

Да сразу отрубить инет всем и оставить просто ящик.

Сразу все проблемы решены будут.

А то вдруг и на платформе не будет ожидаемого, зачем эти риски.

***

Идеологическая компетентность, создание своих решений за десятилетия до, их раскрутка, вбирание в себя моря контента и миллиардной аудитории - ну зачем это все, если можно применить рубильник, правда?

> Вроде есть ещё MAC и тут всё проще, не?

Мак виден только в пределах одного физического сегмента сети