Минкомсвязи заблокирует звонки через VoIP-сервисы на телефон

> А кто сказал, что у нас бордеры -- Киски?

[Изо всех сил делает вид, что ему неинтересно] А что у вас за бордеры? Ну, это я в смысле, номер своей AS ты уже сказал, давай уже и дальше рассказывай!!! ;)

На Е1 снаружи по-любому нужна лицензия на телематику.

Если принимать всё медью и так же медью раздавать "внутре" -- нужен только абонентский договор с оператором меди.

> Чисто случайно услышал обсуждение - фаломорфировал от обыденности тона разговора

Яжсвязист.

>> А кто сказал, что у нас бордеры -- Киски?

> [Изо всех сил делает вид, что ему неинтересно] А что у вас за бордеры? Ну, это я в смысле, номер своей AS ты уже сказал, давай уже и дальше рассказывай!!! ;)

FreeBSD, разумеется. Quagga, Zebra, Netflow, ipfw, fail2ban и прочее, связанное с ними. Рулю этим, есличО, не я. Я тут по 2-nd layer, 3-й уровень -- факультативно.

UPD: Кстати, камрад, если имеешь опыт балансировки трафика на Зебре -- поделись опытом. А то тут у нас вылез инцидент -- при внезапном аппаратном отказе одного из надпровайдеров на другого переручивались часами (протокол BGP).

> данные в пакетном режиме и так передаются в мобильных сетях по остаточному принципу

С учётом того, что сам протокол GSM/DCS -- изначально пакетный, звучит слегка смешно :)

> Яжсвязист.

Я про депутата и "цену" принять поправку к закону.

> техническая возможность у вас имеется

При прямом SIP'е -- да. Если клиент пропихивает свои сипы через VPN -- бордер отдыхает.

Запись голосовых разговоров на Астериске есть, но инициализируется только по требованию клиента и в его интересах. Мы, провайдер, сами разговоры за всеми не пишем, у нас только CDR -- логи вызовов (когда кто кому звонил).

> При прямом SIP'е -- да. Если клиент пропихивает свои сипы через VPN -- бордер отдыхает.

Секундочку. Есть нюанс. Чтобы обеспечить приемлемое качество обслуживания, SIP (сигнализация) и RTP (голос), должны передаваться с DSCP Expedited Forwarding. Если SIP (и RTP) кладутся в VPN, трафику VPN следует присваивать тот же DSCP для обеспечения того же качества обслуживания. И у цисок, например, даже есть такая фича, когда они копируют поле DSCP в пакет IPsec. И у OpenVPN она есть. И вот по этому-то значению Expedited Forwarding VoIP трафик классифицируется на раз!

Я те как человек, трудящихся на ОПСОСа, скажу:
- жадности там нет предела. Даже со своих сотрудников регулярно режут.
- эти пидоры могли бы предостпвлять связь и услуги в 5-6 раз дешевле, и все равно были бы в плюсе
- это результат политики не "связь для людей", а "люди для владельцев ОПСОС"
- и это я еще не у самого жадного работаю

> UPD: Кстати, камрад, если имеешь опыт балансировки трафика на Зебре -- поделись опытом.

Не, опыта балансировки не имею, в провайдерах не работал. Знаю только, что балансировка трафика с помощью BGP - это весьма гиблое дело, потому что обычно это делается принудительным вкорячиванием дополнительных хопов в своей системе, отдаваемых определённому провайдеру (bgp path prepend), но те, не будь дураками, все такие лишние хопы решительно вырезают.

> А то тут у нас вылез инцидент -- при внезапном аппаратном отказе одного из надпровайдеров на другого переручивались часами (протокол BGP).

А вы у кого арендовали тот нетблок, на который пропал входящий трафик? Случайно, не у того ли упавшего аплинка?

> Если же твоя копропротивная сеть в одной точке снаружи берёт Е1, пропускает это через себя и в другой точке отдаёт это же в другой Е1 наружу -- ты телематическая контора, и будь любезен обрести лицензию.

Здрасьте! На что лицензию - то? На то, что сотрудники головного офиса моей гипотетической организации будут обзванивать своих клиентов, например, в Новосибирске, физически находясь при этом в Москве, звоня на телефоны московского офиса и набирая код выхода на АТС допофиса в Новосибирске, а затем местный новосибирский номер? Кому моя организация при этом предоставляет услуги связи?

> > Местному телефонному провайдеру, получившему звонок по E1, нихрена не видно, что этот звонок прошёл по VoIP транку.

> Видно.

Поясни, потому что мне непонятно, как. CLID/CLIP я ему отправлю тот, который он мне выделил.

> балансировка трафика с помощью BGP - это весьма гиблое дело, потому что обычно это делается принудительным вкорячиванием дополнительных хопов в своей системе, отдаваемых определённому провайдеру

«Развесовка плечей» процесс называется, как мне буквально несколько часов тому назад пояснили терминологию.

Я так-то в телетрафике не просто разбираюсь, даже понятие имею -- таки и дед, и батя этому свои жизни посвятили, и меня с младых когтей к этому приучили. BGP -- вполне достойный протокол своего класса. Я как-то раз даже пытался его не просто зачитать, но и на практике освоить -- упёрся в необходимость поднимать carp на фрях разных версий, они не подружились, одна фря трапнулась в кернелпаник сходу.

А там и не надо было BGP -- там не AS, а обычный пром.потребитель инетов.

> Здрасьте! На что лицензию - то? На то, что сотрудники головного офиса моей гипотетической организации будут обзванивать своих клиентов, например, в Новосибирске, физически находясь при этом в Москве, звоня на телефоны московского офиса и набирая код выхода на АТС допофиса в Новосибирске, а затем местный новосибирский номер? Кому моя организация при этом предоставляет услуги связи?

Внимательно:

Твоя контора принимает входящий снаружи через E1/PRI. Обрабатывает вызов внутри себя, переручивает его на другой интерфейс E1/PRI и отдаёт наружу. Это -- телематика, и она нуждается в лицензировании.

Другое:

Твоя АТС принимает внешний вызов через E1/PRI на внутреннюю сеть. Сотрудник/робот принимает вызов (время пошло) и переручивает его на внешнего абонента (исходящий вызов пошёл). Какими путями ты выпускаешь от себя этот звонок -- твои абонентские проблемы.

UPD: Стоимость лицензии + стоимость договора на телематику с надпровайдером для реального оператора сильно дешевле, чем две абонентки за сравнимые каналы. Правда, оператору надо ещё много чего делать, что "абоненту" ни в одно место не упёрлось.

> Пул адресов? Вы его там сами нарисовали?

По номеру AS пробить 91.198.130.0/24 религия не позволяет?
Второй пул пока не анонсирован, но тоже /24.

> Ведь нет же. Я и спросил, кто вам этот пул выделил

А я #бу?

Я работаю на 2-nd layer'е, меня все эти заморочки 3-и-выше-уровневые не трогают ни за одно место.

> > Пул адресов? Вы его там сами нарисовали?

> По номеру AS пробить 91.198.130.0/24 религия не позволяет?

Спокойствие, только спокойствие! Дело-то житейское! Не гневайся :) В хуизе не очень понятно, кто кому продал конкретный блок адресов. По крайней мере, мне. Потому и спросил.

> Я работаю на 2-nd layer'е, меня все эти заморочки 3-и-выше-уровневые не трогают ни за одно место.

Воот! Сведений об инциденте, полученных через вторые руки, как правило, недостаточно для выдачи каких-либо осмысленных рекомендаций :)

По хорошему, следовало бы провести диагностику непосредственно в момент инцидента. Т.е. что пропало, в каком месте пропало, или почему не появилось то, что должно быть. Кто кому и какие префиксы анонсировал и почему не анонсировал те префиксы, которые должен был анонсировать. И т.д.

Из общих соображений и того, что ты мне озвучил, могу дать только следующие рекомендации.

1. Сменить зебру на кваггу. Зебра ЕМНИП давно заброшена и возродилась в виде квагги (quagga). Тут следует отметить, что основной демон квагги тоже называется zebra, что может привести к путанице.

2. Ваша AS - тупиковая, потому что соседи принимают от неё только маршруты на её блоки адресов. В связи с этим вашему главному маршрутизатору особо не нужно принимать весь bgp full view от нескольких провайдеров, поскольку это может привести к его перегрузке и к замедлению его работы. Для снижения нагрузки можно ограничиться только приёмом дефолтных префиксов 0.0.0.0/0 от каждого из провайдеров, префиксов их AS и префиксов AS их непосредственных соседей. То есть, префиксов с длиной пути не более двух AS. Таких префиксов будет существенно меньше и процесс перестроения маршрутов существенно ускорится.

> По[-]хорошему, следовало бы провести диагностику непосредственно в момент инцидента

Ага. Поставить в стерверной раскладушку с матрасом, ведро, занести туда ящик пива и коробку дошираков и поселить меня там в качестве бесплатного приложения к аппаратуре :)
Я из дома по удалёнке увидел, как канал упал и как поднялся. Когда он упал -- мне прямо на мобилу, минуя рабочий "аварийный" телефон, отзвонились несколько крупных клиентов.

> Сменить зебру на кваггу

Внимательно: у нас как раз квагга. И, да, её основной даемончик именуется зеброй.

> Для снижения нагрузки можно ограничиться только приёмом дефолтных префиксов 0.0.0.0/0 от каждого из провайдеров, префиксов их AS и префиксов AS их непосредственных соседей. То есть, префиксов с длиной пути не более двух AS

Вот тут не знаю, какие пути принимаются. 3-й-и-выше уровень не в моих руках (я бы свихнулся, если бы мне его отгрузили -- у меня и так по 1-2-м уровням хлопот хватает). Я странслирую твоё мнение нашему сисадмину 3-го уровня.

Насколько я понял из его речей, проблема с перестроением маршрутов связана именно с тем, что МФ -- надпровайдер магистральный, и тупо всё заворачивает через М9, а второй надпровайдер -- региональный, и у него из Питера в Питер короче маршруты, меньше хопов. Ну, не совсем прямая цитата, но как-то так: "До Яндекса через *** -- 6 хопов, через Мегафон -- 9 хопов", я: "... и посередине -- М9?" -- ответ "Ага :)". Ч. и т.д.

UPD: С ближайшей оказией возьму за пуговицу лапсердака своего товарища из кругов, приближенных к Минсвязи, попытаюсь из него вытрясти актуальную топологию магистральных сетей. Самому любопытно, почему заметная часть регионального трафика по Северо-Западу уходит наружу мимо М9.

Как ж все ведутся на ложь. Речь идет о том что надо заставить эти сервисы вести себя цивилизованно, иметь нормальные номера при звонках. Если не сделают, то их запретят. А неполживые журналисты любят брать только нужные части.

> Ага. Поставить в стерверной раскладушку с матрасом, ведро, занести туда ящик пива и коробку дошираков и поселить меня там в качестве бесплатного приложения к аппаратуре :)

Во-первых, удалённый доступ на что? И потом, ты же отвечаешь за коммутацию, а не за маршрутизацию. Пускай твой коллега, отвечающий за маршрутизацию, отдувается.

Во-вторых, получение диагностики следует автоматизировать. Например, был у меня случай. Внезапно загрузка ЦП граничного маршрутизатора подскакивала по экспоненте до 100%, после чего маршрутизатор ловил клина, падал и перезагружался. Инженер ТАС выдал мне офигенно мудрую рекомендацию сделать в момент 95% загрузки его процессора show processes cpu sorted. Вручную отследить момент не было ни какой возможности. Ничего, написал робота на перле, который мониторил загрузку по SNMP и при её превышении отправлял маршрутизатору нужную команду и получал ответ.

> Я из дома по удалёнке увидел, как канал упал и как поднялся.

Дык, на случай жопы с маршрутизацией следует в обязательном порядке иметь внеполосный доступ к площадке. Я, например, свой нетбук, такой же, как у тебя, поставил в серверной, подцепил к нему пару двухголовых адаптеров USB-serial и USB-модем 3G с симкой, к которой привязал услугу "Статический IP-адрес". И мне внезапно стала не страшна моя собственная криворукость в плане настройки маршруртизации. Я теперь смогу всё исправить через этот нетбук. Если тебе не нравится нетбук+свисток в плане надёжности, могу предложить замечательные маршрутизаторы компании NSG. У этих устройств есть встроенные порты RS-232, аппаратный ватчдог и широкая номенклатура беспроводных USB модемов в виде плат расширения. Фирменная фишка этих модемов - аппаратный сброс, что замечательно сочетается с обычным алгоритмом работы pppd при пропадании связи.

> Когда он упал -- мне прямо на мобилу, минуя рабочий "аварийный" телефон, отзвонились несколько крупных клиентов.

Возникает резонный вопрос: почему они звонили тебе, а не сотруднику, ответственному за маршрутизацию?

> Вот тут не знаю, какие пути принимаются. 3-й-и-выше уровень не в моих руках (я бы свихнулся, если бы мне его отгрузили -- у меня и так по 1-2-м уровням хлопот хватает). Я странслирую твоё мнение нашему сисадмину 3-го уровня.

Судя по сведениям из хуиза, принимаются все, а отдаются только префиксы вашей AS. Префиксы 0.0.0.0/0, аплинки, обычно, не отгружают, об этом с ними следует договариваться отдельно. Упирать при этом следует на то, что, дескать, наше оборудование слабое, bgp full view обработать не в состоянии. А потом теоретически можно специальной командой настроить у себя экспорт обоих маршрутов по умолчанию из BGP в RIB. Команда приведена в статье с говорящим названием[censored] на xgu wiki, пункт "BGP multipath".

> Насколько я понял из его речей, проблема с перестроением маршрутов связана именно с тем, что МФ -- надпровайдер магистральный, и тупо всё заворачивает через М9, а второй надпровайдер -- региональный, и у него из Питера в Питер короче маршруты, меньше хопов. Ну, не совсем прямая цитата, но как-то так: "До Яндекса через *** -- 6 хопов, через Мегафон -- 9 хопов", я: "... и посередине -- М9?" -- ответ "Ага :)". Ч. и т.д.

Мне из этих речей, например, нихрена непонятно. ПМСМ, какой бы ни была топология маршрутизации где-то там, в интернете, это в принципе не может и не должно приводить к часовым перестроениям маршрутов непосредственно на вашей тупиковой площадке с тремя внешними каналами.

> Самому любопытно, почему заметная часть регионального трафика по Северо-Западу уходит наружу мимо М9.

М9 - это MSK-IX? Ну так Северо-Западный регион, как бы, ближе к границе, чем Москва, в которой расположена эта самая MSK-IX. Чего ради тащить зарубежный канал в Москву, чтобы потом тащить туда же канал из Питера?

> М9 - это MSK-IX?

Да, она. "Курчатовская" "девятка".

> Пускай твой коллега, отвечающий за маршрутизацию, отдувается.

Он на аутсорсе. Оперативно его не привлечь.

> какой бы ни была топология маршрутизации где-то там, в интернете, это в принципе не может и не должно приводить к часовым перестроениям маршрутов непосредственно на вашей тупиковой площадке с [двумя] внешними каналами

Перестроение шло на наших бордерах, засада именно тут. И не часами, а минут 10-15.

> вопрос: почему они звонили тебе, а не сотруднику, ответственному за маршрутизацию?

Ответ см. выше: клиенты нихрена не знают, кто у нас тут по 3-му уровню бегает. А меня -- знают. В том числе и лично.

Кроме того, у конторы есть "аварийный телефон" -- туда тоже звонили, но более мелкие.

По результатам того события сейчас и пытаемся перебалансировать трафик по аплинкам.

> в статье с говорящим названием[censored] на xgu wiki, пункт "BGP multipath"

За цынк спасибо, накину, кому следует.

UPD: Эм... Статья на примере циски, к нам слабо-применимо -- у нас бордеры на фряхе. Впрочем, не мой головняк -- всё равно накину.

> > Пускай твой коллега, отвечающий за маршрутизацию, отдувается.

> Он на аутсорсе. Оперативно его не привлечь.

[Нечленораздельно мычит в немом изумлении] Королева в восхищении!!! (с) Ну, то есть, тебе кровь из носу надо знать и уметь ещё и маршрутизацию L3, как статическую, так и динамическую, чтобы иметь возможность оперативно разруливать такие инциденты. Другого варианта не вижу.

> > ... тупиковой площадке с [двумя] внешними каналами

Ну, не знаю. В хуизе написано, что ваша система пирится с тремя соседними AS. Вот я и предположил, что и каналов у вас тоже три.

> Перестроение шло на наших бордерах, засада именно тут. И не часами, а минут 10-15.

[Нервничает] Моя не понимай, чего там перестраивать-то? Упал основной сосед - убрать его маршруты из RIB и вставить на их место маршруты на резервного. А если упал резервный, то вообще делать ничего не надо. Другое дело, если у какого-то аплинка случился автоколебательный процесс в системе динамической маршрутизации, в результате которого маршруты в его AS начали периодически подниматься и падать, а его маршрутизаторы принялись спамить анонсами изменения маршрутной информации всех своих соседей, что привело к их перегрузке. Тут, конечно, вашим маршрутизаторам действительно придётся постоянно перестраивать маршруты, но причиной этого будет не какая-то их неисправность, а беда у вашего аплинка.

Я вообще склоняюсь к тому, что у вас начал дурить основной провайдер, а у резервного в этот момент пропал или был существенно затруднён доступ в интернет. А ваши граничные роутеры работали штатно, по мере сил переваривая постоянные изменения bgp full view, которыми их кормили соседи.

> По результатам того события сейчас и пытаемся перебалансировать трафик по аплинкам.

Беда в том, что балансировка трафика по каналам до аплинков никак не помогает в случае глюков с маршрутизацией в их автономных системах.

> UPD: Эм... Статья на примере циски, к нам слабо-применимо -- у нас бордеры на фряхе.

Судя по документации, квагга должна знать эту самую команду bgp bestpath as-path multipath-relax. Ну а способность автоматически балансировать исходящий трафик при наличии двух дефолтных маршрутов с одинаковыми метриками присуща фре чуть ли не изначально.

> Впрочем, не мой головняк ...

А вот фиг. Пока твоя контора не наймёт аутсорсера по BGP с условием 24/7, "головняк" с BGP во внерабочее время всё равно будет падать на тебя.

> ... -- всё равно накину.

Это верно.

> Честно говоря, я сам свою контору не пробивал по всем хуизам -- во-первых, лениво, во-вторых, аплинков и так знаю.

О как. А меня сразу же в хуиз послал. [Притворно обижается]

> За это Фряху и обожаю. Сетевое там всё и сразу "из коробки".

Да, есть такое. Хотя моё знакомство с фрей кончилось тем, что я так и не смог настроить автоматическую перезагрузку после kernel panic в pFsense и уполз обратно на OpenWRT, в котором ничего в этом плане настраивать не надо и который на том железе не падал.

P.S.
> как бы он ни сопротивлялся

Мои смутные воспоминания о русском языке, существенно размытые олбанским, подсказывают мне, что там должно быть "не". Нужно приглашать Пальтоконя.

> На случай дребезга маршрутов, у BGP есть замечательный функционал - route dumping (RFC2439). У каждого производителя он реализован и настраивается по-совему, с цысками на границе проблем не возникало никогда.

Ага, это оно, только не dumping, а dampening, route dampening. Кстати, примерно на 10 ... 15 минут хлопающие маршруты и блокируются.

> Я вообще не понимаю на кой тупиковой AS иметь у себя fullview от двух провайдеров. Есть один вариант, когда это действительно нужно - это пиринг с транснациональным провайдером или тем, у кого есть прямые линки в европейские точки обмена трафиком. В остальном - понты и ненужные расходы на граничные маршрутизаторы, чтобы удержать в памяти два раза почти по 600К маршрутов со всеми атрибутами.

Во-во, и я о том же.

> Я бы просто получил от провайдеров дефолты, одному бы из них скормил prepend, отдал бы обоим свою сетку и забыл бы про свой Edge надолго.

Камрад Antic хотел load balancing, так что, насколько я понимаю, ему prepend не нужен. Кстати, в своё время, глядя в чужие looking glass на свои маршруты, я заметил, что все мои препенды куда-то магическим образом исчезают. Вот так прямо и видел: мой маршрут, вторым хопом идёт AS провайдера, которому был отдан путь с препендами, а их нет. А потом я прочитал, что магистральные провайдеры безжалостно режут препенды в борьбе за экономию памяти своих маршрутизаторов.