Компания Cloudflare опубликовала (https://blog.cloudflare.com/how-verizon-and-a-bgp-optimizer-.../) отчёт о вчерашнем инциденте, в результате которого на протяжении трёх часов (https://twitter.com/bgpmon/status/1143149817473847296) с 13:34 до 16:26 (MSK) наблюдались проблемы с доступом ко многим ресурсам в глобальной сети, включая инфраструктуру Cloudflare, Facebook, Akamai, Apple, Linode и Amazon AWS. Проблемы в инфраструктуре Cloudflare, которая предоставляет CDN для 16 млн сайтов, наблюдались (https://www.cloudflarestatus.com/incidents/46z55mdhg0t5) с 14:02 до 16:02 (MSK). По оценке Cloudflare во время сбоя фиксировалась потеря приблизительно 15% глобального трафика.
Проблема была вызвана (https://mailman.nanog.org/pipermail/nanog/2019-June/101590.html) утечкой маршрутов через BGP, в ходе которой около 20 тысяч префиксов для 2400 сетей были некорректно перенаправлены. Источником утечки был провайдер DQE Communications, который использовал ПО BGP Optimizer (https://www.noction.com/intelligent_routing_platform/traffic...) для оптимизации маршрутизации. BGP Optimizer разбивает IP-префиксы на более мелкие, например, разделяет 104.20.0.0/20 на 104.20.0.0/21 и 104.20.8.0/21, и как следствие DQE Communications держал на своей стороне большое число специфичных маршрутов, переопределяющих более общие маршруты (т.е. вместо общих маршрутов к Cloudflare использовались более гранулированные маршруты к конкретным подсетям Cloudflare).
Данные точечные маршруты были анонсированы одному из клиентов (Allegheny Technologies, AS396531), который затем транслировал эти маршруты другому транзитному провайдеру (Verizon, AS701). Из-за отсутствия надлежащей фильтрации BGP-анонсов и ограничения на число префиксов, Verizon подхватил данный анонс и транслировал эти маршруты для остального интернета, которые из-за своей гранулированности были восприняты как более приоритетные (конкретный маршрут имеет более высокий приоритет, чем общий).В итоге трафик для многих крупных сетей стал направляться через Verizon к мелкому провайдеру DQE Communications, не способному обработать нахлынувший трафик (эффект сравним с тем, как если бы часть нагруженной автострады заменили на просёлочную дорогу).
Для предотвращения возникновение подобных инцидентов в будущем
рекомендовано (https://mailman.nanog.org/pipermail/nanog/2019-June/101589.html) использовать верификацию (https://www.opennet.ru/opennews/art.shtml?num=47303) анонсов на основе RPKI (BGP Origin Validation, разрешает приём анонсов только от владельцев сети), ограничить максимальное число принимаемых префиксов для всех сеансов EBGP (maximum-prefix), применять фильтрацию на основе реестра IRR (Internet Routing Registry, определяет AS через которые допустима маршрутизация заданных префиксов), использовать на маршрутизаторах рекомендуемые в RFC 8212 настройки для блокировки по умолчанию ('default deny') и прекратить использование оптимизаторов BGP.URL: https://blog.cloudflare.com/how-verizon-and-a-bgp-optimizer-.../
Новость: https://www.opennet.ru/opennews/art.shtml?num=50955
Уже не первый раз улучшаторы запускают
One-click BGP Optimizer
Это который без СМС и регистраций?
Нет, этот из состава интсрументов ccleanera. Одмины чистили реестр на серваке, а потом решили за одно и БГП заоптимизировать. Но что-то пошло немного не так. После оптимизации сервак едва не разорвало напором снаружи.
Непонятно только, почему они три часа разбирались.1. Узнали, что откуда-то есть проблемы с доступом (например, в мониторинге упал трафик из определенных сетей),
2. пустили trace с обоих концов,
3. увидели какой-то DQE по пути (или что где-то там теряется trace),
4. посмотрели на своем конце и в Looking Glass на другом маршруты,
5. увидели /21 вместо /20 в анонсах,
6. убрали анонсы в DQE (пусть сначала разберутся со своей черной магией, в результате которой связность теряется).
7. profit!!!
Судя по твоим уверенным инструкциям, ты очень большой специалистЪ.
Наверняка работаешь в очень крупной компании главным техническим директором.
Правда, жалко, что не в Гугль и не в Клаудфларе, иначе ты бы им быстро всё починил, ни кто б и глазом моргнуть не успел.
Наверное, ты в Фейсбуке или Майкрософте? Или в Алибабе?
Сейчас бы компетентность должностями в Крупных (тм) Компаниях мерять.
Судя по тому, что Verizon анонсы не фильтрует, в крупных компаниях еще те "специалисты" работают.
У них в посту есть, что они долго пытались достучаться и до Verizon (так и не достучались), и до DQE Communications (эти ответили довольнро быстро). В целом, их вывод - не будб как Verizon
Это только задним числом всё просто.
Умные люди, расскажите кратко (или киньте ссылки), почему несмотря на проблемы BGP, ничего лучше ещё не используется?
Так исторически сложилось
потому что вы не написали, и не напишете.А "проблемы в bgp" не стоят выеденного яйца - просто админам веризона (если еще они админы - веризона, а не индийского аутсорсер-ашрама) не принято платить денег - зачем, их же кормят раз в неделю, и даже бьют не очень сильно.
поэтому им вовсе необязательно уметь настраивать bgp, а даже если и умеют - заморачиваться какими-то сложностями.
> потому что вы не написали, и не напишете.То есть мы должны писать, чтобы крупные корпорации потом на этом деньги делали?
> <...> дальше идёт какой-то бред не по теме
Ты когда-нибудь занимался выпиливанием какого-нибудь легаси барахла? Вот представь себе то же самое в планетарных масштабах. Никто даже не берётся, потому что это нереально. Можно только добавить костылей, чтобы стало чуть-чуть надёжнее, и то растянется на десятилетия.
> Ты когда-нибудь занимался выпиливанием какого-нибудь легаси барахла? Вот представь себе
> то же самое в планетарных масштабах. Никто даже не берётся, потому
> что это нереально. Можно только добавить костылей, чтобы стало чуть-чуть надёжнее,
> и то растянется на десятилетия.//оффтоп
эх, а коммунизм в ссср выпилили моментально
может просто нужно чтоб кому-то было нужно выпилить легаси?
> коммунизм в ссср выпилили моментальноКак можно было выпилить то, чего не было? Даже формально то, что было, именовалось социализмом.
Формально, открываем учебник истории 5-й класс. Находим тему "первобытно-общинный строй". Ищем слово "община" в словаре любого языка, производного от латыни. Бинго.
О-о-о, батенька, вам из пещер ещё долго надо будет выбираться.
— Змей Горыныч, выходи! Биться будем!
— Биться, так биться! Только зачем в ухо орать?
Не в ухо, а в задницу.
> Не в ухо, а в задницу.Каждому своё.
ссср никто не выпиливал, его форкнули и разделили, а потом долго-долго, очень долго переписывали, и 20 лет прошло и так и не переписали до конца, ни нормативку ничего.
вполне переписали. то что раньше было для народа, сейчас для правящего класса - олигархов+чиновников. отлично видно по судебной практике - украл мешок картошки - реальный срок, украл миллиард - условка.
С init.d получилось же :)
> С init.d получилось же :)Поцтеринга -- в кандидаты ^W в Сискоу!?
Пусть сделает вам-нам BGP-NG.Ох, айбием такого специалиста не отпустит. Придётся вам мучаться со http://esr.ibiblio.org/?p=8383
старпёрами... или кто там в сискоу.
МучИться.
Твой ГН.
> С init.d получилось жеНу-ка, покажи свой ls /etc/init.d
>> С init.d получилось же
> Ну-ка, покажи свой ls /etc/init.d% ls /etc/init.d
ls: /etc/init.d: No such file or directory*ля, мужики, неужели ко мне поттеринг залез и все потер, а я и не заметил! 8-O
$ ls /etc/init.d/
agetty ...Не получилось. Да и uselessd до сих пор портянками пользуется для чего-то более сложного, чем запустить нормально написаный (тобишь по стандартам) демон. Но любители костылей до сих пор пишут портянки, вместо того, чтобы написать по стандартам и спать спокойно. Благо писать можно не только на баше, хоть на Си напиши.
Да-да, вот IPv4 полным ходом выпиливают...
BGPv4/MP-BGP не имеет фатальных архитектурных проблем, чтобы возникла необходимость его упразднить и создать новый EGP.Проблема отчасти вызвана текущей архитектурой сети Интернет, отчасти непониманием принципов глобальной маршрутизации и traffic engineering, а иногда, и раздолбайством.
Есть множество Best Current Practice о том, как принимать и объявлять информацию о достижимости префиксов, что фильтровать и почему. Какие настройки по умолчанию использовать, а какие избегать во избежание негативного влияния на глобальную маршрутизацию. Но кто бы их читал, эти IETF BCP, картинок то там нет. :)
> Проблема отчасти вызвана текущей архитектурой сети ИнтернетЭта архитектура очень многих устраивает, потому что позволяет придерживать "врагов светлого будущего" клещами за яики. И при любой попытке что-то изменить начинаются вопли "изоляция, изоляция, чебурнет!!!1". И именно по этой же причине тот же Verizon никогда не будет фильтровать префиксы. Hijacking and blackholing - важные инструменты международной политики.
Да ладно, акромя дойки эту корову никто никак не юзает
http://www.cnews.ru/news/top/2019-06-24_v_rossii_navechno_za...
>Эта архитектура очень многих устраиваетДальше влажные фантазии.
Сам факт наличия множества "Best Current Practice" говорит о наличии проблем.
Если бы они содержали одну и ту же информацию, то множества просто бы не было.
Наличие BCP указывает только на то, что сеть Интернет непрерывно развивается и BGP, как и другие протоколы обеспечивающие ежесекундно функционирование этой сети, должны отвечать текущим потребностям сети Интернет, а не таковым, как в 1991 году.Несколько примеров из BCP: принудительно ограничивать возможную версию протокола до BGPv4, отключая возможность перехода к BGPv3. Включение поддержки 32-bit ASN, в дополнении к 16-bit ASN. Использование аутентификации BGP соседей или фильтрация eBGP пакетов от соседей с TTL больше 1. BGP Route Flap Damping который в далёком 1991 году был призван для борьбы с проблемой осцилляции маршрутов в сети Интернет, который в 2019 году настоятельно рекомендуется не использовать, ввиду негативного влияния на глобальную маршрутизацию, как было выяснено в результате проведённых исследований в последующие годы.
Сеть Интернет развивается и меняется, а вместе с ней, и BGP, BCP отражают текущие лучшие практики, принятые сообществом Интернета для поддержания его бесперебойной работы, а не проблемы BGP протокола.
"Проблемы BGP" - в кривых руках админов и/или нежелании манагеров платить деньги. У тебя есть возможность в рабочее время что-нибудь читать для самообразования? А на семинар или курсы повышения квалификации тебя когда в последний раз отпукали? Я даже не говорю "направляли за деньги фирмы" - просто за свой счёт чему-то поучиться? Воооот. И "проблемы BGP" тут не при чём.
> У тебя есть возможность в рабочее время что-нибудь читать для самообразования?погоди, он же ж написал в резюме - "отлично знаю BGP, OSPF, LSD и много других аббревиатур!"
> А на семинар или курсы повышения квалификации тебя когда в последний
> раз отпукали? Я даже не говорю "направляли за деньги фирмы" -а еще и деньги за это платить?
> просто за свой счёт чему-то поучиться? Воооот. И "проблемы BGP" тут
> не при чём.причем тут - таки нежелание работодателя платить нормальным специалистам (а не доучивающимся на курсах повышения квалификации прямо в процессе работы) и организовывать их работу как надо, а не как получится.
А зачем? Клиенты веризоны от нее все равно никуда не денутся.
> погоди, он же ж написал в резюме - "отлично знаю BGP, OSPF, LSD и много других аббревиатур!"Знаешь анекдот про "Нееее, так ты слона не продашь!"
А манагеры тоже много сказок в описании вакансии пишут
Тут скорее так - человечество многообразно и весьма свободно устроено (вцелом). Как следствие, даже если тебя отправляли учиться и у тебя везде подстелены самые что ни на есть, best practices, нет более-менее никакой гарантии, что у твоих контрагентов все настолько же идеально. Результат - то же самое, что с ПДД. Как бы хорошо ты водителей не учил и как бы идеально не строил дороги - все равно люди будут биться. Лучшее, что можно с этим сделать - уменьшить вероятность.
Так и живем...
Верить в наше время нельзя никому, включая контрагентов, это ещё папаша Мюллер говаривал.
> Результат - то же самое, что с ПДД. Как бы хорошо ты водителей не
> учил и как бы идеально не строил дороги - все равно люди будут биться.Однако некоторая (раз так в 5-8) закономерность между количеством (и жертвами) ДТП и возможностью "купить права" и "откупиться" за нарушение у гаишника - прослеживается.
Та же причина, что и с ipv6
Немного более IRL примеры: несмотря на то, что всем будет удобнее, никто глобально не перестраивается на лево/правосторонее движение, и не переводит электросети на 50/60 Гц.
За 40 лет использования IP столько косяков и узких мест повылазило, что давно уже пора протокол сменить полностью, и архитектуру, и реализацию. Да только мечты это. Слишком большой объём накопленных устройств. Переделать весь интернет никто не потянет.
> почему несмотря на проблемы BGP, ничего лучше ещё не используется?Аха. И какие проблемы у BGP в свете данной новости, поведуйте нам? Ну, кроме кривых рук тех, кто его использует.
Давайте перепишем apache, nginx, sshd и ещё кучу всего, чего можно криво настроить.
> почему несмотря на проблемы BGP, ничего лучше ещё не используется?Потому, что у нет проблем, которые ты придумал.
Невозможно изобрести молоток, который бы был прост и удобен в использовании, выполняя свою основную задачу, и при этом по пальцам не попадал.
Ну и кто имеет что-то против устойчивого рунета? Такие факты очень показательно. Чуть что и внезапно случится ликинг IP-адресов критической инфраструктуры РФ
Хорошо попыта товрищ Пу! Но не вы балком ошиблись - вам на Россия 24 или РенТВ бы.
Это вы ошиблись, частенько тут Соловьев-Шигорин зажигает похлеще РенТВ
>Ну и кто имеет что-то против устойчивого рунета?В основном те, для которых интернет - это IP, сайтики и Telegram...
Уже сейчас решения самых справедливых судов в мире вынуждают меня работать с документацией через Тор (потому что местный провайдер выполняет ВСЕ наложенные блокировки, ибо обязан это делать).
Потому что тупая цензура и современные технологии - несовместимы. В принципе.
> В основном те, для которых интернет - это IP, сайтики и Telegram...Во как. А огласите весь список, пжалуста.
Зыж
> критической инфраструктуры РФИнтернет? Серьезно?
Таким оптимизаторам враги не нужны. Сами справятся.
И как "устойчивый рунет" защитит от криворукости? Ну будет у вас утечка адресов внутри рунета и трафик от Москвы до Питера пойдет через Колыму, вам полегчает?
Главное чтоб какая-нибудь аэс из сферы его "без"ответстсвенности по пути не бамбанула.
А то у него вон критическая инфраструктура радом с порносацтом лежит. Сразу за 1иксбэтом.
Спасибо вам товарищ! Теперь мы знаем что ещё показать по ящику в пользу Чебурнета! Родина не забудет вас!
Вчера столкнулись с этим. Из РФ ресурсы были доступны, но из-под aws уже нет. Облакам немного поплохело.
DQE - Decontamination Quick And Easy - "быстрая дезактивация"
>Для предотвращения возникновение подобных инцидентов в будущем рекомендованоиными словами, никто ничего делать не будет
А помните, как говорили что интернет очень крепкий?:) Что если вырубить все корневые ДНС, то никто не заметит пару суток ничего. Что всё резервируется и всё такое.По факту же, когда коллапс случается хоть на уровне города миллионника, хоть на уровне провайдера миллиардника, этффект один.
20% допустимые потери..
> 20% допустимые потери..Проверено коллегой Жаровым?
По факту ты пишешь про DNS в теме про BGP и тебе почему-то не стыдно.
Да какая разница, какие там три буквы?
> По факту ты пишешь про DNS в теме про BGP и тебе почему-то не стыдно.Вы каким местом его читали? Он вообще-то про теоретическую возможность отключения интернета независимо от используемого протокола.
А вы ловко увязали "теоретическую возможность отключения" и криво настроенное оборудование.
И где он неправ?
>А вы ловко увязали "теоретическую возможность
>отключения" и криво настроенное оборудование.Нет, это просто враги тренируются уже отключить нам интернеты!
Не знаю как там у кого, а у меня ничего не было. Всё работало. Хотя пользователи жаловались вчера на недоступность, но я ничего поделать не мог.
это точно :)
Для предотвращения возникновение подобных инцидентов в будущем рекомендовано:
Прекратить необдуманное использование оптимизаторов BGP.
Обдуманное тоже прекратить. На всякий пожарный ;)
Угу, прям так и читается сквозь эту последнюю строчку что-то неполиткорректно-BOFH-овское насчёт ламеров :]
Недавно что-то такое было. Трафик некоторое время шёл через... Китай. И этот hijacking уже не в первый раз.https://arstechnica.com/information-technology/2019/06/bgp-m.../
> Недавно что-то такое было.Вася Пупкин ошибся с настройкой маршрутизации на маршрутизаторе, удивительно!
Если бы он шел через Америку или любую из стран АМЛАГа - да. А вот через Китай... очевидно, что узкоглазые нелюди что-то замышляют! Хотят весь мир посадить за свой фаервол! И подглядывать, что _ты_ делал в ванной, Аноним!
Я хоть и частично согласен, всё же спешу разочаровать. Один конкретный человек никому не интересен. Толпа людей это уже информация. И её ещё как используют (и продают), иначе бы всякие Гуглы не были такими успешными.
я не могу найти время почитать и понять что такое ipv6 и как оно работает, а тут какая-то суета вокруг [s]дивана[/s] BGP. Шаманские технологии
> Для предотвращения возникновение подобных инцидентов в будущем рекомендовано:
> Использовать верификацию анонсов на основе RPKI (BGP Origin Validation, разрешает приём анонсов только от владельцев сети);Этого точно делать никто не будет (по крайней мере, провайдеры западных стран). Иначе пропадает возможность kill switch для неугодных стран, типа Китая и России.
kill switch этот весьма мнимый. Ну представьте, вы - какая-нибудь Telia, вас поставили ФБР-овцы к стенке и вы начали анонсировать more specific prefixes для чужих AS. Ну, к примеру, российских.
Что дальше будет? На какое-то время российский трафик польется через вас и ФБР сможет в него посмотреть или вы можете его подропать. В этом месте у вас забются каналы и стыки со всем на свете и финансовые показатели шустро так пойдут вниз (с клиентами-то у вас SLA, и резервировать десятикратно все стыки вам инвесторы не дадут).
Ну ок, пусть у вас хватило дырок, дальше что? Каналы зарубеж у провайдеров в РФ дорогие и не резиновые (сюрприз!) и где-то через полдня это-вот-все будут решать уже более-менее все сетевые инженеры, которых менеджмент большой тройки и примкнувшего к ним ростелика сможет разбудить. Весьма вероятно, что ответом будет анонс /24 префиксов их хозяевами. Выхлоп - весь внутрироссийский трафик обратно замкнется на внутрироссийских IX-ах, общий full view загажен тоннами /24, ваши финансовые показатели в ...., эффект не достигнут.Друго дело, что прецизионные чудеса - слить конкретный узкий префикс под конкретную задачу - гораздо более вероятная конспирологическая теория, и ребята из qrator labs регулярно ловят такого рода фокусы в исполнении разнообразных, гхм, операторов.
www.manrs.org
Никогда такого не было, и вот опять
забыли ещё одну необходимую меру: «…прекратить использование cloudflare».
> Из-за отсутствия надлежащей фильтрации BGP-анонсов и ограничения на число префиксов, Verizon подхватил данный анонс и транслировал полученные 20 тысяч префиксов для остального интернета.А остальной интернет из-за отстутствия всё той же фильтрации подхватил...
IPv6 по всей видимости никогда не придет в этот мир.
Авторам Serial Experiments Lain это было очевидно ещё до внедрения IPv6.
Зачем платить квалифицированному админу, если можно купить BGP Optimizer и управлять BGP всего несколькими кликами мыши через вебку?
> можно купить BGP Optimizer и управлять BGP всего несколькими кликами мыши через вебкуКупи BGP Ddoser, клик, клик и почувствуй себя блекхэт хакером мирового уровня! А тут ещё некоторые говорят, что BGP супер протокол и альтернативы не нужны, никто не сможет написать, дорого, долго внедрять...Ну-ну, ждите дальше, пока опять не выстрелит...
Что по вашему мнению необходимо изменить в новом EGP, что не возможно реализовать в рамках BGP?
Так вот ты какой суверенный защищённый интернет!!!
В защищенном СОРМ в каждом провайдере с удаленкой с Лубянки
Провайдером не толстый очкастый узбек владеет?