Компания Cloudflare, предоставляющая сеть доставки контента для 27 млн интернет-ресурсов и обслуживающая трафик 13% из 1000 крупнейших сайтов, раскрыла подробности инцидента, в результате которого в течение 27 минут была нарушена работа многих сегментов сети, в том числе отвечающих за доставку трафика в Лондон, Чикаго, Лос-Анджелес, Вашингтон, Амстердам, Париж, Москву и Санкт-Петербург. Проблема была вызвана неверным изменением конфигурации на маршрутизаторе в Атланте. Во время инцидента, который произошёл 17 июля с 21:12 по 21:39 (UTC), общий объём трафика в сети Cloudflare снизился примерно на 50%...Подробнее: https://www.opennet.ru/opennews/art.shtml?num=53391
Исправьте в заголовке ошибку. BGP, а не BPG
RPG. Эльфы набижали, бекбон ограбили и обратно в Клаудфлер спрятались.
s/бекбон/корованы/g
Ну ты юморист, прям Петросян
Главное хотя бы не BFG,а что сейчас DOOMцы бы понабежали.
BLM же!
Это все потому, что они пользуются запрещенным словом "master". Пускай переименуют - и все сразу заработает (на самом деле нет).
dark power of your Master!
BFG :)
BOFH
Это позор, а не инженеры. Заменить их!
Заменить на таких же некомпетентных? Да ты батенька не разбираешься в бизнесе.
На искуственный интеллект!
А его какие вырабатывают?
О, бизнесмен управляющий триллиардной компанией и написавший тонну работ по бизнесу.
И взамен нанять негритосиков, людей с половыми отклонениями (любыми), женщин (или тех, кто идентифицирует себя с женщинами). Только так мы победим!Как сюда добавить эмодзи с радужным флагом?
> И взамен нанять негритосиков, людей с половыми отклонениями (любыми), женщинфу гадость какая - как вы могли?! Немедленно на коленях извиняйтесь перед людьми африканского происхождения, с половыми предпочтениями отличными от ваших и "имеющими менструации" (вроде все слова правильно написал?) А не то мы вам устроим - Burn,Loot,Murder!
> Только так мы победим!
да, собственно, а какая разница - если результат в общем-то тот же самый?
Возможно макака была даже белая, цисгендерная х-емразь и шовинист, с дипломом о коммуникациях а не гендерных штудиях (хотя конечно же нет, и это был обычный копчоный бангалорский аутсорсер, прямо оттуда и копипастящий), а результат - "удалила фильтр". Причем чрезвычайно хитрым образом - это далеко не самый обычный способ (обычный у нее бы не прокатил, внятно показав что фильтр привязан). Обычно так при траблшутинге делают только. Впрочем, макаке некогда было читать ответы на вопрос где-то в трех страницах ниже окошка, она из вопроса скопипастила, он -то прямо перед носом был.
🌈
🏳️🌈
А вдруг инженер черный трансвестит, вы что расист? :-)
Кстати, а почему на флаге ЛГБТ нету чёрного цвета?
потому что ночью радуги не бывает
Голубая луна^W^W Лунная радуга же.
накосячила одна частная копрорация - а по итогу уронили половину интернета (ибо кто то у них хостился, кто то защиту от дудоса брал, у кого то тупо днс). Вот вам и стабильный веб, никаких министерств цензуры не нужно
> накосячила одна частная копрорация - а по итогу уронили половину интернетану так все правильно - одна частная корпорация, которой и принадлежит по факту половина этого вашего интернета - свою половину и уронила. Скажите спасибо еще, что быстро спохватил...впрочем, вряд ли - скорее тот жунипер от нагрузки просто пофис и префиксы перестали приходить.
А про штабильный веб свой забудьте - он кончился ровно в тот момент, когда вместо найма своих инженеров начали платить этой одной, потому что так дешевле. А та тоже не дура, дорогих инжерегров нанимать, когда полный Пакистан дешевок.
"одна частная корпорация"
Internet
International network
International
одна компания
mkay
И толку с твоих слов?
Internet это сокращение от internetworking
оно так было одно время, да. но все хорошее когда-то заканчивается
Так кто заставлял брать-то. Никто. Упали и упали, никто не заметил.
какбы частная!
Интернет -> WWW -> World Wide WebWeb -> a network of fine threads constructed by a spider from fluid secreted by its spinnerets, used to catch its prey.
Conclusion: не попадайтесь в сети пауков, вам ведь четко намекнули в название сего изобретения - WEB
Я до тебя доберусь, Naraku! Или Onigumo...
> Я до тебя доберусь, Naraku! Или Onigumo...がんばって
Так будет всегда, пока одна компания контролирует половину веба. Одна человеческая ошибка, и вся цивилизация раком. Но нет, они хотят еще большей глобализации. Туда же вся облачная помойка, кстати.
> уронили половину интернетавторая половина продолжала работать как ни в чём не бывало.
а что ты напишешь, если в гоогле рукозадые инженеры поломают ваши любимые 8.8.8.8 и 8.8.4.4 ?
Отлично сработали. Оперативно починили. Молодцы ребята.
Поддерживаю и не поддерживаю.1. Накосячили - факт. Таков бизнес - экономим на всём: чтоб инженеры были в перегруз по работе, ни секунды чтоб не было свободной! Чья вина?
2. 27 минут для устранения - это для сложной сети не много.
Вопрос в деталях: 27 минут разобрался и устранил сам инженер или звал на помощь кого-то?
Если "звал", то это вопрос кадров и опять к построению бизнеса.
Если "не звал", то 27 минут - долго.3. Исходно было не продумано, то, что теперь будут внедрять для "неповторения" - это косяк, детские болячки. Вина архитектора? или тоже не было свободной минуты подумать?
Итог: Проблема в современной логике: бежим - не думаем - авось + экономим на всём ? Пробуем приложить к себе для начала ...
> Вопрос в деталях: 27 минут разобрался и устранил сам инженер или звал на помощь кого-то?помощь в виде ведра на голову обычно приходит от коллег из другой точки, обнаруживших в мониторинге, что возник перекос траффика и посмотревших, почему он туда уехал - им-то это сразу видно.
Им и оттраблшутить легче, чем виновнику торжества, у которого возможно вообще консоль отвалилась - во-первых, потому что oob-маршрута в его бангалорский пригород не предусмотрено дизайном сети, во-вторых потому что процессор тоже подох и даже при прямом управлении консоль почти неживая.
С чего вдруг процессор подох?
Сразу понятно ты цисок никогда не видел.
От перегрева.
Ахах, да, отлетающие радиаторы на платах 76xx - та ещё трагикомедия.
Видел разве что сбоку, но судя по "почти" -- имелась в виду логическая перегрузка, а не термическая (пусть они и связаны, порой даже двусторонне).
Сразу понятно ты джунов никогда не видел.
Не будет там "перегрева", как и собстенно особой нагрузки на РЕ.
> было не продумано, то, что теперь будут внедрять для "неповторения"Да ничего. Ну реально. Затраты на "неповторение" в данном случае легко превышают потери от повторения.
Да бросьте, одна хорошая порка так дорого не должна стоить.Тем более в странах, где подобные способы воздействия в порядке вещей.
Не поможет. И даже полная автоматизация не поможет, человеческий фактор всё равно будет рулить.
Более того - чем больше автоматизация, тем страшнее будут последствия.
> Не поможет. И даже полная автоматизация не поможетконечно нет - чего робота-то пороть, только кнут портить!
Если вот наоборот, ты еще и commit набрать не успел, а робот-экзекьютор уже летит к тебе, замахиваясь кнутом - но это пока сложновато.
> человеческий фактор всё равно будет рулить.
человеческий фактор можно и должно устранять с помощью человеческих же решений. Есть сети, вполне себе соблюдающие жуткие sla с кучей девяток. Просто это не про "бесплатную" клаудфлерь.
> человеческий фактор можно и должно устранять с помощью человеческих же решенийТам проблема в том, что если само это решение пойдёт вразнос (а ошибки в таковых не новость), оно положит уже не один маршрут, и не один узел (по конфигурации), а много и сразу - всё, до чего успеет дотянуться. И чем выше вовлечённость решения, тем выше цена ошибки. Одна из причин, по которой в 99% EULA ещё со времён царя Гороха явно прописан отказ об ответственности за последствия ошибок в коде. Так что местами проще (и дешевле) мириться с разовыми человеческими ошибками, чем иметь систему, которая потенциально может одним махом сложить всё.
А простите, господин Андрей, вы случаем не из яндекса, где сайт яндексру начал ложится на полчаса и более после развала команд в 2012-2015гг? Каково вам теперь, когда есть золотая акция? Вы-то никогда не спешите, все делаете четко и правильно, угу-угу.И то, что человек, который все делал по факту человек и у него в это тяжелое время могла быть сложная жизненная ситуация вас не колышит. Угу-угу. Ну, что ж, желаю вам и вашим близким здоровья, а то не дай бог вы, оказавшись в плохой ситуации "уроните" всю страну. Хотя нет, не уроните, искперты опеннета обычно могут уронить только мороженное и мама вас точно так же как и вы отругает, яблоко от яблони...
> человек и у него в это тяжелое время могла быть сложная жизненная ситуацияв следующий раз человек в тяжелое время в сложной жизненной ситуации просто поведет ваш автобус - и угробит не какой-то там "траффик", а вас и еще сорок обгадившихся от страха пассажиров. Основная тяжесть его жизненной ситуации при этом будет в том, что права он купил.
Это вопрос менеджмента. Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.
>просто поведет ваш автобус
>права он купилТы делаешь из мухи слона раз. А во-вторых, ну иди в CloudFlare и покажи какой ты неепаца крутой сетевик. В-третьих, доставай свои CCNA, CCNP, CCIE и покажи всем, что ты разбираешь кто покупает права.
>Это вопрос менеджмента.
Ты упоротый перфекционист. Человеческий фактор неизбежен. Хоть ты 100500 раз все продумай, что-нибудь да упустишь. В тебе уже заложен изъян. Как и в любом другом человеке.
Вот вопрос. Ты себе замену нашел, когда у тебя будет тяжкая жизненная ситуация? Кресло готов подвинуть на месяц-другой? Нет? А че ж ты? Ты-то естественно считаешь, что только ты -- единственный и незаменимый!
Не всё так плохо, встречаются и весёлые*) серванты https://vk.com/video-33847957_456239489*) если с такого серванта не обновляешь ОС.
> Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.
> Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.За что "люблю" младокоммунистов, так это за полное неумение мыслить.
Когда тырили платиновые каталитические сетки с производства на дверцы для домашних крольчатников ("не ржавеет") или молибденовый пруток для укрепления ворот гаража ("крепкий, зараза") -- это что было на дворе, не подскажете?
Государственный социализм.А теперь не стесняйся, продемонстрируй своё умение мыслить.
Что бы продемонстрировать умение мыслить, надо было указать правильный ответ: "рас...во", к политическому строю ортогональный.
"Садись, два".Бесхозяйственность это была. Вне зависимости от того, что на заборе написано.
Это при любом строе называется кражей.А такие люди, как ты, при любом строе будут называться манипуляторами, потому что занимаются подменой понятий.
>> Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.
> Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.Платить работнику 0 - вырожденная форма капитализма. Коммунизм.
Если работник не может уйти от такого капиталиста к другому капиталисту работать за большую зарплату, то это тогда не коммунизм, а рабовладение.Если может уйти, но не хочет, то скорее всего он удовлетворяет все свои материальные потребности каким-то другим способом, а на этой бесплатной работе удовлетворяет свои нематериальные потребности: любопытство, уважении, потребность в труде и т.д. Тогда может быть это коммунизм, а может быть он просто очень богат и может себе позволить иногда работать не за деньги или не работать вовсе.
> Если работник не может уйти от такого капиталиста к другому капиталисту работать
> за большую зарплату, то это тогда не коммунизм, а рабовладение.При коммунизме "зарплата" повсеместно равно 0.
> Проблема в современной логикеВы видать инженер, и не понимаете что cf вылез из 100500 таких же компаний. Вылез потому что влили дофига бабла и он побежал.
Здесь, как и во всем остальном, вопрос баланса. И бежать надо как можно быстрее, и думать надо сильнее. В одни ворота это не работает. И по факту остаются наибелее "правильные". С кучей внутренних проблем, но все же...По сабжу. Вроде бы стандартная ситуация (вывод части сети), могли бы и инструкцию написать/админку/скрипт (ansimble?) сделать. Нахрена вручную вот это вот все огребать.
А время на траблшутинг ?
пока поймешь в чем проблема может и 10 минут пройти и 30
Дождь идет, а мы скирдуем.
Тфьу ты. То есть, сеть лежит, а мы траблшутим.Хотя у ынжынера могла консоль отвалиться, и вернуть все взад было невозможно.
Отлично – это когда сеть лежит не более минуты за весь год.
Думаю что все, кто работал с оборудованием Juniper совершали такую ошибку.
Но также все, кто работал с оборудованием Juniper знает а commit confirmed, который сам откатывает изменения через таймаут. 30 минут даунтайма - многовато в этом случае.
> Думаю что все, кто работал с оборудованием Juniper совершали такую ошибку.Кто "учился" по серферфолту и стеку - совершали.
Кого чему-то учили и били по рукам - не совершали, это вредная и опасная команда, и нужна она очень редко, обычно когда уже что-то сломали.> commit confirmed, который сам откатывает изменения через таймаут.
он не для этого, он для случаев когда ты так ловко что-то поменял, что уже светит командировка в Зажопье, для личного знакомства с конкретной коробкой, потому что управление потеряно. За "быстроподнятое" роллбэком обычно макаку порют и лишают банана - потому что авария таки уже произошла.
А bgp штука инерционная, и обычно в таких случаях нифига неочевидно какое изменение привело к катастрофе - пока оно расползется и перестроятся таблицы, пока траффик достигнет пика пропускной способности (первые минуты, а иногда десятки минут - все будет работать, хотя и неправильно) - ты уже забудешь что ты менял, и твои коллеги успели поменять сто других мест. Попробуй теперь угадай, где и какое оказалось фатально.
Там, скорее всего - заметили другие инженеры в других точках - а макак отработал уже по факту надевания ведра помоев на голову.
Вы там все что ли свечку держали. Наши бы вообще сказали, что затруднения в работе сети и отрицательный рост объема траффика связаны со своевременным предотвращением последствий хакерской атаки.
Неправильно, "при выполнении плановых работ класса 'C', связанных с повышением устойчивости к хакерской атаке".Но, с другой стороны, а зачем орать на весь белый свет "папа, я обкакался?"
Там совершенно детская ошибка, даже две (обычно при разделении зон управления - то есть когда тебе положить твой сегмент может макака в соседнем, о которой ты до этого никогда не слышал - вещи типа maximum-prefixes в дизайн закладывают, а не в пожарном порядке постфактум делают)Опять же если тебя чему-то учили - ты и так это знаешь, а если ctrl-c(ой, оборвал операцию в консоли!)/ctrl-v - не поможет, теперь ты знаешь целую одну новую команду, толку-то...
> Но, с другой стороны, а зачем орать на весь белый свет "папа, я обкакался?"Обычная открытость перед пользователями. Вы действительно считаете, что пользователям лучше лгать?
С чьей точки зрения? С точки зрения денег - пользователям лучше дать внятные объяснения почему облажался _менеджмент_ и какие _нетехнические_ шаги предприняты, чтобы больше так не делали. В организациях, работающих за деньги, обычно ТАК выглядит отчет об аварии. А внутренние детали интересны только внутри техотдела, и наружу публикуются в виде "ошибка исполнителя".Но менеджмент очень не любит признавать что облажался, ему гораздо проще соврать.
А все эти конфиги большинство клиентов все равно не понимают, и понимают только что "человеческий фактор" и "макаки уронили всю сеть" (причем так оно и есть), а значит деньги в следующий раз лучше какому-нибудь qrator заплатить - скрепно, надежно, точно не положат.
что же теперь и математику в школах не преподавать если большинство её не понимает?
Знаете, мне тут когда-то грубо, но по делу подсказали ключслова, когда про ЧАЭС ляпнул что-то подобное насчёт "человеческого фактора". И это при том, что вообще-то копал и до того, как ляпнул -- так как зацепило.В общем, там задача тыкания пальцем в исполнителя была отвести вину от академика Александрова и его подельников по сокрытию информации о предвестнике той катастрофы десятилетием ранее...
Вам не кажется, что любой опыт должен быть освещён, даже опыт, когда ошиблись просто до смешного? Данный случай показывает, что вся система слишком сильно доверяет конкретно одному источнику, который может ошибиться, собственно именно исправлением этого они и занялись после инцидента, потому что ранее эта проблема казалась "лол, да кто может такое вообще допустить? пфф"
Давайте проще: сильно Cloudflare пострадала от того, что 100500 однодневок лежали?
Нет.
Клиентов со SLA, которые попросят неустойку - единицы. Остальные утрутся.
Новые не придут? Придут, альтернатив не много.
Ну и смысл вкладываться?
Легло и легло, не первый раз, и не последний.
(и тут ещё вспомнить про то, что те самые клиенты со SLA вряд ли заметили, ибо в отличие от однодневок вряд ли складывали всё в одну корзину, соответственно имели возможность идти мимо Cloudflare)
> Новые не придут? Придут, альтернатив не много.
> Ну и смысл вкладываться?Ты мыслишь так, будто рынок -- стабильная вещь, которая существовала в том виде, в котором она существует, тысячелетия, и ещё тысячелетия будет существовать неизменной. Сейчас claudflare может ложить на отношения с общественностью, но где гарантия того, что она будет иметь возможность ложить на эти отношения завтра? Через год? Через пять лет?
А будет ли завтра Cloudflare в том виде, в котором сейчас? Не задумывались об этом?
Тут варианта по сути три:
1) Дальше нарастит массу, и сможет класть ещё больший болт - кстати прилично вероятный расклад.
2) Будет выкуплена каким-нибудь монстром, например Amazon, при этом размер болта возрастёт неописуемо, но он будет несколько более завуалирован под customer friendly.
3) Бизнес-модель в принципе (как вы и говорите) исчерпает возможности класть болт на мелкие неурядицы (и падение сети - далеко не самая худшая из возможных), и по причине превалирования проблем над доходами будет свёрнута, далее см. п.2.
>> А будет ли завтра Cloudflare в том виде, в котором сейчас? Не задумывались об этом?
> Тут варианта по сути триМожет и три -- тут всё зависит от того, насколько мы позволяем себе размывать идею "по сути".
Давай я нарисую ещё несколько вариантов -- если тебе хочется свести их к какому-нибудь одному из твоих трёх вариантов -- своди, мне лень:
4. Завтра появится какая-нибудь новая хайповая идея, которая сделает cloudflare ненужным, все девляпсы побегут туда, и cloudflare будет пытаться либо перенять эту идею, занимая позицию догоняющего, либо убедить девляпсов, что проверенный временем клаудфлар лучше
5. Съёживание экономики вызванное короновирусом продолжится, и усугубится повышением средних температур, из-за которого жрачки станет не хватать на миллиарды людей, и экономика уйдёт в глубокое пике, все, в том числе и cloudflare будут биться за каждого последнего клиента, и продолжаться это будет довольно долго, пока на земле не останется, допустим, 0.5 миллиарда людей, вот только там ситуация стабилизируется
6. с cloudflare случится череда инцидентов, часть из которых будет вызвана внутренними косяками в cloudflare, а часть внешними условиями и в них cloudflare будет на самом деле не виноват -- это кстати тот сценарий, в котором cloudflare больше всего выигрывает, укрепляя уже сейчас в массовом сознании свою честность, открытость и готовность нести ответственность, посредством признания своей вины. Если организация поступает так как РФ и не принимает ответственности ни за что, если какие-то шняги можно сокрыть, то она их пытается сокрыть, потом это всплывает или может не всплывает, но осадочек остаётся, то через некоторое время такой организации не будет верить никто. И даже если эта организация нарушила контракты потому, что ей на каждый офис упало по метеориту, люди будут подозревать, что компания сама эти метеориты скинула, дабы оправдать своё нарушение контрактов. Впрочем, это свойство честности изучается ещё в начальной школе, и все его бонусы должны быть известны каждому.
7. Череда инцидентов случится с Amazon'ом, и PR-отдел Amazon'а не сможет их разруливать так красиво, как это сделал cloudflare сейчас, у cloudflare появится простор для отъедания части рынка Amazon'а, но если в массовом сознании cloudflare ещё хуже, то это может осложнить ситуацию для cloudflare
8... ещё надо?
4. Вот это вряд ли, идее большого коммерческого реверс-прокси уже лет много, а сама технология вообще с бородой :D Нет, когда-то появится, но это будут уже совсем другие условия. В целом - вырождается в вариант 3 -> 2.5. Это скорее будет локально на территории отдельных отсталых стран, Cloudflare сильно не пострадает :)
6. Тоже вряд ли, такие инциденты не так уж и часто случаются. Полчаса - это всё равно ~0.995% доступности, если раз в год. Вряд ли у них много клиентуры с SLA выше 97-98%. При каком-то странном безумном развитии тренда выродится в вариант 2.
7 вообще как-то мимо тазика.
Но да, напридумывать можно много.
> 4. Вот это вряд ли, идее большого коммерческого реверс-прокси уже лет много,
> а сама технология вообще с бородой :D Нет, когда-то появится, но
> это будут уже совсем другие условия. В целом - вырождается в
> вариант 3 -> 2.Хаха. Устоявшиеся технологии выглядят нерушимими ровно до того момента, когда они порушатся. Моменты обрушения непредсказуемы. То есть, если мы с тобой не можем их предсказать, это не значит, что они не будут случаться.
> 5. Это скорее будет локально на территории отдельных отсталых стран, Cloudflare сильно
> не пострадает :)Хаха. Ты сейчас думаешь о смертях людей, а я говорю об экономике. Экономика полетит в бездну, ежели 90% людей умрёт, даже если и 99% от этих 90% будет из отсталых стран.
> 6. Тоже вряд ли, такие инциденты не так уж и часто случаются.
> Полчаса - это всё равно ~0.995% доступности, если раз в год.
> Вряд ли у них много клиентуры с SLA выше 97-98%. При
> каком-то странном безумном развитии тренда выродится в вариант 2.Хаха. Они случаются. Всегда есть ненулевая вероятность. А если есть ненулевая вероятность единичного инцидента, то значит есть ненулевая вероятность серии инцидентов.
> 7 вообще как-то мимо тазика.
Почему? Amazon не допустит?
> Но да, напридумывать можно много.
Напридумывать можно много, но воображение реальности ещё богаче нашего. Если ты не закладываешься на маловероятные исходы, то один из них тебя рано или поздно огреет. Представь себе, что есть 10 маловероятных ситуаций, где открытый PR полезен. Допустим, то возникновение этих ситуаций -- это независимые события, и вероятность наткнуться на каждый из них в течение 10 лет равна 0.01. Тогда вероятность того, что хотя бы один из них накроет за 10 лет будет уже около 10%. А если их не десять, а сто? Мы не знаем границ возможностей воображения окружающей нас реальности.
Практически все крупнейшие корпорации мира принадлежат паре-тройке огромных инвестиционных холдингов, у которых ротшильды и рокфеллеры за клерков работают. Им падение доходов Клаудфэйр без разницы тот же владелец держит другие корпорации (которые "конкурируют" между собой). Типа просто игры в рыночек, что бы хомячки иллюзий не теряли. Вангард и иже с ними - настоящие хозяева денег. Деньги для них вообще не ценность - это просто ресурс управления им потеря фантиков вообще до лампочки.
Я не говорю, что этот блэкаут устроили они (владельцы) не их уровень, но смешно думать, что раззорение какой либо компании, когда типа "пользователи отвернуться", что-то значит. Это беда рядовых служащих этих компаний, а у бизнеса нет проблем. У него проблема контроля повыше уровнем - исторический процесс, идеология, глобальное переустройство информационных процессов и инфоповодов.
Откуда дровишки? Каким образом ты выяснил что cloudflare принадлежит одному из трёх огромных инвестиционных холдингов? Что ты знаешь, и почему ты думаешь, что ты это знаешь?
nobody cares
I care, I lol'd.
Они заодно и SSL всего интернета завалили. Летзинкрипт то у них проживает.Жаль, что быстро починилось.
>Летзинкрипт то у них проживает.Шара бесплатной не бывает, это же СШП :)
Заметил по 502. Какая же хрупкая цивилизация, которую мы накосячили. Будем работать...
Читая заголовок новости, я подумал, что это Ростелеком открыл филиал в Атланте. Собирался их поздравить с этим событием. Ан нет, Cloudflare справились сами.
Вы не понимаете, это действительно другое!
коррумпированный монополизм и показатель-бейсд бизнес - действительно разные вещи, Михаил.
Так и я о чём.
Всюду приходят необразованные недоучки. То кривой rust в ядро пихают, то маршруты ломают.
А что там с альтернативами BGP слышно?
В данном случае проблема была не в функционировании протокола, а в неправильном решении в настройке оного. У него есть недостатки, но в данном случае они не причем.
https://cdn.ttgtmedia.com/searchSecurityUK/downloads/RHUL_Z_...
Ну дык небось какого-нить Девопса или подобного за консоль пустили... Сетевики же щас нинужны!!!
Кто там говорил, что национальный инет не нужен?
И к кому вы подключаться будете? Вся остальная сеть то упала
К соседу же, у соседа петабайты контента в чулане. Хотя половина помойного качества, а половина хлам, но найти что-нибудь среди петабайт контента можно. А в интернете же всё равно нет, придётся ходить от чулана к чулану. Ну или самое свежее и актуальное, только через пару лет уже никто не вспомнит и вернёмся к схеме с чуланами.
То есть, Вы никогда по работе с контрагентами в своей стране не переписывались, никаким личным кабинетом (налоговая, энергосбыт, опсос) не пользовались, интернет-банком тоже, корпоративный интранет, состоящий из сетей головного офиса и филиалов, соединённых тоннелями, никогда не видели, и так далее, и так далее, и так далее.
>инженерыСир! Провайд ми виз информейшн АСАП!!! Ваш Ашачуванг.
*ваш Kumar Singh
рас кумар, два кумар
Не нужно только абсолютное окукливание. А этого очень хотят, хотя бы за тем, чтобы у людей не было выбора чем пользоваться.
Выбора и так нет. С момента создания TCP/IP и локализации инфраструктуры обслуживания сервисов в СШП.
Чего? Какой ещё локализации. Те же распределённые корневые NS - не, не слышал...
"дебилы бл@"(с)
макаки и сюда добрались.
каким-то образом этот залёт коснулся и хецнера -- не выполнялсь днс-запросы и их резолверы лежали.
Так сейчас же модно на днс сервере писать forward 8.8.8.8 и 1.1.1.1
Если твой запрос адресован в конечном итоге ns'у клаудфлери (я не про 1.1.1.1, а про dahlia.ns.cloudflare.com и его братьев, на которых и ресолвится "половина интернета", та которая не гугль) - при отвале клаудфлери ресолвер хетзнера ничего кроме таймаута тебе вернуть и не сможет. А поскольку при этом еще и резко возрастает время обработки каждого отдельного запроса - в конце-концов может слечь от нагрузки и хетзнеровский - таймауты не кэшируются.В свое время именно необходимость целиком подарить свои ресолверы клаудфлери (вместо нормального решения, сохраняющего за мной часть контроля за траффиком) как раз и заставила меня поставить окончательную точку в идее пользоваться ей для своих проектов.
> таймауты не кэшируются.Кэшируются так или иначе результирующие SRVFAIL. На текущий момент все крупные (и не очень) резолверы допускают "небольшие" (с их точки зрения) отступления от RFC. Гугл и CF — в пределах разумного.
Akamai (ломают dnssec) и Qrator (кладут на TTL) вообще косячат по чёрному "потому что могут".* Лидером в моём личном зачёте выступает (скрепный?) yandex dns. Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем пох.
> Кэшируются так или иначе результирующие SRVFAILих нельзя кэшировать никаким разумным способом (servfail это _ответ_, рекурсивного сервера, а там у тебя просто нет ответа). Возможно гугл и может себе позволить специально обрабатывать такие проблемы, но у хетзнера наверняка обычный bind или knot. Поэтому он от такой нагрузки предсказуемо дохнет, тем более что весь интернет не поперекэшируешь, и даже двадцать процентов тоже. (с другой стороны, конечно, а зачем вам ресолвер если интернет умер)
> Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем
это не ошибка. Прочитай внимательно документацию и удивись.
(Вкратце: ttl НЕ является временем кэширования, оно вычисляется по очень непростому алгоритму - с этим можно немного поиграть, меняя ttl в SOA, но если у тебя задача типового админа подвала "сделать фэйловер с минимальным ttl" - можешь сразу считать ее сфейленой, это не работает так как большинство думают.)
> их нельзя кэшировать никаким разумным способом (servfail это _ответ_, рекурсивного сервера,
> а там у тебя просто нет ответа).Т.к. в потроха резолвера unbound я сам лазил, то могу сказать что как минимум там это не так.
Таймаут ожидания ответа таки превращается в SRVFAIL и кэшируется (если не выкл). И это — реальный геморрой на "грязных" каналах.>> Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем
> это не ошибка. Прочитай внимательно документацию и удивись.
> (Вкратце: ttl НЕ является временем кэширования, оно вычисляется по очень непростому алгоритму
> - с этим можно немного поиграть, меняя ttl в SOA, но
> если у тебя задача типового админа подвала "сделать фэйловер с минимальным
> ttl" - можешь сразу считать ее сфейленой, это не работает так
> как большинство думают.)Ты не понял. "Не определённое" — это такой эвфемизм для "навечно".
Даже если я идиот и не проинкрементил серийник. (Идиот у нас электронный, но не суть. Резолверам на такие нюансы как номер зоны обычно вообще параллельно.) Все TTL в зоне — из суток. В т.ч. записи в SOA. Когда через пару недель yandex (и только он) продолжает в половине случаев отдавать старую версию, я такого алгоритма не знаю. У нас с ними нормальных контактов нет, так что возможно что их админы до сих пор сидят ровно. Переспрошу при случае граждан кто этим занимался.
> Ты не понял. "Не определённое" — это такой эвфемизм для "навечно".не навечно, но для активно используемой зоны -надолго.
Оно так работает. By design.
> Резолверам на такие нюансы как номер зоны обычно вообще параллельно.
рекурсивным - абсолютно, номер интересует только слейвов. А рекурсор интересует ttl, но он используется не так как большинство нечитавших спецификацию думают.
> рекурсивным - абсолютно, номер интересует только слейвов. А рекурсор интересует ttl, но
> он используется не так как большинство нечитавших спецификацию думают.А это ничего что согласно основополагающему RFC-1035 SOA вообще не должны кэшироваться (в т.ч. всегда отдаются с TTL=0)?
Я между строк читать не умею, а по тексту написано вот это:
"""
Zero values are interpreted to mean that the RR can only be used for the transaction in progress, and should not be cached. For example, SOA records are always distributed with a zero TTL to prohibit caching.
"""
А использовать какой-нибудь blue-green deployment? Пустить 5% трафика с новыми настройками - если всё ходит нормально то подать соточку?"Ой, у нас инженеры криво поправили настройки - даунтайм пол-часа" - что это за детский сад вообще?
>Пустить 5% трафика с новыми настройкамиТы хоть понимаешь, как BGP работает?
судя по терминологии - это девляпс, он вообще ничего не понимает даже там, где работает.
Сети - они такие. Поправил какой-нибудь крупный Tier 1 или около того оператор (не будем тыкать пальцем) фильтры неудачно, половина ютуба или ещё чего легла по всему миру. Увы и ах.
А вот если серьёзно, в свете таких инцидентов как-то совсем иначе воспринимается первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при любых нанесённых противником повреждениях.
>А вот если серьёзно, в свете таких инцидентов как-то совсем иначе воспринимается первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при любых нанесённых противником повреждениях.Это вопрос к автору "тезиса", а на опеннете секретарши?
Это если "серьезно".
Пиши в тп клаудфларе.
Если так, то писать надо в DARPA, вообще-то.
>Если так, то писать надо в DARPA, вообще-то.Ну так и пиши туда. Им все равно нас рать. ИХ сети будут отказоустойчивы. Или тебе лично обещали? :)
Так извините, рассчитывали всё-таки на честные ядрёны бомбы, а не дятла изнутри в условиях правильности, потому что верности, курса партии и чёрных жизней."Есть многое на свете, друг Горацио..." :(
> Есть многое на свете, друг ГорациоМихаил, а Вам нравится Греция? Ведь тоже православная страна. Что интересно, выросла из античности.
А мне нравятся в таком порядке:
Франция > Германия > Италия.
Ну еще Нидерланды.
Несмотря на попсовость, в Таиланде что-то есть. А, может, я говорю так, потому что видел много тайских фильмов + есть знакомый, который им увлекается (переводит фильмы на рутрекере, но через английский).Италия была античной (древний Рим), но хотя бы стала католической.
Из греческих фильмов я видел только Piso porta 2000 и французско-греческий Nicostratos le pélican 2011 (с Кустурицей). А Кустурица поддерживает нашего президента, потому что был противником распада Югославии, отделения Косово от Сербии...
> Михаил, а Вам нравится Греция?Не бывал там. С греками и киприотами порой доводилось общаться.
> первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при
> любых нанесённых противником повреждениях.ты слышал звон
Интернет от потери Cloudflare не лёг вообще ни разу.
Тезис абсолютно верный, просто почему-то под "неубиваемостью" предполагается, что всё будет функционировать в изначальном объёме. А вот ни хрена, может и в виде разрозненных кусочков. Но будет.
>в результате которого в течение 27 минут была нарушена работа многих сегментов сети, в том числе отвечающих за доставку трафика в Лондон, Чикаго, Лос-Анджелес, Вашингтон, Амстердам, Париж, Москву и Санкт-Петербург.Бидабидаогорчение.
Всем пострадавшим любителям складывать все яйца в одну корзину советую чупачупс, они научили весь мир сосать. Локально. В свой сосок.
Невозможно не согласиться.
По идее пострадали только те, кто соглашение SLA не читал/не подписывал. Там четко указано время доступности/недоступности/восстановления/etc сервиса за период времени.
A я то идиот рубаху на себе рвал материл провайдера перезапускал 10 раз роутер cпешно все обновлял но не в жись не смел подумать что на самом деле это там в матрице что то погнулось.
В другой раз будешь умнее!
Это все вместо того, чтобы запустить traceroute?Вы не в cloudflare работаете?
ну вот мы и добрались до проблем QA, нафиг нам такая - "сами себе тестеры". Прежде чем пишем код, пишем тест! Что-то меняем - пишем тест ... и только потом пишем скрипт, прогоняя всё через данный тест. Как-то так.
угу ... И от этих тестов всё оборудование вокруг будет лежать годами.Там же не мгновенная реакция "Segmentation fault". Там часов через 6 "что-то пошло не так"
Ну а поскольку руководство на написание тестов время не выделило, то пишем мы их дома в нерабочее время.
Интересно, а почему никто не кричит про американских товарищей майоров, как в https://www.opennet.ru/opennews/art.shtml?num=52680 ?
> Интересно, а почему никто не кричит
> про американских товарищей майоров, как в
> https://www.opennet.ru/opennews/art.shtml?num=52680 ?
Вспоминается сразу: https://images11.esquire.ru/upload/custom/0a0/0a097b36b26a91...
