The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Ошибка при настройке BGP привела к 27-минутному сбою в работе Cloudflare

18.07.2020 09:21

Компания Cloudflare, предоставляющая сеть доставки контента для 27 млн интернет-ресурсов и обслуживающая трафик 13% из 1000 крупнейших сайтов, раскрыла подробности инцидента, в результате которого в течение 27 минут была нарушена работа многих сегментов сети Cloudflare, в том числе отвечающих за доставку трафика в Лондон, Чикаго, Лос-Анджелес, Вашингтон, Амстердам, Париж, Москву и Санкт-Петербург. Проблема была вызвана неверным изменением конфигурации на маршрутизаторе в Атланте. Во время инцидента, который произошёл 17 июля с 21:12 по 21:39 (UTC), общий объём трафика в сети Cloudflare снизился примерно на 50%.

В процессе проведения технических работ, желая снять часть трафика с одного из бэкбонов, инженеры удалили одну строку в блоке настроек, определяющем список принимаемых через бэкбон маршрутов, фильтруемых в соответствии с указанным списком префиксов. Правильным было бы деактивировать весь блок, но по ошибке была лишь удалена строка со списком префиксов.



   {master}[edit]
   atl01# show | compare 
   [edit policy-options policy-statement 6-BBONE-OUT term 6-SITE-LOCAL from]
   !       inactive: prefix-list 6-SITE-LOCAL { ... }

Содержимое блока:

   from {
       prefix-list 6-SITE-LOCAL;
   }
   then {
       local-preference 200;
       community add SITE-LOCAL-ROUTE;
       community add ATL01;
       community add NORTH-AMERICA;
       accept;
   }   


Из-за удаления привязки к списку префиксов оставшаяся часть блока стала распространяться на все префиксы и маршрутизатор стал рассылать все свои BGP-маршруты маршрутизаторам других бэкбонов. По стечению обстоятельств новые маршруты имели более высокий приоритет (local-preference 200) по сравнению с приоритетом (100), выставленным для других маршрутов автоматической системой оптимизации трафика. В итоге вместо удаления маршрутизации с бэкбона произошла утечка более приоритетных BGP-маршрутов, в результате которой трафик, адресованный другим бэкбонам, направился в Атланту, что привело к перегрузке маршрутизатора и коллапсу части сети.

Для того чтобы исключить возникновение подобных инцидентов в будущем, в понедельник планируется внести несколько изменений в настройки бэкбонов Cloudflare. Для BGP-сеансов будет добавлено ограничение на максимальное число префиксов (maximum-prefix), которое будет блокировать проблемный бэкбон в случае направления через него слишком большого числа префиксов. Если бы данное ограничение было добавлено ранее, то рассматриваемая проблема привела бы к отключению бэкбона в Атланте, но не отразилась на работе всей сети, так как сеть Cloudflare рассчитана на возможность выхода из строя отдельных бэкбонов. Из уже принятых изменений отмечается пересмотр приоритетов (local-preference) для локальных маршрутов, который не позволит одному маршрутизатору влиять на трафик в других частях сети.

  1. Главная ссылка к новости (https://blog.cloudflare.com/cl...)
  2. OpenNews: Cloudflare запустил сервис для отслеживания фильтрации некорректных маршрутов BGP
  3. OpenNews: Утечка BGP-маршрута в Ростелекоме привела к нарушению связности крупнейших сетей
  4. OpenNews: Утечка BGP-маршрутов привела к массовому нарушению связности в интернете
  5. OpenNews: Cloudflare представил инструменты для выявления перехвата HTTPS
  6. OpenNews: Ошибочный BGP-анонс на 74 минуты нарушил связность сетей Google и Cloudflare
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/53391-cloudflare
Ключевые слова: cloudflare, bgp, route
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (145) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 10:16, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Исправьте в заголовке ошибку. BGP, а не BPG
     
     
  • 2.5, A.Stahl (ok), 10:47, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +23 +/
    RPG. Эльфы набижали, бекбон ограбили и обратно в Клаудфлер спрятались.
     
     
  • 3.37, Аноним (37), 13:17, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +9 +/
    s/бекбон/корованы/g
     
  • 3.38, anonimous (?), 13:23, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Ну ты юморист, прям Петросян
     
  • 2.54, Kuromi (ok), 17:15, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Главное хотя бы не BFG,а что сейчас DOOMцы бы понабежали.
     
     
  • 3.72, Алка Галкина (?), 20:37, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    BLM же!
     

  • 1.2, Аноним (2), 10:29, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +39 +/
    Это все потому, что они пользуются запрещенным словом "master". Пускай переименуют - и все сразу заработает (на самом деле нет).
     
     
  • 2.50, darkshvein (ok), 16:42, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    dark power of your Master!
     

  • 1.6, Аноним (6), 10:54, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    BFG :)
     
     
  • 2.92, . (?), 23:47, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    BOFH
     

  • 1.7, Иваня (?), 10:54, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –6 +/
    Это позор, а не инженеры. Заменить их!
     
     
  • 2.8, Конец (?), 11:04, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Заменить на таких же некомпетентных? Да ты батенька не разбираешься в бизнесе.
     
     
  • 3.25, Иваня (?), 12:12, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    На искуственный интеллект!
     
     
  • 4.81, Аноним (81), 20:59, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А его какие вырабатывают?
     
  • 3.149, ann (??), 00:18, 24/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    О, бизнесмен управляющий триллиардной компанией и написавший тонну работ по бизнесу.
     
  • 2.11, Ыв (?), 11:27, 18/07/2020 Скрыто ботом-модератором     [к модератору]
  • –4 +/
     
     
  • 3.13, пох. (?), 11:41, 18/07/2020 Скрыто ботом-модератором     [к модератору]
  • –4 +/
     
  • 3.33, Онаним (?), 12:51, 18/07/2020 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
     
  • 4.34, Онаним (?), 12:51, 18/07/2020 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
  • 2.60, Роман (??), 18:55, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А вдруг инженер черный трансвестит, вы что расист? :-)
     
     
  • 3.93, . (?), 23:50, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Кстати, а почему на флаге ЛГБТ нету чёрного цвета?
     
     
  • 4.96, анончик (?), 00:24, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    потому что ночью радуги не бывает
     
     
  • 5.97, . (?), 00:46, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Голубая луна^W^W Лунная радуга же.
     

  • 1.9, Аноним (9), 11:08, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +15 +/
    накосячила одна частная копрорация - а по итогу уронили половину интернета (ибо кто то у них хостился, кто то защиту от дудоса брал, у кого то тупо днс). Вот вам и стабильный веб, никаких министерств цензуры не нужно
     
     
  • 2.15, пох. (?), 11:44, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +12 +/
    > накосячила одна частная копрорация - а по итогу уронили половину интернета

    ну так все правильно - одна частная корпорация, которой и принадлежит по факту половина этого вашего интернета - свою половину и уронила. Скажите спасибо еще, что быстро спохватил...впрочем, вряд ли - скорее тот жунипер от нагрузки просто пофис и префиксы перестали приходить.

    А про штабильный веб свой забудьте - он кончился ровно в тот момент, когда вместо найма своих инженеров начали платить этой одной, потому что так дешевле. А та тоже не дура, дорогих инжерегров нанимать, когда полный Пакистан дешевок.


     
     
  • 3.52, КО (?), 16:51, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    "одна частная корпорация"
    Internet
    International network
    International
    одна компания
    mkay
     
     
  • 4.109, macfaq (?), 14:10, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И толку с твоих слов?
     
  • 4.120, Аноним (120), 20:20, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Internet это сокращение от internetworking
     
  • 4.128, Аноним (128), 12:23, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    оно так было одно время, да. но все хорошее когда-то заканчивается
     
  • 2.31, Онаним (?), 12:48, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так кто заставлял брать-то. Никто. Упали и упали, никто не заметил.
     
  • 2.51, darkshvein (ok), 16:43, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    какбы частная!
     
  • 2.56, OpenEcho (?), 18:10, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Интернет -> WWW -> World Wide Web

    Web -> a network of fine threads constructed by a spider from fluid secreted by its spinnerets, used to catch its prey.

    Conclusion: не попадайтесь в сети пауков, вам ведь четко намекнули в название сего изобретения - WEB

     
     
  • 3.99, InuYasha (??), 00:56, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Я до тебя доберусь, Naraku! Или Onigumo...
     
     
  • 4.102, OpenEcho (?), 08:01, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Я до тебя доберусь, Naraku! Или Onigumo...

    がんばって

     
  • 2.61, SubGun (??), 18:57, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так будет всегда, пока одна компания контролирует половину веба. Одна человеческая ошибка, и вся цивилизация раком. Но нет, они хотят еще большей глобализации. Туда же вся облачная помойка, кстати.
     
  • 2.142, Аноним (142), 01:20, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > уронили половину интернета

    вторая половина продолжала работать как ни в чём не бывало.

     
  • 2.148, тигар (ok), 17:46, 23/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    а что ты напишешь, если в гоогле рукозадые инженеры поломают ваши любимые 8.8.8.8 и 8.8.4.4 ?
     

  • 1.10, Аноним (10), 11:14, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Отлично сработали. Оперативно починили. Молодцы ребята.
     
     
  • 2.17, Андрей (??), 11:55, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Поддерживаю и не поддерживаю.

    1. Накосячили - факт. Таков бизнес - экономим на всём: чтоб инженеры были в перегруз по работе, ни секунды чтоб не было свободной! Чья вина?

    2. 27 минут для устранения - это для сложной сети не много.
    Вопрос в деталях: 27 минут разобрался и устранил сам инженер или звал на помощь кого-то?
    Если "звал", то это вопрос кадров и опять к построению бизнеса.
    Если "не звал", то 27 минут - долго.

    3. Исходно было не продумано, то, что теперь будут внедрять для "неповторения" - это косяк, детские болячки. Вина архитектора? или тоже не было свободной минуты подумать?


    Итог: Проблема в современной логике: бежим - не думаем - авось + экономим на всём ? Пробуем приложить к себе для начала ...

     
     
  • 3.22, пох. (?), 12:01, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Вопрос в деталях: 27 минут разобрался и устранил сам инженер или звал на помощь кого-то?

    помощь в виде ведра на голову обычно приходит от коллег из другой точки, обнаруживших в мониторинге, что возник перекос траффика и посмотревших, почему он туда уехал - им-то это сразу видно.

    Им и оттраблшутить легче, чем виновнику торжества, у которого возможно вообще консоль отвалилась - во-первых, потому что oob-маршрута в его бангалорский пригород не предусмотрено дизайном сети, во-вторых потому что процессор тоже подох и даже при прямом управлении консоль почти неживая.

     
     
  • 4.30, Наноним (?), 12:47, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    С чего вдруг процессор подох?
     
     
  • 5.115, Гость (??), 17:01, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Сразу понятно ты цисок никогда не видел.
    От перегрева.
     
     
  • 6.129, Онаним (?), 12:57, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Ахах, да, отлетающие радиаторы на платах 76xx - та ещё трагикомедия.
     
  • 6.130, Michael Shigorin (ok), 15:16, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Видел разве что сбоку, но судя по "почти" -- имелась в виду логическая перегрузка, а не термическая (пусть они и связаны, порой даже двусторонне).
     
  • 6.134, Наноним (?), 17:43, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Сразу понятно ты джунов никогда не видел.
    Не будет там "перегрева", как и собстенно особой нагрузки на РЕ.
     
  • 3.32, Онаним (?), 12:49, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > было не продумано, то, что теперь будут внедрять для "неповторения"

    Да ничего. Ну реально. Затраты на "неповторение" в данном случае легко превышают потери от повторения.

     
     
  • 4.46, пох. (?), 15:37, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Да бросьте, одна хорошая порка так дорого не должна стоить.

    Тем более в странах, где подобные способы воздействия в порядке вещей.

     
     
  • 5.78, Онаним (?), 20:54, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Не поможет. И даже полная автоматизация не поможет, человеческий фактор всё равно будет рулить.
    Более того - чем больше автоматизация, тем страшнее будут последствия.
     
     
  • 6.89, пох. (?), 21:48, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Не поможет. И даже полная автоматизация не поможет

    конечно нет - чего робота-то пороть, только кнут портить!

    Если вот наоборот, ты еще и commit набрать не успел, а робот-экзекьютор уже летит к тебе, замахиваясь кнутом - но это пока сложновато.

    > человеческий фактор всё равно будет рулить.

    человеческий фактор можно и должно устранять с помощью человеческих же решений. Есть сети, вполне себе соблюдающие жуткие sla с кучей девяток. Просто это не про "бесплатную" клаудфлерь.

     
     
  • 7.104, Онаним (?), 08:12, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > человеческий фактор можно и должно устранять с помощью человеческих же решений

    Там проблема в том, что если само это решение пойдёт вразнос (а ошибки в таковых не новость), оно положит уже не один маршрут, и не один узел (по конфигурации), а много и сразу - всё, до чего успеет дотянуться. И чем выше вовлечённость решения, тем выше цена ошибки. Одна из причин, по которой в 99% EULA ещё со времён царя Гороха явно прописан отказ об ответственности за последствия ошибок в коде. Так что местами проще (и дешевле) мириться с разовыми человеческими ошибками, чем иметь систему, которая потенциально может одним махом сложить всё.

     
  • 3.40, Аноним (40), 14:14, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А простите, господин Андрей, вы случаем не из яндекса, где сайт яндексру начал ложится на полчаса и более после развала команд в 2012-2015гг? Каково вам теперь, когда есть золотая акция? Вы-то никогда не спешите, все делаете четко и правильно, угу-угу.

    И то, что человек, который все делал по факту человек и у него в это тяжелое время могла быть сложная жизненная ситуация вас не колышит. Угу-угу. Ну, что ж, желаю вам и вашим близким здоровья, а то не дай бог вы, оказавшись в плохой ситуации "уроните" всю страну. Хотя нет, не уроните, искперты опеннета обычно могут уронить только мороженное и мама вас точно так же как и вы отругает, яблоко от яблони...

     
     
  • 4.47, пох. (?), 15:43, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > человек и у него в это тяжелое время могла быть сложная жизненная ситуация

    в следующий раз человек в тяжелое время в сложной жизненной ситуации просто поведет ваш автобус - и угробит не какой-то там "траффик", а вас и еще сорок обгадившихся от страха пассажиров. Основная тяжесть его жизненной ситуации при этом будет в том, что права он купил.

    Это вопрос менеджмента. Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.

     
     
  • 5.98, Аноним (40), 00:49, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >просто поведет ваш автобус
    >права он купил

    Ты делаешь из мухи слона раз. А во-вторых, ну иди в CloudFlare и покажи какой ты неепаца крутой сетевик. В-третьих, доставай свои CCNA, CCNP, CCIE и покажи всем, что ты разбираешь кто покупает права.

    >Это вопрос менеджмента.

    Ты упоротый перфекционист. Человеческий фактор неизбежен. Хоть ты 100500 раз все продумай, что-нибудь да упустишь. В тебе уже заложен изъян. Как и в любом другом человеке.

    Вот вопрос. Ты себе замену нашел, когда у тебя будет тяжкая жизненная ситуация? Кресло готов подвинуть на месяц-другой? Нет? А че ж ты? Ты-то естественно считаешь, что только ты -- единственный и незаменимый!

     
  • 5.106, n00by (ok), 10:56, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Не всё так плохо, встречаются и весёлые*) серванты https://vk.com/video-33847957_456239489

    *) если с такого серванта не обновляешь ОС.

     
  • 5.112, An0n (?), 15:29, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.

    Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.

     
     
  • 6.113, Michael Shigorin (ok), 15:40, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.

    За что "люблю" младокоммунистов, так это за полное неумение мыслить.

    Когда тырили платиновые каталитические сетки с производства на дверцы для домашних крольчатников ("не ржавеет") или молибденовый пруток для укрепления ворот гаража ("крепкий, зараза") -- это что было на дворе, не подскажете?

     
     
  • 7.116, Гость (??), 17:06, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Государственный социализм.

    А теперь не стесняйся, продемонстрируй своё умение мыслить.

     
     
  • 8.118, n00by (ok), 17:18, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Что бы продемонстрировать умение мыслить, надо было указать правильный ответ р... текст свёрнут, показать
     
  • 8.131, Michael Shigorin (ok), 15:18, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Садись, два Бесхозяйственность это была Вне зависимости от того, что на заб... текст свёрнут, показать
     
  • 7.137, www2 (??), 09:02, 21/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Это при любом строе называется кражей.

    А такие люди, как ты, при любом строе будут называться манипуляторами, потому что занимаются подменой понятий.

     
  • 6.117, n00by (ok), 17:15, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Почему этот человек работал с критичной частью инфраструктуры один, почему изменения вносились на живую, без контроля и так далее.
    > Дешевле же. Меньше платить работнику - больше прибыли. Капитализм.

    Платить работнику 0 - вырожденная форма капитализма. Коммунизм.

     
     
  • 7.138, www2 (??), 09:17, 21/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если работник не может уйти от такого капиталиста к другому капиталисту работать за большую зарплату, то это тогда не коммунизм, а рабовладение.

    Если может уйти, но не хочет, то скорее всего он удовлетворяет все свои материальные потребности каким-то другим способом, а на этой бесплатной работе удовлетворяет свои нематериальные потребности: любопытство, уважении, потребность в труде и т.д. Тогда может быть это коммунизм, а может быть он просто очень богат и может себе позволить иногда работать не за деньги или не работать вовсе.

     
     
  • 8.139, n00by (ok), 10:01, 21/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    При коммунизме зарплата повсеместно равно 0 ... текст свёрнут, показать
     
  • 3.108, rshadow (ok), 14:00, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Проблема в современной логике

    Вы видать инженер, и не понимаете что cf вылез из 100500 таких же компаний. Вылез потому что влили дофига бабла и он побежал.
    Здесь, как и во всем остальном, вопрос баланса. И бежать надо как можно быстрее, и думать надо сильнее. В одни ворота это не работает. И по факту остаются наибелее "правильные". С кучей внутренних проблем, но все же...

    По сабжу. Вроде бы стандартная ситуация (вывод части сети), могли бы и инструкцию написать/админку/скрипт (ansimble?) сделать. Нахрена вручную вот это вот все огребать.

     
  • 3.135, SoulMaster (??), 18:00, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А время на траблшутинг ?
    пока поймешь в чем проблема может и 10 минут пройти и 30
     
     
  • 4.144, Аноним (144), 13:31, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Дождь идет, а мы скирдуем.
    Тфьу ты. То есть, сеть лежит, а мы траблшутим.

    Хотя у ынжынера могла консоль отвалиться, и вернуть все взад было невозможно.

     
  • 2.43, Аноним (43), 14:50, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Отлично – это когда сеть лежит не более минуты за весь год.
     

  • 1.12, Аноним (12), 11:30, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Думаю что все, кто работал с оборудованием Juniper совершали такую ошибку.
    Но также все, кто работал с оборудованием Juniper знает а commit confirmed, который сам откатывает изменения через таймаут. 30 минут даунтайма - многовато в этом случае.
     
     
  • 2.18, пох. (?), 11:56, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Думаю что все, кто работал с оборудованием Juniper совершали такую ошибку.

    Кто "учился" по серферфолту и стеку - совершали.
    Кого чему-то учили и били по рукам - не совершали, это вредная и опасная команда, и нужна она очень редко, обычно когда уже что-то сломали.

    > commit confirmed, который сам откатывает изменения через таймаут.

    он не для этого, он для случаев когда ты так ловко что-то поменял, что уже светит командировка в Зажопье, для личного знакомства с конкретной коробкой, потому что управление потеряно. За "быстроподнятое" роллбэком обычно макаку порют и лишают банана - потому что авария таки уже произошла.

    А bgp штука инерционная, и обычно в таких случаях нифига неочевидно какое изменение привело к катастрофе - пока оно расползется и перестроятся таблицы, пока траффик достигнет пика пропускной способности (первые минуты, а иногда десятки минут - все будет работать, хотя и неправильно) - ты уже забудешь что ты менял, и твои коллеги успели поменять сто других мест. Попробуй теперь угадай, где и какое оказалось фатально.

    Там, скорее всего - заметили другие инженеры в других точках - а макак отработал уже по факту надевания ведра помоев на голову.

     

  • 1.14, Аноним (14), 11:41, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +11 +/
    Вы там все что ли свечку держали. Наши бы вообще сказали, что затруднения в работе сети и отрицательный рост объема траффика связаны со своевременным предотвращением последствий хакерской атаки.
     
     
  • 2.23, пох. (?), 12:06, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Неправильно, "при выполнении плановых работ класса 'C', связанных с повышением устойчивости к хакерской атаке".

    Но, с другой стороны, а зачем орать на весь белый свет "папа, я обкакался?"
    Там совершенно детская ошибка, даже две (обычно при разделении зон управления - то есть когда тебе положить твой сегмент может макака в соседнем, о которой ты до этого никогда не слышал - вещи типа maximum-prefixes в дизайн закладывают, а не в пожарном порядке постфактум делают)

    Опять же если тебя чему-то учили - ты и так это знаешь, а если ctrl-c(ой, оборвал операцию в консоли!)/ctrl-v - не поможет, теперь ты знаешь целую одну новую команду, толку-то...

     
     
  • 3.28, anonymous (??), 12:27, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > Но, с другой стороны, а зачем орать на весь белый свет "папа, я обкакался?"

    Обычная открытость перед пользователями. Вы действительно считаете, что пользователям лучше лгать?

     
     
  • 4.48, пох. (?), 15:50, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    С чьей точки зрения? С точки зрения денег - пользователям лучше дать внятные объяснения почему облажался _менеджмент_ и какие _нетехнические_ шаги предприняты, чтобы больше так не делали. В организациях, работающих за деньги, обычно ТАК выглядит отчет об аварии. А внутренние детали интересны только внутри техотдела, и наружу публикуются в виде "ошибка исполнителя".

    Но менеджмент очень не любит признавать что облажался, ему гораздо проще соврать.

    А все эти конфиги большинство клиентов все равно не понимают, и понимают только что "человеческий фактор" и "макаки уронили всю сеть" (причем так оно и есть), а значит деньги в следующий раз лучше какому-нибудь qrator заплатить - скрепно, надежно, точно не положат.


     
     
  • 5.146, Я (??), 17:44, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    что же теперь и математику в школах не преподавать если большинство её не понимает?
     
  • 4.76, Michael Shigorin (ok), 20:52, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Знаете, мне тут когда-то грубо, но по делу подсказали ключслова, когда про ЧАЭС ляпнул что-то подобное насчёт "человеческого фактора".  И это при том, что вообще-то копал и до того, как ляпнул -- так как зацепило.

    В общем, там задача тыкания пальцем в исполнителя была отвести вину от академика Александрова и его подельников по сокрытию информации о предвестнике той катастрофы десятилетием ранее...

     
  • 3.44, Аноним (44), 15:29, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вам не кажется, что любой опыт должен быть освещён, даже опыт, когда ошиблись просто до смешного? Данный случай показывает, что вся система слишком сильно доверяет конкретно одному источнику, который может ошибиться, собственно именно исправлением этого они и занялись после инцидента, потому что ранее эта проблема казалась "лол, да кто может такое вообще допустить? пфф"
     
     
  • 4.79, Онаним (?), 20:58, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Давайте проще: сильно Cloudflare пострадала от того, что 100500 однодневок лежали?
    Нет.
    Клиентов со SLA, которые попросят неустойку - единицы. Остальные утрутся.
    Новые не придут? Придут, альтернатив не много.
    Ну и смысл вкладываться?
    Легло и легло, не первый раз, и не последний.
     
     
  • 5.82, Онаним (?), 21:00, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    (и тут ещё вспомнить про то, что те самые клиенты со SLA вряд ли заметили, ибо в отличие от однодневок вряд ли складывали всё в одну корзину, соответственно имели возможность идти мимо Cloudflare)
     
  • 5.95, Ordu (ok), 00:10, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Новые не придут? Придут, альтернатив не много.
    > Ну и смысл вкладываться?

    Ты мыслишь так, будто рынок -- стабильная вещь, которая существовала в том виде, в котором она существует, тысячелетия, и ещё тысячелетия будет существовать неизменной. Сейчас claudflare может ложить на отношения с общественностью, но где гарантия того, что она будет иметь возможность ложить на эти отношения завтра? Через год? Через пять лет?

     
     
  • 6.103, Онаним (?), 08:04, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А будет ли завтра Cloudflare в том виде, в котором сейчас? Не задумывались об этом?
    Тут варианта по сути три:
    1) Дальше нарастит массу, и сможет класть ещё больший болт - кстати прилично вероятный расклад.
    2) Будет выкуплена каким-нибудь монстром, например Amazon, при этом размер болта возрастёт неописуемо, но он будет несколько более завуалирован под customer friendly.
    3) Бизнес-модель в принципе (как вы и говорите) исчерпает возможности класть болт на мелкие неурядицы (и падение сети - далеко не самая худшая из возможных), и по причине превалирования проблем над доходами будет свёрнута, далее см. п.2.
     
     
  • 7.107, Ordu (ok), 13:56, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Может и три -- тут всё зависит от того, насколько мы позволяем себе размывать ид... большой текст свёрнут, показать
     
     
  • 8.110, Онаним (?), 14:25, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    4 Вот это вряд ли, идее большого коммерческого реверс-прокси уже лет много, а с... текст свёрнут, показать
     
     
  • 9.111, Ordu (ok), 14:54, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Хаха Устоявшиеся технологии выглядят нерушимими ровно до того момента, когда он... большой текст свёрнут, показать
     
  • 7.124, Ага ага (?), 06:55, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Практически все крупнейшие корпорации мира принадлежат паре-тройке огромных инве... большой текст свёрнут, показать
     
     
  • 8.143, Ordu (ok), 09:38, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Откуда дровишки Каким образом ты выяснил что cloudflare принадлежит одному из т... текст свёрнут, показать
     

  • 1.16, Аноним (128), 11:47, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    nobody cares
     
     
  • 2.100, InuYasha (??), 00:59, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    I care, I lol'd.
     

  • 1.20, Anonim (??), 11:58, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Они заодно и SSL всего интернета завалили. Летзинкрипт то у них проживает.

    Жаль, что быстро починилось.

     
     
  • 2.84, antonimus (?), 21:04, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Летзинкрипт то у них проживает.

    Шара бесплатной не бывает, это же СШП :)

     

  • 1.21, ACCA (ok), 11:58, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Заметил по 502. Какая же хрупкая цивилизация, которую мы накосячили. Будем работать...
     
  • 1.24, Васян (?), 12:08, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Читая заголовок новости, я подумал, что это Ростелеком открыл филиал в Атланте. Собирался их поздравить с этим событием. Ан нет, Cloudflare справились сами.
     
     
  • 2.69, Michael Shigorin (ok), 20:24, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Вы не понимаете, это действительно другое!
     
     
  • 3.77, mos87 (ok), 20:53, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    коррумпированный монополизм и показатель-бейсд бизнес - действительно разные вещи, Михаил.
     
     
  • 4.88, Michael Shigorin (ok), 21:18, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так и я о чём.
     

  • 1.26, Образованный Доучка (?), 12:17, 18/07/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –3 +/
     
  • 1.35, d (??), 12:52, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что там с альтернативами BGP слышно?
     
     
  • 2.67, antonimus (?), 20:22, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    В данном случае проблема была не в функционировании протокола, а в неправильном решении в настройке оного. У него есть недостатки, но в данном случае они не причем.
     
  • 2.119, Сейд (ok), 19:35, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://cdn.ttgtmedia.com/searchSecurityUK/downloads/RHUL_Z_final.pdf
     

  • 1.36, Del (?), 12:57, 18/07/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +9 +/
     
  • 1.39, Аноним (39), 14:01, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –5 +/
    Кто там говорил, что национальный инет не нужен?
     
     
  • 2.45, Аноним (44), 15:30, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    И к кому вы подключаться будете? Вся остальная сеть то упала
     
     
  • 3.49, Аноним (49), 16:22, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –3 +/
    К соседу же, у соседа петабайты контента в чулане. Хотя половина помойного качества, а половина хлам, но найти что-нибудь среди петабайт контента можно. А в интернете же всё равно нет, придётся ходить от чулана к чулану. Ну или самое свежее и актуальное, только через пару лет уже никто не вспомнит и вернёмся к схеме с чуланами.
     
  • 3.58, YetAnotherOnanym (ok), 18:48, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    То есть, Вы никогда по работе с контрагентами в своей стране не переписывались, никаким личным кабинетом (налоговая, энергосбыт, опсос) не пользовались, интернет-банком тоже, корпоративный интранет, состоящий из сетей головного офиса и филиалов, соединённых тоннелями, никогда не видели, и так далее, и так далее, и так далее.
     

  • 1.41, mos87 (ok), 14:36, 18/07/2020 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • +4 +/
     

     ....ответы скрыты (2)

  • 1.42, Аноним (14), 14:47, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Не нужно только абсолютное окукливание. А этого очень хотят, хотя бы за тем, чтобы у людей не было выбора чем пользоваться.
     
     
  • 2.70, antonimus (?), 20:24, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Выбора и так нет. С момента создания TCP/IP и локализации инфраструктуры обслуживания сервисов в СШП.
     
     
  • 3.87, Онаним (?), 21:07, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Чего? Какой ещё локализации. Те же распределённые корневые NS - не, не слышал...
     

  • 1.53, Аноним (53), 17:04, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "дебилы бл@"(с)
    макаки и сюда добрались.
    каким-то образом этот залёт коснулся и хецнера -- не выполнялсь днс-запросы и их резолверы лежали.
     
     
  • 2.55, Аноним (55), 17:44, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так сейчас же модно на днс сервере писать forward 8.8.8.8 и 1.1.1.1
     
  • 2.57, пох. (?), 18:16, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если твой запрос адресован в конечном итоге ns'у клаудфлери (я не про 1.1.1.1, а про dahlia.ns.cloudflare.com и его братьев, на которых и ресолвится "половина интернета", та которая не гугль) - при отвале клаудфлери ресолвер хетзнера ничего кроме таймаута тебе вернуть и не сможет. А поскольку при этом еще и резко возрастает время обработки каждого отдельного запроса - в конце-концов может слечь от нагрузки и хетзнеровский - таймауты не кэшируются.

    В свое время именно необходимость целиком подарить свои ресолверы клаудфлери (вместо нормального решения, сохраняющего за мной часть контроля за траффиком) как раз и заставила меня поставить окончательную точку в идее пользоваться ей для своих проектов.

     
     
  • 3.140, PnD (??), 23:05, 21/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > таймауты не кэшируются.

    Кэшируются так или иначе результирующие SRVFAIL. На текущий момент все крупные (и не очень) резолверы допускают "небольшие" (с их точки зрения) отступления от RFC. Гугл и CF — в пределах разумного.
    Akamai (ломают dnssec) и Qrator (кладут на TTL) вообще косячат по чёрному "потому что могут".

    * Лидером в моём личном зачёте выступает (скрепный?) yandex dns. Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем пох.

     
     
  • 4.145, пох. (?), 17:19, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Кэшируются так или иначе результирующие SRVFAIL

    их нельзя кэшировать никаким разумным способом (servfail это _ответ_, рекурсивного сервера, а там у тебя просто нет ответа). Возможно гугл и может себе позволить специально обрабатывать такие проблемы, но у хетзнера наверняка обычный bind или knot. Поэтому он от такой нагрузки предсказуемо дохнет, тем более что весь интернет не поперекэшируешь, и даже двадцать процентов тоже. (с другой стороны, конечно, а зачем вам ресолвер если интернет умер)

    > Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем

    это не ошибка. Прочитай внимательно документацию и удивись.
    (Вкратце: ttl НЕ является временем кэширования, оно вычисляется по очень непростому алгоритму - с этим можно немного поиграть, меняя ttl в SOA, но если у тебя задача типового админа подвала "сделать фэйловер с минимальным ttl" - можешь сразу считать ее сфейленой, это не работает так как большинство думают.)

     
     
  • 5.150, PnD (??), 21:18, 24/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > их нельзя кэшировать никаким разумным способом (servfail это _ответ_, рекурсивного сервера,
    > а там у тебя просто нет ответа).

      Т.к. в потроха резолвера unbound я сам лазил, то могу сказать что как минимум там это не так.
    Таймаут ожидания ответа таки превращается в SRVFAIL и кэшируется (если не выкл). И это — реальный геморрой на "грязных" каналах.

    >> Там часть нод кэширует (положительный) ответ на *не определённое* время. Явно ошибка, но всем
    > это не ошибка. Прочитай внимательно документацию и удивись.
    > (Вкратце: ttl НЕ является временем кэширования, оно вычисляется по очень непростому алгоритму
    > - с этим можно немного поиграть, меняя ttl в SOA, но
    > если у тебя задача типового админа подвала "сделать фэйловер с минимальным
    > ttl" - можешь сразу считать ее сфейленой, это не работает так
    > как большинство думают.)

      Ты не понял. "Не определённое" — это такой эвфемизм для "навечно".
    Даже если я идиот и не проинкрементил серийник. (Идиот у нас электронный, но не суть. Резолверам на такие нюансы как номер зоны обычно вообще параллельно.) Все TTL в зоне — из суток. В т.ч. записи в SOA. Когда через пару недель yandex (и только он) продолжает в половине случаев отдавать старую версию, я такого алгоритма не знаю. У нас с ними нормальных контактов нет, так что возможно что их админы до сих пор сидят ровно. Переспрошу при случае граждан кто этим занимался.

     
     
  • 6.151, пох. (?), 14:58, 27/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Ты не понял. "Не определённое" — это такой эвфемизм для "навечно".

    не навечно, но для активно используемой зоны -надолго.

    Оно так работает. By design.

    > Резолверам на такие нюансы как номер зоны обычно вообще параллельно.

    рекурсивным - абсолютно, номер интересует только слейвов. А рекурсор интересует ttl, но он используется не так как большинство нечитавших спецификацию думают.

     
     
  • 7.152, PnD (??), 12:24, 29/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > рекурсивным - абсолютно, номер интересует только слейвов. А рекурсор интересует ttl, но
    > он используется не так как большинство нечитавших спецификацию думают.

      А это ничего что согласно основополагающему RFC-1035 SOA вообще не должны кэшироваться (в т.ч. всегда отдаются с TTL=0)?
    Я между строк читать не умею, а по тексту написано вот это:
    """
    Zero values are interpreted to mean that the RR can only be used for the transaction in progress, and should not be cached. For example, SOA records are always distributed with a zero TTL to prohibit caching.
    """

     

  • 1.59, Аноним (59), 18:48, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А использовать какой-нибудь blue-green deployment? Пустить 5% трафика с новыми настройками - если всё ходит нормально то подать соточку?

    "Ой, у нас инженеры криво поправили настройки - даунтайм пол-часа" - что это за детский сад вообще?

     
     
  • 2.66, antonimus (?), 20:19, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Пустить 5% трафика с новыми настройками

    Ты хоть понимаешь, как BGP работает?

     
     
  • 3.73, пох. (?), 20:39, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    судя по терминологии - это девляпс, он вообще ничего не понимает даже там, где работает.

     
  • 2.83, Онаним (?), 21:03, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Сети - они такие. Поправил какой-нибудь крупный Tier 1 или около того оператор (не будем тыкать пальцем) фильтры неудачно, половина ютуба или ещё чего легла по всему миру. Увы и ах.
     

  • 1.62, YetAnotherOnanym (ok), 19:12, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А вот если серьёзно, в свете таких инцидентов как-то совсем иначе воспринимается первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при любых нанесённых противником повреждениях.
     
     
  • 2.64, antonimus (?), 20:08, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >А вот если серьёзно, в свете таких инцидентов как-то совсем иначе воспринимается первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при любых нанесённых противником повреждениях.

    Это вопрос к автору "тезиса", а на опеннете секретарши?
    Это если "серьезно".
    Пиши в тп клаудфларе.

     
     
  • 3.68, YetAnotherOnanym (ok), 20:23, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Если так, то писать надо в DARPA, вообще-то.
     
     
  • 4.71, antonimus (?), 20:31, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Если так, то писать надо в DARPA, вообще-то.

    Ну так и пиши туда. Им все равно нас рать. ИХ сети будут отказоустойчивы. Или тебе лично обещали? :)

     
  • 2.74, Michael Shigorin (ok), 20:48, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Так извините, рассчитывали всё-таки на честные ядрёны бомбы, а не дятла изнутри в условиях правильности, потому что верности, курса партии и чёрных жизней.

    "Есть многое на свете, друг Горацио..." :(

     
     
  • 3.121, Аноним (121), 00:57, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Есть многое на свете, друг Горацио

    Михаил, а Вам нравится Греция? Ведь тоже православная страна. Что интересно, выросла из античности.

     
     
  • 4.122, Аноним (121), 01:10, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    А мне нравятся в таком порядке:
    Франция > Германия > Италия.
    Ну еще Нидерланды.
    Несмотря на попсовость, в Таиланде что-то есть. А, может, я говорю так, потому что видел много тайских фильмов + есть знакомый, который им увлекается (переводит фильмы на рутрекере, но через английский).

    Италия была античной (древний Рим), но хотя бы стала католической.

     
  • 4.123, Аноним (121), 01:55, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Из греческих фильмов я видел только Piso porta 2000 и французско-греческий Nicostratos le pélican 2011 (с Кустурицей). А Кустурица поддерживает нашего президента, потому что был противником распада Югославии, отделения Косово от Сербии...
     
  • 4.132, Michael Shigorin (ok), 15:21, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Михаил, а Вам нравится Греция?

    Не бывал там.  С греками и киприотами порой доводилось общаться.

     
  • 2.75, mos87 (ok), 20:49, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > первоначальный тезис о неубиваемости Интернета и его способности продолжать работу при
    > любых нанесённых противником повреждениях.

    ты слышал звон

     
  • 2.85, Онаним (?), 21:04, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Интернет от потери Cloudflare не лёг вообще ни разу.
    Тезис абсолютно верный, просто почему-то под "неубиваемостью" предполагается, что всё будет функционировать в изначальном объёме. А вот ни хрена, может и в виде разрозненных кусочков. Но будет.
     

  • 1.63, antonimus (?), 20:05, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    >в результате которого в течение 27 минут была нарушена работа многих сегментов сети, в том числе отвечающих за доставку трафика в Лондон, Чикаго, Лос-Анджелес, Вашингтон, Амстердам, Париж, Москву и Санкт-Петербург.

    Бидабидаогорчение.

     
     
  • 2.65, antonimus (?), 20:11, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Всем пострадавшим любителям складывать все яйца в одну корзину советую чупачупс, они научили весь мир сосать. Локально. В свой сосок.
     
     
  • 3.86, Онаним (?), 21:05, 18/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Невозможно не согласиться.
     

  • 1.80, antonimus (?), 20:59, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    По идее пострадали только те, кто соглашение SLA не читал/не подписывал. Там четко указано время доступности/недоступности/восстановления/etc  сервиса за период времени.
     
  • 1.90, Аноним (90), 23:07, 18/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    A я то идиот рубаху на себе рвал материл провайдера перезапускал 10 раз роутер cпешно все обновлял но не в жись не смел подумать что на самом деле это там в матрице что то погнулось.
     
     
  • 2.101, Х (?), 01:30, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +3 +/
    В другой раз будешь умнее!
     
  • 2.136, Аноним (136), 18:11, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Это все вместо того, чтобы запустить traceroute?

    Вы не в cloudflare работаете?

     

  • 1.114, Baltic (ok), 15:55, 19/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    ну вот мы и добрались до проблем QA, нафиг нам такая - "сами себе тестеры". Прежде чем пишем код, пишем тест! Что-то меняем - пишем тест ... и только потом пишем скрипт, прогоняя всё через данный тест. Как-то так.
     
     
  • 2.125, 1 (??), 09:29, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    угу ... И от этих тестов всё оборудование вокруг будет лежать годами.

    Там же не мгновенная реакция "Segmentation fault". Там часов через 6 "что-то пошло не так"

     
  • 2.126, Аноним (126), 09:40, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну а поскольку руководство на написание тестов время не выделило, то пишем мы их дома в нерабочее время.
     

  • 1.127, Совершенно другой аноним (?), 09:59, 20/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Интересно, а почему никто не кричит про американских товарищей майоров, как в https://www.opennet.ru/opennews/art.shtml?num=52680 ?
     
     
  • 2.133, Michael Shigorin (ok), 15:23, 20/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Интересно, а почему никто не кричит
    > про американских товарищей майоров, как в
    > https://www.opennet.ru/opennews/art.shtml?num=52680 ?

    http://i.imgur.com/j2Xalnq.jpg !

     
  • 2.147, Аноним (147), 19:41, 22/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Вспоминается сразу: https://images11.esquire.ru/upload/custom/0a0/0a097b36b26a9120c95b6cce79c603df
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру