Рассказ про аварию в ЦОДе RU VDS

habr.com — "Коротко: 17 июня около часа ночи мы потеряли два ввода питания от города из-за аварии на подстанции, затем — один из дизелей, что вызвало «мигание» питания в подземном дата-центре. Итог инцидента — простой около 12 часов примерно 7–10 % машин одного из 14 наших ЦОДов." "...оказывается, что тяжело менять коммутатор, когда ты держишь руками патрубок дизеля."
Новости, Компьютеры | buba 09:06 21.06.2023
1 комментарий | 63 за, 0 против |
#1 | 15:06 21.06.2023 | Кому: Всем
Вот все время рассказывают, что мол сервер полетел, связи нет, так долго восстанавливали, что медаль всем нужно дать.
Моя история. Ночь. -28 по цельсию, на подстанции отрубается электричество, циркуляционные насосы встают циркуляция теплоносителя накрывается, срабатывает автоматика на котлах отключая газ, но обмуровке котла похуй она нагрета до 2000 по цельсию и она продолжает греть воду. Операторы котельной "жопа в мыле" бегают открывают воздушники, гляделки, и все что положено открывать. Начинаются гидроудары (советую приобщиться, маленькие гидроудары это когда у тебя коллектор на 400 мм болтает 500мм туда 500 сюда). Несмотря на усилия операторов (а надо не обосраться, когда у тебя котлы натурально прыгают и сделать свою работу) очередным гидроударом разхуячивает в клочья задвижку (350мм) в колодце на выходе из котельной. Разхуячивает это не для красного словца, мы от нее нашли 16 кусков не считая тех, что прикручены к фланцам, а шток задвижки улетел в неизвестном направлении, предварительно оставив в многопустотке, которой был перекрыт колодец, дыру диаметром примерно 150-200 мм.
Всех поднимают по авралу, нужно срочно менять задвижку (так то уже срочности нет, ибо котлы все-равно не пустишь пока температура не упадет), но всем похуй ибо туда налетело всяких МЧС, ГО, Ментов и прочей хуеты столько, что когда я туда пришел то блять сияние звезд на погонах затмило сияние звезд на нашей "небесной тверди". И им вообще допизды, они нихуя не понимают, но отчитаться, что задвижка заменена нужно, возможно и медаль "За взятия колодца" упадет. А уж замена задвижки на 350 мм когда ее разорвало и трасса провернулась по оси и сдвинулась это вообще пиздец. Вот кому нужно медали давать, но дали в итоге пизды, типо хуле вы!

P.S. Все это время несколько десятков тысяч человек сидели без тепла и горячей воды.
Войдите или зарегистрируйтесь чтобы писать комментарии.