第1章 番外-两极互换1
第1章 番外-两极互换1 (第3/3页)
为“西安”的请求,还在零星跳动。
陈可皱起眉,“啥情况,看着不像机房故障啊。”
赵宝明把咖啡放到一边。
如果只是字节某个边缘节点发生故障,流量应该按照调度策略迁移到邻近节点。DNS调度、AnyCaSt路由以及运营商侧的流量工程都会让业务出现时延升高、回源比例上升或者局部丢包,却很难让一个千万级别人口城市的终端请求同时消失。
更何况消失的不只有视频业务。
后台统一可观测平台已经开始连续报警。
陕西西安区域活跃设备数异常。
西安区域边缘缓存节点可用性异。
一条接一条。
几十秒后,报警被自动聚合,严重等级开始上调。
坐在另一排的网络工程师宋文泽突然叫了一声。
“赵哥,过来看这个。”
赵宝明走过去。
宋文泽屏幕上打开的是网络侧数据。
移动、电信、联通。西安区域全部出现异常。
宋文泽把BGP监控页面调出来。
“陕西相关公网前缀大部分还在路由表里,没有发生大面积撤销。上游AS也正常。也就是说,从互联网的路由控制平面看,这些地址很多仍然‘存在’。”
陈可站在两人后面,接了一句,“可没人用了。”
办公室安静了下来。
19时26分11秒,周启明拿起内部电话。
“值班经理呢?”
“会议室。”
“叫顾航过来。”
不到一分钟,基础设施值班经理顾航推开门。
“什么情况?”
周启明没解释,直接把城市级曲线投到主屏。
顾航站在屏幕前看了几秒,“陕西其他城市?
“正常”
“基站级数据有吗?”
“我们拿不到运营商完整基站数据,只能用自有业务探针、网络质量采样和用户请求反推。”
陈可把空间热力图又放大一级。
这一回,几个人都没说话。
通常,一场区域性断网的边界不会如此规整。
光缆中断会沿线路出现。
停电会受到供电分区影响。
地震、洪水、火灾造成的通信中断更不会严格遵循一条人类绘制的行政边界。
可眼前这片黑区,却像有人用一把刀沿着西安市的轮廓切了一圈。
顾航终于开口,“把行政区划图叠上去。”
宋文泽调出底图。
半透明的西安市行政边界覆盖在实时网络热力图上。
重合度高得近乎荒谬。
西安像被从中国互联网的实时世界中挖掉了。
19时28分04秒,内部事件等级被顾航手动提高。
“通知网络基础设施、SRE、信息安全和应急响应负责人。”
“再联系西安办公室。”
宋文泽拿起电话。
通讯录里有字节跳动西安分部的的行政值班电话。
拨号。
等待。
没有接通。
换一个号码。
仍然没有接通。
“人也联系不上。”
顾航神色终于变了。
这件事已经超出了字节能够处理的范围。
19时30分23秒。
城市仍然灯火通明。
北三环依旧堵得水泄不通。
无数手机仍在刷着视频,无数服务器仍在处理请求。
大部分人还不知道,远在近千公里外的一座城市,已经彻底变了天。