上图为状态页每日 09:00 自动生成的运行摘要,覆盖播放、登录、支付、弹幕四条链路。
很多产品把运维写成一句「7×24 小时守护」,但你真正需要知道的是:多久查一次、谁来接手、什么时候动刀、以及动刀的时候屏幕上会出现什么。以下四件事是我们近一年固定执行的流程,不随版本迭代改动。
服务器不是等用户报障才开始查。全链路拨测每 15 分钟跑一轮,覆盖 32 个城市节点、播放、登录、支付、弹幕四条链路共 118 个探测点。任何一条连续 2 轮失败,系统自动生成工单并叫醒值班工程师,凌晨两点也一样,这个节奏不随节假日调整。
P1 是全站不可用或支付中断,10 分钟内响应、2 小时内给出结论;P2 指单省播放失败率超过 5%,30 分钟响应、6 小时内修复;P3 是局部卡顿或个别剧集打不开,2 小时响应、24 小时内处理;P4 属于界面与文案问题,次日排期,不占用夜间值班人力。
计划内维护固定在每周二 03:00 到 04:30。这个时段是按近一年在线曲线挑出来的最低谷,同时在线的用户数大约只有晚上九点高峰的 6%。月度大版本放在每月第一个周二,窗口延长到 2 小时。除安全补丁外,我们不在周五和节假日做变更,避免问题拖过整个周末。
维护开始前 48 小时,App 首页会挂出黄色横幅,写明起止时间和受影响的功能。维护期间打开 App,看到的是一个带倒计时的说明页,而不是白屏或者一直转圈。所有历史故障记录都保留在状态页,包括已经修好的,我们不删记录、也不回填修改时间。
下面四个数取自内部运维台账,页面每月 1 日更新一次。我们不美化口径:可用率是按分钟计权重的真实值,包含所有计划内维护时长,而不是把维护时间剔除之后再算。
下面三条评价来自客服回访记录,我们只做了删减,没有改词。你会发现他们夸的不是界面,也不是片源,而是"知道在修"这件事——同时他们也指出了我们做得不够的地方。
去年 11 月那次晚间全站故障,我正看到一半。App 里直接弹出一个带原因和倒计时的页面,写着「播放服务异常,预计 40 分钟恢复」。实际 31 分钟就回来了,比预计还早一点。不太满意的是补偿只发了一天会员,而且得自己进活动页领,没自动到账。
我碰上过两次 P2,都是某个省节点的问题。第一次在客服里报障,7 分钟后收到回复,说已经定位到华东节点并在切流。第二次我干脆没报,看状态页已经标黄了。缺点是状态页只有网页版,App 里要跳浏览器打开,手机上一来一回挺麻烦。
我基本看凌晨场,撞上维护窗口的概率不低。每周二那个 90 分钟窗口大体准时开始,偶尔提前十分钟结束。有一次拖到 04:47,公告也同步改了时间,这点我认可。但维护提醒只有站内信,没短信也没推送,睡前一忙就容易错过。
这五个问题来自客服近三个月被问得最多的记录。我们不挑好答的写,其中两条的答案本身就是我们的短板。