阅读历史 |

第42章 七天故障表(1 / 2)

加入书签

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

星辰搜索正式上线后的第八天,苏雨桐把七张纸铺满了会议桌。

每张纸代表一天。

纸的左侧按小时画格,右侧记录查询失败、主动拒绝、降级时段、索引版本和用户邮件。红笔表示用户没有得到可用结果,蓝笔表示系统明确告诉用户发生了什么,铅笔则表示原因尚未查清。

七张纸上,红色比任何人预想的都多。

会议桌不够长,最后一张纸有一半悬在外面。林岚用机房钥匙信封压住纸角,周成把早餐豆浆放在地上,生怕一抬手又给故障表添一片水印。连续值夜班的人都眼下发青,陈维明是屋里唯一系着领带的。

“服务器这周没有宕机。”负责托管联系的兼职学生先说。

苏雨桐指着第二天凌晨那条横跨九十七分钟的红线:“可用户失败了。”

“那晚已经修过了。”

“这是第三天上午,索引切换后有十二分钟返回旧摘要;第四天下午,长题名查询平均超过八秒;第五天夜里,抓取端传来一份校验不完整的增量文件,发布程序虽然拒绝了它,却把上一版索引锁了二十一分钟。第六天没有大故障,但有四十八次请求排队到超时。”

学生看着自己的值班记录:“加起来也没多久。”

“所以才要算。”

苏雨桐在黑板上写下两个分数。第一个分母是七天的总分钟数,分子是查询程序仍在运行的分钟数,结果几乎接近百分之百。第二个分母是所有进入系统的有效请求,分子是六秒内返回完整结果的请求,只得到百分之九十二点七。

同一套服务,因为选择不同的分母,看起来可以完美,也可以明显不合格。

五金店老板从门外听见“分母”,探头问这周到底有没有坏。苏雨桐把两张图递给他。他看不懂百分比,只听懂一百个人进门,有七八个没拿到东西。

“那就是坏过。”他说,“你们写机器没停,跟我铺子开着门却不卖货有什么两样?”

陈维明看了他一眼,没有再拿接近百分之百的进程在线率说服众人。

陈维明坐在桌子另一端。他刚带来两份潜在客户名单,本想讨论报价,没料到先听了一堂失败统计课。

“客户不会问这么细。”他说,“他们只想知道你们是不是一直在线。”

“那我们更要先知道他们问的‘在线’是什么意思。”苏雨桐说,“如果客户买的是广告资料展示,他关心页面能不能出现;如果图书馆把入口放进检索室,学生关心每次查询能不能返回;如果我们以后承诺服务时段,就必须能解释哪些失败算我们的责任。”

陈维明敲了敲客户名单:“指标越多,合同越难签。”

“没有指标,争议只会更难解决。”

马飞一直没有插话。他把七天日志按时间重新排列,发现红线并非随机分布。每天上午九点到十点半、下午两点到四点、晚上九点以后最密集。这三个时段分别对应高校机房开放、单位资料室使用和个人拨号上网。

更值得注意的是,磁盘队列最长的时段并不总与查询最多重合。

“把抓取端的传输记录拿来。”他说。

自从第二台服务器到货,旧486负责抓取、清洗和索引构建,新服务器负责在线查询,这套分工一直没有改变。机器分开了,工作却仍通过一根网络和同一块查询磁盘重新相遇。增量索引每天完成时间不固定,什么时候构建完,什么时候就开始传。传完以后,发布脚本先校验,再把新旧索引目录改名切换。

第五天下午两点十七分,查询量只排全周第五,失败率却最高。那时正有一份增量索引校验。

“慢查询不是唯一原因。”马飞说,“我们把构建从查询机上搬走了,却没有把发布变成一项可安排的工作。它仍在任何时候闯进来。”

苏雨桐在第五张纸上补了一条铅笔线:“还有锁。切换目录时,新查询要等旧进程放开文件。”

“能不能晚上三点统一发布?”学生问。

“可以先试,但不能把三点当成永远的低峰。”马飞说,“我们现在用户少,夜里也少。以后不一定。”

他们定下第一版发布窗口:每天凌晨三点,只允许一份通过完整校验的索引进入候选目录;先用备用端口跑固定查询,再切换指向;如果一分钟内错误率上升,立即退回上一版。发布前后十五分钟不得执行日志压缩和备份复制。

这套规则听上去不复杂,真正写进值班手册却用了三个小时。

“一分钟内退回,谁决定?”

“值班人。”

“值班人看哪个数字?”

“六秒失败率和结果一致性。”

“如果失败率升了,但只有一个用户呢?”

“少于二十个样本时,跑固定测试集补足。”

“退回失败怎么办?”

“保留上一版只读副本,不在切换完成前删除。”

每一个理所当然的动词,后面都藏着一个需要被指定的人、条件和退路。

午后,马飞拿着七天故障表去机房核对。他没有只看星辰自己的日志,而是请管理员提供同一时段的出口流量和断线记录。管理员起初不愿意,说别家客户的数据不能给。马飞只要星辰端口的汇总,并答应把使用目的写进申请。

结果又多出一类失败:第四天晚上九点四十一分,机房出口抖动了三分钟。星辰服务器完整生成了结果,却没有全部送到用户端。自己的日志把这些请求记成成功,用户邮件却说页面只显示一半。

“这算谁的?”管理员问。

↑返回顶部↑

书页/目录

都市重生相关阅读: 暗局:官场升迁路 快穿之宿主她又倒霉了 闪婚后被校花学姐宠上天 哥哥,抱抱,我腰疼 万剑葬心 开局四选一,我秒选病娇姑奶奶 神级机甲,从觉醒废物到位面之主 绝症留洋归乡?举国哭求我别死! 穿越者事务管理局 侠客江湖行传 名学密神:我成了团宠万人迷 什么叫穹正在肘击怪兽?! 末日加冕,从变成丧尸开始 修仙,从埋葬前辈遗骨开始 寒门捡回小鼻嘎,种田发家满堂红 谋位 精灵女王审讯录 误亲女频男主,他上瘾夜夜喊宝贝 半岛:企鹅的专属大厨 HP伊莱斯荣耀 溺宠七岁:宋先生的小软包落网了 杂役问鼎仙帝 跨界种田养天仙,她带我闯娱乐圈 校花表白,我反手把她炼成尸傀 风起珠三角:话事人 七零年代:团宠小福宝骑猪满村跑 我,生化暴君,碾压一切 漕橹记 高武:杀戮证道,我以异兽铺帝路 穿成泼辣悟道仙子,开局嫁乞丐 盗墓:盘古董就变强,胖子麻了 穿越七零:秒杀系统带我飞 重生之:宁教我负天下人 多子多福:从港娱到世界之王 草系宝可梦大师的牧场物语 囚心锁颜:龙阙之下 七零界碑精,随军嫁连长 超级村庄系统:村里百人每天一万 燕泰:青梅错 家族修仙从周氏开始 大明星李小小 崩铁:智识的那些事 影综:从苦力强开始 大爹要拾女儿与上门女婿多生娃 辍学打工,你给我AK干嘛? 诡怪法则 变身剑豪少女,高武末世快乐叠钢 西游记易读版 公路求生:只有我能无限合成进化 仙帝归来:我在人间无敌的那些年 原罪世纪 刚离婚,我就中了三个亿 我都成道祖了,你们游戏才开服? 皖省灵异事件 全球丧尸化,我绑定了安全屋 商业帝国:从卖酒开始 土炕上的余温 开局两个姐姐,这福气给你要不要 莲花楼之神龙渡莲 我的古玉能通灵