阅读历史 |

第22章 不能抓的页面(1 / 2)

加入书签

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

XC-0017不是用户发来的。

它来自一位愤怒的站点管理员。

上午九点,楼上五金店的传真机刚换完纸,机器便连续响了三声。老板以为是进货单,看到“造成拨号网关拥塞”几个字,直接拿着传真冲下楼。马飞正在给三个客户演示资料库,他只说了句抱歉,关掉投影,把抓取电话线先拔下来。

客户问演示怎么办。

“本地功能继续,联网部分延期。今天占用的时间不计费。”

陈维明公司的技术员也在其中。他没有离开,反而把自己带来的插线板借给周成保存日志。

传真纸从机器里吐出来时,字迹有些发虚,语气却非常清楚:

“你方程序于凌晨一点至三点反复访问本校材料数据库,造成拨号网关拥塞。请立即停止。”

马飞看完,把正在运行的抓取任务全部暂停。

半地下室里那台新添的测试机刚完成一轮队列扩展。为了增加高校公开资料覆盖,程序把三所学校的镜像目录拆成数百个地址,再按失败次数自动重试。

旧调度器有单站点间隔。

新队列也有。

问题出在断线恢复。

每次拨号重连,程序会从磁盘载入未完成队列,却没有恢复各站点的上次访问时间。对它而言,所有地址都像第一次出现。某个站点响应缓慢,任务失败后又被放回队尾;重连一次,限频时钟便清零一次。

“一晚上四百一十三次。”苏雨桐把日志推到马飞面前。

正常预算是五十次。那四百一十三次里,最长间隔只有十二秒,最短不到一秒。周成把自己测试过的断点文件拿出来,页面内容确实没有重复下载;站点访问时钟却只存在内存里,一断线就归零。

兼职程序员周成脸色发白:“我测过断点续传。”

“你测的是文件。”马飞说,“没测对别人机器的影响。”

“那套数据库本来就是公开的。”

“公开不等于可以把门挤坏。”

周成低头不说话。他是兼职程序员,按完成的功能拿补贴,这次队列扩展原本能让有效页面数在月底前多两成。覆盖数字写在他的阶段目标里。

“这次不扣你的补贴。”马飞把目标表撕下来,“指标是我定的,只写了增加覆盖,没写重连后仍遵守频率。故障分析你主笔,修复要过苏雨桐的破坏性测试。”

周成抬头:“如果两天修不好?”

“抓取继续停。客户库先用现有资料交付。”

马飞先回传真。

他没有解释星辰的技术困难,只承认访问来自他们的程序,说明任务已经暂停,并留下电话和完整日志时间段,请对方确认网关恢复情况。

二十分钟后,电话打了过来。

管理员姓高,说数据库没有损坏,但夜间线路本就只有两条,星辰的重试占满了其中一条。

“我们公开资料,是给人查的,不是给机器搬家的。”高老师说。

电话背景里有人不断问网关能不能用。高老师每回答一句,语气就更硬一点。马飞拿笔记下对方两条拨号线、夜间值班和受影响时段,没有插话辩解自己的并发量其实只有一个。

马飞停了一下:“您愿意规定机器怎么访问吗?”

“什么意思?”

“比如每天最多多少次,什么时段,哪些目录不能抓。我们把规则写进程序。”

电话那头沉默片刻。

“先把你们是谁写清楚。别再装成普通浏览器。”

↑返回顶部↑

书页/目录

都市重生相关阅读: 暗局:官场升迁路 快穿之宿主她又倒霉了 闪婚后被校花学姐宠上天 哥哥,抱抱,我腰疼 万剑葬心 开局四选一,我秒选病娇姑奶奶 神级机甲,从觉醒废物到位面之主 绝症留洋归乡?举国哭求我别死! 穿越者事务管理局 侠客江湖行传 名学密神:我成了团宠万人迷 什么叫穹正在肘击怪兽?! 末日加冕,从变成丧尸开始 修仙,从埋葬前辈遗骨开始 寒门捡回小鼻嘎,种田发家满堂红 谋位 精灵女王审讯录 误亲女频男主,他上瘾夜夜喊宝贝 半岛:企鹅的专属大厨 HP伊莱斯荣耀 溺宠七岁:宋先生的小软包落网了 杂役问鼎仙帝 跨界种田养天仙,她带我闯娱乐圈 校花表白,我反手把她炼成尸傀 风起珠三角:话事人 七零年代:团宠小福宝骑猪满村跑 我,生化暴君,碾压一切 漕橹记 高武:杀戮证道,我以异兽铺帝路 穿成泼辣悟道仙子,开局嫁乞丐 盗墓:盘古董就变强,胖子麻了 穿越七零:秒杀系统带我飞 重生之:宁教我负天下人 多子多福:从港娱到世界之王 草系宝可梦大师的牧场物语 囚心锁颜:龙阙之下 七零界碑精,随军嫁连长 超级村庄系统:村里百人每天一万 燕泰:青梅错 家族修仙从周氏开始 大明星李小小 崩铁:智识的那些事 影综:从苦力强开始 大爹要拾女儿与上门女婿多生娃 辍学打工,你给我AK干嘛? 诡怪法则 变身剑豪少女,高武末世快乐叠钢 西游记易读版 公路求生:只有我能无限合成进化 仙帝归来:我在人间无敌的那些年 原罪世纪 刚离婚,我就中了三个亿 我都成道祖了,你们游戏才开服? 皖省灵异事件 全球丧尸化,我绑定了安全屋 商业帝国:从卖酒开始 土炕上的余温 开局两个姐姐,这福气给你要不要 莲花楼之神龙渡莲 我的古玉能通灵