阅读历史 |

第22章 不能抓的页面(2 / 2)

加入书签

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

这句话击中了另一个问题。

为了兼容几个老站点,周成让抓取程序使用了常见浏览器标识。这样成功率更高,却让管理员无法从日志中判断访问者是谁。

马飞在木板上新增了XC-0017,又单独开了一张整改表。

第一项:程序使用明确名称,附联系邮箱。

第二项:限频状态写入磁盘,断线重启后不得清零。

第三项:每个站点设置每日访问预算。

第四项:站点提出退出后,二十四小时内停止并从后续队列排除。

第五项:保留来源和最后抓取时间,不用复制内容冒充星辰自有资料。

周成看着表:“这样会少很多页面。”

“对。”

“覆盖率会很难看。”

“那就让它难看。”

苏雨桐又把月度覆盖目标改成两行:新增有效页面数,以及因限频、退出和预算主动放弃的页面数。两行必须一起报,不能只把前一行贴在墙上。

午饭没人有胃口。楼上老板还是送下来一锅西红柿鸡蛋面,锅底有些糊。周成端着碗蹲在测试机旁,忽然问:“如果管理员永远不让抓呢?”

“就不抓。”马飞说。

“那竞争对手抓了,结果比我们多。”

“用户会看见他多,也会看见我们少。这个代价由公司承担,不由对方线路承担。”

苏雨桐把第五项

纠错不静默篡改。

如果站点内容后来改变,星辰可以更新索引,但必须知道旧记录从哪里来、何时失效。增长不能成为抹掉历史的理由。

他们用了两天重写调度器。

苏雨桐故意在测试过程中拔线十九次,又把系统时钟往前拨、往后拨,模拟重启和跨日。周成的第一版在日期回退时重新获得预算,被她当场打回。第二版把最后访问时间和预算流水同时写盘,任何时钟异常都先暂停,等待人工确认。

第三版测试结束时,四百一十三次访问被稳定压到四十八次。覆盖统计少了七百多个候选地址,问题木板上却没有再多出一封投诉。

第三天晚上,程序重新连接材料数据库。新的访问标识出现在对方日志里,每次请求间隔三十秒,失败两次后自动暂停,等待下一日预算。

覆盖速度降到原来的四分之一。

电话费没有下降,因为连接时间更长。

这是一笔真实成本。

高老师收到测试日志后,只回了一句:

“这样可以继续。”

他随后发来一张目录边界表:论文摘要、实验室介绍可访问,学生临时页和内部检索结果禁止;每天凌晨一点到三点最多六十次。表格末尾还有网络中心值班电话。

周成把它逐项录入站点配置,第一次运行前主动打电话请对方看日志。三十分钟后,高老师在电话里报出抓取程序的名称和联系邮箱,两个都能读出来。

马飞把传真和整改表装订在一起。

传真原件已经被热敏纸的温度烤得微卷,字迹以后还会变淡。苏雨桐让他复印一份,原件密封保存,退出目录则单独抄进只读配置。

当天夜里一点,抓取程序按新预算启动。半地下室很安静,屏幕每隔三十秒才滚动一行。周成守到第二十次请求,确认断线重拨后计数从二十一继续,没有回到零。

他在值班表上签字,关掉那条被禁止的学生目录,起身去洗已经凝了油的面碗。

↑返回顶部↑

书页/目录

都市重生相关阅读: 暗局:官场升迁路 快穿之宿主她又倒霉了 闪婚后被校花学姐宠上天 哥哥,抱抱,我腰疼 万剑葬心 开局四选一,我秒选病娇姑奶奶 神级机甲,从觉醒废物到位面之主 绝症留洋归乡?举国哭求我别死! 穿越者事务管理局 侠客江湖行传 名学密神:我成了团宠万人迷 什么叫穹正在肘击怪兽?! 末日加冕,从变成丧尸开始 修仙,从埋葬前辈遗骨开始 寒门捡回小鼻嘎,种田发家满堂红 谋位 精灵女王审讯录 误亲女频男主,他上瘾夜夜喊宝贝 半岛:企鹅的专属大厨 HP伊莱斯荣耀 溺宠七岁:宋先生的小软包落网了 杂役问鼎仙帝 跨界种田养天仙,她带我闯娱乐圈 校花表白,我反手把她炼成尸傀 风起珠三角:话事人 七零年代:团宠小福宝骑猪满村跑 我,生化暴君,碾压一切 漕橹记 高武:杀戮证道,我以异兽铺帝路 穿成泼辣悟道仙子,开局嫁乞丐 盗墓:盘古董就变强,胖子麻了 穿越七零:秒杀系统带我飞 重生之:宁教我负天下人 多子多福:从港娱到世界之王 草系宝可梦大师的牧场物语 囚心锁颜:龙阙之下 七零界碑精,随军嫁连长 超级村庄系统:村里百人每天一万 燕泰:青梅错 家族修仙从周氏开始 大明星李小小 崩铁:智识的那些事 影综:从苦力强开始 大爹要拾女儿与上门女婿多生娃 辍学打工,你给我AK干嘛? 诡怪法则 变身剑豪少女,高武末世快乐叠钢 西游记易读版 公路求生:只有我能无限合成进化 仙帝归来:我在人间无敌的那些年 原罪世纪 刚离婚,我就中了三个亿 我都成道祖了,你们游戏才开服? 皖省灵异事件 全球丧尸化,我绑定了安全屋 商业帝国:从卖酒开始 土炕上的余温 开局两个姐姐,这福气给你要不要 莲花楼之神龙渡莲 我的古玉能通灵