第239章 突破性进展（2 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
他走到陈博士的办公室，手里拿着打印好的评测报告。陈博士从头到尾翻了一遍，在研报摘要：42%那行停了一下。
这个数字是真实的？
真实的。评测集由张雨独立构建，没有在训练数据中泄露。
陈博士把报告放在桌上，双手交叉。商业化方案你想好了吗？
金融部门已经等了很久了。他们现在的金融问答系统是基于旧的BERT模型，效果早就碰到了天花板。如果切换到FGPT，金融问答的准确率会提升超过三分之一。我的建议是先对接金融部门的智能客服系统，做三个月试点，拿到真实效果数据后再考虑外部商业化。
时间线呢？
四月份完成金融部门的系统对接，五月份上线试点，六月份开始评估效果。
陈博士点了点头。你回去写方案。写完发我。
回到工位的路上，林晨穿过走廊的时候看了一眼窗外。鹏城三月，春天刚开始。路边的榕树抽了新芽，嫩绿色的，在灰色的写字楼群之间显得格外鲜活。
白板上那个34%的数字还在会议室里。他没擦掉。
留给团队看的。
34%的结果在公司内部传得很快。
先是金融部的李总发了一封邮件，抄送了陈博士和CTO。邮件标题就两个字：牛逼。正文也只比标题多几个字：FGPTv2在金融问答上的准确率测试结果出来了，效果远超预期，建议尽快推进商业化对接。李总是做金融出身的，平时说话保守，邮件里用两个字已经是他表达能力的极限。
然后是AI应用中心以前的同事。李婷发了一条微信：看到群里发的FGPT评测报告了。你们大模型部门才成立三个月，就把我们应用中心两年的成果超了。后面跟了一个哭笑不得的表情。林晨回了一句：不是超了，是站在你们的肩膀上了——之前应用中心积累的金融语料和评测经验，FGPT用了不少。
赵工也发了消息。这位在应用中心时就常跟林晨唱反调的老工程师，消息只有一行字：你当初说不能观望的时候，我心里觉得你太激进了。现在看评测报告，你是对的。佩服。
林晨看着这条消息，心里有一种说不上来的感觉。赵工不是一个轻易说你对了的人。在应用中心那两年的各种会议上，两个人对技术路线的辩论不下几十次。现在他主动说，这份认可比任何数字都重。
他回了一句：赵工，不是我对了，是我们方向对了。应用中心打下的基础，FGPT踩了不少。接下来如果有合作的机会，随时找我。
赵工回了一个握手的表情。
商业化推进的第一次正式会议在陈博士办公室。金融部的李总带了两个业务负责人，AI部门的陈博士和林晨。六个人围着一张圆桌。
李总开门见山：FGPT能不能先接入智能客服系统？我们现在用的模型是两年前部署的BERT-based系统，金融问答准确率长期徘徊在六成出头。客户投诉量每月都在涨。
技术上没有问题。林晨说，FGPT的API已经在内部测试环境跑通了。接入智能客服只需要两周——一周做接口对接，一周做压力测试和效果评估。
成本呢？
当前的成本主要在推理端。13B模型单次推理大约需要两秒钟，在A100上一秒钟的处理成本按云服务价格算大概是零点几分。如果日均处理一万次问答，月推理成本大约在两万到三万之间。如果推理量更大，可以考虑量化优化来降低成本。
比现在你们BERT系统的运维成本高了大约三成？李总问。
对。但准确率提升了三十几个点——客户满意度会跟着上去。林晨打开笔记本上的一页数据，根据FGPTv2的评测，智能客服场景下回答的正确率从六成三提到了八成五以上。如果客户因为不准确的回答而投诉——每通投诉的处理成本平均是几十到上百块钱——减少的投诉量本身就能抵消增加的推理成本。
李总看了一眼数据，然后对他的业务负责人说：下周拿一条业务线做试点。
散会后，陈博士在走廊里问林晨：你刚才的推理成本数据是什么时候算的？
昨晚。林晨说，算到凌晨两点。
下次算到凌晨两点的时候，顺便把量化和推理加速的方案也写了。如果客户量上来了，两秒的推理延迟和几毛的成本都会变成瓶颈。
已经在写了。下周出方案。
陈博士点了点头，然后拍了一下他的肩膀。什么都没说。
但这个动作，林晨懂。
↑返回顶部↑