第238章 大模型项目（2 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
他把数据组长叫到会议室。
十五个点的错误率太高了。这些数据喂给模型，效果会大打折扣。
数据组长是一个从金融部门转来的分析师，叫刘明，做数据工作做了五年。他接过抽样报告看了两分钟，表情从意外变成了认同。
标注标准不够细。他说，比如风险等级——轻度、中度、重度——三个等级的边界没有用具体的案例去定义。标注员凭感觉判断，当然不一致。
那就用案例定义边界。找金融部的分析师，拿二十个典型案例，让标注员在标注前先通过测试——判对十八个以上的才能上岗。不合格的不能标。
这样成本会增加，时间也会拉长。
成本增加比模型效果差要好。林晨说，用高质量数据微调的效果，远超用大量低质量数据微调的效果。这个道理在投资里叫信号比噪声更重要——同样的本金，抓住正确信号比处理更多信息更有效。大模型也是一样：五万条精选数据，比五十万条杂音数据好一百倍。
刘明想了几秒，然后站起来：我重新设计标注标准。一周内给你新方案。
第二个周末，第二版标注标准出来了。每条数据类型都有详细的案例定义，边缘情况列了三十多条。标注员上岗前必须通过测试。林晨看了之后在方案上批了两个字：通过。
第二个月末，第一个微调版本的结果出来了。
13B模型在金融评测集上的总分超过通用模型22%。
陈铭看着评测报告，表情从紧张变成了轻松了八成。22个点，比7B的12个点高了不少。但没达到30%。
足够了。林晨说，第一版22%超出我的预期。证明了方向是对的——高质量数据确实能带来质的提升。接下来的8个点，靠优化数据质量、调整LoRA的rank参数、增加难样本的权重来补。
他在笔记本上写下了FGPTv1的总结：
FGPTv1：金融场景超通用模型22%。未达30%目标，但方向正确。数据分析显示微调数据中研报摘要风险提示两个子任务提升空间最大——这两块的数据噪声还比较高，需要进一步清洗。下一步：数据二次清洗完成后启动v2训练。
写完，他没有关灯。
打开IDE，开始写v2的数据清洗脚本。
v2训练期间有一个细节林晨记得很清楚。
那是训练的第三天晚上，陈铭在监控训练loss的时候发现了一个异常——验证集上的困惑度在某一个batch之后突然跳升了十几个点，然后又在下一个batch降了回来。这种脉冲式的波动在训练初期偶尔会出现，但这一波特别明显。
陈铭发消息问林晨要不要暂停训练检查一下数据。
林晨当时在书房里做投资复盘，看到消息后让陈铭把那个batch的数据样本发了几条过来。他看了一遍——那几条数据是一个研报里提取的长句被截断了，截断的位置正好卡在一个金融术语的中间，导致那半句话在语义上完全不通。模型读不懂这种碎片化的输入，困惑度自然就跳了。
不用停，这波是数据噪声不是训练问题。继续跑。等这轮训练结束后把那几条截断数据标出来，v2的数据清洗脚本里加一个长句完整的检查规则。
陈铭回。
然后林晨加了一句：你看到困惑度异常的第一反应是怀疑数据而不是怀疑模型，这个判断是对的。大模型的问题80%以上出在数据上。
这件事后来被陈铭在团队内部分享时提过——林总当时一眼就看出是数据截断的问题。林晨听到后说：不是一眼看出来的，是我之前在自己的投资系统里踩过一模一样的坑。数据噪声导致的信号偏差，在投资里叫过拟合，在大模型里叫困惑度脉冲——本质是同一件事。
他把这句话写在了自己的笔记本上。然后在旁边加了一条标注：把投资系统的方法论迁移到大模型——这是我最核心的竞争力，不是某一个具体的算法。
↑返回顶部↑