第233章 新团队(2 / 2)
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
他看着那行日期——十二月底——然后拿起板擦,把日期擦掉了。
不是取消,是确认了。
从零开始,但这次他不是一个人。身后有二十个人,有公司的资源,有陈博士在背后撑着。三年前他在家里一个人学AI,三年后他带着一个二十人的团队做行业最前沿的事。
走出会议室的时候,路过走廊里新装的部门铭牌——大模型应用部。牌子很新,不锈钢表面还贴着保护膜。
林晨伸手撕掉了保护膜。
新团队,开始了。
第一个周五的技术分享,陈铭讲了LoRA微调的全流程。
他准备了四十页PPT,从LoRA的数学原理讲到代码实现,再到他在7B模型上踩过的坑。讲到一半的时候,林晨注意到张雨一直在写笔记——不是打字,是用笔在本子上写,一行一行的公式和批注。
分享结束后,张雨举手问了一个问题:你在7B上用LoRA的时候,rank设置是多少?
16。
13B上呢?
还在调。初步试了32,效果提升不明显,可能是数据的问题。
张雨在笔记本上又写了几行,然后说:rank的影响在13B上应该比7B更大,因为参数空间更复杂。建议你试试把rank调到64,牺牲一点训练速度换效果。
陈铭想了想,点头:有道理。下一版我试试。
林晨坐在后排,看着这一幕,嘴角微不可察地动了一下。这就是技术分享的意义——不是一个人在台上讲课,而是一群人在台下碰撞。
第二个分享的是张雨。她讲了RLHF的数学框架,从POMDP建模到偏好函数的最优解。黑板写满了公式,全程没有任何一个人提问——不是觉得不好,而是跟不上。
林晨能跟上一半。他知道这是正常的——张雨的数学功底在这个团队里无人能及,她的价值不是让别人完全理解她的推导,而是让团队知道这个方向有人能做。
第三个分享的是林晨自己。
他没有讲大模型。他讲的是自己的投资系统——从五万块钱起步,经历了暴跌20%、最大回撤-42万,最终靠制度和代码扛过来的故事。
大模型跟投资有一个共同点,他说,就是不确定性。你不知道训练出来的效果好不好,就像你不知道下一个交易日会亏还是会赚。但你能做的是建立规则——预设止损、定义回撤极限、让系统在极端情况下也能安全运行。
他把投资系统的风控架构图投到屏幕上。三层止损:单一品种不超过5%仓位、全账户回撤不超过20%、连续三天亏损自动降仓。每一条规则对应一个极端场景。
做模型也是一样的道理。不是每次训练都能成功,但你可以在开始之前定义好——什么情况叫失败、失败后怎么处理、什么时候终止训练、什么时候调整路线。规则在前,执行在后。这个顺序不能乱。
台下终于有人开始记笔记了。不是技术笔记,是方法论笔记。
林晨知道他的话不能让每个人都理解。但至少有一部分人开始思考:原来做大模型跟做投资可以用同一套逻辑。
会议结束后,张雨在走廊里拦住了他。
林总,你刚才说的风控思路,在大模型里能不能理解成——训练过程中实时监控效果指标,设置性能底线,如果验证集上的loss连续三轮不降,自动终止并调整?
差不多,林晨说,但大模型的评测指标比投资更复杂。盈亏是即时反馈的,模型好不好往往要等人工评估之后才知道。所以你的实时监控指标选什么就很关键。
困惑度。张雨直接说,虽然困惑度不是唯一的指标,但它是最快的。如果困惑度在验证集上连续三轮不降,说明数据或参数有问题。
对。你先设计一个监控方案,下周讨论。
张雨点了点头,转身快步走向工位。她的步伐很快,像是已经在脑子里写公式了。
林晨看着她的背影,想起了一个人——两年前的自己。也是这样的步伐,也是这样的急迫,好像每多等一秒就会错过什么。
回到工位,林晨打开了一个新的Word文档。标题写的是大模型部门月度工作总结。
但他没有直接开始写。他看着这个标题,想的是另一件事:第一周结束了。方向定了,团队开始磨合,技术分享跑起来了。但真正的考验还在后面——第一个微调结果的出来,才是检验一切的时候。
他敲了第一行:
部门完成组建,20人到岗,架构搭建完成。下周启动13B模型微调项目。
窗外,秋天的阳光正在变短。
但办公室的灯还亮着。
↑返回顶部↑