第232章 学习大模型（1 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
转到大模型部门的第一周，林晨就感受到了一种久违的陌生感。
不是因为新环境——办公区还是同一个，茶水间还是那个，食堂的酸菜鱼还是那个味道。陌生的是他面前的技术栈。
过去他做的是传统机器学习和深度学习：XGBoost、LSTM、Transforr，这些他都熟得不能再熟。但大模型的世界远不止这些——预训练、指令微调、RLHF、LoRA、量化推理、分布式训练……每一个概念都是一扇新门，门后面是一片他还没完全探索过的森林。
周一晚上，他坐在书房里，面前摊着一堆论文和技术文档。屏幕上开着三个浏览器窗口：一个是HugggFace的模型页面，一个是PyTorch的分布式训练文档，还有一个是OpenAI的技术报告。
苏婉端着两杯茶走进来，看了一眼他桌上的论文堆：这阵仗，像回到了两年前你学AI的时候。
差不多，林晨接过茶，但这次有基础，学起来快一些。大模型的底层还是Transforr，我之前在投资系统里用过，只是规模不同。
规模不同就是质的不同吧？苏婉说，就像从自行车到汽车，虽然都是交通工具，但操作方式完全不一样。
林晨想了一下，点了点头：你说的对。从几百万参数的模型到几百亿参数的模型，不只是量的变化，而是方法论的变化。训练方式、推理优化、部署方案，全都不一样。
他给自己列了一个学习计划：
大模型学习路线：
基础理论：Transforr架构、注意力机制、预训练原理
微调方法：全量微调、LoRA、QLoRA、指令微调、RLHF
分布式训练：数据并行、模型并行、DeepSpeed、FSDP
推理优化：量化、剪枝、蒸馏、KVCache
应用落地：ProptEngeerg、RAG、Agent
实战：从0到1完成一次大模型微调
他给每个模块安排了时间，总计大约三周。白天在公司工作，晚上在家学习，周末做实战练习。
第一周，他啃了三篇核心论文：《AttentionIsAllYouNeed》、《SgLawsforNeuralLanguageModels》、《TragLanguageModelstoFollowInstrwithHuanFeedback》。第一篇他早就读过，但重新读一遍，在大模型的语境下有了新的理解。第二篇和第三篇是全新的内容，他花了两个晚上才消化完。
第二周，他开始做实战练习。在公司的GPU集群上，他用LoRA方法对La-7B模型做了金融领域的微调。数据是金融部门提供的研报摘要和问答对，总共两万条。
训练的过程比他想象的要顺利——LoRA的优势在于参数量小，微调成本低，7B模型在8张A100上只跑了两小时就完成了。
但评测结果让他不太满意：金融场景下的准确率只比通用模型高了8%，远低于预期的20%。他分析了原因，发现是数据质量的问题——两万条数据里有不少噪声，需要进一步清洗和标注。
↑返回顶部↑