第894章 天问（2 / 2）
请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能，避免出现内容无法显示或者段落错乱。
“一亿五千万参数的模型，至少需要几百亿token的高质量语料来餵。十五亿参数那个，可能需要上千亿token。”
他在“数据”两个字
“我们现在有什么西红柿小说和引力的內部数据虽然多，但现在的简易脚本根本算不上成体系的清洗管线。”
楼天城皱著眉头敲了敲白板，
“咱们这套1.0版本的管线洗出几百gb的语料勉强能用，如果要餵出十五亿参数，重复数据、低质內容全混在里面……直接拿去训练，模型学出来的东西会非常糟糕。”
“还有一点。”楼天城又补了一笔，
“如果未来想让模型具备多模態理解能力，光靠文本远不够。图像数据、图文配对数据，这些东西目前完全是空白。”
他转过身看著顾屿：
“千亿token级別的现代清洗管线、人工標註人力、图像语料来源。这三个缺口，任何一个解决不了，十五亿参数的模型就只是个空壳。”
顾屿没有回答。
他看著白板上楼天城画的那个流程图。
“不急。”
“数据的事情我已经在安排了。”顾屿语气云淡风轻。
楼天城点了点头。
“你现在要做的事情只有一件。”顾屿重新看向楼天城，
“利用你手上的並行训练框架，在最短时间內把大语言模型的底层架构搭起来。数据接口、分布式训练管线、混合精度支持，全部打通。等语料灌进来的那一天，我不想再等哪怕一个小时。”
“明白。”楼天城应了一声，已经在脑子里开始拆解任务了。
“项目从今天起正式立项。既然是改变技术路线的终极兵器，总得有个响亮的代號。”
顾屿看著面前这三位顶尖大脑，“你们有什么想法”
安德烈摸了摸下巴浓密的胡茬，操著带有口音的中文说道：
“既然是处理语言的模型，叫『巴別塔』怎么样打破人类的语言壁垒。”
“寓意不好，巴別塔最后可是塌了的。”
任少卿摇摇头，思索著开口，
“或者叫『盘古』开天闢地，比较有咱们的特色。”
楼天城推了推眼镜，提议道：
“要不乾脆叫『矩阵』毕竟底层逻辑全是巨大的矩阵相乘。”
顾屿听著他们的討论，笑了笑。
他站起身，走到白板前，抽出一支黑色马克笔。
“神话太縹緲，算符又太冰冷。我们要做的，是向这堆硅基晶片和海量数据里，去寻找那一丝涌现的智慧火花。这是一场对未知极限的终极拷问。”
顾屿拔掉笔帽，在白板右上角用力写下两个大字。
天问。
屈原问天，不得其解。而他们，要用算力强行要出一个答案。
“这个项目，代號天问。”顾屿將笔隨手丟回笔槽，转头看向三人，
“一亿五千万参数只是天问一號。等语料到位，我们要直接衝击十五亿，甚至未来的千亿级別。”
任少卿看著那两个遒劲的字，低声念了一遍，布满红血丝的双眼中驀地燃起了一团火光。
楼天城和安德烈也紧紧盯著白板，一时间无人说话。
顾屿看著他们，眼神深邃。
前世类似架构的大语言模型，第一次让全世界见识到“涌现”，是2020年的事。
一亿五千万参数对標的是openai在2018年发布的gpt-1，而十五亿参数对標的，是2019年让人类首次感到不安的gpt-2。
別人花了五年摸索的黑暗森林，他要带著这群人，用三年时间彻底凿穿。
正想著，实验室的恆温门被人从外面急匆匆地推开了。
“顾总。”
魏从军的声音从门口传来。
“老魏。”顾屿转过身，“什么事”
魏从军走到近前，压低了声音：
“市场出事了。a股上周五跌破四千点之后，今天继续千股跌停。两市流动性几乎完全枯竭，大量个股无量封死在跌停板上，连卖都卖不出去。国家队的一千二百亿进场之后只撑了半天，下午又被砸回去了。”
他顿了顿，看了一眼旁边的任少卿和楼天城。
顾屿摆了摆手，示意没关係。
魏从军继续说：“恐慌情绪已经完全失控。融资盘强平踩踏，配资盘连环爆仓。按照现在这个跌法，明天可能还会有一批股票触发强平线。”
顾屿靠在白板边，双臂抱胸。
“资金准备得怎么样了”
这句话一出口，魏从军的表情从凝重变成了某种复杂的神色。
“国內回笼的那两百亿现金，前期已经在低点全部分散买入建仓了。”他说，
“离岸通过qfii和fdi通道过境的三百亿资金，现在也已经全部进来了。全现金，无槓桿，隨时可以动用。”
前前后后合计五百亿的规模。
顾屿没有多余的表情。他看了看手机上的时间。
“该我们入场了。”
“花光它们”
↑返回顶部↑