阅读历史 |

第289章 DPY-0.5(2 / 2)

加入书签

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

“你们是怎么解决的?”李东阳问。

徐若辰笑了一下,转身在白板上画了另一个图。这次是一个稀疏连接的示意图,每个节点只跟少数几个节点有连线,而不是跟所有节点。

“传统的注意力机制,每个token都要和所有其他token做交互。我们通过一种新的动态路由机制,让每个token只跟最关键的那百分之五到百分之十的token做深度交互,其余的部分用轻量级的近似计算替代。”

他停顿了一下,加重了语气:“计算量直接从O(n2)降到了O(nlogn)。一万字的文本,交互次数从一亿降到了不到两百万。”

会议室里安静了一下。

李东阳看着白板上的图,脑子里过了一遍这个数字的变化。

五十倍的差距。

“验证过了?”他问。

“验证了。”徐若辰点头,“我们用多个数据集做了压力测试,结论一致。在保证准确率不降的前提下,计算效率提升了一个数量级以上。”

“准确率不降?”

“准确率还有提升。”旁边一个年轻研究员接话,“因为动态路由机制去掉了噪音信息,模型反而更聚焦了。相当于你让一个学生在复习考试的时候,只复习重点,不复习那些不考的东西。”

李东阳靠在椅背上,看着白板上那个稀疏连接的图,沉默了几秒。

“跟我详细说说。”他说。

徐若辰的眼睛一下子亮了。

他转身打开投影仪,把电脑接上去。屏幕上出现了密密麻麻的数据表格和模型架构图。

“我按时间线来梳理一下。”徐若辰站在投影幕前,拿遥控器翻了第一页。

“去年十二月,我们完成了DPY-0.5的基础版本。参数量七十二亿,训练数据总量一点二万亿token,涵盖中英文双语。这个规模,坦白说,放在全球范围内不算最大的。谷歌的BERT最大版本才三亿参数量,但他们走的是双向编码路线,跟我们的技术路径不太一样。OpenAI的GPT-2是十五亿参数,比我们大。”

他翻到下一页,是一张评测对比表。

“但是在中文语义理解的深度上,根据我们内部重新设计的评估体系,DPY-0.5已经超越了目前市面上所有开源模型的同等规模版本。C-Eval中文综合评测,我们十二月的版本得分是六十二点七分。”

李东阳看了一眼表格里其他模型的分数。谷歌的一个模型,五十八点一分。另一个模型,五十六点三分。

“六十二点七分,已经是最高了。”李东阳说。

“对。但这不是重点。”徐若辰翻到下一页,脸上那种兴奋的表情又回来了,“大年三十那天晚上,我们对注意力机制做了一次彻底的重新设计。新的稀疏注意力架构,我刚才已经介绍了大概。评测结果——C-Eval直接跳到了八十九点四分。”

会议室里安静了。

李东阳看着屏幕上那个数字,八十九点四分,比之前的六十二点七分,高了将近二十七分。

“这个分数意味着什么?”他问。

徐若辰沉默了两秒,像是在组织语言。

“我打个比方。一般的大语言模型,在处理复杂中文文本的时候,能够识别字面意思,但难以捕捉深层的语义和情感。比如说——‘这个东西不贵,但是我不太想买。’大多数模型会理解成‘价格是唯一影响因素,用户因为价格低而有购买意愿,但因为某种原因没有购买’。但这句话背后的真实情感是——‘价格不是问题,问题是我对这个东西本身没有兴趣,我只是在找一个不买的借口。’”

他停了一下,看着李东阳。

“DPY-0.5能捕捉到这个。它能理解那种‘可有可无、略带犹豫’的心理状态。不是因为它的参数量更大,而是因为它的注意力机制更聪明。它知道哪些词是关键的,哪些词是可以忽略的。”

李东阳靠在椅子上,手指在桌面上轻轻敲了两下。

“中文。”他说。

“对,中文。”徐若辰点头,“我们的模型在中文上的表现,远远好于英文。这是因为我们的训练数据以中文为主,而且我们的注意力机制在设计上对中文这种高语境语言特别友好。中文的特点是——很多信息不在字面上,而在上下文和语气里。传统模型处理中文的时候很吃力,但DPY-0.5的动态路由机制天然适合处理这种高语境的语言。”

↑返回顶部↑

书页/目录

都市重生相关阅读: 长嫂要自强,权臣夜夜来翻墙 港综之被逼无奈 都说枪手是废物,我一枪秒了神级 海岛垂钓:开启渔村系统 进入大航海,我的船能无限进化 僵尸:我五岁,九叔敬我为小祖宗 LOL:直播圈米顺便扬名立万 废土国运:云养萌娃召唤华夏群星 随身带个侏罗纪 名义:叔叔赵蒙生,岳父裴一弘 家族修仙:秦氏仙路 重组家庭:她控制了我的一切 道士弱?关我三清什么事 坎坷江湖行 香江:从破产电器厂到全球巨头 后宫养成游戏但mod整合版 名义:截胡钟小艾,侯亮平跪了! 六零:跟重生堂姐抢机缘抢上瘾 至暗光明 抗战:血火山河 战神归来,岳母逼我净身出户 穿进都市异能文,但绑定rpg系统 惊鸿,剑影,往天涯 清澈女大的六零年代 我在天庭查烂账 名义:穿越丁义珍 不合格的大魔王 我入职锦衣卫,全家哭求原谅 洪荒录:我竟然成为了五方五老 五灵根废柴?从矿奴到修仙大佬 你神经啊,不爱校花偏爱精神小妹 我的作品太魔性,黑粉跪求我别停 朝蚀:我挖穿了历朝历代 首长你胖村姑媳妇带龙凤胎随军了 倚天:一剑无敌,全员重生来倒追 领主:开局骑砍助我登云 都市灵剑仙/都市阴阳师 刑侦:导师,我破的案算学分吗? 锦心谋世,卿心归我 从召唤武侠人物开始 执掌佳艺:我打造了黄金时代 米饭吃起来的第2本书 Re0:只想通关却集齐IF女主 姐,我喜欢 狐妖小红娘:我与我 传送门开启,真理下万族臣服 争宠只为躺平,谁知成宠妃了 日月乱入死神世界 我,长生客,大明十七帝的心尖宠 开局成为嫌疑犯,靠着推理来破案 宝可梦:龙途引神 魔卡:我可是法神! 穿书后我和哑巴男配联姻了 徐娘子的美食发家日常 汉末:我生一个娃,奖励一个吕布 娱乐:歌神当从校园开始爆火全网 星铁:玩梗成真,开局被绯英创飞 寿命唯尊 穿越后,我的美食征服全星河 觉醒妇女之友?我反手建立女儿国