阅读历史 |

第1104章 你说的这些,叫做大模型(2 / 2)

加入书签

请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。

听到陈星这么说,成文飞深吸一口气,鼓起勇气说道:“陈总,过去几年我一直在想一个问题,目前大家都在做窄模型,也就是语音一套,做图像另一套网络,模型不能互相复用。”

“做的都是大规模神经网络、大型深度网络、无监督预训练网络,准确的来说是先用大量无标注数据学通用特征,再拿少量标注数据适配具体任务,BengiO、HtOn都做过相关研究。”

“我就在想,那么可不可以做一套巨型神经网络底座,在海量无标注公开数据上做无监督预训练,学习通用世界知识,之后不需要完整重训,简单适配,就可以处理语言、对话、图像推理等大量不同任务。”

“它可以拥有巨大参数量、海量训练语料、足够强悍的并行算力,或者说我们这个模型不是为某一个单一功能写死,而是先学常识,再去解决任务。”

“最后实现能自然对话、逻辑推理,接近人的认知。”

说完以后,成文飞观察着陈星的表情,结果发现这位新老板脸上充满了惊讶,于是赶紧补充道,“陈总,我知道现在不可能直接实现成品,这也只是我的一个想法,但我们可以提前把所有底层基础设施全部搭建完成。”

“这是我们长远目标,目标。”

“现在可以为这个目标做好地基。”

陈星此时此刻内心处在狂喜之中,成文飞不愧是成文飞。

他说的是大规模神经网络,大型深度网络。

这些词在未来有一个更加准确的称呼。

叫做大模型!

2013年啊,成教授就已经有大模型的概念,通用模型的模糊概念了!

“不不不,成教授,你说的也是我想说的,我的设想就是构建一个规模足够大的神经网络,先用海量无标注数据预训练,学习世界的通用表征,之后不需要全部重训,只做少量调整,就可以处理语言、对话、甚至图像等多种任务。它不是AGI完整的通用人工智能,但它是通向AGI的一块核心基石。”

“为了拥有这块基石,我才邀请成教授你到红星来的。”

“而你说的这些,可以称之为大模型。”

成文飞此时也产生了一种异样的感觉。

陈总好懂啊。

陈总好懂我啊。

这套理论他之前在宾夕法尼亚的时候也和业内人士说过,只不过他们都说自己异想天开。

还大型深度学习网络,现在的CPU算力集群怎么可能处理得了海量数据。

更别提训练了。

所以那时候成文飞就知道,CPU算力集群,一定会被淘汰掉,效率太低太低了。

想实现真正的模型训练,必须要有效率更高的方式,霉国那边目前大家都在尝试用图形计算卡来实现,只不过还没有厂商有成果和论文在学术界出现。

不过成文飞觉得,用分布式的GPU进行训练,绝对是未来的方向,所以半个月前听到甘良才说红星在自研GPU和计算卡的时候,就明白一件事。

红星的在一些方向上,是确定的,是开始行动的,是走在霉国很多机构和公司前面的。

“那么陈总,要实现你所谓的大模型,我口中的大型深度网络,就必须要有足够的算力,现在的CPU计算到了一定瓶颈,大家准备转向GPU并行计算,那我想问一下,这方面咱们红星是怎么打算的?”

陈星不语,走到自己办公桌前,并示意成文飞也过来。

然后拿出了无冬大师给自己的那份报告。

“成教授,你先看看这个。”

↑返回顶部↑

书页/目录

都市重生相关阅读: 长津湖:满仓有身装备栏 高考后,我成了合欢大帝传人 巨树求生:每天一个随机身份 一人:异人界来了一位投资大亨 我用AI学历史 列车求生:每级一个彩色海克斯! 诡异港岛:我成了捉鬼大师 加点:从破军刀法开始 地下城冒险:从成为玩家开始 无敌驸马爷,抢钱抢粮抢女帝! 入伍四次!我被原部队拉进黑名单 到底谁在说人人果实最垃圾? 重生89带空间,我把美苏搬空了 综影视之配角通吃全场 重生69除夕夜分家断亲退婚养家 人在漫威编剧本,说我幕后黑手? 公路求生,但我是隔壁无限流大佬 阿斯塔特家的计事本 戾天子 让你代课,你教学生核聚变? 魔法?我钢铁洪流直接平推! 恐怖诸天:我以诡制诡,以邪镇邪 综穿之奇遇 奥特:我,海帕杰顿在无奥宇宙! 让你改稻为桑,你把嘉靖气懵了! 军事公主不会爱上魔法科学家 穿越古代,开局迎娶三位敌国公主 凡人修仙,捡个仙子做老婆 四合院:开局48,天桥卖艺开始 邪灵入侵全民求生,我有游戏外挂 一心求死,反倒成为千古一帝? 科举卷王,卷出一条青云路 高武:这个和尚太能装了 咒回:特级的我去死灭打宿傩了! 惹惊鸿 我,社畜,变身破碎少女赖上兄弟 重生千禧年我靠赶海带大哥致富 士兵突击开局我和许三多发配五班 大唐:我穿越后每天获得一项能力 阴阳改命术 娱乐:演戏?我在片场穿越诸天! 才认亲就下乡?真千金她带飞全家 弃妇揣崽在古代,众大佬日日求宠 四合院我带三百族人闯入南锣鼓巷 国运求生:从召唤杀神白起开始 挖矿系御兽师的日常生活 狼人杀:十更起手,湮灭众神! 重生归来,极品家人瑟瑟发抖 序列:旧日主宰 六岁小反派修仙,全宗疯批团宠她 就傍上城主咋啦! 末世没异能?但我有十二个兽夫 大明异姓王,开局治好朱雄英! 村女吴秀丽 消费返现,贫穷女大成顶级白富美 饥寒开局:我在古代造桃源 杀妖涨修为?道爷我成了 救命!我这是农场,不是动物园! 穿书八零,易孕媳妇攻略禁欲军官 末日求生:我在海上建堡垒