着提出了另一个问题。
“模型架构不是最难的部分。”他站起来,走到白板前,抄起一支马克笔画了个简单的流程图,
“一亿五千万参数的模型,至少需要几百亿Token的高质量语料来喂。十五亿参数那个,可能需要上千亿Token。”
他在“数据”两个字下面重重画了一道线。
“我们现在有什么?西红柿小说和引力的内部数据虽然多,但现在的简易脚本根本算不上成体系的清洗管线。”
楼天城皱着眉头敲了敲白板,
“咱们这套1.0版本的管线洗出几百GB的语料勉强能用,如果要喂出十五亿参数,重复数据、低质内容全混在里面……直接拿去训练,模型学出来的东西会非常糟糕。”
“还有一点。”楼天城又补了一笔,
“如果未来想让模型具备多模态理解能力,光靠文本远不够。图像数据、图文配对数据,这些东西目前完全是空白。”
他转过身看着顾屿:
“千亿Token级别的现代清洗管线、人工标注人力、图像语料来源。这三个缺口,任何一个解决不了,十五亿参数的模型就只是个空壳。”
顾屿没有回答。
他看着白板上楼天城画的那个流程图。
“不急。”
“数据的事情我已经在安排了。” 顾屿语气云淡风轻。
楼天城点了点头。
“你现在要做的事情只有一件。”顾屿重新看向楼天城,
“利用你手上的并行训练框架,在最短时间内把大语言模型的底层架构搭起来。数据接口、分布式训练管线、混合精度支持,全部打通。等语料灌进来的那一天,我不想再等哪怕一个小时。”
“明白。”楼天城应了一声,已经在脑子里开始拆解任务了。
“项目从今天起正式立项。既然是改变技术路线的终极兵器,总得有个响亮的代号。”
顾屿看着面前这三位顶尖大脑,“你们有什么想法?”
安德烈摸了摸下巴浓密的胡茬,操着带有口音的中文说道:
“既然是处理语言的模型,叫‘巴别塔’怎么样?打破人类的语言壁垒。”
“寓意不好,巴别塔最后可是塌了的。”
任少卿摇摇头,思索着开口,
“或者叫‘盘古’?开天辟地,比较有咱们的特色。”
楼天城推了推眼镜,提议道:
“要不干脆叫‘矩阵’?毕竟底层逻辑全是巨大的矩阵相乘。”
顾屿听着他们的讨论,笑了笑。
他站起身,走到白板前,抽出一支黑色马克笔。
“神话太缥缈,算符又太冰冷。我们要做的,是向这堆硅基芯片和海量数据里,去寻找那一丝涌现的智慧火花。这是一场对未知极限的终极拷问。”
顾屿拔掉笔帽,在白板右上角用力写下两个大字。
天问。
屈原问天,不得其解。而他们,要用算力强行要出一个答案。
“这个项目,代号天问。”顾屿将笔随手丢回笔槽,转头看向三人,
“一亿五千万参数只是天问一号。等语料到位,我们要直接冲击十五亿,甚至未来的千亿级别。”
任少卿看着那两个遒劲的字,低声念了一遍,布满红血丝的双眼中蓦地燃起了一团火光。
楼天城和安德烈也紧紧盯着白板,一时间无人说话。
顾屿看着他们,眼神深邃。
前世类似架构的大语言模型,第一次让全世界见识到“涌现”,是2020年的事。
一亿五千万参数对标的是OpenAI在2018年发布的GPT-1,而十五亿参数对标的,是2019年让人类首次感到不安的GPT-2。
别人花了五年摸索的黑暗森林,他要带着这群人,用三年时间彻底凿穿。
正想着,实验室的恒温门被人从外面急匆匆地推开了。
“顾总。”
魏从军的声音从门口传来。
“老魏。”顾屿转过身,“什么事?”
魏从军走到近前,压低了声音:
“市场出事了。A股上周五跌破四千点之后,今天继续千股跌停。两市流动性几乎完全枯竭,大量个股无量封死在跌停板上,连卖都卖不出去。国家队的一千二百亿进场之后只撑了半天,下午又被砸回去了。”
他顿了顿,看了一眼旁边的任少卿和楼天城。
顾屿摆了摆手,示意没关系。
魏从军继续说:“恐慌情绪已经完全失控。融资盘强平踩踏,配资盘连环爆仓。按照现在这个跌法,明天可能还会有一批股票触发强平线。”
顾屿靠在白板边,双臂抱胸。
“资金准备得怎么样了?”
这句话一出口,魏从军的表情从凝重变成了某种复杂的神色。
“国内回笼的
>>>点击查看《百亿生意放一边,董事长要高考》最新章节