以后，同样的训练步数，实际有效学习效率高很多。”

韩路一点了点头，视哥出品，让人放心。

赵文渊说着，拿出手机，调出一张曲线图。

“这是修正前后的对比，之前我担心最后阶段会震荡，所以留了比较大的冗余。但现在看，没有必要，可以直接上退火数据。”

韩路一看着曲线，没有立刻说话。

赵文渊继续说道：“退火结束以后，我们可以先做一轮基础能力评测，代码、数学、中文理解、长上下文，还有通用知识，都跑一遍，只要底座能力过线，就可以进入后训练，到时候标注数据才开始发力。”

“不要只看公开榜单。”韩路一说，“评测集要分开两层，一层是对外可比较的基础能力，另一层是我们自己的产品前置任务。”

他说着把身子往前倾了倾：“和一般的研究机构不一样，我们做汤圆不是为了发论文，御风、开物，我们已经有了真实的应用场景，这是我们的优势。一定要确保汤圆有这方面的潜力。”

赵文渊一愣，确实，他没考虑到和产品结合的这个方面。

他以前在研究院的时候，做研究就是做研究，不用考虑和产品结合的能力，觉得基础能力到位了，自然能找到用途。

就像是先造锤子，再找钉子。

可是源智现在的情况不一样，源码科技这边两个应用层的产品都已经打开了市场，汤圆做出来，根本不用考虑哪些场景可以用到。

场景御风和开物都给准备好了。

赵文渊点了点头，在手机上快速的记了备忘录，说道：“好的，韩总，我一开工就安排团队做咱们自己的测评集。”

安排完了工作，韩路一在心里默默计算了一下时间，五天退火，那就是二月十五日。

比训练开始时预计的二月二十号提前了几天。

这样为kaiwu海外版后台的迁移又争取出几天时间来。

江松然那边也要抓紧了，能不能用国产卡集群跑通训练，也是这个计划的重要一环。

预训练结束之后，再花二十天来做后训练的微调和对齐，算一算，三月初就可以把完全从头开始训练的汤圆做出来了。

这和之前用7b开源底座加上八千条标注喂出来的汤圆v01可不一样。

到那时，用视界级数据清洗标准加视界级标注数据训练出来的大模型，将第一次面世。

被全套金手指资源加持的汤圆，成绩会怎么样，他无比期待。

想到这，韩路一打开视界看了一眼右下角的经验进度。

百分之五十。

一半了啊。

韩路一这么想着，拿起桌上的拿铁喝了一口。

……

与此同时，在海城的另一端，张弛也刚刚在虹桥落地。

他没回家，让司机直接送他去鼎盛大厦。

到了鼎盛大厦，秘书已经在楼下等他了。

他把手里的包交到秘书手上，一边往电梯走一边问：“人都到了吗？”

“刘总监和王总监都在会议室等您。”秘书紧跟在后面，快速回答道。

出了电梯，张弛直奔会议室。

门一

章节内容不完整，请退出阅读模式查看完整内容！