具体的测评标准，包括公开测试集、内部自建题库、第三方公开任务集，和企业真实场景脱敏数据。

“国产大模型最大的问题，是大家做的比较像。正落到业务场景里，经常听不懂人话。用户说一句‘帮我弄一下这个’，模型不知道‘这个’是什么，用户说‘老板要看’，模型不知道重点应该放在风险、结果还是汇报口径上。”

会议室里不少业务线负责人都点了点头，他们对这些场景都深有体会。

大部分大模型演示的时候看起来很强，真正接入业务系统，就像一个刚毕业的实习生。

做业务的能力比写代码的能力差多了。

这也不怪大模型，代码本身是可验证的，对就是对，错就是错，做业务可不是这样，模糊的地方很多。

到了问答环节，市场部的负责人先站出来说话了。

他知道今天会议的目的，就是为坤元的发布定计划。

刚才林绍峰展示的数据很好看，拿出去说是一回事，但是真的有几斤几两，不好说。

他还得先弄清楚坤元的真实水平，才好制定相应的计划。

“林总，这个成绩很惊人。我不是不信任测评，但是咱们能不能搞个演示，看看真实场景的效果？”

市场部负责人的这句话一问出来，吕云的目光就转了过来。