惑。

「诸位，我就不做太多自我介绍，我叫林燃，这次由我带领大家进行我们自己大模型的研究，我把它叫做阿尔法。

我的目标是在三个月内，构造出一款比gpt更好的生成式人工智慧。

我们拥有的算力比不上openai，那幺我们就要从算法的层面做优化，要从数据的角度做优化。

同时我们还需要解决chatgpt存在的问题，要消除人工智慧的幻觉，要提供更智能的回答，要具备更优秀的能力。

总之在未来半年时间里，我需要各位的配合和协助。

我固然是大脑，我来构建它的算法和底层架构，但需要各位配合，做其他工作。」

在大模型上，大脑固然是最重要的，但其他的工作也不可或缺，像数据准备，模型集成和部署，代码生成测试与调试，全栈开发和自动化。

需要这些工作，帮助ll从实验室走向实际应用。

「我们可以采取将模型分解为多个专家子模块，仅激活部分参数，路由机制选择专家处理输入，扩展到动态oe，再引入自适应路由，进一步降低推理成本」

「压缩key-vae缓存，通过潜在表示减少注意力机制的内存占用，同时保持多头并行，再通过集成知识图谱的方式来缓解幻觉，同时优化低算力训练」

「使用8位浮点格式进行计算，结合更高精度积累以避免精度损失，细粒度量化策略扩展到fp4/t8混合」

「oe中无辅助损失的均衡策略，确保专家利用率高，而不引入额外训练负担，扩展到无监督均衡，应用于边缘ai训练」

「同时预测多个后续token，densify训练信号，提高数据效率，结合链式预测」

「使用知识图谱注入事实，退拟合模型以修正偏差；自精炼减少检索开销」

赵松下亲眼看着他们命名为阿尔法的人工智慧，以难以想像的速度狂飙突进。

他严重怀疑林教授是不是过于变态了，明明来的很少，但每次来都有突破性进展。

他们这次用到了大量新方法，要幺是论文方法第一次在工程里实践，要幺就是从来没有出现过的方法。

殊不知看上去林燃只是每周来个两天，但实际上林燃在1960时空已经过去了两年时间，围绕ll这条路线，林燃已经有了很深的思考。

赵松下五年工龄只能干点边缘工作，但不妨碍靠着啃论文和听林燃讲课，水平突飞猛进。

他11月接到通知，12月到申海开始工作，中间春节就回去了三天，加班费打满。

春节回去前，以pony为首的高管团队就来参观最新进展。

偌大的会议室坐满了人，赵松下坐在最边上，林燃和pony在第一排谈笑风生，鹅厂其他高管团队清一色坐在后面。

「好，既然大家都到齐了，那我们就废话不多说，直接开始吧。」林燃说。

这次由他来亲自展示：

「chatgpt很棒，但它有时会出错，会『幻觉』出不存在的事实，还需要海量算力。

我们的深红，通过oe架构和技术，一定程度上消除了幻觉问题，并在较低算力下实现更快的

章节内容不完整，请退出阅读模式查看完整内容！