小红书发布首个开源大模型dots.llm1：11.2 万亿非合成数据助力中文性能提升

　　小红书近日宣布开源其首个大规模模型 ——dots.llm1，该模型具有1420亿个参数，是一种专家混合模型(MoE)。在推理过程中仅激活140亿参数，这种结构不仅保持了高性能，还大幅降低了训练和推理的成本。

　　dots.llm1使用了11.2万亿个非合成的高质量训练数据，该模型在中文测试中的表现优异，平均得分91.3，超越了多款竞争对手。

　　在技术架构方面，dots.llm1采用了单向解码器 Transformer 结构，并将传统前馈网络替换为 MoE。与传统模型不同，MoE 将多个专家网络分开，每个专家网络专注于输入数据的不同特征，从而在推理时只激活一小部分网络进行计算，大幅度节省了算力需求。

　　dots.llm1包含128个路由专家和2个共享专家。每个专家都是一个具有两层前馈结构的网络，使用 SwiGLU 激活函数以捕捉数据中的复杂关系。在处理输入标记时，模型会动态选择出6个最相关的专家和2个共享专家进行运算。

　　此外，dots.llm1在训练过程中还引入了改进的 RMSNorm 归一化操作，以稳定模型性能和输出。在 MoE 模块中，负载平衡策略的引入确保了所有专家网络的使用均衡，从而避免了过度依赖某些专家的问题。