IBM申请名为 “LAB” 的专利，利用合成数据训练LLM

　　IBM 近日申请了一项名为 “LAB” 的专利，旨在利用合成数据来训练 LLM 模型，以加速企业 AI 技术的发展。

　　AI 模型对数据有着巨大的需求，而提供大量、质量高、相关性强的数据常常成为一项挑战。IBM 希望通过合成数据来解决这一问题，创建一个仿真真实用户数据的系统。这项创新方法将名为 Large-Scale Alignment for Chatbots(LAB)的技术应用到合成数据生成中，系统地为开发人员所需的聊天机器人任务生成合成数据。

　　IBM 认识到 AI 模型的有效性与其所训练的数据密切相关。传统的数据训练方法费时费力，而 LAB 方法可以显著降低训练 LLM 模型的成本和时间。该方法不断将新知识和能力融入模型，而不会覆盖模型已学到的知识，从而产生大量干净且处理过的数据来训练 AI 模型。

　　这一新的数据生成方法基于分类法，将数据分类为不同的类别和子类别。IBM 的分类法将指导 chatbot 的基础技能、知识和组合技能。这一系统使 LLM 开发人员能够规定其聊天机器人所需的知识和技能。

　　此外，IBM 还利用合成数据来改进其面向企业的 Granite 模型。通过 LAB 方法生成的合成数据，IBM Research 在1.2百万条指令的数据集上训练了两个开源 LLM 模型，结果显示这两个模型在广泛的基准测试中表现出色。IBM 的专利突出了这一方法的两个显著特点，即老师模型能够从分类法的每个叶节点生成合成示例，以扩大目标任务的覆盖范围，并且 LAB 方法能够向基础 LLM 模型添加新技能和知识，而无需将这些信息纳入老师模型中。

　　这一专利的提出也凸显了 AI 服务需求的激增，企业搭建 AI 模型的过程可能同样有利可图。IBM 可能会利用这一专利来支持那些正在构建自己 AI 模型的企业，提供一种相对于收集真实用户数据而言更少资源密集的方法。