利用合成数据微调ChatGPT超越GPT-4摘要性能 降低63%成本和提升11倍速度

　　近日，Elicit公司机器学习工程师Charlie George在LangChain博客上发表文章介绍了他们使用合成数据微调ChatGPT在新闻摘要任务上超越GPT-4的研究成果。

　　文章提到，尽管GPT-4被公认为世界上最强大的语言模型，但其调用限制、高成本和高延迟也限制了其实际应用。为解决这一问题，一些开发者转而使用ChatGPT等小模型，但小模型的表现通常不如GPT-4。文章介绍了微调的思路，即调整模型参数以更好地适应具体任务，但收集人类标注数据昂贵且耗时，而传统评估指标如困惑度也无法准确反映用户体验。

　　为解决数据问题，采用了一种合成数据生成方法，即使用GPT-4通过链式密度(CoD)提示逐步改进其生成的摘要。然后，使用LangSmith平台收集这些改进后的摘要作为训练数据，微调ChatGPT。

　　在评估方面，文章认为传统的BLEU和ROUGE指标往往不能准确捕捉现代语言模型的细微差异。相比之下，人工评估虽可靠但耗时耗力。最佳方案是开发自动化评估系统，但也需要人工验证其有效性。研究者已经开发了与真人高度一致的自动化评估链ScoreStringEvalChain和PairwiseStringEvalChain。

　　说明:经过微调的 ChatGPT 超越了 GPT-4零样本，并接近带有 CoD 的 GPT-4

　　说明:经过微调的 ChatGPT 比 GPT-4零样本快11倍以上，比带 CoD 的 GPT-4快33倍

　　经过微调的 ChatGPT 比 GPT-4零样本便宜63%，比带 CoD 的 GPT-4便宜84%

　　结果显示，相比GPT-4零样本，微调后的ChatGPT在新闻摘要任务上的表现优于前者，几乎达到GPT-4链式提示的水平，但其速度提高11倍，成本降低63%。与零样本GPT-4相比，微调ChatGPT在双样本评估中获胜率达96%。

　　分析称，合成数据微调展现了增强语言模型能力的巨大潜力。LangChain提供了创建复杂链条和迁移到小模型的完美工具。自动化评估为快速可靠地评估实际表现提供了有效手段。这为新一代AI应用大规模部署提供了路径。