5月29日消息,开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?
诸如之前所报道的,使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。
Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据,LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出,并且只需要很少的计算量。
但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型,然后让这些结果由人工评估并由GPT-4自动评估。
最初,他们得出了与之前的开发人员相同的结论:使用指令改进的模型(研究人员称之为“模仿模型”)的性能远远超过基础模型,与 ChatGPT 相当。
然而,“更有针对性的自动评估”表明,模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域,与GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能,而不是在微调过程中获取的。
研究人员表示,这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容,很容易被忽悠。
OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多不正确的内容。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
OPPO K12 近日现身 GeekBench 跑分库,型号为 PJR110,6.2.2 版本单核成绩为 1134 分,多核测试成绩为 2975 分。
近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。