江淮汽车预计 2024 年前三季度归母净利润约 6.2 亿元,同比增长 237.08%“智”造大国重器,服务能源安全 2024年易派客工业品展览会中国石化展团彰显国企担当2024年昌平区青少年科学调查体验活动——兴寿学校走进科技馆联盟活动成功举办微软人工智能副总裁 Sébastien Bubeck 将离职并加入 OpenAI路特斯武汉全球总部建筑主体结构已全面封顶爱立信发布2024年第三季度财报:收入超市场预期NVIDIA RTX 5070 12GB性能首曝!光追性能比4070 Ti S高5-10%倒计时,微软Windows 10操作系统将迎来“寿终正寝”央视财经:5 年来我国直播带货投诉量暴增超 47 倍亚马逊英国聚合商 Olsam 陷入财务困境,濒临破产长安启源E07汽车10月21日上市,预售价24.99万元起小米公布汽车底盘发光专利,灯带隐藏式设计避免刮擦损坏微软专家亲历 Gmail AI 诈骗:全程“超级逼真”险些中招,威胁全球 25 亿用户迪士尼动画电影《海洋奇缘 2》内地定档 11 月 29 日微信上线“小程序翻译”功能,支持18种语言深圳某科技公司侵害 OPPO 商标权,被判停止侵权、赔偿损失支出共 100 万元上汽集团总裁贾建旭年中讲话曝光:学会 “跪着做人”,才有站起来的那天一加13手机“下周见”:全球首发第二代2K东方屏、搭自研屏幕芯片P2、支持安卓唯一「太阳显示」技术研华推出SQRAM CXL 2.0内存模块:64GB容量,基于DDR5-5600清单暗示任天堂正为 Switch 2 游戏掌机开发新 GameCube 手柄
  • 首页 > 企业IT频道 > 人工智能

    ChatGPT用于生产级对话式AI系统的那些缺点

    2023年02月06日 11:06:18   来源:51CTO

      译者 | 布加迪

      ChatGP凭借其详细和酷似人类的书面回应引起了全世界的关注,引发了关于人们应该如何与这种人工智能(AI)进行互动的热烈讨论。从许多方面来看,ChatGPT都是其前身GPT-3.5的升级版,不过它仍然容易胡编乱造。专家们表示,对于生产级应用而言,AI开发人员可能会考虑将ChatGPT与其他工具结合使用,以获得完整的解决方案。

      ChatGPT和GPT-3.5由OpenAI开发,并在微软Azure上加以训练,两者都是基于大型语言模型的对话式AI系统,但存在重大的区别。

      首先,生成式预训练Transformer(GPT)3.5比ChatGPT早问世,其神经网络拥有比ChatGPT更多的层。GPT-3.5是作为一种通用语言模型开发而成的,它可以处理很多任务,包括翻译语言、总结文本和回答问题。OpenAI为GPT-3.5提供了一套API接口,这为开发人员提供了一种更有效的方式来访问其功能。

      ChatGPT则基于GPT-3.5,是专门作为聊天机器人(“对话式代理”是业界更喜欢采用的术语)而开发的。一个限制因素是,ChatGPT只有文本界面,却没有API。ChatGPT是在庞大对话文本集上加以训练的,与GPT-3.5及其他生成式模型相比,它能更好地进行对话。生成回应的速度比GPT-3.5更快,而且其回应来得更准确。

      然而,这两种模型都往往胡编乱造,或者用业内人士所说就是“产生幻觉”。ChatGPT的幻觉率在15%到21%之间。与此同时,GPT-3.5的幻觉率从20%左右上升到41%,因此ChatGPT在这方面有所改善。

      硅谷公司Moveworks在其AI对话式平台上使用语言模型及其他机器学习技术,其平台被众多行业的公司所使用。这家公司的创始人兼机器学习副总裁Jiang Chen表示,尽管往往胡编乱造(这是所有语言模型存在的通病),但ChatGPT比之前的AI模型有了重大改进。

      Chen说:“ChatGPT确实给人们留下了深刻的印象,给了人们惊喜。”Chen之前是谷歌的工程师,专门开发这个科技巨头的同名搜索引擎。“其推理能力可能会让许多机器学习从业人员感到惊讶。”

      Moveworks使用各种语言模型及其他技术为客户构建定制的AI系统。它一直是BERT的大用户,BERT是几年前由谷歌开源的语言模型。该公司使用GPT-3.5,并已经开始使用ChatGPT。

      不过据Chen表示,说到构建生产级对话式AI系统,ChatGPT有其局限性。在使用这类技术构建自定义对话式AI系统时,有各种因素需要权衡;重要的是要知道界线在哪里,以便构建一个不会提供错误答案、没有过度偏见、不会让人们等待太久的系统。

      Chen表示,ChatGPT在生成有意义的回应以解答问题方面比BERT更胜一筹。具体来说,ChatGPT比BERT有更强大的“推理”能力,BERT被设计用来预测句子中的下一个单词。

      虽然ChatGPT和GPT-3.5可以提供令人信服的回应以回答问题,但它们封闭的端到端特性阻止了像Chen这样的工程师对它们进行训练。这也给为特定行业回答自定义的语料库带来了障碍(零售商和制造商使用的词语与律师事务所和政府使用的词语不同)。他表示,这种封闭性还增加了减少偏见的难度。

      BERT足够小,可以由Moveworks这样的公司托管。该公司构建了一条数据管道,用于收集某家公司所特定的数据,并将数据传送到BERT模型中加以训练。这项工作让Moveworks得以对最终的对话式AI产品施加更大的控制度,这在GPT-3.5和ChatGPT之类的封闭系统中是不可能实现的。

      Chen说:“我们的机器学习堆栈是分层的。我们使用BERT,但我们也使用其他机器学习算法,这使我们得以将客户特有的逻辑和客户特有的数据融入其中。”

      Chen表示,虽然OpenAI模型要大得多,并在大得多的语料库上加以训练,但没有办法知道它们是否适合某个特定客户。

      他说:“(ChatGPT)模型经过预训练,可以对馈入给它的所有知识进行编码。它本身并不是为了执行任何特定任务而设计的。它之所以能够加速并实现快速增长,是由于这种架构本身实际上很简单。它是一层层同样的东西,所以可以说它融合在一起。由于这种架构,你知道它具有学习能力,但你不知道它在哪里编码什么信息。你不知道哪几层神经元编码了你想要推断的特定信息,所以它更像是一个黑盒子。”

      Chen认为,ChatGPT可能正大行其道,但它作为对话式AI的生产级工具所具有的用途可能有点被夸大了。一种更好的方法是利用多个模型的优势,而不是完全致力于一个特定的模型,从而更好地与客户的性能、准确性、偏见预期以及技术的底层功能保持一致。

      他说:“我们的策略是在不同的地方使用一系列不同的模型。你可以用大模型来教小模型,然后小模型就会快得多。比如说,如果你想进行分段搜索,就应该使用……某种BERT模型,然后将其作为某种向量搜索引擎来运行。ChatGPT就此而言太庞大了。”

      虽然眼下ChatGPT在现实应用环境中的用处可能比较有限,但这并不意味着它不重要。Chen表示,ChatGPT可能产生的持久影响之一是吸引从业人员的注意力,并激励人们在对话式AI技术在未来可能实现的功效方面突破极限。

      他说:“我确实认为它开辟了一个领域。展望未来,当我们打开黑盒子,我认为会出现更多有意思的方式和应用。这是我们感到兴奋的地方,我们正致力于这个领域的研发。”

      原文标题:The Drawbacks of ChatGPT for Production Conversational AI Systems,作者:Alex Woodie

      文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。

    即时

    新闻

    敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

    近日,中国家电及消费电子博览会(AWE 2024)隆重开幕。全球领先的智能终端企业TCL实业携多款创新技术和新品亮相,以敢为精神勇闯技术无人区,斩获四项AWE 2024艾普兰大奖。

    企业IT

    重庆创新公积金应用,“区块链+政务服务”显成效

    “以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。

    3C消费

    “纯臻4K 视界焕新”——爱普生4K 3LCD 激光工程投影

    2024年3月12日,由爱普生举办的主题为“纯臻4K 视界焕新”新品发布会在上海盛大举行。

    研究

    2024全球开发者先锋大会即将开幕

    由世界人工智能大会组委会、上海市经信委、徐汇区政府、临港新片区管委会共同指导,由上海市人工智能行业协会联合上海人工智能实验室、上海临港经济发展(集团)有限公司、开放原子开源基金会主办的“2024全球开发者先锋大会”,将于2024年3月23日至24日举办。