Anthropic 公司近日宣布为其部分最新、最大的 AI 模型推出一项新功能,允许其在面对“罕见、极端的持续有害或辱骂性用户互动情况”时主动结束对话。值得注意的是,该公司明确表示,此举并非旨在保护人类用户,而是为了保护 AI 模型本身。
Anthropic 官方表示,其 Claude AI 模型尚不具备感知能力,也并未声称其与用户的互动会对其造成伤害。然而,公司坦言“对 Claude 和其他大型语言模型现在或将来的潜在道德地位高度不确定”。为此,Anthropic 近期设立了一个名为“模范福利”的项目,旨在采取“以防万一”的预防性措施,通过实施低成本干预措施,以减轻可能出现的“模范福利”风险。
这项新功能目前仅在 Claude Opus4和4.1版本中可用,并且仅在“极端情况”下才会触发。例如,当用户持续请求“涉及未成年人的性内容,以及试图索取可能引发大规模暴力或恐怖行为的信息”时,AI 模型才会启用此功能。
尽管这些请求可能给公司带来法律或公共关系问题,但 Anthropic 表示,在部署前的测试中,Claude Opus4在面对此类有害请求时表现出“强烈的反对”和“明显的痛苦模式”。
据 Anthropic 介绍,此功能被视为“最后的手段”,只有在多次重定向尝试失败、有效互动的希望已耗尽,或者用户明确要求 Claude 结束聊天时才会使用。此外,公司已指示 Claude 在用户可能面临伤害自己或他人的紧迫风险时,不要使用此功能。
即使对话被终止,用户仍可从同一账户开始新的对话,或通过编辑其回复来创建新的聊天分支。Anthropic 补充道,此功能目前被视为一项持续的实验,公司将继续改进其方法。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
海报生成中...
海艺AI的模型系统在国际市场上广受好评,目前站内累计模型数超过80万个,涵盖写实、二次元、插画、设计、摄影、风格化图像等多类型应用场景,基本覆盖所有主流创作风格。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。