近日,网络安全公司Trail of Bits的研究人员Kikimora Morozova和Suha Sabi Hussain公布了一种新型攻击方法。该攻击利用图像重采样的技术特性,在人眼不可见的图像中注入恶意指令,从而劫持大型语言模型(LLM)并窃取用户数据。
该攻击的核心在于图像重采样攻击。当用户上传图片到AI系统时,系统通常会为了效率和成本而自动降低图片分辨率。恶意图片正是利用这一过程:它在全分辨率下看似正常,但在经过双三次(bicubic)等重采样算法处理后,隐藏在图像特定区域的恶意指令会以可见的文本形式显现出来。
研究人员在实验中证实,这种攻击手段能够成功渗透多个主流AI系统,包括Google Gemini CLI、Vertex AI Studio、Google Assistant以及Genspark。在一次Gemini CLI的测试中,攻击者成功将用户的Google日历数据泄露至一个外部邮箱地址,而无需用户的任何确认。
Trail of Bits指出,尽管攻击需要根据每个LLM使用的特定重采样算法进行调整,但其攻击媒介的广泛性意味着更多未被测试的AI工具也可能存在风险。为帮助安全社区理解和防御此类攻击,研究人员已发布了一款名为Anamorpher的开源工具,用于创建此类恶意图片。
针对此漏洞,研究人员提出了多项防御建议:尺寸限制:AI系统应对用户上传的图片实施严格的尺寸限制。结果预览:在对图像进行重采样后,向用户提供即将传递给LLM的结果预览。明确确认:对于涉及敏感工具调用的指令(如数据导出),系统应要求用户进行明确确认。
研究人员强调,最根本的防御在于实施更安全的系统设计模式,以从根本上抵御此类即时注入(prompt injection)攻击。
文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。
海报生成中...
海艺AI的模型系统在国际市场上广受好评,目前站内累计模型数超过80万个,涵盖写实、二次元、插画、设计、摄影、风格化图像等多类型应用场景,基本覆盖所有主流创作风格。
奥维云网(AVC)推总数据显示,2024年1-9月明火炊具线上零售额94.2亿元,同比增加3.1%,其中抖音渠道表现优异,同比有14%的涨幅,传统电商略有下滑,同比降低2.3%。
“以前都要去窗口办,一套流程下来都要半个月了,现在方便多了!”打开“重庆公积金”微信小程序,按照提示流程提交相关材料,仅几秒钟,重庆市民曾某的账户就打进了21600元。
华硕ProArt创艺27 Pro PA279CRV显示器,凭借其优秀的性能配置和精准的色彩呈现能力,为您的创作工作带来实质性的帮助,双十一期间低至2799元,性价比很高,简直是创作者们的首选。