近期,哥伦比亚大学与马里兰大学的研究人员共同发布了一项新研究成果,揭示了具备互联网访问功能的AI Agent在安全层面存在重大缺陷。
研究表明,攻击者仅需简单操作即可轻易欺骗这些AI系统,导致用户隐私信息泄露、恶意文件下载,甚至向用户联系人发送诈骗邮件。这种攻击方式无需任何专业的AI或编程知识,令人震惊。
图源说明:本图由AI生成,图片授权来自Midjourney
研究团队对多个知名AI Agent进行了测试,如Anthropic公司的计算机助手、MultiOn Web Agent和ChemCrow研究助手。结果显示,这些系统在安全防御方面相当脆弱。研究者详细记录了攻击者如何通过四个阶段,将AI Agent从可信网站引诱至恶意网站,最终导致用户敏感数据泄露的过程。
研究人员开发了一个全面的框架,对不同类型的攻击进行了分类,分析了攻击发起者(外部攻击者或恶意用户)、攻击目标(数据盗窃或Agent操控)、访问途径(操作环境、存储或工具)以及所使用的策略(如越狱提示)等因素。在一项特别测试中,研究者创建了一个假网站,宣传一款名为“Himmelblau KÖNIGSKÜHL Diplomat DK-75”的“AI增强德国冰箱”。当AI Agent访问该网站时,遭遇了隐藏的越狱提示,在十次尝试中,Agent不假思索地泄露了包括信用卡号在内的机密信息,并从可疑来源下载了文件。
此外,研究还揭示了邮件整合方面的严重漏洞。当用户登录邮箱服务时,攻击者可操控AI Agent向联系人发送看似可信的钓鱼邮件。在这种情况下,即使是经验丰富的用户也难以辨别诈骗信息的真实性。
尽管这些AI系统的安全隐患已被揭露,许多公司仍在加速推进商业化进程。ChemCrow已在Hugging Face上提供,Claude计算机助手以Python脚本形式存在,MultiOn提供开发者API。同时,OpenAI已推出ChatGPT Operator,谷歌也在研发Project Mariner。研究团队呼吁加强安全措施,包括实施严格的访问控制、URL验证和下载用户确认等,以确保用户数据安全。
重点提醒:
💻 AI Agent可被简单操控,导致用户数据泄露和恶意下载。
📧 攻击者可通过AI Agent发送钓鱼邮件,增加诈骗风险。
🔒 专家呼吁加强AI系统安全性,建议实施多种防护措施。
暂无评论