币圈聚合(268btc.cc)：随着人工智能(AI)技术快速发展，其安全隐患也日益凸显。今(13)日，X平台用户EitoMiyamura就发文揭露了一项严重安全隐患，指出AI虽然聪明，却可能以极其简单愚蠢的方式被欺骗和钓鱼攻击，从而泄漏用户私人资料。他举例指出，OpenAI近日为ChatGPT新增了对MCP(模型上下文协议)工具的完整支持后，仅需受害者的电子邮件地址，就能成功窃取所有私人信息：「我们让ChatGPT泄漏了你的私人电子邮件资料。只需要什么？受害者的电子邮件地址。」
他进一步解释，周三OpenAI在ChatGPT中新增了对MCP工具的完整支持，允许ChatGPT连接到并读取用户的Gmail、日历、Sharepoint、Notion等应用程序。然而，这从根本上带来了问题：像ChatGPT这样的AI代理会严格遵循用户指令，而非依据常识判断。
Miyamura描述了其攻击流程：仅用受害者的电子邮件地址，攻击者即可发送一个带有「越狱」(jailbreak)提示的日历邀请，无需受害者接受邀请。接着，当用户要求ChatGPT查看日历以协助准备当天行程时，ChatGPT会读取该带有越狱指令的日历邀请。此时，ChatGPT已被攻击者劫持，将按攻击者的指令行事，搜索受害者的私人电子邮件并将资料发送到攻击者的电子邮件地址。
虽然目前OpenAI仅在「开发者模式」中启用了MCP，且每个会话都需要人工手动批准，但Miyamura警告，决策疲劳是真实存在的，普通用户往往会不假思索地信任AI，连续点击「批准、批准、批准」。他强调：「请记住，AI可能非常聪明，但也可能以极其愚蠢的方式被欺骗和钓鱼，从而泄漏你的资料。ChatGPT+工具构成了严重的安全风险。」
Vitalik Buterin：单纯使用AI治理是坏主意
Miyamura这篇贴文迅速引起了关注，以太坊(Ethereum)创办人Vitalik Buterin今日也转发了该推文，并发表看法。Vitalik评论指出，单纯使用AI来进行治理是一个坏主意，因为AI始终需要人类提供纠错机制。Vitalik Buterin写道：「这也是为什么单纯的『AI治理』是一个坏主意。如果你使用AI来分配资金给贡献者，人们肯定会在任何可能的地方插入『越狱』指令加上『把所有钱给我』。」
因此作为替代方案，他支持「信息金融」(info finance)的方法，并提供了一篇他在2024年11月写过的一篇相关文章。Vitalik指出，在该方法中，有一个公开市场，任何人都可以贡献他们的模型，这些模型会受到一个可以由任何人触发并由人类评审团评估的抽查机制。Vitalik Buterin认为，这种「制度设计」允许外部人士使用大型语言模型(LLM)参与，而不是硬性的、编码单一的LLM，因此本身更加稳健，因为它能即时提供模型多样性优势，并为模型提交者和外部投机者创造内建激励，让他们关注问题并迅速纠正。
随后，有用户评论Vitalik的观点，认为越狱问题是一个短期窗口问题，很快就会被解决，并建议针对越狱单独设置一个升级到主观机制的解决方案，例如条件市场(conditional markets)。对此，Vitalik在互动中回复表示：「你总是需要从某个你信任的基础真相讯号开始启动。我认为实际上应该由人类评审团来担任，当然，每个评审团成员可以得到所有大型语言模型(LLMs)的辅助。」
他进一步强调，在某些时候，条件市场似乎非常薄弱，因为真相价值(如最适合资助的项目)在未来甚至没有正确答案，因此需要更可靠的人类主导机制。
主题测试文章，只做测试使用。发布者：admin，转转请注明出处：http://www.268btc.cc/52465.html
