AI并非总是无懈可击。广州一家工程公司的负责人深夜为员工购买团体意外保险时，AI提供的错误付款二维码导致近两千元的保费转入无关第三方账户。次日发现无保单记录后，该负责人联系收款方成功索回了误付的钱款。尽管钱款已经退回，但这一事件引发了公众对AI支付安全性的广泛关注。人们开始质疑AI为何会提供错误的二维码，以及整个AI支付流程是否存在安全漏洞等问题。
这种情况被称为“模型幻觉”，指的是大语言模型在生成内容时产生与事实不符、逻辑断裂或脱离上下文的信息。这种输出看似语法正确、逻辑严谨，但实际上存在错误或无法验证。AI工程师汪建表示，“模型幻觉”在各类AI应用中都有表现，但在AI支付领域，该风险可能导致严重后果。他认为，AI支付产生“模型幻觉”的原因主要有两个方面：一是训练数据中可能包含错误信息；二是用户盲目信赖AI，忽视了对支付信息的二次查实。
随着AI支付体验的不断深入，用户逐渐习惯了语音下单、刷脸支付等操作，但在AI支付领域中大模型幻觉潜藏的风险并未引起用户的普遍关注。
行业巨头如微信、支付宝和银联正加速布局AI支付，通过发布支付Skill、AI支付协议和智能体支付框架等方式争夺服务入口和行业标准制定权。例如，支付宝发布了国内首个“支付集成Skill”，通过自然语言描述，AI可自动完成支付功能的接入。微信支付也上线了一整套面向AI支付的“AI接入工具箱”，支持分账、退款、账单下载等多种功能，并提供无资金流转的测试环境以降低试错成本。中国银联则在上海发布了APOP框架，旨在解决身份信任、意图信任、过程信任三大核心问题。
这些行业动态为AI支付安全带来了新的挑战。一方面，行业玩家全面提速布局AI支付生态；另一方面，大模型技术幻觉、安全漏洞及监管滞后等问题日益凸显。
