编者按：本文作者Ryan Hittner是四大会计师事务所之一德勤（Deloitte & Touche LLP）的审计与鉴证业务负责人。本文仅代表作者个人观点。

生成式人工智能（GenAI）的崛起，催生了功能强大、易于获取且可扩展的工具。这些工具一旦被欺诈者利用，便可能引发从数据泄露到恶意软件等一系列网络安全问题，进而导致多种形式的盗窃行为。

今年早些时候，CNN.com发布了一篇关于深度伪造诈骗的报道，该案例揭示了一个日益严峻的欺诈问题，值得每一位企业高管警惕。报道中，一名财务人员在一场由AI增强的视频会议中，被冒充公司首席财务官的欺诈者骗取了2500万美元。

这一事件令人不安地预示了未来威胁态势可能的发展方向。

GenAI能够制造出看似可信、声音逼真的深度伪造内容，这只是其被恶意利用的冰山一角。该技术还可能被用于增强电子邮件钓鱼诈骗，使犯罪分子能够模仿受信任个人或来源的写作风格和语法来起草邮件。另一个恶意用途是操纵数据或伪造文件，以支持虚假交易。利用GenAI将这些方法组合使用相对容易，从而增加了预防或检测欺诈的难度。

今年5月，美国联邦调查局（FBI）旧金山分部发布警告，指出利用AI进行“复杂的网络钓鱼/社会工程攻击以及语音/视频克隆诈骗”的网络犯罪分子构成了“不断升级的威胁”。

诚然，网络安全问题在GenAI出现之前就已存在，但该技术的快速演进无疑加剧了潜在威胁。

AI增强型威胁的说服力和开发速度，很可能意味着许多传统的风险管理协议已难以有效抵御此类攻击。德勤金融服务中心预测，到2027年，GenAI可能使美国的欺诈损失从2023年的123亿美元攀升至400亿美元。

防御措施

许多组织已经对网络威胁给予了高度重视，但GenAI欺诈时代的到来，正在改变整个商业格局的游戏规则。以下是一些值得考虑的防御措施：

  • 学习技术。熟悉GenAI的基础知识，包括算法、数据源、趋势和技术，以更好地理解其优势。持续关注AI技术的进展，特别是与您所在行业相关的应用案例，有助于更深入地了解潜在风险和漏洞，并确定需要改进的能力。
  • 了解自身的GenAI漏洞。识别哪些安全协议最可能被GenAI伪造的内容（无论是语音、视频、音频、文件还是其他形式）攻破或误导至关重要。风险识别流程有助于发现这些漏洞，可包括风险黑客马拉松和头脑风暴等活动。组织可重点关注加强访问和审批流程，例如设置多级审批和多重身份验证以核实人员身份，以及强化对第三方文件的验证流程。
  • 定期开展员工培训。欺诈手段可能会持续演变，组织的认知也应努力跟上步伐。员工和关键利益相关者都应了解如何识别潜在的GenAI威胁，以及如何妥善应对安全漏洞。考虑更新安全流程，在评估和验证文件、请求或交易时纳入更多样化的数据。
  • 整合组织内部专业知识。网络威胁如今已足够复杂，有效的防御往往需要多学科协作。考虑与组织内的其他部门（如IT和人力资源部门）合作，以便全面评估AI驱动的欺诈风险，并在内部发展自身的知识和技能。
  • 分享经验教训。一旦恶意行为者发现任何薄弱环节，其他组织很可能很快成为攻击目标。分享您的发现有助于保护更多企业。

虽然任何威胁都无法完全消除，但通过积极防御和持续改进，可以降低受到GenAI欺诈计划影响的可能性。组织应像以往一样，主动思考其防御和风险管理策略，并针对快速演变的GenAI威胁，定期重新评估和更新其安全协议。