走出阴影：让组织内的AI使用透明化

设想你正与一位重要客户进行视频会议，对方将分享一项医疗领域重大研究中高度机密且具有专有性的发现。你关上办公室门，确保走廊无人能听到，并准备专注记录。此时，视频会议平台弹出提示：“启用视频助手”。你点击链接，显示该平台可代为记录、总结会议，并在会后草拟致客户的感谢邮件。你觉得不错，便开启了助手。

一周后，IT团队发放调查问卷，其中一项询问过去一年是否在工作中使用过任何人工智能产品。你明知公司政策要求使用AI工具前须获预先批准，却点击“否”并关闭问卷。但实际上你确实使用了AI——用它记录和处理敏感客户数据。这使你成为众多雇主面临的新兴挑战的一部分：如何识别并应对组织内的“影子AI”使用。

什么是影子AI？

过去十年间，AI功能已嵌入许多企业依赖的软件平台，而企业用户往往并未察觉。例如，Office365的反钓鱼和垃圾邮件过滤器自2000年代中期便利用AI和机器学习提升检测能力；主流云服务商提供的服务也包含自然语言处理、计算机视觉和推荐系统等AI能力。然而，很少有组织会因这些功能而认定自己在使用AI。

如今AI公司对其工具的AI能力更为明确，但新问题浮现：员工使用公开可用且常免费的AI产品处理工作，却有意或无意不向雇主披露。这种“影子AI”使用，指员工在IT部门或管理层不知情、未批准或未监督的情况下使用AI工具。它可能源于个人或部门在正式、集中管理的AI战略之外的使用，也可能反映对工具由AI驱动的认知缺失。

以下是影子AI使用的几个示例：

企业软件中的AI集成。某些情况下，企业可能未意识到AI的底层存在。云计算即是一例——许多企业未充分认识到其AI驱动的本质。

作为产品功能的AI。如视频会议示例，AI是更大软件产品的一项功能，该产品用于非AI目的（如视频会议）。文档管理系统也可能如此——它可能使用AI辅助内容索引和搜索优化，但企业通常仅视其为文档管理工具。

AI增强的硬件。类似软件功能，硬件设备（如摄像头、传感器和物联网设备）可集成AI用于图像识别、语音识别或预测性维护。组织可能使用这些设备而未识别其AI组件。

个人或业务单元的非官方AI工具实施。在此类情形中，员工或业务单元明白自己在使用AI工具，却仍选择使用，即便可能违反组织的可接受使用指南。这些工具通常公开可用，且多为免费。ChatGPT、Llama和Bard是员工个人使用的常见示例。现实中存在员工个人使用公共AI工具导致机密商业信息或专有客户信息泄露的案例。通常，员工要么未充分理解工具潜在风险，要么愿意忽视风险，认为工具带来的改进符合企业最佳利益。

应对影子AI使用

为何影子AI是潜在问题？尽管其使用带来风险，许多组织已对软件和硬件实施某种第三方供应商管理流程，包括安全与隐私风险评估及合同保密承诺。因此，即使AI计算未被完全理解，解决方案本身已被组织认定为安全。但员工或业务单元的非官方实施则不然，这意味着它给组织带来最大风险，必须在任何影子AI战略中优先处理。当影子AI工具用于处理机密或专有公司信息，或受隐私、医疗或金融法律监管的信息时，尤为如此。

战略组成要素

有效的影子AI战略包含几个必备要素。

员工调查。调查员工可提供对影子AI使用范围的宝贵洞察，同时为员工提供分享对AI采用感受的渠道。为使调查有效，应告知受访者其参与不会影响工作任期，并考虑是否允许匿名。

典型调查应从多个角度审视AI使用：

• 使用情况：询问员工是否在日常工作中使用AI工具。应提供常见AI工具列表，并留出空间让受访者说明其使用的工具。企业应明确声明，与工作相关的个人AI工具使用应在调查中披露。
• 目的：询问AI工具用于哪些具体任务或目的——数据分析、客户支持、营销还是其他功能？
• 频率：确定员工使用AI工具的频率——每日、每周、每月、很少或从不。
• 满意度：询问对所用AI工具的满意程度。
• 障碍：询问是否存在阻碍其使用AI工具的障碍或挑战。

还应提供开放式问题，让员工分享与AI工具使用相关的任何评论。

基于调查结果，制定行动计划以解决已识别的问题或机会，可能包括改进AI培训、应对挑战或优化AI工具使用。考虑向员工传达调查结果，以表明其反馈受到重视，并让其了解组织的AI举措。

可接受使用政策。许多组织已制定政策，规定员工使用AI工具的可接受、受限和禁止行为。与其他公司政策一样，可接受使用政策的有效性取决于公司的沟通、培训和执行。为此，公司应向所有员工、承包商和利益相关者清晰阐明政策，可通过培训、分发书面指南和定期提醒政策存在及范围来实现。企业应帮助员工理解不合规的潜在风险，以及公司对负责任AI使用的承诺。

监控和审计是政策执行的关键组成部分，组织可实施技术控制以跟踪AI系统使用和数据操作实践。这些控制可包括记录AI系统活动、定期审计，以及使用AI监控工具检测潜在违规。可设置自动警报和报告机制，在偏离政策时通知相关人员，以便快速干预。

政策违规的后果应明确界定并一致执行。AI可接受使用政策应概述员工或团队违反政策时将采取的纪律措施，可能从警告和再培训到停职等更严厉措施，视违规严重程度而定。执行后果传递了组织对负责任AI使用的承诺，并有助于威慑潜在不当行为。

技术控制。企业可利用现有技术控制识别组织内的影子AI使用。例如，建立网络流量监控系统或安全网关，检测数据流和应用使用模式。通过分析这些数据，IT团队可定位意外的AI相关活动、网站和应用，这些可能未获公司政策正式认可或授权。

其次，组织可部署端点检测与响应（EDR）解决方案，聚焦可能发生影子AI实施的设备和端点。EDR工具可识别未经授权的AI软件安装、跟踪其行为，并提供潜在安全风险的洞察。此外，这些工具可监控与影子AI应用相关的异常文件或进程活动，帮助组织迅速采取行动以缓解潜在威胁或破坏。

组织的持续漏洞扫描和渗透测试活动可主动识别与影子AI使用相关的安全弱点。这些技术控制评估组织系统和应用的安全态势，包括任何未经授权的AI实施。定期测试有助于发现可能被恶意行为者利用或暴露敏感数据的漏洞和弱点。

最后，根据业务风险状况，阻止已知的外部AI网站以禁止从公司设备和网络访问可能是适当的。

通过结合这些技术控制，组织可制定全面战略来检测和管理影子AI，确保所有AI举措符合安全和合规要求，同时最小化与未经授权AI部署相关的风险。

举报渠道。公司还可考虑利用内部举报渠道和举报热线来检测和应对影子AI使用。这些机制为员工提供保密且安全的方式，报告对未经授权AI工具或实施的担忧或怀疑。与其他用途一样，应教育员工了解这些渠道的存在，并保证其保密性和保护。举报流程应简单直接，确保员工能轻松提交担忧而不必担心报复。提供匿名举报选项可进一步鼓励员工提供影子AI使用信息。调查应彻底进行，若发现影子AI，应立即实施适当的纠正措施。

第三方供应商管理协议。当影子AI源于供应商软件或产品中嵌入的AI功能时，更新现有第三方供应商管理协议可有所帮助。在引入第三方供应商或合作伙伴时，组织应在尽职调查中纳入AI相关问题，要求供应商披露其产品是否嵌入AI或作为服务的一部分，并提供详细信息。这些信息有助于组织在供应商关系早期识别潜在影子AI风险。一旦识别AI使用，可能浮现更棘手的问题，可通过供应商合同流程解决，包括AI输出和模型的数据所有权、AI输出审计、如何衡量所涉AI模型的有效性，以及AI缺陷或损害的赔偿/责任。

战略整合

当然，影子AI检测应成为组织更大范围AI治理战略的一部分。有效战略帮助企业应对复杂且不断演变的AI监管环境，同时评估负责任、道德和合规的AI技术使用。

此类战略通常包括创建跨职能的AI利益相关者团队或委员会，负责AI治理。该团队应由来自不同部门的成员组成，各自承担不同角色和责任，共同构成全面的AI治理框架：

• 高管领导。团队应包括高级管理人员或C级成员，为AI治理工作提供战略方向和认可。他们设定总体愿景和优先级，分配资源，确保AI与组织战略目标一致。
• 法律与合规专家。法律专业人士对应对AI复杂监管环境至关重要，负责确保AI举措符合相关法律法规，如员工/人力资源法、数据隐私要求、知识产权和行业特定法规。
• 数据管理者和数据科学家。数据管理者监督数据质量、完整性和访问。数据科学家贡献其在数据分析、模型开发和模型验证方面的专业知识。他们协作确保用于AI的数据准确、有代表性且符合道德来源。
• 伦理与多样性专家。根据AI的业务用途，团队可能包括伦理或多样性专家，专注于公平性、偏见缓解、透明度和问责制问题。该利益相关者致力于确保AI系统不歧视任何群体，并将伦理原则贯穿AI生命周期。
• IT与安全专业人员。IT专家在保护AI系统、数据安全及实施技术控制方面发挥关键作用，确保AI应用能抵御网络威胁，AI资产得到充分保护。
• 风险管理与审计团队。这些专业人员评估和管理与AI相关的风险，定期审计AI系统并提供改进建议，帮助组织对潜在问题和责任保持警惕。

AI团队或委员会应共同制定AI政策，监督AI工具部署的监控，评估相关风险，并建议调整AI实施。除推出AI使用政策外，AI利益相关者委员会还应努力在内部向员工传达公司政策，并提高对组织内影子AI使用的认识。

在AI日益融入供应商软件和业务运营的时代，识别在官方监督范围之外运行的AI系统是重要的业务优先事项。通过结合全面的技术控制、健全的举报机制和透明文化，组织可以照亮影子AI，并减轻未经授权AI使用的风险。