欧盟启动前补救差距报告

为什么发布前需要差距报告

当您准备在欧盟发布AI系统时，您必须证明您已满足AI法规中规定的义务。差距报告将这些法律要求转化为具体的任务列表，包括已完成和尚待完成的任务。该列表对内部团队、审计员和监管机构都很有用，因为它明确显示了需要努力的领域。它并不保证合规性；它只是显示当前努力的状态。

我们首先阅读法规的官方文本和欧洲委员会的相关指南。每个义务都被逐字复制到电子表格列中。在每个义务旁边，我们添加一个证据列（例如政策文件、测试结果或代码注释）。如果证据列为空，我们将该行标记为差距。生成的表格成为驱动补救的工作列表。

由于法规是用法律语言写的，我们将每个句子翻译成简单的行动。例如，“提供有关AI系统功能的清晰信息”变成了“创建一个面向用户的描述，列出输入类型、输出格式和已知限制”。这个翻译步骤可以防止误解，并使得分配所有者变得容易。

我们如何将法规义务映射到技术控制

映射是将法律文本转化为工程工作的核心活动。我们使用一个三列表：义务、控制、证据。义务列包含法规的确切措辞。控制列列出我们为满足该措辞而采取的具体技术或程序措施。证据列持有一个工件的引用（文档链接、测试日志或配置文件）。

下面是我们维护的表格的一个示例。它显示了与透明度和数据治理相关的义务的子集。该表格存储在一个共享的电子表格中，以便产品、法律和工程团队可以实时更新它。

义务（法规措辞）| 控制（我们做什么）| 证据（工件） 提供者必须确保自然人被告知他们正在与AI系统交互（第13条（1））。| 在聊天界面上添加一个显示“您正在与AI助手交谈”的持久横幅。| 预发布环境中横幅的截图（链接：internal/wiki/ai-banner）。

提供者必须以清晰和可访问的方式提供有关AI系统的能力和限制的信息（第13条（2））。| 发布一个列出预期用途、已知故障模式和性能指标的模型卡。| 存储在合规存储库中的模型卡PDF（路径：docs/model-card-v2.pdf）。

提供者必须实施适当的数据治理措施，以确保训练数据相关、代表性和无错误（第10条（1））。| 运行一个每晚检查缺失值、标签不一致性和分布外样本的数据质量脚本。| 上次运行的脚本输出日志（链接：internal/scripts/data-quality.log）。

提供者必须记录采取的减轻…

该表格使我们容易看到哪些义务有证据，哪些没有。缺失证据的行成为补救工作列表中的项目。我们在每次迭代规划会议上审查该表格，并分配所有者来关闭差距。

构建工作清单：我们遵循的步骤

我们的将法案转化为工作清单的过程包括五个可重复的步骤。每个步骤由一个小的跨功能团队执行，该团队包括法律分析师、产品经理和工程师。

- 收集源文本 – 下载法案的官方期刊版本、委员会的常见问题解答以及任何相关标准（例如OWASP 或NIST AI RMF）。将它们存储在一个只读文件夹中。 - 提取义务 – 将每个施加于提供商的义务的句子复制到一个主列表中。在此阶段使用逐字词语；不要改述。 - 翻译为操作 – 为每个义务写一个简短的祈使句，描述如何满足它。尽可能将翻译控制在20个字以内。 - 匹配控制 – 查看现有的政策、代码和文档，以查看是否任何已经满足翻译后的操作。如果存在匹配，则链接证据；如果没有，则标记缺口。 - 优先处理缺口 – 根据风险级别（高、中、低）和工作量估计（小、中、大）分配优先级。首先处理高风险、低工作量的缺口。

示例：透明度义务（第13条）

第13条集中于确保用户知道他们正在与AI系统交互，并理解它可以和不能做什么。为了满足这一点，我们采取了三个具体行动。

首先，我们在每个用户端点添加了一个可见的免责声明。免责声明在第一次交互之前出现，并且在用户关闭它之前一直存在。它包含了法案要求的确切短语：“您正在与AI系统交互”。免责声明文本存储在UI字符串文件中（路径：src/i18n/en.json），并由我们的自动UI测试套件进行检查。

其次，我们创建了一个模型卡，总结了模型的预期用途、已知限制和性能数据。卡片遵循OWASP LLM Top 10指导的透明度格式。它托管在我们的内部文档站点上，并从产品的帮助页面链接。

第三，我们建立了每季度审查，产品团队验证免责声明在每次UI发布后仍然出现，并且模型卡反映了最新版本。任何偏差都会创建一个新的差距项，该项将添加到工作列表中。

示例：数据管理义务（第10条）

第10条要求提供者确保用于训练的数据是适当的，并记录采取的措施以解决偏见。我们通过自动检查和手动文档的结合来解决这些要求。

我们每晚运行一个数据质量管道，扫描训练集以查找缺失值、重复条目和标签错误。该管道是使用开源组件构建的，如果任何关键阈值被超过，它将导致构建失败。管道日志被存档在我们的合规存储桶中（路径：gs://clauseguard-compliance/data-quality/）。

为了减轻偏见，我们维护一个活跃的记录，列出我们应用的每次干预，例如对代表性不足的群体进行重新采样或调整损失权重。记录包括日期、更改原因和对公平度指标的衡量影响。该记录满足文档要求，并在每次模型发布前由道德委员会审查。

我们还参考NIST AI RMF（NIST人工智能风险管理框架）以选择数据管理控制。该框架的类别（Govern、Map、Measure、Manage）帮助我们验证我们的管道是否涵盖所有必要的方面。

这不是什么

此差距报告不是符合性证书。它不能保证AI系统满足法案的每个要求。它不能保证监管机构会接受我们提供的证据。它不能声称100%的成功率来找到每个可能的差距。它不能断言工作列表永远不会错过任何问题。它只是我们所做和仍需要做的事情的透明记录，基于我们咨询的来源。

我们如何保持报告更新

保持准确的差距报告需要定期更新。我们已经建立了一个轻量级的节奏，以适应我们的现有冲刺周期。

在每个冲刺的开始，合规负责人运行一个脚本，比较当前版本的法案（从欧盟的官方门户下载）与主义务列表。任何新的或更改的句子都被添加为新行。该脚本还检查证据链接，以查看是否有任何移动或变得不可用；断开的链接被标记为负责人的。

在冲刺回顾期间，团队审查差距列表，并在关联的证据上传和验证后将项目标记为完成。已完成的项目被移到存档选项卡中，以便在审计时仍然可以访问，但不会使活动视图变得混乱。

每个季度，我们都会与法律、产品和工程负责人举行正式的审查会议。在会议中，我们会逐一检查高优先级的差距，确认工作量估算，并根据需要调整时间表。会议的结果是一个简短的更新说明，该说明被追加到Confluence页面。

由于该过程轻量级且与现有的仪式相关，我们避免了创建额外的开销，同时仍然确保报告反映最新的法律文本和我们的当前合规状态。

参考资料

- OWASP LLM 10大应用风险对于大型语言模型 - NIST AI风险管理框架