Rapport over afbreuk bij lancering in de EU

Waarom een gap-rapport belangrijk is voordat je lanceert

Wanneer je een AI-systeem in de EU gaat uitbrengen, moet je aantonen dat je aan de verplichtingen uit de AI-wetgeving hebt voldaan. Een gap-rapport zet deze wettelijke vereisten om in een concrete lijst met taken die je hebt voltooid en taken die nog resten. Deze lijst is nuttig voor interne teams, auditors en toezichthouders, omdat het precies aangeeft waar nog werk nodig is. Het belooft geen compliance, maar toont simpelweg de huidige staat van inspanning.

We beginnen met het lezen van de officiële tekst van de wetgeving en de gerelateerde richtlijnen van de Europese Commissie. Elke verplichting wordt letterlijk overgenomen in een spreadsheetkolom. Naast elke verplichting voegen we een kolom toe voor bewijs (zoals een beleidsdocument, een testresultaat of een code-opmerking). Als de bewijskolom leeg is, markeren we de rij als een gap. De resulterende tabel wordt de werklijst die de herstelwerkzaamheden aandrijft.

Omdat de wetgeving in juristentaal is geschreven, vertalen we elke zin in gewone acties. Bijvoorbeeld, "bied duidelijke informatie over de mogelijkheden van het AI-systeem" wordt "maak een gebruikersgerichte beschrijving die invoertypen, uitvoerformaten en bekende beperkingen vermeldt". Deze verta stap voorkomt misinterpretatie en maakt het gemakkelijk om eigenaren toe te wijzen. Bovendien moeten andere AI-gerelateerde tools worden geïmplementeerd op een manier die compliant is met de wetgeving.

Hoe we Act-verplichtingen toewijzen aan technische controles

Toewijzing is de kernactiviteit die juridische tekst omzet in technisch werk. We gebruiken een drie-kolomtabel: Verplichting, Controle, Bewijs. De kolom Verplichting bevat de exacte bewoording uit de Act. De kolom Controle bevat de concrete technische of procedurele maatregel die we hebben genomen om die bewoording te vervullen. De kolom Bewijs bevat een verwijzing naar een artifact (een documentkoppeling, een testlogboek of een configuratiebestand).

Hieronder staat een voorbeeld van de tabel die we onderhouden. Het toont een subset van verplichtingen met betrekking tot transparantie en gegevensbeheer. De tabel wordt bewaard in een gedeelde spreadsheet, zodat product, juridisch en technisch teams deze in real-time kunnen bijwerken.

Verplichting (Act-bewoording) | Controle (wat we doen) | Bewijs (artifact) Aanbieders moeten ervoor zorgen dat natuurlijke personen worden geïnformeerd dat ze interactie hebben met een AI-systeem (Artikel 13(1)). | Voeg een persistente banner toe aan de chat-interface met de tekst "U praat met een AI-assistent". | Screenshot van de banner in de staging-omgeving (koppeling: internal/wiki/ai-banner). Aanbieders moeten informatie over de mogelijkheden en beperkingen van het AI-systeem beschikbaar stellen op een duidelijke en toegankelijke manier (Artikel 13(2)). | Publiceer een modelkaart die de beoogde gebruik, bekende foutmodi en prestatieparameters vermeldt. | Modelkaart PDF opgeslagen in de compliance-repository (pad: docs/model-card-v2.pdf). Aanbieders moeten passende gegevensbeheermaatregelen implementeren om ervoor te zorgen dat trainingsgegevens relevant, representatief en vrij van fouten zijn (Artikel 10(1)). | Voer een nachtelijke gegevenskwaliteitscript uit dat controleert op ontbrekende waarden, labelinconsistenties en uit-de-verdelingsteekproeven. | Scriptuitvoerlogboek voor de laatste...

De tabel maakt het gemakkelijk om te zien welke verplichtingen bewijs hebben en welke niet. Ontbrekende bewijsrijen worden de items in de herstellijst. We bekijken de tabel bij elke sprintplanningvergadering en wijzen eigenaren toe om de lacunes te sluiten.

Het opbouwen van de werklijst: stappen die we volgen

Ons proces voor het omzetten van de Wet in een werklijst bestaat uit vijf herhaalbare stappen. Elke stap wordt uitgevoerd door een klein cross-functioneel team dat bestaat uit een juridisch analist, een productmanager en een ingenieur.

- Verzamel bronnen - download de officiële Journal-versie van de Wet, de FAQ van de Commissie en alle relevante standaarden (bijvoorbeeld de OWASP LLM Top 10 of de NIST AI RMF). Sla ze op in een alleen-lezen map. - Haal verplichtingen op - kopieer elke zin die een plicht oplegt aan aanbieders naar een masterlijst. Gebruik letterlijke bewoording; vertaal niet op dit moment. - Vertaal naar acties - voor elke verplichting schrijf een korte imperatieve zin die beschrijft wat moet worden gedaan om deze te vervullen. Houd de vertaling onder de 20 woorden waar mogelijk. - Koppel aan controles - kijk naar bestaande beleid, code en documentatie om te zien of er al een match is met de vertaalde actie. Als er een match bestaat, koppel het bewijs; als niet, markeer een lacune. - Prioriteer lacunes - wijs een prioriteit toe op basis van risicograad (hoog, medium, laag) en inspanningsbegroting (klein, medium, groot). Hoog-risico, laag-inspanning lacunes worden eerst aangepakt.

We herhalen de cyclus wanneer de Wet wordt gewijzigd of wanneer we een nieuwe versie van het model uitbrengen. De masterlijst staat in een Confluence-pagina die alleen door de compliance-leider kan worden bewerkt, waardoor er één bron van waarheid is.

Voorbeeld: transparantieverplichtingen (Artikel 13)

Artikel 13 richt zich op het waarborgen dat gebruikers weten dat ze te maken hebben met een AI-systeem en begrijpen wat het wel en niet kan. Om hieraan te voldoen hebben we drie concrete acties ondernomen.

Ten eerste hebben we een zichtbare disclaimer toegevoegd aan elk gebruikersgericht eindpunt. De disclaimer verschijnt voordat de eerste interactie plaatsvindt en blijft zichtbaar totdat de gebruiker deze wegklikt. De disclaimer-tekst wordt opgeslagen in het bestand met UI-strings (pad: src/i18n/nl.json) en wordt gecontroleerd door onze geautomatiseerde UI-testsuite.

Ten tweede hebben we een modelkaart gemaakt die een samenvatting geeft van de beoogde gebruik, bekende beperkingen en prestatiecijfers van het model. De kaart volgt het formaat dat wordt aanbevolen in de OWASP LLM Top 10-richtlijnen voor transparantie. Deze wordt gehost op onze interne documentatiesite en is gekoppeld vanaf de help-pagina van het product.

Ten derde hebben we een kwartaalreview ingericht waarin het productteam verifieert of de disclaimer nog steeds verschijnt na elke UI-release en of de modelkaart de laatste versie weerspiegelt. Elke afwijking leidt tot een nieuw gap-item dat aan de werklijst wordt toegevoegd.

Voorbeeld: Gegevensbeheer verplichtingen (Artikel 10)

Artikel 10 vereist dat aanbieders ervoor zorgen dat de voor training gebruikte gegevens geschikt zijn en dat ze de stappen documenteren die zijn genomen om bias aan te pakken. We voldoen aan deze vereisten door een combinatie van geautomatiseerde controles en handmatige documentatie.

We voeren elke nacht een gegevenskwaliteitspijplijn uit die de trainingsset scant op ontbrekende waarden, dubbele invoer en label fouten. De pijplijn is gebouwd met open-source componenten en is geconfigureerd om de build te laten mislukken als een kritische drempelwaarde wordt overschreden. De pijplijnlogboeken worden gearchiveerd in onze compliance bucket (pad: gs://clauseguard-compliance/data-quality/).

Voor biasmitigatie onderhouden we een levend record dat elke interventie vermeldt die we hebben toegepast, zoals het opnieuw monsteren van ondervertegenwoordigde groepen of het aanpassen van verliesgewichten. Het record bevat de datum, de reden voor de wijziging en de gemeten impact op eerlijkheidsmetrieken. Dit record voldoet aan de documentatievereiste en wordt beoordeeld door de ethische raad voordat elk model wordt vrijgegeven.

We verwijzen ook naar de NIST AI RMF NIST AI RMF bij het selecteren van controles voor gegevensbeheer. De categorieën van het kader (Govern, Map, Measure, Manage) helpen ons te verifiëren of onze pijplijn alle noodzakelijke aspecten dekt.

Wat dit niet is

Dit gap-rapport is geen conformiteitscertificaat. Het garandeert niet dat het AI-systeem aan alle vereisten van de Wet voldoet. Het belooft niet dat toezichthouders de door ons verstrekte bewijsstukken zullen accepteren. Het claimt geen 100 % succesratio in het vinden van elke mogelijke gap. Het stelt niet dat de werklijst nooit een kwestie zal missen. Het is eenvoudigweg een transparant verslag van wat we hebben gedaan en wat we nog moeten doen, op basis van de bronnen die we hebben geraadpleegd.

Hoe we het rapport up-to-date houden

Het onderhouden van een nauwkeurig gap-rapport vereist regelmatige updates. We hebben een lichtgewicht ritme ingesteld dat past bij onze bestaande sprint-cyclus.

Nieuwe of gewijzigde zinnen worden toegevoegd als nieuwe rijen. Het script controleert ook de bewijskoppelingen om te zien of er enkele zijn verplaatst of onbeschikbaar zijn geworden; gebroken koppelingen worden gemarkeerd voor de verantwoordelijke eigenaar.

Tijdens de sprint-retrospectief beoordeelt het team de gap-lijst en markeert items als voltooid wanneer het bijbehorende bewijs is geüpload en geverifieerd. Voltooide items worden verplaatst naar een archief-tabblad, zodat ze nog steeds toegankelijk zijn voor audits, maar de actieve weergave niet verstoren.

Elk kwartaal houden we een formeel beoordelingsvergadering met juridische, product- en technische leiders. In die vergadering lopen we door de hoogste prioriteit gaps, bevestigen we inschattingen van de inspanning en passen we timelines aan als dat nodig is. Het resultaat van de vergadering is een korte update-notitie die wordt toegevoegd aan de Confluence-pagina.

Omdat het proces lichtgewicht is en gekoppeld is aan bestaande ceremonies, voorkomen we extra overhead terwijl we nog steeds ervoor zorgen dat het rapport de laatste juridische tekst en onze huidige staat van compliance weerspiegelt.

Referenties