KI-Systeme ausschreiben: AI Act, Datenschutz und Kontrollrechte in den Vergabeunterlagen

Am Montagmorgen soll die Fachabteilung eine generative KI für die Erstellung von Bescheid-Entwürfen beschaffen. Der Anbieter verspricht Zeitersparnis, eine moderne Oberfläche und „vollständige Sicherheit“. Doch in den Vergabeunterlagen fehlt oft genau das Entscheidende: Welche Daten verarbeitet das System? Wer kontrolliert die Antworten? Darf der Anbieter Eingaben zum Training verwenden? Und wie kann die Vergabestelle nachvollziehen, ob vereinbarte Schutzmaßnahmen tatsächlich eingehalten werden?

Bei KI-Beschaffungen reichen allgemeine Formulierungen wie „DSGVO-konform“ oder „sicherer KI-Einsatz“ nicht aus. Du musst die fachliche Leistung, die Datenverarbeitung und die späteren Kontrollmöglichkeiten so konkret beschreiben, dass Bieter vergleichbare Angebote abgeben und du die Leistung im Betrieb steuern kannst. Das gilt für generative KI ebenso wie für Fachanwendungen mit KI-Komponenten, etwa zur Dokumentenanalyse, Prognose, Klassifikation oder Priorisierung.

Infografik zu KI-Systeme ausschreiben: AI Act, Datenschutz und Kontrollrechte in den Vergabeunterlagen (KI-generiert).

Den Einsatzfall vor der Ausschreibung sauber abgrenzen

Die erste Vergabeentscheidung betrifft nicht das Produkt, sondern den vorgesehenen Einsatz. Beschreibe deshalb zunächst, welche Aufgabe das KI-System erfüllen soll und welche Folgen seine Ergebnisse haben dürfen.

Ein Textassistent zur Vorbereitung interner Entwürfe ist anders zu bewerten als ein System, das Anträge priorisiert, Risiken bewertet oder Beschäftigte, Bürgerinnen und Bürger oder Unternehmen kategorisiert. Je stärker ein Ergebnis in eine Entscheidung mit rechtlichen oder tatsächlichen Auswirkungen einfließt, desto wichtiger werden menschliche Aufsicht, Nachvollziehbarkeit und dokumentierte Prüfungen.

Der EU AI Act gilt stufenweise. Verbote bestimmter KI-Praktiken gelten bereits seit dem 2. Februar 2025. Pflichten für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck gelten seit dem 2. August 2025. Die meisten weiteren Regelungen sind seit dem 2. August 2026 anwendbar. Für bestimmte Hochrisiko-KI-Systeme, die mit regulierten Produkten verbunden sind, gelten Übergangsfristen bis 2027. Für deine Vergabe heißt das: Prüfe nicht nur den gegenwärtigen Lieferumfang, sondern auch die vertragliche Anpassung an künftig einschlägige Pflichten.

Halte vor Beginn des Verfahrens mindestens diese Punkte fest:

• Welcher konkrete Geschäftsprozess wird unterstützt?
• Erzeugt das System Inhalte, Empfehlungen, Bewertungen oder automatisierte Entscheidungen?
• Wer prüft Ergebnisse vor ihrer Verwendung?
• Welche Personengruppen können von fehlerhaften Ergebnissen betroffen sein?
• Werden personenbezogene, besondere Kategorien personenbezogener oder vertrauliche Daten verarbeitet?
• Wird ein allgemeines KI-Modell genutzt, eine Fachanwendung mit eingebetteter KI oder beides?
• Soll die Lösung in vorhandene Fachverfahren, Dokumentenmanagementsysteme oder Identitätsdienste eingebunden werden?

Diese Vorarbeit hilft dir auch bei der Verfahrenswahl und bei der Frage, ob du funktionale Anforderungen, konkrete technische Mindestanforderungen oder eine Kombination daraus benötigst.

AI-Act-Pflichten in Leistungsbeschreibung und Eignung übersetzen

Der AI Act richtet sich je nach Rolle unter anderem an Anbieter, Betreiber, Einführer und Händler. Eine Vergabestelle kann bei der Nutzung eines Systems regelmäßig Betreiberpflichten treffen. Der Auftragnehmer kann zugleich Anbieter einer Anwendung sein oder lediglich ein externes Modell integrieren. Diese Rollen müssen in den Unterlagen klar benannt werden.

Verlange keine pauschale Zusicherung „AI-Act-konform“. Fordere stattdessen Unterlagen und Leistungen, die zur jeweiligen Rolle und Risikoeinordnung passen. Dazu gehören insbesondere Informationen zum vorgesehenen Zweck, zu bekannten Grenzen des Systems, zu Genauigkeit und Leistungsfähigkeit, zu menschlicher Aufsicht sowie zu Protokollierungs- und Dokumentationsfunktionen.

Für KI-Systeme, die als Hochrisiko-KI einzuordnen sein können, solltest du zusätzlich verlangen, dass der Bieter die Risikoeinordnung nachvollziehbar erläutert. Er muss darstellen, welche Konformitätsunterlagen, technischen Dokumentationen, Gebrauchsanweisungen und gegebenenfalls Registrierungen für das angebotene System einschlägig sind. Die Vergabestelle sollte dabei nicht selbst die Konformitätsbewertung ersetzen. Sie kann aber belastbare Nachweise verlangen und ihre Prüfung dokumentieren.

Eine brauchbare Mindestanforderung kann lauten:

„Der Auftragnehmer stellt der Auftraggeberin vor Produktivsetzung eine verständliche Dokumentation zum bestimmungsgemäßen Gebrauch, zu bekannten Einschränkungen, zu erforderlichen Maßnahmen der menschlichen Aufsicht sowie zu Änderungen mit Einfluss auf Sicherheit, Datenschutz oder Risikoeinordnung bereit.“

Wichtig ist der Zusatz zur Produktivsetzung. So verhinderst du, dass notwendige Informationen erst nach Zuschlag oder erst auf Nachfrage vorgelegt werden.

Transparenz und menschliche Aufsicht konkret beschreiben

Generative KI kann überzeugend formulierte, aber unzutreffende Inhalte erzeugen. Fachanwendungen mit KI können falsche Priorisierungen oder verzerrte Empfehlungen liefern. Deshalb muss die Leistungsbeschreibung festlegen, wann Ergebnisse nur als Unterstützung dienen und wann sie keinesfalls unmittelbar übernommen werden dürfen.

Definiere klare Freigabeschritte. Bei einem KI-gestützten Bescheid-Entwurf kann das bedeuten, dass die zuständige Sachbearbeitung jede Ausgabe prüft, fachlich anpasst und die endgültige Entscheidung selbst trifft. Bei einer KI-gestützten Klassifikation sollte nachvollziehbar sein, welche Eingaben, Regeln und Modellversionen zu einer Empfehlung geführt haben.

Fordere mindestens:

• Kennzeichnung KI-generierter Inhalte im Arbeitsbereich, soweit dies technisch möglich und fachlich sinnvoll ist
• Anzeige von Unsicherheiten, Quellenbezügen oder fehlenden Informationen, wenn die Lösung solche Angaben erzeugen kann
• Möglichkeiten zum Korrigieren, Verwerfen und erneuten Anfordern von Ergebnissen
• Rollen- und Rechtekonzepte für Nutzung, Freigabe und Administration
• Protokollierung von Eingaben, Ausgaben, Freigaben und wesentlichen Systemereignissen nach einem festgelegten Umfang
• Abschalt- oder Rückfallverfahren, falls das KI-System nicht verfügbar ist oder auffällige Ergebnisse liefert

Vermeide dabei unrealistische Anforderungen wie eine vollständige Erklärung jedes einzelnen Modellergebnisses. Fordere stattdessen eine für den Einsatzfall ausreichende Nachvollziehbarkeit: Welche Modellversion war aktiv? Welche Datenquellen wurden abgefragt? Welche Parameter, Filter oder Wissensbestände beeinflussten die Ausgabe? Welche Nutzendenaktion führte zur Übernahme?

Datenverarbeitung, Trainingsdaten und Wissensquellen trennen

Datenschutzfragen werden häufig zu spät behandelt. Kläre bereits in der Leistungsbeschreibung, ob der Auftragnehmer personenbezogene Daten im Auftrag verarbeitet. Ist das der Fall, brauchst du regelmäßig eine Vereinbarung zur Auftragsverarbeitung nach Art. 28 DSGVO. Die Vergabeunterlagen sollten hierfür einen Vertragsentwurf enthalten, damit Bieter auf derselben Grundlage kalkulieren.

Bei KI ist zusätzlich entscheidend, Datenflüsse sauber zu trennen. Unterscheide mindestens zwischen Eingabedaten im laufenden Betrieb, Protokolldaten, Daten für eine kundenspezifische Anpassung, Daten in einer Wissensdatenbank für Retrieval-Augmented Generation und Daten für das Training oder die Verbesserung allgemeiner Modelle.

Eine zentrale Vertragsregel kann lauten:

„Der Auftragnehmer verwendet Inhalte, Eingaben, Ausgaben und Protokolldaten der Auftraggeberin nicht zum Training, zur Weiterentwicklung oder zur Qualitätsverbesserung von Modellen für andere Kunden, sofern die Auftraggeberin nicht zuvor ausdrücklich in Textform zugestimmt hat.“

Zusätzlich solltest du festlegen, wo Daten verarbeitet und gespeichert werden, welche Unterauftragnehmer beteiligt sind und wie Änderungen angezeigt werden. Eine bloße Nennung einer Cloud-Region genügt nicht. Frage auch nach Support-Zugriffen, Fernwartung, Sicherungskopien, Löschfristen und Übermittlungen in Drittländer.

Bei Trainingsdaten ist Transparenz besonders wichtig, wenn der Auftragnehmer ein eigenes Modell oder eine individuelle Anpassung anbietet. Verlange eine Beschreibung der Herkunft und rechtlichen Nutzbarkeit der eingesetzten Daten, soweit dies für den angebotenen Leistungsumfang relevant ist. Bei allgemeinen Modellen kann der Anbieter häufig nicht jeden einzelnen Datensatz offenlegen. Dann sind belastbare Angaben zu Datenquellenkategorien, Governance, bekannten Einschränkungen und Maßnahmen gegen rechtswidrige Inhalte sinnvoller als eine unerfüllbare Vollständigkeitsforderung.

Auditierbarkeit als Leistungsmerkmal und Vertragsrecht

Kontrollrechte dürfen nicht nur in Datenschutzanlagen stehen. Sie gehören in den Hauptvertrag und müssen praktisch durchsetzbar sein. Sonst bleibt der Auftraggeber bei Sicherheitsvorfällen, Modelländerungen oder Beschwerden auf bloße Auskünfte des Anbieters angewiesen.

Regle insbesondere Informations-, Prüf- und Änderungsrechte. Der Auftragnehmer sollte relevante Änderungen nicht eigenmächtig in die Produktivumgebung einspielen dürfen, wenn sie Funktionsweise, Sicherheitsniveau, Datenverarbeitung oder Risikoeinordnung wesentlich beeinflussen.

Regelungsbereich	Praktisch nutzbarer Vertragsbaustein
Modelländerungen	Vorabinformation über wesentliche Änderungen einschließlich Auswirkung auf Funktionen, Datenverarbeitung und Leistungsparameter
Prüfungen	Recht auf Einsicht in relevante Dokumentationen, Prüfberichte, Sicherheitsnachweise und Protokolle
Audits	Durchführung risikoorientierter Prüfungen durch die Auftraggeberin oder beauftragte sachkundige Dritte
Sicherheitsvorfälle	Unverzügliche Information, abgestimmte Eindämmung und nachvollziehbare Ursachenanalyse
Unterauftragnehmer	Vorherige Information über Wechsel sowie Widerspruchs- oder Zustimmungsvorbehalt nach Vertragsmodell
Vertragsende	Herausgabe der Daten in nutzbarem Format, dokumentierte Löschung und Unterstützung beim Übergang

Achte auf angemessene Ausgestaltung. Ein unbegrenztes Vor-Ort-Audit ohne Anlass wird bei standardisierten Cloud-Leistungen oft nicht praktikabel sein. Kombiniere deshalb Dokumenteneinsicht, unabhängige Prüfberichte, Remote-Prüfungen und Vor-Ort-Termine für begründete Fälle. Entscheidend ist, dass du bei konkreten Risiken nicht auf unverbindliche Selbstauskünfte beschränkt bleibst.

Zuschlagskriterien auf überprüfbare Qualität ausrichten

Wenn du nur den Preis und allgemeine Funktionslisten bewertest, erhältst du wenig belastbare Aussagen zur tatsächlichen KI-Güte. Nutze wertbare Konzepte und Demonstrationen. Bieter können beispielsweise anhand vorgegebener, anonymisierter Testfälle zeigen, wie ihre Lösung Quellen nutzt, Unsicherheiten behandelt, Ergebnisse protokolliert und menschliche Freigaben unterstützt.

Werte nicht bloß schöne Präsentationen. Lege vorab fest, welche Antworten oder Funktionen zu welcher Bewertung führen. Geeignet sind Kriterien wie Qualität des Aufsichtskonzepts, Transparenz der Datenverarbeitung, Vollständigkeit des Berechtigungskonzepts, Nachvollziehbarkeit der Protokollierung und Qualität des Migrations- oder Exit-Konzepts.

Dokumentiere außerdem, warum eine Anforderung als Mindestanforderung, Zuschlagskriterium oder Vertragsbedingung ausgestaltet wird. Das schützt die Vergleichbarkeit der Angebote und erleichtert die spätere Vertragssteuerung.

Checkliste vor Veröffentlichung der Vergabeunterlagen

• Einsatzfall, betroffene Prozesse und Verantwortlichkeiten sind schriftlich beschrieben.
• Die Risikoeinordnung nach AI Act wurde geprüft und dokumentiert.
• Anforderungen an menschliche Aufsicht sind konkret und testbar formuliert.
• Datenarten, Verarbeitungsorte, Unterauftragnehmer und Löschkonzept sind geregelt.
• Die Nutzung von Eingaben und Ausgaben für Trainingszwecke ist eindeutig verboten oder ausdrücklich begrenzt.
• Nachweise zu Sicherheit, Dokumentation und gegebenenfalls Konformität sind verlangt.
• Wesentliche Modell- und Systemänderungen unterliegen Informations- und Kontrollrechten.
• Audit-, Eskalations- und Exit-Regelungen sind im Vertragsentwurf enthalten.
• Zuschlagskriterien bewerten überprüfbare Qualität statt bloßer Werbeaussagen.

Eine gute KI-Ausschreibung endet nicht mit der Zuschlagserteilung. Sie schafft die Grundlage dafür, dass du die Lösung fachlich sinnvoll, datenschutzgerecht und kontrollierbar betreiben kannst. Passende Seminare und Termine findest du bei uns auf cmt.de.