KI-Beschaffung & AI Act

KI beschaffen:
mit Augenmaß und klaren Anforderungen

Wer heute Software ausschreibt, kauft oft KI mit ein: mal als Kernfunktion, mal versteckt im Zusatzmodul. Damit kommen Fragen auf, die über die klassische IT-Beschaffung hinausgehen.

Warum KI-Beschaffung anders ist

Bei herkömmlicher Software lässt sich recht genau beschreiben, was ein System tun soll und wie man das prüft. Bei KI-Systemen schwanken die Ergebnisse dagegen mit Trainingsdaten, Modellversion und Einsatzkontext. Was heute zuverlässig funktioniert, kann sich mit dem nächsten Update verändern. Das hat direkte Folgen für Leistungsbeschreibung, Wertung und Vertrag.


Hinzu kommt der regulatorische Rahmen. Mit dem AI Act gibt es erstmals europaweit verbindliche Regeln für Entwicklung und Einsatz von KI. Sie richten sich nicht nur an Anbieter, sondern auch an die Stellen, die KI-Systeme nutzen, also häufig an Sie als Auftraggeber. Vergaberecht, Datenschutz und Informationssicherheit gelten daneben wie gewohnt weiter.


Mit einem klaren Vorgehen beherrschen Sie diese Anforderungen. Wie, zeigen wir vom ersten Bedarf bis zum Betrieb.

Das wichtigste in Kürze

Drei Punkte, die jede KI-Beschaffung prägen

01

Risikoklasse zuerst

Der AI Act unterscheidet verbotene Praktiken, Hochrisiko-Systeme, Systeme mit Transparenzpflichten und KI mit minimalem Risiko. Die Einstufung bestimmt, was Sie in der Ausschreibung fordern müssen.

02

Sie sind Betreiber

Setzen Sie als Behörde oder Klinik ein KI-System ein, sind Sie in der Regel Betreiber im Sinne des AI Act. Damit haben Sie eigene Pflichten, etwa zur KI-Kompetenz Ihrer Beschäftigten und zur menschlichen Aufsicht.

03

Der Vertrag entscheidet

Transparenz, Daten, Dokumentation und Ausstieg regeln Sie in Leistungsbeschreibung und Vertrag, nicht erst im Betrieb.

Leitfaden

In fünf Schritten zur KI-Beschaffung

Jedes Projekt ist anders, der Weg folgt aber meist demselben Muster. Ausführlich beschreibt ihn unsere Handreichung „KI in der IT-Beschaffung“.

1. Bedarf und Zweck klären

Am Anfang steht nicht das Produkt, sondern die Aufgabe. Welches Problem soll gelöst werden, wer arbeitet mit den Ergebnissen und welche Entscheidungen hängen davon ab? Je genauer die Zweckbestimmung, desto besser lassen sich später Risiken einordnen und Anforderungen formulieren. Prüfen Sie ehrlich, ob Sie überhaupt KI brauchen. Oft reicht eine klassische Automatisierung.

2. Risikoklasse bestimmen

Auf Basis der Zweckbestimmung ordnen Sie das System in die Risikokategorien des AI Act ein. Ein Chatbot, der allgemeine Auskünfte gibt, wird anders bewertet als ein System, das über den Zugang zu öffentlichen Leistungen mitentscheidet. Die Einstufung legt fest, welche Nachweise Sie vom Anbieter verlangen und welche Pflichten Sie selbst im Betrieb erfüllen müssen.

Praxistipp

Für bestimmte Hochrisiko-Systeme müssen öffentliche Stellen vor dem Einsatz eine Grundrechte-Folgenabschätzung durchführen (Art. 27 AI Act). Planen Sie Zeit dafür ein und fordern Sie die nötigen Informationen schon in der Ausschreibung an.

3. Markt erkunden

Der KI-Markt entwickelt sich schnell, und Produktbezeichnungen sagen oft wenig über die tatsächliche Funktionsweise aus. Eine strukturierte Markterkundung (§ 28 VgV) hilft, realistische Anforderungen zu formulieren und den Wettbewerb zu sichern. Achten Sie auf Neutralität und eine saubere Dokumentation, damit die Gespräche nicht zu einer ungewollten Vorfestlegung führen.

4. Leistungsbeschreibung und Wertung

Statt Funktionen abzufragen, die jeder Anbieter mit „Ja“ beantwortet, lohnt es sich, überprüfbare Anforderungen zu stellen. Wie transparent sind die Ergebnisse? Welche Daten werden wo verarbeitet? Wie ist menschliche Aufsicht technisch vorgesehen? Praxisnahe Testszenarien oder eine Teststellung mit eigenen, anonymisierten Fällen machen Angebote vergleichbar.


Typische Anforderungsfelder

  • Zweckbestimmung und Einsatzgrenzen
  • Daten: Herkunft, Verarbeitung und Speicherort
  • Transparenz und Nachvollziehbarkeit der Ergebnisse
  • Menschliche Aufsicht und Eingriffsmöglichkeiten
  • Protokollierung und Dokumentation
  • Informationssicherheit, Updates und Exit-Strategie

5. Vertrag und Betrieb

Mit dem Zuschlag beginnt die eigentliche Arbeit. Regeln Sie im Vertrag Modell-Updates, Dokumentation, Support und die Rückgabe von Daten. Intern brauchen Sie feste Verantwortlichkeiten, Schulungen zur KI-Kompetenz und ein Verfahren für Fehler und Beschwerden.

Ein Beispiel: der KI-Assistent im Bürgerservice

Angenommen, eine mittelgroße Stadt will Anfragen im Bürgerservice mit einem KI-Assistenten beantworten. Auf den ersten Blick ist das ein klassisches Software-Projekt. Bei genauerem Hinsehen stellen sich jedoch schnell neue Fragen: Darf der Assistent nur allgemeine Informationen geben, oder soll er auch bei Anträgen unterstützen? Mit welchen Daten wird er trainiert und wo werden die Gespräche gespeichert? Und wie erfahren Bürgerinnen und Bürger, dass sie mit einer KI sprechen?


Wird der Einsatzzweck eng gefasst, etwa auf Öffnungszeiten, Zuständigkeiten und allgemeine Verfahrensinfos, bleiben die Anforderungen überschaubar. Im Vordergrund stehen dann Transparenz, Datenschutz und eine verlässliche Wissensbasis. Soll der Assistent dagegen Einfluss auf Entscheidungen über Leistungen haben, ändert sich die Lage grundlegend.

Fazit

KI-Beschaffung ist kein Sonderfall, der alles Bekannte über Bord wirft. Viele Grundsätze der IT-Vergabe gelten weiter, sie müssen nur um KI-spezifische Fragen ergänzt werden. Wer früh klärt, wofür ein System eingesetzt wird, und das konsequent in Leistungsbeschreibung und Vertrag übersetzt, schafft die Basis für einen Einsatz, der rechtlich trägt und im Alltag nützt.

Was das Beispiel zeigt

  • Der Einsatzzweck bestimmt die Anforderungen.
  • Transparenz gegenüber Nutzenden gehört von Anfang an dazu.
  • Datenschutz und Speicherort früh klären.
  • Grenzen des Systems klar definieren und dokumentieren.

FAQ

Häufige Fragen zu KI in der Vergabe

Gilt der AI Act auch für öffentliche Auftraggeber?

Ja. Setzt eine Behörde, Kommune oder Klinik ein KI-System ein, ist sie in der Regel „Betreiber“ im Sinne der Verordnung. Welche Pflichten konkret greifen, hängt von der Risikoklasse des Systems ab. Für bestimmte Hochrisiko-Systeme müssen öffentliche Stellen zusätzlich eine Grundrechte-Folgenabschätzung durchführen.

Woran erkenne ich ein Hochrisiko-KI-System?

Maßgeblich ist der Einsatzzweck. Anhang III des AI Act nennt Bereiche wie den Zugang zu öffentlichen Leistungen, Beschäftigung und Personalmanagement, Bildung, kritische Infrastruktur oder Strafverfolgung. Auch KI als Sicherheitsbauteil regulierter Produkte, etwa Medizinprodukte, kann hochriskant sein.

Dürfen wir ChatGPT & Co. im Vergabeverfahren nutzen?

Als Arbeitshilfe ja, etwa für Entwürfe oder Zusammenfassungen. Vertrauliche Angebotsinhalte und personenbezogene Daten gehören aber nicht in frei verfügbare Dienste. Die Wertung entscheidet ein Mensch, dokumentiert wie gewohnt.

Was gehört in die Leistungsbeschreibung einer KI-Beschaffung?

Neben der fachlichen Zweckbestimmung vor allem: Risikoeinstufung und Konformitätsnachweise, Anforderungen an Trainings- und Betriebsdaten, Transparenz und Nachvollziehbarkeit, menschliche Aufsicht, Protokollierung, Datenschutz und Informationssicherheit sowie Regelungen zu Updates, Exit und Datenportabilität.

Reichen die EVB-IT für KI-Verträge aus?

Die EVB-IT bilden eine gute Basis, regeln KI-spezifische Fragen aber nicht vollständig. Die EU stellt Musterklauseln für die Beschaffung von KI bereit, die sich ergänzend nutzen lassen. Wichtig ist, dass Vertragsklauseln und Leistungsbeschreibung zueinander passen.

Wie unterstützt WeCon bei KI-Projekten?

Wir begleiten Sie von der Bedarfs- und Risikoanalyse über Markterkundung und Leistungsbeschreibung bis zum Vergabeverfahren und zum Vertrag. Unser Blick: Vergaberecht, AI Act und technische Umsetzbarkeit.

Ihre Frage ist nicht dabei? Zur Wissensdatenbank →