KI in der IT-Beschaffung: Handreichung für öffentliche Auftraggeber – Teil 1

Die IT-Beschaffungslandschaft befindet sich in einem grundlegenden Wandel: Immer mehr klassische IT-Produkte und -Dienstleistungen werden mit KI-Funktionalitäten angereichert. Darüber hinaus zeigen Erkenntnisse aus Markterkundungen sowie aus jüngsten Pressemitteilungen der Industrie, dass die Bedeutung von Künstlicher Intelligenz (KI) für den IT-Markt generell in den letzten Monaten erheblicher zugenommen hat als von vielen erwartet:

Diese Entwicklungen spiegeln sich in zunehmender Integration von KI in Produkte vieler Hersteller wider, wie beispielsweise im TK/UCC Markt bei Mitel, ALE, Cisco und Avaya. Hiermit geht einher, dass diese Hersteller teilweise klassische Produktvarianten nicht mehr ohne KI weiterentwickeln.

Für öffentliche Auftraggeber bedeutet dies, dass sie sich auf neue Herausforderungen bei der Konzeption, Durchführung und Bewertung von IT-Beschaffungen einstellen müssen. Denn KI ist in diesem Sinne nicht einfach eine neue Programmiersprache, mit der Algorithmen und Programmverhalten deterministisch festgelegt werden, sondern KI bedeutet eine fundamental grundlegende Abweichung von diesem deterministischen Grundsatz. Überspitzt dargestellt werden bei einer KI Trainingsdaten eingeworfen, die die KI nach Mustern untersucht, wodurch ihr späteres Verhalten bestimmt wird – dieses Verhalten wird aber bei jeder Aufgabenausführung von der letzten Ausführung abweichen. Als Beispiel: Stellen Sie einer Chat-KI, wie z.B. ChatGPT, mehrfach dieselbe Fragestellung. Die Antwort wird jedes Mal differieren.

Dies bedeutet, dass sich das Verhalten klassischer IT-Funktionen durch diesen Wechsel ändern wird (z.B. funktioniert Rauschunterdrückung komplett anders und liefert andere, teilweise stark schwankende Ergebnisse), bzw. dass IT-Produkte komplett neue Funktionen erhalten (z.B. Sprach- oder Diktatfunktionen).

Der IT-Markt entwickelt sich rapide in Richtung KI-Integration. Was vor wenigen Jahren noch als experimentelle Raketenwissenschaft galt, wird zunehmend Standard. Diese Entwicklung lässt sich besonders deutlich an der Evolution gängiger Office-Anwendungen beobachten: Moderne Textverarbeitungsprogramme nutzen inzwischen KI-gestützte Assistenten für Formatierung, Rechtschreibkorrektur und sogar inhaltliche Vorschläge. Diese Integration geht weit über simple Automatisierung hinaus – die Systeme lernen aus Nutzungsmustern und passen sich individuellen Arbeitsstilen an.

Zum Beispiel hat sich in dem Bereich der Helpdesk-Systeme durch KI-Integration ein fundamentaler Wandel vollzogen. Während früher jede Anfrage manuell klassifiziert und weitergeleitet werden musste, übernehmen heute intelligente Systeme die erste Analyse. Sie kategorisieren eingehende Tickets automatisch, schlagen Lösungen aus der Wissensdatenbank vor und lernen kontinuierlich aus den Rückmeldungen der Nutzer.

Auch im Bereich der IT-Sicherheit wird KI-Integration neue Standards setzen. Moderne Sicherheitslösungen müssen auf Basis aktueller Sicherheitsstrukturen an IT-Sicherheit zwangsweise aufgrund maschinellen Lernens angepasst werden, um z.B. Verhaltensmuster zu analysieren und potenzielle Bedrohungen zu identifizieren. Dadurch wird es möglich, auch bisher unbekannte Angriffsmuster zu erkennen und darauf zu reagieren. Ein Beispiel ist die Erkennung von Phishing-Mails: Statt sich ausschließlich auf vordefinierte Regeln zu verlassen, können KI-Systeme die Struktur, den Kontext und subtile Anomalien in der Kommunikation analysieren.

Die Entwicklung im Bereich Dokumentenmanagement zeigt ebenfalls die tiefgreifende Integration von KI. Moderne Systeme gehen weit über die reine Texterkennung hinaus. Sie analysieren Dokumentinhalte, erkennen Zusammenhänge zwischen verschiedenen Dokumenten und automatisieren die Verschlagwortung. Beispielsweise sei hier die Kategorisierung von Eingangsrechnungen genannt: KI-Systeme können z.B. potenziell nicht nur grundlegende Rechnungsdaten erkennen, sondern diese auch korrekten Kostenstellen und Projekten zuordnen, basierend auf gelernten Mustern.

Videokonferenzsysteme haben durch KI-Integration völlig neue Funktionalitäten erhalten. Neben der intelligenten Steuerung von Kamera und Mikrofon, bieten sie heute teilweise unglaublich gute Hintergrundgeräusch-Filterung, Echtzeit-Übersetzungen, automatische Protokollierung und kontextbezogene Hintergrundinformationen. Ein weiteres anschauliches Beispiel ist die automatische Erstellung von Besprechungsprotokollen: Das System erkennt Sprecher, transkribiert Gespräche und extrahiert wichtige Aufgaben und Entscheidungen (wobei die meisten KI-Systeme hier auf die gleiche Basis aufsetzen – meist Whisper).

Diese Entwicklung bedeutet für öffentliche Auftraggeber, dass sie auch bei vermeintlich "klassischen" IT-Beschaffungen zunehmend KI-Komponenten im Sinne der Vergabe-Entscheidung mitbewerten sollten. Die Herausforderung liegt dabei nicht nur in der technischen Bewertung der KI-Funktionen, sondern auch in der Einschätzung ihrer praktischen Relevanz und ihres Mehrwerts für die Organisation.

Die Integration von KI-Komponenten erhöht die Komplexität der Anforderungsanalyse erheblich.

Bei der Analyse der datenschutzrechtlichen Implikationen müssen Auftraggeber berücksichtigen, wie KI-Systeme mit personenbezogenen Daten umgehen. Beispielhaft sei hier die Nutzung von KI in der Personalverwaltung genannt: Wenn ein Dokumentenmanagementsystem Personalakten automatisch kategorisiert und verschlagwortet, müssen die Verarbeitungsprozesse DSGVO-konform gestaltet sein.

Die Frage der Transparenz von KI-Entscheidungen stellt eine weitere zentrale Herausforderung dar. Auftraggeber müssen definieren, wie nachvollziehbar automatisierte Entscheidungen sein müssen. Im Fall eines KI-gestützten Helpdesk-Systems bedeutet dies etwa, dass nachvollziehbar sein muss, warum eine Anfrage mit einer bestimmten Priorität versehen wurde.

Die Anforderungen an das Training der KI-Komponenten müssen ebenfalls sorgfältig spezifiziert werden. Dabei geht es um Fragen, welche Daten werden für das Training benötigt? Wie wird die Qualität der Trainingsdaten sichergestellt? Nehmen wir die Einführung eines KI-gestützten Übersetzungsdienstes: Die Trainingsmaterialien müssen in diesem Fall fachspezifische Terminologie und behördliche Besonderheiten abdecken.

Die Qualitätssicherung der KI-Ergebnisse erfordert neue Ansätze und Methoden. Anders als bei klassischen IT-Systemen mit deterministischem Verhalten müssen hier Qualitätskriterien für probabilistische Ergebnisse definiert werden. Bei einem KI-gestützten System zur Dokumentenklassifizierung könnte dies bedeuten, dass eine Mindestgenauigkeit von 95% bei der automatischen Kategorisierung gefordert wird.

Um der letztendlichen Komplexität zumindest in Ansätzen entgegenwirken zu können, ist es empfehlenswert die Anforderungsanalyse in diesen, von KI-geprägten, Bereichen hochfunktional zu gestalten, anstatt klassisch konstruktiv.

Die Beschaffung von KI-Systemen unterliegt einem sich kontinuierlich entwickelnden rechtlichen Rahmen. Die Einhaltung der DSGVO bei der Verarbeitung personenbezogener Daten erfordert besondere Aufmerksamkeit. Ein Beispiel aus der Praxis ist die Implementierung eines KI-gestützten Dokumentenmanagements: Hier muss sichergestellt werden, dass die automatische Klassifizierung und Verarbeitung von Dokumenten den Anforderungen an Datensparsamkeit und Zweckbindung entsprechen.

Der EU AI Act bringt weitere spezifische Anforderungen mit sich. Beschaffungsstellen müssen bereits jetzt berücksichtigen, wie diese Regelungen ihre IT-Beschaffungen beeinflussen. Dies betrifft insbesondere die Klassifizierung von KI-Systemen nach Risikoklassen und die damit verbundenen Anforderungen an Transparenz und Kontrolle.

Die Frage der Haftung bei KI-generierten Ergebnissen stellt eine besondere Herausforderung dar. Wenn beispielsweise ein KI-gestütztes Entscheidungsunterstützungssystem fehlerhafte Empfehlungen gibt, muss klar geregelt sein, wer dafür die jeweilige letztendliche Verantwortung trägt. Dies muss in den Vertragswerken und auf Basis der KI-Verordnung entsprechend berücksichtigt werden. Hierbei unberührt bleibt das Thema Entscheidungshoheit, welche, nach aktuellem Stand der Technik und Regeln, nicht an einen Computer delegiert werden kann und darf.

Die Leistungsbeschreibung erfordert daher auch eine neue Herangehensweise. Die Qualitätskriterien für KI-Komponenten ergeben sich hierbei primär aus den Ergebnissen der Anforderungsanalyse. Ein Beispiel ist die Beschaffung eines KI-gestützten Übersetzungssystems: Hier sollten nicht nur die reine Übersetzungsgeschwindigkeit- und -qualität definiert werden, sondern auch die Fähigkeit des Systems, fachspezifische Terminologie korrekt zu erkennen und zu übersetzen.

Die Interpretierbarkeit von KI-Entscheidungen muss klar spezifiziert werden. Bei einem KI-gestützten System zur Betrugserkennung beispielsweise muss nachvollziehbar sein, auf welcher Basis das System eine Transaktion als verdächtig einstuft. Dies ist besonders wichtig, wenn die Ergebnisse als Grundlage für behördliche Entscheidungen dienen.

Die Schnittstellen zwischen klassischen und KI-basierten Funktionen erfordern besondere Aufmerksamkeit. Beispielsweise sollte bei der Verwendung von KI-gestützten Chatbots genau definiert werden, wie die Übergabe zwischen automatisierter und menschlicher Bearbeitung erfolgt.

Die Anforderungen an Training und Anpassung der KI-Systeme, insofern anwendbar, müssen detailliert beschrieben werden. Dies umfasst die Definition von Trainingszyklen, die Qualität der Trainingsdaten und die Möglichkeiten zur Anpassung des Systems an organisationsspezifische Anforderungen. Ein praktisches Beispiel ist die Einführung eines KI-gestützten Textanalysesystems: Hier muss festgelegt werden, wie das System mit behördenspezifischer Terminologie und Dokumentenformaten umgehen soll.