KI in der IT-Beschaffung: Handreichung für öffentliche Auftraggeber – Teil 2

Die erfolgreiche Integration von KI-Komponenten beginnt mit einer durchdachten strategischen Planung. Öffentliche Auftraggeber sollten zunächst eine klare Vision für den Einsatz von KI-Komponenten entwickeln. Dies bedeutet, konkrete Anwendungsfälle zu identifizieren, bei denen KI einen echten Mehrwert bietet. Ein Beispiel ist die Modernisierung eines Bürgerserviceportals: Hier könnte eine KI-gestützte Eingabeunterstützung Bürgern helfen, Anträge vollständig und korrekt auszufüllen, was wiederum den Verwaltungsaufwand reduziert.

Die Bewertung von Risiken und Chancen der KI-Integration muss systematisch erfolgen. Dies umfasst technische, organisatorische und rechtliche Aspekte. Bei der Einführung eines KI-gestützten Dokumentenmanagementsystems müssen beispielsweise die Risiken fehlerhafter Klassifizierungen gegen die Effizienzgewinne durch automatisierte Verarbeitung abgewogen werden.

Der Aufbau notwendiger Kompetenzen im eigenen Haus ist ein kritischer Erfolgsfaktor. Dies bedeutet nicht, dass jede Behörde KI-Experten beschäftigen muss, aber ein grundlegendes Verständnis für KI-Technologien und deren Möglichkeiten ist unerlässlich. Schulungen und Workshops können Mitarbeiter befähigen, KI-Komponenten effektiv zu nutzen und zu überwachen.

Grundsätzliche Fragen, welche alle in diesem Beitrag beschriebene Schritte begleiten sollten, sind die folgenden:

·         Erfolgt die Installation, bzw. das Processing der KI OnPremise, oder in der Cloud? à Dies hat direkten Einfluss aus Datenschutz & Co.

·         Wie lange existieren schon potentielle Anbieter / Integratoren und wie lange existieren geeignete KI Modelle schon?

·         Welcher Art ist die KI (z.B. regelbasiert, Generator etc.) und wie hoch sind die Reifegrade?

·         Wie ist die Funktionsweise der KI und der Grad der Autonomie einzustufen? Während eine regelbasierte KI Aufgaben relativ zuverlässig, wiederholbar und schnell löst, agiert ein reiner KI-Agent komplett anders, denn dieser wäre im Vergleich wenig zuverlässig, langsam und kann auch ggf. unerwünschte Resultate liefern – wäre aber für hochkomplexe und sich ändernde Aufgabenszenarien besser geeignet.

·         Muss die KI noch (vor-)trainiert werden? à Hier sind erhebliche betriebliche Auswirkungen und ggf. qualitative Auswirkungen zu betrachten. Die Verfügbarkeit qualitativ hochwertiger Daten ist für das Training von KI-Systemen von entscheidender Bedeutung. In der Praxis zeigt sich oft, dass die benötigten Daten entweder nicht in ausreichender Menge vorliegen oder nicht die erforderliche Qualität aufweisen. Ein Beispiel ist die Einführung eines KI-gestützten Systems zur Erkennung von Anomalien in Verwaltungsprozessen: Ohne eine ausreichende Menge historischer Daten kann das System keine zuverlässigen Muster erkennen.

·         Wird die KI im laufenden Betrieb weitertrainiert? Falls ja, welche Trainigsarten und Mechanismen greifen hier (z.B. Supervized, Unsupervized, Reinforcement)? à Dies hat direkten Einfluss aus Datenschutz und Qualität.

·         Welche Updatezyklen sind laut Anbieter zu erwarten? à Hier sollten die Aussagen von Anbietern äußerst nüchtern bewertet werden.

·         Kann / Soll die KI ein oder mehrere Jahre ohne Funktionsupgrades laufen?

·         Wer wird mit den entsprechenden Betriebsaufgaben betraut?

·         Existieren schon relevante Erfahrungen mit dieser KI am Markt, bzw. bei anderen Auftraggebern?

·         Wie ist die Anbieterseite einzuschätzen? Gibt es Marktteilnehmer, welche die Lösung bei Wegfall des ursprünglichen Auftragnehmers weiter unterstützen können? Wie könnte ihre entsprechende Exit-Strategie aussehen?

Schon heute ist ein Wandel für Standard-IT Beschaffungen zu vor einem Jahr zu sehen: Es gibt z.B. kaum noch Virenschutz ohne KI, Sogar CPU-Architekturen (z.B. AMD-Prozessoren) werden teilweise schon mit KI-Anteilen ausgestattet, Web-Konferenz Software und Fachanwendungen kommen mit zusätzlichen (teilweise abschaltbaren) KI-Funktionen.

Verschaffen Sie sich einen Marktüberblick: Ist KI bei potenziell fast allen Herstellern enthalten? Möchten Sie diese KI-Anteile ggf. gerne nutzen? Ist diese abschaltbar und falls ja, was sind die Konsequenzen hinsichtlich des Funktionsumfangs der Lösung? Dies sind die ersten Kernfragen, die Sie sich in diesem Zusammenhang stellen sollten.

Markterkundungen sollten in den kommenden Monaten und Jahren zentraler Baustein solcher Beschaffungen darstellen – da hier äußerst wertvolle Informationen gewonnen werden können.

Nutzen Sie hierbei die verschiedenen Arten und Möglichkeiten, die sich bieten, wie z.B.:

·         Geringe Intensität: Internetrecherche, Fachzeitung, Kataloge, Auftragsberatungsstellen,..

·         Mittlere Intensität: Direkter Austausch mit anderen Auftraggebern

·         Hohe Intensität:

o   Austausch von AG mit Unternehmen in Präsenz, Lieferanten- und Messebesuche

o   Ortsbesichtigungen und unterschiedliche Teststellungen (siehe auch folgender Abschnitt)

o   Nutzung z.B. des KOINNO Innovationsplatzes

Hinweis: Bei den hier behandelten Beschaffungen werden Markterkundungen mit geringer Intensität allein in der Regel auch nur gering aussagefähige Resultate liefern.

Beispiele für Handreichungen zu Markterkundungen sind z.B. zu finden über Internetrecherche, bei DVNW,.

Machbarkeitsanalysen und/oder Teststellungen sollten frühzeitig durchgeführt werden. Ein praktisches Beispiel ist die Evaluation eines KI-gestützten Übersetzungsdienstes: In einer Pilotphase kann getestet werden, ob das System mit der spezifischen Fachterminologie und den typischen Dokumentenformaten zurechtkommt.

Die technische Evaluation von KI-Komponenten erfordert einen systematischen Ansatz. Bei einem KI-gestützten System zur Erkennung von Formulareingaben muss beispielsweise sichergestellt werden, dass die Trainingsdaten alle relevanten Handschriften und Dokumententypen abdecken. Die Genauigkeit und Zuverlässigkeit der KI-Modelle muss anhand realistischer Testszenarien überprüft werden.

Sollten Sie erkennen, dass bei einem akuten Beschaffungsvorhaben voraussichtlich Angebote mit KI-Anteilen eingehen werden, prüfen Sie, ob diese KI-Anteile potentiell von nur einem, mehreren, oder einem breiten Anteil des Marktes angeboten werden können. Je nach dem – und dies ist im Zweifel eine taktische Abwägung, welche auf Basis Ihrer KI-Strategie getroffen werden sollte,

·         sehen Sie entsprechende Anforderungen in der Leistungsbeschreibung vor (achten Sie hierbei insbesondere auf klare muss- und soll-Formulierungen),

·         lassen diese bewusst weg,

·         schließen KI aus, oder

·         planen Sie eine Kombination aus Anforderungen und Bewertung dieser KI-Anteile

Datenschutz und Sicherheit erfordern zudem besondere Aufmerksamkeit. Die Compliance mit der DSGVO muss dabei ebenso sichergestellt sein wie die Transparenz der Datenverarbeitung. Bei einem System zur automatisierten Vorgangsbearbeitung muss beispielsweise nachvollziehbar sein, welche Daten wie verarbeitet werden und wie die Datensicherheit gewährleistet wird (siehe KI-Verordnung). Bei der Implementierung eines KI-gestützten Analysesystems für Bürgereingaben muss beispielsweise definiert werden, wie personenbezogene Daten verarbeitet und geschützt werden und wie diese Daten KI-gestützt erhoben oder verarbeitet werden.

Die technische Bewertung von KI-Komponenten erfordert einen systematischen Ansatz.

Die organisatorische Bewertung fokussiert sich auf die praktische Implementierbarkeit. Die Integration von KI-Komponenten in bestehende IT-Landschaften erweist sich oft als komplexer als zunächst angenommen. Dies liegt nicht nur an technischen Herausforderungen, sondern auch an organisatorischen und prozessualen Aspekten. Neben der technischen Anbindung müssen Prozesse für die Übergabe zwischen automatisierter und menschlicher Bearbeitung definiert werden, Mitarbeiter geschult und Qualitätssicherungsmaßnahmen etabliert werden. Die detaillierte Analyse der Integrationserfordernisse muss daher frühzeitig erfolgen. Dies umfasst die Identifikation aller relevanten Schnittstellen, die Analyse von Datenflüssen und die Bewertung von Abhängigkeiten zu anderen Systemen. Ein praktisches Beispiel ist die Integration eines KI-gestützten Analysesystems in eine bestehende Fachanwendung: Hier müssen Datenformate, Übertragungswege und Verarbeitungsregeln genau spezifiziert werden.

Die Anpassungsfähigkeit an organisationsspezifische Anforderungen muss ebenfalls bewertet werden. Ein Beispiel ist die Fähigkeit eines KI-gestützten Textanalysesystems, neue Dokumententypen oder Fachbegriffe zu lernen, ohne dass eine komplette Neutrainierung erforderlich ist. Gleiches gilt als Fragestellung für Updatezyklen.

Die technische Bewertung für KI-Komponenten erfordert besondere Sorgfalt. Die Qualität der KI-Ergebnisse muss dabei messbar gemacht werden. Bei einem System zur automatischen Dokumentenklassifizierung könnte dies bedeuten, dass z.B. eine Mindestgenauigkeit von 95% bei der Kategorisierung gefordert wird, die in einem definierten Testszenario nachgewiesen werden muss.

Ein häufiger Fehler liegt in der Überschätzung dessen, was KI-Systeme tatsächlich leisten – auch entgegen den Anbieterversprechen. Die Erwartungen an die Leistungsfähigkeit von KI-Komponenten sind primär von medialer Berichterstattung und Marketing geprägt und entsprechen oft nicht der Realität im individuellen Anforderungskontext. Ein typisches Beispiel ist die Erwartung, dass ein KI-gestütztes Übersetzungssystem komplexe Fachtexte fehlerfrei übersetzen kann. In der Praxis zeigt sich, dass solche Systeme zwar eine wertvolle Unterstützung bieten, aber keine vollständig autonome Übersetzung leisten können.

Hinweis: Aus praktischer ITler Sicht empfiehlt sich in nahezu jedem Fall die Genauigkeit und Zuverlässigkeit der KI-Modelle anhand realistischer Testszenarien zu überprüfen – ob als Test im Vergabeverfahren, oder im Rahmen der späteren Abnahme eines Systems.

Die wirtschaftliche Bewertung muss ggf. nicht KI-Positionsspezifisch erfolgen, sollte aber in jedem Fall potenzielle Mehrwerte bedarfsgerecht berücksichtigen (Preis zu Leistung). Von einer reinen Preiswertung ist hier klar abzuraten.

Die systematische Bewertung von KI-Komponenten erfordert einen strukturierten Ansatz. Die folgenden Bewertungsansätze können Ihnen hierfür als Hilfestellung für mögliche Berücksichtigungen im Rahmen von Vergabeverfahren dienen. Bitte beachten Sie hierbei, dass diese Bewertungsansätze aufgrund der Natur der Sache eher „weichen“ Konzeptkriterien ähneln und diese auf Ihre konkrete Situation angepasst werden müssen und ggf. auch gar nicht passen.

Grundsätzlich gilt: Definieren Sie so wenige Mindest- und Zuschlagskriterien wie möglich, aber so viele wie nötig. Im Vokabular der UfAB 2018 bedeutet dies:

·         Setzen Sie A-Kriterien nur da, wo Sie den Markt zwingend steuern möchten, bzw. bei Mindestanforderungen, welche für Sie unumstößlich sind.

·         Setzen Sie B-Kriterien nur da,

o   wo der Markt sich unterscheidet oder dedizierte Konzepte benötigt werden, um das Leistungsversprechen beurteilen zu können, oder

o   Marktinformationen nicht durchgängig verfügbar sind, die Information aber entscheidend sein kann.

Die funktionale Qualität bildet das Fundament der Bewertung. Sie umfasst die Genauigkeit der KI-Ergebnisse die durch konkrete Metriken bewertet werden könnte. Bei einem Textanalysesystem könnte dies beispielsweise die Erkennungsrate bestimmter Dokumententypen oder die Genauigkeit der Extraktion relevanter Informationen sein. Die Geschwindigkeit der Verarbeitung und die Skalierbarkeit des Systems müssen im Endeffekt ebenfalls betrachtet werden, da sie direkte Auswirkungen auf die praktische Nutzbarkeit haben.

Nehmen wir an, Sie möchten zu Ihrer bestehenden Telefonanlage eine OnPremise-Lösung inklusive Integrationsdienstleistungen, Supportdienstleistung und Schulungen, aber exklusive aktiver Betriebsunterstützung erwerben, welche aufgezeichnete Anrufe transkribiert und diese Transkription passend an ihr Fall-Dokumentationssystem übergibt (z.B. in der entsprechenden Akte mit ablegt). Entsprechende Anforderungen an Geschwindigkeit, Regel-Erkennungsrate und System-Schnittstellen haben Sie in der Leistungsbeschreibung definieren können. Über z.B. eine Markterkundung haben Sie herausgefunden, dass es mehrere Sprachmodelle gibt (in Konkurrenz zu Whisper von OpenAI), welche allerdings auch unterschiedlich viele Sprache erkennen. Hier bietet sich eine Bewertung der Anzahl zusätzlicher Sprachen an (z.B. über die mindestens benötigten Sprachen hinaus).

Die Integration und der Betrieb bilden einen weiteren wichtigen Bewertungsbereich. Die Einbindung in bestehende Systeme muss dabei unter technischen und organisatorischen Aspekten betrachtet werden.

Um das Beispiel der Spracherkennung fortzuführen: Die Integration dieses Systems kann an mehreren Stellen innerhalb Ihrer eigenen Infrastruktur und mit unterschiedlichen Prozessabläufen erfolgen. So könnten für die Integration wenigstens zwei unterschiedliche Ansätze angeboten werden: Übergabe der Aufzeichnungen durch das Sprachaufzeichnungssystem per Dateiablage oder per Schnittstelle. Im letzteren Fall könnten sie in der Bewertung Pluspunkten vorsehen, da hier eine direkte Prozessdurchgängigkeit zwischen den Systemen gebildet wird. Betriebliche, zu bewertende Aspekte könnten zum Beispiel die Komplexität von Upgrade-Prozessen der Lösung sein.

Die Wirtschaftlichkeitsbetrachtung muss zwingend über die reinen Anschaffungskosten hinausgehen und darf darüber hinaus nicht nur auf dem Preis beruhen. Preislich sollten die Gesamtbetriebskosten, einschließlich Schulungsaufwand, Wartungskosten und eventueller Lizenzgebühren umfasst werden. Ein praktisches Beispiel ist die Einführung eines KI-gestützten Dokumentenmanagementsystems: Hier müssen neben den Initialkosten auch die Aufwände für kontinuierliches Training und Anpassung des Systems – ggf. als Eigenleistung - einkalkuliert werden.

Hinsichtlich des Preis-Leistungs-Verhältnisses gibt es schon mehrere gute Abhandlungen und Beiträge im Netz. An dieser Stelle wird daher nur auf das Folgende fokussiert: Die Auswahl und Ausgestaltung der Bewertungskriterien (ggf. auch Mindeststandards bei den Leistungskriterien) und auch der Zuschlagsformel muss sich primär nach dem Beschaffungsgegenstand und den Charakteristika des erwarteten Wettbewerbs richten.

Nutzen Sie die einfache oder erweiterte Richtwertmethode und spielen Sie das Entscheidungskriterium des Schwankungsbereiches durch, damit Ihr Beschaffungsziel durch die Formel bestmöglich unterstützt wird.

Eine praxisnahe Herangehensweise ist das Durchführen von Formel-Simulationen mit verschiedenen Formeln, um eine geeignete Methode zu identifizieren, die im erwarteten Szenario eine passende Dynamik, bzw. Verhalten zeigt. Dies schützt im Zweifel vor unangenehmen Überraschungen.

Sollten Sie, entgegen allen Bemühungen oder aufgrund anderweitiger Restriktionen, keinen geeigneten Überblick über den Markt und die Aspekte dieses Beitrags erlangen können, oder integriert der entsprechende Markt KI an unterschiedlichen Stellen oder Funktionen, wäre das folgende Kriterium – auch wenn unschön - ein möglicher Bewertungsansatz für KI-Anteile einer IT-Lösung, welche OnPremise betrieben würde:

Bitte beschreiben Sie die angebotenen KI / AI-Anteile ihrer Lösung (DeepL/ML, LLM/NLP etc.).

Gehen sie hierbei auch auf Folgendes ein:

•welche Anteile der Lösung sind betroffen

•ist die Lösung mit vortrainierten oder noch zu trainierenden Modellen ausgestattet.

Gehen Sie bei noch zu trainierenden Modellen auf die erwarteten Aufwände ein

•den Reifegrad und die messbare Qualität der Ergebnisse der KI

•den jeweiligen Anwendungsfall in der Software und deren Praxisbezug

•den jeweiligen Nutzen der KI

•die betrieblichen Folgen dieser KI (operativ, Updates, Upgrades etc.)

•Die Konsequenzen bei Deaktivierung der jeweiligen KI

Hierzu bietet sich ein an Schulnoten angelehntes Bewertungsschema, bzw. das folgende Bewertungsschema an: