Was sind Hochrisiko-KI-Systeme?
Der EU-AI-Act definiert Hochrisiko-KI in zwei Kategorien. Die erste umfasst KI-Systeme, die als Sicherheits-Komponenten in Produkten verwendet werden, die unter EU-Harmonisierungs-Rechtsvorschriften fallen — etwa Medizinprodukte, Maschinen, Aufzüge, Spielzeug, Fahrzeuge. Die zweite umfasst spezifische Anwendungsbereiche aus Anhang III der Verordnung:
- Biometrische Systeme (mit Ausnahmen für reine Identitätsprüfung)
- Kritische Infrastrukturen — Verkehrssteuerung, Wasser-, Gas-, Strom-Versorgung
- Bildung und Berufsausbildung — Zugangs-Entscheidungen, Bewertung von Lernergebnissen, Erkennung verbotenen Verhaltens während Prüfungen
- Beschäftigung und Personalwesen — Personalauswahl, Beförderungs- und Kündigungs-Entscheidungen, Überwachung von Arbeitsleistung
- Zugang zu öffentlichen Diensten und Sozialleistungen
- Strafverfolgung — bestimmte Anwendungen mit Auswirkungen auf Grundrechte
- Migration, Asyl und Grenzkontrolle
- Justizverwaltung und demokratische Prozesse
Die Einstufung als Hochrisiko ist kein Automatismus — in einigen Fällen kann der Anbieter dokumentieren, dass das System nur unterstützend wirkt und keine wesentliche Entscheidungs-Funktion hat. Diese Dokumentation muss strukturiert erfolgen und ist Teil der Konformitäts-Bewertung. Im Zweifelsfall greift die Hochrisiko-Klassifizierung — das ist eine bewusste konservative Auslegung der Verordnung.
Die Konformitäts-Anforderungen im Überblick
Für Hochrisiko-KI-Systeme verlangt der EU-AI-Act ein umfassendes Compliance-Paket. Die Hauptanforderungen, die jeder Anbieter erfüllen muss:
- Risiko-Managementsystem. Ein kontinuierlicher Prozess, der über den gesamten Lebenszyklus des KI-Systems angewendet wird — nicht eine einmalige Bewertung.
- Daten und Daten-Governance. Trainings-, Validierungs- und Test-Datensätze müssen relevant, repräsentativ und fehlerfrei sein. Bias muss aktiv überprüft und behandelt werden.
- Technische Dokumentation. Umfangreiche Dokumentation nach Anhang IV der Verordnung — mit detaillierter Beschreibung des Systems, der Architektur, der Datengrundlagen, der Bewertung.
- Aufzeichnungs-Pflichten (Logging). Das System muss automatisch Ereignisse aufzeichnen, die für die nachträgliche Bewertung relevant sind — einschließlich Anomalien.
- Transparenz und Information der Nutzer. Klare Information über Fähigkeiten und Grenzen des Systems, einschließlich Vorsichtshinweisen.
- Menschliche Aufsicht. Das System muss so gestaltet sein, dass natürliche Personen seine Funktionsweise verstehen und ggf. eingreifen können.
- Genauigkeit, Robustheit und Cybersicherheit. Das System muss ein angemessenes Maß an Genauigkeit und Widerstandsfähigkeit gegen Angriffe aufweisen, dokumentiert in Spezifikationen.
- Qualitäts-Managementsystem. Ein systematisches QM-System für KI-Entwicklung und KI-Betrieb — ISO 42001 ist hier der naheliegende methodische Rahmen.
- Konformitäts-Bewertung. Vor Inverkehrbringen muss eine Konformitäts-Bewertung erfolgen — je nach KI-Typ entweder durch den Anbieter selbst oder durch eine benannte Stelle.
- EU-Konformitäts-Erklärung und CE-Kennzeichnung. Nach erfolgreicher Bewertung erstellt der Anbieter eine Konformitäts-Erklärung und kennzeichnet das System mit CE.
Für Betreiber von Hochrisiko-KI (also Unternehmen, die KI einsetzen ohne sie selbst zu entwickeln) gelten reduzierte, aber dennoch substanzielle Pflichten — insbesondere Aufzeichnung, menschliche Aufsicht und die Nutzung gemäß Gebrauchsanweisung des Anbieters.
Technische Dokumentation nach Anhang IV
Die technische Dokumentation ist das umfangreichste einzelne Dokument der Konformitäts-Bewertung. Anhang IV des EU-AI-Act listet detailliert, was sie enthalten muss:
- Allgemeine Beschreibung des KI-Systems, Verwendungs-Zweck, Versionen
- Detaillierte Beschreibung der Elemente des Systems und seines Entwicklungs-Prozesses
- Beschreibung der Überwachungs-, Funktions- und Kontroll-Methoden
- Methoden und Schritte zur Bewertung der Konformität
- Beschreibung möglicher Änderungen am System
- Aufgeführte harmonisierte Normen (etwa ISO 42001) und Spezifikationen, die angewendet wurden
- Kopie der EU-Konformitäts-Erklärung
- Detaillierte Beschreibung des Bewertungs-Systems nach Inverkehrbringen
Diese Dokumentation muss aktuell gehalten werden — bei wesentlichen Änderungen am System ist sie zu überarbeiten. Aufbewahrungsfrist ist in der Regel zehn Jahre ab Inverkehrbringen.
Risiko-Managementsystem für KI
Der EU-AI-Act verlangt für Hochrisiko-KI ein spezifisches Risiko-Managementsystem — nicht nur eine einmalige Risiko-Bewertung. Anforderungen:
- Iterativer Prozess über den gesamten Lebenszyklus, mit regelmäßiger Aktualisierung
- Identifikation und Analyse der bekannten und vorhersehbaren Risiken, die für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen entstehen können
- Abschätzung und Bewertung der Risiken aus bestimmungsgemäßer Verwendung und vernünftigerweise vorhersehbarer Fehlanwendung
- Bewertung weiterer Risiken auf Grundlage von Daten der Beobachtung nach Inverkehrbringen
- Ergreifen geeigneter Risiko-Management-Maßnahmen — Vermeidung, Minimierung, Information der Nutzer
Wichtig: Die Maßnahmen müssen sich an dem Schutzniveau orientieren, das ein vernünftiges, sachverständiges Urteil rechtfertigt — mit besonderer Berücksichtigung von schutzbedürftigen Personengruppen. Das ist eine substanziell andere Anforderung als die Risiko-Bewertung in einem klassischen ISMS.
Wer prüft die Konformität?
Die Konformitäts-Bewertung erfolgt je nach KI-Typ unterschiedlich:
- Selbst-Bewertung durch den Anbieter bei den meisten Hochrisiko-Systemen aus Anhang III. Voraussetzung: harmonisierte Normen (etwa ISO 42001) werden angewendet, was die Selbst-Bewertung methodisch absichert.
- Konformitäts-Bewertung durch eine benannte Stelle in bestimmten Fällen — etwa bei biometrischen Systemen ohne Anwendung harmonisierter Normen oder bei KI als Sicherheits-Komponente bestimmter Produkte.
In Deutschland wurde die Bundesnetzagentur als nationale Marktüberwachungs-Behörde für den EU-AI-Act benannt. Sie hat die Aufgabe, die Einhaltung der Verordnung zu überwachen, Beschwerden nachzugehen und bei Verstößen einzuschreiten. Daneben sind sektorspezifische Behörden je nach Anwendungs-Bereich zuständig — etwa BaFin im Finanzsektor, die Bundesanstalt für Arbeitsschutz in arbeitsschutzrelevanten Fragen.
Folgen von Verstößen
Die Bußgeld-Höhen im EU-AI-Act sind erheblich und orientieren sich am DSGVO-Modell:
- Verbotene KI-Praktiken: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes
- Verstöße gegen Pflichten für Hochrisiko-KI und GPAI-Modelle: bis zu 15 Millionen Euro oder 3 % des weltweiten Jahresumsatzes
- Falsche Informationen gegenüber Behörden: bis zu 7,5 Millionen Euro oder 1 % des weltweiten Jahresumsatzes
Für KMU und Start-ups gelten teilweise reduzierte Bußgeld-Rahmen. Unabhängig davon können bei schwerwiegenden Verstößen Markt-Rückrufe angeordnet, Inverkehrbringen untersagt und CE-Kennzeichnungen entzogen werden. Die Reputations-Folge übersteigt in der Praxis oft die direkten Sanktionen.
Wichtig: Bußgelder sind nicht der einzige Hebel. Auch zivilrechtliche Haftungs-Folgen können entstehen — bei Schäden durch fehlerhafte KI ist die Beweislast für den Anbieter im Vergleich zur klassischen Produkthaftung verschärft.
Häufig gestellte Fragen
Sechs Fragen, die in fast jedem Audit-Vorbereitungs-Erstgespräch vorkommen. Klicken Sie eine Frage an, um die Antwort zu sehen.
Wir nutzen KI nur intern — gilt das schon als Hochrisiko?
Das hängt vom Anwendungsbereich ab, nicht von der internen oder externen Nutzung. Wenn Sie KI für Personalauswahl einsetzen, ist das Hochrisiko-KI — unabhängig davon, dass nur Ihre HR-Abteilung damit arbeitet. Als Betreiber von Hochrisiko-KI haben Sie reduzierte, aber substanzielle Pflichten. Die genaue Klassifizierung erfolgt im Rahmen der Bestandsaufnahme.
Wir entwickeln eigene KI — wann startet die Vorbereitung?
Idealerweise bevor das System in den Markt geht — konkret: spätestens sechs Monate vor dem geplanten Inverkehrbringen. Die Konformitäts-Bewertung lässt sich nicht in den letzten Wochen nachholen, weil die technische Dokumentation, das Risiko-Managementsystem und die Daten-Governance über den gesamten Entwicklungs-Prozess hinweg aufgebaut werden müssen. Wer früh startet, kann die Anforderungen in den Entwicklungs-Prozess einbauen, statt sie nachträglich zu dokumentieren.
Reicht ISO 42001 als Konformitäts-Nachweis?
Nicht alleine, aber als wesentlicher Baustein. ISO 42001 wird voraussichtlich als harmonisierte Norm anerkannt — ein ISO-42001-konformes Managementsystem schafft die Vermutung der Konformität für die Qualitäts-Management-Anforderungen des EU-AI-Act. Spezifische Pflichten (technische Dokumentation nach Anhang IV, EU-Konformitäts-Erklärung, CE-Kennzeichnung) müssen daneben separat erfüllt werden. ISO 42001 deckt rund 70 Prozent der Konformitäts-Anforderungen ab, die restlichen 30 Prozent sind systemspezifisch.
Was kostet die Audit-Vorbereitung?
Der Aufwand hängt stark vom einzelnen System und der Reife des Unternehmens ab. Bei mehreren Systemen oder komplexen Architekturen ist er entsprechend höher. Hinzu kommen die Kosten der externen Konformitäts-Bewertung, falls eine benannte Stelle nötig ist — diese liegen erfahrungsgemäß in einer ähnlichen Größenordnung wie die Vorbereitung. Unsere Preisstellung erfolgt mandatsspezifisch und aufwandsbasiert nach dem Scoping-Gespräch.
Wir betreiben Hochrisiko-KI eines anderen Anbieters — was müssen wir tun?
Als Betreiber haben Sie reduzierte Pflichten, aber durchaus substanzielle: Sie müssen das System gemäß Gebrauchsanweisung des Anbieters verwenden, menschliche Aufsicht sicherstellen, Eingabedaten überwachen, automatisch generierte Aufzeichnungen aufbewahren, betroffene Personen informieren und bei schweren Vorfällen den Anbieter und die Aufsichts-Behörde benachrichtigen. Die Verantwortung für die Konformitäts-Bewertung selbst liegt aber beim Anbieter.
Können wir nachträglich umstufen, falls sich herausstellt, dass das System kein Hochrisiko ist?
Ja, in begründeten Fällen. Anhang III erlaubt eine Ausnahme von der Hochrisiko-Klassifizierung, wenn das System keine wesentliche Funktion bei der Entscheidung hat oder nur eine vorbereitende Aufgabe erfüllt. Diese Ausnahme muss aber strukturiert dokumentiert und der zuständigen Behörde mitgeteilt werden. Eine willkürliche Umstufung ist nicht möglich — und die konservative Auslegung (im Zweifel Hochrisiko) ist die rechtssicherere Wahl.
Wie wir die Audit-Vorbereitung strukturieren.
Wir beginnen mit einer Klassifizierungs-Analyse: Ist das System tatsächlich Hochrisiko, und wenn ja — welcher Anwendungsbereich greift? Daraus entsteht ein Anforderungs-Bild, das mit dem aktuellen Stand des Systems verglichen wird. Die Lücken-Analyse liefert einen priorisierten Vorbereitungs-Plan mit klaren Meilensteinen.
Wir arbeiten methodisch entlang von ISO 42001, ergänzt um die EU-AI-Act-spezifischen Pflichten. Das hat zwei Vorteile: Sie bauen kein isoliertes Compliance-Konstrukt, sondern ein Managementsystem, das auch langfristig trägt. Und Sie nutzen die Vermutung der Konformität, die mit harmonisierten Normen verbunden ist. Mandatsdauer typischerweise vier bis neun Monate, abhängig von Reife und Anwendungsbereich.