EU AI Act: Das KI-Gesetz der Europäischen Union

EU-Parlament segnet AI Act ab – Stand März 2024

Am 13. März 2024 hat das EU-Parlament mit großer Mehrheit dem AI Act zugestimmt. Es folgen förmliche Zustimmung der Mitgliedsstaaten, juristische Übersetzung des AI Act in alle Amtssprachen der EU und Veröffentlichung im Amtsblatt der EU, mit dem Ziel, im Juni 2024 in Kraft zu treten.

Was ist ein KI-System?

Die Definition von KI im AI Act lehnt sich an die international anerkannte KI-Definition der OECD an. Da die juristische Übersetzung des AI Act der EU noch aussteht, finden Sie hier die Definition auf Englisch: „‘AI system‘ is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments.”

Ein KI-System nach EU-Recht zeichnet sich durch die Fähigkeit zu Schlussfolgerungen aus, d.h., es kann Vorhersagen und Entscheidungen treffen, die reale und virtuelle Umgebungen beeinflussen. Dies wird durch Techniken wie maschinelles Lernen und logikbasierte Ansätze ermöglicht. KI-Systeme variieren in ihrer Autonomie und können entweder unabhängig oder integriert in Produkte genutzt werden, wobei sie sich durch Nutzung selbstständig anpassen können. Die Definition von KI im AI Act ist recht breit gefasst, was dazu führt, dass eine große Anzahl von Systemen unter die Regulierung fallen kann. Allerdings ist in den Erwägungsgründen zur Erläuterung der Verordnungstexte des KI-Gesetzes klargestellt, dass die Definition nicht einfache herkömmliche Softwaresysteme oder Programmieransätze umfasst, die ausschließlich auf von natürlichen Personen festgelegten Regeln zur automatischen Ausführung von Vorgängen beruhen.

Wen betrifft die KI-Verordnung?

Der EU AI Act sieht vor, dass die Verordnung ausschließlich für Angelegenheiten gilt, die in den Anwendungsbereich des EU-Rechts fallen. Zuständigkeiten von Mitgliedsstaaten oder Regierungsbehörden in Bezug auf die nationale Sicherheit sollen in keiner Weise beschnitten werden. Ausgenommen sind zudem KI-Systeme, die ausschließlich militärischen oder verteidigungspolitischen Zwecken dienen oder nur für Forschung und Innovation verwendet werden, Open-Source-Modelle sowie Systeme von Personen, die KI zu nichtgewerblichen Zwecken nutzen.

Das KI-Gesetz gilt für alle Anbieter von KI-Systemen, die auf dem europäischen Markt angeboten werden. Der Begriff Anbieter umfasst Personen oder Einrichtungen, die ein KI-System entwickeln und auf den Markt bringen. Auch Importeure, Händler und Betreiber unterliegen dem Gesetz.

Kategorisierung von KI-Systemen – Fokus auf Hochrisiko-Systeme

Bei der Einstufung von KI-Systemen verfolgt die KI-Verordnung einen risikobasierten Ansatz. Es werden also nicht alle KI-Systeme gleichbehandelt. Zunächst wird zwischen „herkömmlichen“ KI-Systemen und „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) unterschieden. Letztere ist eine relativ neue Entwicklung seit dem Aufkommen generativer KI-Systeme und wird als eigenständiges Thema behandelt (siehe unten). 

Das Risiko bei sog. Single-Purpose AI (KI mit spezifischem Verwendungszweck) wird nicht anhand ihrer Technologie, sondern anhand ihrer Anwendung bewertet. Die Risikokategorien reichen von „unannehmbar“ über „hoch“ bis zu „begrenzt oder minimal“. Systeme mit unannehmbarem Risiko sind verboten, während solche mit minimalem Risiko keinerlei Vorgaben unterliegen. Der Schwerpunkt des Gesetzesvorschlags liegt also eindeutig auf Hochrisiko-KI-Systemen, für die zahlreiche Compliance-Vorschriften gelten. Anbieter solcher Systeme sind verpflichtet, ein Risikomanagement-System einzuführen und die Anforderungen in puncto Datenqualität und -integrität zu erfüllen. Außerdem müssen sie eine Konformitätsbewertung durchführen und anschließend eine Konformitätserklärung ausstellen. Hochrisiko-KI-Systeme werden in zwei Kategorien eingeteilt:

• Systeme für Produkte, die den EU-Sicherheitsvorschriften unterliegen, – wie Maschinen, Spielzeug, Luftfahrt- und Fahrzeugtechnik, medizinische Geräte und Aufzüge – müssen einer Konformitätsbewertung durch Dritte unterzogen werden. 
• Anbieter von Systemen aus den in Anhang III genannten Bereichen müssen die Konformitätsbewertung selbst durchführen. Dazu gehören kritische Infrastrukturen, Bildung, Beschäftigung, grundlegende private und öffentliche Dienstleistungen (einschließlich Finanzdienstleistungen), Strafverfolgung, Migration/Asyl/Grenzkontrolle sowie demokratische Prozesse (Wahlen). Für die Verwendung von Systemen zur biometrischen Fernidentifizierung (Remote Biometric Identification, RBI), zum Beispiel zur Bekämpfung bestimmter Straftaten, wurden allerdings besondere Regelungen getroffen. 

Bevor Hochrisiko-KI-Systeme aus den Bereichen Öffentliche Hand, Banken oder Versicherung auf den Markt gebracht werden, muss zusätzlich eine Folgenabschätzung im Hinblick auf die Grundrechte (Fundamental Rights Assessment) durchgeführt werden.

Die Bürgerinnen und Bürger sind berechtigt, bei den nationalen Behörden Beschwerden über KI-Systeme und algorithmische Entscheidungen einzureichen, die Auswirkungen auf ihre Rechte haben. 

Verbotene KI-Systeme

KI-Systeme, die ein unannehmbares Risiko darstellen, werden innerhalb von nur sechs Monaten nach der offiziellen Verabschiedung der KI-Verordnung vollständig verboten. Der AI Act listet folgende Anwendungen auf: 

• Systeme zur biometrischen Kategorisierung, die auf sensiblen Merkmalen wie politischer Meinung, religiöser oder philosophischer Weltanschauung, sexueller Ausrichtung oder ethnischer Herkunft basieren
• Sogenannte biometrische Echtzeit-Fernidentifizierungssysteme sind dagegen erlaubt. Sie werden als hochriskant eingestuft und unterliegen strengen Vorgaben: 
  • Zeitliche und örtliche Einschränkungen
  • Für die gezielte Suche nach Opfern (z. B. in Fällen von Entführung oder Menschenhandel)
  • Zur Abwendung der konkreten und unmittelbaren Gefahr eines Terroranschlags
  • Zum Aufspüren oder Identifizieren eines Täters oder Verdächtigen einer schweren Straftat im Sinne der Verordnung
• Ungezielte Erfassung von Gesichtsbildern aus dem Internet oder von Überwachungskameras zur Erstellung einer Datenbank zur Gesichtserkennung
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen 
• Social-Scoring-Systeme, die Personen anhand ihres Sozialverhaltens oder ihrer persönlichen Merkmale bewerten
  
• Systeme, die das Verhalten von Personen manipulieren und deren freien Willen beeinträchtigen
• Anwendungen, die Schwächen bestimmter Personengruppen – insbesondere aufgrund von Alter, Behinderung oder sozioökonomischem Status – ausnutzen 

KI-Systeme der unteren Risikoklassen

Es gibt zwei Arten von KI-Systemen, die ein begrenztes oder minimales Risiko darstellen und auf die daher weniger bis gar keine Pflichten der KI-Verordnung zutreffen:  

• KI-Systeme, die mit Personen interagieren, wie Chatbots oder Empfehlungssysteme. Für sie gelten bestimmte Transparenzpflichten. Von einem KI-System generierte Inhalte wie Unterhaltungen (Chatbots), Deepfakes oder biometrische Kategorisierungen müssen gekennzeichnet werden. Diese Pflichten gehen mit der Einordnung in die Klasse „begrenztes Risiko“ einher. 
• Administrative oder interne KI-Systeme wie Spamfilter oder Predictive-Maintenance-Systeme liegen außerhalb des Anwendungsbereichs der Verordnung und werden daher unter die Kategorie „minimales Risiko“ gefasst.  Für KI-Systeme dieser Risikoklasse sieht die KI-Verordnung keine expliziten Pflichten vor. Unternehmen können jedoch auf freiwilliger Basis Verhaltenskodizes für diese KI-Systeme anwenden. 

KI-Systeme mit allgemeinem Verwendungszweck (GPAI) & Basismodelle

Wie bei „herkömmlichen" (fokussierten, auf einen bestimmten Zweck ausgerichteten) KI-Modellen werden im AI Act auch Basismodelle – die Engines hinter Generativer KI – anhand ihres Risikos eingestuft. Sie sind dank ihrer Flexibilität und ihrem Potenzial zur weitverbreiteten Nutzung als „KI mit allgemeinem Verwendungszweck “ (General Purpose AI, GPAI) bekannt. 

Der AI Act sieht folgende Einstufung vor: Sie basiert nicht auf der Anwendung, sondern auf der Leistung und Reichweite des zugrunde liegenden Basismodells.  

• Level 1: KI mit allgemeinem Verwendungszweck (GPAI): Alle Basismodelle müssen zusätzliche Transparenzpflichten erfüllen. Dazu gehören neben technischer Dokumentation und detaillierten Aufstellungen über die Verwendung urheberrechtlich geschützter Trainingsdaten auch die oben genannten Anforderungen zur Kennzeichnung von Inhalten, die mithilfe von KI generiert wurden. 
• Level 2: GPAI mit erheblichen Auswirkungen: Für „sehr leistungsstarke“ Basismodelle, die systemische Risiken bergen können, gelten zusätzliche Pflichten, beispielsweise in Bezug auf die Überwachung schwerwiegender Vorfälle, die Modellbewertung und Angriffstests. 

Die quantitative, nicht subjektive Unterscheidung zwischen GPAI und GPAI mit erheblichen Auswirkungen erfolgt anhand der Rechenleistung, die zum Trainieren des zugrunde liegenden Basismodells benötigt wird. Diese wird in Gleitkommaoperationen pro Sekunde (Floating Point Operations Per Second, FLOP) gemessen. Der Schwellenwert für GPAI mit erheblichen Auswirkungen liegt bei 10^25 FLOP. 

Um diese neuen Anforderungen in der Praxis zu erfüllen, werden Experten aus Industrie, Wissenschaft und Zivilgesellschaft sowie andere relevante Interessengruppen in Zusammenarbeit mit der Kommission Verhaltenskondizes – und letztendlich harmonisierte EU-weite Normen – entwickeln.  

Konformität

Zur Ausstellung einer Konformitätserklärung müssen Anbieter von Hochrisiko-KI-Systemen die Einhaltung der Verordnung vor der Markteinführung und über den gesamten Lebenszyklus der Systeme hinweg nachweisen:

• Qualitätsmanagement-System (QMS) – Gewährleistung einer angemessenen Governance in Bezug auf Datenqualität, technische Dokumentation, Aufzeichnungspflichten, Risikomanagement, menschliche Aufsicht und Grundsätze der vertrauenswürdigen KI, insbesondere Transparenz, Robustheit, Genauigkeit und Cybersicherheit.
• Validierung des KI-Systems – Sicherstellen, dass die Entwicklung, die Bereitstellung und der Betrieb der jeweiligen Systeme den Grundsätzen vertrauenswürdiger KI entsprechen. In diesem Zusammenhang ist eine Folgenabschätzung im Hinblick auf die Grundrechte durchzuführen, um mögliche negative Auswirkungen aufzuzeigen, die sich aus dem jeweiligen Anwendungsfall des KI-Systems ergeben. 
• Lifecycle Management – Im Rahmen des QMS sind Anbieter nicht nur vor dem Inverkehrbringen, sondern während des gesamten Lebenszyklus von KI-Systemen dazu verpflichtet, Risiken zu minimieren und zu verwalten. Dazu gehört auch die Registrierung von Hochrisiko-Systemen in der EU-Datenbank und die Protokollierung von Vorfällen über den gesamte Lebenszyklus hinweg.  

Durchsetzung

Der Gesetzgeber setzt im Allgemeinen voraus, dass sich Anbieter selbst kontrollieren, indem sie je nach Art des Hochrisiko-KI-Systems selbst eine Konformitätsbewertung vornehmen oder autorisierte Dritte damit beauftragen. Die KI-Verordnung sieht eine Verwaltungsstruktur mit mehreren zentralen Regierungsbehörden vor, die jeweils mit unterschiedlichen Aufgaben in Bezug auf die Umsetzung und Durchsetzung des Gesetzes betraut sind.

Auf EU-Ebene

Das EU AI Office, eine neue Behörde innerhalb der Europäischen Kommission, koordiniert die Umsetzung des Gesetzes in allen EU-Mitgliedsstaaten. Zudem erfolgt die Aufsicht über GPAI mit erheblichen Auswirkungen durch das AI Office.

Ein an das AI Office angebundener Ausschuss, bestehend aus Interessenvertretern aus Wirtschaft und Zivilgesellschaft, gibt Feedback und stellt sicher, dass während des Umsetzungsprozesses ein breites Meinungsspektrum vertreten ist. 

Darüber hinaus soll ein Beratungsforum aus unabhängigen Experten systemische Risiken von KI erkennen, Leitlinien für die Modellklassifizierung bereitstellen und gewährleisten, dass die Regeln und Umsetzung des Gesetzes den neuesten wissenschaftlichen Erkenntnissen entsprechen.

Auf nationaler Ebene 

Die EU-Mitgliedsstaaten müssen zuständige nationale Behörden einrichten oder bestimmen, die für die Durchsetzung des Gesetzes verantwortlich sind. Außerdem sollen sie sicherstellen, dass sämtliche KI-Systeme den geltenden Normen und Vorschriften entsprechen. Zu ihren Aufgaben gehören:  

• Überprüfung der ordnungsgemäßen und rechtzeitigen Durchführung von Konformitätsbewertungen
• Ernennung der „notifizierten Stellen“ (externen Auditoren), die zur Durchführung externer Konformitätsbewertungen berechtigt sind

Abstimmung mit anderen Aufsichtsbehörden auf nationaler Ebene (z. B. für Banken, Versicherungen, Gesundheitswesen, Automobilindustrie usw.) sowie mit dem AI Office auf EU-Ebene.

Sanktionen für Verstöße

KI-Systeme werden nach ihrem Risiko eingestuft. Analog dazu richten sich auch die in der KI-Verordnung vorgesehenen Höchststrafen nach der Schwere des Verstoßes: 

• Verstöße in Bezug auf verbotene KI-Systeme (Artikel 5) können Anbieter bis zu 35 Mio. EUR oder 7 Prozent ihres weltweiten Jahresumsatzes im Vorjahr kosten, je nachdem, welcher Betrag höher ist. 
• Für geringfügigere Verstöße (z. B. gegen Artikel 10 oder 13) können Geldbußen von bis zu 15 Mio. EUR oder 3 Prozent des Jahresumsatzes verhängt werden.
• Fehlerhafte Meldungen können mit bis zu 7,5 Mio. EUR oder 1,5 Prozent des Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist. 
• Neben diesen monetären Strafen können die nationalen Aufsichtsbehörden die Anbieter zwingen, nicht konforme KI-Systeme vom Markt zu nehmen. 

Die KI-Verordnung sieht moderatere Geldbußen für KMUs und Start-ups vor.

Zusätzlich zu den Strafen für Hochrisiko KI gelten folgende Strafen für GPAI-Verstöße: 

• Bis zu 3 Prozent des Jahresumsatzes oder 15 Millionen EUR des Jahresumsatzes. Es gilt die höhere Option. 

Zeitplan der Verordnung

Das Gesetz tritt 20 Tage nach der Veröffentlichung im Amtsblatt der Europäischen Union in Kraft, welche im Mai oder Juni 2024 erwartet wird. In Gänze kommt der AI Act zwei Jahre nach seiner Verabschiedung und förmlichen Veröffentlichung zur Anwendung. Einige Bestimmungen gelten jedoch bereits früher, wobei Hochrisiko-KI-Systeme gemäß Annex II einer dreijährigen Übergangsfrist folgen: 

• 6 Monate: Systeme mit unannehmbarem Risiko werden verboten. 
• 12 Monate: Die Vorschriften für KI mit allgemeinem Verwendungszweck und Basismodelle gelten. 
• 24 Monate: Die restlichen Bestimmungen rund um Hochrisiko-KI-Systeme (Annex III), Transparenzvorschriften sowie nationale regulatorische Sandboxes gelten. 
• 36 Monate: Regeln für Hochrisikosysteme gemäß Annex II 

Um die Übergangszeit bis zur Anwendbarkeit der KI-Verordnung zu überbrücken, hat die Kommission den KI-Pakt (AI Pact) ins Leben gerufen. Er soll eine weltweit einheitliche Regelung fördern und Anbieter von KI-Systemen dazu ermutigen, sich bereits vor den 2026 geltenden gesetzlichen Fristen freiwillig zur Umsetzung der wichtigsten Anforderungen zu verpflichten. Am Ende der Trilog-Verhandlungen traten rund 100 Unternehmen dem KI-Pakt bei. Das europäische Normungsgremium CEN-CENELEC wird die Grundsätze der KI-Verordnung in technische Normen und Standards übersetzen, um die Prüfung und Zertifizierung von KI-Systemen zu erleichtern.  

KI-Systeme nutzen – aber sicher

Auch wenn noch nicht alle technischen Details geklärt sind, vermittelt der AI Act einen hinreichenden Eindruck vom Umfang und Ziel der künftigen Verordnung. Unternehmen werden viele interne Prozesse anpassen und Risikomanagementsysteme stärken müssen. Allerdings kann auf im Unternehmen bestehenden Prozessen aufgebaut werden und aus Maßnahmen von vorherigen Gesetzen wie der DSGVO gelernt werden. Wir empfehlen Unternehmen, bereits jetzt mit den Vorbereitungen zu beginnen und ihre Mitarbeitenden für das neue Gesetz zu sensibilisieren, eine Bestandsaufnahme ihrer KI-Systeme zu veranlassen, angemessene Governance-Maßnahmen sicherzustellen und als hochriskant eingestufte KI-Systeme akribisch zu überprüfen.  

Deloitte steht seinen Kunden hierbei zur Seite: Wir unterstützen Sie dabei, die Komplexität und den Umfang der KI-Verordnung zu meistern und sich auf die künftig geltenden Anforderungen vorzubereiten. Profitieren Sie von der Vordenkerrolle von Deloitte im Bereich der vertrauenswürdigen KI, seiner umfassenden Expertise bei der Entwicklung von KI-Systemen und seiner langjährigen Erfahrung als Wirtschaftsprüfungsunternehmen. Unsere Services orientieren sich an den sechs Lebenszyklus-Phasen von KI-Systemen, die auch in der KI-Verordnung beschrieben sind und der allgemeinen Praxis entsprechen:   

Vordenkerrolle

Deloitte verfügt über umfassende Expertise in Bezug auf die Umsetzung KI-basierter Lösungen sowie die sorgfältige Entwicklung dedizierter Audit-Tools zur Bewertung von KI-Modellen gemäß den Grundsätzen vertrauenswürdiger KI. Unser Ruf als kompetentes Beratungsunternehmen basiert insbesondere auf unseren anspruchsvollen Qualitätsstandards. Um die Konformität Ihrer Systeme zu bewerten, reicht das Ausfüllen eines Fragebogens bei Weitem nicht aus. Deloitte führt eine eingehende quantitative Analyse durch und testet Ihre KI-Modelle auf Herz und Nieren, um Logikfehler, methodische Inkonsistenzen, Implementierungsprobleme, Datenrisiken und sonstige Schwachpunkte zu ermitteln. Wir sind der Überzeugung, dass nur eine derart gründliche Vorgehensweise den Anforderungen unserer Kunden gerecht wird. Dies bedeutet jedoch nicht, dass das Rad bei jeder Analyse neu erfunden werden muss. Im Sinne der Effizienz hat Deloitte in die Entwicklung dedizierter Tools investiert, um die zahlreichen Schritte des Validierungsprozesses zu optimieren. Eine Reihe von Whitepapers (unten) erklärt, wie diese Werkzeuge die Qualität von KI-Systemen rigoros analysieren, und warum das von kritischer Bedeutung ist, um unser Vertrauen in die KI-Modelle und Systeme zu stärken, die entscheidend unsere Gegenwart und Zukunft prägen.