- Vorwort
- I. Zum Einstieg
- 1. Anwendungsbereich des AI Acts
- a) AI Systems
- (1) Einführung
- (2) A Deeper Dive: Qualitative und quantitative Aspekte von AI Systems
- (3) Kein Anfang und kein Ende? AI-Infrastruktur und AI Systems
- (4) Lösungsansätze aus dem Bereich AI Safety, Computation und UML
- b) Risikobasierter Ansatz
- c) Persönlicher Anwendungsbereich
- (1) Provider/Anbieter
- (2) Product manufacturer/Hersteller
- (3) Deployer/Betreiber
- (4) Importer und Distributor/Einführer und Händler
- d) Räumlicher Anwendungsbereich
- e) AI Literacy (AI-Kompetenz)
- (1) Operationalisierung von AI Literacy
- i. Programmziele
- ii. Schulungsbedarf, einschließlich Zielgruppen und Fachkenntnisniveaus
- iii. Schulungsinhalte
- iv. Schulungsmethoden
- v. Schulungshäufigkeit
- vi. Evaluierung
- (2) Fazit
- 2. Gegenstand dieses Handbuchs
- II. Design
- 1. Die Idee
- 2. Legal Requirements Engineering
- 3. Zweckbestimmung
- a) Usability Engineering
- b) Human Factors Engineering
- 4. Initiale Risikokategorisierung und -bewertung
- III. Entwicklung
- 1. Anforderungen an ein AI System
- a) Qualitätsmanagementsystem
- (1) Arten des Qualitätsmanagements
- (2) Struktur und Bestandteile
- (3) Software- und AI-System-Qualitätsmodelle
- (4) Operationalisierung der rechtlichen Anforderungen von Art. 17
- i. Erste Linie
- ii. Zweite Linie
- iii. Dritte Linie
- b) Risikomanagement
- (1) Risikoidentifizierung
- (2) Bewertung des Risikos
- i. Faktoren für die Abschätzung der Eintrittswahrscheinlichkeit
- ii. Faktoren zur Bewertung der Auswirkungen
- (3) Risikominderung
- (4) Risikoakzeptanz
- (5) Risikotoleranz
- (6) Etablierung von Controlling-, Überwachungs- und Incident-Response-Prozessen
- i. Controlling
- ii. Monitoring
- iii. Incident-Response-Prozesse
- c) Modell-Anforderung: Menschliche Aufsicht
- d) Genauigkeit, Robustheit und Cybersicherheit von AI Systems (Art. 15 AI Act)
- (1) Überblick
- i. Programmsatz für den AI System Life Cycle (Art. 15.1)
- ii. Benchmarking und Normung (Art. 15.2)
- iii. Dokumentationspflichten (Art. 15.3)
- iv. Resilienz (Art. 15.4)
- v. Cybersicherheit (Art. 15.5)
- (2) Einzelerläuterungen
- i. Bedeutung von harmonisierten Normen und Standards im AI Act
- ii. Beständige Funktion („consistent performance“) während des gesamten AI System Life Cycles: Universal Lessons in Machine Learning
- iii. Was sind Feedback Loops und wie sind sie zu behandeln?
- iv. „Engineering Safety in Machine Learning“
- (a) Standardisierung: Gewonnene Erfahrung
- (b) AI Engineering Best Practices
- (c) Praxisbeispiel: Sicherheit und Robustheit von AI Systems im Automotive-Bereich
- (d) Inhärent sicheres Design im Machine Learning
- (e) Ein Framework für das Testing von AI Systems
- (f) AI Red Teaming
- (g) NIST-Testplattform „Dioptra“
- 2. Überblick über Data Governance und Data Management (Art. 10)
- a) Machine Learning und Trainingsdaten in a nutshell
- b) Verpflichtende Qualitätskriterien für Training, Validierung und Testing von AI Systems (Art. 10.1)
- c) Data Governance und Data Management (Art. 10.2)
- d) Standardisierung von Data (Quality) Management
- e) Definitionen und Metriken
- (1) Trainingsdaten („training data“), Art. 3.29
- (2) Validierungsdaten („validation data“), Art. 3.30
- (3) Validierungsdatensatz („validation data set“), Art. 3.31
- (4) Testdaten („testing data“), Art. 3.32
- f) Die einzelnen Verfahren
- (1) Relevant design choices (Art. 10.2.a)
- (2) Data collection processes and the origin of data, and in the case of personal data, the original purpose of the data collection (Art. 10.2.b)
- i. Datenquellen in der Machine-Learning-Praxis
- ii. Datasheets for Datasets
- iii. Datenschutzrecht
- (3) Relevant data-preparation processing operations, such as annotation, labelling, cleaning, updating, enrichment and aggregation (Art. 10.2.c)
- i. Annotation und Labelling
- ii. Data Cleaning
- iii. Updating
- iv. Enrichment
- v. Aggregation
- (4) Formulation of assumptions, in particular with respect to the information that the data are supposed to measure and represent (Art. 10.2.d)
- (5) Assessment of the availability, quantity and suitability of the data sets that are needed (Art. 10.2.e)
- (6) Examination in view of possible biases that are likely to affect the health and safety of persons, have a negative impact on fundamental rights or lead to discrimination prohibited under Union law, especially where data outputs influence inputs for future operations (Art. 10.2.f) sowie Appropriate measures to detect, prevent and mitigate possible biases identified according to point (Art. 10.2.g)
- (7) Identification of relevant data gaps or shortcomings that prevent compliance with this Regulation, and how those gaps and shortcomings can be addressed (Art. 10.2.h)
- g) Der Kampf gegen Bias und Diskriminierung (Art. 10.3, 10.4 und 10.5)
- (1) Erwägungsgründe und Ethics Guidelines for Trustworthy AI der High-Level Expert Group on Artificial Intelligence (HLEG AI, 2019)
- (2) Die Fundamental Right Agency (FRA)
- (3) Forschung und Wissenschaft: It’s not just the data, stupid!
- (4) Internationale Standardisierung
- (5) Hinreichend relevant, repräsentativ und so weit wie möglich fehlerfrei und vollständig in Hinblick auf die Zweckbestimmung
- i. Die Zweckbestimmung des Systems
- (a) Relevanz („relevance“)
- (b) Repräsentativität („representative“)
- (c) Fehlerfreiheit („error-free“)
- (d) Vollständigkeit („complete“)
- (6) Statistische Merkmale in Datensätzen, einzeln oder kombiniert
- i. Statistische Merkmale (Statistical Characteristics)
- ii. Kombination von Datensätzen (Combination of Datasets)
- (7) Geografisch, kontextuell, verhaltensbezogen oder funktional typische Datensätze
- i. Geografische Rahmenbedingungen
- ii. Kontextuelle Rahmenbedingungen
- iii. Verhaltensbezogene Rahmenbedingungen
- iv. Funktionale Rahmenbedingungen
- (8) Verarbeitung sensibler Daten zur Analyse und Mitigation von Verzerrungen (Bias)
- (9) AI, Bias und europäisches Antidiskriminierungsrecht: ein Überblick
- i. Rechtsnormen
- ii. Anwendungsbereiche und geschützte Merkmale
- iii. Direkte und indirekte Benachteiligung
- iv. Rechtfertigung
- v. Positive Maßnahmen
- vi. Beweislastumkehr
- vii. Rechtsfolgen
- viii. Anspruchsgegner
- 3. Testing und Compliance
- a) Sandboxes
- (1) Sandboxen im AI Act
- (2) Einrichtung und Betrieb von AI-Sandboxen
- (3) Ein guter Grund für die Teilnahme an AI-Sandboxen
- (4) Sandbox-Plan
- (5) Exit-Berichte
- (6) Konsequenzen
- (7) Verarbeitung von Daten innerhalb der Sandbox
- b) Testen unter realen Bedingungen außerhalb von AI-Regulatory-Sandboxen
- c) Konformitätsbewertung
- (1) Was?
- (2) Wann?
- (3) Wer und Wie?
- (4) Keine Regel ohne Ausnahme
- (5) Warum?
- d) Harmonisierte Normen, gemeinsame Spezifikationen und Konformitätsvermutung
- (1) Harmonisierte Standards
- (2) Vermutung der Konformität
- (3) Gemeinsame Spezifikationen
- (4) Codes of Conduct and Guidelines
- e) Inverkehrbringen
- 4. Technische Dokumentation
- IV. Deployment
- 1. Provider
- a) Das Offensichtliche
- b) Dokumentation (Art. 18) und automatisch erzeugte Protokolle (Art. 19)
- c) Risikomanagement
- d) Menschliche Aufsicht
- e) Transparenz und Bereitstellung von Informationen für Deployer und/oder Endnutzer
- f) Post-Market Monitoring (Art. 72); Korrekturmaßnahmen und Informationspflicht (Art. 20); Meldung schwerwiegender Vorfälle (Art. 73) und Zusammenarbeit mit den Behörden
- (1) Zielsetzung und Zweck
- (2) Wichtige Merkmale
- (3) Post-Market-Monitoring-Plan
- (4) Abschlussbericht
- (5) Zusammenspiel mit anderen Systemen und Prozessen
- 2. Deployer
- a) Das Offensichtliche: Due Diligence, Verwendung nach Gebrauchsanweisung (Logs, menschliche Aufsicht), Transparenz, Überwachung und Informationspflicht, Berichterstattung
- (1) Due Diligence: Die rechtliche Tiefenprüfung
- (2) Verwendung gemäß der Betriebsanleitung (Protokolle, menschliche Aufsicht)
- (3) Transparenz
- (4) Monitoring und Informationspflichten
- b) Data Governance
- c) Grundrechte-Folgenabschätzung (FRIA)
- (1) Wer?
- (2) Was?
- (3) Warum?
- i. Vornahme von Anpassungen und Durchführung zusätzlicher Maßnahmen
- ii. Bewertung der Akzeptanz von Restrisiken
- (4) Endergebnis
- d) Beratung des Betriebsrats
- e) Datenschutz-Folgenabschätzung
- f) Art. 25 Verpflichtungen entlang der KI-Wertschöpfungskette
- V. Besonderheiten
- 1. Urheberrecht, TDM und Generative AI im AI Act
- a) General Purpose AI im AI Act
- (1) Anbieter von Modellen und Anbieter von Systemen
- (2) Pflichten des Providers eines AI-Modells
- (3) Verpflichtungen der Provider eines General Purpose AI Systems
- (4) Urheberrecht und General Purpose AI Models
- b) Training und Trainingsdaten
- (1) Generative AI benötigt viele Daten
- (2) Memorization und Overfitting
- (3) Text- und Data-Mining
- i. Richtlinie 2019/790 zum Urheberrecht im digitalen Binnenmarkt (CDSM-Richtlinie)
- ii. TDM und Transformer-Modelle
- iii. Drei-Stufen-Test
- iv. Zusammenfassung
- c) Nutzung, Inputs und Outputs
- (1) Nutzung und Inputs
- (2) Outputs
- 2. AI in Finanzdienstleistungen
- a) Zwei Einschränkungen
- b) Eine zusätzliche (wesentliche) Belastung
- c) Wo es doch einfacher wird
- 3. Biometrische und Emotionserkennungssysteme
- a) Biometrische Identifizierung
- b) Biometrische Verifizierung
- c) Biometrische Kategorisierung
- d) Emotionserkennung
- Literaturverzeichnis