Recht der Künstlichen Intelligenz
Legal Aspects of Technology Management - NIT Northern Institute of Technology Management, Hamburg · Teil meines Technology-Management-MBA · Lernnotizen zur Wiederholung.
Die letzte Sitzung des Moduls beginnt mit einem Bildschirm, auf dem überhaupt kein Rechtstext steht: ein Link auf einen Beitrag auf X, erreicht über einen deutschen Nachrichtenbericht über einen Deepfake von Kamala Harris, der während des US-Wahlkampfs kursierte. Nichts wird erklärt. Der Punkt ist, dass jeder im Raum in einem einzigen Videoclip bereits drei oder vier verschiedene Rechtsprobleme sehen kann und keines davon sauber in eine der Schubladen passt, die wir in den vorangegangenen Kapiteln gebaut haben. Das ist die ehrliche Ausgangslage für KI und Recht.
Von dort aus läuft der Tag geradeaus. Zuerst, was KI eigentlich ist, technisch und dann juristisch, denn drei verschiedene Rechtsordnungen haben drei verschiedene Definitionen davon geschrieben. Dann die rechtlichen und ethischen Herausforderungen, in zwei Gruppen von der Klasse erarbeitet. Dann die Rahmenwerke, die KI zu steuern versuchen, eine UNESCO-Empfehlung, ein Bündel US-amerikanischer Instrumente, ein chinesischer Entwicklungsplan, und danach jenes, das eine echte Verordnung mit Zähnen ist, der EU AI Act (KI-Verordnung) vom 13. März 2024, aufgebaut um das Risiko herum. Danach, was KI mit dem geistigen Eigentum macht, und dort beginnen Urheberrecht und Markenrecht zu knirschen. Und schließlich, wie man einen KI-Vertrag einordnet, wenn man selbst derjenige ist, der das System kauft oder verkauft.
Der Grund, warum das hier das Modul abschließt statt es zu eröffnen, ist, dass beinahe jedes frühere Kapitel hier wieder auftaucht. Der EU AI Act ist ein Stück EU-Regulierung, das mitgliedstaatliches Recht harmonisiert. Seine Transparenzpflichten sind Informationspflichten, so wie jene im Datenschutz. Sein Trainingsdatenproblem ist ein urheberrechtliches Problem. Seine Verteilung der Verantwortung zwischen derjenigen Partei, die das System baut, und derjenigen, die es betreibt, ist ein Vertragsproblem. KI ist weniger ein neues Rechtsgebiet als ein Belastungstest für alle alten.
1 · Eine sehr kurze Geschichte, und warum der Raum sie zuerst liest
Abschnitt betitelt „1 · Eine sehr kurze Geschichte, und warum der Raum sie zuerst liest“Die Klasse soll zwei Artikel zur Geschichte der KI lesen, bevor irgendetwas diskutiert wird, einen von Britannica und einen von Coursera, und dann zusammenfassen und diskutieren. Der Zeitstrahl, den die Folien geben, aus Coursera bezogen, lohnt sich zu behalten, weil er erklärt, warum die Regulierung erst jetzt eintrifft.
2 · Was KI technisch ist
Abschnitt betitelt „2 · Was KI technisch ist“Die Arbeitsbeschreibung, die die Folien von IBM übernehmen, lautet, dass KI eine Technologie ist, die Computer und Maschinen in die Lage versetzt, menschliches Lernen, Verstehen, Problemlösen, Entscheiden, Kreativität und Autonomie zu simulieren. Darunter liegen vier ineinander verschachtelte Schichten.
- Unüberwachtes oder teilüberwachtes Lernen, das mit gelabelten und ungelabelten Daten arbeitet
- Selbstüberwachtes Lernen, das aus unstrukturierten Daten implizite Label oder Klassifikationen erzeugt
- Bestärkendes Lernen, durch Versuch und Irrtum und über Belohnungen statt durch das Auffinden verborgener Muster
- Transferlernen, bei dem Wissen aus einer bestimmten Aufgabe auf unbekannte Aufgaben oder Daten angewendet wird
- Variational Autoencoder, die gesammelte Inhalte auf Grundlage von Prompts variieren
- Diffusionsmodelle, die Bildern so lange Rauschen hinzufügen, bis sie unkenntlich sind, und es dann wieder entfernen, um originäre Inhalte zu schaffen
- Transformer, zum Beispiel GPT-4, trainiert auf sequenzierten Daten, um ausgedehnte Inhaltssequenzen zu erzeugen
3 · Was KI juristisch ist: drei Definitionen im Vergleich
Abschnitt betitelt „3 · Was KI juristisch ist: drei Definitionen im Vergleich“Der Klasse wird eine Übung gestellt: die Definitionen von KI in drei Instrumenten zu finden, aufzulisten und zu vergleichen, nämlich UNESCO SHS/BIO/PI/2021, Kapitel 1 Nr. 2 lit. a, 15 U. S. Code § 9401 (3) und Art. 3 (1) des EU AI Act. Sinngemäß sagen sie Folgendes.
| Instrument | Was dort als KI gilt |
|---|---|
| UNESCO SHS/BIO/PI/2021, Kap. 1 Nr. 2 lit. a | Informationsverarbeitende Technologien, die Modelle und Algorithmen so verbinden, dass eine Fähigkeit zum Lernen und zur Ausführung kognitiver Aufgaben entsteht, die zu Ergebnissen wie Vorhersage und Entscheidung in materiellen und virtuellen Umgebungen führt, ausgelegt darauf, mit unterschiedlichen Graden von Autonomie zu arbeiten, und zwar über Wissensmodellierung und Wissensrepräsentation sowie durch die Auswertung von Daten und die Berechnung von Korrelationen. Die genannten Methoden sind, ohne abschließend zu sein, Machine Learning einschließlich Deep Learning und bestärkendem Lernen sowie maschinelles Schlussfolgern einschließlich Planung, Ablaufplanung, Wissensrepräsentation und Schlussfolgern, Suche und Optimierung |
| 15 U. S. Code § 9401 (3) | Ein maschinengestütztes System, das für eine gegebene Menge menschlich definierter Ziele Vorhersagen, Empfehlungen oder Entscheidungen treffen kann, die reale oder virtuelle Umgebungen beeinflussen. Solche Systeme verwenden maschinelle und menschliche Eingaben, um (A) reale und virtuelle Umgebungen wahrzunehmen, (B) diese Wahrnehmungen durch automatisierte Analyse zu Modellen zu abstrahieren und (C) mittels Modellinferenz Optionen für Informationen oder Handlungen zu formulieren |
| Art. 3 (1) EU AI Act | Ein maschinengestütztes System, das für einen Betrieb mit unterschiedlichen Graden von Autonomie ausgelegt ist, das nach der Inbetriebnahme Anpassungsfähigkeit zeigen kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt werden, die physische oder virtuelle Umgebungen beeinflussen können |
Die Folien kochen die Fassung des EU AI Act dann auf eine Zusammenfassung in vier Zeilen herunter: Software, entwickelt mit Deep-Learning-Techniken sowie logik- und wissenschaftsbasierten Konzepten, die Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringt, und zwar im Hinblick auf von Menschen gesetzte Ziele.
4 · Der Machine-Learning-Prozess und die drei Datenklassen
Abschnitt betitelt „4 · Der Machine-Learning-Prozess und die drei Datenklassen“Die Folien gehen den Prozess Schritt für Schritt durch, und der Grund, warum ein Rechtskurs das tut, ist, dass jeder Schritt eine Stelle ist, an der eine Pflicht oder eine Verletzung ansetzen kann.
Exkurs: Legal Tech. Vor den Herausforderungen wird der Raum gefragt, ob KI dem Anwaltsberuf, den Rechtsdienstleistungen, der Justiz und dem öffentlichen Zugang zu ihnen nützen könnte. Die eigenen Beispiele der Folien sind KI-Agenten, die Verträge entwerfen und prüfen, KI-Fallstudien, die von Anwältinnen und Anwälten geprüfte Präzedenzfälle nach der Rechtsargumentation sammeln und analysieren, die man aufbauen will, und sogenannte KI-Anwälte, die auf Webrecherche gestützte Beratung, das Entwerfen von Klagen und Anträgen sowie Dokumentenverwaltung und Vereinfachung für Praktiker, Studierende und Verbraucher anbieten.
5 · Die Gruppenarbeit: rechtliche und ethische Herausforderungen
Abschnitt betitelt „5 · Die Gruppenarbeit: rechtliche und ethische Herausforderungen“Die Klasse teilt sich in zwei Gruppen. Gruppe A sammelt die rechtlichen Risiken und Herausforderungen, Gruppe B die ethischen, in beiden Fällen Risiken für individuelle und kollektive Rechte, für Freiheiten oder für öffentliche Interessen. Drei Fragen steuern das Brainstorming, und eine Frage schließt es ab.
6 · KI im Völkerrecht: die UNESCO-Empfehlung
Abschnitt betitelt „6 · KI im Völkerrecht: die UNESCO-Empfehlung“UNESCO, Empfehlung zur Ethik der KI (SHS/BIO/PI/2021), angenommen am 23. November 2021 und veröffentlicht 2022. Ihr Rechtscharakter ist das Erste, was man festhalten sollte: Sie ist eine Empfehlung an alle Mitgliedstaaten, die von ihr skizzierten Grundsätze, vorgeschlagenen Maßnahmen und Governance-Regime zu übernehmen. Sie ist keine Regulierung als solche, was die Folien als typisch für das Völkerrecht kennzeichnen. Die Grundsätze für den ethischen Einsatz von KI-Technologie stehen auf den Seiten 20 bis 23 des Dokuments.
- Die gewählte KI-Methode muss im Kontext angemessen und verhältnismäßig zu einem legitimen Ziel sein, was Massenüberwachung und Scoring ausschließt
- Alle Risiken für Menschen sind im Voraus zu bewerten und auszuschließen
- Risiken für die Sicherheit von Menschen, Umwelt und Ökosystemen müssen erkannt werden, damit sie verhindert und schließlich beseitigt werden können
- KI-Innovation muss zugänglich und verfügbar sein und dabei lokal relevante Inhalte, Mehrsprachigkeit und Inklusion achten, unabhängig von Geschlecht, Kultur, Alter, Ethnie und sozioökonomischen Faktoren
- Technologisch fortgeschrittene Länder tragen eine Verantwortung zur Solidarität, um globale digitale und Wissensklüfte zu überwinden
- Es muss einen wirksamen Rechtsbehelf gegen diskriminierende und verzerrte algorithmische Festlegungen geben
- Privatheit ist unabdingbar für Menschenwürde und Autonomie; nationales und internationales Datenschutzrecht muss unter Beteiligung mehrerer Interessengruppen aufgebaut, über den gesamten Lebenszyklus eines KI-Systems geachtet und von den Gerichten geschützt werden
- Das umfasst die rechtmäßige Erhebung, Nutzung und Offenlegung personenbezogener Daten, die Möglichkeit betroffener Personen, ihre Rechte auszuüben, sowie ein legitimes Ziel und eine gültige Rechtsgrundlage für die Verarbeitung einschließlich der informierten Einwilligung
- Algorithmische Systeme brauchen angemessene Datenschutz-Folgenabschätzungen einschließlich gesellschaftlicher und ethischer Erwägungen sowie Privacy by Design
- KI-Akteure sind für Entwurf und Umsetzung verantwortlich und rechenschaftspflichtig; Systeme müssen durch technische und institutionelle Gestaltung prüfbar und nachvollziehbar sein, wobei die Staaten Aufsicht, Folgenabschätzung, Prüfung und Sorgfaltsmechanismen einschließlich des Schutzes von Hinweisgebern sicherstellen
- Menschliche Aufsicht, wo angebracht einschließlich inklusiver öffentlicher Aufsicht: ethische und rechtliche Verantwortung muss stets natürlichen Personen oder identifizierbaren juristischen Personen zurechenbar sein
- Menschliche Letztentscheidung: KI darf menschliches Entscheiden und Handeln niemals vollständig ersetzen, und Entscheidungen über Leben und Tod dürfen niemals an KI abgegeben werden
- Transparenz und Erklärbarkeit sind Voraussetzungen für Menschenrechte und ethische Grundsätze; ohne sie verlieren Haftungsregime ihre Wirksamkeit und die Möglichkeit, KI-gestützte Entscheidungen anzugreifen, und damit auch das Recht auf ein faires Verfahren und einen wirksamen Rechtsbehelf. Erklärbarkeit bedeutet, algorithmische Vorgänge und Festlegungen verständlich zu machen und Einblick in ihr Ergebnis zu geben
- Bewusstsein und Kompetenz, gefördert durch offene Bildung, bürgerschaftliches Engagement, digitale Fähigkeiten und Schulung in KI-Ethik, wobei Regierungen, zwischenstaatliche Organisationen, Medien, Wissenschaft, Gemeinschaftsvertreter und private Akteure informierte Entscheidungen und den Schutz vor unzulässiger Beeinflussung sicherstellen
- Multi-Stakeholder-Governance und anpassungsfähige Governance: Völkerrecht, Menschenrechte und nationale Souveränität werden bei der Nutzung von Daten geachtet, mit offenen Standards und Interoperabilität im Interesse aller Akteure einschließlich marginalisierter Gruppen
- Nachhaltigkeit: soziale, kulturelle, wirtschaftliche und ökologische Auswirkungen werden fortlaufend an den Zielen für nachhaltige Entwicklung der Vereinten Nationen gemessen
Das Quiz macht einen negativen Punkt ausdrücklich: Philanthropie ist kein UNESCO-Grundsatz zur Ethik der KI, während das Recht auf Privatheit und Datenschutz, Nachhaltigkeit, menschliche Aufsicht und Letztentscheidung sowie Bewusstsein und Kompetenz allesamt Grundsätze sind.
7 · Die anderen Regelwerke: die Vereinigten Staaten und China
Abschnitt betitelt „7 · Die anderen Regelwerke: die Vereinigten Staaten und China“- Der Blueprint for an AI Bill of Rights des Weißen Hauses (Okt. 2022), unverbindlich, mit Grundsätzen wie Hinweis und Erklärung, Schutz vor algorithmischer Diskriminierung sowie menschlichen Alternativen, Prüfung und Rückfalloptionen
- Eine freiwillige Selbstverpflichtung zur KI-Sicherheit (Juli 2023), unterzeichnet von großen Technologieunternehmen darunter OpenAI, Meta, Alphabet, Microsoft, IBM, Stability AI, Adobe und Amazon
- Executive Order 14110 vom 30. Oktober 2023 über die sichere, geschützte und vertrauenswürdige Entwicklung und Nutzung von KI, mit dem Ziel, Sicherheit, Schutz und Datenschutz zu gewährleisten, Gleichheit und Bürgerrechte voranzubringen, für Verbraucher, Patienten, Studierende und Beschäftigte als schutzbedürftige Betroffene einzutreten, Innovation und Wettbewerb zu fördern und eine verantwortliche und wirksame Nutzung von KI durch die Regierung sicherzustellen
- Pro: die erste wirksame US-Regulierung zu KI, die die Risiken einer unregulierten Nutzung und Inbetriebnahme sowie die Rechenschaft von Technologieunternehmen ausdrücklich anerkennt und angeht
- Contra: ein sehr weiter Anwendungsbereich, keine Einteilung von KI-Systemen nach ihrer Wirkung auf individuelle Rechte, kein spezifisches Verbot und keine spezifische Regulierung hochriskanter Modelle, und eine Rechenschaft, die vor der Offenlegung von Modellen und Datenquellen haltmacht
- All das wurde durch eine Executive Order vom 23. Januar 2025 aufgehoben und soll binnen 180 Tagen durch einen Aktionsplan ersetzt werden, der die weltweite KI-Dominanz Amerikas für menschliches Aufblühen, wirtschaftliche Wettbewerbsfähigkeit und nationale Sicherheit erhalten und ausbauen (Sect. 4, 2) und Hindernisse für amerikanische KI-Innovation beseitigen soll (Sect. 1). Das Fazit der Folien: Nach heutigem Stand sind Nutzung und Inbetriebnahme von KI durch US-Recht nicht reguliert
- Ein Entwicklungsplan für KI der nächsten Generation, erlassen vom Staatsrat am 20. Juli 2017
- Es handelt sich um einen strategischen Aufriss für die chinesische Marktdominanz bei der KI-Technologie, mit den zugrunde liegenden ideologischen und dogmatischen Grundsätzen und einer Entwicklungsagenda, die bis 2030 erreicht werden soll und ausdrücklich die Vorteile eines sozialistischen Systems nutzt
- Bis 2025: erste KI-Gesetze und -Regelungen, ethische Normen und Politiksysteme sowie der Aufbau von Fähigkeiten zur Sicherheitsbewertung und -kontrolle bei KI
- Bis 2030: weltweit führende Zentren für KI-Technologieinnovation und Personalausbildung, dazu umfassendere KI-Gesetze und -Regelungen, ethische Normen und ein Politiksystem
Liest man die beiden Spalten nebeneinander, wird die Position der EU offensichtlich. Eine Rechtsordnung hat dereguliert, eine andere hat einen Entwicklungsplan, dessen Rechtsinstrumente noch immer versprochen sind, und dazwischen hat die EU eine tatsächliche Verordnung erlassen. Deshalb geht es im Rest des Kapitels um den EU AI Act.
8 · Der EU AI Act: Zweck und Aufbau
Abschnitt betitelt „8 · Der EU AI Act: Zweck und Aufbau“Der EU AI Act vom 13. März 2024 wird in den Folien als der weltweit erste Regulierungsakt zu KI beschrieben. Sein Zweck ist nach Art. 1 Nr. 1, Vorschriften festzulegen, die Innovation unterstützen, das Funktionieren des Binnenmarkts verbessern und die Verbreitung menschenzentrierter und vertrauenswürdiger KI fördern, und dabei ein hohes Schutzniveau gegen die schädlichen Auswirkungen von KI für Gesundheit, Sicherheit und die in der EU-Grundrechtecharta verankerten Grundrechte zu gewährleisten, ausdrücklich einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz.
Er harmonisiert die Rechtsvorschriften der Mitgliedstaaten, und Art. 1 Nr. 2 legt fest, was er tatsächlich enthält.
| Baustein | Wo er steht |
|---|---|
| Praktiken mit unannehmbarem Risiko sind verboten - Social Scoring und manipulative KI sind die Beispiele der Folien | Art. 5 |
| Hochrisiko-KI-Systeme: Einstufungsregeln und dann strenge Anforderungen | Art. 6 und 7 für die Einstufung, Art. 8 ff. für die Anforderungen |
| Transparenzpflichten für KI-Systeme, die mit Menschen interagieren, gerichtet an Anbieter und Betreiber, soweit nicht öffentlich | Art. 50, dazu Art. 2 Nr. 1 und Art. 3 (2), (3) zu Anwendungsbereich und Akteuren |
| Regeln zu Marktbeobachtung, Marktüberwachung, Governance und Durchsetzung | Kapitel VII bis IX, also Art. 64 bis 94 |
| Maßnahmen zur Innovationsförderung | Art. 57 bis 63, das Kapitel, das mit KI-Reallaboren beginnt |
Der Transparenzblock lohnt zweimaliges Lesen, denn er benennt seine Adressaten: Emotionserkennungs- und biometrische Systeme, Bild-, Ton- oder Videomanipulation, also Deep Fakes, und KI-erzeugte oder KI-manipulierte Texte, die zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse veröffentlicht werden. Die daran anknüpfende Pflicht besteht darin, die natürlichen Personen, die dem System ausgesetzt sind, über dessen Funktionsweise zu informieren, sofern das nicht offensichtlich ist (Art. 50 (1) Satz 1), und sie gilt nicht, soweit die genannten Zwecke gesetzlich erlaubt sind (Art. 50 (1) Satz 2 und Art. 50 (2)). Gegen die Verordnung geprüft verlangt Art. 50 außerdem von Anbietern, synthetische Audio-, Bild-, Video- oder Textinhalte in einem maschinenlesbaren Format zu kennzeichnen, das als künstlich erzeugt erkennbar ist, verlangt von Betreibern von Deep-Fake-Systemen, die Manipulation offenzulegen, und verlangt, dass die Information die Menschen klar und unterscheidbar spätestens zum Zeitpunkt der ersten Interaktion oder Exposition erreicht.
9 · Die Risikopyramide, Stufe für Stufe
Abschnitt betitelt „9 · Die Risikopyramide, Stufe für Stufe“Das ist das mit Abstand nützlichste Bild des Moduls. Die Quelle ist die Darstellung der Europäischen Kommission selbst.
Was tatsächlich verboten ist (Art. 5). Prüft man die Verordnung gegen die beiden Beispiele der Folien, umfasst die Liste der verbotenen Praktiken: unterschwellige, absichtlich manipulative oder täuschende Techniken, die das Verhalten wesentlich verzerren und erheblichen Schaden verursachen; die Ausnutzung von Schwächen aufgrund von Alter, Behinderung oder einer besonderen sozialen oder wirtschaftlichen Lage, wiederum dort, wo das Verhalten wesentlich verzerrt wird und erheblicher Schaden entsteht; Social Scoring, also die Bewertung oder Einstufung von Menschen über einen Zeitraum hinweg nach ihrem Sozialverhalten oder ihren persönlichen Eigenschaften, wenn die Bewertung zu einer Schlechterstellung in Zusammenhängen führt, die mit den ursprünglichen Daten nichts zu tun haben, oder zu einer ungerechtfertigten oder unverhältnismäßigen Behandlung; die Vorhersage des Risikos, dass eine Person eine Straftat begeht, allein auf Grundlage von Profiling oder Persönlichkeitsmerkmalen; den Aufbau oder die Erweiterung von Gesichtserkennungsdatenbanken durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachung; das Ableiten von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen, außer aus medizinischen oder Sicherheitsgründen; biometrische Kategorisierung, die auf Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder weltanschauliche Überzeugungen, Sexualleben oder sexuelle Orientierung schließt; und die biometrische Fernidentifizierung in Echtzeit in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, außer in den eng aufgezählten Fällen mit vorheriger Genehmigung.
Wie ein System zum Hochrisikosystem wird (Art. 6 und 7). Es gibt zwei Wege. Entweder ist das System eine Sicherheitskomponente eines Produkts oder selbst ein Produkt, das von den aufgeführten Harmonisierungsrechtsvorschriften der Union erfasst wird und einer Konformitätsbewertung durch Dritte unterliegt; oder es fällt in einen der in Anhang III aufgeführten Bereiche: Biometrie, kritische Infrastruktur, allgemeine und berufliche Bildung, Beschäftigung und Personalmanagement, Zugang zu wesentlichen privaten und öffentlichen Diensten und Leistungen, Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse. Art. 6 (3) eröffnet einen Ausweg dort, wo das System kein erhebliches Schadensrisiko birgt, weil es nur eine eng umgrenzte Verfahrensaufgabe erfüllt, das Ergebnis einer abgeschlossenen menschlichen Tätigkeit verbessert, Entscheidungsmuster erkennt, ohne die menschliche Bewertung zu ersetzen, oder vorbereitende Arbeit leistet. Ein System, das jedoch natürliche Personen einem Profiling unterzieht, ist stets ein Hochrisikosystem, und ein Anbieter, der sich auf die Ausnahme beruft, muss diese Bewertung dokumentieren, bevor er das System in Verkehr bringt. Art. 7 ist der Mechanismus zur Änderung von Anhang III, mit einer Liste von Kriterien wie Zweckbestimmung, Autonomie und menschlicher Übersteuerung, Abhängigkeit der betroffenen Personen, Machtungleichgewicht und der Frage, ob das Ergebnis umkehrbar ist.
Was hohes Risiko kostet (Art. 8 ff.). Die Anforderungen, die die Verordnung aufstellt, sind ein Risikomanagementsystem (Art. 9), Daten und Daten-Governance (Art. 10), technische Dokumentation (Art. 11), Aufzeichnungspflichten (Art. 12), Transparenz und Bereitstellung von Informationen für die Betreiber (Art. 13), menschliche Aufsicht (Art. 14) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15).
10 · Wer ist wer: Anbieter, Betreiber, Einführer, Händler
Abschnitt betitelt „10 · Wer ist wer: Anbieter, Betreiber, Einführer, Händler“Die Folien richten die Transparenzpflichten an Anbieter und Betreiber und verweisen auf die Definitionen in Art. 3 und den Anwendungsbereich in Art. 2. Gegen die Verordnung selbst geprüft lauten die Definitionen in Art. 3 wie folgt, und der Sammelbegriff für sie alle ist Akteur.
| Rolle | Wer das ist | Was der Rechtsakt für ein Hochrisikosystem von ihnen verlangt |
|---|---|---|
| Anbieter, Art. 3 (3) | Wer ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt, entgeltlich oder unentgeltlich | Art. 16: die Anforderungen einhalten, Name und Kontaktanschrift auf dem System anbringen, ein Qualitätsmanagementsystem betreiben, die Dokumentation und die automatisch erzeugten Protokolle aufbewahren, die Konformitätsbewertung vor dem Inverkehrbringen abschließen, die EU-Konformitätserklärung ausstellen, die CE-Kennzeichnung anbringen, registrieren, Korrekturmaßnahmen ergreifen, auf begründetes Verlangen die Konformität nachweisen und die Barrierefreiheitsanforderungen erfüllen |
| Betreiber, Art. 3 (4) | Wer ein KI-System in eigener Verantwortung verwendet, es sei denn, die Verwendung ist eine persönliche, nicht berufliche Tätigkeit | Art. 26: das System entsprechend der Betriebsanleitung verwenden, die menschliche Aufsicht Personen übertragen, die die nötige Kompetenz, Schulung und Befugnis dafür haben, sicherstellen, dass die Eingabedaten relevant und hinreichend repräsentativ sind, soweit sie darüber Kontrolle haben, den Betrieb überwachen, die Verwendung aussetzen und Anbieter sowie Marktüberwachungsbehörde informieren, wenn ein Risiko auftritt, und schwerwiegende Vorfälle melden |
| Einführer, Art. 3 (6) | Eine Person in der EU, die ein System in Verkehr bringt, das den Namen oder die Marke einer in einem Drittland niedergelassenen Person trägt | Art. 23: vor dem Inverkehrbringen prüfen, dass die Konformitätsbewertung durchgeführt und die technische Dokumentation erstellt wurde, dass CE-Kennzeichnung, Konformitätserklärung und Betriebsanleitung vorhanden sind und ein Bevollmächtigter benannt wurde; ein nicht konformes oder gefälschtes System nicht in Verkehr bringen; den eigenen Namen und die eigenen Kontaktdaten hinzufügen; dafür sorgen, dass Lagerung und Transport die Konformität nicht beeinträchtigen |
| Händler, Art. 3 (7) | Jede Person in der Lieferkette außer dem Anbieter oder dem Einführer, die ein System auf dem Unionsmarkt bereitstellt | Art. 24: CE-Kennzeichnung, Konformitätserklärung und Betriebsanleitung prüfen sowie prüfen, dass Anbieter und Einführer ihre Pflichten erfüllt haben; ein nicht konformes System zurückhalten; die Konformität während Lagerung und Transport wahren; Korrekturmaßnahmen, Rücknahme oder Rückruf ergreifen oder veranlassen; die Behörden informieren und auf begründetes Verlangen die Dokumentation herausgeben |
Zum Anwendungsbereich erfasst Art. 2 (1) Anbieter, die Systeme auf dem EU-Markt in Verkehr bringen, gleich wo sie niedergelassen sind, in der EU niedergelassene Betreiber, Anbieter und Betreiber in Drittländern, soweit die Ausgabe in der Union verwendet wird, Einführer und Händler, Produkthersteller, Bevollmächtigte sowie betroffene Personen, die sich in der EU befinden.
11 · Drei Dinge, die diese Folien nicht klären
Abschnitt betitelt „11 · Drei Dinge, die diese Folien nicht klären“12 · KI und geistiges Eigentum
Abschnitt betitelt „12 · KI und geistiges Eigentum“Die IP-Hälfte der Sitzung beginnt damit, die Landkarte neu zu zeichnen, und fragt dann, was KI mit ihr macht.
Urheberrecht. Es erlaubt der Schöpferin, dem Urheber oder dem Rechteinhaber, die eigene individuelle Schöpfung zu schützen, also Auswahl, Anordnung und Zusammenstellung, und anderen die Vervielfältigung des Werks ohne Erlaubnis zu untersagen, und es entsteht automatisch mit der Schöpfung. Nach EU-Recht ist eine Schöpfung schutzfähig, wenn sie genau und objektiv identifizierbar ist. Die Folien geben außerdem einen außereuropäischen Maßstab, nämlich die Kriterien, die nach chinesischem Recht vom Beijing Internet Court im Jahr 2023 angewendet wurden: Das Werk muss (a) den Bereichen Literatur, Kunst oder Wissenschaft angehören, (b) Originalität besitzen, (c) eine Ausdrucksform haben und (d) das Ergebnis einer geistigen Leistung sein.
Marken. Eine Marke hält Wettbewerber davon ab, das eigene Zeichen oder ein ähnliches ohne Erlaubnis zu benutzen, und erlaubt es, die Marke zu verkaufen und zu lizenzieren; die Folien zitieren dafür Art. 9 der EU-Markenverordnung und geben die Verordnungsnummer auf jener Folie mit (EU) 2017/1007 und auf den Folien zur Unterscheidungskraft mit (EU) 2017/1001 an, weshalb ich beide festgehalten habe, statt eine auszuwählen. Eingetragen werden können nur bestimmte und klassifizierbare Waren und Dienstleistungen (Art. 31 § 1 c), wobei der Umfang der Angabe in Art. 33 § 2 geregelt ist). Der Schutz ist territorial, die Marke muss also bei der zuständigen Behörde eingetragen werden, UKIPO, USPTO, EUIPO, und der Schutzumfang ist entsprechend begrenzt. Unterscheidungskraft nach Art. 7 bedeutet, dass die Waren und Dienstleistungen nicht bloß beschreibend sein dürfen, und sie wird beurteilt nach (1) der Wahrnehmung der maßgeblichen Zielgruppe, (2) dem angemessen informierten, aufmerksamen und verständigen Durchschnittskunden für diese konkreten Waren und Dienstleistungen, (3) einer dynamischen Wahrnehmung, die die üblichen Gepflogenheiten und das Wissen in diesem Marktsegment berücksichtigt, und (4) marktspezifischen Abweichungen. Die genannten US-Entsprechungen sind die Schwelle der Originalität und der Erschöpfungsgrundsatz, die First-Sale-Doktrin.
Die Nizza-Klassifikation. Ein internationales Abkommen, das von den meisten Ländern einschließlich der EU ratifiziert und genutzt wird, um die Klassifikation von Waren und Dienstleistungen einheitlich zu halten. Es hat 34 Klassen für Waren und 11 für Dienstleistungen, und es verleiht für sich genommen keine durchsetzbaren Rechte.
Algorithmische Rechtsverletzung. Die Übung besteht darin, den Machine-Learning-Prozess noch einmal rückwärts durchzugehen und bei jedem Schritt zu fragen, welche Rechte die Arbeitsweise eines Algorithmus verletzen könnte und wie, und dann zu fragen, welche Maßnahmen man bei der Entwicklung eines eigenen KI-Systems ergreifen würde, damit während seines Lernprozesses kein Recht des geistigen Eigentums verletzt wird. Vier Präzedenzfälle werden angeboten, falls die Zeit reicht: Getty Images v Stability AI vor dem britischen High Court of Justice, nach Civil Procedure Rules Part 17 Rule 17.3 und Part 24 sowie den Sections 16, 17 und 20 des Copyright, Designs and Patents Act 1988; Gemini Data v Google, 11. September 2024; Center for Investigative Reporting, Inc. v. OpenAI, Inc., et al., 27. Juni 2024; und Andersen v Stability AI, ND Cal, August 2024, Richter Orrick.
Die Quizantworten, die die eigentliche Position der Sitzung sind. Zu der Frage, was durch geistiges Eigentum geschützt werden kann: Ein virtuelles McDonald’s-Restaurant kann es, und ein Betriebssystem kann es. Die Art, wie du deine Uhr gerne verkehrt herum trägst, kann es nicht, ein Hemd mit dem aufgedruckten Kopf eines Lego-Männchens kann es nicht, und, das ist der wichtige Punkt, ein von KI erzeugtes Bild vom Hund deines Nachbarn kann es nicht. Liest man das gegen die urheberrechtlichen Kriterien, wird der Grund sichtbar: Der Schutz ist um eine individuelle Schöpfung herum gebaut, die eine geistige Leistung mit Originalität ist, und ein KI-erzeugtes Bild wird nicht so behandelt, als erfülle es das. Zu der Frage, wie eine KI verletzen könnte: durch das Sammeln geschützter Informationen als Trainingsdaten und durch die Verwendung urheberrechtlich geschützter Kunst zur Erzeugung eines Bildes. Eine Marke selbstständig zu lizenzieren, die eigene Ausgabe nach dem Nizzaer Abkommen zu klassifizieren und Open-Access-Datenbanken für Testdaten zu verwenden, sind allesamt als keine Rechtsverletzungen gekennzeichnet.
13 · KI-Verträge: die vierstufige Einordnung
Abschnitt betitelt „13 · KI-Verträge: die vierstufige Einordnung“Die letzte Folie des Moduls ist eine Methode und keine Klauselliste. Wenn ein KI-System beschafft oder geliefert wird, arbeite vier Schritte der Reihe nach ab.
-
Bestimme den Vertragsgegenstand. Vereinbart ihr (a) Waren, also KI-Systeme oder Software mit KI-Komponenten, (b) Dienstleistungen, die KI-Technologie nutzen oder verwalten, oder (c) sonstige Leistungen, wofür das Beispiel der Folien medizinische Studien oder eine Behandlung ist, bei der die Diagnostik mit Hilfe von KI erfolgt?
-
Halte die Haupt- und Nebenpflichten beider oder aller Parteien fest. Bei Waren heißt das Bereitstellung, Inbetriebnahme oder Vertrieb und die Frage, ob das Erworbene (Teil-)Eigentum, eine bestimmte Lizenz oder eine Miete ist. Die Nebenebene umfasst die Einbettung in die bestehende IT-Infrastruktur, die Wartung und besondere Regelungen wie ein NDA.
-
Entscheide, ob die Software oder das KI-System individualisiert oder standardisiert ist, und dort, wo es darauf ankommt, ob die Überlassung befristet oder dauerhaft ist.
-
Führe die Risikobewertung durch. Handelt es sich um ein Hochrisiko-KI-System nach Art. 6 bis 8 des EU AI Act? Greifen die Transparenzpflichten des Art. 50?
Schritt 4 ist derjenige, der das ganze Kapitel verbindet. Sobald man die Stufe kennt, kennt man die bestehenden Pflichten, und jede Pflicht aus Abschnitt 9 und Abschnitt 10 oben muss im Vertrag bei einer benannten Partei landen, denn der Rechtsakt weist die Pflichten Rollen zu, und es ist der Vertrag, der entscheidet, welche Rolle jede Seite spielt.
Durchgerechnetes Beispiel
Abschnitt betitelt „Durchgerechnetes Beispiel“Drei Systeme, die ein Unternehmen einem realistischerweise in derselben Woche vorlegen könnte, eingeordnet nach der Pyramide.
| Das System | Kategorie und warum | Was daraus in der Praxis folgt |
|---|---|---|
| A. Ein Modell, das Bewerbungen filtert und Kandidaten für das HR-Team in eine Rangfolge bringt | Hohes Risiko. Es fällt in den Anhang-III-Bereich Beschäftigung und Personalmanagement, konkret Einstellung und Auswahl, also greift Art. 6 (2). Die Ausnahme des Art. 6 (3) steht nicht zur Verfügung, weil es mehr tut als eine eng umgrenzte Verfahrensaufgabe und weil es Bewerber einem Profiling unterzieht | Die Anforderungen des Art. 8 ff.: ein Risikomanagementsystem, Daten-Governance, technische Dokumentation, Aufzeichnungen, Informationen für den Betreiber, menschliche Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit, dazu eine vorherige Konformitätsbewertung. Baut das Unternehmen es selbst und bringt es unter eigenem Namen heraus, ist es Anbieter und Art. 16 gilt. Kauft es das System und betreibt es, ist es Betreiber und Art. 26 gilt: der Betriebsanleitung folgen, kompetente und befugte Menschen mit der Aufsicht betrauen, die Eingabedaten relevant und repräsentativ halten, überwachen, aussetzen und melden |
| B. Ein Kundenservice-Chatbot auf der Unternehmenswebsite, der außerdem Antwortmails entwirft | Begrenztes oder Transparenzrisiko. Er interagiert unmittelbar mit natürlichen Personen und erzeugt synthetischen Text, deshalb greift der Block des Art. 50 und nicht der Hochrisikoblock | Den Nutzern sagen, dass sie es mit einem KI-System zu tun haben, sofern das für eine angemessen informierte und aufmerksame Person nicht offensichtlich ist, und diese Information klar und spätestens bei der ersten Interaktion geben. Erzeugte Inhalte maschinenlesbar und erkennbar kennzeichnen. Wird er je genutzt, um veröffentlichten Text zur Information der Öffentlichkeit über eine Angelegenheit von öffentlichem Interesse zu erzeugen, ist die künstliche Erzeugung offenzulegen |
| C. Ein Werkzeug, das Kunden über die Zeit hinweg nach ihrem allgemeinen Sozialverhalten bewertet und ihnen bei niedriger Bewertung damit nicht zusammenhängende Leistungen verweigert | Unannehmbares Risiko. Das ist Social Scoring nach Art. 5: Bewertung oder Einstufung von Menschen über einen Zeitraum hinweg auf Grundlage ihres Sozialverhaltens oder abgeleiteter persönlicher Eigenschaften, wobei die Bewertung zu einer Schlechterstellung in Zusammenhängen führt, die nichts mit der Herkunft der Daten zu tun haben, oder zu einer unverhältnismäßigen Behandlung | Nichts zu verhandeln und kein Konformitätsweg, dem man folgen könnte. Die Praktik ist verboten, und der richtige Rat lautet, das Projekt zu beenden, statt es zu dokumentieren |
Wende es auf dein Projekt an
Abschnitt betitelt „Wende es auf dein Projekt an“-
Schreibe auf, was das System mit Menschen macht, nicht was darin steckt. Die Stufe hängt vom Anwendungsfall und davon ab, wer betroffen ist, eine Beschreibung in Begriffen der Modellarchitektur lässt sich also überhaupt nicht einordnen.
-
Prüfe zuerst die Liste des Art. 5. Manipulation, Ausnutzung von Schutzbedürftigkeit, Social Scoring, vorhersagende Polizeiarbeit allein auf Grundlage von Profiling, ungezieltes Auslesen von Gesichtsbildern, Ableiten von Emotionen am Arbeitsplatz oder in der Bildung, sensible biometrische Kategorisierung, biometrische Fernidentifizierung in Echtzeit zu Strafverfolgungszwecken. Bist du dort drin, hör auf.
-
Gehe die beiden Wege ins hohe Risiko durch. Ist das System eine Sicherheitskomponente eines regulierten Produkts oder das Produkt selbst, das eine Konformitätsbewertung durch Dritte braucht? Oder liegt der Anwendungsfall in einem Anhang-III-Bereich, also Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, wesentliche Dienste, Strafverfolgung, Migration, Rechtspflege und demokratische Prozesse?
-
Greift Anhang III, dann prüfe die Ausnahme des Art. 6 (3) ehrlich, und denke daran, dass alles, was natürliche Personen einem Profiling unterzieht, stets hohes Risiko ist. Berufst du dich auf die Ausnahme, dokumentiere die Bewertung, bevor das System in den Markt geht.
-
Entscheide, in welcher Rolle du bist. Anbieter, Betreiber, Einführer oder Händler. Diese eine Antwort entscheidet, welchen Pflichtenartikel du lesen musst, und sie hängt daran, was du mit dem System tust, nicht daran, wie groß du bist.
-
Prüfe Art. 50 gesondert. Auch ein System, das kein Hochrisikosystem ist, kann Transparenzpflichten schulden, wenn es mit Menschen interagiert, Emotionen erkennt oder Biometrie betreibt, Deep Fakes erzeugt oder veröffentlichten Text zu Angelegenheiten von öffentlichem Interesse produziert.
-
Gehe den Machine-Learning-Prozess auf IP-Risiken durch. Woher kamen die Trainingsdaten, ist etwas darin geschützt, und wäre ihre Nutzung ein Sammeln geschützter Informationen als Trainingsdaten oder eine Verwendung urheberrechtlich geschützter Kunst zur Erzeugung einer Ausgabe?
-
Stelle die ethischen Fragen neben die rechtlichen. Verhältnismäßigkeit und Schadensvermeidung, Fairness und Nichtdiskriminierung, Privatheit, menschliche Aufsicht mit einer Verantwortung, die identifizierbaren Personen zurechenbar ist, Transparenz und Erklärbarkeit sowie Nachhaltigkeit.
-
Dann ordne den Vertrag ein: Vertragsgegenstand, Haupt- und Nebenpflichten, individualisiert oder standardisiert und für wie lange, und zuletzt die Risikobewertung, denn die Stufe entscheidet, wofür der Vertrag jemanden verantwortlich machen muss.
Schlüsselbegriffe
Abschnitt betitelt „Schlüsselbegriffe“| Begriff | Was er in einfachen Worten bedeutet |
|---|---|
| KI-System (Art. 3 (1) EU AI Act) | Ein maschinengestütztes System mit unterschiedlichen Graden von Autonomie, möglicherweise nach der Inbetriebnahme anpassungsfähig, das aus seinen Eingaben ableitet, wie es Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugt, die physische oder virtuelle Umgebungen beeinflussen |
| Machine Learning | KI-Systeme, die aus vorab definierten Daten lernen |
| Deep Learning | Machine-Learning-Modelle, die menschliche Kognition nachahmen und sich an nicht definierte Daten anpassen können |
| Generative AI | Deep-Learning-Modelle, die selbstständig Daten sammeln, um originäre Inhalte zu erzeugen |
| Trainings-, Validierungs- und Testdaten | Die drei Datenklassen im Machine-Learning-Prozess: woraus das Modell lernt, woran es beurteilt wird und womit die Genauigkeit analysiert und das Modell nachjustiert wird |
| Risiko (Art. 3 (2)) | Die Kombination aus der Wahrscheinlichkeit eines Schadens und seiner Schwere |
| Anbieter | Wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt |
| Betreiber | Wer ein KI-System in eigener Verantwortung verwendet, außerhalb rein persönlicher, nicht beruflicher Nutzung |
| Einführer und Händler | Die Partei innerhalb der EU, die ein aus einem Drittland stammendes, fremdmarkiertes System in Verkehr bringt, und jede weitere Person in der Kette, die ein System bereitstellt |
| Akteur | Der Oberbegriff für Anbieter, Produkthersteller, Betreiber, Bevollmächtigten, Einführer und Händler |
| Unannehmbares Risiko | Die verbotene Stufe, Art. 5. Social Scoring und manipulative KI sind die stehenden Beispiele |
| Hohes Risiko | Nur mit dem vollständigen Anforderungssatz und einer vorherigen Konformitätsbewertung erlaubt; erreicht entweder über regulierte Produkte oder über die Anhang-III-Bereiche |
| Begrenztes oder Transparenzrisiko | Erlaubt vorbehaltlich der Informations- und Transparenzpflichten nach Art. 50; Chatbots sind das Beispiel |
| Minimales Risiko | Nach dem Rechtsakt ohne Beschränkungen erlaubt |
| Vorherige Konformitätsbewertung | Die Prüfung, die abgeschlossen sein muss, bevor ein Hochrisikosystem auf den Markt kommt, nicht danach |
| Erklärbarkeit | Algorithmische Vorgänge und Festlegungen verständlich machen und Einblick in das Ergebnis geben, damit Entscheidungen angegriffen werden können |
| Menschliche Letztentscheidung | Der UNESCO-Grundsatz, dass KI menschliches Entscheiden niemals vollständig ersetzen darf und dass Entscheidungen über Leben und Tod niemals an KI abgegeben werden dürfen |
| Nizza-Klassifikation | Das internationale Abkommen, das die Klassen von Waren und Dienstleistungen für Marken vereinheitlicht, 34 für Waren und 11 für Dienstleistungen, und das selbst keine durchsetzbaren Rechte verleiht |
Teste dich selbst
Abschnitt betitelt „Teste dich selbst“- Gib die Definition eines KI-Systems nach Art. 3 (1) in eigenen Worten wieder und nenne die beiden Dinge, die die EU- und die US-Definition teilen, sowie das eine Element, das nur in der EU-Fassung auftaucht.
- Nenne die vier Risikostufen des EU AI Act und die Rechtsfolge, die an jede geknüpft ist.
- Ordne das ein: Eine Bank setzt ein Modell ein, das die Kreditwürdigkeit von Antragstellern bewertet und die niedrig Bewerteten automatisch ablehnt. Welche Stufe, auf welcher Grundlage, und was muss die Bank tun?
- Worin liegt der Unterschied zwischen Anbieter und Betreiber, und warum entscheidet dieser Unterschied darüber, welchen Artikel man liest?
- Welchen Rechtscharakter hat die UNESCO-Empfehlung zur Ethik der KI, und nenne fünf ihrer Grundsätze.
- Wie könnte ein KI-System nach der Sitzung Rechte des geistigen Eigentums verletzen, und welche zwei der Quizoptionen sind keine Verletzungen?
Wiederholungs-Zusammenfassung
Abschnitt betitelt „Wiederholungs-Zusammenfassung“Zurück zur Kursübersicht →.