My 'Bericht aus Brüssel' in the 3rd issue in 2023 of the RDV (Fachzeitschrift für Datenschutzrecht) talks about how the advances with foundation models have created the need to make conceptual changes within the AI Act.
Below my contribution for RDV 3/23:
Nach 43 technischen Sitzungen und 12 Treffen auf politischer Ebene seit Juli 2022 hat es das Europäische Parlament endlich geschafft. Es konnte sich am 11. Mai auf eine mehrheitlich gestützte Version der 89 Erwägungsgründe, 85 Artikel und 9 Annexe der KI-Regulierung einigen. Warum hat es dafür fast ein Jahr gebraucht? Drei zentrale Gründe sind zu nennen:
Erstens, fanden die politischen Verhandlungen im Rahmen des sogenannten joint committee procedure (Regel 58 der Geschäftsordnung des Parlamentes) statt, was bedeutet, dass sich der Binnenmarkt (IMCO) und der Bürgerrechte (LIBE) Ausschuss koordinieren und schließlich auch einigen mussten. Bei 14 Parlamentariern, 28 Mitarbeitern und 2 Ausschusssekretariaten wahrlich keine einfache Aufgabe. Zweitens, divergiert die Sicht der Parlamentarier auf Technologien gravierend. Überspitzt gesagt, sieht das eine Lager Künstliche Intelligenz als existentielle Bedrohung, während das andere Lager einzig das große Potential wahrnimmt. Da dieser Bruch das Europäische Parlament ungefähr in der Mitte teilt, war ein Kompromiss beinahe unmöglich. Drittens - nun kommen wir zum Titelthema - vollzog sich der technische Fortschritt zuletzt so schnell, dass der Gesetzesvorschlag der Kommission eigentlich schon bei seiner Vorstellung im April 2021 veraltet war. Mit dem im November 2022 auf den Markt gebrachten ChatGPT von OpenAI wurden konzeptionelle Änderungen an der KI-Regulierung aber unumgänglich.
Eine kurze technische Einführung: ChatGPT ist eine Chatbot App, welche für Dialoge optimiert ist und content filter aufweist. Als General Purpose AI-System (GPAI) ist die App in vielen verschiedenen Bereichen anwendbar. Sie greift dafür auf GPT-4 zurück, ein foundation model oder genauer gesagt ein large language model mit mehr als 1 Trillionen Parametern. Für die Verhandlungen im Parlament hatte ich die folgende Übersicht entworfen und mich dabei auf die leistungsstärksten (= advanced) foundation models beschränkt.
Warum ist die KI-Regulierung konzeptionell nicht in der Lage foundation models zu erfassen? Die Europäische Kommission hat ein typisches KI-Produktsicherheitsgesetz entworfen und dabei auf bewährte Konzepte aus dem New Legislative Framework (NLF) zurückgegriffen. Funktionierten diese jahrzehntelang tadellos bei festen Produkte, warfen die selbstlernenden und evolvierenden Systeme der KI-Regulierung schon viele Fragen auf. Mit GPT-4 wurde das NLF System nun aber völlig außer Kraft gesetzt. Ich vergleiche foundation models gerne mit einem digitalen Knetgummi: eine unbestimmte technische Masse, welche erst später eine feste Bestimmung bekommt und auch dann noch jederzeit gravierend verändert werden kann. Dementsprechend werden foundation models ohne konkreten intended purpose auf dem Markt gebracht und stellen zu diesem Zeitpunkt gemäß NLF-Regeln kein Risiko dar. Darüber hinaus fordern sie aber auch das Europäische Wirtschaftssystem heraus. Ein hypothetisches Beispiel zur Verdeutlichung: OpenAI erlaubt SAP gegen Zahlung einer hohen monatlichen Gebühr die Integration von GPT-4 in seine B2B-Platformen. Der deutsche Softwarehersteller entwickelt nun eine App für vollständig automatisierte Bewerbungsprozesse, welche ALDI kauft und für neue Filialen in Dänemark nutzt. Nur SAP als high-risk AI-System provider gemäß Art 6(2), ANNEX III (4b) und Art 16 sowie ALDI als deployer eines high-risk AI-Systems nach Art 29 würden unter die KI-Regulierung fallen. Sowohl OpenAI als auch alle anderen Zulieferer wären nicht vom Gesetz erfasst. In der Praxis würde dies bedeuten, dass innerhalb der AI value chain nur die (meistens Europäischen) downstream Akteure, welche das finale KI-System auf den Markt bringen, mit den neuen Anforderungen der KI-Regulierung konfrontiert werden. Die größtenteils außereuropäischen upstream Akteure würden gar nicht reguliert werden. Schon im Juli 2022 skizierte der Economist treffend, dass sich wie bei den digitalen Plattformen in den 2000ern der Markt sehr schnell wieder konzentrieren werde.[1] Die Entwicklung von foundation models werde so teuer und die Technologie so opak, dass nur eine Handvoll von digital gatekeepers hierzu in der Lage sind. Alle anderen Marktteilnehmer sind vollständig abhängig, da sie für die Entwicklung eines konkurrenzfähigen AI Systems unbedingt eines der foundation model benötigen.
In Brüssel war es die französische Ratspräsidentschaft im ersten Halbjahr 2022, welche als Erstes diese Gefahren erkannte und versuchte mit neuen Artikeln gegenzusteuern. Konzeptionelle Fehler und ein gravierendes Schlupfloch (möglicher vertraglicher Ausschluss von Pflichten) führten aber zu ihrer Unwirksamkeit. Die tschechische Ratspräsidentschaft löste es nur bedingt besser und beauftragte vor allem die Kommission weiter an dem Thema zu arbeiten. Letztendlich war es das Europäische Parlament und hier vor allem die EVP und die Renew Gruppe, welche das Thema besetzten. Nach anfänglichem Zögern der anderen politischen Gruppen wurde im April ein gemeinsamer Text erarbeitet, der am 11. Mai nun offiziell verabschiedet wurde. Welche Änderungen am Kommissionvorschlag wurden vorgeschlagen? Meine Grafik gibt einen ersten Überblick:
Das Entscheidende zuerst: der Ansatz ist holistisch und deckt in fünf Ebenen die gesamte AI value chain ab - auch das foundation model GPT-4 oder das General Purpose AI system und App ChatGPT: (Level 1) die provider von foundation models müssen in Zukunft gemäß des neuen Art. 28b eine Reihe von Pflichten erfüllen. Vor allem aber müssen sie ihre Produkte ausgiebig auf reasonable forseeable risks und verschiedene Qualitätsmerkmale testen sowie umfassende technische Dokumentation erstellen. Hierdurch soll sichergestellt werden, dass die mächtigen Modelle, ohne intended purpose, dennoch sicher genug sind, um sie auf dem Markt zu plazieren und dass ihre internen Abläufe jedenfalls im Groben verstanden werden. (Level 2) Verkaufen die provider von foundation models nun das model oder aber ein darauf basierendes General Purpose AI System an andere Unternehmen müssen sie nach Art. 28(2) umfassende Informationen über das Model mit ihrem Kunden teilen und den Kunden soweit assistieren, dass er in der Lage ist, die Anforderungen der KI-Regulierung umfassend zu erfüllen. Der umgeschriebene Artikel garantiert nun einen hinreichenden Informationsfluss innerhalb der AI value chain. (Level 3) Der Käufer des foundation models oder General Purpose AI Systems welcher es in ein high-risk AI-System weiterentwickelt und ihm ein intended purpose gibt, muss weiterhin die provider Pflichten aus Art. 16 erfüllen, sollte nun aber auch über ausreichende Informationen verfügen, um ein sicheres AI-System zu entwickeln. (Level 4) Der deployer des high-risk AI-Systems, welcher es für den vorgegebenen intended purpose nutzt, muss schließlich die Anforderungen des Art. 29 erfüllen und nach Art. 29a - ähnlich wie beim Datenschutzfolgeabschätzung der DSGVO - ein fundamental rights impact assessment durchführen. (Level 5) Das AI subject bzw. die vom AI-System tangierte Person profitiert schließlich von den Transparenzpflichten des Art. 52 gegenüber dem provider des foundation model, provider des high-risk AI-Systems und des deployers. Zudem hat der Betroffene durch Art 68a fortfolgende diverse Rechte und kann sich beispielsweise bei der zuständigen nationalen Behörde über Nichteinhaltung der KI-Regulierung beschweren.
Es ist zu berücksichtigen, dass dies der weltweit erste regulatorische Ansatz zu Regulierung von foundation models ist. Wahrscheinlich werden bestimmte Aspekte überarbeitet, ergänzt und gestrichen müssen. Nichtsdestotrotz sind wir uns sicher, dass der vorgeschlagene Ansatz in eine sehr gute Richtung geht, da er das vorhandene Wissen über eine sehr mächtige Technologie steigert und Minimumstandards bei der Sicherheit und Qualität aufstellt. In unserem Beispiel wären nicht mehr nur SAP und ALDI von der KI-Regulierung betroffen und auch nicht mehr nur der Zeitpunkt des auf den Marktbringens und des Einsatzes des Bewerbungstools. Der holistische Ansatz stellt sicher das der ganze lifecycle abgedeckt ist und immer der Akteur die Sicherheit des Models/Systems sicherstellen muss, der am nächsten dran ist bzw. die Kontrolle besitzt. Dies ist nicht nur wirtschaftlich fair, sondern auch für die Zivilgesellschaft die beste Variante, um Freiheit- und Bürgerrechte effektiv zu schützen.
[1] https://www.economist.com/interactive/briefing/2022/06/11/huge-foundation-models-are-turbo-charging-ai-progress
More information about the RDV magazine can be found here. The text above is published on this website in agreement with DATAKONTEXT GmbH and Prof. Dr. Schwartmann.
Comments