1.

Zweck dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu
verbessern, indem ein einheitlicher Rechtsrahmen insbesondere für die
Entwicklung, das , die und die Verwendung von Systemen
künstlicher Intelligenz (KI Systeme) in der Union im Einklang mit den Werten
der Union festgelegt wird, um die Einführung von menschenzentrierter und
vertrauenswürdiger künstlicher Intelligenz (KI) zu fördern und gleichzeitig ein
hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und der in der
der Grundrechte der Europäischen Union () verankerten Grundrechte,
einschließlich Demokratie, Rechtsstaatlichkeit und Umweltschutz,
sicherzustellen, den Schutz vor schädlichen Auswirkungen von KI Systemen in der Union
zu gewährleisten und gleichzeitig die Innovation zu unterstützen. Diese
Verordnung gewährleistet den grenzüberschreitenden freien Verkehr KI gestützter
Waren und Dienstleistungen, wodurch verhindert wird, dass die
Mitgliedstaaten die Entwicklung, Vermarktung und Verwendung von KI Systemen beschränken,
sofern dies nicht ausdrücklich durch diese Verordnung erlaubt wird.

2.

Diese Verordnung sollte im Einklang mit den in der verankerten
Werten der Union angewandt werden, den Schutz von natürlichen Personen,
Unternehmen, Demokratie und Rechtsstaatlichkeit sowie der Umwelt erleichtern und
gleichzeitig Innovation und Beschäftigung fördern und der Union eine
Führungsrolle bei der Einführung verschaffen.

3.

e können problemlos in verschiedenen Bereichen der Wirtschaft und
Gesellschaft, auch grenzüberschreitend, eingesetzt werden und in der
gesamten Union verkehren. Einige Mitgliedstaaten haben bereits die Verabschiedung
nationaler Vorschriften in Erwägung gezogen, damit KI vertrauenswürdig und
sicher ist und im Einklang mit den Grundrechten entwickelt und verwendet wird.
Unterschiedliche nationale Vorschriften können zu einer Fragmentierung des
Binnenmarkts führen und können die Rechtssicherheit für e, die
KI-Systeme entwickeln, einführen oder verwenden, beeinträchtigen. Daher sollte in
der gesamten Union ein einheitlich hohes Schutzniveau sichergestellt werden,
um eine vertrauenswürdige KI zu erreichen, wobei Unterschiede, die den
freien Verkehr, Innovationen, den Einsatz und die Verbreitung von KI-Systemen und
damit zusammenhängenden Produkten und Dienstleistungen im Binnenmarkt
behindern, vermieden werden sollten, indem den Akteuren einheitliche Pflichten
auferlegt werden und der gleiche Schutz der zwingenden Gründe des
Allgemeininteresses und der Rechte von Personen im gesamten Binnenmarkt auf der
Grundlage des Artikels 114 des Vertrags über die Arbeitsweise der Europäischen Union
() gewährleistet wird. Soweit diese Verordnung konkrete Vorschriften
zum Schutz von Einzelpersonen im Hinblick auf die Verarbeitung
enthält, mit denen die Verwendung von KI-Systemen zur biometrischen
Fernidentifizierung zu szwecken, die Verwendung von
KI-Systemen für die bewertung natürlicher Personen zu Strafverfolgungszwecken
und die Verwendung von KI-Systemen zur biometrischen Kategorisierung zu
Strafverfolgungszwecken eingeschränkt wird, ist es angezeigt, diese Verordnung
in Bezug auf diese konkreten Vorschriften auf Artikel 16 A zu stützen.
Angesichts dieser konkreten Vorschriften und des Rückgriffs auf Artikel 16 AEUV
ist es angezeigt, den Europäischen zu konsultieren.

4.

KI bezeichnet eine Reihe von Technologien, die sich rasant entwickeln und
zu vielfältigem Nutzen für Wirtschaft, Umwelt und Gesellschaft über das
gesamte Spektrum industrieller und gesellschaftlicher Tätigkeiten hinweg
beitragen. Durch die Verbesserung der Vorhersage, die Optimierung der Abläufe,
Ressourcenzuweisung und die Personalisierung digitaler Lösungen, die
Einzelpersonen und Organisationen zur Verfügung stehen, kann die Verwendung von KI
Unternehmen wesentliche Wettbewerbsvorteile verschaffen und zu guten Ergebnissen
für Gesellschaft und Umwelt führen, beispielsweise in den Bereichen
⦿ Gesundheitsversorgung,
⦿ Landwirtschaft,
⦿ Lebensmittelsicherheit,
⦿ allgemeine und berufliche Bildung,
⦿ Medien,
⦿ Sport,
⦿ Kultur,
⦿ Infrastrukturmanagement,
⦿ Energie,
⦿ Verkehr und Logistik,
⦿ öffentliche Dienstleistungen,
⦿ Sicherheit,
⦿ Justiz,
⦿ Ressourcen- und Energieeffizienz,
⦿ Umweltüberwachung,
⦿ Bewahrung und Wiederherstellung der Biodiversität und
⦿ der Ökosysteme sowie Klimaschutz und
⦿ Anpassung an den Klimawandel.

5.

Gleichzeitig kann KI je nach den Umständen ihrer konkreten Anwendung und
Nutzung sowie der technologischen Entwicklungsstufe mit sich bringen
und öffentliche Interessen und grundlegende Rechte schädigen, die durch das
Unionsrecht geschützt sind. Ein solcher Schaden kann materieller oder
immaterieller Art sein, einschließlich physischer, psychischer, gesellschaftlicher
oder wirtschaftlicher Schäden.

6.

Angesichts der großen Auswirkungen, die KI auf die Gesellschaft haben kann,
und der Notwendigkeit, Vertrauen aufzubauen, ist es von entscheidender
Bedeutung, dass KI und ihr Regulierungsrahmen im Einklang mit den in Artikel 2
des Vertrags über die Europäische Union () verankerten Werten der Union,
den in den Verträgen und, nach Artikel 6 EUV, der verankerten
Grundrechten und -freiheiten entwickelt werden. Voraussetzung sollte sein, dass KI
eine menschenzentrierte Technologie ist. Sie sollte den Menschen als
Instrument dienen und letztendlich das menschliche Wohlergehen verbessern.

7.

Um ein einheitliches und hohes Schutzniveau in Bezug auf öffentliche
Interessen im Hinblick auf Gesundheit, Sicherheit und Grundrechte zu
gewährleisten, sollten für alle Hochrisiko-e gemeinsame Vorschriften festgelegt
werden. Diese Vorschriften sollten mit der im Einklang stehen,
nichtdiskriminierend sein und mit den internationalen Handelsverpflichtungen der
Union vereinbar sein. Sie sollten auch die Europäische Erklärung zu den
digitalen Rechten und Grundsätzen für die digitale Dekade und die Ethikleitlinien
für vertrauenswürdige KI der hochrangigen Expertengruppe für künstliche
Intelligenz berücksichtigen.

8.

Daher ist ein Rechtsrahmen der Union mit harmonisierten Vorschriften für KI
erforderlich, um die Entwicklung, Verwendung und Verbreitung von KI im
Binnenmarkt zu fördern und gleichzeitig ein hohes Schutzniveau in Bezug auf
öffentliche Interessen wie etwa Gesundheit und Sicherheit und den Schutz der
durch das Unionsrecht anerkannten und geschützten Grundrechte, einschließlich
der Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes, zu
gewährleisten. Zur Umsetzung dieses Ziels sollten Vorschriften für das
, die und die Verwendung bestimmter e festgelegt
werden, um das reibungslose Funktionieren des Binnenmarkts zu gewährleisten,
sodass diesen Systemen der Grundsatz des freien Waren- und
Dienstleistungsverkehrs zugutekommen kann. Diese Regeln sollten klar und robust sein, um die
Grundrechte zu schützen, neue innovative Lösungen zu unterstützen und ein
europäisches Ökosystem öffentlicher und privater e zu ermöglichen, die
KI-Systeme im Einklang mit den Werten der Union entwickeln, und um das
Potenzial des digitalen Wandels in allen Regionen der Union zu erschließen. Durch
die Festlegung dieser Vorschriften sowie durch Maßnahmen zur Unterstützung
der Innovation mit besonderem Augenmerk auf kleinen und mittleren Unternehmen
(KMU), einschließlich Start-up-Unternehmen, unterstützt diese Verordnung das
vom Europäischen Rat formulierte Ziel, das europäische menschenzentrierte
KI-Konzept zu fördern und bei der Entwicklung einer sicheren,
vertrauenswürdigen und ethisch vertretbaren KI weltweit eine Führungsrolle einzunehmen (5),
und sorgt für den vom Europäischen Parlament ausdrücklich geforderten
Schutz von Ethikgrundsätzen (6).

(5) Europäischer Rat, Außerordentliche Tagung des Europäischen
Rates (1. und 2. Oktober 2020) – Schlussfolgerungen, EUCO , 2020, S. 6.
(6)Entschließung des vom 20. Oktober 2020 mit
Empfehlungen an die Kommission zu dem Rahmen für die ethischen Aspekte von
künstlicher Intelligenz, Robotik und damit zusammenhängenden Technologien,
(INL).

9.

Es sollten harmonisierte Vorschriften für das , die
und die Verwendung von Hochrisiko-en im Einklang mit der
Verordnung (EG) Nr. des und des Rates (7),
dem Beschluss Nr. /EG des Europäischen Parlaments und des Rates (8)
und der Verordnung (EU) des Europäischen Parlaments und des Rates
(9) („neuer Rechtsrahmen“) festgelegt werden. Die in dieser Verordnung
festgelegten harmonisierten Vorschriften sollten in allen Sektoren gelten und
sollten im Einklang mit dem neuen Rechtsrahmen bestehendes Unionsrecht, das durch
diese Verordnung ergänzt wird, unberührt lassen, insbesondere in den
Bereichen Datenschutz, Verbraucherschutz, Grundrechte, Beschäftigung,
Arbeitnehmerschutz und Produktsicherheit. Daher bleiben alle Rechte und Rechtsbehelfe,
die für Verbraucher und andere Personen, auf die sich KI-Systeme negativ
auswirken können, gemäß diesem Unionsrecht vorgesehen sind, auch in Bezug auf
einen möglichen Schadenersatz gemäß der Richtlinie /EWG des Rates (10)
unberührt und in vollem Umfang anwendbar. Darüber hinaus und unter Einhaltung
des Unionsrechts in Bezug auf Beschäftigungs- und Arbeitsbedingungen,
einschließlich des Gesundheitsschutzes und der Sicherheit am Arbeitsplatz sowie
der Beziehungen zwischen Arbeitgebern und Arbeitnehmern sollte diese
Verordnung daher — was Beschäftigung und den Schutz von Arbeitnehmern angeht — das
Unionsrecht im Bereich der Sozialpolitik und die nationalen
Arbeitsrechtsvorschriften nicht berühren. Diese Verordnung sollte auch die Ausübung der in
den Mitgliedstaaten und auf Unionsebene anerkannten Grundrechte,
einschließlich des Rechts oder der Freiheit zum Streik oder zur Durchführung anderer
Maßnahmen, die im Rahmen der spezifischen Systeme der Mitgliedstaaten im Bereich
der Arbeitsbeziehungen vorgesehen sind, sowie das Recht, im Einklang mit
nationalem Recht Kollektivvereinbarungen auszuhandeln, abzuschließen und
durchzusetzen oder kollektive Maßnahmen zu ergreifen, nicht beeinträchtigen.
Diese Verordnung sollte die in einer Richtlinie des Europäischen Parlaments und
des Rates zur Verbesserung der Arbeitsbedingungen in der Plattformarbeit
enthaltenen Bestimmungen nicht berühren. Darüber hinaus zielt diese Verordnung
darauf ab, die Wirksamkeit dieser bestehenden Rechte und Rechtsbehelfe zu
stärken, indem bestimmte Anforderungen und Pflichten, auch in Bezug auf die
Transparenz, die technische Dokumentation und das Führen von Aufzeichnungen
von KI-Systemen, festgelegt werden. Ferner sollten die in dieser Verordnung
festgelegten Pflichten der verschiedenen e, die an der
KI-Wertschöpfungskette beteiligt sind, unbeschadet der nationalen Rechtsvorschriften unter
Einhaltung des Unionsrechts angewandt werden, wodurch die Verwendung
bestimmter KI-Systeme begrenzt wird, wenn diese Rechtsvorschriften nicht in den
Anwendungsbereich dieser Verordnung fallen oder mit ihnen andere legitime Ziele
des öffentlichen Interesses verfolgt werden als in dieser Verordnung. So
sollten etwa die nationalen arbeitsrechtlichen Vorschriften und die
Rechtsvorschriften zum Schutz Minderjähriger, nämlich Personen unter 18 Jahren, unter
Berücksichtigung der Allgemeinen Bemerkung Nr. 25 (2021) des über die
Rechte der Kinder im digitalen Umfeld von dieser Verordnung unberührt bleiben,
sofern sie nicht spezifisch KI-Systeme betreffen und mit ihnen andere
legitime Ziele des öffentlichen Interesses verfolgt werden.

(7 )Verordnung (EG) Nr. 765/2008 des
Europäischen Parlaments und des Rates vom 9. Juli 2008 über die Vorschriften
für die Akkreditierung und zur Aufhebung der Verordnung (EWG) Nr. des
Rates (ABl. L 218 vom 13.8.2008, S. 30). (8)Beschluss Nr. 768/2008/EG des
Europäischen Parlaments und des Rates vom 9. Juli 2008 über einen gemeinsamen
Rechtsrahmen für die Vermarktung von Produkten und zur Aufhebung des
Beschlusses /EWG des Rates (ABl. L 218 vom 13.8.2008, S. 82). (9)Verordnung
(EU) 2019/1020 des Europäischen Parlaments und des Rates vom 20. Juni 2019
über Marktüberwachung und die Konformität von Produkten sowie zur Änderung der
Richtlinie /EG und der Verordnungen (EG) Nr. 765/2008 und (EU) Nr.
(ABl. L 169 vom 25.6.2019, S. 1). (10)Richtlinie 85/374/EWG des Rates
vom 25. Juli 1985 zur Angleichung der Rechts- und Verwaltungsvorschriften
der Mitgliedstaaten über die Haftung für fehlerhafte Produkte (ABl. L 210 vom
7.8.1985, S. 29).

10.

Das Grundrecht auf Schutz wird insbesondere durch
die Verordnungen (EU) (11) und (EU) (12) des Europäischen
Parlaments und des Rates und die Richtlinie (EU) des Europäischen
Parlaments und des Rates (13) gewahrt. Die Richtlinie /EG des
und des Rates (14) schützt darüber hinaus die Privatsphäre
und die Vertraulichkeit der Kommunikation, auch durch Bedingungen für die
Speicherung personenbezogener und nicht personenbezogener Daten auf Endgeräten
und den Zugang dazu. Diese Rechtsakte der Union bieten die Grundlage für
eine nachhaltige und verantwortungsvolle Datenverarbeitung, auch wenn
Datensätze eine Mischung aus personenbezogenen und nicht-personenbezogenen Daten
enthalten. Diese Verordnung soll die Anwendung des bestehenden Unionsrechts zur
Verarbeitung personenbezogener Daten, einschließlich der Aufgaben und
Befugnisse der unabhängigen Aufsichtsbehörden, die für die Überwachung der
Einhaltung dieser Instrumente zuständig sind, nicht berühren. Sie lässt ferner die
Pflichten der und von en in ihrer Rolle als
Verantwortliche oder Auftragsverarbeiter, die sich aus dem Unionsrecht oder dem
nationalen Recht über den Schutz personenbezogener Daten ergeben, unberührt,
soweit die Konzeption, die Entwicklung oder die Verwendung von KI-Systemen
die Verarbeitung personenbezogener Daten umfasst. Ferner sollte klargestellt
werden, dass betroffene Personen weiterhin über alle Rechte und Garantien
verfügen, die ihnen durch dieses Unionsrecht gewährt werden, einschließlich
der Rechte im Zusammenhang mit der ausschließlich automatisierten
Entscheidungsfindung im Einzelfall und dem . Harmonisierte Vorschriften für
das , die und die Verwendung von KI-Systemen,
die im Rahmen dieser Verordnung festgelegt werden, sollten die wirksame
Durchführung erleichtern und die Ausübung der Rechte betroffener Personen und
anderer Rechtsbehelfe, die im Unionsrecht über den Schutz personenbezogener
Daten und anderer Grundrechte garantiert sind, ermöglichen.

(11) Verordnung (EU) 2016/679 des
Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher
Personen bei der Verarbeitung personenbezogener Daten, zum freien
Datenverkehr und zur Aufhebung der Richtlinie /EG (Datenschutz- Grundverordnung)
(ABl. L 119 vom 4.5.2016, S. 1). (12)Verordnung (EU) 2018/1725 des
Europäischen Parlaments und des Rates vom 23. Oktober 2018 zum Schutz natürlicher
Personen bei der Verarbeitung personenbezogener Daten durch die Organe,
Einrichtungen und sonstigen Stellen der Union, zum freien Datenverkehr und zur
Aufhebung der Verordnung (EG) Nr. und des Beschlusses Nr. /EG
(ABl. L 295 vom 21.11.2018, S. 39). (13)Richtlinie (EU) 2016/680 des
Europäischen Parlaments und des Rates vom 27. April 2016 zum Schutz natürlicher
Personen bei der Verarbeitung personenbezogener Daten durch die zuständigen
Behörden zum Zwecke der Verhütung, Ermittlung, Aufdeckung oder Verfolgung von
Straftaten oder der Strafvollstreckung sowie zum freien Datenverkehr und zur
Aufhebung des Rahmenbeschlusses /JI des Rates (ABl. L 119 vom
4.5.2016, S. 89). (14)Richtlinie 2002/58/EG des Europäischen Parlaments und des
Rates vom 12. Juli 2002 über die Verarbeitung personenbezogener Daten und den
Schutz der Privatsphäre in der elektronischen Kommunikation
(Datenschutzrichtlinie für elektronische Kommunikation) (ABl. L 201 vom 31.7.2002, S. 37).

11.

Diese Verordnung sollte die Bestimmungen über die Verantwortlichkeit der
von Vermittlungsdiensten gemäß der Verordnung (EU) des
und des Rates (15) unberührt lassen.

(15) Verordnung (EU) 2022/2065 des
Europäischen Parlaments und des Rates vom 19. Oktober 2022 über einen
Binnenmarkt für digitale Dienste und zur Änderung der Richtlinie /EG (Gesetz
über digitale Dienste) (ABl. L 277 vom 27.10.2022, S. 1).

12.

Der Begriff „KI-System
ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt istund das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für expliziteoder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstelltwerden, die physische oder virtuelle Umgebungen beeinflussen können
“ in dieser Verordnung sollte
klar definiert und eng mit der Tätigkeit internationaler Organisationen
abgestimmt werden, die sich mit KI befassen, um Rechtssicherheit, mehr
internationale Konvergenz und hohe Akzeptanz sicherzustellen und gleichzeitig
Flexibilität zu bieten, um den raschen technologischen Entwicklungen in diesem
Bereich Rechnung zu tragen. Darüber hinaus sollte die Begriffsbestimmung auf
den wesentlichen Merkmalen der KI beruhen, die sie von einfacheren
herkömmlichen Softwaresystemen und Programmierungsansätzen abgrenzen, und sollte
sich nicht auf Systeme beziehen, die auf ausschließlich von natürlichen
Personen definierten Regeln für das automatische Ausführen von Operationen
beruhen. Ein wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit,
abzuleiten. Diese Fähigkeit bezieht sich auf den Prozess der Erzeugung von Ausgaben,
wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen, die physische
und digitale Umgebungen beeinflussen können, sowie auf die Fähigkeit von
KI-Systemen, Modelle oder Algorithmen oder beides aus Eingaben oder Daten
abzuleiten. Zu den Techniken, die während der Gestaltung eines KI-Systems das
Ableiten ermöglichen, gehören Ansätze für maschinelles Lernen, wobei aus Daten
gelernt wird, wie bestimmte Ziele erreicht werden können, sowie logik- und
wissensgestützte Konzepte, wobei aus kodierten Informationen oder
symbolischen Darstellungen der zu lösenden Aufgabe abgeleitet wird. Die Fähigkeit eines
KI-Systems, abzuleiten, geht über die einfache Datenverarbeitung hinaus,
indem Lern-, Schlussfolgerungs- und Modellierungsprozesse ermöglicht werden.
Die Bezeichnung „maschinenbasiert“ bezieht sich auf die Tatsache, dass
KI-Systeme von Maschinen betrieben werden. Durch die Bezugnahme auf explizite oder
implizite Ziele wird betont, dass KI-Systeme gemäß explizit festgelegten
Zielen oder gemäß impliziten Zielen arbeiten können. Die Ziele des KI-Systems
können sich — unter bestimmten Umständen — von der des
KI-Systems unterscheiden. Für die Zwecke dieser Verordnung sollten Umgebungen als
Kontexte verstanden werden, in denen KI-Systeme betrieben werden, während
die von einem KI-System erzeugten Ausgaben verschiedene Funktionen von
KI-Systemen widerspiegeln, darunter Vorhersagen, Inhalte, Empfehlungen oder
Entscheidungen. KI-Systeme sind mit verschiedenen Graden der Autonomie
ausgestattet, was bedeutet, dass sie bis zu einem gewissen Grad unabhängig von
menschlichem Zutun agieren und in der Lage sind, ohne menschliches Eingreifen zu
arbeiten. Die Anpassungsfähigkeit, die ein KI-System nach
aufweisen könnte, bezieht sich auf seine Lernfähigkeit, durch sie es sich während
seiner Verwendung verändern kann. KI-Systeme können eigenständig
oder als Bestandteil eines Produkts verwendet werden, unabhängig davon, ob
das System physisch in das Produkt integriert (eingebettet) ist oder der
Funktion des Produkts dient, ohne darin integriert zu sein (nicht
eingebettet).

13.

Der in dieser Verordnung verwendete Begriff „“ sollte als eine
natürliche oder juristische Person, einschließlich Behörden, Einrichtungen oder
sonstiger Stellen, die ein unter ihrer Befugnis verwenden,
verstanden werden, es sei denn das KI-System wird im Rahmen einer persönlichen und
nicht beruflichen Tätigkeit verwendet. Je nach Art des KI-Systems kann sich
dessen Verwendung auf andere Personen als den Betreiber auswirken.

14.

Der in dieser Verordnung verwendete Begriff „“ sollte im
Sinne des Begriffs „biometrische Daten“ nach Artikel 4 Nummer 14 der
Verordnung (EU) , Artikel 3 Nummer 18 der Verordnung (EU) und
Artikel 3 Nummer 13 der Richtlinie (EU) ausgelegt werden. Biometrische
Daten können die Authentifizierung, Identifizierung oder Kategorisierung
natürlicher Personen und die Erkennung von Emotionen natürlicher Personen
ermöglichen.

15.

Der Begriff „“ sollte gemäß dieser Verordnung
als automatische Erkennung physischer, physiologischer und
verhaltensbezogener menschlicher Merkmale wie Gesicht, Augenbewegungen, Körperform, Stimme,
Prosodie, Gang, Haltung, Herzfrequenz, Blutdruck, Geruch, charakteristischer
Tastenanschlag zum Zweck der Überprüfung der Identität einer Person durch
Abgleich der der entsprechenden Person mit den in einer
Datenbank gespeicherten biometrischen Daten definiert werden, unabhängig davon,
ob die Einzelperson ihre Zustimmung dazu gegeben hat oder nicht. Dies
umfasst keine e, die bestimmungsgemäß für die biometrische
Verifizierung, wozu die Authentifizierung gehört, verwendet werden sollen, deren einziger
Zweck darin besteht, zu bestätigen, dass eine bestimmte natürliche Person
die Person ist, für die sie sich ausgibt, sowie zur Bestätigung der Identität
einer natürlichen Person zu dem alleinigen Zweck Zugang zu einem Dienst zu
erhalten, ein Gerät zu entriegeln oder Sicherheitszugang zu Räumlichkeiten
zu erhalten.

16.

Der Begriff „biometrischen Kategorisierung“ sollte im Sinne dieser
Verordnung die Zuordnung natürlicher Personen auf der Grundlage ihrer biometrischen
Daten zu bestimmten Kategorien bezeichnen. Diese bestimmten Kategorien
können Aspekte wie Geschlecht, Alter, Haarfarbe, Augenfarbe, Tätowierungen,
Verhaltens- oder Persönlichkeitsmerkmale, Sprache, Religion, Zugehörigkeit zu
einer nationalen Minderheit, sexuelle oder politische Ausrichtung betreffen.
Dies gilt nicht für Systeme zur biometrischen Kategorisierung, bei denen es
sich um eine reine Nebenfunktion handelt, die untrennbar mit einem anderen
kommerziellen Dienst verbunden ist, d. h. die Funktion kann aus objektiven
technischen Gründen nicht ohne den Hauptdienst verwendet werden und die
Integration dieses Merkmals oder dieser Funktion dient nicht dazu, die Anwendbarkeit
der Vorschriften dieser Verordnung zu umgehen. Beispielsweise könnten
Filter zur Kategorisierung von Gesichts- oder Körpermerkmalen, die auf
Online-Marktplätzen verwendet werden, eine solche Nebenfunktion darstellen, da sie nur
im Zusammenhang mit der Hauptdienstleistung verwendet werden können, die
darin besteht, ein Produkt zu verkaufen, indem es dem Verbraucher ermöglicht
wird, zu sehen, wie das Produkt an seiner Person aussieht, und ihm so zu
helfen, eine Kaufentscheidung zu treffen. Filter, die in sozialen Netzwerken
eingesetzt werden und Gesichts- oder Körpermerkmale kategorisieren, um es den
Nutzern zu ermöglichen, Bilder oder Videos hinzuzufügen oder zu verändern,
können ebenfalls als Nebenfunktion betrachtet werden, da ein solcher Filter
nicht ohne die Hauptdienstleistung sozialer Netzwerke verwendet werden kann,
die in der Weitergabe von Online-Inhalten besteht.

17.

Der in dieser Verordnung verwendete Begriff „biometrisches
Fernidentifizierungssystem“ sollte funktional definiert werden als , das dem Zweck
dient, natürliche Personen ohne ihre aktive Einbeziehung in der Regel aus
der Ferne durch Abgleich der einer Person mit den in einer
Referenzdatenbank gespeicherten biometrischen Daten zu identifizieren,
unabhängig davon, welche Technologie, Verfahren oder Arten biometrischer Daten
dazu verwendet werden. Diese biometrischen Fernidentifizierungssysteme werden
in der Regel zur zeitgleichen Erkennung mehrerer Personen oder ihrer
Verhaltensweisen verwendet, um die Identifizierung natürlicher Personen ohne ihre
aktive Einbeziehung erheblich zu erleichtern. Dies umfasst keine KI-Systeme,
die bestimmungsgemäß für die , wozu die
Authentifizierung gehört, verwendet werden sollen, deren einziger Zweck darin
besteht, zu bestätigen, dass eine bestimmte natürliche Person die Person ist, für
die sie sich ausgibt, sowie zur Bestätigung der Identität einer natürlichen
Person zu dem alleinigen Zweck Zugang zu einem Dienst zu erhalten, ein Gerät
zu entriegeln oder Sicherheitszugang zu Räumlichkeiten zu erhalten. Diese
Ausnahme wird damit begründet, dass diese Systeme im Vergleich zu
biometrischen Fernidentifizierungssystemen, die zur Verarbeitung biometrischer Daten
einer großen Anzahl von Personen ohne ihre aktive Einbeziehung verwendet werden
können, geringfügige Auswirkungen auf die Grundrechte natürlicher Personen
haben dürften. Bei „Echtzeit-Systemen“ erfolgen die Erfassung der
biometrischen Daten, der Abgleich und die Identifizierung zeitgleich, nahezu
zeitgleich oder auf jeden Fall ohne erhebliche Verzögerung. In diesem Zusammenhang
sollte es keinen Spielraum für eine Umgehung der Bestimmungen dieser
Verordnung über die „Echtzeit-Nutzung“ der betreffenden KI-Systeme geben, indem
kleinere Verzögerungen vorgesehen werden. „Echtzeit-Systeme“ umfassen die
Verwendung von „Live-Material“ oder „Near-live-Material“ wie etwa Videoaufnahmen,
die von einer Kamera oder einem anderen Gerät mit ähnlicher Funktion erzeugt
werden. Bei Systemen zur nachträglichen Identifizierung hingegen wurden die
biometrischen Daten schon zuvor erfasst und der Abgleich und die
Identifizierung erfolgen erst mit erheblicher Verzögerung. Dabei handelt es sich um
Material wie etwa Bild- oder Videoaufnahmen, die von Video-Überwachungssystemen
oder privaten Geräten vor der Anwendung des Systems auf die betroffenen
natürlichen Personen erzeugt wurden.

18.

Der in dieser Verordnung verwendete Begriff „“
sollte als ein definiert werden, das dem Zweck dient, Emotionen oder
Absichten natürlicher Personen auf der Grundlage ihrer
festzustellen oder daraus abzuleiten. In diesem Begriff geht es um Emotionen
oder Absichten wie Glück, Trauer, Wut, Überraschung, Ekel, Verlegenheit,
Aufregung, Scham, Verachtung, Zufriedenheit und Vergnügen. Dies umfasst nicht
physische Zustände wie Schmerz oder Ermüdung, einschließlich beispielsweise
Systeme, die zur Erkennung des Zustands der Ermüdung von Berufspiloten oder
-fahrern eigesetzt werden, um Unfälle zu verhindern. Es geht dabei auch nicht
um die bloße Erkennung offensichtlicher Ausdrucksformen, Gesten und
Bewegungen, es sei denn, sie werden zum Erkennen oder Ableiten von Emotionen
verwendet. Bei diesen Ausdrucksformen kann es sich um einfache Gesichtsausdrücke
wie ein Stirnrunzeln oder ein Lächeln oder um Gesten wie Hand-, Arm- oder
Kopfbewegungen oder um die Stimmmerkmale einer Person handeln, wie eine erhobene
Stimme oder ein Flüstern.

19.

Für die Zwecke dieser Verordnung sollte der Begriff „öffentlich
zugänglicher Raum“ so verstanden werden, dass er sich auf einen einer unbestimmten
Anzahl natürlicher Personen zugänglichen physischen Ort bezieht, unabhängig
davon, ob er sich in privatem oder öffentlichem Eigentum befindet, unabhängig
von den Tätigkeiten, für die der Ort verwendet werden kann; dazu zählen
Bereiche wie etwa für Gewerbe, etwa Geschäfte, Restaurants, Cafés, für
Dienstleistungen, etwa Banken, berufliche Tätigkeiten, Gastgewerbe, für Sport, etwa
Schwimmbäder, Fitnessstudios, Stadien, für Verkehr, etwa Bus- und
U-Bahn-Haltestellen, Bahnhöfe, Flughäfen, Transportmittel, für Unterhaltung, etwa Kinos,
Theater, Museen, Konzert- und Konferenzsäle oder für Freizeit oder
Sonstiges, etwa öffentliche Straßen und Plätze, Parks, Wälder, Spielplätze. Ein Ort
sollte auch als öffentlich zugänglich eingestuft werden, wenn der Zugang,
unabhängig von möglichen Kapazitäts- oder Sicherheitsbeschränkungen, bestimmten
im Voraus festgelegten Bedingungen unterliegt, die von einer unbestimmten
Anzahl von Personen erfüllt werden können, etwa durch den Kauf eines
Fahrscheins, die vorherige Registrierung oder die Erfüllung eines Mindestalters.
Dahingegen sollte ein Ort nicht als öffentlich zugänglich gelten, wenn der
Zugang auf natürliche Personen beschränkt ist, die entweder im Unionsrecht oder
im nationalen Recht, das direkt mit der öffentlichen Sicherheit
zusammenhängt, oder im Rahmen einer eindeutigen Willenserklärung der Person, die die
entsprechende Befugnis über den Ort ausübt, bestimmt und festgelegt werden. Die
tatsächliche Zugangsmöglichkeit allein, etwa eine unversperrte Tür oder ein
offenes Zauntor, bedeutet nicht, dass der Ort öffentlich zugänglich ist,
wenn aufgrund von Hinweisen oder Umständen das Gegenteil nahegelegt wird (etwa
Schilder, die den Zugang verbieten oder einschränken). Unternehmens- und
Fabrikgelände sowie Büros und Arbeitsplätze, die nur für die betreffenden
Mitarbeiter und Dienstleister zugänglich sein sollen, sind Orte, die nicht
öffentlich zugänglich sind. Justizvollzugsanstalten und Grenzkontrollbereiche
sollten nicht zu den öffentlich zugänglichen Orten zählen. Einige andere
Gebiete können sowohl öffentlich zugängliche als auch nicht öffentlich zugängliche
Orte umfassen, etwa die Gänge eines privaten Wohngebäudes, deren Zugang
erforderlich ist, um zu einer Arztpraxis zu gelangen, oder Flughäfen.
Online-Räume werden nicht erfasst, da es sich nicht um physische Räume handelt. Ob
ein bestimmter Raum öffentlich zugänglich ist, sollte jedoch von Fall zu Fall
unter Berücksichtigung der Besonderheiten der jeweiligen individuellen
Situation entschieden werden.

20.

Um den größtmöglichen Nutzen aus en zu ziehen und gleichzeitig die
Grundrechte, Gesundheit und Sicherheit zu wahren und eine demokratische
Kontrolle zu ermöglichen, sollte die , und
betroffene Personen mit den notwendigen Konzepten ausstatten, um fundierte
Entscheidungen über KI-Systeme zu treffen. Diese Konzepte können in Bezug auf den
jeweiligen Kontext unterschiedlich sein und das Verstehen der korrekten
Anwendung technischer Elemente in der Entwicklungsphase des KI-Systems, der bei
seiner Verwendung anzuwendenden Maßnahmen und der geeigneten Auslegung der
Ausgaben des KI-Systems umfassen sowie — im Falle betroffener Personen — das
nötige Wissen, um zu verstehen, wie sich mithilfe von KI getroffene
Entscheidungen auf sie auswirken werden. Im Zusammenhang mit der Anwendung dieser
Verordnung sollte die KI-Kompetenz allen einschlägigen en der
KI-Wertschöpfungskette die Kenntnisse vermitteln, die erforderlich sind, um die
angemessene Einhaltung und die ordnungsgemäße Durchsetzung der Verordnung
sicherzustellen. Darüber hinaus könnten die umfassende Umsetzung von
KI-Kompetenzmaßnahmen und die Einführung geeigneter Folgemaßnahmen dazu beitragen, die
Arbeitsbedingungen zu verbessern und letztlich die Konsolidierung und den
Innovationspfad in der Union unterstützen. Ein Europäisches
Gremium für Künstliche Intelligenz (im Folgenden „KI-Gremium“) sollte die
Kommission dabei unterstützen, KI-Kompetenzinstrumente sowie die
Sensibilisierung und Aufklärung der Öffentlichkeit in Bezug auf die Vorteile, ,
Schutzmaßnahmen, Rechte und Pflichten im Zusammenhang mit der Nutzung von
KI-Systeme zu fördern. In Zusammenarbeit mit den einschlägigen Interessenträgern
sollten die Kommission und die Mitgliedstaaten die Ausarbeitung
freiwilliger Verhaltenskodizes erleichtern, um die KI-Kompetenz von Personen, die mit
der Entwicklung, dem Betrieb und der Verwendung von KI befasst sind, zu
fördern.

21.

Um gleiche Wettbewerbsbedingungen und einen wirksamen Schutz der Rechte und
Freiheiten von Einzelpersonen in der gesamten Union zu gewährleisten,
sollten die in dieser Verordnung festgelegten Vorschriften in
nichtdiskriminierender Weise für von en — unabhängig davon, ob sie in der
Union oder in einem Drittland niedergelassen sind — und für von
KI-Systemen, die in der Union niedergelassen sind, gelten.

22.

Angesichts ihres digitalen Charakters sollten bestimmte e in den
Anwendungsbereich dieser Verordnung fallen, selbst wenn sie in der Union
weder in Verkehr gebracht noch in Betrieb genommen oder verwendet werden. Dies
ist beispielsweise der Fall, wenn ein in der Union niedergelassener
bestimmte Dienstleistungen an einen in einem Drittland niedergelassenen Akteur
im Zusammenhang mit einer Tätigkeit vergibt, die von einem KI-System
ausgeübt werden soll, das als hochriskant einzustufen wäre. Unter diesen Umständen
könnte das von dem Akteur in einem Drittland betriebene KI-System Daten
verarbeiten, die rechtmäßig in der Union erhoben und aus der Union übertragen
wurden, und dem vertraglichen Akteur in der Union die aus dieser Verarbeitung
resultierende Ausgabe dieses KI-Systems liefern, ohne dass dieses KI-System
dabei in der Union in Verkehr gebracht, in Betrieb genommen oder verwendet
würde. Um die Umgehung dieser Verordnung zu verhindern und einen wirksamen
Schutz in der Union ansässiger natürlicher Personen zu gewährleisten, sollte
diese Verordnung auch für und von KI-Systemen gelten, die
in einem Drittland niedergelassen sind, soweit beabsichtigt wird, die von
diesem System erzeugte Ausgabe in der Union zu verwenden. Um jedoch
bestehenden Vereinbarungen und besonderen Erfordernissen für die künftige
Zusammenarbeit mit ausländischen Partnern, mit denen Informationen und Beweismittel
ausgetauscht werden, Rechnung zu tragen, sollte diese Verordnung nicht für
Behörden eines Drittlands und internationale Organisationen gelten, wenn sie im
Rahmen der Zusammenarbeit oder internationaler Übereinkünfte tätig werden,
die auf Unionsebene oder nationaler Ebene für die Zusammenarbeit mit der
Union oder den Mitgliedstaaten im Bereich der und der
justiziellen Zusammenarbeit geschlossen wurden, vorausgesetzt dass dieses Drittland
oder diese internationale Organisationen angemessene Garantien in Bezug auf
den Schutz der Grundrechte und -freiheiten von Einzelpersonen bieten. Dies
kann gegebenenfalls Tätigkeiten von Einrichtungen umfassen, die von
Drittländern mit der Wahrnehmung bestimmter Aufgaben zur Unterstützung dieser
Zusammenarbeit im Bereich der Strafverfolgung und der justiziellen Zusammenarbeit
betraut wurden. Ein solcher Rahmen für die Zusammenarbeit oder für
Übereinkünfte wurde bilateral zwischen Mitgliedstaaten und Drittländern oder zwischen
der Europäischen Union, Europol und anderen Agenturen der Union und
Drittländern und internationalen Organisationen erarbeitet. Die Behörden, die nach
dieser Verordnung für die Aufsicht über die Strafverfolgungs- und
Justizbehörden zuständig sind, sollten prüfen, ob diese Rahmen für die Zusammenarbeit
oder internationale Übereinkünfte angemessene Garantien in Bezug auf den Schutz
der Grundrechte und -freiheiten von Einzelpersonen enthalten. Empfangende
nationale Behörden und Organe, Einrichtungen sowie sonstige Stellen der
Union, die diese Ausgaben in der Union verwenden, sind weiterhin dafür
verantwortlich, sicherzustellen, dass ihre Verwendung mit Unionsrecht vereinbar ist.
Wenn diese internationalen Übereinkünfte überarbeitet oder wenn künftig neue
Übereinkünfte geschlossen werden, sollten die Vertragsparteien größtmögliche
Anstrengungen unternehmen, um diese Übereinkünfte an die Anforderungen
dieser Verordnung anzugleichen.

23.

Diese Verordnung sollte auch für Organe, Einrichtungen und sonstige Stellen
der Union gelten, wenn sie als oder eines s
auftreten.

24.

Wenn und soweit e mit oder ohne Änderungen für Zwecke in den
Bereichen Militär, Verteidigung oder nationale Sicherheit in Verkehr gebracht, in
Betrieb genommen oder verwendet werden, sollten sie vom Anwendungsbereich
dieser Verordnung ausgenommen werden, unabhängig von der Art der Einrichtung,
die diese Tätigkeiten ausübt, etwa ob es sich um eine öffentliche oder
private Einrichtung handelt. In Bezug auf die Zwecke in den Bereichen Militär
und Verteidigung gründet sich die Ausnahme sowohl auf Artikel 4 Absatz 2
als auch auf die Besonderheiten der Verteidigungspolitik der Mitgliedstaaten
und der in Titel V Kapitel 2 EUV abgedeckten gemeinsamen
Verteidigungspolitik der Union, die dem Völkerrecht unterliegen, was daher den geeigneteren
Rechtsrahmen für die Regulierung von KI-Systemen im Zusammenhang mit der
Anwendung tödlicher Gewalt und sonstigen KI-Systemen im Zusammenhang mit Militär-
oder Verteidigungstätigkeiten darstellt. In Bezug auf die Zwecke im Bereich
nationale Sicherheit gründet sich die Ausnahme sowohl auf die Tatsache, dass
die nationale Sicherheit gemäß Artikel 4 Absatz 2 EUV weiterhin in die
alleinige Verantwortung der Mitgliedstaaten fällt, als auch auf die besondere
Art und die operativen Bedürfnisse der Tätigkeiten im Bereich der nationalen
Sicherheit und der spezifischen nationalen Vorschriften für diese
Tätigkeiten. Wird ein KI-System, das für Zwecke in den Bereichen Militär, Verteidigung
oder nationale Sicherheit entwickelt, in Verkehr gebracht, in Betrieb
genommen oder verwendet wird, jedoch vorübergehend oder ständig für andere Zwecke
verwendet, etwa für zivile oder humanitäre Zwecke oder für Zwecke der
oder öffentlichen Sicherheit, so würde dieses System in den
Anwendungsbereich dieser Verordnung fallen. In diesem Fall sollte die Einrichtung,
die das KI-System für andere Zwecke als Zwecke in den Bereichen Militär,
Verteidigung oder nationale Sicherheit verwendet, die Konformität des
KI-Systems mit dieser Verordnung sicherstellen, es sei denn, das System entspricht
bereits dieser Verordnung. KI-Systeme, die für einen ausgeschlossenen Zweck,
nämlich Militär, Verteidigung oder nationale Sicherheit, und für einen oder
mehrere nicht ausgeschlossene Zwecke, etwa zivile Zwecke oder
Strafverfolgungszwecke, in Verkehr gebracht oder in Betrieb genommen werden, fallen in den
Anwendungsbereich dieser Verordnung, und dieser Systeme sollten
die Einhaltung dieser Verordnung sicherstellen. In diesen Fällen sollte sich
die Tatsache, dass ein KI-System in den Anwendungsbereich dieser Verordnung
fällt, nicht darauf auswirken, dass Einrichtungen, die Tätigkeiten in den
Bereichen nationale Sicherheit, Verteidigung oder Militär ausüben, KI-Systeme
für Zwecke in den Bereichen nationale Sicherheit, Militär und Verteidigung
verwenden können, unabhängig von der Art der Einrichtung, die diese
Tätigkeiten ausübt, wobei die Verwendung vom Anwendungsbereich dieser Verordnung
ausgenommen ist. Ein KI-System, das für zivile Zwecke oder Strafverfolgungszwecke
in Verkehr gebracht wurde und mit oder ohne Änderungen für Zwecke in den
Bereichen Militär, Verteidigung oder nationale Sicherheit verwendet wird,
sollte nicht in den Anwendungsbereich dieser Verordnung fallen, unabhängig von
der Art der Einrichtung, die diese Tätigkeiten ausübt.

25.

Diese Verordnung sollte die Innovation fördern, die Freiheit der
Wissenschaft achten und Forschungs- und Entwicklungstätigkeiten nicht untergraben.
Daher müssen e und -Modelle, die eigens für den alleinigen Zweck der
wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb
genommen werden, vom Anwendungsbereich der Verordnung ausgenommen werden. Ferner
muss sichergestellt werden, dass sich die Verordnung nicht anderweitig auf
Forschungs- und Entwicklungstätigkeiten zu KI-Systemen und -Modellen auswirkt,
bevor diese in Verkehr gebracht oder in Betrieb genommen werden.
Hinsichtlich produktorientierter Forschungs-, Test- und Entwicklungstätigkeiten in
Bezug auf KI-Systeme oder -Modelle sollten die Bestimmungen dieser Verordnung
auch nicht vor der oder dem dieser Systeme
und Modelle gelten. Diese Ausnahme berührt weder die Pflicht zur Einhaltung
dieser Verordnung, wenn ein KI-System, das in den Anwendungsbereich dieser
Verordnung fällt, infolge solcher Forschungs- und Entwicklungstätigkeiten in
Verkehr gebracht oder in Betrieb genommen wird, noch die Anwendung der
Bestimmungen zu en und zu Tests unter Realbedingungen. Darüber hinaus
sollte unbeschadet der Ausnahme in Bezug auf KI-Systeme, die eigens für den
alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt
und in Betrieb genommen werden, jedes andere KI-System, das für die
Durchführung von Forschungs- und Entwicklungstätigkeiten verwendet werden könnte,
den Bestimmungen dieser Verordnung unterliegen. In jedem Fall sollten jegliche
Forschungs- und Entwicklungstätigkeiten gemäß anerkannten ethischen und
professionellen Grundsätzen für die wissenschaftliche Forschung und unter
Wahrung des geltenden Unionsrechts ausgeführt werden.

26.

Um ein verhältnismäßiges und wirksames verbindliches Regelwerk für
e einzuführen, sollte ein klar definierter risikobasierter Ansatz verfolgt
werden. Bei diesem Ansatz sollten Art und Inhalt solcher Vorschriften auf
die Intensität und den Umfang der zugeschnitten werden, die von
KI-Systemen ausgehen können. Es ist daher notwendig, bestimmte inakzeptable
Praktiken im Bereich der KI zu verbieten und Anforderungen an Hochrisiko-
KI-Systeme und Pflichten für die betreffenden e sowie Transparenzpflichten für
bestimmte KI-Systeme festzulegen.

27.

Während der risikobasierte Ansatz die Grundlage für ein verhältnismäßiges
und wirksames verbindliches Regelwerk bildet, muss auch auf die
Ethikleitlinien für vertrauenswürdige KI von 2019 der von der Kommission eingesetzten
unabhängigen verwiesen
werden. In diesen Leitlinien hat die hochrangige Expertengruppe sieben
unverbindliche ethische Grundsätze für KI entwickelt, die dazu beitragen sollten,
dass KI vertrauenswürdig und ethisch vertretbar ist. Zu den sieben
Grundsätzen gehören: menschliches Handeln und menschliche Aufsicht, technische
Robustheit und Sicherheit, Privatsphäre und Daten-Governance, Transparenz,
Vielfalt, Nichtdiskriminierung und Fairness, soziales und ökologisches Wohlergehen
sowie Rechenschaftspflicht. Unbeschadet der rechtsverbindlichen
Anforderungen dieser Verordnung und anderer geltender Rechtsvorschriften der Union
tragen diese Leitlinien zur Gestaltung kohärenter, vertrauenswürdiger und
menschenzentrierter KI bei im Einklang mit der und den Werten, auf die sich
die Union gründet. Nach den Leitlinien der hochrangigen Expertengruppe
bedeutet „menschliches Handeln und menschliche Aufsicht“, dass ein
entwickelt und als Instrument verwendet wird, das den Menschen dient, die
Menschenwürde und die persönliche Autonomie achtet und so funktioniert, dass es
von Menschen angemessen kontrolliert und überwacht werden kann. „Technische
Robustheit und Sicherheit“ bedeutet, dass KI-Systeme so entwickelt und
verwendet werden, dass sie im Fall von Schwierigkeiten robust sind und
widerstandsfähig gegen Versuche, die Verwendung oder Leistung des KI-Systems so zu
verändern, dass dadurch die unrechtmäßige Verwendung durch Dritte ermöglicht
wird, und dass ferner unbeabsichtigte Schäden minimiert werden. „Privatsphäre
und Daten-Governance“ bedeutet, dass KI-Systeme im Einklang mit den geltenden
Vorschriften zum Schutz der Privatsphäre und zum Datenschutz entwickelt und
verwendet werden und dabei Daten verarbeiten, die hohen Qualitäts- und
Integritätsstandards genügen. „Transparenz“ bedeutet, dass KI-Systeme so
entwickelt und verwendet werden, dass sie angemessen nachvollziehbar und erklärbar
sind, wobei den Menschen bewusst gemacht werden muss, dass sie mit einem
KI-System kommunizieren oder interagieren, und dass die ordnungsgemäß
über die Fähigkeiten und Grenzen des KI-Systems informieren und die
betroffenen Personen über ihre Rechte in Kenntnis setzen müssen. „Vielfalt,
Nichtdiskriminierung und Fairness“ bedeutet, dass KI-Systeme in einer Weise
entwickelt und verwendet werden, die unterschiedliche e einbezieht und den
gleichberechtigten Zugang, die Geschlechtergleichstellung und die kulturelle
Vielfalt fördert, wobei diskriminierende Auswirkungen und unfaire
Verzerrungen, die nach Unionsrecht oder nationalem Recht verboten sind, verhindert
werden. „Soziales und ökologisches Wohlergehen“ bedeutet, dass KI-Systeme in
nachhaltiger und umweltfreundlicher Weise und zum Nutzen aller Menschen
entwickelt und verwendet werden, wobei die langfristigen Auswirkungen auf den
Einzelnen, die Gesellschaft und die Demokratie überwacht und bewertet werden. Die
Anwendung dieser Grundsätze sollte, soweit möglich, in die Gestaltung und
Verwendung von KI-Modellen einfließen. Sie sollten in jedem Fall als Grundlage
für die Ausarbeitung von Verhaltenskodizes im Rahmen dieser Verordnung
dienen. Alle Interessenträger, einschließlich der Industrie, der Wissenschaft,
der Zivilgesellschaft und der Normungsorganisationen, werden aufgefordert,
die ethischen Grundsätze bei der Entwicklung freiwilliger bewährter Verfahren
und Normen, soweit angebracht, zu berücksichtigen.

28.

Abgesehen von den zahlreichen nutzbringenden Verwendungsmöglichkeiten von
KI kann diese Technologie auch missbraucht werden und neue und wirkungsvolle
Instrumente für manipulative, ausbeuterische und soziale Kontrollpraktiken
bieten. Solche Praktiken sind besonders schädlich und missbräuchlich und
sollten verboten werden, weil sie im Widerspruch zu den Werten der Union stehen,
nämlich der Achtung der Menschenwürde, Freiheit, Gleichheit, Demokratie und
Rechtsstaatlichkeit sowie der in der verankerten Grundrechte,
einschließlich des Rechts auf Nichtdiskriminierung, Datenschutz und Privatsphäre
sowie der Rechte des Kindes.

29.

KI-gestützte manipulative Techniken können dazu verwendet werden, Personen
zu unerwünschten Verhaltensweisen zu bewegen oder sie zu täuschen, indem sie
in einer Weise zu Entscheidungen angeregt werden, die ihre Autonomie,
Entscheidungsfindung und freie Auswahl untergräbt und beeinträchtigt. Das
, die oder die Verwendung bestimmter e, die
das Ziel oder die Auswirkung haben, menschliches Verhalten maßgeblich
nachteilig zu beeinflussen, und große Schäden, insbesondere erhebliche
nachteilige Auswirkungen auf die physische und psychische Gesundheit oder auf die
finanziellen Interessen verursachen dürften, ist besonders gefährlich und sollte
dementsprechend verboten werden. Solche KI-Systeme setzen auf eine
unterschwellige Beeinflussung, beispielweise durch Reize in Form von Ton-, Bild-
oder Videoinhalten, die für Menschen nicht erkennbar sind, da diese Reize
außerhalb ihres Wahrnehmungsbereichs liegen, oder auf andere Arten manipulativer
oder täuschender Beeinflussung, die ihre Autonomie, Entscheidungsfindung
oder freie Auswahl in einer Weise untergraben und beeinträchtigen, die sich
ihrer bewussten Wahrnehmung entzieht oder deren Einfluss — selbst wenn sie sich
seiner bewusst sind — sie nicht kontrollieren oder widerstehen können. Dies
könnte beispielsweise durch Gehirn-Computer-Schnittstellen oder virtuelle
Realität erfolgen, da diese ein höheres Maß an Kontrolle darüber ermöglichen,
welche Reize den Personen, insofern diese das Verhalten der Personen in
erheblichem Maße schädlich beeinflussen können, angeboten werden. Ferner können
KI-Systeme auch anderweitig die Vulnerabilität einer Person oder bestimmter
Gruppen von Personen aufgrund ihres Alters oder einer Behinderung im Sinne
der Richtlinie (EU) des und des Rates (16)
oder aufgrund einer bestimmten sozialen oder wirtschaftlichen Situation
ausnutzen, durch die diese Personen gegenüber einer Ausnutzung anfälliger werden
dürften, beispielweise Personen, die in extremer Armut leben, und ethnische
oder religiöse Minderheiten. Solche KI-Systeme können mit dem Ziel oder der
Wirkung in Verkehr gebracht, in Betrieb genommen oder verwendet werden, das
Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die
dieser Person oder einer anderen Person oder Gruppen von Personen einen
erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit enabled
practices. zufügen wird, einschließlich Schäden, die sich im Laufe der Zeit anhäufen
können, und sollten daher verboten werden. Diese Absicht, das Verhalten zu
beeinflussen, kann nicht vermutet werden, wenn die Beeinflussung auf
Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der
Kontrolle des s oder s liegen, d. h. Faktoren, die vom
Anbieter oder Betreiber des KI-Systems vernünftigerweise nicht vorhergesehen oder
gemindert werden können. In jedem Fall ist es nicht erforderlich, dass der
Anbieter oder der Betreiber die Absicht haben, erheblichen Schaden
zuzufügen, wenn dieser Schaden aufgrund von manipulativen oder ausbeuterischen
KI-gestützten Praktiken entsteht. Das Verbot solcher KI-Praktiken ergänzt die
Bestimmungen der Richtlinie /EG des Europäischen Parlaments und des Rates
(17); insbesondere sind unlautere Geschäftspraktiken, durch die Verbraucher
wirtschaftliche oder finanzielle Schäden erleiden, unter allen Umständen
verboten, unabhängig davon, ob sie durch KI-Systeme oder anderweitig umgesetzt
werden. Das Verbot manipulativer und ausbeuterischer Praktiken gemäß dieser
Verordnung sollte sich nicht auf rechtmäßige Praktiken im Zusammenhang mit
medizinischen Behandlungen, etwa der psychologischen Behandlung einer
psychischen Krankheit oder der physischen Rehabilitation, auswirken, wenn diese
Praktiken gemäß den geltenden Rechtsvorschriften und medizinischen Standards
erfolgen, z. B mit der ausdrücklichen Zustimmung der Einzelpersonen oder
ihrer gesetzlichen Vertreter. Darüber hinaus sollten übliche und rechtmäßige
Geschäftspraktiken, beispielsweise im Bereich der Werbung, die im Einklang mit
den geltenden Rechtsvorschriften stehen, als solche nicht als schädliche
manipulative KI-gestützten Praktiken gelten.

(16) Richtlinie (EU) 2019/882 des Europäischen
Parlaments und des Rates vom 17. April 2019 über die
Barrierefreiheitsanforderungenfür Produkte und Dienstleistungen (ABl. L 151 vom 7.6.2019, S. 70). (17)
Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates vom 11. Mai
2005 über unlautere Geschäftspraktiken im binnenmarktinternen Geschäftsverkehr
zwischen Unternehmen und Verbrauchern und zur Änderung der Richtlinie
/EWG des Rates, der Richtlinien /EG, /EG und /EG des
Europäischen Parlaments und des Rates sowie der Verordnung (EG) Nr. des
Europäischen Parlaments und des Rates (Richtlinie über unlautere
Geschäftspraktiken) (ABl. L 149 vom 11.6.2005, S. 22).

30.

Systeme zur biometrischen Kategorisierung, die anhand der biometrischen
Daten von natürlichen Personen, wie dem Gesicht oder dem Fingerabdruck einer
Person, die politische Meinung, die Mitgliedschaft in einer Gewerkschaft,
religiöse oder weltanschauliche Überzeugungen, die Rasse, das Sexualleben oder
die sexuelle Ausrichtung einer Person erschließen oder ableiten, sollten
verboten werden. Dieses Verbot sollte nicht für die rechtmäßige Kennzeichnung,
Filterung oder Kategorisierung biometrischer Datensätze gelten, die im
Einklang mit dem Unionsrecht oder dem nationalen Recht anhand biometrischer Daten
erworben wurden, wie das Sortieren von Bildern nach Haar- oder Augenfarbe,
was beispielsweise im Bereich der verwendet werden kann.

31.

e, die eine soziale Bewertung natürlicher Personen durch
öffentliche oder private e bereitstellen, können zu diskriminierenden
Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die
Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und
Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren
natürliche Personen oder Gruppen natürlicher Personen in einem bestimmten
Zeitraum auf der Grundlage zahlreicher Datenpunkte in Bezug auf ihr soziales
Verhalten in verschiedenen Zusammenhängen oder aufgrund bekannter, vermuteter
oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale.
Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer
Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer
Gruppen natürlicher Personen in sozialen Kontexten, die in keinem
Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder
erhoben wurden, oder zu einer Schlechterstellung führen, die im Hinblick
auf die Tragweite ihres sozialen Verhaltens unverhältnismäßig oder
ungerechtfertigt ist. KI-Systeme, die solche inakzeptablen Bewertungspraktiken mit sich
bringen und zu einer solchen Schlechterstellung oder Benachteiligung
führen, sollten daher verboten werden. Dieses Verbot sollte nicht die rechtmäßigen
Praktiken zur Bewertung natürlicher Personen berühren, die im Einklang mit
dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck
durchgeführt werden.

32.

Die Verwendung von en zur biometrischen
Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu
szwecken greift besonders in die Rechte und Freiheiten der betroffenen
Personen ein, da sie die Privatsphäre eines großen Teils der Bevölkerung
beeinträchtigt, ein Gefühl der ständigen Überwachung weckt und indirekt von der
Ausübung der Versammlungsfreiheit und anderer Grundrechte abhalten kann.
Technische Ungenauigkeiten von KI-Systemen, die für die biometrische
Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten Ergebnissen
führen und eine diskriminierende Wirkung haben. Solche möglichen verzerrten
Ergebnisse und eine solche diskriminierende Wirkung sind von besonderer
Bedeutung, wenn es um das Alter, die ethnische Herkunft, die Rasse, das
Geschlecht oder Behinderungen geht. Darüber hinaus bergen die Unmittelbarkeit der
Auswirkungen und die begrenzten Möglichkeiten weiterer Kontrollen oder
Korrekturen im Zusammenhang mit der Verwendung solcher in Echtzeit betriebener
Systeme erhöhte für die Rechte und Freiheiten der betreffenden Personen,
die im Zusammenhang mit Strafverfolgungsmaßnahmen stehen oder davon
betroffen sind.

33.

Die Verwendung solcher Systeme zu szwecken sollte daher
untersagt werden, außer in erschöpfend aufgeführten und eng abgegrenzten Fällen,
in denen die Verwendung unbedingt erforderlich ist, um einem erheblichen
öffentlichen Interesse zu dienen, dessen Bedeutung die überwiegt. Zu
diesen Fällen gehört die Suche nach bestimmten Opfern von Straftaten,
einschließlich vermisster Personen, bestimmte Gefahren für das Leben oder die
körperliche Unversehrtheit natürlicher Personen oder die Gefahr eines
Terroranschlags sowie das Aufspüren oder Identifizieren von Tätern oder Verdächtigen in
Bezug auf die in einem Anhang zu dieser Verordnung genannten Straftaten,
sofern diese Straftaten in dem betreffenden Mitgliedstaat im Sinne des Rechts
dieses Mitgliedstaats mit einer Freiheitsstrafe oder einer
freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht
sind. Eine solche Schwelle für eine Freiheitsstrafe oder eine
freiheitsentziehende Maßregel der Sicherung nach nationalem Recht trägt dazu bei,
sicherzustellen, dass die Straftat schwerwiegend genug ist, um den Einsatz
biometrischer Echtzeit-Fernidentifizierungssysteme möglicherweise zu rechtfertigen.
Darüber hinaus beruht die im Anhang dieser Verordnung aufgeführte Liste der
Straftaten auf den 32 im Rahmenbeschluss 4/JI des Rates (18)
aufgeführten Straftaten, unter Berücksichtigung der Tatsache, dass einige der
Straftaten in der Praxis eher relevant sein können als andere, da der Rückgriff auf
die biometrische Echtzeit-Fernidentifizierung für die konkrete Aufspürung
oder Identifizierung eines Täters oder Verdächtigen in Bezug auf eine der
verschiedenen aufgeführten Straftaten voraussichtlich in äußerst
unterschiedlichem Maße erforderlich und verhältnismäßig sein könnte und da dabei die
wahrscheinlichen Unterschiede in Schwere, Wahrscheinlichkeit und Ausmaß des
Schadens oder möglicher negativer Folgen zu berücksichtigen sind. Eine
unmittelbare Gefahr für das Leben oder die körperliche Unversehrtheit natürlicher
Personen kann auch durch die schwerwiegende Störung einer kritischen
Infrastruktur im Sinne des Artikels 2 Nummer 4 der Richtlinie (EU) des
und des Rates (19) entstehen, wenn die Störung oder
Zerstörung einer solchen kritischen Infrastruktur zu einer unmittelbaren Gefahr
für das Leben oder die körperliche Unversehrtheit einer Person führen würde,
auch durch die schwerwiegende Beeinträchtigung der Bereitstellung der
Grundversorgung für die Bevölkerung oder der Wahrnehmung der Kernfunktion des
Staates. Darüber hinaus sollte diese Verordnung die Fähigkeit der
Strafverfolgungs-, Grenzschutz-, Einwanderungs- oder Asylbehörden erhalten, gemäß den im
Unionsrecht und im nationalen Recht für diesen Zweck festgelegten Bedingungen
die Identität der betreffenden Person in ihrer Anwesenheit festzustellen.
Insbesondere sollten Strafverfolgungs-, Grenzschutz-, Einwanderungs- oder
Asylbehörden gemäß dem Unionsrecht oder dem nationalen Recht Informationssysteme
verwenden können, um eine Person zu identifizieren, die während einer
Identitätsfeststellung entweder verweigert, identifiziert zu werden, oder nicht
in der Lage ist, ihre Identität anzugeben oder zu belegen, wobei gemäß dieser
Verordnung keine vorherige Genehmigung erlangt werden muss. Dabei könnte es
sich beispielsweise um eine Person handeln, die in eine Straftat verwickelt
ist und nicht gewillt oder aufgrund eines Unfalls oder des
Gesundheitszustands nicht in der Lage ist, den n ihre Identität
offenzulegen.

(18
)Rahmenbeschluss 2002/584/JI des Rates vom 13. Juni 2002 über den Europäischen
Haftbefehl und die Übergabeverfahren zwischen den Mitgliedstaaten (ABl. L 190
vom 18.7.2002, S. 1). (19) Richtlinie (EU) 2022/2557 des Europäischen
Parlaments und des Rates vom 14. Dezember 2022 über die Resilienz kritischer
Einrichtungen und zur Aufhebung der Richtlinie /EG des Rates (ABl. L 333
vom 27.12.2022, S. 164).

34.

Um sicherzustellen, dass diese Systeme verantwortungsvoll und
verhältnismäßig genutzt werden, ist es auch wichtig, festzulegen, dass in jedem dieser
erschöpfend aufgeführten und eng abgegrenzten Fälle bestimmte Elemente
berücksichtigt werden sollten, insbesondere in Bezug auf die Art des dem Antrag
zugrunde liegenden Falls und die Auswirkungen der Verwendung auf die Rechte und
Freiheiten aller betroffenen Personen sowie auf die für die Verwendung
geltenden Schutzvorkehrungen und Bedingungen. Darüber hinaus sollte die
Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich
zugänglichen Räumen für die Zwecke der nur eingesetzt werden, um die
Identität der speziell betroffenen Person zu bestätigen und sollte sich
hinsichtlich des Zeitraums und des geografischen und personenbezogenen
Anwendungsbereichs auf das unbedingt Notwendige beschränken, wobei insbesondere den
Beweisen oder Hinweisen in Bezug auf die Bedrohungen, die Opfer oder den
Täter Rechnung zu tragen ist. Die Verwendung des biometrischen
Echtzeit-Fernidentifizierungssystems in öffentlich zugänglichen Räumen sollte nur genehmigt
werden, wenn die zuständige eine
Grundrechte-Folgenabschätzung durchgeführt und, sofern in dieser Verordnung nichts anderes
bestimmt ist, das System gemäß dieser Verordnung in der Datenbank registriert
hat. Die Personenreferenzdatenbank sollte für jeden Anwendungsfall in jedem
der oben genannten Fälle geeignet sein.

35.

Jede Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in
öffentlich zugänglichen Räumen zu szwecken sollte einer
ausdrücklichen spezifischen Genehmigung durch eine Justizbehörde oder eine unabhängige
Verwaltungsbehörde eines Mitgliedstaats, deren Entscheidung
rechtsverbindlich ist, unterliegen. Eine solche Genehmigung sollte grundsätzlich vor der
Verwendung des s zur Identifizierung einer Person oder mehrerer
Personen eingeholt werden. Ausnahmen von dieser Regel sollten in hinreichend
begründeten dringenden Fällen erlaubt sein, d. h. in Situationen, in denen es
wegen der Notwendigkeit der Verwendung der betreffenden Systeme tatsächlich
und objektiv unmöglich ist, vor dem Beginn der Verwendung des KI-Systems eine
Genehmigung einzuholen. In solchen dringenden Fällen sollte die Verwendung
des KI-Systems auf das absolut notwendige Mindestmaß beschränkt werden und
angemessenen Schutzvorkehrungen und Bedingungen unterliegen, die im nationalen
Recht festgelegt sind und im Zusammenhang mit jedem einzelnen dringenden
Anwendungsfall von der selbst präzisiert werden.
Darüber hinaus sollte die Strafverfolgungsbehörde in solchen Fällen eine solche
Genehmigung beantragen und die Gründe dafür angeben, warum sie sie nicht
früher, unverzüglich, spätestens jedoch innerhalb von 24 Stunden beantragen
konnte. Wird eine solche Genehmigung abgelehnt, sollte die Verwendung
biometrischer Echtzeit-Identifizierungssysteme, die mit dieser Genehmigung verbunden
sind, mit sofortiger Wirkung eingestellt werden, und alle Daten im
Zusammenhang mit dieser Verwendung sollten verworfen und gelöscht werden. Diese Daten
umfassen , die von einem KI-System während der Nutzung eines
solchen Systems direkt erfasst werden, sowie die Ergebnisse und Ausgaben der
mit dieser Genehmigung verbundenen Verwendung. Daten, die im Einklang mit
anderem Unionsrecht oder nationalem Recht rechtmäßig erworben wurden, sollten
davon nicht betroffen sein. In jedem Fall darf keine Entscheidung mit
nachteiligen Rechtsfolgen für eine Person allein auf der Grundlage der Ausgaben des
biometrischen Fernidentifizierungssystems getroffen werden.

36.

Damit sie ihre Aufgaben im Einklang mit den Anforderungen dieser Verordnung
und der nationalen Vorschriften erfüllen können, sollte die zuständige
und die nationale Datenschutzbehörde über jede
Verwendung des biometrischen Echtzeit-Identifizierungssystems unterrichtet werden.
Die Marktüberwachungsbehörden und die nationalen Datenschutzbehörden, die
unterrichtet wurden, sollten der Kommission jährlich einen Bericht über die
Verwendung biometrischer Echtzeit-Identifizierungssysteme vorlegen.

37.

Darüber hinaus ist es angezeigt, innerhalb des durch diese Verordnung
vorgegebenen erschöpfenden Rahmens festzulegen, dass eine solche Verwendung im
Hoheitsgebiet eines Mitgliedstaats gemäß dieser Verordnung nur möglich sein
sollte, sofern der betreffende Mitgliedstaat in seinen detaillierten
nationalen Rechtsvorschriften ausdrücklich vorgesehen hat, dass eine solche
Verwendung genehmigt werden kann. Folglich steht es den Mitgliedstaaten im Rahmen
dieser Verordnung frei, eine solche Möglichkeit generell oder nur in Bezug auf
einige der in dieser Verordnung genannten Ziele, für die eine genehmigte
Verwendung gerechtfertigt sein kann, vorzusehen. Solche nationalen
Rechtsvorschriften sollten der Kommission spätestens 30 Tage nach ihrer Annahme
mitgeteilt werden.

38.

Die Verwendung von en zur biometrischen
Echtzeit-Fernidentifizierung natürlicher Personen in öffentlich zugänglichen Räumen zu
szwecken erfordert zwangsläufig die Verarbeitung biometrischer Daten. Die
Vorschriften dieser Verordnung, die vorbehaltlich bestimmter Ausnahmen eine
solche Verwendung auf der Grundlage des Artikels 16 verbieten, sollten
als Lex specialis in Bezug auf die in Artikel 10 der Richtlinie (EU)
enthaltenen Vorschriften über die Verarbeitung biometrischer Daten gelten
und somit die Verwendung und Verarbeitung der betreffenden
umfassend regeln. Eine solche Verwendung und Verarbeitung sollte daher nur
möglich sein, soweit sie mit dem in dieser Verordnung festgelegten Rahmen
vereinbar ist, ohne dass es den zuständigen Behörden bei ihren Tätigkeiten zu
Strafverfolgungszwecken Raum lässt, außerhalb dieses Rahmens solche Systeme
zu verwenden und die damit verbundenen Daten aus den in Artikel 10 der
Richtlinie (EU) 2016/680 aufgeführten Gründen zu verarbeiten. In diesem
Zusammenhang soll diese Verordnung nicht als Rechtsgrundlage für die Verarbeitung
gemäß Artikel 8 der Richtlinie (EU) 2016/680 dienen.
Die Verwendung biometrischer Echtzeit-Fernidentifizierungssysteme in
öffentlich zugänglichen Räumen zu anderen Zwecken als der Strafverfolgung, auch durch
zuständige Behörden, sollte jedoch nicht unter den in dieser Verordnung
festgelegten spezifischen Rahmen für diese Verwendung zu
Strafverfolgungszwecken fallen. Eine solche Verwendung zu anderen Zwecken als der Strafverfolgung
sollte daher nicht der Genehmigungspflicht gemäß dieser Verordnung und den
zu dieser Genehmigung anwendbaren detaillierten nationalen Rechtsvorschriften
unterliegen.

39.

Jede Verarbeitung biometrischer Daten und anderer
im Zusammenhang mit der Verwendung von en für die biometrische
Identifizierung, ausgenommen im Zusammenhang mit der Verwendung biometrischer
Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu
szwecken im Sinne dieser Verordnung, sollte weiterhin allen
Anforderungen genügen, die sich aus Artikel 10 der Richtlinie (EU)
ergeben. Für andere Zwecke als die Strafverfolgung ist die Verarbeitung
biometrischer Daten gemäß Artikel 9 Absatz 1 der Verordnung (EU) und Artikel
10 Absatz 1 der Verordnung (EU) , vorbehaltlich der in diesen
Artikeln vorgesehenen begrenzten Ausnahmefällen, verboten. In Anwendung des
Artikels 9 Absatz 1 der Verordnung (EU) 2016/679 war die Verwendung biometrischer
Fernidentifizierung zu anderen Zwecken als der Strafverfolgung bereits
Gegenstand von Verbotsentscheidungen der nationalen Datenschutzbehörden.

40.

Nach Artikel 6a des dem und dem beigefügten Protokolls Nr. 21 über
die Position des Vereinigten Königreichs und Irlands hinsichtlich des Raums
der Freiheit, der Sicherheit und des Rechts sind die auf der Grundlage des
Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1 Unterabsatz
1 Buchstabe g, soweit er auf die Verwendung von Systemen zur biometrischen
Kategorisierung für Tätigkeiten im Bereich der polizeilichen Zusammenarbeit
und der justiziellen Zusammenarbeit in Strafsachen Anwendung findet, Artikel
5 Absatz 1 Buchstabe d, soweit sie auf die Verwendung von en nach
der darin festgelegten Bestimmung Anwendung finden, sowie Artikel 5 Absatz 1
Unterabsatz 1 Buchstabe h, Artikel 5 Absätze 2 bis 6 und Artikel 26 Absatz
10 dieser Verordnung in Bezug auf die Verarbeitung
durch die Mitgliedstaaten im Rahmen der Ausübung von Tätigkeiten, die in den
Anwendungsbereich des Dritten Teils Titel V Kapitel 4 oder 5 AEUV fallen,
für Irland nicht bindend, wenn Irland nicht durch die Vorschriften gebunden
ist, die die Formen der justiziellen Zusammenarbeit in Strafsachen oder der
polizeilichen Zusammenarbeit regeln, in deren Rahmen die auf der Grundlage des
Artikels 16 AEUV festgelegten Vorschriften eingehalten werden müssen.

41.

Nach den Artikeln 2 und 2a des dem und dem beigefügten Protokolls
Nr. 22 über die Position Dänemarks ist Dänemark durch die auf der Grundlage
des Artikels 16 AEUV festgelegten Vorschriften in Artikel 5 Absatz 1
Unterabsatz 1 Buchstabe g soweit er auf die Verwendung von Systemen zur
biometrischen Kategorisierung für Tätigkeiten im Bereich der polizeilichen
Zusammenarbeit und der justiziellen Zusammenarbeit in Strafsachen Anwendung findet,
Artikel 5 Absatz 1 Unterabsatz 1 Buchstaben d soweit sie auf die Verwendung von
en nach der darin festgelegten Bestimmung Anwendung finden, sowie
Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe h, Artikel 5 Absätze 2 bis 6 und
Artikel 26 Absatz 10 dieser Verordnung in Bezug auf die Verarbeitung
durch die Mitgliedstaaten im Rahmen der Ausübung von
Tätigkeiten, die in den Anwendungsbereich des Dritten Teils Titel V Kapitel 4 oder
5 AEUV fallen, weder gebunden noch zu ihrer Anwendung verpflichtet.

42.

Im Einklang mit der Unschuldsvermutung sollten natürliche Personen in der
Union stets nach ihrem tatsächlichen Verhalten beurteilt werden. Natürliche
Personen sollten niemals allein nach dem Verhalten beurteilt werden, das von
einer KI auf der Grundlage ihres , ihrer Persönlichkeitsmerkmale
oder -eigenschaften wie Staatsangehörigkeit, Geburtsort, Wohnort, Anzahl der
Kinder, Schulden oder Art ihres Fahrzeugs vorhergesagt wird, ohne dass ein
begründeter Verdacht besteht, dass diese Person an einer kriminellen Tätigkeit
auf der Grundlage objektiver nachprüfbarer Tatsachen beteiligt ist, und
ohne dass eine menschliche Überprüfung stattfindet. Daher sollten
bewertungen, die in Bezug auf natürliche Personen durchgeführt werden, um zu
bewerten, ob sie straffällig werden oder um eine tatsächliche oder mögliche
Straftat vorherzusagen, und dies ausschließlich auf dem Profiling dieser Personen
oder der Bewertung ihrer Persönlichkeitsmerkmale und -eigenschaften beruht,
verboten werden. In jedem Fall betrifft oder berührt dieses Verbot nicht
Risikoanalysen, die nicht auf dem Profiling von Einzelpersonen oder auf
Persönlichkeitsmerkmalen und -eigenschaften von Einzelpersonen beruhen, wie etwa
e, die Risikoanalysen zur Bewertung der Wahrscheinlichkeit eines
Finanzbetrugs durch Unternehmen auf der Grundlage verdächtiger Transaktionen
durchführen, oder Risikoanalyseinstrumente einsetzen, um die Wahrscheinlichkeit
vorherzusagen, dass Betäubungsmittel oder illegale Waren durch
Zollbehörden, beispielsweise auf der Grundlage bekannter Schmuggelrouten, aufgespürt
werden.

43.

Das , die für diesen spezifischen Zweck oder
die Verwendung von en, die Datenbanken zur Gesichtserkennung durch
das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von
Videoüberwachungsaufnahmen erstellen oder erweitern, sollte verboten werden, da
dies das Gefühl der Massenüberwachung verstärkt und zu schweren Verstößen
gegen die Grundrechte, einschließlich des Rechts auf Privatsphäre, führen kann.

44.

Im Hinblick auf die wissenschaftliche Grundlage von en, die darauf
abzielen, Emotionen zu erkennen oder abzuleiten, bestehen ernsthafte
Bedenken, insbesondere da sich Gefühlsausdrücke je nach Kultur oder Situation und
selbst bei ein und derselben Person erheblich unterscheiden. Zu den größten
Schwachstellen solcher Systeme gehört, dass sie beschränkt zuverlässig,
nicht eindeutig und nur begrenzt verallgemeinerbar sind. Daher können
KI-Systeme, die Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer
erkennen oder ableiten, diskriminierende Ergebnisse
hervorbringen und in die Rechte und Freiheiten der betroffenen Personen
eingreifen. Angesichts des Machtungleichgewichts in den Bereichen Arbeit und Bildung
in Verbindung mit dem intrusiven Charakter dieser Systeme können diese zu
einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen
oder ganzer Gruppen führen. Daher sollte das , die
oder die Verwendung von KI-Systemen, die den emotionalen Zustand von
Einzelpersonen in Situationen, ableiten sollen, die mit dem Arbeitsplatz
oder dem Bildungsbereich in Zusammenhang stehen, verboten werden. Dieses Verbot
sollte nicht für KI-Systeme gelten, die ausschließlich aus medizinischen
oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B.
Systeme, die für therapeutische Zwecke bestimmt sind.

45.

Praktiken, die nach Unionsrecht, einschließlich Datenschutzrecht,
Nichtdiskriminierungsrecht, Verbraucherschutzrecht und Wettbewerbsrecht, verboten
sind, sollten von dieser Verordnung nicht betroffen sein.

46.

Hochrisiko-e sollten nur dann auf dem Unionsmarkt in Verkehr
gebracht, in Betrieb genommen oder verwendet werden, wenn sie bestimmte
verbindliche Anforderungen erfüllen. Mit diesen Anforderungen sollte sichergestellt
werden, dass Hochrisiko-KI-Systeme, die in der Union verfügbar sind oder
deren Ausgabe anderweitig in der Union verwendet wird, keine unannehmbaren
für wichtige öffentliche Interessen der Union bergen, wie sie im
Unionsrecht anerkannt und geschützt sind. Auf der Grundlage des neuen Rechtsrahmens,
wie in der Bekanntmachung der Kommission „Leitfaden für die Umsetzung der
Produktvorschriften der EU 2022 (Blue Guide)“ (20) dargelegt, gilt als
allgemeine Regel, dass mehr als ein Rechtsakt der
Harmonisierungsrechtsvorschriften der Union wie die Verordnungen (EU) 2017/745 (21) und (EU) (22)
des und des Rates oder die Richtlinie /EG des
Europäischen Parlaments und des Rates (23) auf ein Produkt anwendbar sein
können, da die Bereitstellung oder nur erfolgen kann, wenn das
Produkt allen geltenden Harmonisierungsrechtsvorschriften der Union
entspricht. Um Kohärenz zu gewährleisten und unnötigen Verwaltungsaufwand oder
Kosten zu vermeiden, sollten die eines Produkts, das ein oder mehrere
Hochrisiko-KI-Systeme enthält, für die die Anforderungen dieser Verordnung und
der in einem Anhang dieser Verordnung aufgeführten
Harmonisierungsrechtsvorschriften der Union gelten, in Bezug auf operative Entscheidungen darüber
flexibel sein, wie die Konformität eines Produkts, das ein oder mehrere
Hochrisiko- KI-Systeme enthält, bestmöglich mit allen geltenden Anforderungen der
Harmonisierungsrechtsvorschriften der Union sichergestellt werden kann. Als
hochriskant sollten nur solche KI-Systeme eingestuft werden, die erhebliche
schädliche Auswirkungen auf die Gesundheit, die Sicherheit und die
Grundrechte von Personen in der Union haben, wodurch eine mögliche Beschränkung des
internationalen Handels so gering wie möglich bleiben sollte.

(20)ABl. C 247 vom 29.6.2022, S.
1. (21)Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom
5. April 2017 über Medizinprodukte, zur Änderung der Richtlinie /EG,
der Verordnung (EG) Nr. und der Verordnung (EG) Nr. und
zur Aufhebung der Richtlinien /EWG und /EWG des Rates (ABl. L 117
vom 5.5.2017, S. 1). (22)Verordnung (EU) 2017/746 des Europäischen
Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika und zur
Aufhebung der Richtlinie /EG und des Beschlusses /EU der Kommission
(ABl. L 117 vom 5.5.2017, S. 176). (23)Richtlinie 2006/42/EG des Europäischen
Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung
der Richtlinie /EG (ABl. L 157 vom 9.6.2006, S. 24).

47.

e könnten nachteilige Auswirkungen auf die Gesundheit und
Sicherheit von Personen haben, insbesondere wenn solche Systeme als
e von Produkten zum Einsatz kommen. Im Einklang mit den Zielen der
Harmonisierungsrechtsvorschriften der Union, die den freien Verkehr von Produkten
im Binnenmarkt erleichtern und gewährleisten sollen, dass nur sichere und
anderweitig konforme Produkte auf den Markt gelangen, ist es wichtig, dass die
Sicherheitsrisiken, die ein Produkt als Ganzes aufgrund seiner digitalen
Komponenten, einschließlich KI-Systeme, mit sich bringen kann, angemessen
vermieden und gemindert werden. So sollten beispielsweise zunehmend autonome
Roboter — sei es in der Fertigung oder in der persönlichen Assistenz und Pflege
— in der Lage sein, sicher zu arbeiten und ihre Funktionen in komplexen
Umgebungen zu erfüllen. Desgleichen sollten die immer ausgefeilteren
Diagnosesysteme und Systeme zur Unterstützung menschlicher Entscheidungen im
Gesundheitssektor, in dem die für Leib und Leben besonders hoch sind,
zuverlässig und genau sein.

48.

Das Ausmaß der nachteiligen Auswirkungen des s auf die durch die
geschützten Grundrechte ist bei der Einstufung eines KI-Systems als
hochriskant von besonderer Bedeutung. Zu diesen Rechten gehören die Würde des
Menschen, die Achtung des Privat- und Familienlebens, der Schutz
, die Freiheit der Meinungsäußerung und die
Informationsfreiheit, die Versammlungs- und Vereinigungsfreiheit, das Recht auf
Nichtdiskriminierung, das Recht auf Bildung, der Verbraucherschutz, die Arbeitnehmerrechte,
die Rechte von Menschen mit Behinderungen, die Gleichstellung der
Geschlechter, Rechte des geistigen Eigentums, das Recht auf einen wirksamen
Rechtsbehelf und ein faires Gerichtsverfahren, das Verteidigungsrecht, die
Unschuldsvermutung sowie das Recht auf eine gute Verwaltung. Es muss betont werden,
dass Kinder — zusätzlich zu diesen Rechten — über spezifische Rechte verfügen,
wie sie in Artikel 24 der Charta und im Übereinkommen der Vereinten Nationen
über die Rechte des Kindes () — im Hinblick auf das digitale Umfeld
weiter ausgeführt in der Allgemeinen Bemerkung Nr. 25 des UNCRC — verankert
sind; in beiden wird die Berücksichtigung der Schutzbedürftigkeit der Kinder
gefordert und ihr Anspruch auf den Schutz und die Fürsorge festgelegt, die
für ihr Wohlergehen notwendig sind. Darüber hinaus sollte dem Grundrecht auf
ein hohes Umweltschutzniveau, das in der Charta verankert ist und mit der
Unionspolitik umgesetzt wird, bei der Bewertung der Schwere des Schadens, den
ein KI-System unter anderem in Bezug auf die Gesundheit und Sicherheit von
Personen verursachen kann, ebenfalls Rechnung getragen werden.

49.

In Bezug auf Hochrisiko-e, die e von Produkten
oder Systemen oder selbst Produkte oder Systeme sind, die in den
Anwendungsbereich der Verordnung (EG) Nr. des und des
Rates (24), der Verordnung (EU) Nr. des Europäischen Parlaments und
des Rates (25), der Verordnung (EU) Nr. des Europäischen Parlaments
und des Rates (26), der Richtlinie /EU des Europäischen Parlaments
und des Rates (27), der Richtlinie (EU) des Europäischen Parlaments
und des Rates (28), der Verordnung (EU) des Europäischen Parlaments
und des Rates (29), der Verordnung (EU) des Europäischen
Parlaments und des Rates (30) und der Verordnung (EU) des Europäischen
Parlaments und des Rates (31) fallen, ist es angezeigt, diese Rechtsakte zu
ändern, damit die Kommission — aufbauend auf den technischen und
regulatorischen Besonderheiten des jeweiligen Sektors und ohne Beeinträchtigung
bestehender Governance-, s- und Durchsetzungsmechanismen sowie
der darin eingerichteten Behörden — beim Erlass von etwaigen delegierten
Rechtsakten oder Durchführungsrechtsakten auf der Grundlage der genannten
Rechtsakte die in der vorliegenden Verordnung festgelegten verbindlichen
Anforderungen an Hochrisiko-KI-Systeme berücksichtigt.

(24)Verordnung (EG) Nr. 300/2008 des Europäischen
Parlaments und des Rates vom 11. März 2008 über gemeinsame Vorschriften für
die Sicherheit in der Zivilluftfahrt und zur Aufhebung der Verordnung (EG)
Nr. (ABl. L 97 vom 9.4.2008, S. 72). (25)Verordnung (EU) Nr.
167/2013 des Europäischen Parlaments und des Rates vom 5. Februar 2013 über die
Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen
Fahrzeugen (ABl. L 60 vom 2.3.2013, S. 1). (26)Verordnung (EU) Nr. 168/2013 des
Europäischen Parlaments und des Rates vom 15. Januar 2013 über die Genehmigung
und Marktüberwachung von zwei- oder dreirädrigen und vierrädrigen Fahrzeugen
(ABl. L 60 vom 2.3.2013, S. 52). (27)Richtlinie 2014/90/EU des Europäischen
Parlaments und des Rates vom 23. Juli 2014 über Schiffsausrüstung und zur
Aufhebung der Richtlinie 8/EG des Rates (ABl. L 257 vom 28.8.2014, S. 146).
(28)Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates vom
11. Mai 2016 über die Interoperabilität des Eisenbahnsystems in der
Europäischen Union (ABl. L 138 vom 26.5.2016, S. 44). (29)Verordnung (EU) 2018/858
des Europäischen Parlaments und des Rates vom 30. Mai 2018 über die
Genehmigung und die Marktüberwachung von Kraftfahrzeugen und Kraftfahrzeuganhängern
sowie von Systemen, Bauteilen und selbstständigen technischen Einheiten für
diese Fahrzeuge, zur Änderung der Verordnungen (EG) Nr. und (EG) Nr.
und zur Aufhebung der Richtlinie /EG (ABl. L 151 vom
14.6.2018, S. 1). (30) Verordnung (EU) 2018/1139 des Europäischen Parlaments und
des Rates vom 4. Juli 2018 zur Festlegung gemeinsamer Vorschriften für die
Zivilluftfahrt und zur Errichtung einer Agentur der Europäischen Union für
Flugsicherheit sowie zur Änderung der Verordnungen (EG) Nr. , (EG) Nr.
, (EU) Nr. , (EU) Nr. und der Richtlinien
/EU und /EU des Europäischen Parlaments und des Rates, und zur
Aufhebung der Verordnungen (EG) Nr. und (EG) Nr. des
Europäischen Parlaments und des Rates und der Verordnung (EWG) Nr. des Rates
(ABl. L 212 vom 22.8.2018, S. 1). (31)Verordnung (EU) 2019/2144 des
Europäischen Parlaments und des Rates vom 27. November 2019 über die Typgenehmigung
von Kraftfahrzeugen und Kraftfahrzeuganhängern sowie von Systemen, Bauteilen
und selbstständigen technischen Einheiten für diese Fahrzeuge im Hinblick auf
ihre allgemeine Sicherheit und den Schutz der Fahrzeuginsassen und von
ungeschützten Verkehrsteilnehmern, zur Änderung der Verordnung (EU) 2018/858 des
Europäischen Parlaments und des Rates und zur Aufhebung der Verordnungen
(EG) Nr. , (EG) Nr. und (EG) Nr. des Europäischen
Parlaments und des Rates sowie der Verordnungen (EG) Nr. , (EU) Nr.
, (EU) Nr. , (EU) Nr. , (EU) Nr. , (EU) Nr.
, (EU) Nr. , (EU) Nr. , (EU) Nr. , (EU) Nr.
, (EU) Nr. , (EU) Nr. , (EU) Nr. , (EU) Nr.
, (EU) Nr. und (EU) der Kommission (ABl. L 325 vom
16.12.2019, S. 1).

50.

In Bezug auf e, die e von Produkten oder selbst
Produkte sind, die in den Anwendungsbereich bestimmter, im Anhang dieser
Verordnung aufgeführter Harmonisierungsrechtsvorschriften der Union fallen, ist
es angezeigt, sie im Rahmen dieser Verordnung als hochriskant einzustufen,
wenn das betreffende Produkt gemäß den einschlägigen
Harmonisierungsrechtsvorschriften der Union dem sverfahren durch eine als
Dritte auftretende unterzogen wird. Dabei handelt
es sich insbesondere um Produkte wie Maschinen, Spielzeuge, Aufzüge, Geräte
und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten
Bereichen, Funkanlagen, Druckgeräte, Sportbootausrüstung, Seilbahnen, Geräte
zur Verbrennung gasförmiger Brennstoffe, Medizinprodukte,
In-vitro-Diagnostika, Automobile und Flugzeuge.

51.

Die Einstufung eines s als hochriskant gemäß dieser Verordnung
sollte nicht zwangsläufig bedeuten, dass von dem Produkt, dessen
das KI-System ist, oder von dem KI-System als eigenständigem Produkt
nach den Kriterien der einschlägigen Harmonisierungsrechtsvorschriften der
Union für das betreffende Produkt ein hohes ausgeht. Dies gilt
insbesondere für die Verordnungen (EU) 2017/745 und (EU) , wo für Produkte
mit mittlerem und hohem Risiko eine durch Dritte
vorgesehen ist.

52.

Bei eigenständigen en, d. h. Hochrisiko-KI-Systemen, bei denen es
sich um andere Systeme als e von Produkten handelt oder
die selbst Produkte sind, ist es angezeigt, sie als hochriskant einzustufen,
wenn sie aufgrund ihrer ein hohes bergen, die
Gesundheit und Sicherheit oder die Grundrechte von Personen zu schädigen, wobei
sowohl die Schwere des möglichen Schadens als auch die Wahrscheinlichkeit seines
Auftretens zu berücksichtigen sind, und sofern sie in einer Reihe von
Bereichen verwendet werden, die in dieser Verordnung ausdrücklich festgelegt
sind. Die Bestimmung dieser Systeme erfolgt nach derselben Methodik und
denselben Kriterien, die auch für künftige Änderungen der Liste der
Hochrisiko-KI-Systeme vorgesehen sind, zu deren Annahme die Kommission im Wege delegierter
Rechtsakte ermächtigt werden sollte, um dem rasanten Tempo der
technologischen Entwicklung sowie den möglichen Änderungen bei der Verwendung von
KI-Systemen Rechnung zu tragen.

53.

Ferner muss klargestellt werden, dass es bestimmte Fälle geben kann, in
denen e für vordefinierte in dieser Verordnung festgelegte Bereiche
nicht zu einem bedeutenden der Beeinträchtigung der in diesen Bereichen
geschützten rechtlichen Interessen führen, da sie die Entscheidungsfindung
nicht wesentlich beeinflussen oder diesen Interessen nicht erheblich
schaden. Für die Zwecke dieser Verordnung sollte ein KI-System, das das Ergebnis
der Entscheidungsfindung nicht wesentlich beeinflusst, als ein KI-System
verstanden werden, das keine Auswirkungen auf den Inhalt und damit das Ergebnis
der Entscheidungsfindung hat, unabhängig davon, ob es sich um menschliche
oder automatisierte Entscheidungen handelt. Ein KI-System, das das Ergebnis der
Entscheidungsfindung nicht wesentlich beeinflusst, könnte Situationen
einschließen, in denen eine oder mehrere der folgenden Bedingungen erfüllt sind.
Die erste dieser Bedingungen ist, dass das KI-System dazu bestimmt ist, in
einem Verfahren eine eng gefasste Aufgabe zu erfüllen, wie etwa ein
KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt, ein KI-System,
das eingehende Dokumente in Kategorien einordnet, oder ein KI-System, das
zur Erkennung von Duplikaten unter einer großen Zahl von Anwendungen
eingesetzt wird. Diese Aufgaben sind so eng gefasst und begrenzt, dass sie nur
beschränkte darstellen, die sich durch die Verwendung eines KI-Systems in
einem Kontext, der in einem Anhang dieser Verordnung als Verwendung mit
hohem Risiko aufgeführt ist, nicht erhöhen. Die zweite Bedingung sollte darin
bestehen, dass die von einem KI-System ausgeführte Aufgabe das Ergebnis einer
zuvor abgeschlossenen menschlichen Tätigkeit verbessert, die für die Zwecke
der in einem Anhang dieser Verordnung aufgeführten Verwendungen mit hohem
Risiko relevant sein kann. Unter Berücksichtigung dieser Merkmale wird eine
menschliche Tätigkeit durch das KI-System lediglich durch eine zusätzliche
Ebene ergänzt und stellt daher ein geringeres Risiko dar. Diese Bedingung
würde beispielsweise für KI-Systeme gelten, deren Ziel es ist, die in zuvor
verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen
Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten
mit einer Marke verbundenen Stil anzupassen. Dritte Bedingung sollte sein,
dass mit dem KI-System Entscheidungsmuster oder Abweichungen von früheren
Entscheidungsmustern erkannt werden sollen. Das Risiko wäre geringer, da die
Verwendung des KI-Systems einer zuvor abgeschlossenen menschlichen Bewertung
folgt, die das KI-System ohne angemessene menschliche Überprüfung nicht
ersetzen oder beeinflussen soll. Zu solchen KI-Systemen gehören beispielsweise
solche, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu
verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise
von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten
oder Unregelmäßigkeiten aufmerksam zu machen. Die vierte Bedingung sollte
darin bestehen, dass das KI-System dazu bestimmt ist, eine Aufgabe auszuführen,
die eine Bewertung, die für die Zwecke der in einem Anhang dieser
Verordnung aufgeführten KI-Systeme relevant ist, lediglich vorbereitet, wodurch die
mögliche Wirkung der Ausgaben des Systems im Hinblick auf das Risiko für die
folgende Bewertung sehr gering bleibt. Diese Bedingung umfasst u. a.
intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene
Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von
Daten mit anderen Datenquellen gehören, oder KI-Systeme, die für die
Übersetzung von Erstdokumenten verwendet werden. In jedem Fall sollten KI-Systeme,
die in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfälle
mit hohem Risiko verwendet werden, als erhebliche Risiken für die Gesundheit,
Sicherheit oder Grundrechte gelten, wenn das KI-System im Sinne
von Artikel 4 Nummer 4 der Verordnung (EU) oder Artikel 3 Nummer 4
der Richtlinie (EU) oder Artikel 3 Nummer 5 der Verordnung (EU)
beinhaltet. Um die Nachvollziehbarkeit und Transparenz zu
gewährleisten, sollte ein , der der Auffassung ist, dass ein KI-System auf der
Grundlage der oben genannten Bedingungen kein hohes Risiko darstellt, eine
Dokumentation der Bewertung erstellen, bevor dieses System in Verkehr gebracht
oder in Betrieb genommen wird, und die genannte Dokumentation den
zuständigen nationalen Behörden auf Anfrage zur Verfügung stellen. Ein solcher
Anbieter sollte verpflichtet sein, das KI-System in der gemäß dieser Verordnung
eingerichteten EU-Datenbank zu registrieren. Um eine weitere Anleitung für die
praktische Umsetzung der Bedingungen zu geben, unter denen die in einem
Anhang dieser Verordnung aufgeführten Systeme ausnahmsweise kein hohes Risiko
darstellen, sollte die Kommission nach Konsultation des KI-Gremiums Leitlinien
bereitstellen, in denen diese praktische Umsetzung detailliert aufgeführt
ist und durch eine umfassende Liste praktischer Beispiele für Anwendungsfälle
von KI-Systemen, die ein hohes Risiko und Anwendungsfälle, die kein hohes
Risiko darstellen, ergänzt wird.

54.

Da eine besondere Kategorie
darstellen, sollten einige kritische Anwendungsfälle biometrischer Systeme als
hochriskant eingestuft werden, sofern ihre Verwendung nach den einschlägigen
Rechtsvorschriften der Union und den nationalen Rechtsvorschriften zulässig
ist. Technische Ungenauigkeiten von en, die für die biometrische
Fernidentifizierung natürlicher Personen bestimmt sind, können zu verzerrten
Ergebnissen führen und eine diskriminierende Wirkung haben. Das
solcher verzerrter Ergebnisse und solcher diskriminierender Wirkungen ist von
besonderer Bedeutung, wenn es um das Alter, die ethnische Herkunft, die Rasse,
das Geschlecht oder Behinderungen geht. Biometrische
Fernidentifizierungssysteme sollten daher angesichts der von ihnen ausgehenden als
hochriskant eingestuft werden. Diese Einstufung umfasst keine KI-Systeme, die
bestimmungsgemäß für die , wozu die Authentifizierung
gehört, verwendet werden sollen, deren einziger Zweck darin besteht, zu
bestätigen, dass eine bestimmte natürliche Person die Person ist, für die sie sich
ausgibt, sowie zur Bestätigung der Identität einer natürlichen Person zu dem
alleinigen Zweck Zugang zu einem Dienst zu erhalten, ein Gerät zu
entriegeln oder sicheren Zugang zu Räumlichkeiten zu erhalten. Darüber hinaus sollten
KI-Systeme, die bestimmungsgemäß für die biometrische Kategorisierung nach
sensiblen Attributen oder Merkmalen, die gemäß Artikel 9 Absatz 1 der
Verordnung (EU) auf der Grundlage biometrischer Daten geschützt sind, und
sofern sie nicht nach der vorliegenden Verordnung verboten sind, sowie
e, die nach dieser Verordnung nicht verboten sind, als
hochriskant eingestuft werden. Biometrische Systeme, die ausschließlich dazu
bestimmt sind, um Maßnahmen zur Cybersicherheit und zum Schutz
personenbezogener Daten durchführen zu können, sollten nicht als Hochrisiko- KI-Systeme
gelten.

55.

Was die Verwaltung und den Betrieb kritischer Infrastruktur anbelangt, so
ist es angezeigt, e, die als e für die Verwaltung
und den Betrieb kritischer digitaler Infrastruktur gemäß Nummer 8 des
Anhangs der Richtlinie (EU) , des Straßenverkehrs sowie für die Wasser-,
Gas-, Wärme- und Stromversorgung verwendet werden sollen, als hochriskant
einzustufen, da ihr Ausfall oder ihre Störung in großem Umfang ein für
das Leben und die Gesundheit von Personen darstellen und zu erheblichen
Störungen bei der normalen Durchführung sozialer und wirtschaftlicher
Tätigkeiten führen kann. Sicherheitsbauteile kritischer Infrastruktur, einschließlich
kritischer digitaler Infrastruktur, sind Systeme, die verwendet werden, um
die physische Integrität kritischer Infrastruktur oder die Gesundheit und
Sicherheit von Personen und Eigentum zu schützen, die aber nicht notwendig
sind, damit das System funktioniert. Ausfälle oder Störungen solcher Komponenten
können direkt zu für die physische Integrität kritischer
Infrastruktur und somit zu Risiken für die Gesundheit und Sicherheit von Personen und
Eigentum führen. Komponenten, die für die ausschließliche Verwendung zu
Zwecken der Cybersicherheit vorgesehen sind, sollten nicht als
Sicherheitsbauteile gelten. Zu Beispielen von Sicherheitsbauteilen solcher kritischen
Infrastruktur zählen etwa Systeme für die Überwachung des Wasserdrucks oder
Feuermelder-Kontrollsysteme in Cloud-Computing-Zentren.

56.

Der Einsatz von en in der Bildung ist wichtig, um eine hochwertige
digitale allgemeine und berufliche Bildung zu fördern und es allen
Lernenden und Lehrkräften zu ermöglichen, die erforderlichen digitalen Fähigkeiten
und Kompetenzen, einschließlich Medienkompetenz und kritischem Denken, zu
erwerben und auszutauschen, damit sie sich aktiv an Wirtschaft, Gesellschaft
und demokratischen Prozessen beteiligen können. Allerdings sollten KI-Systeme,
die in der allgemeinen oder beruflichen Bildung eingesetzt werden, um
insbesondere den Zugang oder die Zulassung zum Zweck der Zuordnung von Personen
zu Bildungs- und Berufsbildungseinrichtungen oder -programmen auf allen
Ebenen zu bestimmen, die Lernergebnisse von Personen zu beurteilen, das
angemessene Bildungsniveau einer Person zu bewerten und das Niveau der Bildung und
Ausbildung, das die Person erhält oder zu dem sie Zugang erhält, wesentlich zu
beeinflussen und verbotenes Verhalten von Schülern während Prüfungen zu
überwachen und zu erkennen als hochriskante KI-Systeme eingestuft werden, da
sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden
und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu
sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme
sehr intrusiv sein und das Recht auf allgemeine und berufliche Bildung sowie
das Recht auf Nichtdiskriminierung verletzen und historische
Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten
Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten
rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung.

57.

e, die in den Bereichen Beschäftigung, Personalmanagement und
Zugang zur Selbstständigkeit eingesetzt werden, insbesondere für die Einstellung
und Auswahl von Personen, für Entscheidungen über die Bedingungen des
Arbeitsverhältnisses sowie die Beförderung und die Beendigung von
Arbeitsvertragsverhältnissen, für die Zuweisung von Arbeitsaufgaben auf der Grundlage von
individuellem Verhalten, persönlichen Eigenschaften oder Merkmalen sowie für
die Überwachung oder Bewertung von Personen in Arbeitsvertragsverhältnissen
sollten ebenfalls als hochriskant eingestuft werden, da diese Systeme die
künftigen Karriereaussichten und die Lebensgrundlagen dieser Personen und die
Arbeitnehmerrechte spürbar beeinflussen können. Einschlägige
Arbeitsvertragsverhältnisse sollten in sinnvoller Weise Beschäftigte und Personen erfassen,
die Dienstleistungen über Plattformen erbringen, auf die im Arbeitsprogramm
der Kommission für 2021 Bezug genommen wird. Solche Systeme können während
des gesamten Einstellungsverfahrens und bei der Bewertung, Beförderung oder
Weiterbeschäftigung von Personen in Arbeitsvertragsverhältnissen historische
Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen,
bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer
bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung.
KI-Systeme zur Überwachung der Leistung und des Verhaltens solcher Personen
können auch deren Grundrechte auf Datenschutz und Privatsphäre untergraben.

58.

Ein weiterer Bereich, in dem der Einsatz von en besondere
Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten
grundlegenden privaten und öffentlichen Diensten und Leistungen, die erforderlich
sind, damit Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren
Lebensstandard verbessern können. Insbesondere natürliche Personen, die
grundlegende staatliche Unterstützungsleistungen und -dienste von Behörden
beantragen oder erhalten, wie etwa Gesundheitsdienste, Leistungen der sozialen
Sicherheit, soziale Dienste, die Schutz in Fällen wie Mutterschaft, Krankheit,
Arbeitsunfall, Pflegebedürftigkeit oder Alter und Arbeitsplatzverlust sowie
Sozialhilfe und Wohngeld bieten, sind in der Regel von diesen Leistungen und
Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in
einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob
solche Leistungen und Dienste von den Behörden gewährt, verweigert, gekürzt,
widerrufen oder zurückgefordert werden sollten, einschließlich der Frage, ob
Begünstigte rechtmäßig Anspruch auf solche Leistungen oder Dienste haben,
können diese Systeme erhebliche Auswirkungen auf die Lebensgrundlage von
Personen haben und ihre Grundrechte wie etwa das Recht auf sozialen Schutz,
Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen
und sollten daher als hochriskant eingestuft werden. Dennoch sollte diese
Verordnung die Entwicklung und Verwendung innovativer Ansätze in der
öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer
und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes
für juristische und natürliche Personen bergen. Darüber hinaus sollten
KI-Systeme, die zur Bewertung der Bonität oder Kreditwürdigkeit natürlicher
Personen verwendet werden, als Hochrisiko-KI-Systeme eingestuft werden, da
sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen
Dienstleistungen wie etwa Wohnraum, Elektrizität und
Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die für diese Zwecke eingesetzt werden, können zur
Diskriminierung von Personen oder Gruppen führen und historische
Diskriminierungsmuster, wie etwa aufgrund der rassischen oder ethnischen Herkunft, des
Geschlechts, einer Behinderung, des Alters oder der sexuellen Ausrichtung,
fortschreiben oder neue Formen von Diskriminierung mit sich bringen.
Allerdings sollten KI-Systeme, die nach Unionsrecht zur Aufdeckung von Betrug beim
Angebot von Finanzdienstleistungen oder für Aufsichtszwecke zur Berechnung
der Eigenkapitalanforderungen von Kreditinstituten und
Versicherungsunternehmen vorgesehen sind, nicht als Hochrisiko-Systeme gemäß dieser Verordnung
angesehen werden. Darüber hinaus können KI-Systeme, die für die Risikobewertung
und Preisbildung in Bezug auf natürliche Personen im Fall von Kranken- und
Lebensversicherungen eingesetzt werden, auch erhebliche Auswirkungen auf die
Existenzgrundlage der Menschen haben und bei nicht ordnungsgemäßer
Konzeption, Entwicklung und Verwendung schwerwiegende Konsequenzen für das Leben und
die Gesundheit von Menschen nach sich ziehen, einschließlich finanzieller
Ausgrenzung und Diskriminierung. Schließlich sollten KI-Systeme, die bei der
Bewertung und Einstufung von Notrufen durch natürliche Personen oder der
Entsendung oder der Priorisierung der Entsendung von Not- und Rettungsdiensten
wie Polizei, Feuerwehr und medizinischer Nothilfe sowie für die Triage von
Patienten bei der Notfallversorgung eingesetzt werden, ebenfalls als
hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von
Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.

59.

In Anbetracht der Rolle und Zuständigkeit von sbehörden sind
deren Maßnahmen im Zusammenhang mit bestimmten Verwendungen von en
durch ein erhebliches Machtungleichgewicht gekennzeichnet und können zur
Überwachung, zur Festnahme oder zum Entzug der Freiheit einer natürlichen
Person sowie zu anderen nachteiligen Auswirkungen auf die in der
verankerten Grundrechte führen. Insbesondere wenn das KI-System nicht mit
hochwertigen Daten trainiert wird, die Anforderungen an seine Leistung, Genauigkeit
oder Robustheit nicht erfüllt werden oder das System nicht ordnungsgemäß
konzipiert und getestet wird, bevor es in Verkehr gebracht oder in anderer Weise
in Betrieb genommen wird, kann es Personen in diskriminierender oder
anderweitig falscher oder ungerechter Weise ausgrenzen. Darüber hinaus könnte die
Ausübung wichtiger verfahrensrechtlicher Grundrechte wie etwa des Rechts auf
einen wirksamen Rechtsbehelf und ein unparteiisches Gericht sowie das
Verteidigungsrecht und die Unschuldsvermutung behindert werden, insbesondere wenn
solche KI-Systeme nicht hinreichend transparent, erklärbar und dokumentiert
sind. Daher ist es angezeigt, eine Reihe von KI-Systemen — sofern deren
Einsatz nach einschlägigem Unions- oder nationalem Recht zugelassen ist —, die
im Rahmen der Strafverfolgung eingesetzt werden sollen und bei denen
Genauigkeit, Zuverlässigkeit und Transparenz besonders wichtig sind, als hochriskant
einzustufen, um nachteilige Auswirkungen zu vermeiden, das Vertrauen der
Öffentlichkeit zu erhalten und die Rechenschaftspflicht und einen wirksamen
Rechtsschutz zu gewährleisten. Angesichts der Art der Tätigkeiten und der
damit verbundenen sollten diese Hochrisiko-KI-Systeme insbesondere
KI-Systeme umfassen, die von n oder in ihrem Auftrag oder
von Organen, Einrichtungen und sonstigen Stellen der Union zur Unterstützung
von Strafverfolgungsbehörden für folgende Zwecke eingesetzt werden: zur
Bewertung des s, dass eine natürliche Person Opfer von Straftaten wird,
wie Lügendetektoren und ähnliche Instrumente, zur Bewertung der
Zuverlässigkeit von Beweismitteln im Rahmen der Ermittlung oder Verfolgung von Straftaten
und — soweit nach dieser Verordnung nicht untersagt — zur Bewertung des
Risikos, dass eine natürliche Person eine Straftat begeht oder erneut begeht,
nicht nur auf der Grundlage der Erstellung von Profilen natürlicher Personen
oder zur Bewertung von Persönlichkeitsmerkmalen und Eigenschaften oder
vergangenem kriminellen Verhalten von natürlichen Personen oder Gruppen, zur
Erstellung von Profilen während der Aufdeckung, Untersuchung oder
strafrechtlichen Verfolgung einer Straftat. KI-Systeme, die speziell für
Verwaltungsverfahren in Steuer- und Zollbehörden sowie in Zentralstellen für
Geldwäsche-Verdachtsanzeigen, die Verwaltungsaufgaben zur Analyse von Informationen gemäß
dem Unionsrecht zur Bekämpfung der Geldwäsche durchführen, bestimmt sind,
sollten nicht als Hochrisiko-KI-Systeme eingestuft werden, die von
Strafverfolgungsbehörden zum Zweck der Verhütung, Aufdeckung, Untersuchung und
strafrechtlichen Verfolgung von Straftaten eingesetzt werden. Der Einsatz von
KI-Instrumenten durch Strafverfolgungsbehörden und anderen relevanten Behörden
sollte nicht zu einem Faktor der Ungleichheit oder Ausgrenzung werden. Die
Auswirkungen des Einsatzes von KI-Instrumenten auf die Verteidigungsrechte von
Verdächtigen sollten nicht außer Acht gelassen werden, insbesondere nicht die
Schwierigkeit, aussagekräftige Informationen über die Funktionsweise solcher
Systeme zu erhalten, und die daraus resultierende Schwierigkeit einer
gerichtlichen Anfechtung ihrer Ergebnisse, insbesondere durch natürliche Personen,
gegen die ermittelt wird.

60.

e, die in den Bereichen Migration, Asyl und Grenzkontrolle
eingesetzt werden, betreffen Personen, die sich häufig in einer besonders prekären
Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden
abhängig sind. Die Genauigkeit, der nichtdiskriminierende Charakter und die
Transparenz der KI-Systeme, die in solchen Zusammenhängen eingesetzt werden, sind
daher besonders wichtig, um die Achtung der Grundrechte der betroffenen
Personen, insbesondere ihrer Rechte auf Freizügigkeit, Nichtdiskriminierung,
Schutz des Privatlebens und , internationalen Schutz und
gute Verwaltung, zu gewährleisten. Daher ist es angezeigt, KI-Systeme —
sofern deren Einsatz nach einschlägigem Unions- oder nationalem Recht
zugelassen ist — als hochriskant einzustufen, die von den zuständigen mit Aufgaben in
den Bereichen Migration, Asyl und Grenzkontrolle betrauten Behörden oder in
deren Auftrag oder von Organen, Einrichtungen oder sonstigen Stellen der
Union für Folgendes eingesetzt werden: als Lügendetektoren und ähnliche
Instrumente; zur Bewertung bestimmter , die von natürlichen Personen
ausgehen, die in das Hoheitsgebiet eines Mitgliedstaats einreisen oder ein Visum
oder Asyl beantragen; zur Unterstützung der zuständigen Behörden bei der
Prüfung — einschließlich der damit zusammenhängenden Bewertung der
Zuverlässigkeit von Beweismitteln — von Asyl- und Visumanträgen sowie Aufenthaltstiteln
und damit verbundenen Beschwerden im Hinblick darauf, die Berechtigung der
den Antrag stellenden natürlichen Personen festzustellen; zum Zweck der
Aufdeckung, Anerkennung oder Identifizierung natürlicher Personen im Zusammenhang
mit Migration, Asyl und Grenzkontrolle, mit Ausnahme der Überprüfung von
Reisedokumenten. KI-Systeme im Bereich Migration, Asyl und Grenzkontrolle, die
unter diese Verordnung fallen, sollten den einschlägigen
Verfahrensvorschriften der Verordnung (EG) Nr. des und des
Rates (32), der Richtlinie /EU des Europäischen Parlaments und des Rates
(33) und anderem einschlägigen Unionsrecht entsprechen. Der Einsatz von
KI-Systemen in den Bereichen Migration, Asyl und Grenzkontrolle sollte unter
keinen Umständen von den Mitgliedstaaten oder Organen, Einrichtungen oder
sonstigen Stellen der Union als Mittel zur Umgehung ihrer internationalen
Verpflichtungen aus dem am 28. Juli 1951 in Genf unterzeichneten Abkommen der
Vereinten Nationen über die Rechtsstellung der Flüchtlinge in der durch das
Protokoll vom 31. Januar 1967 geänderten Fassung genutzt werden. Die Systeme
sollten auch nicht dazu genutzt werden, in irgendeiner Weise gegen den
Grundsatz der Nichtzurückweisung zu verstoßen oder sichere und wirksame legale Wege
in das Gebiet der Union, einschließlich des Rechts auf internationalen
Schutz, zu verweigern.

(32) Verordnung (EG) Nr. 810/2009 des Europäischen Parlaments und des Rates
vom 13. Juli 2009 über einen Visakodex der Gemeinschaft (Visakodex) (ABl. L
243 vom 15.9.2009, S. 1). (33)Richtlinie 2013/32/EU des Europäischen
Parlaments und des Rates vom 26. Juni 2013 zu gemeinsamen Verfahren für die
Zuerkennung und Aberkennung des internationalen Schutzes (ABl. L 180 vom 29.6.2013,
S. 60).

61.

Bestimmte e, die für die Rechtspflege und demokratische Prozesse
bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen
auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten
sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht
als hochriskant eingestuft werden. Um insbesondere den möglicher
Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme,
die von einer Justizbehörde oder in ihrem Auftrag dazu genutzt werden
sollen, Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und
Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu
unterstützen, als hochriskant eingestuft werden. KI-Systeme, die von
Stellen für die alternative Streitbeilegung für diese Zwecke genutzt werden
sollen, sollten ebenfalls als hochriskant gelten, wenn die Ergebnisse der
alternativen Streitbeilegung Rechtswirkung für die Parteien entfalten. Der Einsatz
von KI-Instrumenten kann die Entscheidungsgewalt von Richtern oder die
Unabhängigkeit der Justiz unterstützen, sollte sie aber nicht ersetzen; die
endgültige Entscheidungsfindung muss eine von Menschen gesteuerte Tätigkeit
bleiben. Die Einstufung von KI-Systemen als hochriskant sollte sich jedoch nicht
auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten
bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht
beeinträchtigen, wie etwa die Anonymisierung oder Pseudonymisierung gerichtlicher
Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal oder
Verwaltungsaufgaben.

62.

Unbeschadet der Vorschriften der Verordnung (EU) des Europäischen
Parlaments und des Rates (34) und um den eines unzulässigen externen
Eingriffs in das in Artikel 39 der verankerte Wahlrecht und
nachteiligen Auswirkungen auf die Demokratie und die Rechtsstaatlichkeit zu
begegnen, sollten e, die verwendet werden sollen, um das Ergebnis einer
Wahl oder eines Referendums oder das Wahlverhalten natürlicher Personen bei der
Ausübung ihres Wahlrechts in einer Wahl oder in Referenden zu beeinflussen,
als Hochrisiko-KI-Systeme eingestuft werden, mit Ausnahme von KI-Systemen,
deren Ausgaben natürliche Personen nicht direkt ausgesetzt sind, wie
Instrumente zur Organisation, Optimierung und Strukturierung politischer Kampagnen
in administrativer und logistischer Hinsicht.

(34) Verordnung (EU) 2024/900 des Europäischen
Parlaments und des Rates vom 13. März 2024 über die Transparenz und das
Targeting politischer Werbung (ABl. L, 2024/900, 20.3.2024, ELI:
http://data.europa.eu/eli/reg/2024/900/oj).

63.

Die Tatsache, dass ein gemäß dieser Verordnung als ein
Hochrisiko-KI-System eingestuft wird, sollte nicht dahin gehend ausgelegt werden, dass
die Verwendung des Systems nach anderen Rechtsakten der Union oder nach
nationalen Rechtsvorschriften, die mit dem Unionsrecht vereinbar sind,
rechtmäßig ist, beispielsweise in Bezug auf den Schutz , die
Verwendung von Lügendetektoren und ähnlichen Instrumenten oder anderen
Systemen zur Ermittlung des emotionalen Zustands natürlicher Personen. Eine
solche Verwendung sollte weiterhin ausschließlich gemäß den geltenden
Anforderungen erfolgen, die sich aus der , dem anwendbaren Sekundärrecht der
Union und nationalen Recht ergeben. Diese Verordnung sollte nicht so verstanden
werden, dass sie eine Rechtsgrundlage für die Verarbeitung personenbezogener
Daten, gegebenenfalls einschließlich besonderer Kategorien
personenbezogener Daten, bildet, es sei denn, in dieser Verordnung ist ausdrücklich etwas
anderes vorgesehen.

64.

Um die von in Verkehr gebrachten oder in Betrieb genommenen
Hochrisiko-en ausgehenden zu mindern und ein hohes Maß an
Vertrauenswürdigkeit zu gewährleisten, sollten für Hochrisiko-KI-Systeme bestimmte
verbindliche Anforderungen gelten, wobei der und dem Nutzungskontext
des KI-Systems sowie dem vom einzurichtenden managementsystem
Rechnung zu tragen ist. Die von den Anbietern zur Erfüllung der
verbindlichen Anforderungen dieser Verordnung ergriffenen Maßnahmen sollten dem
allgemein anerkannten Stand der KI Rechnung tragen, verhältnismäßig und wirksam
sein, um die Ziele dieser Verordnung zu erreichen. Auf der Grundlage des neuen
Rechtsrahmens, wie in der Bekanntmachung der Kommission „Leitfaden für die
Umsetzung der Produktvorschriften der EU 2022 (Blue Guide)“ dargelegt, gilt
als allgemeine Regel, dass mehr als ein Rechtsakt der
Harmonisierungsrechtsvorschriften der Union auf ein Produkt anwendbar sein können, da die
Bereitstellung oder nur erfolgen kann, wenn das Produkt allen
geltenden Harmonisierungsrechtsvorschriften der Union entspricht. Die Gefahren von
KI-Systemen, die unter die Anforderungen dieser Verordnung fallen, decken
andere Aspekte ab als die bestehenden Harmonisierungsrechtsvorschriften der
Union, weshalb die Anforderungen dieser Verordnung das bestehende Regelwerk der
Harmonisierungsrechtsvorschriften der Union ergänzen würden. So bergen etwa
Maschinen oder Medizinprodukte mit einer KI-Komponente möglicherweise
Risiken, die von den grundlegenden Gesundheits- und Sicherheitsan- forderungen
der einschlägigen harmonisierten Rechtsvorschriften der Union nicht erfasst
werden, da diese sektoralen Rechtsvorschriften keine spezifischen KI-Risiken
behandeln. Dies erfordert die gleichzeitige und ergänzende Anwendung mehrerer
Rechtsakte. Um Kohärenz zu gewährleisten und unnötigen Verwaltungsaufwand
sowie unnötige Kosten zu vermeiden, sollten die Anbieter eines Produkts, das
ein oder mehrere Hochrisiko-KI-Systeme enthält, für die die Anforderungen
dieser Verordnung und der in einem Anhang dieser Verordnung aufgeführten und
auf dem neuen Rechtsrahmen beruhenden Harmonisierungsvorschriften der Union
gelten, in Bezug auf betriebliche Entscheidungen darüber flexibel sein, wie
die Konformität eines Produkts, das ein oder mehrere Hochrisiko- KI-Systeme
enthält, bestmöglich mit allen geltenden Anforderungen dieser harmonisierten
Rechtsvorschriften der Union sichergestellt werden kann. Diese Flexibilität
könnte beispielsweise bedeuten, dass der Anbieter beschließt, einen Teil der
gemäß dieser Verordnung erforderlichen Test- und
Berichterstattungsverfahren, Informationen und Unterlagen in bereits bestehende Dokumentationen und
Verfahren zu integrieren, die nach den auf dem neuen Rechtsrahmen beruhenden
und in einem Anhang dieser Verordnung aufgeführten geltenden
Harmonisierungsrechtsvorschriften der Union erforderlich sind. Dies sollte in keiner Weise
die Verpflichtung des Anbieters untergraben, alle geltenden Anforderungen zu
erfüllen.

65.

Das managementsystem sollte in einem kontinuierlichen iterativen
Prozess bestehen, der während des gesamten Lebenszyklus eines
Hochrisiko-s geplant und durchgeführt wird. Ziel dieses Prozesses sollte es ein, die
einschlägigen von KI-Systemen für Gesundheit, Sicherheit und
Grundrechte zu ermitteln und zu mindern. Das Risikomanagementsystem sollte
regelmäßig überprüft und aktualisiert werden, um seine dauerhafte Wirksamkeit sowie
die Begründetheit und Dokumentierung aller gemäß dieser Verordnung
getroffenen wesentlichen Entscheidungen und Maßnahmen zu gewährleisten. Mit diesem
Prozess sollte sichergestellt werden, dass der Risiken oder negative
Auswirkungen ermittelt und Minderungsmaßnahmen ergreift in Bezug auf die
bekannten und vernünftigerweise vorhersehbaren Risiken von KI-Systemen für die
Gesundheit, die Sicherheit und die Grundrechte angesichts ihrer
und vernünftigerweise vorhersehbaren Fehlanwendung, einschließlich der
möglichen Risiken, die sich aus der Interaktion zwischen dem KI-System und
der Umgebung, in der es betrieben wird, ergeben könnten. Im Rahmen des
Risikomanagementsystems sollten die vor dem Hintergrund des Stands der KI am besten
geeigneten Risikomanagementmaßnahmen ergriffen werden. Bei der Ermittlung
der am besten geeigneten Risikomanagementmaßnahmen sollte der Anbieter die
getroffenen Entscheidungen dokumentieren und erläutern und gegebenenfalls
Sachverständige und externe Interessenträger hinzuziehen. Bei der Ermittlung der
vernünftigerweise vorhersehbaren Fehlanwendung von Hochrisiko-KI-Systemen
sollte der Anbieter die Verwendungen von KI-Systemen erfassen, die zwar nicht
unmittelbar der Zweckbestimmung entsprechen und in der Betriebsanleitung
vorgesehen sind, jedoch nach vernünftigem Ermessen davon auszugehen ist, dass
sie sich aus einem leicht absehbaren menschlichen Verhalten im Zusammenhang
mit den spezifischen Merkmalen und der Verwendung eines bestimmten
KI-Systems ergeben. Alle bekannten oder vorhersehbaren Umstände bezüglich der
Verwendung des Hochrisiko-KI-Systems im Einklang mit seiner Zweckbestimmung oder
einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die
Gesundheit und Sicherheit oder die Grundrechte führen können, sollten vom
Anbieter in der Betriebsanleitung aufgeführt werden. Damit soll sichergestellt
werden, dass der diese Umstände bei der Nutzung des
Hochrisiko-KI-Systems kennt und berücksichtigt. Die Ermittlung und Umsetzung von
Risikominderungsmaßnahmen in Bezug auf vorhersehbare Fehlanwendungen im Rahmen dieser
Verordnung sollte keine spezifische zusätzliche Schulung für das
Hochrisiko-KI-System durch den Anbieter erfordern, um gegen vorhersehbare
Fehlanwendungen vorzugehen. Die Anbieter sind jedoch gehalten, solche zusätzlichen
Schulungsmaßnahmen in Erwägung zu ziehen, um einer vernünftigerweise
vorhersehbare Fehlanwendung entgegenzuwirken, soweit dies erforderlich und angemessen
ist.

66.

Die Anforderungen sollten für Hochrisiko-e im Hinblick auf das
management, die Qualität und Relevanz der verwendeten Datensätze, die
technische Dokumentation und die Aufzeichnungspflichten, die Transparenz und
die Bereitstellung von Informationen für die , die menschliche
Aufsicht sowie die Robustheit, Genauigkeit und Sicherheit gelten. Diese
Anforderungen sind erforderlich, um die für Gesundheit, Sicherheit und
Grundrechte wirksam zu mindern. Nachdem nach vernünftigem Ermessen keine anderen
weniger handelsbeschränkenden Maßnahmen zur Verfügung stehen, stellen sie
keine ungerechtfertigten Handelsbeschränkungen dar.

67.

Hochwertige Daten und der Zugang dazu spielen eine zentrale Rolle bei der
Bereitstellung von Strukturen und für die Sicherstellung der Leistung vieler
e, insbesondere wenn Techniken eingesetzt werden, bei denen Modelle
mit Daten trainiert werden, um sicherzustellen, dass das
Hochrisiko-KI-System bestimmungsgemäß und sicher funktioniert und nicht zur Ursache für
Diskriminierung wird, die nach dem Unionsrecht verboten ist. Hochwertige
Trainings-, Validierungs- und Testdatensätze erfordern geeignete Daten-Governance-
und Datenverwaltungsverfahren. Die Trainings-, Validierungs- und
Testdatensätze, einschließlich der Kennzeichnungen, sollten im Hinblick auf die
des Systems relevant, hinreichend repräsentativ und so weit wie
möglich fehlerfrei und vollständig sein. Um die Einhaltung des Datenschutzrechts
der Union, wie der Verordnung (EU) , zu erleichtern, sollten
Daten-Governance- und Datenverwaltungsverfahren bei personenbezogenen Daten
Transparenz in Bezug auf den ursprünglichen Zweck der Datenerhebung umfassen. Die
Datensätze sollten auch die geeigneten statistischen Merkmale haben, auch
bezüglich der Personen oder Personengruppen, auf die das Hochrisiko-KI-System
bestimmungsgemäß angewandt werden soll, unter besonderer Berücksichtigung der
Minderung möglicher Verzerrungen in den Datensätzen, die die Gesundheit und
Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte
auswirken oder zu einer nach dem Unionsrecht verbotenen Diskriminierung
führen könnten, insbesondere wenn die Datenausgaben die Eingaben für künftige
Operationen beeinflussen (Rückkopplungsschleifen). Verzerrungen können zum
Beispiel — insbesondere bei Verwendung historischer Daten — den zugrunde
liegenden Datensätzen innewohnen oder bei der Implementierung der Systeme in der
realen Welt generiert werden. Die von einem KI-System ausgegebenen Ergebnisse
könnten durch solche inhärenten Verzerrungen beeinflusst werden, die
tendenziell allmählich zunehmen und dadurch bestehende Diskriminierungen
fortschreiben und verstärken, insbesondere in Bezug auf Personen, die bestimmten
schutzbedürftigen Gruppen wie aufgrund von Rassismus benachteiligten oder
ethnischen Gruppen angehören. Die Anforderung, dass die Datensätze so weit wie
möglich vollständig und fehlerfrei sein müssen, sollte sich nicht auf den
Einsatz von Techniken zur Wahrung der Privatsphäre im Zusammenhang mit der
Entwicklung und dem Testen von KI-Systemen auswirken. Insbesondere sollten die
Datensätze, soweit dies für die Zweckbestimmung erforderlich ist, den
Eigenschaften, Merkmalen oder Elementen entsprechen, die für die besonderen
geografischen, kontextuellen, verhaltensbezogenen oder funktionalen Rahmenbedingungen,
unter denen das Hochrisiko-KI-System bestimmungsgemäß verwendet werden
soll, typisch sind. Die Anforderungen an die Daten-Governance können durch die
Inanspruchnahme Dritter erfüllt werden, die zertifizierte Compliance-Dienste
anbieten, einschließlich der Überprüfung der Daten-Governance, der
Datensatzintegrität und der Datenschulungs-, Validierungs- und Testverfahren, sofern
die Einhaltung der Datenanforderungen dieser Verordnung gewährleistet ist.

68.

Für die Entwicklung und Bewertung von Hochrisiko-en sollten
bestimmte e wie etwa , n und andere einschlägige
Einrichtungen wie etwa Europäische Digitale Innovationszentren, Test- und
Versuchseinrichtungen und Forscher in der Lage sein, in den
Tätigkeitsbereichen, in denen diese Akteure tätig sind und die mit dieser Verordnung in
Zusammenhang stehen, auf hochwertige Datensätze zuzugreifen und diese zu nutzen.
Die von der Kommission eingerichteten gemeinsamen europäischen Datenräume und
die Erleichterung des Datenaustauschs im öffentlichen Interesse zwischen
Unternehmen und mit Behörden werden entscheidend dazu beitragen, einen
vertrauensvollen, rechenschaftspflichtigen und diskriminierungsfreien Zugang zu
hochwertigen Daten für das Training, die Validierung und das Testen von
KI-Systemen zu gewährleisten. Im Gesundheitsbereich beispielsweise wird der
europäische Raum für Gesundheitsdaten den diskriminierungsfreien Zugang zu
Gesundheitsdaten und das Training von KI-Algorithmen mithilfe dieser Datensätze
erleichtern, und zwar unter Wahrung der Privatsphäre, auf sichere, zeitnahe,
transparente und vertrauenswürdige Weise und unter angemessener
institutioneller Leitung. Die einschlägigen zuständigen Behörden, einschließlich sektoraler
Behörden, die den Zugang zu Daten bereitstellen oder unterstützen, können
auch die Bereitstellung hochwertiger Daten für das Training, die Validierung
und das Testen von KI-Systemen unterstützen.

69.

Das Recht auf Privatsphäre und den Schutz muss
während des gesamten Lebenszyklus des s sichergestellt sein. In dieser
Hinsicht gelten die Grundsätze der Datenminimierung und des Datenschutzes
durch Technikgestaltung und Voreinstellungen, wie sie im Datenschutzrecht der
Union festgelegt sind, wenn verarbeitet werden.
Unbeschadet der in dieser Verordnung festgelegten Anforderungen an die
Daten-Governance können zu den Maßnahmen, mit denen die die Einhaltung dieser
Grundsätze sicherstellen, nicht nur Anonymisierung und Verschlüsselung
gehören, sondern auch der Einsatz von Technik, die es ermöglicht, Algorithmen
direkt am Ort der Datenerzeugung einzusetzen und KI-Systeme zu trainieren,
ohne dass Daten zwischen Parteien übertragen oder die Rohdaten oder
strukturierten Daten selbst kopiert werden.

70.

Um das Recht anderer auf Schutz vor Diskriminierung, die sich aus
Verzerrungen in en ergeben könnte, zu wahren, sollten die
ausnahmsweise und in dem unbedingt erforderlichen Ausmaß, um die Erkennung und
Korrektur von Verzerrungen im Zusammenhang mit Hochrisiko-KI-Systemen
sicherzustellen, vorbehaltlich angemessener Vorkehrungen für den Schutz der Grundrechte
und Grundfreiheiten natürlicher Personen und nach Anwendung aller in dieser
Verordnung festgelegten geltenden Bedingungen zusätzlich zu den in den
Verordnungen (EU) und (EU) sowie der Richtlinie (EU)
festgelegten Bedingungen als
Angelegenheit von erheblichem öffentlichen Interesse im Sinne des Artikels 9
Absatz 2 Buchstabe g der Verordnung (EU) 2016/679 und des Artikels 10 Absatz
2 Buchstabe g der Verordnung (EU) 2018/1725 verarbeiten können.

71.

Umfassende Informationen darüber, wie Hochrisiko-e entwickelt
wurden und wie sie während ihrer gesamten Lebensdauer funktionieren, sind
unerlässlich, um die Nachvollziehbarkeit dieser Systeme, die Überprüfung der
Einhaltung der Anforderungen dieser Verordnung sowie die Beobachtung ihres
Betriebs und ihre Beobachtung nach dem zu ermöglichen. Dies
erfordert die Führung von Aufzeichnungen und die Verfügbarkeit einer technischen
Dokumentation, die alle erforderlichen Informationen enthält, um die
Einhaltung der einschlägigen Anforderungen durch das KI-System zu beurteilen und
die Beobachtung nach dem Inverkehrbringen zu erleichtern. Diese Informationen
sollten die allgemeinen Merkmale, Fähigkeiten und Grenzen des Systems, die
verwendeten Algorithmen, Daten und Trainings-, Test- und
Validierungsverfahren sowie die Dokumentation des einschlägigen managementsystems umfassen
und in klarer und umfassender Form abgefasst sein. Die technische
Dokumentation sollte während der gesamten Lebensdauer des KI-Systems angemessen auf
dem neuesten Stand gehalten werden. Darüber hinaus sollten die
Hochrisiko-KI-Systeme technisch die automatische Aufzeichnung von Ereignissen mittels
Protokollierung während der Lebensdauer des Systems ermöglichen.

72.

Um Bedenken hinsichtlich der Undurchsichtigkeit und Komplexität bestimmter
e auszuräumen und die bei der Erfüllung ihrer Pflichten
gemäß dieser Verordnung zu unterstützen, sollte für Hochrisiko- KI-Systeme
Transparenz vorgeschrieben werden, bevor sie in Verkehr gebracht oder in
Betrieb genommen werden. Hochrisiko-KI-Systeme sollten so gestaltet sein, dass
die Betreiber in der Lage sind, zu verstehen, wie das KI-System funktioniert,
seine Funktionalität zu bewerten und seine Stärken und Grenzen zu erfassen.
Hochrisiko-KI-Systemen sollten angemessene Informationen in Form von
beigefügt sein. Zu diesen Informationen sollten die Merkmale,
Fähigkeiten und Leistungsbeschränkungen des KI-Systems gehören. Diese würden
Informationen über mögliche bekannte und vorhersehbare Umstände im
Zusammenhang mit der Nutzung des Hochrisiko-KI-Systems, einschließlich Handlungen des
Betreibers, die das Verhalten und die Leistung des Systems beeinflussen
können, unter denen das KI-System zu in Bezug auf die Gesundheit, die
Sicherheit und die Grundrechte führen kann, über die Änderungen, die vom
vorab festgelegt und auf Konformität geprüft wurden, und über die
einschlägigen Maßnahmen der menschlichen Aufsicht, einschließlich der Maßnahmen,
um den Betreibern die Interpretation der Ausgaben von KI-Systemen zu
erleichtern, umfassen. Transparenz, einschließlich der begleitenden
Betriebsanleitungen, sollte den Betreibern bei der Nutzung des Systems helfen und ihre
fundierte Entscheidungsfindung unterstützen. Unter anderem sollten Betreiber
besser in der Lage sein, das richtige System auszuwählen, das sie angesichts
der für sie geltenden Pflichten verwenden wollen, über die beabsichtigten und
ausgeschlossenen Verwendungszwecke informiert sein und das KI-System korrekt
und angemessen verwenden. Um die Lesbarkeit und Zugänglichkeit der in der
Betriebsanleitung enthaltenen Informationen zu verbessern, sollten diese
gegebenenfalls anschauliche Beispiele enthalten, zum Beispiel zu den
Beschränkungen sowie zu den beabsichtigten und ausgeschlossenen Verwendungen des
KI-Systems. Die Anbieter sollten dafür sorgen, dass in der gesamten Dokumentation,
einschließlich der Betriebsanleitungen, aussagekräftige, umfassende,
zugängliche und verständliche Informationen enthalten sind, wobei die Bedürfnisse
und vorhersehbaren Kenntnisse der Zielbetreiber zu berücksichtigen sind. Die
Betriebsanleitungen sollten in einer vom betreffenden Mitgliedstaat
festgelegten Sprache zur Verfügung gestellt werden, die von den Zielbetreibern
leicht verstanden werden kann.

73.

Hochrisiko-e sollten so gestaltet und entwickelt werden, dass
natürliche Personen ihre Funktionsweise überwachen und sicherstellen können,
dass sie bestimmungsgemäß verwendet werden und dass ihre Auswirkungen während
des Lebenszyklus des Systems berücksichtigt werden. Zu diesem Zweck sollte
der des Systems vor dem oder der
geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen.
Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das
System integrierten Betriebseinschränkungen unterliegt, über die sich das
System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener
reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht
übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis
verfügen, um diese Aufgabe wahrzunehmen. Es ist außerdem unerlässlich,
gegebenenfalls dafür zu sorgen, dass in Hochrisiko-KI-Systemen Mechanismen enthalten
sind, um eine natürliche Person, der die menschliche Aufsicht übertragen
wurde, zu beraten und zu informieren, damit sie fundierte Entscheidungen darüber
trifft, ob, wann und wie einzugreifen ist, um negative Folgen oder
zu vermeiden, oder das System anzuhalten, wenn es nicht wie beabsichtigt
funktioniert. Angesichts der bedeutenden Konsequenzen für Personen im Falle
eines falschen Treffers durch bestimmte ssysteme
ist es angezeigt, für diese Systeme eine verstärkte Anforderung im Hinblick
auf die menschliche Aufsicht vorzusehen, sodass der keine Maßnahmen
oder Entscheidungen aufgrund des vom System hervorgebrachten
Identifizierungsergebnisses treffen kann, solange dies nicht von mindestens zwei
natürlichen Personen getrennt überprüft und bestätigt wurde. Diese Personen könnten
von einer oder mehreren Einrichtungen stammen und die Person umfassen, die das
System bedient oder verwendet. Diese Anforderung sollte keine unnötigen
Belastungen oder Verzögerungen mit sich bringen, und es könnte ausreichen, dass
die getrennten Überprüfungen durch die verschiedenen Personen automatisch
in die vom System erzeugten Protokolle aufgenommen werden. Angesichts der
Besonderheiten der Bereiche , Migration, Grenzkontrolle und Asyl
sollte diese Anforderung nicht gelten, wenn die Geltung dieser Anforderung
nach Unionsrecht oder nationalem Recht unverhältnismäßig ist.

74.

Hochrisiko-e sollten während ihres gesamten Lebenszyklus beständig
funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und
Cybersicherheit angesichts ihrer und entsprechend dem allgemein
anerkannten Stand der Technik aufweisen. Die Kommission sowie einschlägige
Interessenträger und Organisationen sind aufgefordert, der Minderung der
und negativen Auswirkungen des KI-Systems gebührend Rechnung zu tragen.
Das erwartete Leistungskennzahlenniveau sollte in der beigefügten
Betriebsanleitung angegeben werden. Die werden nachdrücklich aufgefordert,
diese Informationen den n in klarer und leicht verständlicher Weise
ohne Missverständnisse oder irreführende Aussagen zu übermitteln. Die
Rechtsvorschriften der Union zum gesetzlichen Messwesen, einschließlich der
Richtlinien /EU (35) und /EU des und des Rates
(36), zielt darauf ab, die Genauigkeit von Messungen sicherzustellen und
die Transparenz und Fairness im Geschäftsverkehr zu fördern. In diesem
Zusammenhang sollte die Kommission in Zusammenarbeit mit einschlägigen
Interessenträgern und Organisationen, wie Metrologie- und Benchmarking-Behörden,
gegebenenfalls die Entwicklung von Benchmarks und Messmethoden für KI-Systeme
fördern. Dabei sollte die Kommission internationale Partner, die an Metrologie
und einschlägigen Messindikatoren für KI arbeiten, beachten und mit ihnen
zusammenarbeiten.

(35)
Richtlinie 2014/31/EU des Europäischen Parlaments und des Rates vom 26.
Februar 2014 zur Angleichung der Rechtsvorschriften der Mitgliedstaaten
betreffend die Bereitstellung nichtselbsttätiger Waagen auf dem Markt (ABl. L 96 vom
29.3.2014, S. 107). (36) Richtlinie 2014/32/EU des Europäischen Parlaments
und des Rates vom 26. Februar 2014 zur Harmonisierung der Rechtsvorschriften
der Mitgliedstaaten über die Bereitstellung von Messgeräten auf dem Markt
(ABl. L 96 vom 29.3.2014, S. 149).

75.

Die technische Robustheit ist eine wesentliche Voraussetzung für
Hochrisiko-e. Sie sollten widerstandsfähig in Bezug auf schädliches oder
anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb
der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben
kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen).
Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um
die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem
beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um
schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu
minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen
gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien
oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu
unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen
könnte die Sicherheit beeinträchtigen oder sich negativ auf die
Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen
trifft oder falsche oder verzerrte Ausgaben hervorbringt.

76.

Die Cybersicherheit spielt eine entscheidende Rolle, wenn es darum geht,
sicherzustellen, dass e widerstandsfähig gegenüber Versuchen
böswilliger Dritter sind, unter Ausnutzung der Schwachstellen der Systeme deren
Verwendung, Verhalten, Leistung zu verändern oder ihre Sicherheitsmerkmale zu
beeinträchtigen. Cyberangriffe auf KI-Systeme können KI-spezifische Ressourcen
wie sätze (z. B. Datenvergiftung) oder trainierte Modelle (z.
B. feindliche Angriffe oder Inferenzangriffe auf Mitgliederdaten) nutzen
oder Schwachstellen in den digitalen Ressourcen des KI-Systems oder der
zugrunde liegenden IKT-Infrastruktur ausnutzen. Um ein den angemessenes
Cybersicherheitsniveau zu gewährleisten, sollten die von
Hochrisiko-KI-Systemen daher geeignete Maßnahmen, etwa Sicherheitskontrollen, ergreifen,
wobei gegebenenfalls auch die zugrunde liegende IKT-Infrastruktur zu
berücksichtigen ist.

77.

Unbeschadet der in dieser Verordnung festgelegten Anforderungen an
Robustheit und Genauigkeit können Hochrisiko-AI-Systeme, die in den Geltungsbereich
einer Verordnung des und des Rates über horizontale
Cybersicherheitsanforderungen für Produkte mit digitalen Elementen gemäß der
genannten Verordnung fallen, die Erfüllung der
Cybersicherheitsanforderungen der vorliegenden Verordnung nachweisen, indem sie die in der genannten
Verordnung festgelegten grundlegenden Cybersicherheitsanforderungen erfüllen.
Wenn Hochrisiko-e die grundlegenden Anforderungen einer Verordnung
des Europäischen Parlaments und des Rates über horizontale
Cybersicherheitsanforderungen für Produkte mit digitalen Elementen erfüllen, sollten sie als
die in der vorliegenden Verordnung festgelegten Cybersicherheitsanforderungen
erfüllend gelten, soweit die Erfüllung der genannten Anforderungen in der
gemäß der genannten Verordnung ausgestellten EU-Konformitätserklärung oder in
Teilen davon nachgewiesen wird. Zu diesem Zweck sollten bei der im Rahmen
einer Verordnung des Europäischen Parlaments und des Rates über horizontale
Cybersicherheitsanforderungen für Produkte mit digitalen Elementen
durchgeführten Bewertung der Cybersicherheitsrisiken, die mit einem gemäß der
vorliegenden Verordnung als Hochrisiko-KI-System eingestuften Produkt mit digitalen
Elementen verbunden sind, für die Cyberabwehrfähigkeit eines
KI-Systems in Bezug auf Versuche unbefugter Dritter, seine Verwendung, sein
Verhalten oder seine Leistung zu verändern, einschließlich KI-spezifischer
Schwachstellen wie Datenvergiftung oder feindlicher Angriffe, sowie gegebenenfalls
Risiken für die Grundrechte gemäß der vorliegenden Verordnung berücksichtigt
werden.

78.

Das in dieser Verordnung vorgesehene sverfahren sollte
in Bezug auf die grundlegenden Cybersicherheitsanforderungen an ein Produkt
mit digitalen Elementen, das unter eine Verordnung des Europäischen
Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für
Produkte mit digitalen Elementen fällt und gemäß der vorliegenden Verordnung als
Hochrisiko- eingestuft ist, gelten. Diese Regel sollte jedoch nicht
dazu führen, dass die erforderliche Vertrauenswürdigkeit für unter eine
Verordnung des und des Rates über horizontale
Cybersicherheitsanforderungen für Produkte mit digitalen Elementen fallende kritische
Produkte mit digitalen Elementen verringert wird. Daher unterliegen
abweichend von dieser Regel Hochrisiko-KI-Systeme, die in den Anwendungsbereich der
vorliegenden Verordnung fallen und gemäß einer Verordnung des Europäischen
Parlaments und des Rates über horizontale Cybersicherheitsanforderungen für
Produkte mit digitalen Elementen als wichtige und kritische Produkte mit
digitalen Elementen eingestuft werden und für die das
Konformitätsbewertungsverfahren auf der Grundlage der internen Kontrolle gemäß einem Anhang der
vorliegenden Verordnung gilt, den Konformitätsbewertungsbestimmungen einer
Verordnung des Europäischen Parlaments und des Rates über horizontale
Cybersicherheitsanforderungen für Produkte mit digitalen Elementen, soweit die
wesentlichen Cybersicherheitsanforderungen der genannten Verordnung betroffen sind. In
diesem Fall sollten für alle anderen Aspekte, die unter die vorliegende
Verordnung fallen, die entsprechenden Bestimmungen über die
Konformitätsbewertung auf der Grundlage der internen Kontrolle gelten, die in einem Anhang der
vorliegenden Verordnung festgelegt sind. Aufbauend auf den Kenntnissen und
dem Fachwissen der ENISA in Bezug auf die Cybersicherheitspolitik und die der
ENISA gemäß der Verordnung (EU) des Europäischen Parlaments und des
Rates (37) übertragenen Aufgaben sollte die Kommission in Fragen im
Zusammenhang mit der Cybersicherheit von KI-Systemen mit der ENISA
zusammenarbeiten.

(37) Verordnung
(EU) 2019/881 des Europäischen Parlaments und des Rates vom 17. April 2019
über die ENISA (Agentur der Europäischen Union für Cybersicherheit) und über
die Zertifizierung der Cybersicherheit von Informations- und
Kommunikationstechnik und zur Aufhebung der Verordnung (EU) Nr. (Rechtsakt zur
Cybersicherheit) (ABl. L 151 vom 7.6.2019, S. 15).

79.

Es ist angezeigt, dass eine bestimmte als definierte natürliche
oder juristische Person die Verantwortung für das oder die
eines Hochrisiko-s übernimmt, unabhängig davon, ob es
sich bei dieser natürlichen oder juristischen Person um die Person handelt,
die das System konzipiert oder entwickelt hat.

80.

Als Unterzeichner des Übereinkommens über die Rechte von Menschen mit
Behinderungen der Vereinten Nationen sind die Union und alle Mitgliedstaaten
rechtlich verpflichtet, Menschen mit Behinderungen vor Diskriminierung zu
schützen und ihre Gleichstellung zu fördern, sicherzustellen, dass Menschen mit
Behinderungen gleichberechtigt Zugang zu Informations- und
Kommunikationstechnologien und -systemen haben, und die Achtung der Privatsphäre von Menschen
mit Behinderungen sicherzustellen. Angesichts der zunehmenden Bedeutung und
Nutzung von en sollte die strikte Anwendung der Grundsätze des
universellen Designs auf alle neuen Technologien und Dienste einen vollständigen
und gleichberechtigten Zugang für alle Menschen sicherstellen, die
potenziell von KI-Technologien betroffen sind oder diese nutzen, einschließlich
Menschen mit Behinderungen, und zwar in einer Weise, die ihrer Würde und Vielfalt
in vollem Umfang Rechnung trägt. Es ist daher von wesentlicher Bedeutung,
dass die die uneingeschränkte Einhaltung der
Barrierefreiheitsanforderungen sicherstellen, einschließlich der in der Richtlinie (EU)
des und des Rates (38) und in der Richtlinie (EU)
festgelegten Anforderungen. Die Anbieter sollten die Einhaltung dieser
Anforderungen durch Voreinstellungen sicherstellen. Die erforderlichen
Maßnahmen sollten daher so weit wie möglich in die Konzeption von
Hochrisiko-KI-Systemen integriert werden.

(38) Richtlinie (EU) 2016/2102 des Europäischen Parlaments und des
Rates vom 26. Oktober 2016 über den barrierefreien Zugang zu den Websites
und mobilen Anwendungen öffentlicher Stellen (ABl. L 327 vom 2.12.2016, S. 1).

81.

Der sollte ein solides Qualitätsmanagementsystem einrichten, die
Durchführung des vorgeschriebenen sverfahrens
sicherstellen, die einschlägige Dokumentation erstellen und ein robustes System zur
Beobachtung nach dem einrichten. Anbieter von
Hochrisiko-en, die Pflichten in Bezug auf Qualitätsmanagementsysteme gemäß den
einschlägigen sektorspezifischen Rechtsvorschriften der Union unterliegen,
sollten die Möglichkeit haben, die Elemente des in dieser Verordnung
vorgesehenen Qualitätsmanagementsystems als Teil des bestehenden, in diesen anderen
sektoralen Rechtsvorschriften der Union vorgesehen Qualitätsmanagementsystems
aufzunehmen. Auch bei künftigen Normungstätigkeiten oder Leitlinien, die von
der Kommission angenommen werden, sollte der Komplementarität zwischen
dieser Verordnung und den bestehenden sektorspezifischen Rechtsvorschriften der
Union Rechnung getragen werden. Behörden, die Hochrisiko-KI-Systeme für den
Eigengebrauch in Betrieb nehmen, können unter Berücksichtigung der
Besonderheiten des Bereichs sowie der Zuständigkeiten und der Organisation der
besagten Behörde die Vorschriften für das Qualitätsmanagementsystem als Teil des
auf nationaler oder regionaler Ebene eingesetzten Qualitätsmanagementsystems
annehmen und umsetzen.

82.

Um die Durchsetzung dieser Verordnung zu ermöglichen und gleiche
Wettbewerbsbedingungen für die e zu schaffen, muss unter Berücksichtigung der
verschiedenen Formen der Bereitstellung digitaler Produkte sichergestellt
sein, dass unter allen Umständen eine in der Union niedergelassene Person den
Behörden alle erforderlichen Informationen über die Konformität eines
s zur Verfügung stellen kann. Daher sollten , die in Drittländern
niedergelassen sind, vor der Bereitstellung ihrer KI-Systeme in der Union
schriftlich einen in der Union niedergelassenen Bevollmächtigten benennen.
Dieser Bevollmächtigte spielt eine zentrale Rolle bei der Gewährleistung der
Konformität der von den betreffenden Anbietern, die nicht in der Union
niedergelassen sind, in der Union in Verkehr gebrachten oder in Betrieb genommenen
Hochrisiko-KI-Systeme und indem er als ihr in der Union niedergelassener
Ansprechpartner dient.

83.

Angesichts des Wesens und der Komplexität der Wertschöpfungskette für
e und im Einklang mit dem neuen Rechtsrahmen ist es von wesentlicher
Bedeutung, Rechtssicherheit zu gewährleisten und die Einhaltung dieser
Verordnung zu erleichtern. Daher müssen die Rolle und die spezifischen Pflichten der
relevanten e entlang dieser Wertschöpfungskette, wie und
, die zur Entwicklung von KI-Systemen beitragen können, präzisiert
werden. In bestimmten Situationen könnten diese Akteure mehr als eine Rolle
gleichzeitig wahrnehmen und sollten daher alle einschlägigen Pflichten, die mit
diesen Rollen verbunden sind, kumulativ erfüllen. So könnte ein Akteur
beispielsweise gleichzeitig als Händler und als Einführer auftreten.

84.

Um Rechtssicherheit zu gewährleisten, muss präzisiert werden, dass unter
bestimmten spezifischen Bedingungen jeder , , oder
andere Dritte als eines Hochrisiko-s betrachtet werden und
daher alle einschlägigen Pflichten erfüllen sollte. Dies wäre auch der Fall,
wenn diese Partei ein bereits in Verkehr gebrachtes oder in Betrieb
genommenes Hochrisiko-KI-System mit ihrem Namen oder ihrer Handelsmarke versieht,
unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der
Pflichten vorsehen, oder wenn sie eine des
Hochrisiko-KI-Systems, das bereits in Verkehr gebracht oder bereits in Betrieb genommen
wurde, so vornimmt, dass es ein Hochrisiko-KI-System im Sinne dieser
Verordnung bleibt, oder wenn sie die eines KI-Systems,
einschließlich eines KI-Systems , das nicht als
Hochrisiko-KI-System eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb
genommen wurde, so verändert, dass das KI-System zu einem
Hochrisiko-KI-System im Sinne dieser Verordnung wird. Diese Bestimmungen sollten unbeschadet
spezifischerer Bestimmungen in bestimmten Harmonisierungsrechtsvorschriften
der Union auf Grundlage des neuen Rechtsrahmens gelten, mit denen diese
Verordnung zusammen gelten sollte. So sollte beispielsweise Artikel 16 Absatz 2
der Verordnung (EU) 2017/745, wonach bestimmte Änderungen nicht als eine
Änderung des Produkts, die Auswirkungen auf seine Konformität mit den geltenden
Anforderungen haben könnte, gelten sollten, weiterhin auf
Hochrisiko-KI-Systeme angewandt werden, bei denen es sich um Medizinprodukte im Sinne der
genannten Verordnung handelt.

85.

e können als eigenständige
Hochrisiko-KI-Systeme eingesetzt werden oder Komponenten anderer
Hochrisiko-KI-Systemen sein. Daher sollten, aufgrund der besonderen Merkmale dieser
KI-Systeme und um für eine gerechte Verteilung der Verantwortlichkeiten entlang der
KI-Wertschöpfungskette zu sorgen, solcher Systeme, unabhängig davon,
ob sie von anderen Anbietern als eigenständige Hochrisiko-KI-Systeme oder
als Komponenten von Hochrisiko-KI-Systemen verwendet werden können, und
sofern in dieser Verordnung nichts anderes bestimmt ist, eng mit den Anbietern
der relevanten Hochrisiko-KI-Systeme, um ihnen die Einhaltung der
entsprechenden Pflichten aus dieser Verordnung zu ermöglichen, und mit den gemäß dieser
Verordnung eingerichteten zuständigen Behörden zusammenarbeiten.

86.

Sollte der , der das ursprünglich in Verkehr gebracht
oder in Betrieb genommen hat, unter den in dieser Verordnung festgelegten
Bedingungen nicht mehr als Anbieter im Sinne dieser Verordnung gelten und hat
jener Anbieter die Änderung des KI-Systems in ein Hochrisiko-KI-System nicht
ausdrücklich ausgeschlossen, so sollte der erstgenannte Anbieter dennoch eng
zusammenarbeiten, die erforderlichen Informationen zur Verfügung stellen und
den vernünftigerweise erwarteten technischen Zugang und sonstige
Unterstützung leisten, die für die Erfüllung der in dieser Verordnung festgelegten
Pflichten, insbesondere in Bezug auf die von
Hochrisiko-KI-Systemen, erforderlich sind.

87.

Zusätzlich sollte, wenn ein Hochrisiko-, bei dem es sich um ein
eines Produkts handelt, das in den Geltungsbereich von
Harmonisierungsrechtsvorschriften der Union auf Grundlage des neuen
Rechtsrahmens fällt, nicht unabhängig von dem Produkt in Verkehr gebracht oder in
Betrieb genommen wird, der Produkthersteller im Sinne der genannten
Rechtsvorschriften die in der vorliegenden Verordnung festgelegten pflichten
erfüllen und sollte insbesondere sicherstellen, dass das in das Endprodukt
eingebettete KI-System den Anforderungen dieser Verordnung entspricht.

88.

Entlang der KI-Wertschöpfungskette liefern häufig mehrere Parteien
e, Instrumente und Dienstleistungen, aber auch Komponenten oder Prozesse,
die vom zu diversen Zwecken in das KI-System integriert werden; dazu
gehören das Trainieren, Neutrainieren, Testen und Bewerten von Modellen,
die Integration in Software oder andere Aspekte der Modellentwicklung. Diese
Parteien haben eine wichtige Rolle in der Wertschöpfungskette gegenüber dem
Anbieter des Hochrisiko-KI-Systems, in das ihre KI-Systeme, Instrumente,
Dienste, Komponenten oder Verfahren integriert werden, und sollten in einer
schriftlichen Vereinbarung die Informationen, die Fähigkeiten, den technischen
Zugang und die sonstige Unterstützung nach dem allgemein anerkannten Stand
der Technik bereitstellen, die erforderlich sind, damit der Anbieter die in
dieser Verordnung festgelegten Pflichten vollständig erfüllen kann, ohne seine
eigenen Rechte des geistigen Eigentums oder Geschäftsgeheimnisse zu
gefährden.

89.

Dritte, die Instrumente, Dienste, Verfahren oder Komponenten, bei denen es
sich nicht um KI-Modelle handelt,
öffentlich zugänglich machen, sollten nicht dazu verpflichtet werden, Anforderungen
zu erfüllen, die auf die Verantwortlichkeiten entlang der
KI-Wertschöpfungskette ausgerichtet sind, insbesondere gegenüber dem , der sie genutzt
oder integriert hat, wenn diese Instrumente, Dienste, Verfahren oder
KI-Komponenten im Rahmen einer freien und quelloffenen Lizenz zugänglich gemacht
werden. Die Entwickler von freien und quelloffenen Instrumenten, Diensten,
Verfahren oder KI-Komponenten, bei denen es sich nicht um KI-Modelle mit
allgemeinem Verwendungszweck handelt, sollten dazu ermutigt werden, weit
verbreitete Dokumentationsverfahren, wie z. B. Modellkarten und Datenblätter, als
Mittel dazu einzusetzen, den Informationsaustausch entlang der
KI-Wertschöpfungskette zu beschleunigen, sodass vertrauenswürdige e in der Union
gefördert werden können.

90.

Die Kommission könnte freiwillige Mustervertragsbedingungen für Verträge
zwischen n von Hochrisiko- en und Dritten ausarbeiten und
empfehlen, in deren Rahmen Instrumente, Dienste, Komponenten oder Verfahren
bereitgestellt werden, die für Hochrisiko-KI-Systeme verwendet oder in diese
integriert werden, um die Zusammenarbeit entlang der Wertschöpfungskette zu
erleichtern. Bei der Ausarbeitung dieser freiwilligen
Mustervertragsbedingungen sollte die Kommission auch mögliche vertragliche Anforderungen
berücksichtigen, die in bestimmten Sektoren oder Geschäftsfällen gelten.

91.

Angesichts des Charakters von en und der für die
Sicherheit und die Grundrechte, die mit ihrer Verwendung verbunden sein können, ist
es angezeigt, besondere Zuständigkeiten für die festzulegen, auch
im Hinblick darauf, dass eine angemessene Beobachtung der Leistung eines
KI-Systems unter Realbedingungen sichergestellt werden muss. Die Betreiber
sollten insbesondere geeignete technische und organisatorische Maßnahmen treffen,
um sicherzustellen, dass sie Hochrisiko-KI-Systeme gemäß den
verwenden, und es sollten bestimmte andere Pflichten in Bezug auf die
Überwachung der Funktionsweise der KI-Systeme und gegebenenfalls auch
Aufzeichnungspflichten festgelegt werden. Darüber hinaus sollten die Betreiber
sicherstellen, dass die Personen, denen die Umsetzung der Betriebsanleitungen
und die menschliche Aufsicht gemäß dieser Verordnung übertragen wurde, über
die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes
Niveau an , Schulung und Befugnis, um diese Aufgaben ordnungsgemäß
zu erfüllen. Diese Pflichten sollten sonstige Pflichten des Betreibers in
Bezug auf Hochrisiko-KI-Systeme nach Unionsrecht oder nationalem Recht
unberührt lassen.

92.

Diese Verordnung lässt Pflichten der Arbeitgeber unberührt, Arbeitnehmer
oder ihre Vertreter nach dem Unionsrecht oder nationalem Recht und nationaler
Praxis, einschließlich der Richtlinie /EG des
und des Rates (39) über Entscheidungen zur oder Nutzung von
en zu unterrichten oder zu unterrichten und anzuhören. Es muss nach
wie vor sichergestellt werden, dass Arbeitnehmer und ihre Vertreter über
die geplante Einführung von Hochrisiko-KI-Systemen am Arbeitsplatz
unterrichtet werden, wenn die Bedingungen für diese Pflichten zur Unterrichtung oder
zur Unterrichtung und Anhörung gemäß anderen Rechtsinstrumenten nicht erfüllt
sind. Darüber hinaus ist dieses Recht, unterrichtet zu werden, ein
Nebenrecht und für das Ziel des Schutzes der Grundrechte, das dieser Verordnung
zugrunde liegt, erforderlich. Daher sollte in dieser Verordnung eine
entsprechende Unterrichtungsanforderung festgelegt werden, ohne bestehende
Arbeitnehmerrechte zu beeinträchtigen.

(39) DRichtlinie 2002/14/EG des Europäischen Parlaments und des Rates
vom 11. März 2002 zur Festlegung eines allgemeinen Rahmens für die
Unterrichtung und Anhörung der Arbeitnehmer in der Europäischen Gemeinschaft (ABl. L
80 vom 23.3.2002, S. 29).

93.

Während im Zusammenhang mit en einerseits aus der Art und
Weise entstehen können, in der solche Systeme konzipiert sind, können sie
sich andererseits auch aus der Art und Weise ergeben, in der diese Systeme
verwendet werden. von Hochrisiko-KI-Systemen spielen daher eine
entscheidende Rolle bei der Gewährleistung des Schutzes der Grundrechte in
Ergänzung der Pflichten der bei der Entwicklung der KI-Systeme. Betreiber
können am besten verstehen, wie das Hochrisiko-KI-System konkret eingesetzt
wird, und können somit dank einer genaueren Kenntnis des
Verwendungskontextes sowie der wahrscheinlich betroffenen Personen oder Personengruppen,
einschließlich schutzbedürftiger Gruppen, erhebliche potenzielle Risiken
erkennen, die in der Entwicklungsphase nicht vorausgesehen wurden. Betreiber der in
einem Anhang dieser Verordnung aufgeführten Hochrisiko-KI-Systeme spielen
ebenfalls eine entscheidende Rolle bei der Unterrichtung natürlicher Personen
und sollten, wenn sie natürliche Personen betreffende Entscheidungen treffen
oder bei solchen Entscheidungen Unterstützung leisten, gegebenenfalls die
natürlichen Personen darüber unterrichten, dass sie Gegenstand des Einsatzes
des Hochrisiko-KI-Systems sind. Diese Unterrichtung sollte die
und die Art der getroffenen Entscheidungen umfassen. Der Betreiber sollte
die natürlichen Personen auch über ihr Recht auf eine Erklärung gemäß
dieser Verordnung unterrichten. Bei Hochrisiko-KI-Systemen, die zu
szwecken eingesetzt werden, sollte diese Pflicht im Einklang mit Artikel 13
der Richtlinie (EU) umgesetzt werden.

94.

Jede Verarbeitung biometrischer Daten im Zusammenhang mit der Verwendung
von en für die zu
szwecken muss im Einklang mit Artikel 10 der Richtlinie (EU) , demzufolge
eine solche Verarbeitung nur dann erlaubt ist, wenn sie unbedingt
erforderlich ist, vorbehaltlich angemessener Vorkehrungen für den Schutz der Rechte und
Freiheiten der betroffenen Person, und sofern sie nach dem Unionsrecht oder
dem Recht der Mitgliedstaaten zulässig ist, erfolgen. Bei einer solchen
Nutzung, sofern sie zulässig ist, müssen auch die in Artikel 4 Absatz 1 der
Richtlinie (EU) 2016/680 festgelegten Grundsätze geachtet werden,
einschließlich Rechtmäßigkeit, Fairness und Transparenz, Zweckbindung, sachliche
Richtigkeit und Speicherbegrenzung.

95.

Unbeschadet des geltenden Unionsrechts, insbesondere der Verordnung (EU)
und der Richtlinie (EU) , sollte die Verwendung von Systemen
zur nachträglichen biometrischen Fernidentifizierung in Anbetracht des
intrusiven Charakters von Systemen zur nachträglichen biometrischen
Fernidentifizierung Schutzvorkehrungen unterliegen. Systeme zur nachträglichen
biometrischen Fernidentifizierung sollten stets auf verhältnismäßige, legitime und
unbedingt erforderliche Weise eingesetzt werden und somit zielgerichtet sein,
was die zu identifizierenden Personen, den Ort und den zeitlichen
Anwendungsbereich betrifft, und auf einem geschlossenen Datensatz rechtmäßig erworbener
Videoaufnahmen basieren. In jedem Fall sollten Systeme zur nachträglichen
biometrischen Fernidentifizierung im Rahmen der nicht so
verwendet werden, dass sie zu willkürlicher Überwachung führen. Die Bedingungen
für die nachträgliche biometrische Fernidentifizierung sollten keinesfalls
eine Grundlage dafür bieten, die Bedingungen des Verbots und der strengen
Ausnahmen für biometrische Echtzeit-Fernidentifizierung zu umgehen.

96.

Um wirksam sicherzustellen, dass die Grundrechte geschützt werden, sollten
von Hochrisiko-en, bei denen es sich um Einrichtungen des
öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste
erbringen, handelt, und Betreiber, die bestimmte Hochrisiko-KI-Systemen gemäß
einem Anhang dieser Verordnung betreiben, wie Bank- oder
Versicherungsunternehmen, vor der eine Grundrechte-Folgenabschätzung durchführen.
Für Einzelpersonen wichtige Dienstleistungen öffentlicher Art können auch
von privaten Einrichtungen erbracht werden. Private Einrichtungen, die solche
öffentliche Dienstleistungen erbringen, sind mit Aufgaben im öffentlichen
Interesse verknüpft, etwa in den Bereichen Bildung, Gesundheitsversorgung,
Sozialdienste, Wohnungswesen und Justizverwaltung. Ziel der
Grundrechte-Folgenabschätzung ist es, dass der Betreiber die spezifischen für die
Rechte von Einzelpersonen oder Gruppen von Einzelpersonen, die wahrscheinlich
betroffen sein werden, ermittelt und Maßnahmen ermittelt, die im Falle eines
Eintretens dieser Risiken zu ergreifen sind. Die Folgenabschätzung sollte vor
dem erstmaligen Einsatz des Hochrisiko-KI-Systems durchgeführt werden, und
sie sollte aktualisiert werden, wenn der Betreiber der Auffassung ist, dass
sich einer der relevanten Faktoren geändert hat. In der Folgenabschätzung
sollten die einschlägigen Verfahren des Betreibers, bei denen das
Hochrisiko-KI-System im Einklang mit seiner verwendet wird, genannt
werden, und sie sollte eine Beschreibung des Zeitraums und der Häufigkeit,
innerhalb dessen bzw. mit der das Hochrisiko-KI-System verwendet werden soll,
sowie der Kategorien der natürlichen Personen und Gruppen, die im spezifischen
Verwendungskontext betroffen sein könnten, enthalten. Die Abschätzung sollte
außerdem die spezifischen Schadensrisiken enthalten, die sich auf die
Grundrechte dieser Personen oder Gruppen auswirken können. Bei der Durchführung
dieser Bewertung sollte der Betreiber Informationen Rechnung tragen, die für
eine ordnungsgemäße Abschätzung der Folgen relevant sind, unter anderem die
vom des Hochrisiko-KI-Systems in der Betriebsanleitung angegebenen
Informationen. Angesichts der ermittelten Risiken sollten die Betreiber
Maßnahmen festlegen, die im Falle eines Eintretens dieser Risiken zu ergreifen
sind, einschließlich beispielsweise Unternehmensführungsregelungen in diesem
spezifischen Verwendungskontext, etwa Regelungen für die menschliche
Aufsicht gemäß den oder Verfahren für die Bearbeitung von
Beschwerden und Rechtsbehelfsverfahren, da sie dazu beitragen könnten, Risiken
für die Grundrechte in konkreten Anwendungsfällen zu mindern. Nach
Durchführung dieser Folgenabschätzung sollte der Betreiber die zuständige
unterrichten. Um einschlägige Informationen einzuholen, die für
die Durchführung der Folgenabschätzung erforderlich sind, könnten die
Betreiber von Hochrisiko-KI-Systemen, insbesondere wenn KI-Systeme im öffentlichen
Sektor verwendet werden, relevante Interessenträger, unter anderem
Vertreter von Personengruppen, die von dem KI-System betroffen sein könnten,
unabhängige Sachverständige und Organisationen der Zivilgesellschaft, in die
Durchführung solcher Folgenabschätzungen und die Gestaltung von Maßnahmen, die im
Falle des Eintretens der Risiken zu ergreifen sind, einbeziehen. Das
Europäische Büro für Künstliche Intelligenz (im Folgenden „Büro für Künstliche
Intelligenz“) sollte ein Muster für einen Fragebogen ausarbeiten, um den
Betreibern die Einhaltung der Vorschriften zu erleichtern und den
Verwaltungsaufwand für sie zu verringern.

97.

Der Begriff „KI-Modelle “ sollte klar
bestimmt und vom Begriff der e abgegrenzt werden, um Rechtssicherheit zu
schaffen. Die Begriffsbestimmung sollte auf den wesentlichen funktionalen
Merkmalen eines KI-Modells mit allgemeinem Verwendungszweck beruhen,
insbesondere auf der allgemeinen Verwendbarkeit und der Fähigkeit, ein breites
Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen. Diese Modelle werden
in der Regel mit großen Datenmengen durch verschiedene Methoden, etwa
überwachtes, unüberwachtes und bestärkendes Lernen, trainiert. KI-Modelle mit
allgemeinem Verwendungszweck können auf verschiedene Weise in Verkehr gebracht
werden, unter anderem über Bibliotheken, Anwendungsprogrammierschnittstellen
(API), durch direktes Herunterladen oder als physische Kopie. Diese Modelle
können weiter geändert oder zu neuen Modellen verfeinert werden. Obwohl
KI-Modelle wesentliche Komponenten von KI-Systemen sind, stellen sie für sich
genommen keine KI-Systeme dar. Damit KI-Modelle zu KI-Systemen werden, ist die
Hinzufügung weiterer Komponenten, zum Beispiel einer Nutzerschnittstelle,
erforderlich. KI-Modelle sind in der Regel in KI-Systeme integriert und Teil
davon. Diese Verordnung enthält spezifische Vorschriften für KI-Modelle mit
allgemeinem Verwendungszweck und für KI-Modelle mit allgemeinem
Verwendungszweck, die systemische bergen; diese sollten auch gelten, wenn diese
Modelle in ein KI-System integriert oder Teil davon sind. Es sollte klar
sein, dass die Pflichten für die von KI-Modellen mit allgemeinem
Verwendungszweck gelten sollten, sobald die KI-Modelle mit allgemeinem
Verwendungszweck in Verkehr gebracht werden. Wenn der Anbieter eines KI-Modells mit
allgemeinem Verwendungszweck ein eigenes Modell in sein eigenes KI-System
integriert, das auf dem Markt bereitgestellt oder in Betrieb genommen wird,
sollte jenes Modell als in Verkehr gebracht gelten und sollten daher die
Pflichten aus dieser Verordnung für Modelle weiterhin zusätzlich zu den Pflichten
für KI-Systeme gelten. Die für Modelle festgelegten Pflichten sollten in jedem
Fall nicht gelten, wenn ein eigenes Modell für rein interne Verfahren
verwendet wird, die für die Bereitstellung eines Produkts oder einer
Dienstleistung an Dritte nicht wesentlich sind, und die Rechte natürlicher Personen
nicht beeinträchtigt werden. Angesichts ihrer potenziellen in erheblichem
Ausmaße negativen Auswirkungen sollten KI-Modelle mit allgemeinem Verwendungszweck
mit systemischem stets den einschlägigen Pflichten gemäß dieser
Verordnung unterliegen. Die Begriffsbestimmung sollte nicht für KI-Modelle
gelten, die vor ihrem ausschließlich für Forschungs- und
Entwicklungstätigkeiten oder die Konzipierung von Prototypen verwendet werden. Dies
gilt unbeschadet der Pflicht, dieser Verordnung nachzukommen, wenn ein
Modell nach solchen Tätigkeiten in Verkehr gebracht wird.

98.

Die allgemeine Verwendbarkeit eines Modells könnte zwar unter anderem auch
durch eine bestimmte Anzahl von Parametern bestimmt werden, doch sollten
Modelle mit mindestens einer Milliarde Parametern, die mit einer großen
Datenmenge unter umfassender Selbstüberwachung trainiert werden, als Modelle
gelten, die eine erhebliche allgemeine Verwendbarkeit aufweisen und ein breites
Spektrum unterschiedlicher Aufgaben kompetent erfüllen.

99.

Große generative KI-Modelle sind ein typisches Beispiel für ein KI-Modell
, da sie eine flexible Erzeugung von Inhalten
ermöglichen, etwa in Form von Text- Audio-, Bild- oder Videoinhalten, die
leicht ein breites Spektrum unterschiedlicher Aufgaben umfassen können.

100.

Wenn ein KI-Modell in ein
integriert oder Teil davon ist, sollte dieses System als KI-System mit allgemeinem
Verwendungszweck gelten, wenn dieses System aufgrund dieser Integration in
der Lage ist, einer Vielzahl von Zwecken zu dienen. Ein KI-System mit
allgemeinem Verwendungszweck kann direkt eingesetzt oder in andere KI-Systeme
integriert werden.

101.

von KI-Modellen nehmen entlang
der KI-Wertschöpfungskette eine besondere Rolle und Verantwortung wahr, da die
von ihnen bereitgestellten Modelle die Grundlage für eine Reihe
nachgelagerter Systeme bilden können, die häufig von nachgelagerten Anbietern
bereitgestellt werden und ein gutes Verständnis der Modelle und ihrer Fähigkeiten
erfordern, sowohl um die Integration solcher Modelle in ihre Produkte zu
ermöglichen als auch ihre Pflichten im Rahmen dieser oder anderer Verordnungen zu
erfüllen. Daher sollten verhältnismäßige Transparenzmaßnahmen festgelegt
werden, einschließlich der Erstellung und Aktualisierung von Dokumentation und
der Bereitstellung von Informationen über das KI-Modell mit allgemeinem
Verwendungszweck für dessen Nutzung durch die nachgelagerten Anbieter. Der
Anbieter von KI-Modellen mit allgemeinem Verwendungszweck sollte technische
Dokumentation erarbeiten und aktualisieren, damit sie dem Büro für Künstliche
Intelligenz und den zuständigen nationalen Behörden auf Anfrage zur Verfügung
gestellt werden kann. Welche Elemente mindestens in eine solche Dokumentation
aufzunehmen sind, sollte in bestimmten Anhängen dieser Verordnung
festgelegt werden. Der Kommission sollte die Befugnis übertragen werden, diese
Anhänge im Wege delegierter Rechtsakte vor dem Hintergrund sich wandelnder
technologischer Entwicklungen zu ändern.

102.

Software und Daten, einschließlich Modellen, die im Rahmen einer freien und
quelloffenen Lizenz freigegeben werden, die ihre offene Weitergabe erlaubt
und die Nutzer kostenlos abrufen, nutzen, verändern und weiter verteilen
können, auch in veränderter Form, können zu Forschung und Innovation auf dem
Markt beitragen und der Wirtschaft der Union erhebliche Wachstumschancen
eröffnen. KI-Modelle , die im Rahmen freier und
quelloffener Lizenzen freigegeben werden, sollten als ein hohes Maß an
Transparenz und Offenheit sicherstellend gelten, wenn ihre Parameter,
einschließlich Gewichte, Informationen über die Modellarchitektur und Informationen über
die Modellnutzung, öffentlich zugänglich gemacht werden. Die Lizenz sollte
auch als freie quelloffene Lizenz gelten, wenn sie es den Nutzern
ermöglicht, Software und Daten zu betreiben, zu kopieren, zu verbreiten, zu
untersuchen, zu ändern und zu verbessern, einschließlich Modelle, sofern der
ursprüngliche des Modells genannt und identische oder vergleichbare
Vertriebsbedingungen eingehalten werden.

103.

Zu freien und quelloffenen KI-Komponenten zählen Software und Daten,
einschließlich Modelle und KI-Modelle ,
Instrumente, Dienste oder Verfahren eines s. Freie und quelloffene
KI-Komponenten können über verschiedene Kanäle bereitgestellt werden, einschließlich
ihrer Entwicklung auf offenen Speichern. Für die Zwecke dieser Verordnung
sollten KI-Komponenten, die gegen einen Preis bereitgestellt oder anderweitig
monetarisiert werden, einschließlich durch die Bereitstellung technischer
Unterstützung oder anderer Dienste — einschließlich über eine Softwareplattform
— im Zusammenhang mit der KI-Komponente oder durch die Verwendung
aus anderen Gründen als der alleinigen Verbesserung der
Sicherheit, Kompatibilität oder Interoperabilität der Software, mit Ausnahme von
Transaktionen zwischen Kleinstunternehmen, nicht unter die Ausnahmen für
freie und quelloffene KI-Komponenten fallen. Die Bereitstellung von
KI-Komponenten über offene Speicher sollte für sich genommen keine Monetarisierung
darstellen.

104.

Für die von KI-Modellen , die im
Rahmen einer freien und quelloffenen Lizenz freigegeben werden und deren
Parameter, einschließlich Gewichte, Informationen über die Modellarchitektur und
Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden,
sollten Ausnahmen in Bezug auf die Transparenzanforderungen für KI-Modelle
mit allgemeinem Verwendungszweck gelten, es sei denn, sie können als Modelle
gelten, die ein systemisches bergen; in diesem Fall sollte der
Umstand, dass das Modell transparent ist und mit einer quelloffenen Lizenz
einhergeht, nicht als ausreichender Grund gelten, um sie von der Einhaltung der
Pflichten aus dieser Verordnung auszunehmen. Da die Freigabe von KI-Modellen
mit allgemeinem Verwendungszweck im Rahmen einer freien und quelloffenen
Lizenz nicht unbedingt wesentliche Informationen über den für das Trainieren
oder die Feinabstimmung des Modells verwendeten Datensatz und die Art und
Weise, wie damit die Einhaltung des Urheberrechts sichergestellt wurde,
offenbart, sollte die für KI-Modelle mit allgemeinem Verwendungszweck vorgesehene
Ausnahme von der Einhaltung der Transparenzanforderungen in jedem Fall nicht
die Pflicht zur Erstellung einer Zusammenfassung der für das Training des
Modells verwendeten Inhalte und die Pflicht, eine Strategie zur Einhaltung des
Urheberrechts der Union, insbesondere zur Ermittlung und Einhaltung der gemäß
Artikel 4 Absatz 3 der Richtlinie (EU) des
und des Rates (40) geltend gemachten Rechtsvorbehalte, auf den Weg zu
bringen, betreffen.

(40)
Richtlinie (EU) 2019/790 des Europäischen Parlaments und des Rates vom 17.
April 2019 über das Urheberrecht und die verwandten Schutzrechte im
digitalen Binnenmarkt und zur Änderung der Richtlinien /EG und /EG (ABl.
L 130 vom 17.5.2019, S. 92).

105.

KI-Modelle , insbesondere große generative
KI-Modelle, die Text, Bilder und andere Inhalte erzeugen können, bedeuten
einzigartige Innovationsmöglichkeiten, aber auch Herausforderungen für
Künstler, Autoren und andere Kreative sowie die Art und Weise, wie ihre kreativen
Inhalte geschaffen, verbreitet, genutzt und konsumiert werden. Für die
Entwicklung und das Training solcher Modelle ist der Zugang zu riesigen Mengen an
Text, Bildern, Videos und anderen Daten erforderlich. In diesem Zusammenhang
können Text-und- Data-Mining-Techniken in großem Umfang für das Abrufen und
die Analyse solcher Inhalte, die urheberrechtlich und durch verwandte
Schutzrechte geschützt sein können, eingesetzt werden. Für jede Nutzung
urheberrechtlich geschützter Inhalte ist die Zustimmung des betreffenden
Rechteinhabers erforderlich, es sei denn, es gelten einschlägige Ausnahmen und
Beschränkungen des Urheberrechts. Mit der Richtlinie (EU) wurden Ausnahmen
und Beschränkungen eingeführt, um unter bestimmten Bedingungen
Vervielfältigungen und Entnahmen von Werken oder sonstigen Schutzgegenständen für die
Zwecke des Text und Data Mining zu erlauben. Nach diesen Vorschriften können
Rechteinhaber beschließen, ihre Rechte an ihren Werken oder sonstigen
Schutzgegenständen vorzubehalten, um Text und Data Mining zu verhindern, es sei denn,
es erfolgt zum Zwecke der wissenschaftlichen Forschung. Wenn die
Vorbehaltsrechte ausdrücklich und in geeigneter Weise vorbehalten wurden, müssen
von KI-Modellen mit allgemeinem Verwendungszweck eine Genehmigung von
den Rechteinhabern einholen, wenn sie Text und Data Mining bei solchen Werken
durchführen wollen.

106.

, die KI-Modelle in der Union in
Verkehr bringen, sollten die Erfüllung der einschlägigen Pflichten aus dieser
Verordnung gewährleisten. Zu diesem Zweck sollten Anbieter von KI-Modellen
mit allgemeinem Verwendungszweck eine Strategie zur Einhaltung des
Urheberrechts der Union und der verwandten Schutzrechte einführen, insbesondere zur
Ermittlung und Einhaltung des gemäß Artikel 4 Absatz 3 der Richtlinie (EU)
durch die Rechteinhaber geltend gemachten Rechtsvorbehalts. Jeder
Anbieter, der ein KI-Modell mit allgemeinem Verwendungszweck in der Union in
Verkehr bringt, sollte diese Pflicht erfüllen, unabhängig davon, in welchem
Hoheitsgebiet die urheberrechtlich relevanten Handlungen, die dem Training
dieser KI-Modelle mit allgemeinem Verwendungszweck zugrunde liegen,
stattfinden. Dies ist erforderlich, um gleiche Wettbewerbsbedingungen für Anbieter von
KI-Modellen mit allgemeinem Verwendungszweck sicherzustellen, unter denen
kein Anbieter in der Lage sein sollte, durch die Anwendung niedrigerer
Urheberrechtsstandards als in der Union einen Wettbewerbsvorteil auf dem
Unionsmarkt zu erlangen.

107.

Um die Transparenz in Bezug auf die beim Vortraining und Training von
KI-Modellen verwendeten Daten, einschließlich
urheberrechtlich geschützter Texte und Daten, zu erhöhen, ist es angemessen,
dass die solcher Modelle eine hinreichend detaillierte
Zusammenfassung der für das Training des KI-Modells mit allgemeinem Verwendungszweck
verwendeten Inhalte erstellen und veröffentlichen. Unter gebührender
Berücksichtigung der Notwendigkeit, Geschäftsgeheimnisse und vertrauliche
Geschäftsinformationen zu schützen, sollte der Umfang dieser Zusammenfassung allgemein
weitreichend und nicht technisch detailliert sein, um Parteien mit
berechtigtem Interesse, einschließlich der Inhaber von Urheberrechten, die Ausübung und
Durchsetzung ihrer Rechte nach dem Unionsrecht zu erleichtern,
beispielsweise indem die wichtigsten Datenerhebungen oder Datensätze aufgeführt werden,
die beim Training des Modells verwendet wurden, etwa große private oder
öffentliche Datenbanken oder Datenarchive, und indem eine beschreibende
Erläuterung anderer verwendeter Datenquellen bereitgestellt wird. Es ist angebracht,
dass das Büro für Künstliche Intelligenz eine Vorlage für die
Zusammenfassung bereitstellt, die einfach und wirksam sein sollte und es dem Anbieter
ermöglichen sollte, die erforderliche Zusammenfassung in beschreibender Form
bereitzustellen.

108.

In Bezug auf die den n von KI-Modellen mit allgemeinem
Verwendungszweck auferlegten Pflichten, eine Strategie zur Einhaltung des Urheberrechts
der Union einzuführen und eine Zusammenfassung der für das Training
verwendeten Inhalte zu veröffentlichen, sollte das Büro für Künstliche Intelligenz
überwachen, ob der Anbieter diese Pflichten erfüllt hat, ohne dies zu
überprüfen oder die im Hinblick auf die Einhaltung des Urheberrechts
Werk für Werk zu bewerten. Diese Verordnung berührt nicht die Durchsetzung
der Urheberrechtsvorschriften des Unionsrechts.

109.

Die Einhaltung der für die von KI-Modellen mit allgemeinem
Verwendungszweck geltenden Pflichten sollte der Art des Anbieters von Modellen
angemessen und verhältnismäßig sein, wobei Personen, die Modelle für nicht
berufliche oder wissenschaftliche Forschungszwecke entwickeln oder verwenden,
ausgenommen sind, jedoch ermutigt werden sollten, diese Anforderungen
freiwillig zu erfüllen. Unbeschadet des Urheberrechts der Union sollte bei der
Einhaltung dieser Pflichten der Größe des Anbieters gebührend Rechnung getragen
und für KMU, einschließlich Start-up-Unternehmen, vereinfachte Verfahren zur
Einhaltung ermöglicht werden, die keine übermäßigen Kosten verursachen und
nicht von der Verwendung solcher Modelle abhalten sollten. Im Falle einer
Änderung oder Feinabstimmung eines Modells sollten die Pflichten der Anbieter
von KI-Modellen auf diese Änderung oder
Feinabstimmung beschränkt sein, indem beispielsweise die bereits vorhandene
technische Dokumentation um Informationen über die Änderungen, einschließlich
neuer quellen, ergänzt wird, um die in dieser Verordnung
festgelegten Pflichten in der Wertschöpfungskette zu erfüllen.

110.

KI-Modelle könnten systemische
bergen, unter anderem tatsächliche oder vernünftigerweise vorhersehbare
negative Auswirkungen im Zusammenhang mit schweren Unfällen, Störungen kritischer
Sektoren und schwerwiegende Folgen für die öffentliche Gesundheit und
Sicherheit; alle tatsächlichen oder vernünftigerweise vorhersehbaren negativen
Auswirkungen auf die demokratischen Prozesse und die öffentliche und
wirtschaftliche Sicherheit; die Verbreitung illegaler, falscher oder diskriminierender
Inhalte. Bei systemischen Risiken sollte davon ausgegangen werden, dass sie
mit den Fähigkeiten und der Reichweite des Modells zunehmen, während des
gesamten Lebenszyklus des Modells auftreten können und von Bedingungen einer
Fehlanwendung, der Zuverlässigkeit des Modells, der Modellgerechtigkeit und
der Modellsicherheit, dem Grad der Autonomie des Modells, seinem Zugang zu
Instrumenten, neuartigen oder kombinierten Modalitäten, Freigabe- und
Vertriebsstrategien, dem Potenzial zur Beseitigung von Leitplanken und anderen
Faktoren beeinflusst werden. Insbesondere bei internationalen Ansätzen wurde
bisher festgestellt, dass folgenden Risiken Rechnung getragen werden muss: den
Risiken einer möglichen vorsätzlichen Fehlanwendung oder unbeabsichtigter
Kontrollprobleme im Zusammenhang mit der Ausrichtung auf menschliche Absicht;
chemischen, biologischen, radiologischen und nuklearen Risiken, zum Beispiel
Möglichkeiten zur Verringerung der Zutrittsschranken, einschließlich für
Entwicklung, Gestaltung, Erwerb oder Nutzung von Waffen; offensiven
Cyberfähigkeiten, zum Beispiel die Art und Weise, wie Entdeckung, Ausbeutung oder
operative Nutzung von Schwachstellen ermöglicht werden können; den Auswirkungen
der Interaktion und des Einsatzes von Instrumenten, einschließlich zum
Beispiel der Fähigkeit, physische Systeme zu steuern und in kritische
Infrastrukturen einzugreifen; Risiken, dass Modelle sich selbst vervielfältigen, oder der
„Selbstreplikation“ oder des Trainings anderer Modelle; der Art und Weise,
wie Modelle zu schädlichen Verzerrungen und Diskriminierung mit Risiken für
Einzelpersonen, Gemeinschaften oder Gesellschaften führen können; der
Erleichterung von Desinformation oder der Verletzung der Privatsphäre mit Gefahren
für demokratische Werte und Menschenrechte; dem , dass ein bestimmtes
Ereignis zu einer Kettenreaktion mit erheblichen negativen Auswirkungen
führen könnte, die sich auf eine ganze Stadt, eine ganze Tätigkeit in einem
Bereich oder eine ganze Gemeinschaft auswirken könnten.

111.

Es ist angezeigt, eine Methodik für die Einstufung von KI-Modellen mit
allgemeinem Verwendungszweck als KI-Modelle mit
systemischen festzulegen. Da sich systemische Risiken aus besonders
hohen Fähigkeiten ergeben, sollte ein KI-Modell mit allgemeinem
Verwendungszweck als Modell mit systemischen Risiken gelten, wenn es über auf der
Grundlage geeigneter technischer Instrumente und Methoden bewertete Fähigkeiten
mit hoher Wirkkraft verfügt oder aufgrund seiner Reichweite erhebliche
Auswirkungen auf den Binnenmarkt hat. „“ bei
KI-Modellen mit allgemeinem Verwendungszweck bezeichnet Fähigkeiten, die den bei
den fortschrittlichsten KI-Modellen mit allgemeinem Verwendungszweck
festgestellten Fähigkeiten entsprechen oder diese übersteigen. Das gesamte Spektrum
der Fähigkeiten eines Modells könnte besser verstanden werden, nachdem es in
Verkehr gebracht wurde oder wenn die mit dem Modell interagieren.
Nach dem Stand der Technik zum Zeitpunkt des Inkrafttretens dieser
Verordnung ist die kumulierte Menge der für das Training des KI-Modells mit
allgemeinem Verwendungszweck verwendeten Berechnungen, gemessen in
en, einer der einschlägigen Näherungswerte für Modellfähigkeiten. Die
kumulierte Menge der für das Training verwendeten Berechnungen umfasst die
kumulierte Menge der für die Tätigkeiten und Methoden, mit denen die Fähigkeiten
des Modells vor der Einführung verbessert werden sollen, wie zum Beispiel
Vortraining, Generierung synthetischer Daten und Feinabstimmung, verwendeten
Berechnungen. Daher sollte ein erster Schwellenwert der Gleitkommaoperationen
festgelegt werden, dessen Erreichen durch ein KI-Modell mit allgemeinem
Verwendungszweck zu der Annahme führt, dass es sich bei dem Modell um ein
KI-Modell mit allgemeinem Verwendungszweck mit systemischen Risiken handelt.
Dieser Schwellenwert sollte im Laufe der Zeit angepasst werden, um
technologischen und industriellen Veränderungen, wie zum Beispiel algorithmischen
Verbesserungen oder erhöhter Hardwareeffizienz, Rechnung zu tragen, und um
Benchmarks und Indikatoren für die Modellfähigkeit ergänzt werden. Um die Grundlage
dafür zu schaffen, sollte das Büro für Künstliche Intelligenz mit der
Wissenschaftsgemeinschaft, der Industrie, der Zivilgesellschaft und anderen
Sachverständigen zusammenarbeiten. Schwellenwerte sowie Instrumente und Benchmarks
für die Bewertung von Fähigkeiten mit hoher Wirkkraft sollten zuverlässig
die allgemeine Verwendbarkeit, die Fähigkeiten und die mit ihnen verbundenen
systemischen s von KI-Modellen mit allgemeinem Verwendungszweck
vorhersagen können und könnten die Art und Weise, wie das Modell in Verkehr
gebracht wird, oder die Zahl der Nutzer, auf die es sich auswirken könnte,
berücksichtigen. Ergänzend zu diesem System sollte die Kommission
Einzelentscheidungen treffen können, mit denen ein KI-Modell mit allgemeinem Verwendungszweck
als KI-Modell mit allgemeinem Verwendungszweck mit systemischem Risiko
eingestuft wird, wenn festgestellt wurde, dass dieses Modell Fähigkeiten oder
Auswirkungen hat, die den von dem festgelegten Schwellenwert erfassten
entsprechen. Die genannte Entscheidung sollte auf der Grundlage einer
Gesamtbewertung der in einem Anhang dieser Verordnung festgelegten Kriterien für die
Benennung von KI-Modellen mit allgemeinem Verwendungszweck mit systemischem
Risiko getroffen werden, etwa Qualität oder Größe des satzes,
Anzahl der gewerblichen Nutzer und Endnutzer, seine Ein- und Ausgabemodalitäten,
sein Grad an Autonomie und Skalierbarkeit oder die Instrumente, zu denen es
Zugang hat. Stellt der , dessen Modell als KI-Modell mit
allgemeinem Verwendungszweck mit systemischem Risiko benannt wurde, einen
entsprechenden Antrag, sollte die Kommission den Antrag berücksichtigen, und sie kann
entscheiden, erneut zu prüfen, ob beim KI-Modell mit allgemeinem
Verwendungszweck immer noch davon ausgegangen werden kann, dass es systemische Risiken
aufweist.

112.

Außerdem muss das Verfahren für die Einstufung eines KI-Modell mit
allgemeinem Verwendungszweck mit systemischem präzisiert werden. Bei einem
KI-Modell , das den geltenden Schwellenwert
für erreicht, sollte angenommen werden, dass
es sich um ein KI-Modell mit allgemeinem Verwendungszweck mit systemischem
Risiko handelt. Der sollte spätestens zwei Wochen, nachdem die
Bedingungen erfüllt sind oder bekannt wird, dass ein KI-Modell mit allgemeinem
Verwendungszweck die Bedingungen, die die Annahme bewirken, erfüllen wird, dies
dem Büro für Künstliche Intelligenz mitteilen. Dies ist insbesondere im
Zusammenhang mit dem Schwellenwert der en relevant, da das
Training von KI-Modellen mit allgemeinem Verwendungszweck eine erhebliche
Planung erfordert, die die vorab durchgeführte Zuweisung von Rechenressourcen
umfasst, sodass die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck
vor Abschluss des Trainings erfahren können, ob ihr Modell den
Schwellenwert erreichen wird. Im Rahmen dieser Mitteilung sollte der Anbieter nachweisen
können, dass ein KI-Modell mit allgemeinem Verwendungszweck aufgrund seiner
besonderen Merkmale außerordentlicherweise keine systemischen birgt
und daher nicht als KI-Modell mit allgemeinem Verwendungszweck mit
systemischem Risiko eingestuft werden sollte. Diese Informationen sind für das Büro
für Künstliche Intelligenz wertvoll, um das von KI-Modellen
mit allgemeinem Verwendungszweck mit systemischem Risiko zu antizipieren,
und die Anbieter können frühzeitig mit der Zusammenarbeit mit dem Büro für
Künstliche Intelligenz beginnen. Diese Informationen sind besonders wichtig im
Hinblick auf KI-Modell mit allgemeinem Verwendungszweck, die als
quelloffene Modelle bereitgestellt werden sollen, da nach der Bereitstellung von
quelloffenen Modellen die erforderlichen Maßnahmen zur Gewährleistung der
Einhaltung der Pflichten gemäß dieser Verordnung möglicherweise schwieriger
umzusetzen sind.

113.

Erhält die Kommission Kenntnis davon, dass ein KI-Modell mit allgemeinem
Verwendungszweck die Anforderungen für die Einstufung als KI-Modell mit
allgemeinem Verwendungszweck mit systemischem erfüllt, das zuvor nicht
bekannt war oder das der betreffende nicht der Kommission gemeldet hat,
sollte die Kommission befugt sein, es als solches auszuweisen. Zusätzlich
zu den Überwachungstätigkeiten des Büros für Künstliche Intelligenz sollte
ein System qualifizierter Warnungen sicherstellen, dass das Büro für
Künstliche Intelligenz von dem wissenschaftlichen Gremium von KI-Modelle mit
allgemeinem Verwendungszweck in Kenntnis gesetzt wird, die möglicherweise als
KI-Modelle mit systemischem Risiko eingestuft
werden sollten, was zu den hinzukommt.

114.

von KI-Modellen , die systemische
bergen, sollten zusätzlich zu den Pflichten für Anbieter von
KI-Modellen mit allgemeinem Verwendungszweck Pflichten unterliegen, die darauf
abzielen, diese Risiken zu ermitteln und zu mindern und ein angemessenes Maß an
Cybersicherheit zu gewährleisten, unabhängig davon, ob es als eigenständiges
Modell bereitgestellt wird oder in ein oder ein Produkt
eingebettet ist. Um diese Ziele zu erreichen, sollten die Anbieter in dieser
Verordnung verpflichtet werden, die erforderlichen Bewertungen des Modells —
insbesondere vor seinem ersten — durchzuführen, wozu auch die
Durchführung und Dokumentation von Angriffstests bei Modellen gehören,
gegebenenfalls auch im Rahmen interner oder unabhängiger externer Tests. Darüber
hinaus sollten KI-Modellen mit allgemeinem Verwendungszweck mit systemischem
fortlaufend systemische Risiken bewerten und mindern, unter anderem
durch die Einführung von Risikomanagementstrategien wie Verfahren der
Rechenschaftspflicht und Governance- Verfahren, die Umsetzung der Beobachtung nach dem
Inverkehrbringen, die Ergreifung geeigneter Maßnahmen während des gesamten
Lebenszyklus des Modells und die Zusammenarbeit mit einschlägigen en
entlang der KI-Wertschöpfungskette.

115.

von KI-Modellen mit systemischem
sollten mögliche systemische bewerten und mindern. Wenn trotz
der Bemühungen um Ermittlung und Vermeidung von Risiken im Zusammenhang mit
einem KI-Modell mit allgemeinem Verwendungszweck, das systemische Risiken
bergen könnte, die Entwicklung oder Verwendung des Modells einen
schwerwiegenden Vorfall verursacht, so sollte der Anbieter des KI-Modells mit
allgemeinem Verwendungszweck unverzüglich dem Vorfall nachgehen und der Kommission und
den zuständigen nationalen Behörden alle einschlägigen Informationen und
mögliche Korrekturmaßnahmen mitteilen. Zudem sollten die Anbieter während des
gesamten Lebenszyklus des Modells ein angemessenes Maß an Cybersicherheit
für das Modell und seine physische Infrastruktur gewährleisten. Beim Schutz
der Cybersicherheit im Zusammenhang mit systemischen Risiken, die mit
böswilliger Nutzung oder böswilligen Angriffen verbunden sind, sollte der
unbeabsichtigte Modelldatenverlust, die unerlaubte Bereitstellung, die Umgehung von
Sicherheitsmaßnahmen und der Schutz vor Cyberangriffen, unbefugtem Zugriff
oder Modelldiebstahl gebührend beachtet werden. Dieser Schutz könnte durch die
Sicherung von Modellgewichten, Algorithmen, Servern und Datensätzen
erleichtert werden, z. B. durch Betriebssicherheitsmaßnahmen für die
Informationssicherheit, spezifische Cybersicherheitsstrategien, geeignete technische und
etablierte Lösungen sowie Kontrollen des physischen Zugangs und des
Cyberzugangs, die den jeweiligen Umständen und den damit verbundenen Risiken
angemessen sind.

116.

Das Büro für Künstliche Intelligenz sollte die Ausarbeitung, Überprüfung
und Anpassung von Praxisleitfäden unter Berücksichtigung internationaler
Ansätze fördern und erleichtern. Alle von KI-Modellen mit allgemeinem
Verwendungszweck könnten ersucht werden, sich daran zu beteiligen. Um
sicherzustellen, dass die Praxisleitfäden dem Stand der Technik entsprechen und
unterschiedlichen Perspektiven gebührend Rechnung tragen, sollte das Büro für
Künstliche Intelligenz bei der Ausarbeitung solcher Leitfäden mit den
einschlägigen zuständigen nationalen Behörden zusammenarbeiten und könnte dabei
gegebenenfalls Organisationen der Zivilgesellschaft und andere einschlägige
Interessenträger und Sachverständige, einschließlich des wissenschaftlichen
Gremiums, konsultieren. Die Praxisleitfäden sollten die Pflichten für Anbieter
von KI-Modellen und von KI-Modellen mit
allgemeinem Verwendungszweck, die systemische bergen, abdecken. Ferner
sollten Praxisleitfäden im Zusammenhang mit systemischen Risiken dazu
beitragen, dass eine taxonomie für Art und Wesen der systemischen Risiken auf
Unionsebene, einschließlich ihrer Ursachen, festgelegt wird. Bei den
Praxisleitfäden sollten auch auf spezifische Maßnahmen zur Risikobewertung und
-minderung im Mittelpunkt stehen.

117.

Die Verhaltenskodizes sollten ein zentrales Instrument für die
ordnungsgemäße Einhaltung der in dieser Verordnung für von KI-Modellen mit
allgemeinem Verwendungszweck vorgesehenen Pflichten darstellen. Die Anbieter
sollten sich auf Verhaltenskodizes stützen können, um die Einhaltung der
Pflichten nachzuweisen. Die Kommission kann im Wege von Durchführungsrechtsakten
beschließen, einen Praxisleitfaden zu genehmigen und ihm eine allgemeine
Gültigkeit in der Union zu verleihen oder alternativ gemeinsame Vorschriften für
die Umsetzung der einschlägigen Pflichten festzulegen, wenn ein
Verhaltenskodex bis zum Zeitpunkt der Anwendbarkeit dieser Verordnung nicht
fertiggestellt werden kann oder dies vom Büro für Künstliche Intelligenz für nicht
angemessen erachtet wird. Sobald eine veröffentlicht und als
geeignet bewertet wurde, um die einschlägigen Pflichten des Büros für
Künstliche Intelligenz abzudecken, sollte die Einhaltung einer harmonisierten
europäischen Norm den Anbietern die Konformitätsvermutung begründen. Anbieter
von KI-Modellen sollten darüber hinaus in der
Lage sein, die Konformität mit angemessenen alternativen Mitteln
nachzuweisen, wenn Praxisleitfäden oder harmonisierte Normen nicht verfügbar sind oder
sie sich dafür entscheiden, sich nicht auf diese zu stützen.

118.

Mit dieser Verordnung werden e und KI-Modelle reguliert, indem
einschlägigen Marktteilnehmern, die sie in der Union in Verkehr bringen, in
Betrieb nehmen oder verwenden, bestimmte Anforderungen und Pflichten auferlegt
werden, wodurch die Pflichten für von Vermittlungsdiensten ergänzt
werden, die solche Systeme oder Modelle in ihre unter die Verordnung (EU)
fallenden Dienste integrieren. Soweit solche Systeme oder Modelle in
als sehr groß eingestufte Online-Plattformen oder als sehr groß eingestufte
Online-Suchmaschinen eingebettet sind, unterliegen sie dem in der
Verordnung (EU) 2022/2065 vorgesehenen Rahmen für das management. Folglich
sollte angenommen werden, dass die entsprechenden Verpflichtungen dieser
Verordnung erfüllt sind, es sei denn, in solchen Modellen treten erhebliche
systemische auf, die nicht unter die Verordnung (EU) 2022/2065 fallen, und
werden dort ermittelt. Im vorliegenden Rahmen sind Anbieter sehr großer
Online-Plattformen und sehr großer Online-Suchmaschinen verpflichtet,
potenzielle systemische Risiken, die sich aus dem Entwurf, dem Funktionieren und der
Nutzung ihrer Dienste ergeben, einschließlich der Frage, wie der Entwurf der
in dem Dienst verwendeten algorithmischen Systeme zu solchen Risiken
beitragen kann, sowie systemische Risiken, die sich aus potenziellen
Fehlanwendungen ergeben, zu bewerten. Diese Anbieter sind zudem verpflichtet, unter
Wahrung der Grundrechte geeignete Risikominderungsmaßnahmen zu ergreifen.

119.

Angesichts des raschen Innovationstempos und der technologischen
Entwicklung digitaler Dienste, die in den Anwendungsbereich verschiedener Instrumente
des Unionsrechts fallen, können insbesondere unter Berücksichtigung der
Verwendung durch ihre Nutzer und deren Wahrnehmung die dieser Verordnung
unterliegenden e als Vermittlungsdienste oder Teile davon im Sinne der
Verordnung (EU) bereitgestellt werden, was technologieneutral
ausgelegt werden sollte. Beispielsweise können KI-Systeme als Online-Suchmaschinen
verwendet werden, insbesondere wenn ein KI-System wie ein Online-Chatbot
grundsätzlich alle Websites durchsucht, die Ergebnisse anschließend in sein
vorhandenes Wissen integriert und das aktualisierte Wissen nutzt, um eine
einzige Ausgabe zu generieren, bei der verschiedene Informationsquellen
zusammengeführt wurden.

120.

Zudem sind die Pflichten, die n und n bestimmter
e mit dieser Verordnung auferlegt werden, um die Feststellung und
Offenlegung zu ermöglichen, dass die Ausgaben dieser Systeme künstlich erzeugt oder
manipuliert werden, von besonderer Bedeutung für die Erleichterung der
wirksamen Umsetzung der Verordnung (EU) . Dies gilt insbesondere für die
Pflichten der Anbieter sehr großer Online-Plattformen oder sehr großer
Online-Suchmaschinen, systemische zu ermitteln und zu mindern, die aus der
Verbreitung von künstlich erzeugten oder manipulierten Inhalten entstehen
können, insbesondere das tatsächlicher oder vorhersehbarer negativer
Auswirkungen auf demokratische Prozesse, den gesellschaftlichen Diskurs und
Wahlprozesse, unter anderem durch Desinformation.

121.

Die Normung sollte eine Schlüsselrolle dabei spielen, den n
technische Lösungen zur Verfügung zu stellen, um im Einklang mit dem Stand der
Technik die Einhaltung dieser Verordnung zu gewährleisten und Innovation sowie
Wettbewerbsfähigkeit und Wachstum im Binnenmarkt zu fördern. Die Einhaltung
harmonisierter Normen im Sinne von Artikel 2 Nummer 1 Buchstabe c der
Verordnung (EU) Nr. des und des Rates (41), die
normalerweise den Stand der Technik widerspiegeln sollten, sollte den
Anbietern den Nachweis der Konformität mit den Anforderungen der vorliegenden
Verordnung ermöglichen. Daher sollte eine ausgewogene Interessenvertretung unter
Einbeziehung aller relevanten Interessenträger, insbesondere KMU,
Verbraucherorganisationen sowie ökologischer und sozialer Interessenträger, bei der
Entwicklung von Normen gemäß den Artikeln 5 und 6 der Verordnung (EU) Nr.
1025/2012, gefördert werden. Um die Einhaltung der Vorschriften zu erleichtern,
sollten die Normungsaufträge von der Kommission unverzüglich erteilt werden.
Bei der Ausarbeitung des Normungsauftrags sollte die Kommission das
Beratungsforum und das KI-Gremium konsultieren, um einschlägiges Fachwissen
einzuholen. In Ermangelung einschlägiger Fundstellen zu harmonisierten Normen
sollte die Kommission jedoch im Wege von Durchführungsrechtsakten und nach
Konsultation des Beratungsforums en für bestimmte
Anforderungen im Rahmen dieser Verordnung festlegen können. Die gemeinsame
Spezifikation sollte eine außergewöhnliche Ausweichlösung sein, um die Pflicht des
Anbieters zur Einhaltung der Anforderungen dieser Verordnung zu erleichtern,
wenn der Normungsauftrag von keiner der europäischen Normungsorganisationen
angenommen wurde oder die einschlägigen harmonisierten Normen den Bedenken im
Bereich der Grundrechte nicht ausreichend Rechnung tragen oder die
harmonisierten Normen dem Auftrag nicht entsprechen oder es Verzögerungen bei der
Annahme einer geeigneten harmonisierten Norm gibt. Ist eine solche Verzögerung
bei der Annahme einer harmonisierten Norm auf die technische Komplexität
dieser Norm zurückzuführen, so sollte die Kommission dies prüfen, bevor sie
die Festlegung gemeinsamer Spezifikationen in Erwägung zieht. Die Kommission
wird ermutigt, bei der Entwicklung gemeinsamer Spezifikationen mit
internationalen Partnern und internationalen Normungsgremien zusammenzuarbeiten.

(41) Verordnung (EU) Nr.
1025/2012 des Europäischen Parlaments und des Rates vom 25. Oktober 2012
zur europäischen Normung, zur Änderung der Richtlinien /EWG und
/EWG des Rates sowie der Richtlinien /EG, /EG, /EG, /EG,
/EG, /EG, /EG, /EG und /EG des Europäischen
Parlaments und des Rates und zur Aufhebung des Beschlusses /EWG des
Rates und des Beschlusses Nr. /EG des Europäischen Parlaments und des
Rates (ABl. L 316 vom 14.11.2012, S. 12).

122.

Unbeschadet der Anwendung harmonisierter Normen und gemeinsamer
Spezifikationen ist es angezeigt, dass für von Hochrisiko-en, die mit
Daten, in denen sich die besonderen geografischen, verhaltensbezogenen,
kontextuellen oder funktionalen Rahmenbedingungen niederschlagen, unter denen
sie verwendet werden sollen, trainiert und getestet wurden, die Vermutung der
Konformität mit der einschlägigen Maßnahme gilt, die im Rahmen der in
dieser Verordnung festgelegten Anforderungen an die Daten-Governance vorgesehen
ist. Unbeschadet der in dieser Verordnung festgelegten Anforderungen an
Robustheit und Genauigkeit sollte gemäß Artikel 54 Absatz 3 der Verordnung (EU)
bei Hochrisiko-KI-Systemen, die im Rahmen eines Schemas für die
Cybersicherheit gemäß der genannten Verordnung zertifiziert wurden oder für die
eine Konformitätserklärung ausgestellt wurde und deren Fundstellen im
Amtsblatt der Europäischen Union veröffentlicht wurden, vermutet werden, dass eine
Übereinstimmung mit den Cybersicherheitsanforderungen der vorliegenden
Verordnung gegeben ist, sofern das Cybersicherheitszertifikat oder die
Konformitätserklärung oder Teile davon die Cybersicherheitsanforderungen dieser
Verordnung abdecken. Dies gilt unbeschadet des freiwilligen Charakters dieses
Schemas für die Cybersicherheit.

123.

Um ein hohes Maß an Vertrauenswürdigkeit von Hochrisiko-en zu
gewährleisten, sollten diese Systeme einer unterzogen
werden, bevor sie in Verkehr gebracht oder in Betrieb genommen werden.

124.

Damit für e möglichst wenig Aufwand entsteht und etwaige Doppelarbeit
vermieden wird, ist es angezeigt, dass bei Hochrisiko-en im
Zusammenhang mit Produkten, die auf der Grundlage des neuen Rechtsrahmens unter
bestehende Harmonisierungsrechtsvorschriften der Union fallen, im Rahmen der
bereits in den genannten Rechtsvorschriften vorgesehenen
bewertet wird, ob diese KI-Systeme den Anforderungen dieser Verordnung
genügen. Die Anwendbarkeit der Anforderungen dieser Verordnung sollte daher die
besondere Logik, Methodik oder allgemeine Struktur der
Konformitätsbewertung gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union
unberührt lassen.

125.

Angesichts der Komplexität von Hochrisiko-en und der damit
verbundenen ist es wichtig, ein angemessenes
sverfahren für Hochrisiko-KI-Systeme, an denen n beteiligt sind, —
die sogenannte Konformitätsbewertung durch Dritte — zu entwickeln. In
Anbetracht der derzeitigen Erfahrung professioneller dem
vorgeschalteter Zertifizierer im Bereich der Produktsicherheit und der
unterschiedlichen Art der damit verbundenen Risiken empfiehlt es sich jedoch, zumindest
während der anfänglichen Anwendung dieser Verordnung für
Hochrisiko-KI-Systeme, die nicht mit Produkten in Verbindung stehen, den Anwendungsbereich der
Konformitätsbewertung durch Dritte einzuschränken. Daher sollte die
Konformitätsbewertung solcher Systeme in der Regel vom in eigener
Verantwortung durchgeführt werden, mit Ausnahme von KI-Systemen, die für die
Biometrie verwendet werden sollen.

126.

Damit e, falls vorgeschrieben, en durch
Dritte unterzogen werden können, sollten die notifizierten Stellen gemäß dieser
Verordnung von den zuständigen nationalen Behörden notifiziert werden, sofern
sie eine Reihe von Anforderungen erfüllen, insbesondere in Bezug auf
Unabhängigkeit, Kompetenz, Nichtvorliegen von Interessenkonflikten und geeignete
Anforderungen an die Cybersicherheit. Die Notifizierung dieser Stellen sollte
von den zuständigen nationalen Behörden der Kommission und den anderen
Mitgliedstaaten mittels des von der Kommission entwickelten und verwalteten
elektronischen Notifizierungsinstruments gemäß Anhang I Artikel R23 des
Beschlusses Nr. /EG übermittelt werden.

127.

Im Einklang mit den Verpflichtungen der Union im Rahmen des Übereinkommens
der Welthandelsorganisation über technische Handelshemmnisse ist es
angemessen, die gegenseitige Anerkennung von sergebnissen zu
erleichtern, die von den zuständigen n unabhängig
von dem Gebiet, in dem sie niedergelassen sind, generiert wurden, sofern
diese nach dem Recht eines Drittlandes errichteten
Konformitätsbewertungsstellen die geltenden Anforderungen dieser Verordnung erfüllen und die Union ein
entsprechendes Abkommen geschlossen hat. In diesem Zusammenhang sollte die
Kommission aktiv mögliche internationale Instrumente zu diesem Zweck prüfen
und insbesondere den Abschluss von Abkommen über die gegenseitige Anerkennung
mit Drittländern anstreben.

128.

Im Einklang mit dem allgemein anerkannten Begriff der wesentlichen Änderung
von Produkten, für die Harmonisierungsvorschriften der Union gelten, ist es
angezeigt, dass das bei jeder Änderung, die die Einhaltung dieser
Verordnung durch das Hochrisiko-KI-System beeinträchtigen könnte (z. B.
Änderung des Betriebssystems oder der Softwarearchitektur), oder wenn sich die
des Systems ändert, als neues KI-System betrachtet werden
sollte, das einer neuen unterzogen werden sollte.
Änderungen, die den Algorithmus und die Leistung von KI-Systemen betreffen, die
nach dem oder der weiterhin dazulernen — d.
h., sie passen automatisch an, wie die Funktionen ausgeführt werden —, sollten
jedoch keine darstellen, sofern diese Änderungen
vom vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung
bewertet wurden.

129.

Hochrisiko-e sollten grundsätzlich mit der
versehen sein, aus der ihre Konformität mit dieser Verordnung hervorgeht, sodass
sie frei im Binnenmarkt verkehren können. Bei in ein Produkt integrierten
Hochrisiko-KI-Systemen sollte eine physische CE-Kennzeichnung angebracht
werden, die durch eine digitale CE-Kennzeichnung ergänzt werden kann. Bei
Hochrisiko-KI-Systemen, die nur digital bereitgestellt werden, sollte eine digitale
CE-Kennzeichnung verwendet werden. Die Mitgliedstaaten sollten keine
ungerechtfertigten Hindernisse für das oder die von
Hochrisiko-KI-Systemen schaffen, die die in dieser Verordnung festgelegten
Anforderungen erfüllen und mit der CE-Kennzeichnung versehen sind.

130.

Unter bestimmten Bedingungen kann die rasche Verfügbarkeit innovativer
Technik für die Gesundheit und Sicherheit von Menschen, den Schutz der Umwelt
und vor dem Klimawandel und die Gesellschaft insgesamt von entscheidender
Bedeutung sein. Es ist daher angezeigt, dass die Aufsichtsbehörden aus
außergewöhnlichen Gründen der öffentlichen Sicherheit, des Schutzes des Lebens und
der Gesundheit natürlicher Personen, des Umweltschutzes und des Schutzes
wichtiger Industrie- und Infrastrukturanlagen das oder die
von en, die keiner unterzogen
wurden, genehmigen könnten. In hinreichend begründeten Fällen gemäß dieser
Verordnung können s- oder Katastrophenschutzbehörden ein bestimmtes
Hochrisiko-KI-System ohne Genehmigung der in
Betrieb nehmen, sofern diese Genehmigung während der Verwendung oder im Anschluss
daran unverzüglich beantragt wird.

131.

Um die Arbeit der Kommission und der Mitgliedstaaten im KI-Bereich zu
erleichtern und die Transparenz gegenüber der Öffentlichkeit zu erhöhen, sollten
von Hochrisiko-en, die nicht im Zusammenhang mit Produkten
stehen, welche in den Anwendungsbereich einschlägiger
Harmonisierungsrechtsvorschriften der Union fallen, und Anbieter, die der Auffassung sind, dass
ein KI-System, das in den in einem Anhang dieser Verordnung aufgeführten
Anwendungsfällen mit hohem aufgeführt ist, auf der Grundlage einer
Ausnahme nicht hochriskant ist, dazu verpflichtet werden, sich und Informationen
über ihr KI-System in einer von der Kommission einzurichtenden und zu
verwaltenden EU-Datenbank zu registrieren. Vor der Verwendung eines KI-Systems, das
in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfällen mit
hohem Risiko aufgeführt ist, sollten sich von
Hochrisiko-KI-Systemen, die Behörden, Einrichtungen oder sonstige Stellen sind, in dieser
Datenbank registrieren und das System auswählen, dessen Verwendung sie planen.
Andere Betreiber sollten berechtigt sein, dies freiwillig zu tun. Dieser Teil
der EU-Datenbank sollte öffentlich und kostenlos zugänglich sein, und die
Informationen sollten leicht zu navigieren, verständlich und maschinenlesbar
sein. Die EU-Datenbank sollte außerdem benutzerfreundlich sein und
beispielsweise die Suche, auch mit Stichwörtern, vorsehen, damit die breite
Öffentlichkeit die einschlägigen Informationen finden kann, die bei der Registrierung
von Hochrisiko-KI-Systemen einzureichen sind und die sich auf einen in einem
Anhang dieser Verordnung aufgeführten Anwendungsfall der
Hochrisiko-KI-Systeme, denen die betreffenden Hochrisiko-KI-Systeme entsprechen, beziehen. Jede
von Hochrisiko-KI-Systemen sollte ebenfalls in der
EU-Datenbank registriert werden. Bei Hochrisiko- KI-Systemen, die in den
Bereichen , Migration, Asyl und Grenzkontrolle eingesetzt
werden, sollten die Registrierungspflichten in einem sicheren nicht öffentlichen
Teil der EU-Datenbank erfüllt werden. Der Zugang zu dem gesicherten nicht
öffentlichen Teil sollte sich strikt auf die Kommission sowie auf die
n und bei diesen auf ihren nationalen Teil dieser Datenbank
beschränken. Hochrisiko-KI-Systeme im Bereich kritischer Infrastrukturen
sollten nur auf nationaler Ebene registriert werden. Die Kommission sollte gemäß
der Verordnung (EU) als für die EU-Datenbank Verantwortlicher
gelten. Um die volle Funktionsfähigkeit der EU-Datenbank zu gewährleisten,
sollte das Verfahren für die Einrichtung der Datenbank auch die Entwicklung von
funktionalen Spezifikationen durch die Kommission und einen unabhängigen
Prüfbericht umfassen. Die Kommission sollte bei der Wahrnehmung ihrer Aufgaben
als Verantwortliche für die EU-Datenbank die im Zusammenhang mit
Cybersicherheit berücksichtigen. Um für ein Höchstmaß an Verfügbarkeit und
Nutzung der EU-Datenbank durch die Öffentlichkeit zu sorgen, sollte die
EU-Datenbank, einschließlich der über sie zur Verfügung gestellten Informationen,
den Anforderungen der Richtlinie (EU) entsprechen.

132.

Bestimmte e, die mit natürlichen Personen interagieren oder
Inhalte erzeugen sollen, können unabhängig davon, ob sie als hochriskant
eingestuft werden, ein besonderes in Bezug auf Identitätsbetrug oder Täuschung
bergen. Unter bestimmten Umständen sollte die Verwendung solcher Systeme
daher — unbeschadet der Anforderungen an und Pflichten für
Hochrisiko-KI-Systeme und vorbehaltlich punktueller Ausnahmen, um den besonderen Erfordernissen
der Rechnung zu tragen — besonderen Transparenzpflichten
unterliegen. Insbesondere sollte natürlichen Personen mitgeteilt werden, dass
sie es mit einem KI-System zu tun haben, es sei denn, dies ist aus Sicht
einer angemessen informierten, aufmerksamen und verständigen natürlichen Person
aufgrund der Umstände und des Kontexts der Nutzung offensichtlich. Bei der
Umsetzung dieser Pflicht sollten die Merkmale von natürlichen Personen, die
aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen
angehören, berücksichtigt werden, soweit das KI-System auch mit diesen Gruppen
interagieren soll. Darüber hinaus sollte natürlichen Personen mitgeteilt
werden, wenn sie KI-Systemen ausgesetzt sind, die durch die Verarbeitung ihrer
die Gefühle oder Absichten dieser Personen identifizieren
oder ableiten oder sie bestimmten Kategorien zuordnen können. Solche
spezifischen Kategorien können Aspekte wie etwa Geschlecht, Alter, Haarfarbe,
Augenfarbe, Tätowierungen, persönliche Merkmale, ethnische Herkunft sowie
persönliche Vorlieben und Interessen betreffen. Diese Informationen und
Mitteilungen sollten für Menschen mit Behinderungen in entsprechend barrierefrei
zugänglicher Form bereitgestellt werden.

133.

Eine Vielzahl von en kann große Mengen synthetischer Inhalte
erzeugen, bei denen es für Menschen immer schwieriger wird, sie vom Menschen
erzeugten und authentischen Inhalten zu unterscheiden. Die breite Verfügbarkeit
und die zunehmenden Fähigkeiten dieser Systeme wirken sich erheblich auf die
Integrität des Informationsökosystems und das ihm entgegengebrachte
Vertrauen aus, weil neue in Bezug auf Fehlinformation und Manipulation in
großem Maßstab, Betrug, Identitätsbetrug und Täuschung der Verbraucher
entstehen. Angesichts dieser Auswirkungen, des raschen Tempos im
Technologiebereich und der Notwendigkeit neuer Methoden und Techniken zur Rückverfolgung der
Herkunft von Informationen sollten die dieser Systeme verpflichtet
werden, technische Lösungen zu integrieren, die die Kennzeichnung in einem
maschinenlesbaren Format und die Feststellung ermöglichen, dass die Ausgabe
von einem KI-System und nicht von einem Menschen erzeugt oder manipuliert
wurde. Diese Techniken und Methoden sollten — soweit technisch möglich —
hinreichend zuverlässig, interoperabel, wirksam und belastbar sein, wobei
verfügbare Techniken, wie Wasserzeichen, Metadatenidentifizierungen, kryptografische
Methoden zum Nachweis der Herkunft und Authentizität des Inhalts,
Protokollierungsmethoden, Fingerabdrücke oder andere Techniken, oder eine Kombination
solcher Techniken je nach Sachlage zu berücksichtigen sind. Bei der
Umsetzung dieser Pflicht sollten die Anbieter auch die Besonderheiten und
Einschränkungen der verschiedenen Arten von Inhalten und die einschlägigen
technologischen Entwicklungen und Marktentwicklungen in diesem Bereich, die dem
allgemein anerkannten Stand der Technik entsprechen, berücksichtigen. Solche
Techniken und Methoden können auf der Ebene des KI-Systems oder der Ebene des
KI-Modells, darunter KI-Modelle zur Erzeugung
von Inhalten, angewandt werden, wodurch dem nachgelagerten Anbieter des
KI-Systems die Erfüllung dieser Pflicht erleichtert wird. Um die
Verhältnismäßigkeit zu wahren, sollte vorgesehen werden, dass diese Kennzeichnungspflicht
weder für KI-Systeme, die in erster Linie eine unterstützende Funktion für
die Standardbearbeitung ausführen, noch für KI-Systeme, die die vom
bereitgestellten oder deren Semantik nicht wesentlich
verändern, gilt.

134.

Neben den technischen Lösungen, die von den n von en
eingesetzt werden, sollten , die ein KI-System zum Erzeugen oder
Manipulieren von Bild-, Audio- oder Videoinhalte verwenden, die wirklichen
Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen merklich ähneln und
einer Person fälschlicherweise echt oder wahr erscheinen würden (s),
auch klar und deutlich offenlegen, dass die Inhalte künstlich erzeugt oder
manipuliert wurden, indem sie die Ausgaben von KI entsprechend kennzeichnen
und auf ihren künstlichen Ursprung hinweisen. Die Einhaltung dieser
Transparenzpflicht sollte nicht so ausgelegt werden, dass sie darauf hindeutet, dass
die Verwendung des KI-Systems oder seiner Ausgabe das Recht auf freie
Meinungsäußerung und das Recht auf Freiheit der Kunst und Wissenschaft, die in der
garantiert sind, behindern, insbesondere wenn der Inhalt Teil eines
offensichtlich kreativen, satirischen, künstlerischen, fiktionalen oder
analogen Werks oder Programms ist und geeignete Schutzvorkehrungen für die Rechte
und Freiheiten Dritter bestehen. In diesen Fällen beschränkt sich die in
dieser Verordnung festgelegte Transparenzpflicht für Deepfakes darauf, das
Vorhandenseins solcher erzeugten oder manipulierten Inhalte in geeigneter Weise
offenzulegen, die die Darstellung oder den Genuss des Werks, einschließlich
seiner normalen Nutzung und Verwendung, nicht beeinträchtigt und
gleichzeitig den Nutzen und die Qualität des Werks aufrechterhält. Darüber hinaus ist
es angezeigt, eine ähnliche Offenlegungspflicht in Bezug auf durch KI
erzeugte oder manipulierte Texte anzustreben, soweit diese veröffentlicht werden,
um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu
informieren, es sei denn, die durch KI erzeugten Inhalte wurden einem Verfahren
der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen und
eine natürliche oder juristische Person trägt die redaktionelle Verantwortung
für die Veröffentlichung der Inhalte.

135.

Unbeschadet des verbindlichen Charakters und der uneingeschränkten
Anwendbarkeit der Transparenzpflichten kann die Kommission zudem die Ausarbeitung
von Praxisleitfäden auf Unionsebene im Hinblick auf die Ermöglichung der
wirksamen Umsetzung der Pflichten in Bezug auf die Feststellung und Kennzeichnung
künstlich erzeugter oder manipulierter Inhalte erleichtern und fördern,
auch um praktische Vorkehrungen zu unterstützen, mit denen gegebenenfalls die
Feststellungsmechanismen zugänglich gemacht werden, die Zusammenarbeit mit
anderen en entlang der Wertschöpfungskette erleichtert wird und Inhalte
verbreitet oder ihre Echtheit und Herkunft überprüft werden, damit die
Öffentlichkeit durch KI erzeugte Inhalte wirksam erkennen kann.

136.

Die Pflichten, die n und n bestimmter e mit
dieser Verordnung auferlegt werden, die Feststellung und Offenlegung zu
ermöglichen, dass die Ausgaben dieser Systeme künstlich erzeugt oder manipuliert
werden, sind von besonderer Bedeutung für die Erleichterung der wirksamen
Umsetzung der Verordnung (EU) . Dies gilt insbesondere für die Pflicht
der Anbieter sehr großer Online-Plattformen oder sehr großer
Online-Suchmaschinen, systemische zu ermitteln und zu mindern, die aus der
Verbreitung von künstlich erzeugten oder manipulierten Inhalten entstehen können,
insbesondere das tatsächlicher oder vorhersehbarer negativer Auswirkungen
auf demokratische Prozesse, den gesellschaftlichen Diskurs und
Wahlprozesse, unter anderem durch Desinformation. Die Anforderung gemäß dieser
Verordnung, durch KI-Systeme erzeugte Inhalte zu kennzeichnen, berührt nicht die
Pflicht in Artikel 16 Absatz 6 der Verordnung (EU) 2022/2065 für Anbieter von
Hostingdiensten, gemäß Artikel 16 Absatz 1 der genannten Verordnung
eingegangene Meldungen über illegale Inhalte zu bearbeiten, und sollte nicht die
Beurteilung der Rechtswidrigkeit der betreffenden Inhalte und die Entscheidung
darüber beeinflussen. Diese Beurteilung sollte ausschließlich anhand der
Vorschriften für die Rechtmäßigkeit der Inhalte vorgenommen werden.

137.

Die Einhaltung der Transparenzpflichten für die von dieser Verordnung
erfassten e sollte nicht als Hinweis darauf ausgelegt werden, dass die
Verwendung des KI-Systems oder seiner Ausgabe nach dieser Verordnung oder
anderen Rechtsvorschriften der Union und der Mitgliedstaaten rechtmäßig ist,
und sollte andere Transparenzpflichten für von KI-Systemen, die im
Unionsrecht oder im nationalen Recht festgelegt sind, unberührt lassen.

138.

KI bezeichnet eine Reihe sich rasch entwickelnder Technologien, die eine
Regulierungsaufsicht und einen sicheren und kontrollierten Raum für die
Erprobung erfordern, wobei gleichzeitig eine verantwortungsvolle Innovation und
die Integration geeigneter Schutzvorkehrungen und minderungsmaßnahmen
gewährleistet werden müssen. Um einen innovationsfördernden, zukunftssicheren
und gegenüber Störungen widerstandsfähigen Rechtsrahmen sicherzustellen,
sollten die Mitgliedstaaten sicherstellen, dass ihre zuständigen nationalen
Behörden mindestens ein auf nationaler Ebene einrichten, um die
Entwicklung und die Erprobung innovativer e vor deren
oder anderweitiger unter strenger Regulierungsaufsicht zu
erleichtern. Die Mitgliedstaaten könnten diese Pflicht auch erfüllen, indem
sie sich an bereits bestehenden Reallaboren beteiligen oder ein Reallabor mit
den zuständigen Behörden eines oder mehrerer Mitgliedstaaten gemeinsam
einrichten, insoweit diese Beteiligung eine gleichwertige nationale Abdeckung
für die teilnehmenden Mitgliedstaaten bietet. KI-Reallabore könnten in
physischer, digitaler oder Hybrid-Form eingerichtet werden, und sie können
physische sowie digitale Produkte umfassen. Die einrichtenden Behörden sollten
ferner sicherstellen, dass die KI-Reallabore über angemessene Ressourcen für ihre
Aufgaben, einschließlich finanzieller und personeller Ressourcen, verfügen.

139.

Die Ziele der e sollten in Folgendem bestehen: Innovationen im
Bereich KI zu fördern, indem eine kontrollierte Versuchs- und Testumgebung
für die Entwicklungsphase und die dem vorgelagerte Phase
geschaffen wird, um sicherzustellen, dass die innovativen e mit dieser
Verordnung und anderem einschlägigen Unionsrecht und dem nationalen Recht
in Einklang stehen. Darüber hinaus sollten die KI-Reallabore darauf abzielen,
die Rechtssicherheit für Innovatoren sowie die Aufsicht und das Verständnis
der zuständigen Behörden in Bezug auf die Möglichkeiten, neu auftretenden
und Auswirkungen der KI-Nutzung zu verbessern, das regulatorische
Lernen für Behörden und Unternehmen zu erleichtern, unter anderem im Hinblick
auf künftige Anpassungen des Rechtsrahmens, die Zusammenarbeit und den
Austausch bewährter Praktiken mit den an dem KI-Reallabor beteiligten Behörden zu
unterstützen und den Marktzugang zu beschleunigen, unter anderem indem
Hindernisse für KMU, einschließlich Start-up-Unternehmen, abgebaut werden.
KI-Reallabore sollten in der gesamten Union weithin verfügbar sein, und ein
besonderes Augenmerk sollte auf ihre Zugänglichkeit für KMU, einschließlich
Start-up-Unternehmen, gelegt werden. Die Beteiligung am KI-Reallabor sollte sich
auf Fragen konzentrieren, die zu Rechtsunsicherheit für und
zukünftige Anbieter führen, damit sie Innovationen vornehmen, mit KI in der Union
experimentieren und zu evidenzbasiertem regulatorischen Lernen beitragen. Die
Beaufsichtigung der KI-Systeme im KI-Reallabor sollte sich daher auf deren
Entwicklung, Training, Testen und Validierung vor dem Inverkehrbringen oder
der der Systeme sowie auf das Konzept und das Auftreten
wesentlicher Änderungen erstrecken, die möglicherweise ein neues
sverfahren erfordern. Alle erheblichen Risiken, die bei der Entwicklung
und Erprobung solcher KI-Systeme festgestellt werden, sollten eine
angemessene minderung und, in Ermangelung dessen, die Aussetzung des
Entwicklungs- und Erprobungsprozesses nach sich ziehen. Gegebenenfalls sollten die
zuständigen nationalen Behörden, die KI-Reallabore einrichten, mit anderen
einschlägigen Behörden zusammenarbeiten, einschließlich derjenigen, die den
Schutz der Grundrechte überwachen, und könnten die Einbeziehung anderer e
innerhalb des KI-Ökosystems gestatten, wie etwa nationaler oder europäischer
Normungsorganisationen, notifizierter Stellen, Test- und
Versuchseinrichtungen, Forschungs- und Versuchslabore, Europäischer Digitaler
Innovationszentren und einschlägiger Interessenträger und Organisationen der
Zivilgesellschaft. Im Interesse einer unionsweit einheitlichen Umsetzung und der Erzielung
von Größenvorteilen ist es angezeigt, dass gemeinsame Vorschriften für die
Umsetzung von KI-Reallaboren und ein Rahmen für die Zusammenarbeit zwischen
den an der Beaufsichtigung der Reallabore beteiligten Behörden festgelegt
werden. KI-Reallabore, die im Rahmen dieser Verordnung eingerichtet werden,
sollten anderes Recht, das die Einrichtung anderer Reallabore ermöglicht,
unberührt lassen, um die Einhaltung anderen Rechts als dieser Verordnung
sicherzustellen. Gegebenenfalls sollten die für diese anderen Reallabore zuständigen
Behörden die Vorteile der Nutzung dieser Reallabore auch zum Zweck der
Gewährleistung der Konformität der KI-Systeme mit dieser Verordnung
berücksichtigen. Im Einvernehmen zwischen den zuständigen nationalen Behörden und den am
KI-Reallabor Beteiligten können Tests unter Realbedingungen auch im Rahmen
des KI-Reallabors durchgeführt und beaufsichtigt werden.

140.

Die vorliegende Verordnung sollte im Einklang mit Artikel 6 Absatz 4 und
Artikel 9 Absatz 2 Buchstabe g der Verordnung (EU) und den Artikeln
5, 6 und 10 der Verordnung (EU) sowie unbeschadet des Artikels 4
Absatz 2 und des Artikels 10 der Richtlinie (EU) die Rechtsgrundlage
für die Verwendung — ausschließlich unter bestimmten Bedingungen —
, die für andere Zwecke erhoben wurden, zur Entwicklung
bestimmter e im öffentlichen Interesse innerhalb des s durch
die und zukünftigen Anbieter im KI-Reallabor bilden. Alle anderen
Pflichten von Verantwortlichen und Rechte betroffener Personen im Rahmen der
Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU)
2016/680 gelten weiterhin. Insbesondere sollte diese Verordnung keine
Rechtsgrundlage im Sinne des Artikels 22 Absatz 2 Buchstabe b der Verordnung (EU)
2016/679 und des Artikels 24 Absatz 2 Buchstabe b der Verordnung (EU) 2018/1725
bilden. Anbieter und zukünftige Anbieter im KI-Reallabor sollten angemessene
Schutzvorkehrungen treffen und mit den zuständigen Behörden zusammenarbeiten,
unter anderem indem sie deren Anleitung folgen und zügig und nach Treu und
Glauben handeln, um etwaige erhebliche für die Sicherheit, die
Gesundheit und die Grundrechte, die bei der Entwicklung, bei der Erprobung und
bei Versuchen in diesem Reallabor auftreten können, zu mindern.

141.

Um den Prozess der Entwicklung und des s der in einem
Anhang dieser Verordnung aufgeführten Hochrisiko-e zu beschleunigen, ist
es wichtig, dass oder zukünftige Anbieter solcher Systeme auch von
einer spezifischen Regelung für das Testen dieser Systeme unter
Realbedingungen profitieren können, ohne sich an einem zu beteiligen. In
solchen Fällen, unter Berücksichtigung der möglichen Folgen solcher Tests für
Einzelpersonen, sollte jedoch sichergestellt werden, dass mit dieser
Verordnung angemessene und ausreichende Garantien und Bedingungen für Anbieter
oder zukünftige Anbieter eingeführt werden. Diese Garantien sollten unter
anderem die Einholung der informierten Einwilligung natürlicher Personen in die
Beteiligung an Tests unter Realbedingungen umfassen, mit Ausnahme der
, wenn die Einholung der informierten Einwilligung verhindern würde,
dass das KI-System getestet wird. Die Einwilligung der zur
Teilnahme an solchen Tests im Rahmen dieser Verordnung unterscheidet sich von
der Einwilligung betroffener Personen in die Verarbeitung ihrer
personenbezogenen Daten nach den einschlägigen Datenschutzvorschriften und greift
dieser nicht vor. Ferner ist es wichtig, die zu minimieren und die
Aufsicht durch die zuständigen Behörden zu ermöglichen und daher von zukünftigen
Anbietern zu verlangen, dass sie der zuständigen
einen vorgelegt haben, die Tests —
vorbehaltlich einiger begrenzter Ausnahmen — in den dafür vorgesehenen
Abschnitten der EU-Datenbank zu registrieren, den Zeitraum zu begrenzen, in dem die
Tests durchgeführt werden können, und zusätzliche Schutzmaßnahmen für
Personen, die schutzbedürftigen Gruppen angehören, sowie eine schriftliche
Einwilligung mit der Festlegung der Aufgaben und Zuständigkeiten der zukünftigen
Anbieter und der und eine wirksame Aufsicht durch zuständiges
Personal, das an den Tests unter Realbedingungen beteiligt ist, zu verlangen.
Darüber hinaus ist es angezeigt, zusätzliche Schutzmaßnahmen vorzusehen, um
sicherzustellen, dass die Vorhersagen, Empfehlungen oder Entscheidungen des
KI-Systems effektiv rückgängig gemacht und missachtet werden können, und dass
geschützt sind und gelöscht werden, wenn die
Testteilnehmer ihre Einwilligung zur Teilnahme an den Tests widerrufen haben, und
zwar unbeschadet ihrer Rechte als betroffene Personen nach dem Datenschutzrecht
der Union. Was die Datenübermittlung betrifft, so ist es angezeigt
vorzusehen, dass Daten, die zum Zweck von Tests unter Realbedingungen erhoben und
verarbeitet wurden, nur dann an Drittstaaten übermittelt werden sollten, wenn
angemessene und anwendbare Schutzmaßnahmen nach dem Unionsrecht umgesetzt
wurden, insbesondere im Einklang mit den Grundlagen für die Übermittlung
nach dem Datenschutzrecht der Union, während für nicht
personenbezogene Daten angemessene Schutzmaßnahmen im Einklang mit dem
Unionsrecht, z. B. den Verordnungen (EU) (42) und (EU) (43) des
und des Rates eingerichtet wurden.

(42) Verordnung (EU) 2022/868 des
Europäischen Parlaments und des Rates vom 30. Mai 2022 über europäische
Daten-Governance und zur Änderung der Verordnung (EU)
(Daten-Governance-Rechtsakt) (ABl. L 152 vom 3.6.2022, S. 1). (43) Verordnung (EU) 2023/2854
des Rates und des Europäischen Parlaments vom 13. Dezember 2023 über
harmonisierte Vorschriften für einen fairen Datenzugang und eine faire Datennutzung
sowie zur Änderung der Verordnung (EU) und der Richtlinie (EU)
(Datenverordnung) (ABl. L, 2023/2854, 22.12.2023, ELI:
http://data.europa.eu/eli/reg/2023/2854/oj).

142.

Um sicherzustellen, dass KI zu sozial und ökologisch vorteilhaften
Ergebnissen führt, werden die Mitgliedstaaten ermutigt, Forschung und Entwicklung zu
KI-Lösungen, die zu sozial und ökologisch vorteilhaften Ergebnissen
beitragen, zu unterstützen und zu fördern, wie KI-gestützte Lösungen für mehr
Barrierefreiheit für Personen mit Behinderungen, zur Bekämpfung sozioökonomischer
Ungleichheiten oder zur Erreichung von Umweltzielen, indem ausreichend
Ressourcen — einschließlich öffentlicher Mittel und Unionsmittel —
bereitgestellt werden, und — soweit angebracht und sofern die Voraussetzungen und
Zulassungskriterien erfüllt sind — insbesondere unter Berücksichtigung von
Projekten, mit denen diese Ziele verfolgt werden. Diese Projekte sollten auf dem
Grundsatz der interdisziplinären Zusammenarbeit zwischen KI-Entwicklern,
Sachverständigen in den Bereichen Gleichstellung und Nichtdiskriminierung,
Barrierefreiheit und Verbraucher-, Umwelt- und digitale Rechte sowie
Wissenschaftlern beruhen.

143.

Um Innovationen zu fördern und zu schützen, ist es wichtig, die Interessen
von KMU, einschließlich Start-up-Unternehmen, die und von
en sind, besonders zu berücksichtigen. Zu diesem Zweck sollten die
Mitgliedstaaten Initiativen ergreifen, die sich an diese e richten,
darunter auch Sensibilisierungs- und Informationsmaßnahmen. Die
Mitgliedstaaten sollten KMU, einschließlich Start-up-Unternehmen, die ihren Sitz oder
eine Zweigniederlassung in der Union haben, vorrangigen Zugang zu den
en gewähren, soweit sie die Voraussetzungen und Zulassungskriterien
erfüllen und ohne andere Anbieter und zukünftige Anbieter am Zugang zu den
Reallaboren zu hindern, sofern die gleichen Voraussetzungen und Kriterien erfüllt
sind. Die Mitgliedstaaten sollten bestehende Kanäle nutzen und
gegebenenfalls neue Kanäle für die Kommunikation mit KMU, einschließlich
Start-up-Unternehmen, Betreibern, anderen Innovatoren und gegebenenfalls Behörden
einrichten, um KMU auf ihrem gesamten Entwicklungsweg zu unterstützen, indem sie ihnen
Orientierungshilfe bieten und Fragen zur Durchführung dieser Verordnung
beantworten. Diese Kanäle sollten gegebenenfalls zusammenarbeiten, um Synergien
zu schaffen und eine Homogenität ihrer Leitlinien für KMU, einschließlich
Start-up-Unternehmen, und Betreiber sicherzustellen. Darüber hinaus sollten
die Mitgliedstaaten die Beteiligung von KMU und anderen einschlägigen
Interessenträgern an der Entwicklung von Normen fördern. Außerdem sollten die
besonderen Interessen und Bedürfnisse von Anbietern, die KMU, einschließlich
Start-up-Unternehmen, sind, bei der Festlegung der Gebühren für die
durch die notifizierten Stellen berücksichtigt werden. Die
Kommission sollte regelmäßig die Zertifizierungs- und Befolgungskosten für KMU,
einschließlich Start-up-Unternehmen, durch transparente Konsultationen
bewerten, und sie sollte mit den Mitgliedstaaten zusammenarbeiten, um diese Kosten
zu senken. So können beispielsweise Übersetzungen im Zusammenhang mit der
verpflichtenden Dokumentation und Kommunikation mit Behörden für Anbieter und
andere Akteure, insbesondere die kleineren unter ihnen, erhebliche Kosten
verursachen. Die Mitgliedstaaten sollten möglichst dafür sorgen, dass eine der
Sprachen, die sie für die einschlägige Dokumentation der Anbieter und für
die Kommunikation mit den Akteuren bestimmen und akzeptieren, eine Sprache
ist, die von der größtmöglichen Zahl grenzüberschreitender Betreiber weitgehend
verstanden wird. Um den besonderen Bedürfnissen von KMU, einschließlich
Start-up-Unternehmen, gerecht zu werden, sollte die Kommission auf Ersuchen des
KI-Gremiums standardisierte Vorlagen für die unter diese Verordnung
fallenden Bereiche bereitstellen. Ferner sollte die Kommission die Bemühungen der
Mitgliedstaaten ergänzen, indem sie eine zentrale Informationsplattform mit
leicht nutzbaren Informationen über diese Verordnung für alle Anbieter und
Betreiber bereitstellt, indem sie angemessene Informationskampagnen
durchführt, um für die aus dieser Verordnung erwachsenden Pflichten zu
sensibilisieren, und indem sie die Konvergenz bewährter Praktiken bei Vergabeverfahren im
Zusammenhang mit KI-Systemen bewertet und fördert. Mittlere Unternehmen, die
bis vor kurzem als kleine Unternehmen im Sinne des Anhangs der Empfehlung
/EG der Kommission (44) galten, sollten Zugang zu diesen
Unterstützungsmaßnahmen haben, da diese neuen mittleren Unternehmen mitunter nicht über
die erforderlichen rechtlichen Ressourcen und Ausbildung verfügen, um ein
ordnungsgemäßes Verständnis und eine entsprechende Einhaltung dieser Verordnung
zu gewährleisten.

(44) Empfehlung der Kommission vom 6. Mai 2003 betreffend die Definition der
Kleinstunternehmen sowie der kleinen und mittleren Unternehmen (ABl. L 124
vom 20.5.2003, S. 36).

144.

Um Innovationen zu fördern und zu schützen, sollten die Plattform für KI
auf Abruf, alle einschlägigen Finanzierungsprogramme und -projekte der Union,
wie etwa das Programm „Digitales Europa“ und Horizont Europa, die von der
Kommission und den Mitgliedstaaten auf Unionsebene bzw. auf nationaler Ebene
durchgeführt werden, zur Verwirklichung der Ziele dieser Verordnung
beitragen.

145.

Um die bei der Umsetzung, die sich aus mangelndem Wissen und
fehlenden Fachkenntnissen auf dem Markt ergeben, zu minimieren und den n,
insbesondere KMU, einschließlich Start-up-Unternehmen, und notifizierten
Stellen die Einhaltung ihrer Pflichten aus dieser Verordnung zu erleichtern,
sollten insbesondere die Plattform für KI auf Abruf, die europäischen Zentren
für digitale Innovation und die Test- und Versuchseinrichtungen, die von der
Kommission und den Mitgliedstaaten auf Unionsebene bzw. auf nationaler
Ebene eingerichtet werden, zur Durchführung dieser Verordnung beitragen. Die
Plattform für KI auf Abruf, die europäischen Zentren für digitale Innovation
und die Test- und Versuchseinrichtungen können Anbieter und notifizierte
Stellen im Rahmen ihres jeweiligen Auftrags und ihrer jeweiligen
Kompetenzbereiche insbesondere technisch und wissenschaftlich unterstützen.

146.

Angesichts der sehr geringen Größe einiger e und um die
Verhältnismäßigkeit in Bezug auf die Innovationskosten sicherzustellen, ist es darüber
hinaus angezeigt, Kleinstunternehmen zu erlauben, eine der kostspieligsten
Pflichten, nämlich die Einführung eines Qualitätsmanagementsystems, in
vereinfachter Weise zu erfüllen, was den Verwaltungsaufwand und die Kosten für diese
Unternehmen verringern würde, ohne das Schutzniveau und die Notwendigkeit
der Einhaltung der Anforderungen für Hochrisiko-e zu
beeinträchtigen. Die Kommission sollte Leitlinien ausarbeiten, um die Elemente des
Qualitätsmanagementsystems zu bestimmen, die von Kleinstunternehmen auf diese
vereinfachte Weise zu erfüllen sind.

147.

Es ist angezeigt, dass die Kommission den Stellen, Gruppen oder
Laboratorien, die gemäß den einschlägigen Harmonisierungsrechtsvorschriften der Union
eingerichtet oder akkreditiert sind und Aufgaben im Zusammenhang mit der
von Produkten oder Geräten wahrnehmen, die unter diese
Harmonisierungsrechtsvorschriften der Union fallen, so weit wie möglich den
Zugang zu Test- und Versuchseinrichtungen erleichtert. Dies gilt insbesondere
für Expertengremien, Fachlaboratorien und Referenzlaboratorien im Bereich
Medizinprodukte gemäß den Verordnungen (EU) 2017/745 und (EU) .

148.

Mit dieser Verordnung sollte ein Governance-Rahmen geschaffen werden, der
sowohl die Koordinierung und Unterstützung der Anwendung dieser Verordnung
auf nationaler Ebene als auch den Aufbau von Kapazitäten auf Unionsebene und
die Integration von Interessenträgern im Bereich der KI ermöglicht. Für die
wirksame Umsetzung und Durchsetzung dieser Verordnung ist ein
Governance-Rahmen erforderlich, der es ermöglicht, zentrales Fachwissen auf Unionsebene zu
koordinieren und aufzubauen. Per Kommissionbeschluss (45) wurde das Büro für
Künstliche Intelligenz errichtet, dessen Aufgabe es ist, Fachwissen und
Kapazitäten der Union im Bereich der KI zu entwickeln und zur Umsetzung des
Unionsrechts im KI-Bereich beizutragen. Die Mitgliedstaaten sollten die
Aufgaben des Büros für Künstliche Intelligenz erleichtern, um die Entwicklung von
Fachwissen und Kapazitäten auf Unionsebene zu unterstützen und die
Funktionsweise des digitalen Binnenmarkts zu stärken. Darüber hinaus sollten ein aus
Vertretern der Mitgliedstaaten zusammengesetztes KI-Gremium, ein
wissenschaftliches Gremium zur Integration der Wissenschaftsgemeinschaft und ein
Beratungsforum für Beiträge von Interessenträgern zur Durchführung dieser
Verordnung auf Unionsebene und auf nationaler Ebene eingerichtet werden. Die
Entwicklung von Fachwissen und Kapazitäten der Union sollte auch die Nutzung
bestehender Ressourcen und Fachkenntnisse umfassen, insbesondere durch Synergien
mit Strukturen, die im Rahmen der Durchsetzung anderen Rechts auf Unionsebene
aufgebaut wurden, und Synergien mit einschlägigen Initiativen auf
Unionsebene, wie dem Gemeinsamen Unternehmen EuroHPC und den KI-Test- und
Versuchseinrichtungen im Rahmen des Programms „Digitales Europa“.

(45) Beschluss C(2024) 390 der Kommission
vom 24.1.2024 zur Errichtung des Europäischen Amts für künstliche
Intelligenz.

149.

Um eine reibungslose, wirksame und harmonisierte Durchführung dieser
Verordnung zu erleichtern, sollte ein KI-Gremium eingerichtet werden. Das
KI-Gremium sollte die verschiedenen Interessen des KI-Ökosystems widerspiegeln und
sich aus Vertretern der Mitgliedstaaten zusammensetzen. Das KI-Gremium sollte
für eine Reihe von Beratungsaufgaben zuständig sein, einschließlich der
Abgabe von Stellungnahmen, Empfehlungen, Ratschlägen oder Beiträgen zu
Leitlinien zu Fragen im Zusammenhang mit der Durchführung dieser Verordnung —
darunter zu Durchsetzungsfragen, technischen Spezifikationen oder bestehenden
Normen in Bezug auf die in dieser Verordnung festgelegten Anforderungen — sowie
der Beratung der Kommission und der Mitgliedstaaten und ihrer zuständigen
nationalen Behörden in spezifischen Fragen im Zusammenhang mit KI. Um den
Mitgliedstaaten eine gewisse Flexibilität bei der Benennung ihrer Vertreter im
KI-Gremium zu geben, können diese Vertreter alle Personen sein, die
öffentlichen Einrichtungen angehören, die über einschlägige Zuständigkeiten und
Befugnisse verfügen sollten, um die Koordinierung auf nationaler Ebene zu
erleichtern und zur Erfüllung der Aufgaben des KI-Gremiums beizutragen. Das
KI-Gremium sollte zwei ständige Untergruppen einrichten, um
n und notifizierenden Behörden für die Zusammenarbeit und den Austausch in
Fragen, die die Marktüberwachung bzw. notifizierende Stellen betreffen, eine
Plattform zu bieten. Die ständige Untergruppe für Marktüberwachung sollte
für diese Verordnung als Gruppe für die Verwaltungszusammenarbeit
(ADCO-Gruppe) im Sinne des Artikels 30 der Verordnung (EU) fungieren. Im
Einklang mit Artikel 33 der genannten Verordnung sollte die Kommission die
Tätigkeiten der ständigen Untergruppe für Marktüberwachung durch die Durchführung
von Marktbewertungen oder -untersuchungen unterstützen, insbesondere im
Hinblick auf die Ermittlung von Aspekten dieser Verordnung, die eine
spezifische und dringende Koordinierung zwischen den Marktüberwachungsbehörden
erfordern. Das KI-Gremium kann weitere ständige oder nichtständige Untergruppen
einrichten, falls das für die Prüfung bestimmter Fragen zweckmäßig sein sollte.
Das KI-Gremium sollte gegebenenfalls auch mit einschlägigen Einrichtungen,
Sachverständigengruppen und Netzwerken der Union zusammenarbeiten, die im
Zusammenhang mit dem einschlägigen Unionsrecht tätig sind, einschließlich
insbesondere derjenigen, die im Rahmen des einschlägigen Unionsrechts über
Daten, digitale Produkte und Dienstleistungen tätig sind.

150.

Im Hinblick auf die Einbeziehung von Interessenträgern in die Umsetzung und
Anwendung dieser Verordnung sollte ein Beratungsforum eingerichtet werden,
um das KI-Gremium und die Kommission zu beraten und ihnen technisches
Fachwissen bereitzustellen. Um eine vielfältige und ausgewogene Vertretung der
Interessenträger mit gewerblichen und nicht gewerblichen Interessen und —
innerhalb der Kategorie mit gewerblichen Interessen — in Bezug auf KMU und andere
Unternehmen zu gewährleisten, sollten in dem Beratungsforum unter anderem
die Industrie, Start-up-Unternehmen, KMU, die Wissenschaft, die
Zivilgesellschaft, einschließlich der Sozialpartner, sowie die Agentur für Grundrechte,
die ENISA, das Europäische Komitee für Normung (CEN), das Europäische Komitee
für elektrotechnische Normung (CENELEC) und das Europäische Institut für
Telekommunikationsnormen (ETSI) vertreten sein.

151.

Zur Unterstützung der Umsetzung und Durchsetzung dieser Verordnung,
insbesondere der Beobachtungstätigkeiten des Büros für Künstliche Intelligenz in
Bezug auf KI-Modelle , sollte ein
wissenschaftliches Gremium mit unabhängigen Sachverständigen eingerichtet werden. Die
unabhängigen Sachverständigen, aus denen sich das wissenschaftliche Gremium
zusammensetzt, sollten auf der Grundlage des aktuellen wissenschaftlichen oder
technischen Fachwissens im KI-Bereich ausgewählt werden und ihre Aufgaben
unparteiisch, objektiv und unter Achtung der Vertraulichkeit der bei der
Durchführung ihrer Aufgaben und Tätigkeiten erhaltenen Informationen und Daten
ausüben. Um eine Aufstockung der nationalen Kapazitäten, die für die wirksame
Durchsetzung dieser Verordnung erforderlich sind, zu ermöglichen, sollten
die Mitgliedstaaten für ihre Durchsetzungstätigkeiten Unterstützung aus dem
Pool von Sachverständigen anfordern können, der das wissenschaftliche Gremium
bildet.

152.

Um eine angemessene Durchsetzung in Bezug auf e zu unterstützen
und die Kapazitäten der Mitgliedstaaten zu stärken, sollten Unionsstrukturen
zur Unterstützung der Prüfung von KI eingerichtet und den Mitgliedstaaten zur
Verfügung gestellt werden.

153.

Den Mitgliedstaaten kommt bei der Anwendung und Durchsetzung dieser
Verordnung eine Schlüsselrolle zu. Dazu sollte jeder Mitgliedstaat mindestens eine
und mindestens eine als
zuständige nationale Behörden benennen, die die Anwendung und Durchführung
dieser Verordnung beaufsichtigen. Die Mitgliedstaaten können beschließen,
öffentliche Einrichtungen jeder Art zu benennen, die die Aufgaben der zuständigen
nationalen Behörden im Sinne dieser Verordnung gemäß ihren spezifischen
nationalen organisatorischen Merkmalen und Bedürfnissen wahrnehmen. Um die
Effizienz der Organisation aufseiten der Mitgliedstaaten zu steigern und eine
zentrale Anlaufstelle gegenüber der Öffentlichkeit und anderen Ansprechpartnern
auf Ebene der Mitgliedstaaten und der Union einzurichten, sollte jeder
Mitgliedstaat eine Marktüberwachungsbehörde als zentrale Anlaufstelle benennen.

154.

Die zuständigen nationalen Behörden sollten ihre Befugnisse unabhängig,
unparteiisch und unvoreingenommen ausüben, um die Grundsätze der Objektivität
ihrer Tätigkeiten und Aufgaben zu wahren und die Anwendung und Durchführung
dieser Verordnung sicherzustellen. Die Mitglieder dieser Behörden sollten
sich jeder Handlung enthalten, die mit ihren Aufgaben unvereinbar wäre, und sie
sollten den Vertraulichkeitsvorschriften gemäß dieser Verordnung
unterliegen.

155.

Damit von Hochrisiko-en die Erfahrungen mit der
Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im
Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige
Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur
Beobachtung nach dem verfügen. Gegebenenfalls sollte die
Beobachtung nach dem Inverkehrbringen eine Analyse der Interaktion mit anderen
KI-Systemen, einschließlich anderer Geräte und Software, umfassen. Die
Beobachtung nach dem Inverkehrbringen sollte nicht für
von n, die sbehörden sind, gelten. Dieses System ist
auch wichtig, damit den möglichen , die von KI-Systemen ausgehen,
die nach dem Inverkehrbringen oder der dazulernen, effizienter
und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die
Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen
Behörden schwerwiegende Vorfälle zu melden, die sich aus der Verwendung ihrer
KI-Systeme ergeben; damit sind Vorfälle oder Fehlfunktionen gemeint, die zum Tod
oder zu schweren Gesundheitsschäden führen, schwerwiegende und irreversible
Störungen der Verwaltung und des Betriebs kritischer Infrastrukturen,
Verstöße gegen Verpflichtungen aus dem Unionsrecht, mit denen die Grundrechte
geschützt werden sollen, oder schwere Sach- oder Umweltschäden.

156.

Zur Gewährleistung einer angemessenen und wirksamen Durchsetzung der
Anforderungen und Pflichten gemäß dieser Verordnung, bei der es sich um eine
Harmonisierungsrechtsvorschrift der Union handelt, sollte das mit der Verordnung
(EU) eingeführte System der Marktüberwachung und der Konformität
von Produkten in vollem Umfang gelten. Die gemäß dieser Verordnung benannten
n sollten über alle in der vorliegenden Verordnung
und der Verordnung (EU) 2019/1020 festgelegten Durchsetzungsbefugnisse
verfügen und ihre Befugnisse und Aufgaben unabhängig, unparteiisch und
unvoreingenommen wahrnehmen. Obwohl die meisten e keinen spezifischen
Anforderungen und Pflichten gemäß der vorliegenden Verordnung unterliegen, können
die Marktüberwachungsbehörden Maßnahmen in Bezug auf alle KI-Systeme
ergreifen, wenn sie ein gemäß dieser Verordnung darstellen. Aufgrund des
spezifischen Charakters der Organe, Einrichtungen und sonstigen Stellen der
Union, die in den Anwendungsbereich dieser Verordnung fallen, ist es angezeigt,
dass der Europäische Datenschutzbeauftragte als eine zuständige
Marktüberwachungsbehörde für sie benannt wird. Die Benennung zuständiger nationaler
Behörden durch die Mitgliedstaaten sollte davon unberührt bleiben. Die
Marktüberwachungstätigkeiten sollten die Fähigkeit der beaufsichtigten Einrichtungen,
ihre Aufgaben unabhängig wahrzunehmen, nicht beeinträchtigen, wenn eine
solche Unabhängigkeit nach dem Unionsrecht erforderlich ist.

157.

Diese Verordnung berührt nicht die Zuständigkeiten, Aufgaben, Befugnisse
und Unabhängigkeit der einschlägigen nationalen Behörden oder Stellen, die die
Anwendung des Unionsrechts zum Schutz der Grundrechte überwachen,
einschließlich Gleichbehandlungsstellen und Datenschutzbehörden. Sofern dies für die
Erfüllung ihres Auftrags erforderlich ist, sollten auch diese nationalen
Behörden oder Stellen Zugang zu der gesamten im Rahmen dieser Verordnung
erstellten Dokumentation haben. Es sollte ein spezifisches Schutzklauselverfahren
festgelegt werden, um eine angemessene und zeitnahe Durchsetzung gegenüber
en, die ein für Gesundheit, Sicherheit und Grundrechte
bergen, sicherzustellen. Das Verfahren für solche KI-Systeme, die ein Risiko
bergen, sollte auf Hochrisiko-KI-Systeme, von denen ein Risiko ausgeht, auf
verbotene Systeme, die unter Verstoß gegen die in dieser Verordnung festgelegten
verbotenen Praktiken in Verkehr gebracht, in Betrieb genommen oder verwendet
wurden, sowie auf KI-Systeme, die unter Verstoß der
Transparenzanforderungen dieser Verordnung bereitgestellt wurden und ein Risiko bergen, angewandt
werden.

158.

Die Rechtsvorschriften der Union über Finanzdienstleistungen enthalten
Vorschriften und Anforderungen für die interne Unternehmensführung und das
management, die für regulierte Finanzinstitute bei der Erbringung solcher
Dienstleistungen gelten, auch wenn sie e verwenden. Um eine
kohärente Anwendung und Durchsetzung der Pflichten aus dieser Verordnung sowie der
einschlägigen Vorschriften und Anforderungen der Rechtsvorschriften der Union
über Finanzdienstleistungen zu gewährleisten, sollten die für die
Beaufsichtigung und Durchsetzung jener Rechtsvorschriften zuständigen Behörden,
insbesondere die zuständigen Behörden im Sinne der Verordnung (EU) Nr.
des und des Rates (46) und der Richtlinien /EG
(47), /EG (48), /EU (49), /EU (50) und (EU)
(51) des Europäischen Parlaments und des Rates, im Rahmen ihrer jeweiligen
Zuständigkeiten auch als zuständige Behörden für die Beaufsichtigung der
Durchführung dieser Verordnung, einschließlich der Marktüberwachungstätigkeiten,
in Bezug auf von regulierten und beaufsichtigten Finanzinstituten
bereitgestellte oder verwendete KI-Systeme benannt werden, es sei denn, die
Mitgliedstaaten beschließen, eine andere Behörde zu benennen, um diese
Marktüberwachungsaufgaben wahrzunehmen. Diese zuständigen Behörden sollten alle Befugnisse
gemäß dieser Verordnung und der Verordnung (EU) haben, um die
Anforderungen und Pflichten der vorliegenden Verordnung durchzusetzen,
einschließlich Befugnisse zur Durchführung von Ex-post-Marktüberwachungstätigkeiten,
die gegebenenfalls in ihre bestehenden Aufsichtsmechanismen und -verfahren
im Rahmen des einschlägigen Unionsrechts über Finanzdienstleistungen
integriert werden können. Es ist angezeigt, vorzusehen, dass die nationalen
Behörden, die für die Aufsicht über unter die Richtlinie 2013/36/EU fallende
Kreditinstitute zuständig sind, welche an dem mit der Verordnung (EU) Nr.
des Rates (52) eingerichteten einheitlichen Aufsichtsmechanismus
teilnehmen, in ihrer Funktion als n gemäß der vorliegenden
Verordnung der Europäischen Zentralbank unverzüglich alle im Zuge ihrer
Marktüberwachungstätigkeiten ermittelten Informationen übermitteln, die für die in
der genannten Verordnung festgelegten Aufsichtsaufgaben der Europäischen
Zentralbank von Belang sein könnten. Um die Kohärenz zwischen der vorliegenden
Verordnung und den Vorschriften für Kreditinstitute, die unter die
Richtlinie 2013/36/EU fallen, weiter zu verbessern, ist es ferner angezeigt, einige
verfahrenstechnische pflichten in Bezug auf das Risikomanagement, die
Beobachtung nach dem und die Dokumentation in die
bestehenden Pflichten und Verfahren gemäß der Richtlinie 2013/36/EU aufzunehmen. Zur
Vermeidung von Überschneidungen sollten auch begrenzte Ausnahmen in Bezug
auf das Qualitätsmanagementsystem der Anbieter und die Beobachtungspflicht
der von Hochrisiko-KI-Systemen in Betracht gezogen werden, soweit
diese Kreditinstitute betreffen, die unter die Richtlinie 2013/36/EU fallen.
Die gleiche Regelung sollte für Versicherungs- und
Rückversicherungsunternehmen und Versicherungsholdinggesellschaften gemäß der Richtlinie 2009/138/EG
und Versicherungsvermittler gemäß der Richtlinie (EU) 2016/97 sowie für
andere Arten von Finanzinstituten gelten, die Anforderungen in Bezug auf ihre
Regelungen oder Verfahren der internen Unternehmensführung unterliegen, die
gemäß einschlägigem Unionsrecht der Union über Finanzdienstleistungen
festgelegt wurden, um Kohärenz und Gleichbehandlung im Finanzsektor sicherzustellen.

(46) Verordnung
(EU) Nr. 575/2013 des Europäischen Parlaments und des Rates vom 26. Juni 2013
über Aufsichtsanforderungen an Kreditinstitute und Wertpapierfirmen und zur
Änderung der Verordnung (EU) Nr. (ABl. L 176 vom 27.6.2013, S. 1).
(47) Richtlinie 2008/48/EG des Europäischen Parlaments und des Rates vom 23.
April 2008 über Verbraucherkreditverträge und zur Aufhebung der Richtlinie
/EWG des Rates (ABl. L 133 vom 22.5.2008, S. 66). (48) Richtlinie
2009/138/EG des Europäischen Parlaments und des Rates vom 25. November 2009
betreffend die Aufnahme und Ausübung der Versicherungs- und der
Rückversicherungstätigkeit (Solvabilität II) (ABl. L 335 vom 17.12.2009, S. 1). (49)
Richtlinie 2013/36/EU des Europäischen Parlaments und des Rates vom 26. Juni 2013
über den Zugang zur Tätigkeit von Kreditinstituten und die Beaufsichtigung von
Kreditinstituten und Wertpapierfirmen, zur Änderung der Richtlinie
/EG und zur Aufhebung der Richtlinien /EG und /EG (ABl. L 176
vom 27.6.2013, S. 338). (50) Richtlinie 2014/17/ЕU des Europäischen
Parlaments und des Rates vom 4. Februar 2014 über Wohnimmobilienkreditverträge für
Verbraucher und zur Änderung der Richtlinien 2008/48/EG und 2013/36/EU und der
Verordnung (EU) Nr. (ABl. L 60 vom 28.2.2014, S. 34). (51)
Richtlinie (EU) 2016/97 des Europäischen Parlaments und des Rates vom 20. Januar
2016 über Versicherungsvertrieb (ABl. L 26 vom 2.2.2016, S. 19).(52) Council
Regulation (EU) No 1024/2013 of 15 October 2013 conferring specific tasks on
the European Central Bank concerning policies relating to the prudential
supervision of credit institutions (OJ L 287, 29.10.2013, p. 63). (52)
Verordnung (EU) Nr. 1024/2013 des Rates vom 15. Oktober 2013 zur Übertragung
besonderer Aufgaben im Zusammenhang mit der Aufsicht über Kreditinstitute auf die
Europäische Zentralbank (ABl. L 287 vom 29.10.2013, S. 63).

159.

Jede für Hochrisiko-e im Bereich der
Biometrie, die in einem Anhang zu dieser Verordnung aufgeführt sind, sollte —
soweit diese Systeme für die Zwecke der , von Migration, Asyl
und Grenzkontrolle oder von Rechtspflege und demokratischen Prozessen
eingesetzt werden — über wirksame Ermittlungs- und Korrekturbefugnisse verfügen,
einschließlich mindestens der Befugnis, Zugang zu allen personenbezogenen
Daten, die verarbeitet werden, und zu allen Informationen, die für die Ausübung
ihrer Aufgaben erforderlich sind, zu erhalten. Die Marktüberwachungsbehörden
sollten in der Lage sein, ihre Befugnisse in völliger Unabhängigkeit
auszuüben. Jede Beschränkung ihres Zugangs zu sensiblen operativen Daten im Rahmen
dieser Verordnung sollte die Befugnisse unberührt lassen, die ihnen mit der
Richtlinie (EU) übertragen wurden. Kein Ausschluss der Offenlegung
von Daten gegenüber nationalen Datenschutzbehörden im Rahmen dieser
Verordnung sollte die derzeitigen oder künftigen Befugnisse dieser Behörden über
den Geltungsbereich dieser Verordnung hinaus beeinträchtigen.

160.

Die n und die Kommission sollten gemeinsame
Tätigkeiten, einschließlich gemeinsamer Untersuchungen, vorschlagen können, die von
den Marktüberwachungsbehörden oder von den Marktüberwachungsbehörden
gemeinsam mit der Kommission durchgeführt werden, um Konformität zu fördern,
Nichtkonformität festzustellen, zu sensibilisieren und Orientierung zu dieser
Verordnung und bestimmten Kategorien von Hochrisiko-en
bereitzustellen, bei denen festgestellt wird, dass sie in zwei oder mehr Mitgliedstaaten
ein ernstes darstellen. Gemeinsame Tätigkeiten zur Förderung der
Konformität sollten im Einklang mit Artikel 9 der Verordnung (EU)
durchgeführt werden. Das Büro für Künstliche Intelligenz sollte die Koordinierung
gemeinsamer Untersuchungen unterstützen.

161.

Die Verantwortlichkeiten und Zuständigkeiten auf Unionsebene und nationaler
Ebene in Bezug auf e, die auf KI-Modellen mit allgemeinem
Verwendungszweck aufbauen, müssen präzisiert werden. Um sich überschneidende
Zuständigkeiten zu vermeiden, sollte die Aufsicht für KI-Systeme, die auf
KI-Modellen beruhen und bei denen das Modell und das
System vom selben bereitgestellt werden, auf der Unionsebene durch
das Büro für Künstliche Intelligenz erfolgen, das für diesen Zweck über die
Befugnisse einer im Sinne der Verordnung (EU)
verfügen sollte. In allen anderen Fällen sollten die nationalen
Marktüberwachungsbehörden weiterhin für die Aufsicht über KI-Systeme zuständig
sein. Bei KI-Systemen mit allgemeinem Verwendungszweck, die von n
direkt für mindestens einen Zweck verwendet werden können, der als hochriskant
eingestuft wird, sollten die Marktüberwachungsbehörden jedoch mit dem Büro
für Künstliche Intelligenz zusammenarbeiten, um en
durchzuführen, und sie sollten KI-Gremium und andere Marktüberwachungsbehörden
entsprechend informieren. Darüber hinaus sollten Marktüberwachungsbehörden das
Büro für Künstliche Intelligenz um Unterstützung ersuchen können, wenn die
Marktüberwachungsbehörde nicht in der Lage ist, eine Untersuchung zu einem
Hochrisiko-KI-System abzuschließen, weil sie keinen Zugang zu bestimmten
Informationen im Zusammenhang mit dem KI-Modell mit allgemeinem Verwendungszweck,
auf dem das Hochrisiko-KI-System beruht, haben. In diesen Fällen sollte das
Verfahren bezüglich grenzübergreifender Amtshilfe nach Kapitel VI der
Verordnung (EU) 2019/1020 entsprechend Anwendung finden.

162.

Um das zentralisierte Fachwissen der Union und Synergien auf Unionsebene
bestmöglich zu nutzen, sollte die Kommission für die Aufsicht und die
Durchsetzung der Pflichten der von KI-Modellen mit allgemeinem
Verwendungszweck zuständig sein. Das Büro für Künstliche Intelligenz sollte alle
erforderlichen Maßnahmen durchführen können, um die wirksame Umsetzung dieser
Verordnung im Hinblick auf KI-Modelle zu
überwachen. Es sollte mögliche Verstöße gegen die Vorschriften für Anbieter von
KI-Modellen mit allgemeinem Verwendungszweck sowohl auf eigene Initiative, auf
der Grundlage der Ergebnisse seiner Überwachungstätigkeiten, als auch auf
Anfrage von n gemäß den in dieser Verordnung
festgelegten Bedingungen untersuchen können. Zur Unterstützung einer wirksamen
Überwachung durch das Büro für Künstliche Intelligenz sollte die Möglichkeit
vorgesehen werden, dass nachgelagerte Anbieter Beschwerden über mögliche Verstöße
gegen die Vorschriften für Anbieter von KI-Modellen und -Systemen mit
allgemeinem Verwendungszweck einreichen können.

163.

Um die Governance-Systeme für KI-Modelle
zu ergänzen, sollte das wissenschaftliche Gremium die Überwachungstätigkeiten
des Büros für Künstliche Intelligenz unterstützen; dazu kann es in
bestimmten Fällen qualifizierte Warnungen an das Büro für Künstliche Intelligenz
richten, die Folgemaßnahmen wie etwa Untersuchungen auslösen. Dies sollte der
Fall sein, wenn das wissenschaftliche Gremium Grund zu der Annahme hat, dass
ein KI-Modell mit allgemeinem Verwendungszweck ein konkretes und
identifizierbares auf Unionsebene darstellt. Außerdem sollte dies der Fall sein,
wenn das wissenschaftliche Gremium Grund zu der Annahme hat, dass ein
KI-Modell mit allgemeinem Verwendungszweck die Kriterien erfüllt, die zu einer
Einstufung als KI-Modell mit allgemeinem Verwendungszweck mit systemischem
Risiko führen würde. Um dem wissenschaftlichen Gremium die Informationen zur
Verfügung zu stellen, die für die Ausübung dieser Aufgaben erforderlich sind,
sollte es einen Mechanismus geben, wonach das wissenschaftliche Gremium die
Kommission ersuchen kann, Unterlagen oder Informationen von einem
anzufordern.

164.

Das Büro für Künstliche Intelligenz sollte die erforderlichen Maßnahmen
ergreifen können, um die wirksame Umsetzung und die Einhaltung der in dieser
Verordnung festgelegten Pflichten der von KI-Modellen mit allgemeinem
Verwendungszweck zu überwachen. Das Büro für Künstliche Intelligenz sollte
mögliche Verstöße im Einklang mit den in dieser Verordnung vorgesehenen
Befugnissen untersuchen können, unter anderem indem es Unterlagen und
Informationen anfordert, Bewertungen durchführt und Maßnahmen von Anbietern von
KI-Modellen verlangt. Was die Durchführung von
Bewertungen betrifft, so sollte das Büro für Künstliche Intelligenz
unabhängige Sachverständige mit der Durchführung der Bewertungen in seinem Namen
beauftragen können, damit unabhängiges Fachwissen genutzt werden kann. Die
Einhaltung der Pflichten sollte durchsetzbar sein, unter anderem durch die
Aufforderung zum Ergreifen angemessener Maßnahmen, einschließlich
minderungsmaßnahmen im Fall von festgestellten systemischen , sowie durch die
Einschränkung der Bereitstellung des Modells auf dem Markt, die Rücknahme des
Modells oder den Rückruf des Modells. Als Schutzmaßnahme, die
erforderlichenfalls über die in dieser Verordnung vorgesehenen Verfahrensrechte
hinausgeht, sollten die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck über
die in Artikel 18 der Verordnung (EU) vorgesehenen
Verfahrensrechte verfügen, die — unbeschadet in der vorliegenden Verordnung vorgesehener
spezifischerer Verfahrensrechte — entsprechend gelten sollten.

165.

Die Entwicklung anderer e als Hochrisiko-KI-Systeme gemäß den
Anforderungen dieser Verordnung kann zu einer stärkeren Verbreitung ethischer
und in der Union führen. von KI-Systemen, die
kein hohes bergen, sollten angehalten werden, Verhaltenskodizes —
einschließlich zugehöriger Governance-Mechanismen — zu erstellen, um eine
freiwillige Anwendung einiger oder aller der für Hochrisiko- KI-Systeme geltenden
Anforderungen zu fördern, die angesichts der der Systeme und
des niedrigeren Risikos angepasst werden, und unter Berücksichtigung der
verfügbaren technischen Lösungen und bewährten Verfahren der Branche wie
Modell- und Datenkarten. Darüber hinaus sollten die Anbieter und gegebenenfalls
die aller KI-Systeme, ob mit hohem Risiko oder nicht, und aller
KI-Modelle auch ermutigt werden, freiwillig zusätzliche Anforderungen
anzuwenden, z. B. in Bezug auf die Elemente der Ethikleitlinien der Union für
vertrauenswürdige KI, die ökologische Nachhaltigkeit, Maßnahmen für ,
die inklusive und vielfältige Gestaltung und Entwicklung von KI-Systemen,
unter anderem mit Schwerpunkt auf schutzbedürftige Personen und die
Barrierefreiheit für Menschen mit Behinderungen, die Beteiligung der Interessenträger,
gegebenenfalls mit Einbindung einschlägiger Interessenträger wie
Unternehmensverbänden und Organisationen der Zivilgesellschaft, Wissenschaft,
Forschungsorganisationen, Gewerkschaften und Verbraucherschutzorganisationen an der
Konzeption und Entwicklung von KI-Systemen und die Vielfalt der
Entwicklungsteams, einschließlich einer ausgewogenen Vertretung der Geschlechter. Um
sicherzustellen, dass die freiwilligen Verhaltenskodizes wirksam sind, sollten
sie auf klaren Zielen und zentralen Leistungsindikatoren zur Messung der
Verwirklichung dieser Ziele beruhen. Sie sollten außerdem in inklusiver Weise
entwickelt werden, gegebenenfalls unter Einbeziehung einschlägiger
Interessenträger wie Unternehmensverbände und Organisationen der Zivilgesellschaft,
Wissenschaft, Forschungsorganisationen, Gewerkschaften und
Verbraucherschutzorganisationen. Die Kommission kann Initiativen, auch sektoraler Art,
ergreifen, um den Abbau technischer Hindernisse zu erleichtern, die den
grenzüberschreitenden Datenaustausch im Zusammenhang mit der KI-Entwicklung behindern,
unter anderem in Bezug auf die Infrastruktur für den Datenzugang und die
semantische und technische Interoperabilität verschiedener Arten von Daten.

166.

Es ist wichtig, dass e im Zusammenhang mit Produkten, die gemäß
dieser Verordnung kein hohes bergen und daher nicht die in dieser
Verordnung festgelegten Anforderungen für Hochrisiko-KI-Systeme erfüllen müssen,
dennoch sicher sind, wenn sie in Verkehr gebracht oder in Betrieb genommen
werden. Um zu diesem Ziel beizutragen, würde die Verordnung (EU) des
und des Rates (53) als Sicherheitsnetz dienen.

(53) Verordnung (EU)
2023/988 des Europäischen Parlaments und des Rates vom 10. Mai 2023 über die
allgemeine Produktsicherheit, zur Änderung der Verordnung (EU) Nr.
des Europäischen Parlaments und des Rates und der Richtlinie (EU)
des Europäischen Parlaments und des Rates sowie zur Aufhebung der Richtlinie
/EG des Europäischen Parlaments und des Rates und der Richtlinie
/EWG des Rates (ABl. L 135 vom 23.5.2023, S. 1).

167.

Zur Gewährleistung einer vertrauensvollen und konstruktiven Zusammenarbeit
der zuständigen Behörden auf Ebene der Union und der Mitgliedstaaten sollten
alle an der Anwendung dieser Verordnung beteiligten Parteien gemäß dem
Unionsrecht und dem nationalen Recht die Vertraulichkeit der im Rahmen der
Wahrnehmung ihrer Aufgaben erlangten Informationen und Daten wahren. Sie sollten
ihre Aufgaben und Tätigkeiten so ausüben, dass insbesondere die Rechte des
geistigen Eigentums, vertrauliche Geschäftsinformationen und
Geschäftsgeheimnisse, die wirksame Durchführung dieser Verordnung, die öffentlichen und
nationalen Sicherheitsinteressen, die Integrität von Straf- und
Verwaltungsverfahren und die Integrität von Verschlusssachen geschützt werden.

168.

Die Einhaltung dieser Verordnung sollte durch die Verhängung von Sanktionen
und anderen Durchsetzungsmaßnahmen durchsetzbar sein. Die Mitgliedstaaten
sollten alle erforderlichen Maßnahmen ergreifen, um sicherzustellen, dass die
Bestimmungen dieser Verordnung durchgeführt werden, und dazu unter anderem
wirksame, verhältnismäßige und abschreckende Sanktionen für Verstöße
festlegen und das Verbot der Doppelbestrafung befolgen. Um die
verwaltungsrechtlichen Sanktionen für Verstöße gegen diese Verordnung zu verschärfen und zu
harmonisieren, sollten Obergrenzen für die Festsetzung der Geldbußen bei
bestimmten Verstößen festgelegt werden. Bei der Bemessung der Höhe der Geldbußen
sollten die Mitgliedstaaten in jedem Einzelfall alle relevanten Umstände der
jeweiligen Situation berücksichtigen, insbesondere die Art, die Schwere und
die Dauer des Verstoßes und seiner Folgen sowie die Größe des s, vor
allem wenn es sich bei diesem um ein KMU — einschließlich eines
Start-up-Unternehmens — handelt. Der Europäische Datenschutzbeauftragte sollte befugt
sein, gegen Organe, Einrichtungen und sonstige Stellen der Union, die in den
Anwendungsbereich dieser Verordnung fallen, Geldbußen zu verhängen.

169.

Die Einhaltung der mit dieser Verordnung auferlegten Pflichten für
von KI-Modellen sollte unter anderem durch
Geldbußen durchgesetzt werden können. Zu diesem Zweck sollten Geldbußen in
angemessener Höhe für Verstöße gegen diese Pflichten, einschließlich der
Nichteinhaltung der von der Kommission gemäß dieser Verordnung verlangten
Maßnahmen, festgesetzt werden, vorbehaltlich angemessener Verjährungsfristen im
Einklang mit dem Grundsatz der Verhältnismäßigkeit. Alle Beschlüsse, die die
Kommission auf der Grundlage dieser Verordnung fasst, unterliegen der
Überprüfung durch den Gerichtshof der Europäischen Union im Einklang mit dem ,
einschließlich der Befugnis des Gerichtshofs zu unbeschränkter
Ermessensnachprüfung hinsichtlich Zwangsmaßnahmen im Einklang mit Artikel 261 A.

170.

Im Unionsrecht und im nationalen Recht sind bereits wirksame Rechtsbehelfe
für natürliche und juristische Personen vorgesehen, deren Rechte und
Freiheiten durch die Nutzung von en beeinträchtigt werden. Unbeschadet
dieser Rechtsbehelfe sollte jede natürliche oder juristische Person, die Grund
zu der Annahme hat, dass gegen diese Verordnung verstoßen wurde, befugt
sein, bei der betreffenden eine Beschwerde
einzureichen.

171.

Betroffene Personen sollten das Recht haben, eine Erklärung zu erhalten,
wenn eine Entscheidung eines s überwiegend auf den Ausgaben
bestimmter Hochrisiko-KI-systeme beruht, die in den Geltungsbereich dieser Verordnung
fallen, und wenn diese Entscheidung Rechtswirkungen entfaltet oder diese
Personen in ähnlicher Weise wesentlich beeinträchtigt, und zwar so, dass sie
ihrer Ansicht nach negative Auswirkungen auf ihre Gesundheit, ihre Sicherheit
oder ihre Grundrechte hat. Diese Erklärung sollte klar und aussagekräftig
sein, und sie sollte eine Grundlage bieten, auf der die betroffenen Personen
ihre Rechte ausüben können. Das Recht auf eine Erklärung sollte nicht für
die Nutzung von en gelten, für die sich aus dem Unionsrecht oder dem
nationalen Recht Ausnahmen oder Beschränkungen ergeben, und es sollte nur
insoweit gelten, als es nicht bereits in anderem Unionsrecht vorgesehen ist.

172.

Personen, die als Hinweisgeber in Bezug auf die in dieser Verordnung
genannten Verstöße auftreten, sollten durch das Unionsrecht geschützt werden. Für
die Meldung von Verstößen gegen diese Verordnung und den Schutz von
Personen, die solche Verstöße melden, sollte daher die Richtlinie (EU) des
und des Rates (54) gelten.

(54) Richtlinie (EU) 2019/1937 des
Europäischen Parlaments und des Rates vom 23. Oktober 2019 zum Schutz von Personen,
die Verstöße gegen das Unionsrecht melden (ABl. L 305 vom 26.11.2019, S.
17).

173.

Damit der Regelungsrahmen erforderlichenfalls angepasst werden kann, sollte
der Kommission die Befugnis übertragen werden, gemäß Artikel 290
Rechtsakte zur Änderung der Bedingungen, unter denen ein nicht als
Hochrisiko-System einzustufen ist, der Liste der Hochrisiko-KI-Systeme, der
Bestimmungen über die technische Dokumentation, des Inhalts der
EU-Konformitätserklärung, der Bestimmungen über die sverfahren, der
Bestimmungen zur Festlegung der Hochrisiko-KI-Systeme, für die das
Konformitätsbewertungsverfahren auf der Grundlage der Bewertung des
Qualitätsmanagementsystems und der technischen Dokumentation gelten sollte, der Schwellenwerte,
Benchmarks und Indikatoren — auch durch Ergänzung dieser Benchmarks und
Indikatoren — in den Vorschriften für die Einstufung von KI-Modellen mit
allgemeinem Verwendungszweck mit systemischem , der Kriterien für die
Benennung von KI-Modellen mit systemischem Risiko,
der technischen Dokumentation für von KI-Modellen mit allgemeinem
Verwendungszweck und der Transparenzinformationen für Anbieter von
KI-Modellen mit allgemeinem Verwendungszweck zu erlassen. Es ist von besonderer
Bedeutung, dass die Kommission im Zuge ihrer Vorbereitungsarbeit angemessene
Konsultationen, auch auf der Ebene von Sachverständigen, durchführt, die mit den
Grundsätzen in Einklang stehen, die in der Interinstitutionellen
Vereinbarung vom 13. April 2016 über bessere Rechtsetzung (55) niedergelegt wurden. Um
insbesondere für eine gleichberechtigte Beteiligung an der Vorbereitung
delegierter Rechtsakte zu sorgen, erhalten das und der
Rat alle Dokumente zur gleichen Zeit wie die Sachverständigen der
Mitgliedstaaten, und ihre Sachverständigen haben systematisch Zugang zu den Sitzungen
der Sachverständigengruppen der Kommission, die mit der Vorbereitung der
delegierten Rechtsakte befasst sind.

(55) ABl. L 123 vom 12.5.2016, S. 1.

174.

Angesichts der raschen technologischen Entwicklungen und des für die
wirksame Anwendung dieser Verordnung erforderlichen technischen Fachwissens sollte
die Kommission diese Verordnung bis zum 2. August 2029 und danach alle vier
Jahre bewerten und überprüfen und dem Europäischen Parlament und dem Rat
darüber Bericht erstatten. Darüber hinaus sollte die Kommission — unter
Berücksichtigung der Auswirkungen auf den Geltungsbereich dieser Verordnung —
einmal jährlich beurteilen, ob es notwendig ist, die Liste der Hochrisiko-
e und die Liste der verbotenen Praktiken zu ändern. Außerdem sollte die
Kommission bis zum 2. August 2028 und danach alle vier Jahre die
Notwendigkeit einer Änderung der Liste der Hochrisikobereiche im Anhang dieser
Verordnung, die KI-Systeme im Geltungsbereich der Transparenzpflichten, die
Wirksamkeit des Aufsichts- und Governance-Systems und die Fortschritte bei der
Entwicklung von Normungsdokumenten zur energieeffizienten Entwicklung von
KI-Modellen , einschließlich der Notwendigkeit
weiterer Maßnahmen oder Handlungen, bewerten und dem Europäischen Parlament und
dem Rat darüber Bericht erstatten. Schließlich sollte die Kommission bis zum
2. August 2028 und danach alle drei Jahre eine Bewertung der Folgen und der
Wirksamkeit der freiwilligen Verhaltenskodizes durchführen, mit denen die
Anwendung der für Hochrisiko- KI-Systeme vorgesehenen Anforderungen bei
anderen KI-Systemen als Hochrisiko-KI-Systemen und möglicherweise auch
zusätzlicher Anforderungen an solche KI-Systeme gefördert werden soll.

175.

Zur Gewährleistung einheitlicher Bedingungen für die Durchführung dieser
Verordnung sollten der Kommission Durchführungsbefugnisse übertragen werden.
Diese Befugnisse sollten gemäß der Verordnung (EU) Nr. des
und des Rates (56) ausgeübt werden.

(56) Verordnung (EU) Nr. 182/2011 des
Europäischen Parlaments und des Rates vom 16. Februar 2011 zur Festlegung der
allgemeinen Regeln und Grundsätze, nach denen die Mitgliedstaaten die
Wahrnehmung der Durchführungsbefugnisse durch die Kommission kontrollieren (ABl. L 55
vom 28.2.2011, S. 13).

176.

Da das Ziel dieser Verordnung, nämlich die Verbesserung der Funktionsweise
des Binnenmarkts und die Förderung der Einführung einer auf den Menschen
ausgerichteten und vertrauenswürdigen KI bei gleichzeitiger Gewährleistung
eines hohen Maßes an Schutz der Gesundheit, der Sicherheit, der in der
verankerten Grundrechte, einschließlich Demokratie, Rechtsstaatlichkeit und
Schutz der Umwelt vor schädlichen Auswirkungen von en in der Union,
und der Förderung von Innovation, von den Mitgliedstaaten nicht ausreichend
verwirklicht werden kann, sondern vielmehr wegen des Umfangs oder der
Wirkungen der Maßnahme auf Unionsebene besser zu verwirklichen ist, kann die Union
im Einklang mit dem in Artikel 5 verankerten Subsidiaritätsprinzip tätig
werden. Entsprechend dem in demselben Artikel genannten Grundsatz der
Verhältnismäßigkeit geht diese Verordnung nicht über das für die Verwirklichung
dieses Ziels erforderliche Maß hinaus.

177.

Um Rechtssicherheit zu gewährleisten, einen angemessenen Anpassungszeitraum
für die e sicherzustellen und Marktstörungen zu vermeiden, unter
anderem durch Gewährleistung der Kontinuität der Verwendung von en, ist
es angezeigt, dass diese Verordnung nur dann für die Hochrisiko-KI-Systeme,
die vor dem allgemeinen Anwendungsbeginn dieser Verordnung in Verkehr
gebracht oder in Betrieb genommen wurden, gilt, wenn diese Systeme ab diesem
Datum erheblichen Veränderungen in Bezug auf ihre Konzeption oder
unterliegen. Es ist angezeigt, klarzustellen, dass der Begriff der
erheblichen Veränderung in diesem Hinblick als gleichwertig mit dem Begriff der
wesentlichen Änderung verstanden werden sollte, der nur in Bezug auf
Hochrisiko-KI-Systeme im Sinne dieser Verordnung verwendet wird. Ausnahmsweise und im
Lichte der öffentlichen Rechenschaftspflicht sollten von
KI-Systemen, die Komponenten der in einem Anhang zu dieser Verordnung aufgeführten
durch Rechtsakte eingerichteten IT-Großsysteme sind, und Betreiber von
Hochrisiko-KI-Systemen, die von Behörden genutzt werden sollen, die erforderlichen
Schritte unternehmen, um den Anforderungen dieser Verordnung bis Ende 2030
bzw. bis zum 2. August 2030 nachzukommen.

178.

Die von Hochrisiko-en werden ermutigt, auf freiwilliger
Basis bereits während der Übergangsphase mit der Einhaltung der einschlägigen
Pflichten aus dieser Verordnung zu beginnen.

179.

Diese Verordnung sollte ab dem 2. August 2026 gelten. Angesichts des
unannehmbaren s, das mit der Nutzung von KI auf bestimmte Weise verbunden
ist, sollten die Verbote sowie die allgemeinen Bestimmungen dieser Verordnung
jedoch bereits ab dem 2. Februar 2025 gelten. Während die volle Wirkung
dieser Verbote erst mit der Festlegung der Leitung und der Durchsetzung dieser
Verordnung entsteht, ist die Vorwegnahme der Anwendung der Verbote wichtig,
um unannehmbaren Rechnung zu tragen und Wirkung auf andere Verfahren,
etwa im Zivilrecht, zu entfalten. Darüber hinaus sollte die Infrastruktur
für die Leitung und das ssystem vor dem 2. August 2026
einsatzbereit sein, weshalb die Bestimmungen über n und
die Leitungsstruktur ab dem 2. August 2025 gelten sollten. Angesichts des
raschen technologischen Fortschritts und der Einführung von KI-Modellen mit
allgemeinem Verwendungszweck sollten die Pflichten der von KI-Modellen
ab dem 2. August 2025 gelten. Die
Verhaltenskodizes sollten bis zum 2. Mai 2025 vorliegen, damit die Anbieter die
Einhaltung fristgerecht nachweisen können. Das Büro für Künstliche Intelligenz
sollte sicherstellen, dass die Vorschriften und Verfahren für die Einstufung
jeweils dem Stand der technologischen Entwicklung entsprechen. Darüber hinaus
sollten die Mitgliedstaaten die Vorschriften über Sanktionen,
einschließlich Geldbußen, festlegen und der Kommission mitteilen sowie dafür sorgen, dass
diese bis zum Geltungsbeginn dieser Verordnung ordnungsgemäß und wirksam
umgesetzt werden. Daher sollten die Bestimmungen über Sanktionen ab dem 2.
August 2025 gelten.

180.

Der Europäische Datenschutzbeauftragte und der Europäische
wurden gemäß Artikel 42 Absätze 1 und 2 der Verordnung (EU)
angehört und haben am 18. Juni 2021 ihre gemeinsame Stellungnahme abgegeben —
HABEN FOLGENDE VERORDNUNG ERLASSEN:

AI Act

REGULATION (EU) 2024/1689

Content

1.

2.

3.

4.

5.

6.

7.

8.

9.

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

51.

52.

53.

54.

55.

56.

57.

58.

59.

60.

61.

62.

63.

64.

65.

66.

67.

68.

69.

70.

71.

72.

73.

74.

75.

76.

77.