EU-KI-Verordnung (KI-VO)

KI findet zunehmend Einzug in unseren Alltag – und damit steigen auch die Gefahren. Wenn Maschinen bei Entscheidungen über Menschen mitwirken, täuschend echte Inhalte generieren oder empfindliche Bereiche wie Beschäftigung, Gesundheit und Sicherheit beeinflussen, können die Folgen schwerwiegend sein. Aus diesem Grund wurde die KI-Verordnung ins Leben gerufen: um eindeutige Grenzen zu definieren, Missbrauch zu verhindern und die Menschen vor den Risiken problematischer KI-Anwendungen zu schützen. Gleichzeitig soll sie gewährleisten, dass Innovationen innerhalb der EU weiterhin möglich sind, jedoch auf einer verlässlichen, menschenzentrierten Grundlage. Damit schafft die Verordnung einen Rahmen, in dem Fortschritt nicht zulasten von Grundrechten, Sicherheit und Vertrauen erfolgt.

Artificial Intelligence Act

Die aktuelle EU-KI-Verordnung heißt offiziell Verordnung (EU) 2024/1689 (Artificial Intelligence Act / KI-Verordnung), wurde am 13. Juni 2024 erlassen, am 12. Juli 2024 im EU-Amtsblatt veröffentlicht und ist seit 1. August 2024 in Kraft getreten. Sie wurde geschaffen, um einen einheitlichen Binnenmarkt-Rechtsrahmen für menschenzentrierte und vertrauenswürdige KI zu schaffen, Innovation zu fördern und zugleich Gesundheit, Sicherheit und Grundrechte zu schützen. Sie erfasst KI-Systeme und General-Purpose-AI-Modelle, die in der EU in Verkehr gebracht, in Betrieb genommen oder deren Output in der EU genutzt werden. Das gilt auch dann, wenn der Anbieter in einem Drittstaat sitzt.

Was sind die Leitlinien der KI-Verordnung, und was muss eingehalten werden?

Zu den verbotenen Praktiken nach Artikel 5 gehören unter anderem schädliche Manipulation und Täuschung, schädliche Ausnutzung von Vulnerabilitäten, Social Scoring, bestimmte KI-gestützte Kriminalitätsprognosen, ungezieltes Auslesen von Gesichtsbildern aus Internet oder CCTV für Gesichtserkennungsdatenbanken, Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen, biometrische Kategorisierung zur Ableitung sensibler Merkmale sowie bestimmte Echtzeit-Fernbiometrie-Anwendungen zu Strafverfolgungszwecken. Diese Verbote gelten seit 2. Februar 2025.

Für Hochrisiko-KI gelten u. a. Pflichten zu Risikomanagement, Datenqualität/Data Governance, technischer Dokumentation, Protokollierung/Logs, Transparenz/Informationen für Betreiber, menschlicher Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit. Anbieter solcher Systeme müssen außerdem u. a. ein Qualitätsmanagementsystem haben, die Konformitätsbewertung vor dem Inverkehrbringen durchführen, eine EU-Konformitätserklärung erstellen und die CE-Kennzeichnung anbringen.

Für bestimmte KI-Systeme mit begrenztem Risiko gelten Transparenzpflichten: Wer ein System anbietet, das direkt mit Menschen interagiert, muss grundsätzlich sicherstellen, dass die betroffene Person erkennt, dass sie mit KI interagiert; bei Systemen, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, müssen die Outputs maschinenlesbar als künstlich erzeugt oder manipuliert erkennbar sein.

Zusätzlich gilt seit 2. Februar 2025 die Pflicht zur KI-Kompetenz (AI literacy): Anbieter und Betreiber müssen nach besten Kräften sicherstellen, dass ihr Personal und sonstige in ihrem Auftrag handelnde Personen über ein ausreichendes Maß an KI-Kompetenz verfügen, unter Berücksichtigung von Wissen, Erfahrung, Schulung und Einsatzkontext.

Für KI-Modelle mit allgemeinem Verwendungszweck General-Purpose-AI-Modelle (GPAI) gelten seit 2. August 2025 zusätzliche Pflichten, u. a. technische Dokumentation, Informationsweitergabe an nachgelagerte Anbieter, eine Copyright-Policy und eine öffentliche Zusammenfassung der Trainingsdaten; bei systemischem Risiko kommen u. a. Modellbewertungen, adversariales Testen, Risikominderung, Meldung schwerwiegender Vorfälle und Cybersicherheitsmaßnahmen hinzu.

4 Praxisbeispiele

Praxisbeispiel 1: Emotionserkennung bei Bewerbungen. Eine KI bewertet Gesichtsausdruck oder Stimme von Bewerbenden, um Rückschlüsse auf Emotionen oder Eignung zu ziehen. Das ist nach KI-VO Kapitel II Artikel 5 KI-VO verboten.

Praxisbeispiel 2: KI für Bewerberauswahl / CV-Screening. KI in Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit zählt zu den sensiblen Hochrisiko-Bereichen. Ein solches System darf nicht einfach “live” eingesetzt werden, sondern erfordert u. a. Risikomanagement, Dokumentation, Logs, Informationen für den Betreiber, menschliche Aufsicht und eine Konformitätsbewertung vor dem Inverkehrbringen.

Praxisbeispiel 3: Website-Chatbot. Ein Unternehmen setzt einen KI-Chatbot im Kundenservice ein. Dann muss der Nutzer grundsätzlich erkennen können, dass er mit einem KI-System interagiert. Das ist ein typischer Fall der Transparenzpflicht und gehört in den Bereich begrenztes Risiko.

Praxisbeispiel 4: KI-Bild-/Textgenerator. Wenn ein System synthetische Bilder, Audio, Video oder Texte erzeugt, müssen diese Outputs nach der Verordnung so markiert sein, dass sie als künstlich erzeugt oder manipuliert erkennbar sind. 

Wie streng muss die KI-VO eingehalten werden?

Die KI-Verordnung ist kein freiwilliger Kodex, sondern eine verbindliche EU-Verordnung. Sie gilt stufenweise: Verbote und KI-Kompetenz seit dem 2. Februar 2025, GPAI-Regeln seit dem 2. August 2025, die meisten übrigen Pflichten ab dem 2. August 2026, und für Hochrisiko-KI in bestimmten regulierten Produkten gilt eine verlängerte Frist bis zum 2. August 2027.

Sie ist außerdem durchsetzbar: Marktüberwachungsbehörden können Korrekturmaßnahmen verlangen und – wenn ein System nicht konform ist – verlangen, dass es in Konformität gebracht, vom Markt genommen oder zurückgerufen wird. Die Frist kann von der Behörde vorgegeben werden und liegt spätestens beim kürzeren Zeitraum von 15 Arbeitstagen bzw. der einschlägigen produktrechtlichen Frist.

Für verbotene Praktiken ist die Lage besonders strikt: Die Kommissionsleitlinien stellen ausdrücklich klar, dass die Verbote selbst unmittelbare Wirkung entfalten und Betroffene sie schon vor nationalen Gerichten durchsetzen sowie einstweilige Maßnahmen beantragen können.

Das klingt erstmal schlimm, aber keine Angst, hier ist einfach nur gesunder Menschenverstand gefragt. Es sollte für jeden klar sein, wenn KI für Unterdrückung, Benachteiligung oder Manipulation von Menschen verwendet wird, dass das verboten ist. Es verhält sich wie mit allen Dingen im Leben, egal ob es KI ist oder nicht. Ein weiterer Punkt ist der Bereich Hochrisiko KI, wenn in der Medizin sensible Daten verarbeitet werden, sollte hier zwingend auf Datenschutz und Verschwiegenheit geachtet werden. KI Systeme wie Chatbots oder ähnliches sollten klar als KI gekennzeichnet sein und Texte, Bilder, Videos, Musik usw. die mit KI erzeugt wurden sollten demensprechend gekennzeichnet sein.

Wo genau gilt die aktuelle KI-Verordnung?

Rechtsverbindlicher Kern ist der Europäische Unionsmarkt. Die Verordnung gilt für Anbieter, die KI-Systeme oder GPAI-Modelle in der Europäischen Union in Verkehr bringen oder in Betrieb nehmen, für Betreiber mit Sitz in der Europäischen Union und auch für Anbieter bzw. Betreiber aus Drittstaaten, wenn der Output ihres KI-Systems in der Europäischen Union verwendet wird. Der amtliche Titel trägt außerdem den Zusatz „Text with EEA relevance“.

Die Verordnung knüpft also nicht nur an physische Produkte an. Ein System kann auch über API, Cloud, Online-Zugang, Direktdownload oder eingebettet in physische Produkte auf den Unionsmarkt gebracht werden.

Was passiert, wenn man mit Unternehmen außerhalb der EU zusammenarbeitet oder deren Modelle nutzt?

Wenn ein EU-Unternehmen ein Modell eines Nicht-EU-Anbieters nutzt, kann das EU-Unternehmen je nach Rolle Betreiber (deployer) sein und selbst der KI-Verordnung unterfallen. Gleichzeitig kann auch der Nicht-EU-Anbieter selbst unter die Verordnung fallen, wenn er ein KI-System oder GPAI-Modell auf dem Unionsmarkt bereitstellt oder wenn der Output seines Systems in der EU genutzt wird.

Für Nicht-EU-Anbieter von GPAI-Modellen gilt: Vor dem Inverkehrbringen auf dem Unionsmarkt müssen sie grundsätzlich einen Bevollmächtigten in der EU bestellen. Dasselbe gilt für Nicht-EU-Anbieter von Hochrisiko-KI-Systemen, bevor diese auf dem Unionsmarkt bereitgestellt werden.

Wenn bei der Zusammenarbeit personenbezogene Daten verarbeitet werden, gilt zusätzlich weiterhin die DSGVO. Der EDPB hebt hervor, dass für Entwicklung und Einsatz von KI-Modellen eine datenschutzrechtliche Rechtsgrundlage nötig sein kann und dass ein mit rechtswidrig verarbeiteten personenbezogenen Daten trainiertes Modell die Rechtmäßigkeit des Einsatzes beeinträchtigen kann, sofern es nicht wirksam anonymisiert wurde.

Welche Konsequenzen drohen, wenn man die KI-Verordnung nicht einhält?

Die Verordnung sieht Sanktionen und andere Durchsetzungsmaßnahmen vor, die wirksam, verhältnismäßig und abschreckend sein müssen; dazu können auch Verwarnungen und nichtmonetäre Maßnahmen gehören. Zusätzlich können Behörden bei Nichtkonformität Korrekturmaßnahmen, Marktrücknahme oder Rückruf verlangen.

Die zentralen Bußgeldobergrenzen sind nach Artikel 99:

  • bis zu 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist, bei Verstößen gegen die verbotenen Praktiken nach Artikel 5;
  • bis zu 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes bei Verstößen gegen zentrale Pflichten von Anbietern, Bevollmächtigten, Einführern, Händlern, Betreibern oder notifizierten Stellen sowie gegen Transparenzpflichten;
  • bis zu 7,5 Mio. EUR oder 1 % des weltweiten Jahresumsatzes bei falschen, unvollständigen oder irreführenden Angaben gegenüber Behörden oder notifizierten Stellen.

Zusätzlich können Betroffene Beschwerde bei der zuständigen Marktüberwachungsbehörde einlegen. Für bestimmte hochriskante KI-Entscheidungen gibt es außerdem ein Recht auf eine klare und aussagekräftige Erklärung der Entscheidungsfindung.

Praxisbeispiele von Verstößen, die harte Konsequenzen nach sich ziehen können

  • Emotionserkennung im Recruiting: Die Kommissionsleitlinien nennen ausdrücklich, dass der Einsatz von Emotionserkennungs-KI während des Recruiting-Prozesses verboten ist.
  • Emotionserkennung im Arbeitsverhältnis: Verboten sind laut Leitlinien z. B. Systeme, die in hybriden Teams die emotionale Lage aus Stimme und Bild ableiten, sowie der Einsatz während der Probezeit oder zur Überwachung von Mitarbeitenden.
  • Biometrische Kategorisierung nach angenommener politischer Orientierung: Die Leitlinien nennen als verbotenes Beispiel ein System, das Personen auf einer Social-Media-Plattform anhand biometrischer Daten aus Fotos nach ihrer angenommenen politischen Orientierung kategorisiert, um ihnen gezielte politische Botschaften zu senden.
  • Ungezieltes Scraping von Gesichtsbildern: Verboten ist das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder CCTV, um Gesichtserkennungsdatenbanken zu erstellen oder zu erweitern.

Welche Fragen sollte ich mir denn stellen, bevor ich ein KI-Tool im Unternehmen nutze?

Prüfe bei jedem konkreten KI-Tool oder KI-Workflow in deinem Unternehmen zuerst:

  1. Ist es überhaupt ein KI-System oder GPAI-Modell im Sinne der Verordnung?
  2. Fällt der Use Case unter Verbot, Hochrisiko, Transparenz oder Minimalrisiko?
  3. Verarbeite ich personenbezogene Daten und greift zusätzlich die DSGVO?
  4. Nutze ich einen Nicht-EU-Anbieter per API/Cloud, sodass Drittstaatenpflichten relevant werden?
  5. Brauche ich nur Transparenzhinweise – oder bereits Dokumentation, Logs, menschliche Aufsicht und Konformitätsbewertung?

Ein kleines Musterbeispiel für die Einhaltung der KI-Verordnung

Ein deutsches Unternehmen nutzt ein US-LLM per API für einen Website-Chatbot im Kundenservice. Das Unternehmen geht korrekt vor, wenn es a) seine Rolle als Betreiber bestimmt, b) prüft, ob es sich nur um einen Transparenzfall oder um einen Hochrisikofall handelt, c) Nutzer klar darauf hinweist, dass sie mit KI interagieren, d) die Mitarbeitenden in KI-Kompetenz schult und diese Maßnahmen dokumentiert, e) bei personenbezogenen Daten zusätzlich DSGVO-Anforderungen beachtet, und f) – falls es sich um ein GPAI-Modell eines Drittstaatsanbieters handelt – sicherstellt, dass die einschlägigen GPAI- und Bevollmächtigtenpflichten erfüllt sind. Bei einem normalen Website-Chatbot wäre das typischerweise eher ein Transparenz- und Governance-Thema; bei einem KI-System zur Bewerbervorauswahl oder Kreditentscheidung lägen dagegen regelmäßig deutlich strengere Hochrisiko-Anforderungen vor.

Solltest Du noch Fragen, Unsicherheiten oder eine zu große Skepsis gegenüber KI haben, dann schau doch mal zu unseren Schulungen. Vielleicht ist etwas für Dich dabei.