AI Act und EdTech: Welche Pflichten gelten für Anbieter und Bildungseinrichtungen?

Warum EdTech vom AI Act betroffen ist

KI-Tools, die im Bildungsbereich eingesetzt werden, werden vom AI Act überwiegend als Hochrisiko-KI-Systeme eingestuft. Diese Einstufung verpflichtet Anbieter und Bildungseinrichtungen zu strengen Auflagen.

Anhang III der Verordnung (EU) 2024/1689 listet KI-Systeme auf, die als Hochrisiko-KI-Systeme gelten. Punkt 3 bezieht sich speziell auf Systeme, die in der Bildung und beruflichen Ausbildung eingesetzt werden. Betroffen sind:

• Tools zur Bewertung von Schülern oder Studierenden,
• Adaptive Lernplattformen,
• Systeme zur schulischen oder beruflichen Orientierung,
• Tools zur Erkennung von Verhalten oder Betrug.

Konkrete Beispiele: Eine Plattform zur automatischen Bewertung von Aufsätzen, wie sie an einigen Universitäten eingesetzt wird, gilt als Hochrisiko-KI-System. Ebenso fällt ein KI-basiertes System zur schulischen Orientierung, das auf Basis von Leistungen und Profilen der Schüler Bildungswege empfiehlt, in diese Kategorie.

Diese Einstufung erklärt sich durch die möglichen Auswirkungen solcher Tools auf die Grundrechte der Schüler. Ein Fehler oder eine Verzerrung in einem Bewertungssystem kann den Zugang zur Bildung beeinträchtigen oder die schulische Orientierung unverhältnismäßig beeinflussen.

EdTech-Anbieter: Ihre Pflichten als Anbieter

Herausgeber von Bildungssoftware, die KI einsetzt, gelten im Sinne des AI Act als Anbieter. Ihre Pflichten sind vielfältig und technisch anspruchsvoll.

Als Anbieter müssen Sie:

1. Ihr System einstufen: Prüfen, ob Ihr Tool in die Kategorie Hochrisiko-KI-System fällt (Anhang III, Punkt 3). Eine adaptive Lernplattform oder ein automatisiertes Bewertungssystem sind typischerweise betroffen.
2. Ihr System technisch dokumentieren: Eine Dokumentation gemäß Anhang IV der Verordnung erstellen. Diese Dokumentation muss das System, seine Grenzen, seine Leistungen und die Maßnahmen zur Risikominderung beschreiben.
3. Ein Risikomanagementsystem einführen: Risiken im Zusammenhang mit Ihrem Tool identifizieren und mindern, insbesondere Verzerrungen bei Bewertungen oder Orientierungsempfehlungen.
4. Transparenz gewährleisten: Nutzer darüber informieren, dass das System KI einsetzt, und Erklärungen zu dessen Funktionsweise bereitstellen (Artikel 13).
5. Datenqualität sicherstellen: Die zum Trainieren Ihres Modells verwendeten Daten müssen repräsentativ und frei von Verzerrungen sein. Artikel 10 legt strenge Kriterien fest, insbesondere für sensible Daten wie die von Minderjährigen.
6. Ihr System registrieren: Hochrisiko-KI-Systeme müssen in der EU-Datenbank für KI registriert werden.

Beispiel: Ein Anbieter von Software zur automatischen Bewertung von Aufsätzen muss die Bewertungskriterien seiner KI dokumentieren, erklären, wie Verzerrungen erkannt und korrigiert werden, und die Bildungseinrichtungen über die Grenzen des Systems informieren.

Bildungseinrichtungen: Ihre Pflichten als Betreiber

Schulen, Universitäten und andere Bildungseinrichtungen, die KI-Tools einsetzen, gelten als Betreiber. Ihre Pflichten unterscheiden sich von denen der Anbieter.

Als Betreiber müssen Sie:

1. Die Konformität des Anbieters prüfen: Sicherstellen, dass das verwendete System den Anforderungen des AI Act entspricht. Dazu gehört die Überprüfung der technischen Dokumentation und der Registrierung des Systems.
2. Die Nutzung des Systems überwachen: Verfahren einführen, um die Funktionsweise des Tools zu überwachen und mögliche Fehlfunktionen oder Verzerrungen zu erkennen.
3. Nutzer informieren: Schüler, Eltern und Lehrkräfte müssen über den Einsatz von KI und deren Auswirkungen informiert werden.
4. Ein Verzeichnis der Vorfälle führen: Jeden Vorfall im Zusammenhang mit der Nutzung des Systems dokumentieren und dem Anbieter melden.
5. Eine FRIA durchführen, wenn Sie eine öffentliche Einrichtung sind: Öffentliche Einrichtungen, die Hochrisiko-KI-Systeme einsetzen, müssen eine Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment) durchführen (Artikel 27).

Beispiel: Eine Universität, die ein KI-Tool zur Erkennung von Betrug einsetzt, muss prüfen, ob der Anbieter sein System ordnungsgemäß dokumentiert hat, die Studierenden über dessen Einsatz informieren und falsche Positive, die Schüler benachteiligen könnten, überwachen.

Für öffentliche Einrichtungen ist die FRIA eine zentrale Pflicht. Sie muss die Auswirkungen des Systems auf die Grundrechte der Schüler bewerten, insbesondere in Bezug auf Nichtdiskriminierung und Datenschutz.

Daten von Minderjährigen und Verzerrungen: die spezifischen Risiken im Bildungsbereich

KI-Tools im Bildungsbereich werfen einzigartige Fragen auf, insbesondere in Bezug auf den Schutz von Minderjährigendaten und die Handhabung von Verzerrungen.

Schutz von Minderjährigendaten

Die personenbezogenen Daten von Schülern, insbesondere von Minderjährigen, genießen unter der DSGVO einen verstärkten Schutz. Der AI Act verschärft diese Anforderungen:

• Elterliche Einwilligung: Für Minderjährige unter 15 Jahren ist in der Regel die Einwilligung der Eltern für die Verarbeitung ihrer Daten erforderlich.
• Datenminimierung: Es dürfen nur die Daten erhoben und verarbeitet werden, die unbedingt notwendig sind.
• Datensicherheit: Anbieter müssen technische und organisatorische Maßnahmen ergreifen, um die Daten der Schüler zu schützen.

Beispiel: Eine adaptive Lernplattform darf keine Daten über die ethnische Herkunft oder die politischen Ansichten der Schüler erheben, es sei denn, diese Daten sind unbedingt erforderlich und werden ausdrücklich genehmigt.

Handhabung von Verzerrungen in Bewertungs- und Orientierungssystemen

KI-Systeme, die zur Bewertung von Schülern oder zur Orientierung in Bildungswege eingesetzt werden, können bestehende Verzerrungen reproduzieren oder verstärken. Der AI Act verpflichtet Anbieter dazu:

• Repräsentative Daten verwenden: Die Trainingsdaten müssen alle Schülergruppen abdecken, um Verzerrungen durch Unterrepräsentation zu vermeiden.
• Verzerrungen testen: Die Systeme müssen auf mögliche Verzerrungen in Bezug auf Geschlecht, sozioökonomische Herkunft oder andere geschützte Kriterien getestet werden.
• Maßnahmen zur Minderung dokumentieren: Anbieter müssen erklären, wie sie erkannte Verzerrungen korrigieren.

Beispiel: Ein schulisches Orientierungssystem, das Jungen häufiger naturwissenschaftliche und Mädchen häufiger geisteswissenschaftliche Bildungswege empfiehlt, muss korrigiert werden, um solche Klischees nicht zu verstärken.

Zeitplan und nächste Schritte

Die Pflichten für Hochrisiko-KI-Systeme im Bildungsbereich treten am 2. Dezember 2027 in Kraft. Bis dahin sind mehrere Fristen zu beachten.

Hier sind die wichtigsten Daten:

• 2. November 2026: Transparenzpflicht für generative KI-Systeme (Kennzeichnung, Offenlegung). Betroffen sind Tools wie Bildungs-Chatbots oder Generatoren von Lehrinhalten.
• 2. Dezember 2027: Inkrafttreten der Pflichten für Hochrisiko-KI-Systeme gemäß Anhang III. EdTech-Anbieter und Bildungseinrichtungen müssen bis zu diesem Datum konform sein.
• 2026-2027: Der Hohe Rat für digitale Bildung (CSEN) und das Bildungsministerium werden spezifische Leitlinien für den Einsatz von KI in der Bildung veröffentlichen. Diese Dokumente helfen Bildungseinrichtungen bei der Vorbereitung.

Für EdTech-Anbieter hat die technische Dokumentation ihrer Systeme und die Einführung von Risikomanagementmaßnahmen oberste Priorität. Bildungseinrichtungen müssen die von ihnen genutzten KI-Tools identifizieren und deren Konformität prüfen.