Auf den Punkt: Kundenservice-KI mit eigenständiger Entscheidungsfindung benötigt unter dem EU AI Act Transparenz, Auditierbarkeit und klare Verantwortlichkeitsstrukturen, besonders wenn sie als Hochrisikosystem einzustufen ist.
KI-Systeme treffen in der Kundenbetreuung eigenständig Entscheidungen mit direktem Einfluss auf Nutzer. Chief Legal Officer Shana Simmons von Zendesk erläutert im Interview mit ITWELT.at, wie Unternehmen rechtliche Anforderungen zur Transparenz erfüllen und wann Kundenservice-KI unter die Hochrisikokategorien des EU AI Act fällt.
Künstliche Intelligenz wird in Kundenservice-Anwendungen eingesetzt, um Anfragen automatisiert zu bearbeiten, Lösungsvorschläge zu generieren oder Eskalationsentscheidungen zu treffen. Diese autonome Entscheidungsfindung wirft grundsätzliche Fragen zu Verantwortlichkeit und Haftung auf: Wer trägt die Verantwortung für fehlerhafte oder diskriminierende Entscheidungen des Systems?
Nach dem EU AI Act unterliegen bestimmte KI-Einsatzszenarien im Kundenservice Hochrisikoklassifizierungen, insbesondere wenn sie auf Basis von automatisierter Entscheidungsfindung personenbezogene Daten verarbeiten oder Verfügbarkeit von Dienstleistungen beeinflussen. In solchen Fällen sind umfassende Dokumentation, Audit-Fähigkeit, Monitoring und Transparenzmechanismen gegenüber Nutzern erforderlich. Shana Simmons weist darauf hin, dass echte Transparenz nicht nur in technischen Compliance-Dokumenten besteht, sondern Endnutzern verständlich kommunizieren muss, wann sie mit KI interagieren und welche Entscheidungslogik dahintersteckt.
Unternehmen müssen kontinuierlich bewerten, ob ihre KI-Systeme im Kundenservice die Schwellwerte für Hochrisiko-Klassifizierung überschreiten und entsprechende Governance-Prozesse implementieren. Dies umfasst Risikobewertungen vor Inbetriebnahme, regelmäßige Performanceüberwachung auf Bias und Fehlerquoten sowie ein Eskalationsmechanismus für Nutzer, die manuell überprüfte Entscheidungen fordern können.
Quelle: itwelt.at · Erschienen 24. Juni 2026
Lumi AI News — KI-assistierte Kuratierung gemaess Art. 50 EU AI Act. Paraphrase und Klassifikation durch Lumi News Pipeline v1.7.1.