Qualitätsmerkmale von KI:Woran erkennst du gute Systeme?

Als Anwender kannst du die Qualität von KI-Systemen anhand praktischer Kriterien beurteilen – ohne technisches Fachwissen.

Ein praktisches Beispiel:

Ein gutes KI-System zur Priorisierung von Supportanfragen sollte dir zeigen, welche Faktoren zur Einstufung einer Anfrage als "dringend" geführt haben (Transparenz), konsistente Ergebnisse liefern (Zuverlässigkeit), auch mit ungewöhnlich formulierten Anfragen umgehen können (Robustheit) und dir ermöglichen, eine falsche Priorisierung zu korrigieren (Feedback-Fähigkeit).

Warnzeichen für problematische KI-Systeme

Übermäßiges Selbstvertrauen: Das System gibt Antworten mit 100 % Sicherheit, obwohl Unsicherheit angebracht wäre.
Unflexibilität: Kleinste Änderungen in der Eingabe führen zu völlig anderen Ergebnissen.
Undurchsichtige Entscheidungen: Du bekommst keine Erklärung dafür, wie das System zu einem Ergebnis gekommen ist.
Häufige Musterirrtümer: Das System macht immer wieder ähnliche Fehler, obwohl diese gemeldet wurden.

Diese Kriterien geben dir einen praktischen Rahmen, um die Qualität der KI-Systeme in deinem Arbeitsumfeld zu beurteilen – ohne dass du in die technischen Details eintauchen musst.

Halluzinierende KI erkennen:Wenn KI "Fakten schafft”

Ein besonders wichtiges Phänomen, das du als Anwender kennen solltest, sind KI-Halluzinationen. Dabei "erfindet" das KI-System überzeugende, aber falsche Informationen.

Was sind KI-Halluzinationen?

KI-Halluzinationen sind Fälle, in denen ein System Inhalte ”erfindet”, die faktisch falsch sind oder für die es keine Grundlage in seinen Trainingsdaten gibt. Das System "halluziniert" also Informationen, die es eigentlich nicht kennt.

Stell dir vor, du fragst eine KI nach einer rechtlichen Einschätzung – und sie zitiert selbstbewusst einen Paragrafen aus einem Gesetz, der in dieser Form gar nicht existiert. Oder ein KI-System behauptet, dass eine bestimmte Vorschrift seit Jahren in Kraft ist, obwohl sie tatsächlich noch in der Entwurfsphase steckt.

Diese Problematik taucht oft auf, wenn eine KI Antworten auf Fragen geben soll, die außerhalb ihrer Trainingsdaten liegen. Beispiel: Es wird nach Hintergründen zu einem aktuellen Ereignis gefragt, die Trainingsdaten enden aber vor dem Ereignis.

Warum halluzinieren KI-Systeme?

KI-Systeme wurden trainiert, plausible Antworten zu geben – nicht unbedingt wahre Antworten. Wenn sie keine klare Antwort kennen, erzeugen manche Systeme lieber eine plausibel klingende Aussage als zuzugeben: "Das weiß ich nicht."

Beispiel: Du fragst nach den Hintergründen eines aktuellen Ereignisses, die Trainingsdaten enden aber vor dem Ereignis. Die KI steht damit vor einer unmöglichen Aufgabe. Statt ehrlich "keine Ahnung" zu sagen, erfindet sie oft eine überzeugende Geschichte. Aus dem Nichts. Mit scheinbaren Details und falscher Sicherheit.

Besonders gefährlich: Diese erfundenen Informationen werden oft mit dem gleichen Selbstvertrauen präsentiert wie korrekte Antworten, versehen mit scheinbar präzisen Quellenangaben und überzeugend formuliert

Wie erkennst du Halluzinationen im Arbeitsalltag?

Zu präzise Angaben: Wenn eine KI sehr spezifische Zahlen, Daten oder Zitate liefert, die du nicht verifizieren kannst, sei skeptisch.
Widersprüche: Stelle dieselbe Frage mehrmals oder leicht variiert. Halluzinierende Systeme geben oft unterschiedliche Antworten.
Ungewöhnliche Behauptungen: Wenn eine Information überraschend oder ungewöhnlich erscheint, ist besondere Vorsicht geboten.
Nicht existente Quellen: Die KI verweist auf Studien, Artikel oder Bücher, die bei einer Überprüfung nicht existieren.

Ein Praxisbeispiel:

Ein Kundenberater nutzte einen KI-Assistenten, um schnell Produktinformationen zu finden. Bei einer speziellen Anfrage lieferte das System detaillierte technische Spezifikationen – die sich bei der Überprüfung als komplett erfunden herausstellten. Das System hatte aus fragmentarischen Informationen eine plausibel klingende, aber falsche Antwort zusammengesetzt.

So gehst du mit potenziellen Halluzinationen um

Verifiziere kritische Informationen: Überprüfe wichtige Aussagen der KI anhand verlässlicher Quellen, bevor du sie weitergibst oder darauf basierend Entscheidungen triffst.
Nutze den "Ich weiß nicht"-Test: Stelle dem System bewusst Fragen, auf die es keine Antwort wissen kann. Gute Systeme geben ihre Unwissenheit zu, halluzinierende Systeme erfinden eine Antwort.
Dokumentiere auffällige Fälle: Wenn du eine Halluzination entdeckst, melde sie – dies hilft den Entwicklern, das System zu verbessern.
Setze KI-Grenzen: Verwende KI nicht für Aufgaben, bei denen Faktentreue absolut kritisch ist, ohne eine menschliche Überprüfung einzubauen.

Eine einfache Gedächtnisstütze:Behandle KI-generierte Informationen wie einen Hinweis eines neuen Mitarbeiters – hilfreich, aber immer einer Überprüfung bedürftig, bevor du wichtige Entscheidungen darauf basierend triffst.Das Wissen um Halluzinationen schützt dich davor, falschen Informationen aufzusitzen, und hilft dir, KI-Systeme verantwortungsbewusster einzusetzen.

Konform oder riskant?So erkennst du regelkonforme KI-Systeme

Der EU-AI-Act legt klare Anforderungen fest. Aber wie kannst du als Anwender erkennen, ob eure Systeme diese erfüllen?

Checkliste für regelkonforme KI im Arbeitsalltag:

Transparente Nutzung: Wurde dir mitgeteilt, dass du mit einer KI arbeitest und für welchen Zweck sie eingesetzt wird?
Schulungsangebot: Wurde dir angeboten, dich im Umgang mit dem System schulen zu lassen?
Erklärbarkeit: Kannst du nachvollziehen (oder dir erklären lassen), wie das System zu seinen Empfehlungen kommt?
Menschliche Aufsicht: Gibt es einen klaren Prozess, wie Menschen eingreifen können, wenn das System problematische Entscheidungen trifft?
Feedbackschleife: Existiert ein Mechanismus, um Probleme oder Fehler zu melden?
Datenschutzhinweise: Wurdest du über den Umgang mit persönlichen Daten in Verbindung mit dem System informiert?
Risikomanagement: Gibt es klare Grenzen, wann und wie das System genutzt werden darf?

Ein Praxisbeispiel:

In einer Bank wurde ein neues KI-System zur Kreditbewertung eingeführt. Die Mitarbeiter erhielten eine Schulung, in der sie lernten, die wichtigsten Einflussfaktoren auf die Bewertung zu verstehen. Sie bekamen ein Handbuch mit Szenarien, in denen menschliches Eingreifen erforderlich ist, und einen klaren Prozess zur Meldung problematischer Entscheidungen. Dieses Vorgehen erfüllt die wichtigsten Anforderungen an Hochrisiko-KI nach dem EU-AI-Act.

Dein Beitrag zur KI-Qualität:Mehr als nur Anwenden

Als Anwender bist du nicht nur Konsument von KI-Systemen – du kannst aktiv zu ihrer Verbesserung beitragen.

Wie du als Anwender die KI-Qualität verbesserst:

Gezieltes Feedback geben: Melde nicht nur "Das Ergebnis ist falsch", sondern beschreibe, warum es falsch ist und was die richtige Antwort wäre.
Edge Cases dokumentieren: Halte ungewöhnliche Fälle fest, bei denen das System Probleme hatte – diese sind besonders wertvoll für Verbesserungen.
Muster erkennen: Wenn du bemerkst, dass das System bei bestimmten Arten von Anfragen oder Daten regelmäßig Fehler macht, dokumentiere dies systematisch.
Konstruktiv kommunizieren: Teile deine Beobachtungen mit den Verantwortlichen – nicht als Kritik, sondern als Beitrag zur Verbesserung.
Realistisches Erwartungsmanagement: Hilf Kollegen und Kunden, angemessene Erwartungen an die KI-Systeme zu entwickeln – weder übertriebene Skepsis noch blinde Technikgläubigkeit.

Ein Beispiel:

Ein Team von Kundenberatern in einem Telekommunikationsunternehmen führte ein einfaches System ein, um Feedback zur KI-basierten Empfehlungsengine zu sammeln. Jeder Berater notierte einmal täglich, ob die KI-Empfehlung hilfreich war, und wenn nicht, warum. Diese einfachen Daten wurden wöchentlich an das KI-Team weitergegeben, was zu spürbaren Verbesserungen führte.

Diese Art von systematischem Feedback ist für die KI-Entwickler Gold wert – und für dich eine Möglichkeit, die Systeme besser auf deine tatsächlichen Arbeitsbedürfnisse abzustimmen.

Qualitätsmerkmale von KI

Sie müssen sich anmelden, um den Kurs zu starten.