Wegen KI-Halluzinationen: Deloitte muss der australischen Regierung Geld zurückzahlen

Deloitte Australia hat einem Regierungsdepartement einen Bericht im Wert von 440’000 australischen Dollar geliefert, zumindest teilweise erstellt mit Hilfe von generativer KI. Das Problem: Der Bericht enthielt nach einem Bericht der Australian Financial Review nicht existierende Quellen, falsche akademische Zitate und sogar ein erfundenes Gerichtsurteil, also KI-Halluzinationen.

Nachdem externe Prüfer diese Fehler aufdeckten, musste Deloitte eingestehen, dass KI-Tools (Azure OpenAI GPT-4o) verwendet wurden, ohne dies offenzulegen. Die Folge: Eine überarbeitete Version des Reports und eine teilweise Rückzahlung an die australische Regierung.

Dieser Fall ist mehr als nur ein PR-Desaster. Er markiert den ersten bekannten Vorfall, bei dem KI-Halluzinationen finanzielle Konsequenzen hat.

👉 Die Lehre daraus:
KI kann grossartige Unterstützung bieten, aber ohne menschliche Kontrolle ist sie ein Risiko. Unternehmen brauchen Richtlinien, Schulungen und eine Kultur, in der KI verantwortungsvoll eingesetzt wird, nicht als Abkürzung, sondern als Werkzeug.

Aus der Beratungsbranche hört man allerdings zunehmend, dass immer mehr Klienten den Einsatz von KI geradezu einfordern, auch mit Blick auf Kosteneffizienz und „billable hours“. Das bedeutet aber selbstverständlich nicht, dass man die Arbeit der KI ungeprüft übernehmen darf. Kontrolle, Qualitätsprüfung und fachliche Verantwortung bleiben weiterhin beim Menschen.

Und der Fall zeigt auch, was juristisch auf uns zukommt:
Schon heute tauchen in den USA und Europa (z.B. Deutschland) Fälle auf, in denen Anwälte in Rechtsschriften KI-generierte „Halluzinationen“ einreichen. Man kann nur darauf warten, bis Schadenersatzklagen gegen Anwälte eingereicht werden.

Mehr zu den Folgen von KI Fehlzitaten im Webinar von @Daniel Kettiger: #IusBubble Webinar #25: Rechtsfolgen von durch KI verursachte Fehlzitate in Rechtsschriften

Quelle: