KI-Bescheide aus der Black Box: Wenn die Verwaltung das Risiko halluziniert

Die geplante Novelle des österreichischen Verwaltungsverfahrensgesetzes soll den Einsatz Künstlicher Intelligenz in Behörden regeln, verlagert aber strukturelle Risiken auf die Bürger.

Wer in diesen Tagen durch Österreichs wachsende Vororte fährt, sieht überall das gleiche Bild: Baustellen, Kräne und geschäftiges Treiben. Hinter jedem dieser Projekte steht ein enormer bürokratischer Kraftakt, an dessen Ende ein rechtskräftiger Behördenbescheid die finanzielle Sicherheit für Investitionen im Millionenbereich garantiert. Doch genau dieses unerschütterliche Fundament des Rechtsstaates gerät nun ins Wanken. Ein aktueller Gesetzesentwurf aus dem Bundeskanzleramt droht die traditionelle Amtsstube in eine algorithmische Fabrik zu verwandeln, in der folgenschwere Entscheidungen per Mausklick und ohne menschliches Zutun vom Band laufen.

Was politisch als unaufhaltsamer Modernisierungsschub und Befreiungsschlag gegen den drohenden Personalmangel verkauft wird, entpuppt sich bei genauerem Hinsehen als gefährliches Experiment an den Grundrechten der Bevölkerung. Die Bürgerrechtsorganisation epicenter.works warnt in einer detaillierten Stellungnahme vor einer systemischen Risikoverlagerung, die das Vertrauen in staatliches Handeln nachhaltig zerstören könnte.

Die Stoßrichtung der geplanten Novelle ist kaum verkennbar: KI soll Einzug in das allgemeine Verwaltungsverfahren halten. Besonders zwei Stoßrichtungen lassen dabei bei Juristen und Datenschützern die Alarmglocken schrillen. Einerseits geht es um den flächendeckenden Einsatz von behördlichen Chatbots. Diese sollen nicht mehr nur unverbindliche Auskünfte erteilen, sondern aktiv dabei helfen, Anträge und Eingaben zu formulieren. Das System verschriftlicht das gesprochene oder geschriebene Wort des Bürgers, woraufhin es direkt als offizielles, schriftliches Anbringen gewertet wird. Ähnliches plant Bundesdigitalminister Karsten Wildberger (CDU) auch für Deutschland.

Andererseits – und das ist der weitaus massivere Einschnitt – soll in Österreich der rechtliche Rahmen für vollständig automatisierte schriftliche Erledigungen geschaffen werden. Behörden erhalten damit das Werkzeug, rechtskräftige Bescheide auszustellen, ohne dass im gesamten Prozess auch nur ein einziger menschlicher Beamter den Fall geprüft hätte. Welche Lebensbereiche und Verfahren für diese digitale Massenabfertigung freigegeben werden, soll dabei gar nicht mehr im Parlament debattiert, sondern von den jeweiligen Ministerien unbemerkt per Verordnung festgelegt werden.

Das technologische Fundament, auf dem diese Reform aufbaut, ist denkbar ungeeignet für die unerbittliche Logik des Rechtswesens. Moderne Sprachmodelle agieren nicht auf Basis von Logik, Kausalität oder gar einem echten Verständnis für Gesetzestexte. Sie sind hochkomplexe Rechenmaschinen, die Wörter nach reinen statistischen Wahrscheinlichkeiten aneinanderreihen. Das führt systemimmanent zu sogenannten Halluzinationen: Die KI erfindet frei Hand Behauptungen, die sprachlich brillant und absolut fehlerfrei klingen, inhaltlich aber völliger Unsinn sind.

Im behördlichen Kontext bedeutet das, dass Algorithmen nicht existierende Paragrafen erfinden oder Sachverhalte komplett entstellen könnten. Empirische Untersuchungen im juristischen Bereich zeigen hohe Halluzinationsraten von 17 bis 33 Prozent. Internationale Datenbanken listen schon heute etliche Gerichtsverfahren auf, in denen Parteien auf solche KI-Lügen hereingefallen sind – auch in Österreich. Wenn ein Bürger auf Basis einer solchen halluzinierten Auskunft eine Frist verpasst oder seinen Antrag falsch formuliert, ist das Recht auf ein faires Verfahren nach Artikel 6 der Europäischen Menschenrechtskonvention (EMRK) nur noch eine leere Hülle.

Eng verwoben mit dieser Fehleranfälligkeit ist das berüchtigte Black-Box-Phänomen. Warum eine lernende KI eine bestimmte Entscheidung trifft, lässt sich im Nachhinein mathematisch oft gar nicht mehr rekonstruieren. Weder die Betroffenen noch eine Kontrollinstanz können nachvollziehen, welche Faktoren der Algorithmus wie gewichtet hat.

Ein funktionierender Rechtsstaat lebt jedoch von der transparenten Begründung seiner Akte. Lässt sich eine Entscheidung nicht durchleuchten, wird effektiver Rechtsschutz zur Illusion. Dazu kommt die Gefahr der unbewussten Diskriminierung. KI-Systeme spiegeln die Vorurteile und Ungleichheiten wider, die in ihren historischen Trainingsdaten stecken. Sie sortieren Menschen nach Mustern aus, was im schlimmsten Fall zu einer systematischen Benachteiligung bestimmter Bevölkerungsgruppen führt, die unentdeckt bleibt. Der verfassungsrechtlich verankerte Gleichheitssatz wird damit im digitalen Raum still und leise ausgehebelt.

Die wohl brisanteste Passage der Novelle verbirgt sich in den geplanten Korrekturmechanismen. Da die Bundesregierung um die Fehleranfälligkeit der Technologie weiß, will sie den Behörden weitreichende Rechte einräumen, automatisiert ergangene Bescheide noch Monate später von Amts wegen aufzuheben oder abzuändern. Was oberflächlich nach verantwortungsvoller Fehlerkorrektur aussieht, ist eine handfeste Verlagerung des Betriebsrisikos auf die Bürger. Der Staat zieht sich laut epicenter.works aus der Verantwortung, indem er fehlerhafte Bescheide sehenden Auges in Kauf nimmt, weil er sie ja später wieder einkassieren kann.

Die Zeche für die dadurch entstehende Planungsunsicherheit und geplatzte Projekte zahlten die Betroffenen, warnen die Bürgerrechtler. Gleichzeitig werde der Rechtsschutz extrem verknappt: Wer sich gegen eine automatisierte Entscheidung wehren wolle, müsse dies innerhalb einer extrem kurzen Frist von zwei Wochen tun. Da Laien Fehler in KI-Texten fkaum erkennen könnten, sei das eine Farce. Auch das theoretische Widerspruchsrecht drohe zu verpuffen: Da algorithmische Verfahren rasend schnell gingen, würden viele Menschen zähneknirschend auf den Widerspruch verzichten, nur um die monatelange Wartezeit einer manuellen Nachprüfung durch einen echten Beamten zu umgehen.

Völlig unverständlich bleibt laut der Eingabe, warum Österreich diesen massiven Digitalisierungsschritt wagen will, ohne die dafür notwendigen Kontrollorgane aufzubauen. Bis heute gibt es keine unabhängige KI-Aufsichtsbehörde im Land, obwohl der europäische AI Act eine solche zwingend vorschreibt. Ob die Systeme rechtmäßig agieren, sollen die Behörden laut Entwurf im Wesentlichen selbst kontrollieren – eine reine Alibi-Maßnahme bei einer Technologie, deren Fehlfunktionen strukturell unsichtbar sind.

Epicenter.works fordert stattdessen eine unnachgiebige, unabhängige Vorabprüfung jedes Algorithmus und ein transparentes, öffentliches Register aller staatlich eingesetzten Systeme, wie es Spanien bereits erfolgreich aufgebaut hat. Besonders sensible Materien wie das Asylrecht, in denen es um existenzielle Fragen von Leib und Leben geht, müssten per Gesetz strikt von jeglicher Automatisierung ausgenommen werden. Nicht zuletzt dürfe die fortschreitende Digitalisierung nicht zu einem sozialen Ausschluss führen.

Stefan Krempl