Stell dir vor, du wartest seit Monaten auf deine Baubewilligung. Der Bescheid kommt: bewilligt. Du planst weiter, unterschreibst Verträge, der Baustart rückt näher.

Monate später wird der Bescheid aufgehoben. Eine Routinekontrolle hat ergeben, dass die automatisierte Entscheidung auf einer fehlerhaften oder halluzinierten KI-Bewertung beruhte. Was als Fortschritt begonnen hat, endet in Rechtsunsicherheit und zusätzlichen Kosten. Das ist der mögliche Alltag, wenn die geplante AVG-Novelle (Allgemeines Verwaltungsverfahrensgesetzes) so beschlossen wird.

Halluzinierende Systeme, rechtskräftige Bescheide

Das technische Problem, das der Entwurf weitgehend ignoriert: Large Language Models erfinden Dinge. Nicht aus böser Absicht, sondern strukturell. Sie erzeugen Inhalte auf Basis statistischer Wahrscheinlichkeiten, nicht aus echtem Verständnis. Das bedeutet, sie können Informationen erfinden, die plausibel klingen, aber schlicht falsch sind: nicht existierende Rechtsgrundlagen, verfälschte Sachverhalte, erfundene Präzedenzfälle.

Das ist keine theoretische Befürchtung. Empirische Untersuchungen zeigen, dass selbst spezialisierte juristische KI-Systeme im professionellen Rechtskontext Halluzinationsraten von rund 17 bis 33 Prozent aufweisen. Es gibt bereits eine internationale Datenbank mit Gerichtsurteilen, in denen Parteien auf von KI erfundene Rechtsquellen vertraut haben – auch mit Österreich-Bezug.

Wenn Bürger:innen aufgrund einer falschen KI-Auskunft eine Frist versäumen oder einen Antrag falsch stellen (ohne den Fehler erkennen zu können) ist das kein faires Verfahren im Sinne von Art. 6 EMRK.

Die Black Box entscheidet

Eng damit verbunden ist das Black-Box-Problem. Automatisierte Bescheide sind nicht nur fehleranfällig, sie sind strukturell nicht vollständig erklärbar. Weder Betroffene noch Aufsichtsstellen können nachvollziehen, warum ein System zu einem bestimmten Ergebnis gekommen ist. Das widerspricht einem Grundprinzip des Rechtsstaats: Entscheidungen müssen nachvollziehbar sein. Sonst ist Rechtsschutz eine Fassade.

Dazu kommt das Risiko systematischer Verzerrungen: KI-Systeme reproduzieren die Ungleichheiten ihrer Trainingsdaten. Das kann bedeuten, dass Menschen mit Migrationshintergrund oder andere strukturell benachteiligte Gruppen systematisch schlechter gestellt werden und niemand bemerkt es, weil das System es nicht transparent macht. Art. 7 B-VG, der Gleichheitssatz, wäre verletzt. Still und leise.

Wer trägt das Risiko?

Die problematischste Stelle des Entwurfs ist § 68 Abs. 2a AVG: Fehlerhafte automatisierte Bescheide können noch viele Monate nach Erlassung aufgehoben werden, in einer Variante sogar ohne konkreten Fehler im Einzelfall, um auf "systemische Fehler" zu reagieren. Was nach Fehlerkorrektur klingt, ist Risikoverlagerung: Der Staat nimmt Fehler in Kauf, weil er sie später korrigieren kann. Die Konsequenzen wie Planungsunsicherheit, verzögerte Projekte, verlorene Zeit, tragen die Bürger:innen.

Der Entwurf sieht zwar ein Widerspruchsrecht vor, reagiert werden muss auf die automatisierten Entscheidungen aber innerhalb von zwei Wochen. Eine sehr kurze Frist, besonders weil Fehler in KI-Entscheidungen für Laien häufig nicht so leicht erkennbar sind. Das formal vorhandene Widerspruchsrecht nach § 18a Abs. 5 AVG ist da wenig tröstlich: Weil automatisierte Verfahren schneller gehen als manuell bearbeitete, werden sich viele Betroffene gezwungen sehen, auf einen Widerspruch zu verzichten – nicht aus Überzeugung, sondern weil sie die längere Wartezeit scheuen. Ein Recht, das faktisch nicht ausgeübt werden kann, ist kein Grundrechtsschutz.

Was fehlt: Kontrolle, Grenzen, Transparenz

Österreich hat bis heute keine unabhängige Aufsichtsbehörde für KI in der Verwaltung, obwohl der EU AI Act genau das vorsieht. Der Entwurf löst dieses Problem nicht, er verschärft es: Ob Systeme die gesetzlichen Anforderungen erfüllen, sollen im Wesentlichen die Behörden selbst beurteilen. Selbstkontrolle bei einer Technologie, deren Fehler strukturell unsichtbar sind, ist keine wirksame Kontrolle.

Was es bräuchte: verpflichtende unabhängige Vorabprüfung, laufende Kontrollen, ein öffentliches Register aller eingesetzten algorithmischen Systeme. Spanien zeigt, wie das aussehen kann.

Ebenso fehlen klare gesetzliche Grenzen: Bestimmte Verfahren, etwa im Asylrecht, wo über Leib und Leben entschieden wird, dürfen für vollautomatisierte Entscheidungen nicht in Frage kommen. Das sollte nicht eine Verordnung der Ministerin oder des Ministers festlegen, sondern das Parlament.

Und schließlich: Der verstärkte KI-Einsatz darf nicht dazu führen, dass der analoge Zugang zur Verwaltung faktisch wegfällt. Ältere Menschen, Menschen mit Behinderungen, Menschen ohne stabile Internetverbindung, sie alle haben ein Recht auf gleichwertigen Zugang zu staatlichen Leistungen. Technische Barrierefreiheit allein ersetzt das nicht.