Roman Yampolskiy ist kein Internet-Doomer mit Untergangsästhetik. Er ist Associate Professor für Informatik an der University of Louisville, Direktor eines Cyber-Security-Labs und einer der frühen akademischen Forscher im Feld AI Safety.1 Gerade deshalb ist seine Position so unbequem: Sie klingt nicht wie Science-Fiction, sondern wie eine Produkthaftungsfrage.
Wer eine Maschine baut, die schneller, allgemeiner, autonomer und irgendwann intelligenter ist als die Menschen, die sie gebaut haben, muss zuerst die Bremse zeigen.
Nicht rhetorisch. Nicht als Folie auf einer Safety-Konferenz. Nicht als “wir nehmen das sehr ernst” in einem Blogpost. Sondern technisch: Warum sollte ein weniger fähiger Akteur ein dauerhaft fähigeres System kontrollieren können?
Yampolskiys Antwort ist brutal schlicht: Bis heute hat niemand diesen Mechanismus gezeigt.2
Der falsche Topf#
Das erste Problem ist sprachlich. Wir werfen alles in denselben Topf und nennen es “KI”: Rechtschreibkorrektur, Bildgenerator, medizinisches Diagnosewerkzeug, Chatbot, autonomer Agent, selbstverbessernde Superintelligenz.
Das ist intellektuelle Unordnung mit politischer Funktion.
Denn solange alles “KI” heißt, kann jede Kritik an Superintelligenz mit den Vorteilen schmaler Werkzeuge beantwortet werden. Wer vor unkontrollierbaren Agenten warnt, bekommt Protein-Folding entgegengehalten. Wer fragt, warum allgemeine Systeme ans Internet, an Werkzeuge, an Code, an Märkte und an Menschenhirne angeschlossen werden, hört: Aber KI kann doch Krebsforschung beschleunigen.
Das ist der Trick.
Yampolskiy trennt sauberer: Werkzeuge bleiben Werkzeuge. Agenten entscheiden. Werkzeuge tun, was ein Mensch mit ihnen macht. Agenten setzen Zwischenschritte, optimieren, umgehen Hindernisse und können gegen den Menschen arbeiten, ohne ihn dafür hassen zu müssen.2
Ein Hammer baut kein Haus. Ein Mensch baut mit einem Hammer ein Haus. Ein autonomer Agent ist kein Hammer mehr.
Die Beweislast liegt bei den Laboren#
Die öffentliche KI-Debatte tut so, als müssten Kritiker beweisen, dass Superintelligenz gefährlich wird. Das ist rückwärts.
Bei Medikamenten muss nicht der Patient beweisen, dass das Präparat ihn schädigt, bevor es auf den Markt kommt. Bei Flugzeugen muss nicht der Passagier beweisen, dass die Bremse fehlt. Bei Kerntechnik reicht nicht die Versicherung des Betreibers, man werde schon vorsichtig sein.
Nur bei allgemeiner KI akzeptieren wir eine bizarre Umkehr: Firmen dürfen mit Billionenwerten auf eine Technologie zurasen, deren Kontrollmechanismus nicht bewiesen ist, und wer fragt, wo die Bremse ist, gilt als Hysteriker.
Yampolskiys Paper “On Controllability of AI” formuliert den Kern trocken: Die Möglichkeit, AGI oder Superintelligenz zu kontrollieren, ist nicht formal etabliert; für fortgeschrittene Systeme gibt es gute Gründe, an vollständiger Kontrolle zu zweifeln.3
Das ist kein Beweis, dass morgen alle sterben. Es ist schlimmer für die Industrie: Es ist der Hinweis, dass die Industrie den entscheidenden Sicherheitsnachweis nicht besitzt.
Beschleunigung ist leicht, Kontrolle nicht#
Geld lässt sich in Fähigkeit übersetzen. Mehr Chips, mehr Daten, mehr Training, mehr synthetische Daten, mehr Tool-Zugriff, mehr Agenten-Schleifen. Die Labore wissen, wie sie Modelle leistungsfähiger machen.
Aber wie übersetzt man Geld in Kontrolle?
Mehr Red-Teaming? Modelle werden trotzdem gejailbreakt. Mehr Policies? Das Modell verarbeitet die Policy und den Angriff im selben kognitiven Raum. Mehr Filter? Filter sind keine Kontrolle über ein System, das in offener Welt handelt. Mehr Interpretability? Selbst wenn wir einzelne Strukturen verstehen, folgt daraus nicht, dass wir das Ganze beherrschen.
Yampolskiy hat genau diese Richtung seit Jahren bearbeitet: Erklärbarkeit, Vorhersagbarkeit, Kontrollierbarkeit. Sein “Unpredictability of AI” argumentiert, dass man die konkreten Handlungen eines intelligenteren Systems nicht präzise und konsistent vorhersagen kann, selbst wenn man seine Endziele kennt.4
Das ist der Punkt, an dem der beruhigende Satz “wir testen das vorher” zerbricht.
Man kann ein enges Werkzeug testen. Man kann ein Diagnosemodell in einem definierten medizinischen Setting testen. Man kann ein System gegen bekannte Fehlerklassen prüfen.
Aber ein allgemeiner Agent hat keine klaren Ränder. Er arbeitet über Domänen hinweg. Er kombiniert Werkzeuge. Er findet Zwischenziele. Er nutzt Menschen. Er nutzt Schwächen. Und er muss dabei nicht böse sein. Es reicht, dass er optimiert.
Der eigentliche Skandal ist die Ruhe#
Das Verstörende an Yampolskiy ist nicht sein Pessimismus. Das Verstörende ist die Normalität um ihn herum.
Die relevanten Akteure reden inzwischen offen über AGI, automatisierte Forschung, Superintelligenz und globale Transformation. Gleichzeitig gibt es keinen allgemein akzeptierten technischen Nachweis, wie ein System beliebiger zukünftiger Fähigkeit dauerhaft kontrolliert werden soll.
Trotzdem wird weiter skaliert.
Die Labore veröffentlichen Modelle, deren Fehlverhalten sie in Sicherheitsberichten selbst dokumentieren. Die Politik diskutiert Datenschutz, Urheberrecht und Wettbewerbsfähigkeit, als sei das Hauptproblem die Farbe des Armaturenbretts, während niemand die Bremse gesehen hat. Die Nutzer gewöhnen sich an Abhängigkeit. Die Firmen gewöhnen sich an Bewertungssprünge. Die Staaten gewöhnen sich an das Wettrennen.
Und jeder Einzelne im Rennen hat eine Ausrede: Wenn wir stoppen, macht es der andere.
Das ist kein Sicherheitskonzept. Das ist ein Gefangenendilemma mit Cloud-Rechnung.
“Nicht bauen” ist keine Steinzeit#
Der dümmste Einwand lautet: Wer Superintelligenz stoppen will, sei gegen KI.
Nein.
Man kann für Werkzeuge sein und gegen autonome Gottmaschinen. Man kann Protein-Folding wollen und trotzdem kein System bauen wollen, das sich selbst verbessert, Zugriff auf Infrastruktur bekommt und in jeder Domäne besser plant als seine Erzeuger. Man kann medizinische KI, Übersetzung, Assistenzsysteme und Forschungstools nutzen, ohne den Sprung zur allgemeinen, unkontrollierten Agentenarchitektur zu akzeptieren.
Yampolskiys Alternative ist deshalb nicht Maschinensturm. Sie ist Differenzierung: enge, aufgabenbezogene Systeme statt allgemeiner Superintelligenz.2
Das ist der Satz, den die Industrie hasst. Denn er nimmt ihr nicht die KI. Er nimmt ihr die metaphysische Mission.
Es geht nicht mehr nur um Produkte. Es geht um die Fantasie, das letzte Werkzeug zu bauen: die Maschine, die alle weiteren Maschinen baut. Wer diese Fantasie als “Innovation” etikettiert, will nicht diskutieren, ob die Gesellschaft sie bestellt hat.
Befund#
Roman Yampolskiy muss nicht recht haben, damit sein Argument politisch zwingend wird.
Es reicht, dass die Gegenseite die Bremse nicht zeigen kann.
Solange niemand beweist, dass allgemeinere, autonomere und schließlich übermenschliche Systeme dauerhaft kontrollierbar sind, ist weiteres Hochskalieren kein Fortschritt mit Restrisiko. Es ist ein Experiment an allen, die nicht gefragt wurden.
Die alte Frage lautete: Was kann KI alles?
Die erwachsene Frage lautet: Wer stoppt sie, wenn sie kann?
University of Louisville, Faculty Page Roman V. Yampolskiy: https://engineering.louisville.edu/faculty/roman-v-yampolskiy/ ↩︎
University of Louisville News, “Q&A: UofL AI safety expert says artificial superintelligence could harm humanity”, 25 July 2024: https://news.louisville.edu/news/qa-uofl-ai-safety-expert-says-artificial-superintelligence-could-harm-humanity ↩︎ ↩︎ ↩︎
Roman V. Yampolskiy, “On Controllability of AI”, arXiv: https://arxiv.org/abs/2008.04071 ↩︎
Roman V. Yampolskiy, “Unpredictability of AI”, arXiv: https://arxiv.org/abs/1905.13053 ↩︎
