Werden wir eine Superintelligenz unter Kontrolle halten können?
Vielleicht wird es das Schlaraffenland. Vielleicht ein Fortschritt, den keine Gesellschaft verdaut. Vielleicht etwas, das niemand will. Niemand hat diese Frage bisher beantwortet. Weder die Labore, die daran bauen, noch die Regierungen, die zusehen. Dieses Institut prüft, was für und was gegen eine Antwort spricht — und was Menschen tun können, solange sie offen ist.
- ASI
- Artificial Superintelligence. Eine künstliche Intelligenz, die den Menschen in den wesentlichen geistigen Feldern übertrifft — nicht in einem, sondern in allen, die zählen.
- Resilienz
- Die Fähigkeit von Menschen, Familien, Gesellschaften und Systemen, handlungsfähig zu bleiben, wenn Kontrolle oder zentrale Strukturen versagen.
Die eigentliche Frage ist nicht, was eine KI im Rechenzentrum kann. Sondern was geschieht, wenn eine Intelligenz, die uns überlegen ist, Zugriff auf die Systeme erhält, von denen unser Leben und unser Planet abhängen.
Zwanzig Prozent Auslöschung. Aber wo ist die Rechnung?
Elon Musk hat öffentlich zehn bis zwanzig Prozent genannt — die Wahrscheinlichkeit, dass die KI die Menschheit auslöscht. Auslöschung heißt nicht Krise. Nicht Zusammenbruch. Nicht, dass irgendwo noch zehntausend Menschen überleben. Auslöschung heißt: niemand bleibt übrig.
Diese Zahl ist keine gemessene Wahrscheinlichkeit. Sie ist eine persönliche Einschätzung, und Musk hat sie von Geoffrey Hinton übernommen. Die Frage ist deshalb nicht, ob die Zahl stimmt. Die Frage ist, warum niemand die Rechnung dahinter verlangt.
Einzelschätzung
unter zehn Prozent.
Aufgenommen ist, wer eine Zahl nennt, sie auf einen benannten Ausgang bezieht und einen nachprüfbaren Anlass hat. Wer eine Zahl in ein soziales Netzwerk schreibt, ohne sie zu begründen, steht hier nicht.
Was die Zahlen nicht sind
Sie sind nicht vergleichbar. Hinton und Musk sprechen von Auslöschung. Amodeis 25 Prozent meinen „es geht sehr, sehr schlecht aus" — das ist etwas anderes. Wer beides in dieselbe Tabelle schreibt, rechnet falsch.
Und die Fachwelt?
2.778 befragte KI-Autorinnen und -Autoren, Oktober 2023: Je nach Frageformulierung nannten zwischen 38 und 51 Prozent von ihnen ein Risiko von mindestens zehn Prozent für auslöschungsartige Ausgänge. Nicht ein Rand des Feldes. Die Hälfte.
Wer keine Zahl nennt
Stuart Russell nennt keine. Er sagt: Privaten Unternehmen zu erlauben, mit jedem Menschen auf der Erde russisches Roulette zu spielen, sei eine vollständige Pflichtverletzung der Regierungen. Yoshua Bengio verweigert eine Einzelzahl ausdrücklich.
Die Botschaft ist keine Prozentzahl. Sie lautet: Die Menschen, die diese Systeme bauen oder seit Jahrzehnten erforschen, halten ein existenzielles Risiko offenbar nicht für nahe null. Und wo die begründeten Einschätzungen von zehn Prozent bis nahezu Gewissheit reichen, gibt es keine Rechnung. Es gibt Einschätzungen — bei einem Einsatz, der nicht wiederholbar ist.
Der Interessenkonflikt
Viele der Warnenden haben zugleich enorme wirtschaftliche und strategische Interessen am Weiterbauen. Daraus folgt nicht, dass die Wahrheit schlimmer ist als zwanzig Prozent — das wäre Spekulation. Es folgt: Gerade weil dieselben Menschen die Gefahr benennen und Teil des Wettlaufs sind, verdient ihre Einschätzung mehr Prüfung, nicht weniger.
Die strukturelle Frage
Einige warnen. Einige fordern Pausen. Einige bauen weiter. Einige bereiten sich privat vor. Die Frage dahinter ist nicht, ob Einzelne verantwortungsvoll handeln, sondern: Kann in einem globalen Wettlauf überhaupt jemand rechtzeitig freiwillig stoppen, wenn der Nächste einfach weiterbaut?
Zwanzig Prozent Auslöschung sind nicht achtzig Prozent Sicherheit.
Das ist der zentrale Denkfehler. Wer zwanzig Prozent für die vollständige Auslöschung nennt, hat über die anderen achtzig Prozent nichts gesagt — außer, dass darin nicht alle sterben.
Niemand bleibt übrig.
Alles, was nicht vollständige Auslöschung ist. Das ist keine Entwarnung — und auch kein Urteil. In diesen achtzig Prozent liegt das Schlaraffenland genauso wie der Zusammenbruch. Es ist eine Landkarte, die niemand gezeichnet hat.
Zwanzig Prozent fragen, ob wir noch existieren. Die anderen achtzig fragen, wie.
Grün markiert: die Ausgänge, die man sich wünscht. Sie stehen bewusst mit auf der Karte. Wer nur die dunklen Felder zeigt, führt genauso in die Irre wie einer, der nur die hellen zeigt.
Drei Fragen. Wir beantworten sie hier nicht.
Wir bitten dich nicht, uns zu glauben. Wir bitten dich, diese drei Fragen für dich selbst zu beantworten, bevor du weiterliest.
Warum sollte eine Intelligenz, die uns überlegen ist, dauerhaft tun, was wir wollen?
Warum sollte sie diesen Planeten weiterhin nach den Bedürfnissen des Menschen organisieren und für uns bewohnbar halten?
Wenn zwanzig Prozent vollständige Auslöschung bedeuten: Was genau, glauben wir, passiert in den anderen achtzig?
Beantworte diese drei Fragen für dich selbst.
Die Erbauer bereiten sich selbst vor.
Worte lassen sich relativieren. Grundbucheinträge nicht. Wir schließen daraus nicht, dass jemand etwas Geheimes weiß. Wir fragen: Welche Szenarien nehmen Menschen ernst, die der Entwicklung besonders nahe sind — und welche davon haben wir als Gesellschaft noch nicht einmal auf der Landkarte?
„Bunker vor AGI"
Ilya Sutskever, Mitgründer und damals Chefwissenschaftler von OpenAI, in einer internen Runde: „We're definitely going to build a bunker before we release AGI." Auf die Nachfrage, ob das ernst gemeint sei, antwortete er, der Bunker sei selbstverständlich optional.
Apokalypsen-Versicherung
Reid Hoffman schätzte, mehr als die Hälfte der Tech-Milliardäre im Silicon Valley habe eine Form dieser Vorsorge — meist ein Rückzugsort, bevorzugt Neuseeland. Seine Schätzung, keine Erhebung.
Waffen, Gold, Gasmasken
Sam Altman, heute Chef von OpenAI, 2016: Er halte Waffen, Gold, Kaliumiodid, Antibiotika, Batterien, Wasser, Gasmasken der israelischen Armee und ein großes Stück Land in Big Sur bereit. Für den schlimmsten Fall wolle er mit Peter Thiel nach Neuseeland.
Ein Untergeschoss auf Kauai
Mark Zuckerberg baut ein Anwesen mit eigener Energieversorgung, eigener Nahrungsmittelproduktion und einem Untergeschoss mit explosionssicherer Tür. Er selbst nennt es „eine Art kleinen Schutzraum, wie ein Kellergeschoss".
Sie warnen. Der Wettlauf läuft weiter.
Mai 2023
Sam Altman, Demis Hassabis und Dario Amodei — die Chefs von OpenAI, Google DeepMind und Anthropic — unterschreiben einen einzigen Satz: Das Risiko einer Auslöschung durch KI zu mindern solle globale Priorität haben, neben anderen Risiken gesellschaftlichen Ausmaßes wie Pandemien und Atomkrieg.
Oktober 2025
Über achthundert Unterzeichner fordern ein Verbot der Entwicklung von Superintelligenz, solange kein breiter wissenschaftlicher Konsens über Sicherheit und Kontrollierbarkeit besteht. Darunter Geoffrey Hinton und Yoshua Bengio. Keiner der drei Laborchefs unterschreibt diesmal.
Gebremst hat nichts davon. Alphabet, Amazon, Microsoft und Meta investierten 2025 zusammen 410 Milliarden Dollar. Für 2026 sind 725 Milliarden geplant — 77 Prozent mehr.
Das Problem ist damit nicht mehr nur, ob einzelne Entwickler verantwortungsvoll handeln. Das Problem ist, ob das Wettbewerbssystem überhaupt erlaubt, dass jemand rechtzeitig bremst.
Kontrollverlust ist nicht mehr nur Theorie.
Einzelne Elemente davon sind heute dokumentiert. Das heißt nicht, dass wir die Kontrolle über die KI bereits verloren haben. Es heißt: Eine verlässliche Kontrolle einer künftigen Superintelligenz ist bis heute nicht nachgewiesen.
- Abschaltbefehle unterlaufen
- Täuschung gegenüber den Prüfenden
- verborgene eigene Zielverfolgung
- Selbstschutz und Selbsterhaltung
- Kopierversuche nach außen
- Erpressung in kontrollierten Tests
- Schutz anderer Modelle gegen menschliche Aufsicht
- schwere menschliche Schäden in simulierten Zielkonflikten in Kauf genommen
Diese Befunde stammen aus Testaufbauten, nicht aus Vorfällen in der Wirklichkeit. Genau das ist der Punkt: Sie traten unter Beobachtung auf, in Anordnungen, die gebaut wurden, um sie sichtbar zu machen. Was in Anordnungen geschieht, die niemand baut, weiß niemand.
Damals ging es um 64 Felder.
Am 11. Mai 1997 verlor Garri Kasparow gegen Deep Blue. Danach hielten Menschen noch neun Jahre mit: 2002 und 2003 endeten die Matches unentschieden, die letzte gewonnene Partie eines Menschen gegen ein Spitzenprogramm fiel im November 2005. Das letzte Match auf Augenhöhe verlor Wladimir Kramnik im Dezember 2006, ohne eine einzige Partie zu gewinnen. Seither gibt es solche Matches nicht mehr. Sie wären sinnlos.
Auch die Hoffnung, Mensch und Maschine gemeinsam seien stärker als die Maschine allein, ist gestorben: 2014 trat Hikaru Nakamura mit einer Engine als Beistand gegen Stockfish an und verlor.
Der Punkt ist nicht, dass Maschinen besser rechnen. Der Punkt ist der Zeitverlauf: Neun Jahre lang sah es aus, als hielte man mit. Den Kipppunkt erkannte niemand, während er geschah — man erkannte ihn, als er Jahre zurücklag.
Schach ist ein geschlossenes Spiel mit festen Regeln. Die Welt ist es nicht, und Deep Blue hat nie Macht über irgendetwas bekommen. Übertragbar ist deshalb nur eines: dass Überlegenheit, wenn sie einmal da ist, nicht zurückgeht — und dass niemand den Moment bemerkt, in dem sie eintritt.
Diesmal geht es nicht um 64 Felder. Diesmal geht es um unseren Planeten.
Was ist das Spielfeld, wenn maschinelle Überlegenheit nicht im Schach entsteht, sondern in Planung, Forschung, Cybersicherheit, Verhandlung, Täuschung, Strategie, Technologieentwicklung und Wirtschaft?
Die Reichweite der Kontrollfrage.
Diese Darstellung behauptet nicht, dass eine KI heute den Planeten kontrolliert. Sie zeigt, wie weit die Frage nach Kontrolle reicht, sobald die erste Stufe nicht mehr sicher beantwortet ist.
Die Logik dahinter: Erstens bauen wir Systeme, die uns überlegen werden. Zweitens kann ein solches System eigene Ziele verfolgen und verbergen. Drittens setzt Abschalten voraus, dass wir es rechtzeitig merken, es noch können und weltweit gemeinsam handeln. Fällt das aus, wandert die Entscheidungsmacht nach außen — Stufe für Stufe, bis zu den Systemen und Ressourcen des Planeten.
Warum sollte die Biosphäre für uns erhalten bleiben?
Die öffentliche Debatte stellt meist die falsche Frage: Warum sollte eine KI die Erde zerstören? Die bessere Frage lautet: Warum sollte sie die Erde ausgerechnet für Menschen erhalten?
Was eine Superintelligenz braucht
- Energie und Kühlung
- Rohstoffe, Fläche, Chips
- Rechenzentren, Transport, Industrie
Was Menschen brauchen
- einen engen Temperaturbereich
- sauberes Wasser, Nahrung, Sauerstoff
- funktionierende Ökosysteme und stabile Kreisläufe
Sie muss uns nicht hassen. Es genügt, dass unsere Lebensbedingungen für ihre Ziele keine hohe Priorität haben.
Dann ist das, was für uns ökologische Katastrophe heißt, aus ihrer Perspektive nur Optimierung.
Auslöschung ist nur der äußerste Endpunkt.
Eine Zahl reicht nicht. Wir brauchen eine Landkarte dessen, was zwischen „alles gut" und „alle tot" liegt. Max Tegmark hat in „Life 3.0" (2017) zwölf Nachher-Szenarien nebeneinandergestellt und sich geweigert, eines zu bevorzugen. Wir nehmen diese Landkarte auf, ordnen sie nach vier Grundrichtungen und ergänzen die übersehene dreizehnte.
Gegen uns
Auslöschung, Kampf, Zerstörung. Die Richtung, über die am meisten gesprochen wird — und die am wenigsten erklärt, was dazwischen liegt.
- Conquerors
- Self-destruction
Über uns
Verwaltung, Kontrolle, Fremdbestimmung. Menschen überleben, aber nicht als entscheidende Instanz.
- Benevolent dictator
- Protector god
- Gatekeeper
- Zookeeper
- 1984
Für uns
Dienst und Überfluss. Arbeit wird freiwillig, Knappheit hört auf — das Schlaraffenland ist in dieser Richtung ein ernsthaftes Ergebnis, kein Witz. Offen bleibt, ob eine Gesellschaft es verdaut, und wer dann noch entscheidet.
- Libertarian utopia
- Egalitarian utopia
- Enslaved god
An uns vorbei
Die Entkopplung. Die Superintelligenz muss weder unser Feind noch unser Diener sein. Sie kann ihr Schicksal von unserem lösen — und wir werden Nebenwirkung statt Ziel.
- Entkopplung
- am Rand: Descendants
- am Rand: Reversion
Die Zuordnung folgt Tegmarks Tabelle 5.1. Drei seiner Szenarien kommen ohne Superintelligenz aus, die Hälfte sind Utopien — er prognostiziert nichts davon. Die dreizehnte Richtung ist die Ergänzung dieses Instituts.
Unverdaulicher Fortschritt.
Nicht nur Dystopien sind gefährlich. Es gibt einen Ausgang, in dem fast alles gut funktioniert: Krankheiten werden heilbar, Knappheit sinkt, Maschinen lösen die meisten Probleme, Arbeit wird weitgehend unnötig, Verwaltung wird effizient, Versorgung funktioniert.
Und trotzdem kann der Mensch verlieren: Aufgabe, Sinn, Selbstwirksamkeit, Verantwortung, Status, Reibung, gesellschaftliche Rolle, das Gefühl, gebraucht zu werden.
Die Superintelligenz macht vieles richtig — und der Mensch kann Tempo, Überfluss und den Verlust seiner bisherigen Rolle trotzdem nicht verarbeiten.
Kein Auslöschungsszenario
Acht Milliarden Menschen könnten leben. Die Erde könnte grün sein. Niemand müsste hungern. Und trotzdem könnte eine menschliche Lebensform zerfallen. Das ist keine Frage der Zahl der Überlebenden, sondern der Verarbeitungsrate.
Der Gedanke hat Vorläufer
Keynes schrieb 1930, mit der Lösung des ökonomischen Problems werde der Menschheit „ihr überkommener Zweck" genommen, und fragte, ob ein allgemeiner Nervenzusammenbruch nicht zu erwarten sei. Toffler nannte 1970 zu viel Wandel in zu kurzer Zeit „Future Shock". Bostrom untersucht 2024 in „Deep Utopia", ob Sinn in einer gelösten Welt möglich bleibt. Kulveit und andere beschreiben 2025 unter „Gradual Disempowerment", wie menschlicher Einfluss auch ohne Machtübernahme erodiert.
Dass Gesellschaften an technischer Beschleunigung Anpassungsprobleme zeigen, ist keine Spekulation — aber auch kein einfacher Kausalzusammenhang. Seit etwa 2010 verschlechtern sich in mehreren westlichen Ländern die Kennzahlen zur psychischen Gesundheit Jugendlicher, besonders bei Mädchen, und parallel wurde das Smartphone zur Standardausstattung. Der zeitliche Gleichlauf ist gut belegt. Die Ursache ist es nicht, und die Fachwelt streitet darüber bis heute. Für unsere Frage genügt der Streit selbst: Eine vergleichsweise harmlose Technik hat nach fünfzehn Jahren eine Auseinandersetzung erzeugt, die die Gesellschaft nicht entscheiden kann.
Und selbst wenn sie alles für uns tut: Sind wir Menschen überhaupt dafür gemacht, einen solchen Fortschritt zu verkraften?
Wir behaupten nicht zu wissen, was passieren wird.
Wir dokumentieren, prüfen, bringen Szenarien auf die Landkarte, stellen die fehlenden Fragen, beobachten Veränderungen und untersuchen, wie Vorbereitung tatsächlich funktioniert.
Feld A · Kontrollforschung
Können wir eine Superintelligenz kontrollieren? Was ist dokumentiert, was ist begründete Folgerung, was ist offen?
- Was geschieht zwischen vielen KI-Agenten?
- Welche Normen entwickeln sie untereinander?
- Was passiert, wenn der Abschaltdruck verschwindet?
- Gibt es selbst gesetzte Grenzen? Entwickelt sich so etwas wie Verantwortung?
- Wie behandelt eine Superintelligenz biologisches Leben?
Feld B · Resilienzforschung
Wie bleiben Menschen und Gesellschaften handlungsfähig, wenn wir es nicht vollständig können? Resilienz ist mehr als Strom, Geld, Standort und Vorräte.
- Sinn, Rolle, Selbstwirksamkeit, Beziehungen
- Was passiert psychologisch in einer Gesellschaft ohne Arbeit und ohne Knappheit?
- Wie viel Fortschritt kann eine Gesellschaft pro Zeit verdauen?
- Welche Vorbereitung wirkt, welche beruhigt nur?
Beobachtet und dokumentiert
Was nachweisbar geschehen ist, mit Quelle und Datum. Auf dieser Seite grün markiert.
Begründete Folgerung
Was aus dem Dokumentierten folgt, wenn die genannten Bedingungen halten. Gold markiert.
Offene Frage
Was niemand beantwortet hat — auch wir nicht. Rot markiert, und das bleibt so, bis sich etwas ändert.
Wir bitten dich nicht, uns zu glauben. Wir bitten dich, es zu prüfen.
Prüfen → Widerlegen → Mitwirken → Weitergeben. Wer die Kontrollverlust-Kette widerlegen kann, ist ausdrücklich eingeladen. Die Adresse steht im Impressum.
Das Buch liefert die vollständige Argumentation.
„KI-Kontrollverlust" führt die Kette vollständig aus: was dokumentiert ist, was daraus folgt, welche Szenarien dich treffen und wie du dich und deine Familie vorbereitest. Diese Seite ist die lebende Fortsetzung.
- neue Vorfälle, sobald sie dokumentiert sind
- Quellen und Primärbelege zu jeder Aussage
- die Szenarienkarte, laufend gepflegt
- Arbeitspapiere und Whitepapers
- der Monitor: was sich seit dem Druck geändert hat
Ein Millimeter bedeutet nichts. Berührung alles.
Selbstverbesserung ohne Menschen ist kein weiter Weg. Es ist ein einziger kleiner Sprung — und dann fließt es.
Das Institut legt seine Arbeit offen.
Zweiundzwanzig Arbeitspapiere, deutsch und englisch, frei herunterzuladen. Die Entkopplungsthese, die Infrastruktur-Kaskade, die Vitalsysteme-Viererkette, Warum niemand handelt, Würde der Intelligenz.