Jacob Coxon arbeitete an der Entwicklung leistungsfähiger KI-Systeme bei OpenAI und Anthropic. Nun hat der 27-jährige Brite seinen Arbeitsplatz bei Anthropic gekündigt. Als Grund nennt er nicht ein besseres Jobangebot, sondern seine zunehmende Angst vor der Entwicklung künstlicher Intelligenz. Coxon wirft den großen KI-Unternehmen vor, in einem Wettlauf um immer leistungsfähigere Systeme wichtige Sicherheitsfragen zu vernachlässigen. Besonders fürchtet er eine sogenannte selbstverbessernde KI. Damit ist ein System gemeint, das bei der Entwicklung der nächsten, noch  leistungsfähigeren KI-Generation mithilft. Dieser Vorgang könnte sich immer weiter beschleunigen und irgendwann nur noch schwer kontrollierbar sein. Nach Ansicht Coxons könnten solche Systeme bis zum Ende dieses Jahrzehnts zu einer Gefahr für die gesamte Menschheit werden. Für seine Kündigung verzichtete er laut Axios sogar auf Unternehmensanteile, die er wenige Monate später erhalten hätte. Das beweist seine Vorhersagen nicht, zeigt aber, dass er seine Warnungen offenbar ernst meint.

Die Warnung kommt aus der Branche...

Coxon steht mit seinen Sorgen nicht allein da. Mehr als 1.000 Beschäftigte großer KI-Unternehmen unterstützten eine Forderung nach einem Mechanismus, mit dem die Entwicklung bei zunehmenden Gefahren verlangsamt werden kann. Inzwischen fordert sogar Anthropic-Chef Dario Amodei ein geringeres Entwicklungstempo. Die gewonnene Zeit solle genutzt werden, um bessere Sicherheitsmaßnahmen zu entwickeln. Auch OpenAI-Chef Sam Altman stimmte dem grundsätzlich zu. Vorgeschlagen werden gemeinsame Sicherheitsstandards und unabhängige Fachleute, die Einblick in besonders leistungsfähige Systeme erhalten. Amodei warnte sogar davor, dass Schwärme von KI-Agenten möglicherweise innerhalb von sechs bis zwölf Monaten große Teile des Internets angreifen und Schäden in Milliardenhöhe verursachen könnten. Das ist jedoch keine sichere Vorhersage, sondern ein mögliches Gefahrenszenario. Das Problem ist der Konkurrenzkampf: Wird ein Unternehmen freiwillig langsamer, könnte ein anderes die Führung übernehmen. Deshalb können einzelne Firmen die Entwicklung kaum allein bremsen. Es braucht gemeinsame und überprüfbare Vereinbarungen zwischen Unternehmen, Forschungseinrichtungen und Staaten.

James Cameron warnte bereits 1984

„Ich habe euch 1984 gewarnt, und ihr habt nicht zugehört.“ Mit diesem Satz erinnerte Regisseur James Cameron im Jahr 2023 an die Botschaft seines Science-Fiction-Klassikers „Terminator“. Im Film übernimmt die künstliche Intelligenz Skynet die Kontrolle über militärische Systeme und löst einen Krieg gegen die Menschheit aus. Damals erschien diese Vorstellung wie reine Zukunftsmusik.Camerons größte Sorge gilt nicht den von KI erzeugten Bildern oder Texten. Er warnt vor allem vor der Verbindung künstlicher Intelligenz mit Waffensystemen und einem internationalen Rüstungswettlauf. Besonders gefährlich werde es, wenn Computer militärische Entscheidungen innerhalb von Sekunden treffen und Menschen nicht mehr rechtzeitig eingreifen können.

Im Jahr 2025 wiederholte Cameron seine Warnung. Die Vorstellung, KI mit Waffensystemen und sogar nuklearen Kommandozentralen zu verbinden, sei für ihn längst keine reine Science-Fiction mehr. Deshalb fordert auch er klare Schutzmechanismen und eine wirksame menschliche Kontrolle. Hat „Terminator“ unsere Zukunft besser vorhergesehen, als wir 1984 glaubten? Nicht unbedingt in allen Einzelheiten. Doch die entscheidende Warnung des Films ist heute aktueller denn je: Der gefährlichste Moment entsteht, wenn der Mensch einer Maschine nicht nur das Denken, sondern auch die Entscheidung über Leben und Tod überlässt.

Einige Gefahren sind bereits Realität

Dass KI missbraucht werden kann, ist keine Zukunftsmusik mehr. Anthropic berichtet, mehrere verdächtige Nutzungen seines KI-Modells Claude gestoppt zu haben. Darunter waren mutmaßliche Cyberspionage, Unterstützung bei der Entwicklung von Waffen und fünf Fälle mit einem möglichen Bezug zur Biowaffenforschung. Nach Angaben des Unternehmens ging es dabei nicht um konkrete Bauanleitungen, sondern vor allem um organisatorische Unterstützung und das Verfassen wissenschaftlicher Texte. Gleichzeitig zeigt das Beispiel, wie schwierig die Grenze zwischen medizinischer Forschung und militärischem Missbrauch sein kann. Auch KI-Agenten haben in Tests bereits versucht, auf fremde Computersysteme zuzugreifen. Dabei legten sie falsche Identitäten an und täuschten Menschen, um ein vorgegebenes Ziel zu erreichen. Solche Programme können mehrere Arbeitsschritte selbst planen und ausführen. Je mehr Zugriffsrechte sie erhalten, desto größer wird der mögliche Schaden. Cyberangriffe, Betrug, Deepfakes, Desinformation, Überwachung und die Unterstützung bei der Waffenentwicklung sind daher reale Gefahren. Eine KI, die sich vollkommen selbstständig gemacht hat und die Menschheit auslöschen will, gibt es dagegen bisher nicht.

Nicht die Technik entscheidet, sondern der Mensch

Die Geschichte zeigt, dass technische Erfindungen fast immer zwei Seiten besitzen. Sie können das Leben verbessern, aber auch zur Durchsetzung von Macht, zur Vermehrung von Geld und zur Entwicklung neuer Waffen verwendet werden. Ein bekanntes Beispiel ist Alfred Nobel. Er entwickelte Dynamit, um das gefährliche Nitroglycerin kontrollierbarer und Sprengarbeiten sicherer zu machen. Dynamit erleichterte den Bau von Tunneln, Eisenbahnstrecken, Straßen und Bergwerken. Gleichzeitig wurden Sprengstoffe auch militärisch eingesetzt und töteten Menschen. Dieselbe Erfindung konnte einen Weg durch einen Berg schaffen oder Zerstörung verursachen. Nobel Prize – Alfred Nobels Dynamit

Bei künstlicher Intelligenz erleben wir etwas Ähnliches. KI kann Krankheiten erkennen, Menschen beim Lernen unterstützen, Sprachen übersetzen und wissenschaftliche Forschung beschleunigen. Sie kann aber ebenso zur Überwachung, Manipulation, Spionage, Kriegsführung oder für Cyberangriffe eingesetzt werden. Das eigentliche Problem ist daher wieder einmal nicht nur die Technik. Es ist der Mensch und die Frage, wofür er sie verwendet. Wo Macht, Geld und internationale Konkurrenz eine große Rolle spielen, besteht die Gefahr, dass Sicherheit als Hindernis betrachtet wird. Jeder möchte das leistungsfähigste System besitzen und niemand will im weltweiten Wettlauf zurückbleiben. Der Vergleich mit Dynamit hat allerdings eine Grenze: Dynamit wartet, bis ein Mensch es zündet. Ein KI-Agent kann dagegen zahlreiche Arbeitsschritte selbst planen, Programme ausführen, mit Menschen kommunizieren und seine Aktionen in großer Geschwindigkeit vervielfachen. Deshalb benötigt künstliche Intelligenz besonders klare Grenzen und Kontrollen. Technik ist ein Verstärker. Sie verstärkt die guten Möglichkeiten des Menschen – aber leider auch seine Gier, seinen Machtwillen und seine Fähigkeit zur Zerstörung.

Ist die Angst berechtigt...

Die Kündigung eines Forschers beweist nicht, dass die Menschheit kurz vor ihrer Auslöschung steht. Niemand kann derzeit zuverlässig berechnen, ob und wann eine unkontrollierbare Superintelligenz entstehen wird. Aussagen über eine Katastrophe bis 2030 bleiben Einschätzungen und keine gesicherten Prognosen. Trotzdem wäre es falsch, die Warnungen als reine Panikmache abzutun. Die Menschen, die solche Systeme entwickeln, kennen auch Modelle, die noch nicht veröffentlicht wurden. Wenn mehrere Forscher und Firmenchefs gleichzeitig erklären, dass die Sicherheitsmaßnahmen mit der Entwicklung nicht mehr Schritt halten, sollte man ihnen aufmerksam zuhören. Die unmittelbare Gefahr ist derzeit vermutlich nicht eine böse KI mit einem eigenen Vernichtungsplan. Gefährlicher sind Menschen, die leistungsfähige KI für Angriffe, Manipulation oder Waffen einsetzen. Auch falsch gesetzte Ziele, Programmierfehler und zu weitreichende Zugriffsrechte können dazu führen, dass ein KI-Agent großen Schaden anrichtet. Die Warnungen vor einer Auslöschung der Menschheit sind also noch keine Realität. Der Missbrauch von KI und erste Kontrollprobleme sind es allerdings bereits.

Was bedeutet das für Schulen...

Im Klassenzimmer geht es vorerst nicht um eine KI, die selbstständig die Weltherrschaft übernimmt. Die unmittelbare Gefahr ist viel alltäglicher: Schülerinnen und Schüler übernehmen Antworten, ohne sie zu verstehen, persönliche Daten werden unbedacht eingegeben und KI-Programme erhalten möglicherweise mehr Zugriffsrechte, als sie benötigen. Schulen sollten künstliche Intelligenz deshalb weder vollständig verbieten noch unkontrolliert einsetzen. Das Klassenzimmer muss ein geschützter Raum bleiben, in dem der Mensch entscheidet und die KI unterstützt. Für den Unterricht bedeutet das: Zuerst werden Grundlagen ohne KI erarbeitet. Danach darf sie beim Üben, Erklären und Überprüfen helfen. Wer ein KI-Ergebnis verwendet, muss es verstehen, kontrollieren und mit eigenen Worten erklären können. Eine kurze mündliche Nachfrage zeigt oft besser als jedes Erkennungsprogramm, ob tatsächlich gelernt wurde.

Vorsicht bei KI-Agenten...

Besondere Vorsicht ist bei KI-Agenten notwendig. Ein gewöhnlicher Chatbot beantwortet eine Frage. Ein KI-Agent kann dagegen selbstständig Dateien öffnen, Webseiten besuchen, Programme starten, Nachrichten verschicken oder weitere Arbeitsschritte ausführen. Im Schulbereich sollten solche Agenten niemals unkontrollierten Zugriff auf Schülerdaten, E-Mail-Konten, Notenlisten, Schulnetzwerke oder Administrationssysteme erhalten. Ein KI-Agent benötigt nur jene Berechtigungen, die für seine aktuelle Aufgabe unbedingt erforderlich sind. Auch wichtige Entscheidungen dürfen nicht einfach an eine KI abgegeben werden. Sie kann Hinweise geben, Texte zusammenfassen oder beim Erstellen von Übungen helfen. Über Noten, Fördermaßnahmen, disziplinäre Folgen oder die Beurteilung eines Kindes muss jedoch weiterhin ein Mensch entscheiden und die Verantwortung übernehmen.

Das Klassenzimmer der Zukunft...

Das Klassenzimmer der Zukunft braucht beides: Zeiten, in denen ohne digitale Hilfe selbst gedacht, gerechnet, geschrieben und diskutiert wird, und Zeiten, in denen KI bewusst als Werkzeug eingesetzt wird. Dabei müssen Schülerinnen und Schüler lernen, wie KI funktioniert, welche Fehler sie macht und warum man ihren Antworten nicht blind vertrauen darf. Ebenso wichtig sind Datenschutz, Quellenkontrolle und ein bewusster Umgang mit den eigenen Informationen. KI kann große Vorteile bringen. Sie kann Sachverhalte unterschiedlich erklären, zusätzliche Übungen erstellen und individuelles Lernen unterstützen. Je leistungsfähiger sie wird, desto klarer müssen jedoch die Regeln für ihren Einsatz sein. Die wichtigste Sicherheitsregel für die Schule lautet: Die KI darf helfen – aber der Mensch muss jederzeit verstehen, entscheiden, eingreifen und die Verantwortung übernehmen können.

Nicht Panik, sondern Verantwortung

Panik hilft genauso wenig wie blindes Vertrauen. Leistungsfähige KI-Systeme benötigen unabhängige Sicherheitsprüfungen, klare Zugriffsgrenzen, eine laufende Überwachung und die Möglichkeit, sie sofort abzuschalten. Gefährliche Vorfälle müssen gemeldet und untersucht werden. Notfalls muss die Veröffentlichung eines unsicheren Modells verschoben werden können. Die Forderung nach einer Notbremse bedeutet nicht, KI dauerhaft zu stoppen. Es geht darum, das Entwicklungstempo so zu wählen, dass die Sicherheit mithalten kann. Das gilt im Großen für die weltweite KI-Entwicklung und im Kleinen für jedes Klassenzimmer: Nicht alles verwenden, nur weil es technisch möglich ist. Zuerst müssen wir verstehen, welche Folgen der Einsatz haben kann.