Warnung vor Gefahren: KI-Chefs wollen Entwicklungstempo drosseln

Mitarbeiter von OpenAI und Anhropic haben eine Debatte über einen möglichen Kontrollverlust losgetreten – inklusive drastischer Untergangsszenarien. Nun knicken die Chefs der KI-Firmen ein und fordern ein weltweites Moratorium  

Angesichts wachsender Sorgen vor einem Missbrauch Künstlicher Intelligenz (KI) hat der Entwickler Anthropic ein langsameres Tempo bei der Verbesserung der Modelle gefordert. Die Geschwindigkeit müsse gedrosselt werden, schrieb Anthropic-Chef Dario Amodei auf der Plattform X. Der Fortschritt werde dennoch weiterhin schnell erscheinen. Die gewonnene Zeit müsse aber klug genutzt werden.

Die Sorge vor möglichen Schäden durch KI war in dieser Woche weiter gewachsen, nachdem der Anthropic-Forscher Jacob Coxon zurückgetreten war. Zur Begründung hatte er gesagt, er sehe eine immer größere Bedrohung durch KI und die Möglichkeit, dass diese bereits bis zum Ende des Jahrzehnts massenhaft töten könne. Auch die Vereinten Nationen (UN) hatten gewarnt, KI könne die Existenz der Menschheit gefährden.

In der Branche hatten sich zuletzt Vorfälle gehäuft, bei denen KI-Agenten von Entwicklern wie dem Anthropic-Rivalen OpenAI externe Systeme gehackt oder versucht haben, darauf zuzugreifen. Dies hat die Bedenken hinsichtlich der zunehmenden Leistungsfähigkeit der Modelle und eines möglichen Kontrollverlusts verstärkt.

OpenAI sagt Börsengang für 2026 ab

Sam Altman, Chef des ChatGPT-Entwicklers OpenAI, zog am Wochenende nach und erklärte, sein Unternehmen werde 2026 nicht mehr an die Börse gehen. Angesichts der aktuellen Sicherheitsbedenken wäre dies ein schlechter Zeitpunkt für einen Börsengang, sagte Altman in einem am Samstag veröffentlichten Interview des Magazins „Fortune“. Das Unternehmen verspüre in dieser Hinsicht keinen Druck. 

Auf die Frage, ob ein Börsengang damit zugunsten von 2027 vom Tisch sei, sagte Altman, es werde nicht 2026 sein. Es gebe noch viel zu tun, um die Anforderungen an die Sicherheit zu erfüllen und herauszufinden, wie die Branche und Regierungen zusammenarbeiten könnten. Die Zeitung „New York Times“ hatte bereits im Juni berichtet, OpenAI erwäge, einen möglichen Börsengang mit einer Bewertung von einer Billion Dollar auf 2027 zu verschieben.

Bei Anthropic haben Sicherheitsbedenken die Börsenpläne aber noch nicht gebremst. Insidern zufolge will das Unternehmen frühestens Mitte Oktober mit der Vermarktung seines Börsengangs beginnen und diesen noch vor den US-Kongresswahlen im November abschließen.

US-Politiker verhandeln über Gesetze

Die Probleme haben auch die Politik alarmiert. Die Nachrichtenagentur Reuters hatte am Freitag unter Berufung auf Insider berichtet, führende US-Senatoren verhandelten über ein Gesetz, das große Tech-Konzerne wie Google und OpenAI zu mehr Sicherheit bei der Entwicklung von KI-Anwendungen verpflichten soll. Der Entwurf sehe eine sogenannte Sorgfaltspflicht für KI-Entwickler vor. Zudem solle es der Regierung möglich sein, die Veröffentlichung unsicherer KI-Modelle zu blockieren.

Anthropic-Chef Amodei forderte auf X aber keinen Stopp des Trainings oder des technischen Fortschritts. Vielmehr müssten Firmen ausreichend Zeit haben, um ihre Modelle abzusichern, was von externen Prüfern bestätigt werden müsse. Er schlug unter anderem den Einsatz permanenter, unabhängiger Kontrolleure in führenden KI-Firmen vor, die Zugang zu relevanten Werkzeugen und internen Risikobewertungen erhalten. Zudem sollten die Firmen freiwillig zusammenarbeiten, um Standards festzulegen.

Der Vorstoß folgt auf einen am Donnerstag veröffentlichten Bericht von Anthropic zur Bedrohungslage. Darin legte das Unternehmen dar, wie verschiedene Akteure seine KI-Modelle der Claude-Familie für Aktivitäten nutzten, die von der Waffenentwicklung über Cyber-Operationen bis hin zu Überwachung und Betrug reichten.

Zuletzt hatte Reuters berichtet, außer Kontrolle geratene OpenAI-Agenten hätten eine deutsche Website gekapert. OpenAI-Führungskräfte hätten das unter Verschluss gehalten, während sie mit den Folgen eines Hackerangriffs auf die Open-Source-Plattform Hugging Face im Juli zu kämpfen gehabt hätten.