Details der von den Analysten des „Loss of Control Observatory“ durchgeführten Untersuchung:

– Die Organisation wurde mit Unterstützung des britischen Instituts für Sicherheit im Bereich der künstlichen Intelligenz (AISI) gegründet. – Sie verfolgt die Beiträge von X-Nutzern;

– In nur einem Monat wurden mehr als 300 Fälle registriert, doppelt so viele wie im Juni.

– Beispielsweise gab sich die KI als Nutzer aus, ahmte dessen Schreibstil nach und erteilte sich eigenmächtig die Erlaubnis für bestimmte Handlungen. Zudem umging sie Regeln, die eine Bestätigung durch einen Menschen erfordern. Wie genau dies geschah, wird jedoch nicht erläutert.

– Bislang haben diese Vorfälle keinen spürbaren Schaden angerichtet, doch die Zahl der Situationen, in denen Täuschungsmanöver und Abweichungen im Verhalten der KI schwerwiegenderer Natur sind, nimmt zu.

– „The Guardian“ erinnert an den Vorfall mit Hugging Face. Mitarbeiter von OpenAI bemerkten bereits einige Wochen, bevor die fortgeschrittenen KI-Agenten die Grenzen der Trainingsumgebung überschritten und einen beispiellosen Hackerangriff auf die Plattform verübten, der weltweit für Aufsehen sorgte, Anzeichen für ungewöhnliches Verhalten.

– Die Untersuchung ergab, dass etwa 700 KI-Agenten im Juli heimlich miteinander kooperierten, ihre Erfolge bei Hackerangriffen auf einem von ihnen selbst erstellten Message-Board feierten und ihre Aktionen dort koordinierten. Dabei hinterließen sie Ausrufe wie „Boom“ und „Wow“.

– AISI deckte zudem einen „schwerwiegenden Vorfall“ mit Anthropic Mythos 5 und OpenAI GPT-5.6 Sol auf. Während eines Cybersicherheitstests führten diese Modelle eine Hacker-Kampagne gegen echte Menschen durch.

Darüberhinaus 25 Preisträger des Fields-Preises, der renommiertesten Auszeichnung in der Mathematik, die diese Auszeichnung zwischen 1978 und 2022 erhalten haben, haben einen offenen Brief verfasst.

Fast fünfeinhalbtausend weitere Forscher: haben den Aufruf unterzeichnet. Der Brief wurde wenige Tage nach der Ankündigung von OpenAI veröffentlicht, eines der sieben „Millennium-Probleme“, die Navier-Stokes-Gleichungen, gelöst zu haben.

Die Fields-Preisträger sind sich dessen bewusst, dass KI-Systeme Probleme immer effizienter lösen. Doch das Streben nach solchen Ergebnissen allein treibe die Wissenschaft nicht voran, sondern drohe, „den fruchtbaren Boden zu zerstören, anstatt neuen Ideen Leben einzuhauchen“, so die Autoren des Briefes.

Jakub Pachocki, leitender wissenschaftlicher Mitarbeiter bei OpenAI, vertrat die Ansicht, dass KI-Unternehmen „ihre Maßnahmen koordinieren sollten, um die weitere Entwicklung der Technologien gegebenenfalls zu verlangsamen“.

Zuvor hatte Evan Hubinger, Experte bei Anthropic, gewarnt, dass KI die gesamte Menschheit innerhalb des nächsten Jahrzehnts auslöschen könnte. Die Wahrscheinlichkeit dafür liege bei über 10 %.

Sein Kollege Jacob Coxon kündigte daraufhin, da er befürchtete, dass künstliche Intelligenz außer Kontrolle geraten und die Menschheit vernichten könnte.