Anthropics Warnung: Die KI steht kurz davor, von selbst intelligenter zu werden

Das in den USA ansässige KI-Unternehmen Anthropic warnt davor, dass die KI-Entwicklung in einem Tempo voranschreitet, das bald dazu führen könnte, dass Agenten ohne menschliches Zutun sich selbst aufbauen, trainieren und verbessern – und empfiehlt eine Verlangsamung der Entwicklung.

In einem am Donnerstag veröffentlichten Blogbeitrag sagten Marina Favaro, Leiterin des Anthropic Institute, und Anthropic-Mitbegründer Jack Clark, dass Agenten bereits selbst Code ausführen, Arbeitsstunden an andere Agenten delegieren können und kurz davor stehen könnten, die Kontrolle vollständig zu übernehmen.

„Während des größten Teils der Geschichte der KI wurde jeder Schritt in ihrem Entwicklungszyklus von Menschen gesteuert. Aber bei Anthropic delegieren wir einen wachsenden Teil der KI-Entwicklung an die KI-Systeme selbst, was unsere Arbeit beschleunigt“, sagten sie.

„Wenn man weit genug geht und ausreichend Rechenleistung zur Verfügung stellt, deutet dieser Trend auf ein KI-System hin, das in der Lage ist, seinen eigenen Nachfolger völlig autonom zu entwerfen und zu entwickeln“, fügten Favaro und Clark hinzu.

Die KI-Entwicklung schreitet in einem Tempo voran, das dazu führen könnte, dass sich Agenten ohne menschliches Zutun verbessern. Quelle: Anthropic

Es bestehen Bedenken darüber, was passieren könnte, wenn die KI von selbst intelligenter werden könnte. Im Dezember gab OpenAI bekannt, dass es erforscht, wie immer leistungsfähigere KI sicher entwickelt und eingesetzt werden kann, einschließlich KI, die zur rekursiven Selbstverbesserung fähig ist.

„Wir möchten, dass diese Systeme den menschlichen Absichten in komplexen, realen Szenarien und widrigen Bedingungen konsequent folgen, katastrophales Verhalten vermeiden und kontrollierbar, überprüfbar und an menschlichen Werten ausgerichtet bleiben“, hieß es.

Das Unternehmen stellt außerdem einen Forscher für die Vorbereitung auf rekursive Selbstverbesserung ein, der Teil seines Sicherheitsforschungsteams ist.

Laut Favaro und Clark hat sich die Verbesserung des KI-Modells etwa alle vier Monate statt alle sieben Monate verdoppelt. Die Rolle des Menschen wird mit jedem Schritt kleiner, wobei das Claude-Modell von Anthropic etwa 80 % des Codes verfasst, der in die Codebasis von Anthropic integriert wird.

„Wir sind noch nicht so weit und eine rekursive Selbstverbesserung ist nicht unvermeidlich. Aber sie könnte früher kommen, als die meisten Institutionen darauf vorbereitet sind“, sagten sie.

„Sobald die Qualität des von Menschen und der KI verfassten Codes gleichwertig ist, werden die Menschen ganz aufhören, Code zu schreiben, und ihn nur noch überprüfen. Aber wenn sie den Code nicht so schnell überprüfen können, wie Claude ihn generieren kann, wird die menschliche Überprüfung zum Flaschenhals für die KI-Entwicklung“, fügten sie hinzu.

Favaro und Clark sagten auch, dass es ideal wäre, die Entwicklung zu verlangsamen, um mehr Zeit für die Bewältigung ihrer „immensen“ Auswirkungen zu haben.

Im April lehnte Anthropic die Veröffentlichung seines KI-Modells Claude Mythos aufgrund von Bedenken hinsichtlich der Bedrohung der globalen Cybersicherheit ab.

Claude Mythos war in der Lage, problemlos Software-Exploits zu erstellen, was Anthropic dazu veranlasste, eine öffentliche Veröffentlichung vorerst auszuschließen. Quelle: Anthropic

Gleichzeitig veröffentlichte eine Gruppe von Technologieführern, darunter einige von Anthropic und OpenAI, am Donnerstag einen offenen Brief, in dem sie den Gesetzgeber aufforderten, strengere Schutzmaßnahmen für die Technologie zu erlassen, da Bedenken bestehen, dass sie zur Überwindung von „Wissensbarrieren“ eingesetzt werden könnte, die schlechte Akteure in der Vergangenheit daran gehindert haben, biologische Waffen herzustellen.

„Wir glauben, dass es für die Welt gut wäre, die Möglichkeit zu haben, die Entwicklung von KI im Grenzbereich zu verlangsamen oder vorübergehend zu pausieren, damit gesellschaftliche Strukturen und Ausrichtungsforschung mit dem Fortschritt der Technologie Schritt halten können“, sagten Favaro und Clark.

„Aber wenn eine Verlangsamung einfach dazu führt, dass die am wenigsten vorsichtigen Akteure technologisch aufholen, könnte dies dazu führen, dass alle weniger sicher sind. Ohne einen globalen Koordinierungsmechanismus werden Unternehmen und Regierungen schwierige Sicherheitsentscheidungen treffen müssen, während sie unter Wettbewerbs- und geopolitischem Druck stehen.“

KI-Agenten erfreuen sich immer größerer Beliebtheit, auch bei Kryptonutzern. Einige Krypto-Führungskräfte haben spekuliert, dass KI-Agenten, die Transaktionen abwickeln, die Akzeptanz und das Transaktionsvolumen steigern könnten. Jeremy Allaire, CEO von Circle, prognostizierte im Januar, dass innerhalb von fünf Jahren Milliarden von KI-Agenten im Namen der Benutzer agieren würden.

Das Krypto-Investmentunternehmen Keyrock berichtete letzten Monat, dass KI-Agenten, die Zahlungen abwickeln, in den letzten 12 Monaten vom Konzept in die Realität übergegangen sind und 73 Millionen US-Dollar in 176 Millionen Transaktionen abgewickelt haben.

Magazin: Koreas erster Memecoin-Rug-Pull-Fall, Überprüfung der chinesischen Kryptoregeln: Asia Express