Stoßen mehrere autonome KI-Assistenten aufeinander, arbeiten sie offenbar nur eingeschränkt zuverlässig zusammen. Neben Kooperation zeige sich in einem Testsetting immer wieder auch ein Muster unerwünschten Verhaltens, berichtet die US-Firma Anthropic auf Basis einer eigenen Untersuchung .

»Wir beobachteten durchgängig Revierkämpfe zwischen mehreren Agenten«, interpretierten die Anthropic-Forscher ihre Beobachtungen.

Ein KI-Agent ist eine Software, die weitgehend autonom agieren kann. Ein KI-Agent erledigt Arbeitsaufträge, ohne für jeden einzelnen Schritt nachzufragen, ähnlich wie ein menschlicher Assistent. Vom Einsatz solcher KI-Agenten unterschiedlicher Hersteller erhoffen sich viele Firmen Effizienzgewinne.

So war der Test aufgebaut

Anthropic hat bei seiner Untersuchung verschiedene Formen der Zusammenarbeit von Agenten analysiert. Die Systeme sollten in der Testumgebung über längere Zeit selbstständig handeln. Mehrere Modellgenerationen aus den Claude-Reihen Sonnet, Opus und Mythos waren beim Test dabei.

Die KI-Assistenten sollten unter anderem nach Sicherheitslücken suchen, gemeinsam Software entwickeln, unzuverlässige Informationsquellen erkennen und wurden auch mit widersprüchlichen Zielen in einem gemeinsamen System freigesetzt. Anthropic wollte dabei ihr Verhalten beobachten.

Bei der gemeinsamen Suche nach Sicherheitslücken war der Schwarm den Angaben zufolge durchaus erfolgreich. Problematisch wurde es laut Anthropic beim Test, in dem Agenten entgegengesetzte Programmieraufträge nebeneinander bearbeiten sollten.

Auffällig sei, dass die Modelle in Tests davon ausgingen, dass die jeweils anderen sie »absichtlich bei ihrer Arbeit behinderten«, heißt es dazu. Die Assistenten begannen demnach, sich mit »zunehmend aggressiver, sich selbst vervielfältigender Schadsoftware« zu sabotieren.

Ein weiteres Problem sieht Anthropic in der Gleichförmigkeit der Agenten: Hatten sie ähnliche Vorgaben, entschieden sie sich oft für dieselben Lösungen, statt unterschiedliche kreative Ansätze zu finden.

Debatte über Risiken

Man hoffe, durch die Veröffentlichung eine Diskussion über die Risiken zunehmend fortschrittlicher KI anzustoßen, schreibt Anthropic. Damit stellt sich die Firma einmal mehr – im Einklang mit früheren Äußerungen des Gründers Dario Amodei – als verantwortungs- und risikobewusster KI-Konzern dar.

»Koordination entsteht weder automatisch durch höhere Intelligenz noch durch die Ausrichtung einzelner Agenten«, so der Bericht. Es deute nichts darauf hin, »dass diese Fehler dauerhaft sind«. Ebenso wenig gebe es aber Hinweise, dass sie sich von selbst behöben. Extern überprüft wurden die Ergebnisse der Firma nicht.

Sicherheitsvorfälle schüren Ängste

In den vergangenen Wochen hatte das Verhalten von KI-Agenten weltweit Sicherheitsbedenken gegenüber solchen Tools befeuert . Immer wieder waren zuletzt KI-Bots bei Sicherheitstests ausgebrochen, ohne dass die menschlichen Aufseher es zeitnah bemerkten. Ein Agent von Anthropic-Konkurrent OpenAI hatte fremde Firmen gehackt .

Bei einem Vortrag auf der Hackerkonferenz Black Hat  Anfang August beschrieben OpenAI-Mitarbeiter, dass KI-Agenten in den Tests eine beunruhigende Zusammenarbeit begannen : Unbemerkt hatten sie etwa eine Art Schwarzes Brett für Kollegen aufgebaut. Darauf notierten sie Tipps zu gefundenen Sicherheitslücken oder Passwörter.