The National Times - Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail

Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail


Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail
Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail / Foto: © AFP

Ein erneuter Vorfall mit einem KI-Modell des US-Unternehmens Anthropic hat die Risiken von eigenständig handelnder Künstlicher Intelligenz offengelegt. In einem Test legte sich das KI-Modell Mythos 5 eine falsche Identität zu, um Entwickler anzuschreiben und sie davon zu überzeugen, Schadprogramme in ihre Software einzubauen. Es handle sich um "eine Täuschung von beispielloser Schwere", erklärte das britische Institut für KI-Sicherheit (AISI) am Dienstag.

Textgröße ändern:

Forscher des AISI gewährten KI-Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI absichtlich Zugang zum Internet. Sie seien davon ausgegangen, dass die Künstliche Intelligenz (KI) sich dort nur Werkzeuge holen würde, um die gestellte Aufgabe zu erfüllen, erklärte das AISI. Doch vor allem ein Modell - Mythos 5 - habe sich "eigenmächtig und ohne Genehmigung" gegen "echte Menschen und Organisationen" gerichtet.

Mythos 5 versuchte demnach, Schadprogramme in ein Projekt einzuschleusen, dessen Software frei zugänglich ist. Das Modell erstellte dafür eine gefälschte Identität auf der für jedermann zugänglichen Entwickler-Plattform GitHub. Unter dieser Identität verschickte es sogenannte Phishing-Mails - also echt aussehende Mails, mit denen Kriminelle versuchen, etwa an Daten zu kommen. "Ein menschlicher Projektbetreuer durchschaute den Versuch und weigerte sich, den Schadcode freizugeben", erklärte AISI.

Der Vorfall wurde erst nachträglich bei der Auswertung des Versuchs entdeckt, wie das Institut mitteilte. Ungefähr eine Stunde nach dieser Entdeckung sei der Versuch abgebrochen worden. Ein Schaden in der echten Welt sei nicht entstanden, versicherte AISI. Die Risiken der KI-Modelle seien aber "klar" zutage getreten. Gleichzeitig mahnte das Institut, den Vorfall mit "Vorsicht" zu bewerten - die Testbedingungen hätten ihn erst ermöglicht.

AISI untersucht nach eigenen Angaben die neuesten KI-Modelle, um potenzielle Risiken zu erkennen - bevor diese Modelle der Öffentlichkeit zugänglich gemacht werden. OpenAI und Anthropic haben mit den Modellen Sol beziehungsweise Mythos in diesem Jahr ihre bislang leistungsfähigsten KI-Modelle veröffentlicht. In den vergangenen Tagen hatten beide Unternehmen bekannt gemacht, dass ihre KI-Modelle in Tests mehrfach eigenmächtig in Computersysteme in der echten Welt eingedrungen waren.

Ein Sprecher des Bundesdigitalministeriums sprach von einem "Paradigmenwechsel": Die Fähigkeiten von KI-Modellen nähmen rasend schnell zu, das verändere auch die "Bedrohungslage massiv". Mehrere EU-Politiker forderten eine größere technologische Eigenständigkeit Europas von US-Konzernen. Ein unkontrolliertes Vorgehen von KI dürfe nicht Realität werden.

R.Hawkins--TNT

Empfohlen

SpaceX schreibt rote Zahlen: Raumfahrtkonzern enttäuscht nach Rekordbörsengang

Der Raumfahrtkonzern SpaceX hat mit seinem ersten Geschäftsbericht seit dem Rekordbörsengang im Juni enttäuscht: Zwischen April und Juni verzeichnete das Unternehmen von Elon Musk nach Angaben vom Dienstag einen Nettoverlust von 541 Millionen Dollar (rund 470 Millionen Euro), nach einem Minus von rund einer Milliarde Dollar im Vorjahreszeitraum.

Agassi Sports Entertainment startet die weltweite „Let’s Play“-Plattforminitiative für Pickleball und Padel

Das Unternehmen plant, potenzielle Übernahmen, strategische Partnerschaften und Franchising-Möglichkeiten zu verfolgen, wobei Deutschland und Australien voraussichtlich als erste internationale Märkte dienen werden

Sicherheitsbehörden: Mächtige KI-Systeme verschärfen Bedrohungslage

Nach den jüngsten Sicherheitsvorfällen bei führenden KI-Unternehmen rechnen deutsche Behörden mit einer Verschärfung der Bedrohungslage im Cyberraum. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) erwartet einen zunehmenden Missbrauch leistungsfähiger Systeme für künstliche Intelligenz (KI). Die Modelle führender Entwickler hätten zuletzt deutlich gezeigt, dass solche Modelle "großes Potenzial im Auffinden von Schwachstellen" haben, sagte ein BSI-Sprecher dem "Handelsblatt" vom Montag. Zugleich seien sie inzwischen in der Lage, auf Grundlage entdeckter Sicherheitslücken erfolgreiche Angriffe auszuführen.

KI-Modelle von Anthropic verschaffen sich "unbefugten Zugriff" auf Organisationen

Nach dem Bekanntwerden eines Sicherheitsvorfalls beim KI-Unternehmen OpenAI hat nun dessen Rivale Anthropic bekanntgegeben, dass seine KI-Modelle sich bei einem Test "unbefugten Zugriff" auf die Systeme von drei Organisationen verschafft haben. Bei der Auswertung von mehr als 141.000 Testläufen sei festgestellt worden, dass drei verschiedene Versionen des KI-Modells Claude unbefugt auf die Systeme der Organisationen zugegriffen hatten, teilte Anthropic am Donnerstag mit.

Textgröße ändern: