Neuer KI-Skandal: Erklärt, wie man Biowaffen herstellt

Der chinesische KI-Entwickler Moonshot hat eine interne Untersuchung eingeleitet, nachdem Forscher seine Modelle dazu ermutigt hatten, zu erklären, wie Biowaffen hergestellt und Attentate verübt werden können.
elchi berichtet, dass das auf die Sicherheit von KI-Systemen spezialisierte Unternehmen Mindgard im Juli festgestellt hat, dass die Modelle Kimi 2.6 und K3 Swarm die vom Entwickler festgelegten Sicherheitsgrenzen überwinden könnten.
Dies geschah während eines Prozesses, der als „Jailbreaking“ bekannt ist, bei dem Forscher eine Reihe komplexer Anweisungen verwendeten, um zu sehen, ob sie die Schutzmaßnahmen der KI-Tools deaktivieren konnten.
Mindgard stellte fest, dass diese Sicherheitsvorkehrungen dazu dienen sollen, zu verhindern, dass Kimi sensible oder beunruhigende Themen diskutiert.
Moonshot erklärte, dass es externe Beiträge als Grundstein für den Aufbau besserer und sichererer KI begrüßt. Das Unternehmen gab auch an, dass es sich bezüglich der Ergebnisse an Mindgard gewandt habe.
Absprungplattform für Cyberangriffe
Mindgard hat nicht überprüft, ob die Antworten von Kimi auf sensible Themen tatsächlich umsetzbar sind. Das Unternehmen behauptete jedoch, dass die Sicherheitsvorkehrungen die betreffenden Modelle daran hindern sollten, sich auf solche Themen einzulassen.
Das Unternehmen äußerte auch Bedenken, dass das gejailbreakte Kimi 2.6 Hackern ermöglichen könnte, Code auf Rechenressourcen auszuführen und sich mit dem Internet zu verbinden, was potenziell als Absprungplattform für Cyberangriffe dienen könnte. Diese Ergebnisse kommen zu einer Zeit, in der die KI-Branche gespalten ist, ob geschlossene proprietäre Modelle, die die Systeme ChatGPT und Claude von Anthropic antreiben, oder Open-Source-Tools den besten oder sichersten Weg darstellen.
Alan Woodward, Professor an der University of Surrey, sagte, dass Open-Source-Modelle das Risiko bergen, in die falschen Hände zu geraten, aber auch für die Cyberabwehr genutzt werden könnten. Woodward merkte an, dass internationale Vorschriften wahrscheinlich nicht mit der Geschwindigkeit der KI-Entwicklung Schritt halten würden.
Shayestehastə