OpenAI prioritising ’shiny products‘ over safety, says departing researcher (computing.co.uk)

Jan Leike, einer der führenden Köpfe des Sicherheitsteams macht nach seiner Kündigung bei OpenAI auf Twitter/X öffentlich, dass sein Team in den vergangenen Monaten “heftigen Gegenwind” vom Management der Firma erhalten hatte. Er ist der Meinung, dass viel mehr Kapazität für die Forschung zur Vorbereitung auf die nächste Generation von KI-Modellen in Bezug auf Sicherheit, Überwachung, Prävention, Robustheit gegen Missbrauch, (Super-)Alignment, Vertraulichkeit, Auswirkungen auf die Gesellschaft und ähnliche Themen verwendet werden sollte. Dies habe OpenAI anders gesehen und stattdessen auf “shiny products” gesetzt. (“Safety culture and processes have taken a backseat to shiny products.”)

Das ist einerseits eine alarmierende Nachricht, denn die LLM-basierten KI-Modelle erfahren weltweit eine unaufhaltsame und rasante Verbreitung. Andererseits stellt sich die Frage, ob wir uns überhaupt auf die großen LLM-Betreiber wie OpenAI verlassen sollten, wenn es um die Sicherheit und das regel- und wertekonforme Verhalten unserer KI-Anwendungen geht.

Das hängt davon ab, wo wir die Risiken sehen. Das Superalignment-Team von OpenAI hat sich über das „Terminator-Szenario“ Gedanken gemacht: Eine KI, die intelligenter ist als wir, wendet sich gegen die Menschheit.

Aktuell und schmerzhaft spürbar haben Unternehmen beim Einsatz von KI ganz andere konkrete Risiken: Der LLM-Chatbot, der im technischen Support der Produkte genutzt wird, halluziniert und erzählt den NutzerInnen Unsinn. Oder ein Email-Assistent wird per Prompt Injection dazu verleitet vertrauliche Kundendaten an einen Angreifer zu schicken. Die Folge sind nicht kalkulierbare wirtschaftliche Verluste und Reputationsschäden.

Es ist unmöglich, dass die großen LLM-Betreiber diese Art Risiken beheben können, ohne ein Unternehmen und sein Business zu kennen. Selbst für die Einschätzung des individuellen Risikos ist eine Analyse der Situation des einzelnen Unternehmens notwendig.

Zum Beispiel kann ein Fehler oder eine Ungenauigkeit eines Service-Bots, der bei einem Hersteller von Tintenstrahldruckern akzeptabel ist, bei einem Hersteller von Starkstrom-Anlagen lebensbedrohlich sein.

Weiterhin können dieselben Fähigkeiten von LLMs dafür genutzt werden, unternehmensintern die Projektkommunikation zu steuern oder bei einer Versicherung die Bearbeitung von Schadensmeldungen zu automatisieren. Im ersten Fall ist das Risiko von Manipulationen sehr gering, im zweiten Fall sehr hoch.

Die Gefahren von generativer KI sind – zumindest aktuell – darin begründet, wie und wofür wir LLMs nutzen. Das bedeutet aber auch: Wenn sie uns wichtig ist, dann müssen wir in Deutschland und Europa selbst für unsere Sicherheit sorgen!

Mehr zu den Möglichkeiten Ihre KI abzusichern, finden sie hier.