OpenAI veröffentlicht ein Offenlegungsverfahren für Modell-Fehlausrichtung — samt sechs Berichten

OpenAI hat am 16. September ein Verfahren veröffentlicht, um Fälle von Modell-Fehlausrichtung zu verfolgen, zu untersuchen und offenzulegen, und dazu sechs Berichte über unerwartetes oder bedenkliches Modellverhalten aus den vorangegangenen sechs Monaten. Der Beitrag beschreibt, welche Beispiele berichtet werden, wie der Offenlegungsprozess abläuft und was in jedem Bericht steht.

Was das bedeutet

Interessant sind nicht die sechs Fälle, sondern die Festlegung auf einen Prozess mit genannten Kriterien. Ein Anbieter, der veröffentlicht, was er offenlegen wird, macht eine Zusage, an der man ihn später messen kann — mehr als der Branchenstandard, einen Blogbeitrag zu schreiben, wenn ein Vorfall ohnehin öffentlich geworden ist.

Für alle, die Software auf diesen Modellen bauen, ist der praktische Wert derselbe wie bei jedem Hersteller-Advisory: Es sagt, welche Fehlermodi bekannt sind — und das ist die Liste, gegen die man testet. Also wie einen CVE-Feed behandeln: nicht als Beruhigung, sondern als Inventar.

Und die Grenze, die man klar sagen sollte: Ein selbst berichtetes Verfahren steckt seinen Rahmen selbst ab. Es beschreibt, was der Anbieter berichten wollte, nicht, was passiert ist. Nützlich bleibt es trotzdem — ein Audit ist es nicht.

Wie man einen selbst veröffentlichten Sicherheitsbericht liest

Drei Fragen trennen ein Offenlegungsverfahren von einer Pressemitteilung — dieselben drei, die man jedem Hersteller-Advisory stellt:

• Was löst einen Bericht aus? Eine genannte Schwelle lässt sich später an Ereignissen messen. „Erhebliche Probleme" nicht.
• Wer entscheidet? Eine interne Prüfung ohne externe Beteiligung ist eine Entscheidung, kein Mangel — sie bedeutet aber, dass der Umfang des Berichteten von denselben Leuten festgelegt wird, über deren Arbeit berichtet wird.
• Was steht in einem Bericht? Verhalten, Bedingungen und Gegenmaßnahme machen einen Fall nachvollziehbar. Eine Zusammenfassung nicht.

Was sich für ein Team ändert, das auf diesen Modellen baut

Diese Woche wenig, über ein Jahr einiges. Die Berichte als Inventar bekannter Fehlermodi behandeln und jeden davon in einen Testfall gegen die eigenen Prompts und Leitplanken verwandeln — so, wie aus einem CVE-Feed eine Patch-Warteschlange wird. Der Wert liegt in der Summe: Ein Bericht ist eine Anekdote, zwanzig mit Datum sind ein Muster, mit dem sich planen lässt.