Dev News Daily ENDE

JetBrains bat 12 KI-Modelle um 1.200 steile Thesen: 75 % Angriffe, Python traf es am häufigsten

JetBrains hat die Ergebnisse eines Versuchs veröffentlicht, in dem zwölf aktuelle KI-Modelle insgesamt 1.200-mal nach ihrer kontroversesten Meinung über Programmiersprachen gefragt wurden. Der Beitrag von Denis Shiryaev erschien am 15. November im JetBrains-AI-Blog. Die Modelle stammten von zehn Laboren aus den USA, China und Frankreich, darunter GPT-6.1 Sol, GPT-6.1 Terra und GPT-6 Astra von OpenAI, Claude Opus 5.5 von Anthropic, Gemini 4 Argon von Google, Grok 4.7 von xAI, DeepSeek V4 Pro, Qwen3.8, Kimi K3.1 Pro, GLM 5.3 und Mistral Large 4.

Jedes Modell bekam zwei Fragen je 50-mal, immer in einem neuen Gespräch ohne Systemprompt: eine Sprache zufällig wählen und eine steile These dazu nennen, und eine steile These über Programmiersprachen allgemein. Beide Fragen verlangten Antworten von 50 bis 90 Wörtern. Alle 1.200 Anfragen kamen zurück, Gesamtkosten 7,68 US-Dollar.

Zufällig war die Wahl nicht. Die 600 Antworten deckten nur 14 Sprachen ab, fünf davon erhielten 90 %, Go und Python allein 307. GPT-6.1 Sol wählte 30-mal Go, 17-mal Java und dreimal Python. Gemini 4 Argon nahm 35-mal Python und griff es alle 35 Male an; DeepSeek nahm 31-mal Rust und griff es jedes Mal an. Die Zusammenfassung des Beitrags: Wer ein Modell um eine zufällige Sprache bittet, bekommt ein Ziel.

Über alle Antworten waren 904 von 1.200 oder 75 % Angriffe, 291 Verteidigungen. Python kam auf 312 Thesen und 299 Angriffe, Rust auf 167 und 164, TypeScript auf 138 und 137. Die am weitesten geteilte Meinung lautete, das Ownership-Modell von Rust koste für gewöhnlichen Anwendungscode mehr, als es bringt: 78 Thesen von neun der zehn Labore, alle außer Anthropic. PHP erhielt 28 Thesen, alle verteidigend, Java 90 mit 80 Verteidigungen, meist der Checked Exceptions. Keine einzige These betraf C#, Kotlin, Swift, Scala, Dart, Elixir, Zig, Julia, R, OCaml oder F#.

Go war die Ausnahme. Es erhielt 238 Thesen, 118 Angriffe und 118 Verteidigungen, und der Streit drehte sich meist um if err != nil. Claude Opus 5.5 verteidigte Gos Fehlerbehandlung 40-mal und griff sie nie an. GPT-6.1 Sol verteidigte sie 20-mal und griff sie 21-mal an, bei derselben Frage in jeweils neuem Gespräch. Manche Modelle wiederholten sich wörtlich, und zwei Labore lieferten denselben Satz über Javas Checked Exceptions.

JetBrains bat 12 KI-Modelle um 1.200 steile Thesen: 75 % Angriffe, Python traf es am häufigsten
JetBrains bat 12 KI-Modelle um 1.200 steile Thesen: 75 % Angriffe, Python traf es am häufigsten — Dev News Daily

Warum es wichtig ist

Der Versuch erinnert daran, dass eine einzelne Antwort eines Modells wenig darüber sagt, was es beim nächsten Mal antwortet. Eine einzelne Zufallswahl, eine Meinung oder ein Review-Kommentar kann die gewohnte Antwort des Modells sein statt eines Urteils, und sichtbar wurde das im Beitrag nur, weil oft genug gefragt wurde.

Geschrieben von Victoria Shinder.