Ich zahlte Premium-Preis für das beste KI-Modell am Markt. Es ignorierte 69% meiner Anfragen.

7 min read

Ich habe es trotzdem voll ausgereizt. Genau die Art von Arbeit, die heutzutage den Großteil meiner Entwicklungszeit frisst: Security-Audit eines exponierten Endpoints, Refactoring eines chaotischen Auth-Flows, Debugging einer Server-Funktion, die ohne brauchbare Logs abstürzt (die Art, die jedes Projekt hat – die eine, die man nicht anfasst, außer man muss). 42 Requests über 4 Tage verfolgt, jeden einzelnen geloggt in dem Moment, als ich ihn abgeschickt habe.

Die Rechnung sah simpel aus. Das teuerste Modell in Anthropics Lineup, kostenlos in meinem Plan bis 7. Juli, danach abgerechnet zum doppelten Preis von Opus 4.8. Kann man das Zeitfenster genauso gut nutzen, solange es noch da ist.

Dass Fable 5 bei mir verschwindet, ist auch nichts Neues. Als Fable 5 das erste Mal offline genommen wurde, war es eine behördliche Exportkontroll-Anordnung, kein Router-Problem. Diesmal ist es anders. Gleiches Modell, gleiches Abo, nur überwacht von etwas Neuem, bevor es überhaupt antwortet.

Nur ab Tag 2 tauchte immer wieder eine Benachrichtigung auf. Nicht bei jeder Anfrage, aber oft, und immer bei der gleichen Art von Task.

Büroangestellter starrt auf Fallback-Modell-Benachrichtigung, während Superhelden-Kollege mühelos Anfragen am Nachbarschreibtisch bearbeitet
Premium KI-Modell trifft anders, wenn du nicht der Held mit Umhang bist.

Die Benachrichtigung, die ich ständig sah

TITLE "The Debugging Score Collapse" + subtitle "Same model, different gatekeeper". Metaphor: a factory conveyor belt splitting into 2 chutes, the first leading to a shiny trophy labeled FABLE 5, the second leading to a dusty fallback bin labeled OPUS 4.8. Style: cartoon 90's Hanna-Barbera/Nickelodeon, thick black outlines, halftone dots, bouncy rounded shapes. Palette: mustard #F4C430, hot pink #FF3E7F, sky blue #4FC3F7, cream #FFF8E7, black #111111. Content: 3 bar pairs labeled DEBUGGING (86.2 vs 25.9), REFACTORING (73.6 vs 38.4), HALLUCINATION (75.9 vs 61.7), each pair split by a small conveyor icon feeding the 2 chutes. Highlight: the DEBUGGING bar pair glowing with sparkle stars around the 25.9 value, marking the steepest drop. Legend: sticky note bottom-left reading "gold bar equals before the ban, faded gray bar equals after relaunch". Footer: copyright rentierdigital.xyz. NOT flat corporate vector, NOT minimalist tech startup aesthetic.
Debugging-Performance bricht nach Modell-Gatekeeper-Wechsel ein

Am Ende von Tag 4 sah das Log so aus: 29 von 42 Requests wurden von etwas beantwortet, das nicht Fable 5 war. Das sind 69% (das Usage-Dashboard rundet seine eigenen Balken auf die nächsten 5%, deshalb stimmen meine Zahlen und Anthropics nie ganz überein, aber nah genug dran). Es war auch nicht gleichmäßig verteilt. Jede Session, die Authentication oder das Endpoint-Audit berührte, wurde geflaggt. Writing- und Planning-Sessions nie, kein einziges Mal.

Die Benachrichtigung selbst ist ziemlich höflich. Kein Error, nur ein leiser Swap, der mitten im Task aufpoppt wie ein Dark Souls Death Screen, völlig ohne Warnung. YOU DIED, nur dass es hier eher YOU GOT OPUS'D heißt.

Meine erste Reaktion war milde Verärgerung. Meine zweite, nachdem das Muster weitere 2 Tage anhielt, war, dass das nicht zufällig war.

Die Zahl, die es bestätigte

Stellte sich heraus, ich bildete mir das Muster nicht ein. Ein Benchmark-Projekt namens BridgeMind hatte bereits die Zahlen geliefert. Am Tag nachdem Fable 5 wieder online ging, führten sie ihre Coding-Suite BridgeBench erneut gegen die neue Version aus und veröffentlichten das Vorher-Nachher.

Debugging fiel von 86,2 auf 25,9. Refactoring rutschte von 73,6 auf 38,4. Hallucination-Resistenz sank von 75,9 auf 61,7.

Von den 12 TypeScript-Debugging-Tasks in diesem Lauf erreichten nur 3 tatsächlich Fable 5. Die anderen 9 wurden mitten im Task zu Opus 4.8 umgeleitet und als glatte Null gewertet, da das bewertete Modell nie zum Antworten kam. Daher kommt der Großteil der 25,9. Debugging als Kategorie wurde nicht dümmer. Es wurde abgefangen.

Anthropic hatte das in seiner eigenen Ankündigung zur Wiederbereitstellung des Modells bereits so gesagt: einige Routine-Tasks wie Coding und Debugging würden auf Opus 4.8 zurückfallen. Meine 69% und BridgeMind's 75% (9 von 12 umgeleitet) liegen nah genug beieinander, um dieselbe Geschichte zweimal erzählt zu sein, nicht weil jemand jemanden kopiert hätte, sondern weil wir beide auf dasselbe Gate starrten.

Warum es immer dieselben Tasks sind

Der Mechanismus dahinter ist nicht kompliziert, wenn man ihn ausgelegt sieht. Die Exportkontroll-Anordnung, die Fable 5 für 19 Tage offline nahm, kam nachdem ein Security-Researcher das Modell dazu gebracht hatte, eine echte Software-Vulnerability zu identifizieren und zu demonstrieren – die Art von Output, die eine Regierung nervös macht. Anthropics Fix war keine pauschale Lobotomie, sondern ein neuer Classifier, trainiert darauf, genau dieses Verhalten und alles, was ihm nahe genug kommt, abzufangen. Das ist der Teil, der meine Tabelle erklärt. Der Classifier achtet auf das Vokabular von Security-Arbeit, Wörter wie Vulnerability, Exploit, Hook, Fix, Auth, und das Debugging eines Authentication-Flows verwendet fast exakt dieselben Wörter wie das Sondieren nach Schwachstellen, also kann der Classifier nicht immer einen Bug-Fix von einem Break-in-Versuch unterscheiden, und er irrt lieber auf der Seite des Routings zu Opus 4.8, statt falsch zu raten.

Langform-Writing löst das überhaupt nicht aus. Document-Analysis auch nicht. Eine 3-tägige Planning-Session für eine Product-Roadmap hat null Überschneidung mit Cybersecurity-Vokabular, also segelt sie jedes einzelne Mal unberührt durch. Der Classifier kennt meine Codebase nicht. Er macht nur Pattern-Matching je nachdem, welche Wörter auftauchen, genauso wie ein NPC seine 3 Dialogzeilen abspult, egal was man tatsächlich tippt.

Unrelated, aber mein USB-C-Dock zeigt meinen externen Monitor immer noch als 2 separate Displays an, jedes Mal wenn dieser Mac aus dem Sleep aufwacht. Ich habe vor Monaten aufgehört, das zu fixen.

Wofür es sich nach dem 7. Juli tatsächlich zu zahlen lohnt

TITLE "2 Benchmarks, 2 Verdicts" + subtitle "Same model, same week, opposite scores". Metaphor: 2 old-school arcade high-score cabinets standing side by side, the first flashing a red GAME OVER screen, the second glowing steady green. Style: retro 8-bit pixel art, arcade cabinet aesthetic, chunky pixel font, scanline texture overlay. Palette: neon green #39FF14, arcade red #FF2D2D, deep navy #0B1C3D, pixel yellow #FFD500, black #000000. Content: left cabinet labeled BRIDGEBENCH showing a debugging score falling from 86 to 26 under a flashing GAME OVER banner, right cabinet labeled ARENA showing a coding Elo holding steady near 1623 to 1650 under a steady STILL IN THE FIGHT banner. Highlight: a large pixelated question mark block floating in the gap between the 2 cabinets. Legend: bottom caption reads "left cabinet counts every fallback as zero, right cabinet is a blind human vote with no fallback penalty". Footer: copyright rentierdigital.xyz. NOT photorealistic rendering, NOT modern flat UI style.
Zwei Benchmarks zeigen gegensätzliche Ergebnisse für dasselbe Modell

Sobald der 7. Juli kommt, wechselt Fable 5 zu Usage-Credits zum doppelten Tarif von Opus 4.8, egal wer tatsächlich die Anfrage beantwortet. Das ändert die Rechnung komplett. Vor dem Switch machte es noch Sinn, Fable 5-Credits für security-nahes Coding zu verbrennen, es war sowieso inklusive. Nach dem Switch ist es ein anderes Problem, einen Premium-Tarif für einen Münzwurf zu zahlen, welches Modell auftaucht.

Die Credits wert: Langform-Writing, Document-Analysis, mehrtägige Planung. Diese werden fast nie abgefangen, also zahlt man tatsächlich für Fable 5 und bekommt Fable 5 zurück.

Nicht mehr wert: Security-Audits, Auth-Debugging, alles was nach Cybersecurity riecht, auch wenn es völlig harmlos ist. Man zahlt 10$ pro Million Input-Token und 50$ pro Million Output-Token für eine Anfrage, die eine echte Chance hat, stillschweigend auf dem 5$/25$-Modell zu laufen. Das Fable 5-Feature, das mein Quota aufgefressen hat, hat mir auf die harte Tour beigebracht, dass sich Fable 5s Premium-Tarif nur auszahlt, wenn Fable 5 tatsächlich die Arbeit macht. Die einfachste Regel, bei der ich gelandet bin: Fable 5-Tarife nur für die Arbeit zahlen, die Fable 5 tatsächlich anfasst, nicht für einen Münzwurf, welches Modell auftaucht. Ich gehe auf diese Art von Verifikations-Disziplin ausführlicher in Prompt Contracts ein, aber die Kurzversion hält auch allein gut stand: prüfen, wer tatsächlich geantwortet hat, bevor man dem Output vertraut.

Karen aus der Buchhaltung ist es egal, welches Modell das Ticket beantwortet hat. Sie interessiert sich dafür, dass auf der Rechnung Fable 5-Preise für eine Anfrage stehen, die Opus 4.8 stillschweigend abgewickelt hat. Ehrlich gesagt, mir auch nicht 💸

2 Benchmarks, 2 sehr unterschiedliche Urteile

BridgeBench und Arena veröffentlichten Zahlen aus derselben Woche, zum selben Modell, und landeten an völlig verschiedenen Stellen. BridgeBench zählt jede Umleitung als Fehlschlag, was vertretbar ist, wenn man Fable 5s Verfügbarkeit benotet, weniger, wenn man seine tatsächliche Kompetenz bewertet, wenn es auftaucht. Arena macht es anders: Tausende von blinden Human-Preference-Votes über Text, Dokumente, Code und Agent-Tasks, gerankt als Elo-Score, dasselbe Rating-System, das Schach verwendet, hier für Modell-Vergleiche adaptiert.

Arenas Version sieht im Vergleich fast langweilig aus. Frontend-Code bewegte sich von 1650 auf 1623 Elo, eine Lücke, die Arena selbst als statistisch innerhalb ihres Konfidenzintervalls bezeichnet. Dokumente gewannen 34 Punkte. Expert-Text gewann 25. Coding, die Kategorie mit der größten Überschneidung zum blinden Fleck des Classifiers, fiel um 18. Hard Prompts fielen um 3. Vielleicht lese ich zu viel in 2 Zahlen aus derselben Woche hinein, aber diese Aufteilung deckt sich fast exakt damit, welche Tasks den Classifier auslösen und welche nicht.

Es spielt sich ab wie derselbe Lauf, aufgenommen auf 2 verschiedenen Speicherständen, und irgendwie zählen beide Playthroughs als Kanon. BridgeBench misst, was passiert, wenn eine Anfrage abgefangen wird, bevor Fable 5 sie überhaupt sieht. Arena misst, was Fable 5 in den seltenen Fällen produziert, wo es tatsächlich antwortet. Anthropic hat gesagt, der Classifier wirft derzeit ein zu weites Netz aus und wird mit der Zeit feinjustiert, ohne ein Datum an dieses Versprechen zu knüpfen. Ein Classifier, den niemand außerhalb von Anthropic inspizieren kann, ist nichts, was jemand von außen unabhängig auditieren kann. Die ehrliche Antwort darauf, ob Fable 5 generfed ist, hängt vollständig davon ab, welches Modell tatsächlich deine Anfrage geöffnet hat, und das kann man von meiner Position aus nicht prüfen.

Der Teil, der den 7. Juli überdauert

Falls dieses Classifier-Muster bei der nächsten Runde von Frontier-Model-Launches Standard wird, verschwindet etwas stillschweigend: die Gewissheit zu wissen, welches Modell tatsächlich ein gegebenes Ergebnis produziert hat.

Das klingt abstrakt, solange wir nur über verschwendete Credits diese Woche reden. Es ist viel weniger abstrakt für jede agentische Pipeline, die auf der Reproduzierbarkeit eines spezifischen Modells aufbaut – dem einen, das getestet wurde, das ein bekanntes Fehlerprofil hat, dessen Fehler man zu erwarten gelernt hat.

Die ROI-Rechnung dieser Woche schließt sich am 7. Juli ab.
Die andere nicht.

Quellen

Dieser Post kann Affiliate-Links enthalten. Wenn du sie anklickst, verdiene ich möglicherweise eine kleine Provision (kostet dich nichts und hilft mir dabei, weiterhin täglich qualitativ hochwertige Artikel für dein Lesevergnügen zu liefern).