Pagué Precio Premium por el Mejor Modelo de IA del Mercado. Se Saltó el 69% de Mis Solicitudes.

8 min read

Decidí usarlo a fondo de todas formas. Apunté exactamente al tipo de trabajo que se come la mayor parte de mi tiempo de desarrollo estos días: una auditoría de seguridad en un endpoint expuesto, refactorizar un flujo de autenticación desordenado, debuggear una función de servidor que muere sin logs útiles (del tipo que todo proyecto tiene uno, ese que no tocas a menos que tengas que hacerlo). 42 solicitudes rastreadas durante 4 días, cada una registrada en el momento que la envié.

Las matemáticas parecían simples. El modelo más caro de la línea de Anthropic, incluido gratis en mi plan hasta el 7 de julio, luego facturado al doble del precio de Opus 4.8 después de esa fecha. Mejor aprovechar la ventana mientras dure.

Que Fable 5 desaparezca tampoco es nuevo. La primera vez que Fable 5 fue retirado fue por una orden gubernamental de control de exportaciones, no un problema de router. Esta vez es diferente. Mismo modelo, misma suscripción, solo que vigilado por algo nuevo antes de siquiera responder.

Excepto que desde el día 2, una notificación siguió apareciendo. No en cada solicitud, pero a menudo, y siempre en el mismo tipo de tarea.

Trabajador de oficina mirando notificación de modelo alternativo mientras colega superhéroe procesa solicitudes sin esfuerzo en escritorio adyacente
El modelo premium de IA pega diferente cuando no eres el héroe con capa.

La Notificación Que Seguía Viendo

TITLE "The Debugging Score Collapse" + subtitle "Same model, different gatekeeper". Metaphor: a factory conveyor belt splitting into 2 chutes, the first leading to a shiny trophy labeled FABLE 5, the second leading to a dusty fallback bin labeled OPUS 4.8. Style: cartoon 90's Hanna-Barbera/Nickelodeon, thick black outlines, halftone dots, bouncy rounded shapes. Palette: mustard #F4C430, hot pink #FF3E7F, sky blue #4FC3F7, cream #FFF8E7, black #111111. Content: 3 bar pairs labeled DEBUGGING (86.2 vs 25.9), REFACTORING (73.6 vs 38.4), HALLUCINATION (75.9 vs 61.7), each pair split by a small conveyor icon feeding the 2 chutes. Highlight: the DEBUGGING bar pair glowing with sparkle stars around the 25.9 value, marking the steepest drop. Legend: sticky note bottom-left reading "gold bar equals before the ban, faded gray bar equals after relaunch". Footer: copyright rentierdigital.xyz. NOT flat corporate vector, NOT minimalist tech startup aesthetic.
El Rendimiento de Debugging Cae Tras el Cambio de Gatekeeper del Modelo

Al final del día 4, el registro se veía así. 29 de 42 solicitudes fueron respondidas por algo que no era Fable 5. Eso es 69% (el dashboard de uso redondea su propia barra al 5% más cercano, así que mi cuenta y el número de Anthropic nunca coincidían exactamente, pero bastante cerca). Tampoco se distribuyó uniformemente. Cada sesión que tocaba autenticación o esa auditoría de endpoint fue marcada. Las sesiones de escritura y planificación nunca, ni una sola vez.

La notificación en sí es bastante educada al respecto. Sin error, solo un intercambio silencioso que aparece a mitad de tarea como una pantalla de muerte de Dark Souls, sin advertencia alguna. YOU DIED, excepto que aquí es más como TE OPUS'EARON.

Mi primera reacción fue molestia leve. Mi segunda, una vez que el patrón se mantuvo por 2 días más seguidos, fue que esto no era aleatorio.

El Número Que Lo Confirmó

Resulta que no me estaba imaginando un patrón. Un proyecto de benchmark llamado BridgeMind ya había hecho los números. El día después de que Fable 5 volviera online, volvieron a ejecutar su suite de programación, BridgeBench, contra la nueva versión y publicaron el antes y después.

Debugging cayó de 86.2 a 25.9. Refactoring bajó de 73.6 a 38.4. La resistencia a alucinaciones se deslizó de 75.9 a 61.7.

De las 12 tareas de debugging de TypeScript en esa ejecución, solo 3 llegaron realmente a Fable 5. Las otras 9 fueron redirigidas a Opus 4.8 a mitad de tarea y puntuaron como un cero plano, ya que el modelo siendo evaluado nunca llegó a responder. De ahí viene la mayor parte del 25.9. Debugging como categoría no se volvió más tonto. Fue interceptado.

Anthropic ya lo había dicho en su propio anuncio redeployando el modelo: algunas tareas rutinarias como programación y debugging caerían de vuelta a Opus 4.8. Mi 69% y el 75% de BridgeMind (9 de 12 redirigidas) caen lo suficientemente cerca como para ser la misma historia contada dos veces, no porque alguien copiara a alguien, sino porque ambos estábamos mirando la misma puerta.

Por Qué Siempre Son las Mismas Tareas

El mecanismo detrás no es complicado una vez que lo ves expuesto. La orden de control de exportaciones que sacó a Fable 5 offline por 19 días llegó después de que un investigador de seguridad logró que el modelo identificara y demostrara una vulnerabilidad de software real, el tipo de output que pone nervioso a un gobierno. La solución de Anthropic no fue una lobotomía general, fue un nuevo clasificador entrenado para atrapar ese comportamiento específico y cualquier cosa que se parezca lo suficiente. Esa es la parte que explica mi hoja de cálculo. El clasificador vigila el vocabulario del trabajo de seguridad, palabras como vulnerabilidad, exploit, hook, fix, auth, y debuggear un flujo de autenticación usa casi exactamente las mismas palabras que sondear uno en busca de debilidades, así que el clasificador no siempre puede distinguir entre arreglar un bug e intentar un break-in, y se equivoca del lado de enrutar a Opus 4.8 en lugar de adivinar mal.

La escritura de formato largo no dispara esto para nada. El análisis de documentos tampoco. Una sesión de planificación de 3 días para una hoja de ruta de producto tiene cero superposición con vocabulario de ciberseguridad, así que pasa sin problemas cada vez. El clasificador no conoce mi codebase. Solo hace pattern matching dependiendo de qué palabras aparezcan, de la misma manera que un NPC sigue ejecutando sus 3 líneas de diálogo sin importar lo que realmente escribas.

Sin relación, pero mi dock USB-C todavía muestra mi monitor externo como 2 pantallas separadas cada vez que esta Mac despierta del sueño. Dejé de tratar de arreglarlo hace meses.

Qué Vale la Pena Pagar Después del 7 de Julio

TITLE "2 Benchmarks, 2 Verdicts" + subtitle "Same model, same week, opposite scores". Metaphor: 2 old-school arcade high-score cabinets standing side by side, the first flashing a red GAME OVER screen, the second glowing steady green. Style: retro 8-bit pixel art, arcade cabinet aesthetic, chunky pixel font, scanline texture overlay. Palette: neon green #39FF14, arcade red #FF2D2D, deep navy #0B1C3D, pixel yellow #FFD500, black #000000. Content: left cabinet labeled BRIDGEBENCH showing a debugging score falling from 86 to 26 under a flashing GAME OVER banner, right cabinet labeled ARENA showing a coding Elo holding steady near 1623 to 1650 under a steady STILL IN THE FIGHT banner. Highlight: a large pixelated question mark block floating in the gap between the 2 cabinets. Legend: bottom caption reads "left cabinet counts every fallback as zero, right cabinet is a blind human vote with no fallback penalty". Footer: copyright rentierdigital.xyz. NOT photorealistic rendering, NOT modern flat UI style.
Dos Benchmarks Muestran Resultados Opuestos para el Mismo Modelo

Una vez que llegue el 7 de julio, Fable 5 se mueve a créditos de uso al doble de la tarifa de Opus 4.8, sin importar quién responda realmente la solicitud. Eso cambia las matemáticas completamente. Antes del cambio, quemar créditos de Fable 5 en programación relacionada con seguridad tenía algo de sentido, estaba incluido de todas formas. Después del cambio, pagar una tarifa premium por una moneda al aire sobre qué modelo aparece es un problema completamente diferente.

Vale los créditos: escritura de formato largo, análisis de documentos, planificación que abarca varios días. Estos casi nunca son interceptados, así que realmente estás pagando por Fable 5 y obteniendo Fable 5 de vuelta.

Ya no vale la pena: auditorías de seguridad, debugging de auth, cualquier cosa que huela a ciberseguridad incluso cuando es completamente benigna. Estás pagando $10 por millón de tokens de entrada y $50 por millón de salida por una solicitud que tiene una posibilidad real de ejecutarse silenciosamente en el modelo de $5/$25 de todas formas. La función de Fable 5 que se comió mi cuota me enseñó por las malas que la tarifa premium de Fable 5 solo vale la pena cuando Fable 5 es realmente quien hace el trabajo. La regla más simple a la que he llegado: paga tarifas de Fable 5 solo por el trabajo que Fable 5 realmente toca, no por una moneda al aire sobre qué modelo aparece. Entro en este tipo de disciplina de verificación con más detalle en Prompt Contracts, pero la versión corta se sostiene bien por sí sola: verifica quién respondió realmente antes de confiar en el output.

Karen de Contabilidad no le importa qué modelo respondió el ticket. Le importa que la factura diga precios de Fable 5 en una solicitud que Opus 4.8 manejó silenciosamente. Honestamente, a mí tampoco 💸

2 Benchmarks, 2 Veredictos Muy Diferentes

BridgeBench y Arena publicaron números de la misma semana, en el mismo modelo, y aterrizaron en lugares completamente diferentes. BridgeBench cuenta cada redirección como un fallo, lo cual es defendible si estás calificando la disponibilidad de Fable 5, menos si estás calificando su competencia real cuando aparece. Arena lo ejecuta diferente: miles de votos ciegos de preferencia humana a través de texto, documentos, código y tareas de agente, clasificados como un puntaje Elo, el mismo sistema de rating que usa el ajedrez, adaptado aquí para comparaciones de modelos.

La versión de Arena se ve casi aburrida en comparación. El código frontend se movió de 1650 a 1623 Elo, una brecha que la propia Arena llama estadísticamente dentro de su intervalo de confianza. Los documentos ganaron 34 puntos. El texto experto ganó 25. La programación, la categoría que más se superpone con el punto ciego del clasificador, cayó 18. Los prompts difíciles cayeron 3. Tal vez estoy leyendo demasiado en 2 números de la misma semana, pero esa división se alinea casi exactamente con qué tareas disparan el clasificador y cuáles no.

Se desarrolla como la misma ejecución grabada en 2 archivos de guardado diferentes, y de alguna manera ambas partidas cuentan como canon. BridgeBench está midiendo qué pasa cuando una solicitud es interceptada antes de que Fable 5 siquiera la vea. Arena está midiendo qué produce Fable 5 en las raras ocasiones que realmente responde. Anthropic ha dicho que el clasificador lanza una red demasiado amplia ahora mismo y será ajustado con el tiempo, sin una fecha adjunta a esa promesa. Un clasificador que nadie fuera de Anthropic puede inspeccionar no es algo que alguien pueda auditar independientemente desde afuera. La respuesta honesta a si Fable 5 está capado depende completamente de qué modelo abrió realmente tu solicitud, y no hay manera de verificar eso desde donde estoy sentado.

La Parte Que Sobrevive al 7 de Julio

Si este patrón de clasificador se vuelve estándar en la próxima ronda de lanzamientos de modelos frontera, algo desaparece silenciosamente: la certeza de saber qué modelo produjo realmente un resultado dado.

Eso suena abstracto mientras solo estemos hablando de créditos desperdiciados esta semana. Es mucho menos abstracto para cualquier pipeline agéntico construido sobre la reproducibilidad de un modelo específico, el que fue probado, que tiene un perfil de fallo conocido, cuyos errores has aprendido a esperar.

Las matemáticas de ROI de esta semana se cierran el 7 de julio.
Esa no.

Fuentes

Este post puede contener enlaces de afiliado. Si haces clic en ellos, podría ganar una pequeña comisión (no te cuesta nada, y me ayuda a seguir enviando artículos de calidad todos los días para tu placer de lectura).