Retour aux articles
viernes, 25 de septiembre de 202619 vues0

Claude Opus 5.5 en 10 proyectos: lo que no muestran los benchmarks

Mike Codeur

Claude
Anthropic
LLM

Claude Opus 5.5 probado en 10 proyectos reales

▶️ Ver el vídeo completo

Anthropic presenta Claude Opus 5.5 como un modelo cercano a Fable 5.1 en la mayoría de las tareas, más rápido y menos costoso que Opus 5. Esas cifras sirven como referencia, pero no muestran qué ocurre cuando el modelo recibe un espacio de trabajo vacío, una tarea y un límite de tiempo.

Ejecuté diez proyectos diferentes sin mis skills, sin servidores MCP, sin configuración personal y sin retoques humanos. Cada proyecto se lanzó en un entorno aislado, con el mismo protocolo y un máximo de 30 minutos. No pretendía crear una clasificación científica. Quería comprobar qué podía entregar Opus 5.5 por sí solo, dónde fallaba y qué demostraban realmente sus resultados.

El protocolo de la prueba

Mantuve cuatro reglas constantes en todos los proyectos:

  1. Mismo punto de partida: un workspace aislado y sin contexto personal.
  2. Mismo nivel de ayuda: ninguna corrección manual durante la ejecución.
  3. Misma restricción: 30 minutos como máximo por proyecto.
  4. Misma prueba mínima: el proyecto debía terminar, arrancar con un comando y producir un resultado inspeccionable.

Las diez tareas cubrían visualización 3D, simulación, interfaces web, un dashboard, un configurador de producto, un juego y una API REST con SQLite. Esa variedad aporta más información que diez landing pages parecidas. Obliga al modelo a gestionar estructuras, librerías y criterios de éxito diferentes.

Los diez proyectos asignados a Opus 5.5

FamiliaProyectoLo que debía gestionar el modelo
3DAgujero negro con disco de acreciónEscena, animación, renderizado y efecto de lente
3DGalaxia con miles de partículasGeneración, movimiento y rendimiento visual
SimulaciónMontaña rusa proceduralGeometría, recorrido y cámara
SimulaciónMecanismo de vórticeMovimiento coherente y visualización
SimulaciónFlujo de partículasActualización continua y renderizado fluido
FrontendLanding page de un SaaS de IAJerarquía visual, componentes y responsive
FrontendConfigurador de productoEstado, opciones y resumen dinámico
Data UIDashboard de analíticaDatos, gráficos y legibilidad
JuegoPlataformasControles, colisiones y bucle de juego
BackendAPI REST con SQLiteRutas, persistencia y pruebas automatizadas

Resultado: diez proyectos terminados, pero no diez pruebas equivalentes

El run produjo estos resultados:

  • 10 de 10 proyectos terminados sin errores bloqueantes;
  • 10 de 10 arrancan con un solo comando;
  • 9 de 9 suites de pruebas escritas por el modelo pasan;
  • 1 hora y 46 minutos de trabajo autónomo acumulado;
  • 20,45 dólares de coste equivalente de API;
  • 514,6 mil tokens generados en salida.

El dato útil no es el 10/10 por sí solo. Es la combinación de autonomía, variedad de tareas y capacidad para dejar cada proyecto ejecutable. Un repositorio lleno de archivos no basta. Arrancar el resultado permite inspeccionar lo que se ha construido de verdad.

El vídeo enseña las diez salidas, no una selección de las más bonitas: ver la prueba completa.

Lo que demuestra la prueba sobre Opus 5.5

1. Puede llevar un proyecto corto de principio a fin

En estas tareas acotadas, Opus 5.5 no se limitó a escribir un componente o una función. Creó la estructura, eligió dependencias, implementó el resultado y preparó un comando de arranque. Esa continuidad hace que un modelo resulte útil dentro de un flujo con agentes.

2. Las tareas visuales ya no le impiden entregar

Los proyectos 3D y las simulaciones exigen más que HTML estático. El modelo debe coordinar una escena, parámetros, animación y un resultado visible. Estas salidas no sustituyen una dirección artística humana, pero sí ofrecen prototipos funcionales que pueden revisarse y corregirse.

3. El backend sigue siendo más fácil de verificar que lo visual

La API REST ofrece una prueba más clara: rutas, una base SQLite y 52 tests en ese proyecto. Que los tests pasen no demuestra que el producto cubra todas las necesidades, sobre todo si el mismo modelo los ha escrito. Aun así, proporcionan una superficie de verificación más objetiva que una captura atractiva.

4. El coste solo tiene sentido unido a un resultado

20,45 dólares pueden parecer poco o mucho según lo que se mida. Un total de tokens aislado aporta poco. La pregunta útil es cuántos prototipos ejecutables, tests y decisiones técnicas se obtuvieron por ese coste. Aquí la cifra tiene contexto porque está unida a diez entregables observables y a 1 hora y 46 minutos de ejecución autónoma.

Los límites del experimento

Esta prueba no es un benchmark universal.

  • Los diez proyectos cubren varias familias, pero no representan todo el desarrollo de software.
  • El límite de 30 minutos favorece los prototipos cortos y penaliza trabajos que requieren una fase larga de análisis.
  • El mismo modelo escribió el código y los tests. Sigue siendo necesaria una revisión independiente.
  • «Terminado» significa ejecutable dentro del protocolo, no listo para producción, seguro o mantenible durante tres años.
  • El coste es un equivalente de API del run. No incluye la revisión humana ni las correcciones posteriores.
  • Las comparaciones de precio, velocidad y nivel con Opus 5 o Fable 5.1 proceden de los anuncios de Anthropic, no de mediciones independientes de este experimento.

Un workflow práctico para usar modelos así

La prueba sugiere un enfoque sencillo: dar al modelo un alcance verificable y separar la generación de la validación.

  1. Definir un resultado observable y un comando de arranque.
  2. Dar criterios de aceptación concretos, no una intención general.
  3. Ejecutar el trabajo en un entorno aislado.
  4. Pedir tests cuando el resultado lo permita.
  5. Arrancar el proyecto y ejecutar los tests en lugar de confiar en el informe del modelo.
  6. Encargar a otro agente o a una persona la revisión del código y de los tests.
  7. Corregir los defectos funcionales antes de ampliar el alcance.

Así se evita confundir velocidad de generación con calidad final. El modelo puede producir mucho en poco tiempo. El valor está en las pruebas que rodean ese trabajo.

Mi veredicto

Opus 5.5 entregó diez prototipos ejecutables de diez con este protocolo. Es una señal sólida para tareas cortas, acotadas y verificables. No elimina la revisión, los tests independientes ni los criterios de producto. Demuestra que un modelo potente resulta más útil cuando recibe un entorno limpio, un límite claro y una prueba que debe aportar.

▶️ Ver los diez proyectos, el protocolo, los costes y los límites

Para recibir mis próximas pruebas de agentes de IA y mis workflows de desarrollo, únete a The Agentic Dev.

Rejoins The Agentic Dev

Chaque semaine : outils, workflows et stratégies pour coder avec les agents IA comme un pro.

Workflows agentic testés en prod
Outils IA qui marchent vraiment
+35 000 développeurs déjà inscrits

Gratuit · 1 email / semaine · +1250€ de formations offertes