Parte IV. Valor, medida y más de un equipo
Cómo saber si la IA compensa
Medir y mejorar: DORA, flujo, EBM y la retrospectiva con datos
Dos Sprints medidos
Begoña preguntó en el comité si la IA estaba compensando. El equipo de GymApp tenía la respuesta que da todo el mundo: "vamos mucho más rápido". Ramón le pidió a Olga números.
Olga no los tenía; tenía impresiones. Así que propuso algo modesto: medir dos Sprints antes de cambiar nada más. Cuánto tardaba un elemento desde que se empezaba hasta que llegaba a los socios, cuántos cambios salían a producción, cuántos había que arreglar después, cuánto trabajo había a medias y qué hacían los socios con lo que salía.
Los datos dijeron algo distinto a las impresiones. El equipo terminaba más elementos que antes, pero el tiempo hasta que llegaban a los socios casi no había bajado, porque se quedaban esperando revisión. Y uno de cada cinco cambios necesitaba un arreglo en la semana siguiente.
Qué no medir
Hay medidas que se ofrecen solas y no dicen nada del valor: líneas de código escritas, cambios entregados, número de consultas a la IA, "usuarios activos de la herramienta" u horas ahorradas declaradas. Son fáciles de contar y fáciles de inflar. Si se convierten en objetivo, la gente las mueve.
La sensación no es un dato
La sensación de ir más rápido es real, pero no basta. En 2025, la organización METR midió con un experimento controlado a desarrolladores con experiencia que trabajaban en sus propios proyectos de código abierto. Con herramientas de IA tardaron un 19 % más. Antes de empezar esperaban ir un 24 % más rápido, y al terminar seguían creyendo que habían ido un 20 % más rápido.
No significa que la IA haga ir más lento siempre. Significa que la impresión de quien la usa no es una medida. Hay que mirar el flujo.
El cuadro mínimo
Siete medidas bastan para empezar:
- Tiempo de entrega: desde que se empieza algo hasta que llega al usuario.
- Frecuencia de despliegue: cuántas veces se lleva algo a producción.
- Tasa de fallos: qué parte de los cambios necesita un arreglo después.
- Tiempo de recuperación: cuánto se tarda en arreglar lo que falla en producción.
- Trabajo en curso: cuántas cosas hay empezadas y sin terminar.
- Una medida de comportamiento del usuario: la que diga si lo entregado sirve. En GymApp, las reservas por socio nuevo en su primer mes.
- El coste: licencias, consumo de los modelos y horas de revisión.
Las cuatro primeras son las métricas DORA, las del informe que citamos en el capítulo 2. La quinta viene de la gestión de flujos. La sexta es la que conecta con la escalera de metas del capítulo 12. La séptima es la que pregunta la dirección.
Y se miden sobre el flujo de valor completo, no sobre el trozo del equipo. Un tiempo de entrega que solo cuenta el desarrollo esconde las esperas del capítulo 13.
Sin línea base, cualquier mejora es una opinión
Lo más útil de la propuesta de Olga fue no cambiar nada durante dos Sprints. Sin una línea base, cualquier mejora es una opinión. Con ella, cada cambio en la forma de trabajar se convierte en un experimento: se cambia una cosa, se mide y se decide si se queda.
Mejora continua con IA
La IA también sirve para mejorar cómo se trabaja, no solo para trabajar:
- La Retrospectiva con datos. La IA analiza el Sprint (dónde esperó el trabajo, qué volvió atrás, qué revisiones se acumularon) y el equipo decide qué cambiar, con las tres preguntas del capítulo 4.
- Experimentos de un Sprint. Un cambio, una medida y una decisión.
- Guardianes de calidad como rutina. Agentes que cada noche revisan lo que ha entrado y avisan de lo que pueden demostrar.
En nuestra web, el guardián de calidad hace además una autopsia de cada arreglo: qué lo causó, quién lo encontró, si trajo su prueba y si el mismo fallo está en otro sitio. Y vigila que lo que debería funcionar solo dé señales de vida.
Los fallos que más nos costaron fueron silenciosos: un formulario del checklist del AI Act que estuvo cuatro meses sin poder enviarse, o unas quinientas páginas con las fuentes bloqueadas por una regla de seguridad, sin que nadie lo viera. Desde que medimos, esos fallos aparecen al día siguiente.
En resumen
No midas lo que es fácil de inflar. La sensación de ir más rápido no es un dato. Siete medidas sobre el flujo completo, una línea base de dos Sprints y la mejora continua como una serie de experimentos.
Pruébalo esta semana
Mide dos Sprints antes de cambiar nada más, con las siete medidas, aunque sea a mano en una hoja de cálculo.
En el cheat-sheet de métricas DORA y de flujo tienes las definiciones en una página y los gráficos que conviene mirar.