Publicar dónde fallan tus datos
Foto de Pawel Czerwinski en Unsplash
El seguimiento falló en algunos ensayos. En vez de promediarlos sin más, hice un mapa de dónde y por qué falló.
La tentación
El seguimiento de marcadores no funciona igual de bien en todos los ensayos. Algunas configuraciones tienen poco contraste, algunos recorridos se salen del encuadre, algunos fotogramas son sencillamente malos. Acabas con una tasa de detección por ensayo: la fracción de fotogramas en los que el rastreador encontró de verdad lo que buscaba.
La tentación es calcular la media igualmente. Todos los ensayos contribuyen, la tabla resumen no tiene huecos y nadie hace una pregunta incómoda.
Es también la decisión que pone un número seguro encima de unos datos que no pueden sostenerlo.
Condicionar en vez de promediar
La alternativa no cuesta casi nada de implementar y cambia lo que significan los resultados.
Todos los estadísticos de mi análisis están condicionados a la tasa de detección. Por debajo del umbral, el ensayo no contribuye al agregado. Ni se pondera a la baja, ni se interpola: se excluye, y se registra como excluido.
Eso deja un hueco en la tabla, que es justamente el objetivo. El hueco es información.
El mapa de fallos
Así que la segunda mitad consiste en publicar dónde están los huecos. Junto a los resultados, el pipeline emite un mapa de calor de fallos de seguimiento sobre la rejilla completa de configuraciones: seis configuraciones de fibra frente a trece canales de curvatura, sombreadas por tasa de detección.
No es una figura halagadora. Muestra sin ambigüedad qué rincones de mi propio experimento no funcionaron.
Y es también lo más útil de toda la salida, por tres razones:
- Quien lo lea puede ver si la región que le interesa es una que medí de verdad.
- La siguiente persona que use el montaje sabe qué configuraciones necesitan un detector mejor antes de perder un día.
- Hizo explícito un límite real: una cobertura que solo podía defender en un rango acotado, y lo dije.
Si no puedes enseñar dónde falla tu método, no has demostrado que funcione en ningún sitio.
Por qué esto no es solo pulcritud
Promediar sobre datos malos no es un pecadillo que se corrige después. Produce un resultado especialmente difícil de detectar, porque la salida se parece exactamente a un buen resultado: una curva suave, una magnitud plausible, un intervalo aparentemente estrecho.
Publicar el mapa de fallos sale más barato que la alternativa, que es que alguien se fíe de un número que nunca se ganó.