Criterios explícitos: cómo reducir los falsos positivos de un revisor automático

Bienvenidos y bienvenidas a la cápsula uno del Módulo uno. Este módulo cubre el dominio cuatro del examen, ingeniería de prompts y salida estructurada, que pesa el veinte por ciento. Partimos por el task statement cuatro punto uno: diseñar prompts con criterios explícitos para mejorar la precisión y reducir los falsos positivos.

Un prompt de revisión funciona mejor cuando define con criterios concretos qué reportar y qué ignorar. La guía oficial trae un ejemplo exacto. La instrucción débil dice: revisa que los comentarios sean correctos. La fuerte dice: marca un comentario solo cuando el comportamiento que describe contradice lo que el código realmente hace.

Instrucciones como sé conservador, o reporta solo hallazgos de alta confianza, no mejoran la precisión. El modelo no sabe qué significa conservador en tu proyecto. Y los falsos positivos cuestan caro: cuando una categoría mete mucho ruido, los desarrolladores dejan de confiar también en las categorías que sí aciertan. El daño se contagia.

Frente a un revisor con demasiados falsos positivos, la respuesta correcta es escribir criterios que separen lo que se reporta, como bugs y problemas de seguridad, de lo que se omite, como estilo menor o patrones locales que el equipo acepta. Las opciones tentadoras que fallan son pedir más rigor, filtrar por un puntaje de confianza que el mismo modelo informa, o cambiar a un modelo más grande. Ninguna define qué es un problema.

La guía nombra dos habilidades más. Una es apagar por un tiempo las categorías con muchos falsos positivos, para recuperar la confianza del equipo mientras se mejora su prompt. La otra es definir niveles de severidad con ejemplos de código concretos para cada uno, para que la clasificación sea consistente entre corridas. La documentación de Anthropic apunta en la misma dirección: pide instrucciones claras y directas, como para un colega nuevo.

Un caso. Un equipo usa Claude en integración continua, y los desarrolladores ignoran al bot porque marca nombres de variables junto con bugs reales. La arquitecta agrega las convenciones del proyecto, excluye el formato que ya cubre el linter y define que crítico significa pérdida de datos o una vulnerabilidad explotable. Mientras ajusta la categoría más ruidosa, la apaga por dos semanas, y el equipo vuelve a leer los comentarios.

Una pregunta. ¿Sé conservador es un criterio explícito?

No. Es una petición vaga que no dice qué reportar ni qué omitir. Un criterio explícito nombra categorías concretas y las acompaña con ejemplos.

Pregunta uno. Una notaría usa un revisor automático de escrituras. Marca tantas diferencias de forma que los abogados ya ignoran también los errores de fondo. ¿Qué cambio conviene? Opción A: definir criterios explícitos: reportar los errores de fondo, omitir estilo y forma, y dar ejemplos de cada severidad. Opción B: agregar la instrucción de ser conservador al prompt. Opción C: revisar cada escritura con tres modelos distintos. Opción D: filtrar los hallazgos por una confianza que el mismo modelo informa.

La correcta es A. Define qué cuenta como problema, que es lo que faltaba. La B no dice qué significa conservador. La C multiplica el costo sin cambiar el criterio. La D usa una confianza autoinformada, que no está calibrada.

Pregunta dos, de respuesta múltiple. Elige dos. En una empresa de turismo aventura, un clasificador de reseñas marca como queja grave comentarios que son solo preferencias personales, y el equipo dejó de confiar en él. ¿Qué dos medidas ayudan? Opción A: recibir más reseñas para que el modelo aprenda el patrón. Opción B: filtrar por la confianza que el modelo informa de cada reseña. Opción C: desactivar por un tiempo la categoría de queja grave mientras se mejora su prompt. Opción D: definir niveles de severidad con ejemplos concretos de cada nivel. Opción E: pedirle al modelo que reporte solo lo que le parezca muy seguro. ¿Cuáles dos?

Las correctas son C y D. La C recupera la confianza del equipo mientras se corrige el prompt, y la D vuelve consistente la clasificación. La E y la B dependen de una confianza que el modelo mismo informa. La A agrega volumen sin cambiar el criterio.

Resumen: los criterios concretos de qué reportar y qué omitir le ganan a pedir cuidado. Si te sirvió, sigue el podcast, dale cinco estrellas y activa las notificaciones. En la próxima cápsula vemos cómo enseñar con ejemplos few-shot. Nos escuchamos en la próxima cápsula de EvoAcademy.