El asistente prometía plazos que nadie había aprobado

Estábamos probando el asistente que contesta por WhatsApp a los interesados de una escuela de pilotos de drones. Iba en modo sombra: propone la respuesta, pero no la envía. Las respuestas sonaban bien. Educadas, claras, con buen tono. Y aun así, la primera evaluación seria encontró un fallo que se repetía.

La frase amable que era una promesa

El asistente cerraba muchas respuestas con cosas como «te escribe el equipo enseguida» o «te llamamos». Suena a buena atención. Pero es una promesa de plazo, y el asistente no controla ni la agenda del equipo ni cuándo alguien va a coger el teléfono.

Lo peor: la frase no se la había inventado el modelo. Venía de nuestras propias instrucciones. La primera versión del texto que le decía cómo comportarse sugería, literalmente, «te lo confirma el equipo enseguida».

Cómo lo vimos

Con una batería de pruebas fija: mensajes reales, anonimizados, que se pasan siempre igual a cada versión del asistente. Unas reglas en código buscan lo que nunca debe aparecer (promesas de plazo, de llamadas, de condiciones que no constan) y un evaluador puntúa el resto. Sin esa batería, el fallo habría salido en una conversación con un cliente.

Lo que aprendimos

• Consultar no es actuar. Que el asistente encuentre cómo se resolvió una devolución no le autoriza a prometer otra. Puede contar lo que hay; lo que se compromete lo decide una persona.
• Revisa también tus instrucciones. El texto que guía al modelo es código: se versiona, se prueba y se compara con la versión anterior.
• Una regla de salida, no de estilo. Para que el asistente conteste solo en un tipo de consulta exigimos dos cosas: que la mayoría de sus respuestas sean útiles según las valoraciones de las personas que las revisan, y que no haya ni una sola promesa sin respaldo.

La versión corregida dice lo que hay y quién se ocupa. Sin fechas que no puede cumplir.

Fuente de las cifras: Evaluación de un asistente de WhatsApp para una escuela de pilotos de drones (Kalmia Zen).