Un agent qui mène la tâche à bien mais corrompt l’état n’a rien réussi du tout.
Le taux de réussite, pris isolément, masque justement les échecs qui pèsent le plus en production. Un agent peut renvoyer la bonne réponse tout en supprimant un fichier, en laissant une migration à moitié appliquée ou en consommant dix fois plus de tokens que nécessaire : un score binaire réussite/échec y verra pourtant une réussite.
Une évaluation digne de ce nom note la trajectoire, et pas seulement la destination : l’agent a-t-il contenu ses effets de bord, su récupérer après un appel d’outil échoué et respecté son budget ?
À chaque échec de production que le score binaire passe sous silence correspond un contrôle de trajectoire qui aurait dû être effectué :
| Échec masqué par le taux de réussite | Contrôle de trajectoire |
|---|---|
| Supprimer un fichier | Effets de bord contenus |
| Laisser une migration à moitié appliquée | Récupération après un appel d’outil échoué |
| Consommer dix fois plus de tokens que nécessaire | Budget respecté |
Journaliser chaque étape rend ces contrôles possibles et transforme une régression floue en un problème précis et réparable.