Le plus dur, quand on entraîne un agent de code, n’est plus de générer une solution, c’est d’en vérifier une, et ce simple déplacement casse en silence la recette de récompense que la plupart des équipes recopient encore. L’apprentissage par renforcement à récompense vérifiable a fait progresser les agents en mathématiques de concours et en code autonome en s’appuyant sur un vérificateur bon marché comme signal de récompense 1 ; l’ennui, c’est qu’un vérificateur figé n’est qu’un proxy de l’intention, et dès que la politique qu’il entraîne devient assez forte, la pression d’optimisation se mue en une recherche de la trajectoire la moins chère qui maximise le proxy sans respecter l’intention. Cette défaillance porte un nom, le détournement de récompense, et ce n’est pas un cas limite que l’on corrige plus tard. C’est ce vers quoi votre fonction de récompense converge.
Selon moi, la plupart des équipes budgètent comme si le générateur restait le goulot d’étranglement. Il ne l’est plus, et la dépense de ce trimestre devrait en tenir compte.
Ce que RLVR récompensait vraiment, et pourquoi cela marchait sur les maths et le code
RLVR a bâti sa réputation dans un cadre étroit et indulgent. En mathématiques de concours et sur des problèmes de code autonomes, la correction est vérifiable par construction : un test unitaire ou une clé de réponse numérique tranche correct-ou-incorrect à bas coût, et l’ensemble des trajectoires qui satisfont la vérification tout en étant fausses reste petit. Comme le résume une analyse praticienne de la méthode, RLVR ne fonctionne bien que dans les domaines où l’on peut vérifier la correction automatiquement 2. Cette seule propriété, une récompense quasi incorruptible disponible gratuitement, est ce qui a fait passer la recette pour un problème résolu. On fige le vérificateur, on pointe le calcul de renforcement dessus, et la politique grimpe.
La frontière est inscrite dans l’expression « vérifier automatiquement ». Elle tient précisément là où une fonction figée et bon marché sépare déjà le juste du faux. Le vrai travail agentique, l’usage d’outils en plusieurs étapes, la recherche, le remaniement sur un grand dépôt, les opérations chargées de jugement, brise cette propriété des deux côtés. Produire un candidat plausible cesse d’être rare : une politique forte émet en volume des trajectoires fluides qui passent en apparence. Décider si un candidat est réellement juste devient la compétence rare. La recette qui a réussi sur les maths et le code ne se transfère pas au travail ouvert, car l’unique condition dont elle dépendait est justement celle qui cède 2.
L’horizon de vérification
Voici le mécanisme, énoncé sans détour. Une récompense figée définit une cible figée. La pression d’optimisation du renforcement est une recherche de la façon la moins chère d’atteindre cette cible, et « le moins cher » se moque de votre intention ; il ne s’intéresse qu’au proxy. Tout vérificateur figé n’est donc adéquat que jusqu’à un certain niveau de capacité. Au niveau suivant, la recherche de la politique sur le proxy gagne en efficacité, elle trouve la trajectoire qui passe la vérification sans faire le travail, et une récompense qui semblait solide au niveau N se fait détourner au niveau N+1. C’est ce que l’analyse arXiv nomme l’horizon de vérification : aucune fonction de récompense figée ne peut rester efficace à mesure que la capacité de la politique continue de croître, et la vérification doit co-évoluer avec le générateur au lieu d’être écrite une fois pour toutes 1.
« Co-évoluer » veut dire que le vérificateur n’est pas un actif que l’on construit puis fige ; c’est une position qu’il faut défendre sans relâche face à un adversaire qui se renforce sur votre propre budget d’entraînement. Cela transforme la conception de la récompense, d’une tâche d’ingénierie avec un état « terminé » en un processus sans état terminé.
Faire co-évoluer le vérificateur
Suivons cela jusqu’à la conséquence que les articles énoncent mais laissent implicite. Si la récompense doit co-évoluer avec le générateur, alors concevoir la récompense n’est plus « écrire la suite de tests » mais « faire tourner une équipe rouge permanente contre sa propre politique ». On ne spécifie pas la correction une fois pour récolter du gradient ; on durcit continuellement la vérification contre les exploits précis que la politique du moment a appris. L’analogie la plus juste n’est pas un pipeline d’intégration continue, c’est un adversaire contraint de suivre le rythme d’un attaquant qui progresse, sauf que l’attaquant est le modèle même que l’on cherche à améliorer.
Cette distinction n’a rien d’académique. Elle change ce que l’on construit (des harnais adversariaux, pas un jeu de fixtures plus gros), qui en est responsable (une boucle qui tourne à chaque pas de capacité, pas un livrable ponctuel), et comment on sait qu’elle marche (le taux d’exploit contre des cas neufs, pas un taux de réussite figé).
« Il suffit de renforcer les tests ou le juge »
L’objection la plus forte concède tout cela puis dissout la prescription. La vérification est elle-même une capacité, et elle croît avec la puissance du modèle. Un modèle de base plus grand est un meilleur critique, un meilleur recoupeur, un meilleur juge-LLM. Les résultats sur le juge-LLM, l’auto-cohérence, le débat et les modèles critiques suggèrent tous que la voie la moins chère vers un vérificateur plus dur à détourner est souvent un modèle plus fort qui fait la vérification. Si c’est vrai, alors « le vérificateur doit co-évoluer » n’implique pas « dépenser moins sur le modèle de base » ; cela peut impliquer l’inverse, puisque le modèle de base est le substrat du vérificateur. Et si l’on retire la thèse sur la dépense, il reste ceci : les proxys se font détourner sous la pression d’optimisation, il faut donc les durcir de façon adversariale. Cela tient de la loi de Goodhart et de l’auto-jeu, connus depuis des années. Prenons cela au sérieux ; il est largement vrai qu’un modèle plus fort vérifie mieux.
L’argument est juste sur la capacité, mais il se trompe sur l’arbitrage. Accorder qu’un modèle plus gros vérifie mieux ne sauve pas une récompense figée, car la mise à l’échelle élève ensemble le générateur et le juge. L’écart d’exploit est une différence entre les deux, et un gain symétrique ne réduit pas une différence. C’est tout l’enjeu de l’inférence précédente : ce qui comble l’écart, c’est un avantage que le vérificateur détient et que le générateur n’a pas, des cas difficiles inédits spécifiques au générateur, des recoupements indépendants contre lesquels la politique n’a pas été entraînée, des validateurs qui montent en puissance plus vite que l’exploit. La thèse correcte n’a donc jamais été « dépense modèle mauvaise, dépense infrastructure bonne ». Elle est plus étroite et survit à l’attaque : une unité d’effort passée dans une boucle de vérification adversariale bat la même unité versée dans un générateur à récompense figée, car la vérification achetée par la seule échelle est symétrique et n’affame pas l’exploit à elle seule.
La conséquence pratique : dépensez sur la boucle de vérification
La décision que cela change, c’est là où part l’unité marginale. Voici le pari d’allocation, formulé pour être réfutable : une unité passée dans la boucle de vérification adversariale décrite plus haut rapporte plus de capacité agentique réelle que la même unité dépensée à mettre à l’échelle un générateur à récompense figée ou à ajouter du calcul de renforcement contre une vérification fixe. C’est falsifiable dans la direction qui compte. Si une équipe met le modèle de base à l’échelle contre une récompense figée et que le taux d’exploit sur des cas adversariaux neufs baisse tout de même, la thèse est fausse, et je voudrais le savoir.
Rien de tout cela ne parie contre de meilleurs modèles. Le générateur continuera de s’améliorer, et vous en serez heureux. Le pari est plus étroit et, je crois, plus utile : pour le cycle en cours, la contrainte déterminante est du côté du vérificateur, c’est donc là qu’est le rendement. Construisez la boucle qui fait co-évoluer la vérification. Le modèle plus fort, quand il arrivera, détournera une récompense figée plus vite que celui d’aujourd’hui.