Désactiver le « raisonnement » d'un modèle IA le rend plus rapide — et pas moins juste
Guy WASSEU
Auteur
Les modèles de langage récents savent « réfléchir » avant de répondre : ils déroulent une chaîne de raisonnement interne, invisible pour l'utilisateur, avant de produire leur réponse. On présente souvent ce mode comme un gage de qualité, et il est activé par défaut sur plusieurs modèles. Sur les tâches qui font vraiment vivre un agent — comprendre une demande et déclencher la bonne action —, j'ai mesuré l'inverse : le couper rend l'agent plus rapide, et pas moins juste.
Ce que j'ai mesuré
J'ai rejoué une même série de demandes réalistes — celles où un assistant doit choisir le bon outil dans un catalogue qu'on lui fournit, puis agir — dans deux configurations identiques à un détail près : le raisonnement activé, puis coupé. Pour ne pas conclure sur un coup de chance, chaque cas a été tiré plusieurs fois et les deux modes comparés cas par cas, et non sur des moyennes globales qui masquent les compensations.
La latence tombe de plus de moitié
Le résultat le plus net est le temps de réponse. Sur ce jeu de tâches, la latence médiane de bout en bout passe de 2,68 à 1,12 seconde lorsqu'on coupe le raisonnement — 58 % de moins. Pour un utilisateur qui attend une réponse, c'est exactement là que se joue la différence entre « instantané » et « il réfléchit encore ».
Et la justesse ne baisse pas
On accepterait cette latence si elle achetait de la qualité. Ce n'est pas le cas. Sur la sélection du bon outil, les deux modes sont à égalité — le mode sans raisonnement est même très légèrement devant, sans que l'écart soit significatif. Autrement dit : sur ces tâches, le raisonnement ne fait pas mieux, il fait plus lent.
Le piège que le raisonnement introduit : la réponse vide
Le vrai enseignement est ailleurs. En mode raisonnement, un modèle peut partir dans une boucle de réflexion qui consomme tout son budget de calcul avant d'avoir écrit un seul mot de réponse : il rend alors une réponse vide. Pour un chatbot, c'est agaçant ; pour un agent censé exécuter une action, c'est un échec silencieux — il ne fait rien, et personne ne sait pourquoi. Pour un agent, une abstention coûte aussi cher qu'une mauvaise action. Couper le raisonnement a fait disparaître ce mode de panne.
La leçon n'est pas « le raisonnement ne sert à rien »
Il faut être précis. Sur un problème analytique difficile — une démonstration, un plan en plusieurs étapes —, la réflexion explicite aide, et il faut la garder là où elle paie. Ce que ces mesures disent est plus étroit et plus utile : pour des actions fréquentes où la latence et la fiabilité priment, le réglage par défaut « raisonnement activé » est le mauvais choix. Et surtout, cela ne se devine pas : cela se mesure, sur vos tâches et avec vos données. C'est précisément le travail que je fais avant de mettre un modèle en production.
Sources