Les classements publics de modèles IA ne prédisent pas votre cas d'usage

Choisir un modèle d'intelligence artificielle sur la foi d'un classement en ligne est tentant : c'est chiffré, c'est public, ça tranche. Mais un classement mesure un modèle sur un jeu de tests, avec une métrique — et ce jeu n'est presque jamais votre travail réel. En mettant nos propres modèles à l'épreuve, j'ai vu deux fois le classement public dire une chose et la mesure sur nos tâches en dire une autre.

01Ce qu'un classement mesure — et ce qu'il ignore

Un bon score sur un banc public prouve qu'un modèle réussit ce banc. Il ne dit rien de votre catalogue d'outils, de vos documents, de votre langue, ni de votre budget de latence. Or c'est là que tout se joue : deux outils presque identiques à départager, une facture scannée de travers à lire, un courrier à écrire en français, une réponse attendue en moins d'une seconde. Aucun classement généraliste ne teste cela pour vous.

02Exemple 1 — un score public qui surestime le risque

Comprimer un modèle (le « quantifier ») le rend plus rapide et plus léger, mais un proxy public répandu — un test de suivi d'instructions — laissait craindre une perte de qualité en 4 bits. Sur le papier, un risque. Sur mon jeu de tâches d'agent — choisir le bon outil dans un vrai catalogue —, le modèle 4 bits a fait jeu égal avec le modèle pleine précision : zéro abstention, arguments corrects à 100 %, et nettement plus rapide. Le risque annoncé par le classement n'existait pas chez moi. Lui faire confiance, c'était payer une précision dont je n'avais pas besoin.

03Exemple 2 — un classement qui écarte le mauvais candidat

À l'inverse, un classement d'« appel d'outils » plaçait un modèle très bas — de quoi le rayer d'office. Sauf que ce mauvais rang concernait une autre taille du modèle. La version que j'ai réellement testée, elle, est arrivée dans le bruit de mesure de ma référence sur la sélection d'outils. Suivre le classement, c'était jeter un candidat sérieux sans l'avoir essayé.

04Pourquoi un classement se trompe pour vous

Trois raisons reviennent. La tâche testée n'est pas la vôtre : réussir un test d'instructions ne prédit pas la lecture de vos factures. L'écart mesuré est souvent minuscule et s'inverse ou disparaît sur vos données. Et la version classée n'est pas toujours celle que vous feriez tourner — taille, compression, réglages diffèrent. Un chiffre public agrège tout cela en un seul rang, et cet agrégat vous cache l'essentiel.

05Ce que ça change

La parade n'est ni chère ni longue : se constituer un petit jeu d'épreuves sur ses propres outils et ses propres documents, y mesurer chaque modèle candidat, et laisser cette mesure décider — pas le classement. Une trentaine de cas bien choisis en disent plus long sur votre production que n'importe quel palmarès. C'est exactement le travail que je fais avant de mettre un modèle en service : non pas « quel est le meilleur modèle ? », mais « lequel est le meilleur pour ce que vous en ferez ? ». Ce n'est pas la même question, et elle n'a pas la même réponse.

---

Sources

• Berkeley Function-Calling Leaderboard (BFCL) — classement public d'appel d'outils
• IFEval — Instruction-Following Evaluation for Large Language Models (arXiv 2311.07911)