Même modèle, deux hébergeurs, des réponses différentes

Résumé §

Nous avons acheminé un modèle à poids ouverts, MiniMax-M3, vers deux fournisseurs d'inférence hébergée — Together AI et Ollama Cloud — au sein d'une plateforme de production dédiée aux marchés publics. Une comparaison non contrôlée a donné à l'un des fournisseurs 9.7 points de plus que l'autre, sur la même tâche et avec la même invite.

Le contrôle de deux variables de notre propre banc d'essai a fait disparaître la quasi-totalité de cet écart. La même tâche, remesurée, n'affichait plus que 0.5 point d'écart. Ce qui a survécu au contrôle était un ensemble de différences distinct, plus réduit et plus spécifique.

Le constat pratique n'est pas qu'un fournisseur serait meilleur. C'est qu'un écart apparent entre fournisseurs est, par défaut, non mesurable : deux défauts ordinaires du banc d'essai ont produit un écart de 9.7 points, dont 0.5 point a subsisté après correction. Quiconque compare des fournisseurs d'inférence hébergée mesure probablement son propre dispositif de test.

1. À l'origine de cette étude §

Les modèles à poids ouverts sont de plus en plus servis par plusieurs hébergeurs. Le même nom de checkpoint apparaît chez plusieurs fournisseurs, et l'hypothèse naturelle est que router vers le moins cher ou le plus rapide relève d'une décision purement commerciale — que le modèle est le modèle.

Notre plateforme affecte des modèles différents à des tâches différentes (évaluation d'opportunités, synthèse documentaire, rédaction de propositions, revue contradictoire, traduction, rédaction de spécifications). Nous avons construit un banc d'essai comparatif pour fonder ces affectations sur des preuves plutôt que sur des préférences : la même invite est envoyée à N modèles, et un modèle juge, exclu de la compétition, note les réponses anonymisées et mélangées.

En exécutant ce banc d'essai, nous avons relevé pour MiniMax-M3 un score de 78.5 sur Ollama Cloud et de 68.8 sur Together en synthèse en langage clair. Mêmes poids, même invite, même juge. L'écart est suffisamment important pour y router du trafic de production ; nous avons donc cherché à l'expliquer.

2. Deux défauts du banc d'essai §

2.1 La température d'échantillonnage n'était jamais spécifiée §

Notre client envoyait {model, max_tokens, messages} et rien d'autre. Ni temperature, ni top_p.

Chaque fournisseur applique sa propre valeur par défaut lorsque les paramètres d'échantillonnage sont omis, et ces valeurs ne sont pas le même nombre. Nous ne posions pas la même question aux deux hébergeurs. La comparaison ne mesurait pas le modèle ; elle mesurait en partie deux régimes d'échantillonnage différents.

2.2 Le banc d'essai n'utilisait pas les budgets de jetons de la production §

Chaque tâche du banc d'essai s'exécutait avec un plafond fixe de 1,500 jetons de sortie. La production, elle, transmettait entre 1,200 et 6,000 selon la tâche.

Pour les modèles de raisonnement, l'écart n'a rien d'anodin. Un modèle de raisonnement dépense son budget en raisonnement caché avant d'émettre le moindre caractère visible : un budget affamé ne produit donc pas une réponse plus courte — il ne produit aucune réponse. Sur la tâche dont le budget de production est de 6,000, quatre des six modèles testés ont renvoyé du raisonnement et aucun texte. Le banc d'essai les a enregistrés comme des échecs du modèle et a recommandé le cinquième meilleur modèle pour ce poste.

Le biais est orienté : affamer le budget favorise systématiquement les modèles qui réfléchissent le moins avant de répondre.

3. Méthode §

Plateforme. Un SaaS multi-tenant en production, dédié à la détection d'opportunités fédérales américaines et à la préparation d'offres. Toutes les invites sont les invites de production, non des reformulations — une invite reformulée mesure le banc d'essai, pas le modèle.

Concurrents. together/MiniMaxAI/MiniMax-M3 et Ollama/minimax-m3:cloud — le même nom de modèle tel que publié par chaque hébergeur.

Juge. OpenAI/gpt-5.6-luna, exclu du champ des concurrents. Un juge qui concourt aussi note chaque réponse 5–11 points plus haut sans modifier l'ordre, ce qui rend les cellules incomparables ; il est donc retiré plutôt que signalé. Les réponses sont anonymisées et mélangées avant notation ; le juge voit le début et la fin de l'invite, car une troncature limitée au début avait un jour masqué le document examiné et inversé toute une colonne de résultats.

Tâches. Neuf travaux de production : évaluation d'adéquation, synthèse en langage clair, questions pour l'acheteur, rédaction d'une section de proposition, synthèse de build, revue contradictoire, traduction arabe, rédaction de spécifications de build, et transcription de pages numérisées.

Corpus. Trois appels d’offres réels de longueurs et de sources différentes (73.9k, 86.9k et 17.6k caractères), deux exécutions chacun.

Contrôles appliqués avant la mesure finale.

1. Température d'échantillonnage fixée explicitement à 0.2 pour chaque fournisseur.
2. Chaque tâche exécutée avec le budget de jetons que lui transmet son appelant en production (1,200 / 2,000 / 2,500 / 4,000 / 6,000 selon la tâche).

Le classement repose sur la position moyenne et non sur le score moyen : mesuré sur notre corpus, l'ensemble du champ a obtenu 39–66 sur un avis et 78–94 sur un autre ; moyenner les scores bruts revient donc surtout à enregistrer quels documents un modèle a tirés.

4. Résultats §

4.1 L'écart disparaît en grande partie sous contrôle §

4.2 Résultats contrôlés, toutes tâches mesurables §

Scores du juge, 0–100. Les échecs sont les appels n'ayant renvoyé aucun texte exploitable.

La rédaction de spécifications de build n'a pas pu être mesurée : à chaque exécution, au moins un concurrent n'a rien renvoyé, laissant au juge une seule réponse et aucun classement à établir. Nous la déclarons non mesurée plutôt que comme un résultat.

Ce qui survit au contrôle, c'est une différence décisive — l'évaluation d'adéquation, 10.0 points pour Together — et une quasi-parité sur six des sept tâches restantes. Les deux tâches où Ollama Cloud devance se jouent à moins d'un point.

4.3 Les écarts opérationnels dépassent les écarts de qualité §

D’après la télémétrie de production sur la même période :

Ollama Cloud a répondu environ 1.8× plus vite ; Together a échoué environ 4× moins souvent. Les échecs observés sur Ollama Cloud comprenaient des délais de lecture dépassés et des complétions vides où le raisonnement avait consommé tout le budget.

Cette comparaison est observationnelle et non contrôlée : les deux points de terminaison n'ont pas reçu des mélanges de tâches identiques sur la période. Nous la rapportons parce que l'effet est important et constant, non parce qu'elle est expérimentalement propre.

4.4 Certains modèles refusent une température imposée §

Sur sept modèles auxquels nous avons imposé une valeur, deux l'ont refusée — les familles de raisonnement répondent à une température explicite par une erreur HTTP 400 et n'acceptent que leur propre valeur par défaut. L'un d'eux était notre juge. Tout client qui fixe l'échantillonnage doit détecter ce cas à partir de l'erreur et réessayer sans le paramètre, faute de quoi il perdra précisément les modèles les plus sensibles à l'échantillonnage.

5. Interprétation §

Nous n'avons pas établi pourquoi les deux hébergeurs diffèrent là où ils diffèrent encore. Chacune des hypothèses suivantes pourrait l'expliquer, et nous ne pouvions pas les vérifier de l'extérieur : format de quantification, différences de pile de service, révision du checkpoint, ou paramètres d'échantillonnage résiduels que nous ne fixons pas (top_p, top_k, pénalité de répétition).

Nous avons en revanche établi quelque chose que nous jugeons plus utile :

L'écart qu'un banc d'essai non contrôlé rapporte entre deux fournisseurs peut être plusieurs fois supérieur à celui qui survit au contrôle — et peut pointer dans l'autre sens.

Avant les contrôles, nos données disaient : « router la synthèse vers Ollama Cloud, à 9.7 points près ». Après les contrôles, cette tâche est à égalité et la vraie différence se situe tout ailleurs. Une équipe agissant sur la première mesure aurait pris une décision de routage fondée sur un artefact de son propre dispositif de test.

6. Recommandations pratiques §

Pour quiconque compare des fournisseurs d'inférence hébergée :

1. Fixez l'échantillonnage explicitement. Si vous n'envoyez pas temperature, vous comparez les valeurs par défaut de chaque fournisseur autant que le modèle. Gérez les modèles qui la refusent.
2. Donnez au banc d'essai les budgets de jetons de la production. Un benchmark exécuté à un budget différent de la production mesure un système différent — et affamer les modèles de raisonnement convertit silencieusement des écarts de qualité en nombres d'échecs.
3. Distinguez un appel échoué d'une mauvaise réponse. Le nôtre les confondait, et un échec induit par le banc d'essai a été lu comme une déficience du modèle.
4. Gardez le juge hors du champ. Un juge qui concourt gonfle tous les scores sans changer l’ordre.
5. Classez par position, non par score moyen, si votre corpus est hétérogène. Sinon vous enregistrez surtout quels documents un modèle a tirés.
6. Nommez ce que vous n'avez pas pu mesurer. Une tâche qui disparaît silencieusement d'un tableau de résultats donne l'impression de n'avoir jamais été demandée.

Pour les équipes qui choisissent spécifiquement entre ces deux fournisseurs : sur notre charge de travail, l'écart de qualité après contrôle est faible et propre à chaque tâche, tandis que l'écart de latence et de fiabilité est important. Cela plaide pour un routage fondé sur les caractéristiques opérationnelles — rapide là où un humain attend, fiable là où un appel perdu coûte du travail — plutôt que sur des scores de qualité agrégés.

8. Conclusion §

Deux fournisseurs servant le même modèle à poids ouverts ont produit des résultats mesurablement différents. L'essentiel de l'écart d'abord observé venait de notre propre instrumentation. Le reliquat est réel, mais plus faible et de forme différente de ce que la mesure initiale suggérait, et il est plus faible que les écarts opérationnels entre les deux hébergeurs.

Si vous choisissez entre des fournisseurs pour un modèle à poids ouverts : contrôlez d'abord votre banc d'essai, puis mesurez. Sinon, le chiffre sur lequel vous vous apprêtez à agir parlera surtout de vous.