Développer l'IA à partir des données clients : plus de données, un modèle plus performant ou un signal plus pertinent ?

Sensia Gen 8 · Pour les responsables de l'IA et de la transformation

Lorsqu’un système d’IA basé sur les textes des clients ne donne pas les résultats escomptés, on a généralement recours à l’une des trois solutions suivantes : fournir davantage de données au modèle, acheter un modèle plus performant ou améliorer la manière dont les données sont comprises et préparées. Chacune de ces solutions implique des coûts différents en termes d’argent, de temps et de compétences. Avec le lancement de Sensia Gen 8, la nouvelle génération de notre moteur d’intelligence qualitative, nous avons examiné les deux premières options sur notre propre système de production, à partir d’une couche de préparation Sensia commune. Voici ce que nous avons observé, et ce que cela suggère quant aux domaines dans lesquels investir.

Trois leviers, trois choix différents

Lire davantage est la réponse instinctive au doute : si l’analyse a manqué quelque chose, donnez-lui davantage de données sources. Opter pour plus de puissance est le deuxième levier : si le résultat manque de profondeur, utilisez un modèle plus performant. Ces deux options sont faciles à faire valider, car elles s’apparentent davantage à un achat qu’à un projet. L’amélioration des données est plus lente et moins visible : cela implique de savoir, pour chaque fragment de texte, de quoi il traite et s’il répond à la question.

Ces trois leviers ne sont pas interchangeables. Ils améliorent des aspects différents, à des coûts différents, et créent des dépendances différentes. Un programme incapable de déterminer quel levier a influencé quel résultat finit par payer pour les trois. Le benchmark examine comment le système se comporte lorsque la profondeur de lecture change, et lorsque la configuration de production est comparée à une configuration de raisonnement dans un contexte plus large. La couche de compréhension et de préparation de Sensia fournit la base commune à l’ensemble du processus.

Comment Gen 8 est organisé

Sensia transforme de grands volumes de transcriptions hétérogènes en informations qualitatives exploitables par une équipe. Les applications que nous présentons ici concernent la voix des consommateurs : avis sur les produits, perceptions, besoins, obstacles, facteurs d’achat. Le problème sous-jacent est plus large et familier à toute équipe chargée des données : comprendre des textes fragmentés, déterminer ce qui répond à une question, effectuer des mesures sur des données validées et constituer une base de preuves exploitable à grande échelle.

Gen 8 est une nouvelle génération de l’ensemble du moteur, et non d’un simple composant. Elle combine la huitième génération d’une vingtaine de modèles verticaux propriétaires avec des avancées en matière de mesure, de préparation et de sélection des données pour chaque question, ainsi que dans l’utilisation de fenêtres de contexte beaucoup plus vastes pour les modèles linguistiques. Cinq fonctions se succèdent ; une seule d’entre elles est un modèle linguistique à usage général.

Les fonctions du moteur Sensia Gen 8. L’évaluation est une exigence de qualité appliquée au résultat, et non un produit distinct. Le fonctionnement de la qualification et de la sélection reste confidentiel.

C’est sur la compréhension que nous concentrons nos propres investissements, car toutes les critiques ne répondent pas à une question. Dans nos trois portefeuilles de référence, entre 29 % et 47 % des critiques recueillies comportaient un signal exploitable pour les analyses ; les autres ont dû être identifiées et mises de côté avant que quoi que ce soit ne soit rédigé. C’est dans la rédaction que les modèles polyvalents excellent : synthèse, raisonnement, argumentation claire dans n’importe quelle langue. La lecture d’un portefeuille entier n’en fait pas partie : elle dépasse de plusieurs fois la plus grande fenêtre de contexte. Les recherches menées par Chroma ont mis en évidence une utilisation inégale des longs contextes et une fiabilité décroissante à mesure que les entrées augmentaient dans les modèles et les tâches testés (Chroma). Les fournisseurs de modèles vont dans le même sens : Anthropic conseille de rechercher l’ensemble le plus restreint de tokens à fort signal pour une tâche donnée (Anthropic), tandis qu’OpenAI présente les modèles rapides et économiques comme le choix idéal pour des tâches bien définies (OpenAI).

Les expériences

Nous avons réalisé cinq analyses de production réelles sur trois des portefeuilles les plus importants et les plus variés sur lesquels nous travaillons, dans les domaines des soins de la peau et de l’alimentation pour animaux de compagnie, choisis pour leur taille, leur fragmentation et leur diversité. La couche de compréhension et de préparation de Sensia a fourni la base commune à l’ensemble du processus. Nous avons ensuite mené deux expériences, pour un total de 122 générations. La première fait varier le volume de lecture avec le même modèle d’écriture : vingt sections pour six quantités de données différentes. La seconde compare deux configurations sur deux sections, dans lesquelles le modèle, l’effort de raisonnement et le volume diffèrent tous, sur une préparation Sensia commune. Aucune des deux n’isole l’effet causal de chaque composante. Chaque condition a été générée une seule fois ; il s’agit donc d’un benchmark de production plutôt que d’une étude statistique de répétabilité.

Pour évaluer les résultats, nous avons pris en compte quatre éléments, définis ici une seule fois :

• Principaux résultats : la cohérence des conclusions sur lesquelles une équipe se baserait pour agir, évaluée en comparant les versions côte à côte.
• Portée de la sélection : la part de tous les avis pertinents sur une question qui sont associés aux produits présents dans l’échantillon. Elle décrit ce qui entre dans l’analyse, et non un pourcentage d’informations.
• Profondeur des preuves : le niveau de détail et la qualité des sources des preuves à l’appui : citations, références aux produits, niveau de détail sur la concurrence.
• Ressources : le texte transmis au modèle linguistique, le coût du LLM selon la grille tarifaire publique du fournisseur, et le temps.

Expérience n° 1 : qu’est-ce qui change lorsque l’on augmente la quantité de données ?

Le premier levier est le volume. Avec le même modèle de rédaction, nous avons régénéré vingt sections avec six volumes de données différents : l’échantillon utilisé jusqu’à présent dans nos analyses (environ 160 à 280 avis par section), environ 500, 1 000 et 1 500 avis, puis une configuration de fenêtre standard remplie à environ 250 000 tokens (1 800 à 2 400 avis) et une configuration de fenêtre maximale remplie à environ 900 000 tokens (jusqu’à environ 9 000 avis par section). Même la fenêtre la plus grande ne correspond pas à la lecture de l’ensemble du portefeuille. Les noms des fenêtres décrivent la capacité configurée ; ce qui a été réellement lu est indiqué entre parenthèses.

Résultats. À travers les cinq analyses et les six configurations de profondeur, les principaux résultats stratégiques sont restés cohérents, depuis les échantillons initiaux jusqu’à la fenêtre contextuelle maximale. Cela incluait les principaux domaines d’opportunité, le principal facteur de choix et les compromis centraux dans les analyses où ils ont été évalués. Une plus grande profondeur a modifié les détails à l’appui et la présentation de certaines réponses, sans pour autant réviser systématiquement l’interprétation stratégique principale.

Portée. Pour quatre questions, nous avons reconstitué l’ensemble des avis pertinents et mesuré la part associée aux produits dans chaque échantillon.

Avec environ 1 000 avis, la portée de la sélection variait entre 94,4 % et 98,8 % pour les quatre questions ; avec environ 1 500 avis, elle variait entre 98,1 % et 99,5 %. L’évolution variait selon les questions. Ces résultats orientent le choix du niveau de détail plutôt que de définir une taille d’échantillon universelle. Certains produits ou sujets spécifiques peuvent nécessiter un examen ciblé.

Profondeur des données. L’étude comparative a également suivi les détails concurrentiels au niveau des produits, l’attribution et les citations de consommateurs. Des éléments supplémentaires ont fourni des preuves à l’appui dans certaines analyses : l’analyse de l’expérience d’utilisation, par exemple, contenait 24 longues citations dans la fenêtre maximale, contre 10 pour environ 1 000 avis. Ces observations détaillées permettent de distinguer cet enrichissement d’une modification des principales conclusions ; elles sont présentées dans le rapport de référence.

Ressources. Pour les mêmes vingt sections, la fenêtre standard a doublé les dépenses en LLM par rapport à la configuration à 1 000 avis, et la fenêtre maximale les a multipliées par environ treize, en partie parce que chaque requête dépassait le seuil de prix fixé par le fournisseur pour les contextes longs.

Notre configuration de production s’établit à environ 1 000 analyses par section. Il s’agit d’un compromis entre un résultat utile, la profondeur requise pour chaque question, les ressources disponibles et un temps de réponse compatible avec une conversation ; ce n’est pas une règle universelle : certaines questions justifient une plus grande profondeur, et les fenêtres étendues restent disponibles dans ces cas-là.

Expérience n° 2 : qu’apporte une configuration à haut niveau de raisonnement ?

La deuxième expérience a comparé la configuration de production à une configuration à haut niveau de raisonnement sur deux sections : les territoires d’opportunité et les facteurs de choix. Les deux ont utilisé des données préparées par Sensia. La référence de raisonnement a reçu un échantillon plus important, environ 230 000 tokens d’entrée, soit environ le double de l’entrée de production, et a fait appel à un effort de raisonnement élevé. Cette comparaison porte sur deux configurations du système ; elle n’isole pas la seule capacité du modèle.

Les deux configurations ont produit des conclusions principales comparables dans les sections examinées. La configuration de référence « raisonnement poussé » a apporté quelques nuances dans la formulation ; aucune nouvelle décision majeure n’a été observée. La comparaison des ressources montre ce que chaque configuration a consommé pour produire ce résultat.

Les autres ressources indiquent la même tendance, mais de manière moins marquée. Sur l'ensemble des deux sections, la configuration de production a lu 51,8 % des tokens d'entrée de la référence et a pris entre 31 % et 45 % de son temps de génération.

Gen 8 sépare la mesure quantitative de la synthèse narrative. Les comptages et les pondérations sont calculés à partir de données de révision validées ; le modèle linguistique élabore l’analyse à partir des éléments de preuve préparés. Dans la comparaison des facteurs déterminants, le facteur principal est resté en tête dans les sept versions, tandis que les pourcentages mentionnés dans le récit variaient. Ces estimations écrites sont distinctes des indicateurs mesurés utilisés pour les rapports quantitatifs.

Remarque supplémentaire : modification du modèle de rédaction

Une troisième comparaison examine ce qui se passe lorsqu’une nouvelle génération de modèle fait son apparition. Plus récent ne signifie pas automatiquement moins cher : le GPT-5.5 a doublé les prix catalogue du GPT-5.4, passant de 2,50 $ à 5 $ par million de tokens d’entrée et de 15 $ à 30 $ par million de tokens de sortie (OpenAI, The Decoder). Pourtant, Artificial Analysis indique que le GPT-6.1 Sol coûte environ 64 % de moins par tâche de référence que le GPT-5.6 Sol, tout en obtenant un score plus élevé à l’indice d’intelligence.

Source : Artificial Analysis, consulté le 24 octobre 2026 (GPT-5.6 Sol, classement). Le coût par tâche est une moyenne pondérée de ses propres évaluations, incluant les tokens, le raisonnement et la mise en cache ; il ne s'agit ni d'un coût par tâche réussie, ni d'un coût Sensia.

Il s’agit des résultats issus des évaluations d’Artificial Analysis, et non des charges de travail de Sensia. L’avantage pratique réside dans la liberté d’adopter un modèle lorsqu’il améliore les résultats, le coût d’exploitation ou le temps de réponse sur les tâches propres à l’application, et de vérifier cette amélioration avant de s’y fier.

GPT-5.4 était le modèle utilisé en production avant Luna. Comme la compréhension, la mesure et la préparation sont intégrées à notre propre moteur, le changement de modèle de rédaction n’a pas nécessité leur refonte. Aux tarifs standard, avant mise en cache, les tokens d’entrée et de sortie de Luna sont tous deux 12,5 fois moins chers. L’application des tarifs de GPT-5.4 à la charge de travail de référence initiale donne un coût LLM estimé à environ 2,08 $ sur vingt sections, contre 0,166 $ pour Luna. Même avec des échantillons plus importants, comprenant environ 1 000 évaluations, le coût de Luna s’élevait à 0,527 $, soit environ un quart de cette référence de charge de travail initiale. Il s’agit ici de comparaisons tarifaires, et non d’économies de production historiques mesurées ; de plus, le benchmark n’a pas régénéré les rapports avec GPT-5.4 : la stabilité des résultats qu’il documente provient du volume et des expériences de raisonnement décrites ci-dessus.

Vitesse et conversation

La vitesse reste importante car le produit s’utilise dans le cadre d’une conversation : les utilisateurs doivent poser des questions, affiner leur requête et explorer sans perdre le fil. Cela diffère d’une réponse instantanée. Il est utile de distinguer quatre éléments : la préparation initiale des données, toute préparation répétée pour une nouvelle question, la génération elle-même, et la latence réellement perçue par l’utilisateur au cours d’une conversation.

Le benchmark a mesuré séparément la préparation et la génération des sections. Le temps de préparation dépendait largement de l’implémentation ; les tests à fenêtre maximale utilisaient un outil de benchmark adapté, de sorte que leurs temps de préparation ne peuvent pas être interprétés comme s’inscrivant dans la continuité de la série de production. Ces mesures éclairent les choix techniques, mais elles ne permettent pas de déterminer la latence conversationnelle de bout en bout. L’exigence produit reste claire : les utilisateurs doivent pouvoir poser des questions, affiner leur requête et explorer sans perdre le fil de la conversation.

Ce que cela implique en termes d’investissements

Dans l’ensemble, les expériences montrent des conclusions principales cohérentes malgré des changements substantiels dans la profondeur de lecture et la configuration d’écriture. Les éléments supplémentaires ont élargi la portée de la sélection et enrichi certaines preuves à l’appui ; la référence au raisonnement a apporté des nuances, mais a entraîné une augmentation considérable des dépenses en LLM. Ces observations confortent Sensia dans son choix d’investir dans la compréhension, la mesure et la préparation spécialisées, qui constituent le fondement de l’application. Ce fondement a été maintenu constant plutôt que testé indépendamment dans cette évaluation comparative.

Ces leviers se combinent également. Un modèle d’écriture moins coûteux laisse la place à des preuves plus approfondies : Luna, avec environ 1 000 avis par section, coûte environ 3,9 fois moins cher que la référence tarifaire GPT-5.4 appliquée à la charge de travail initiale plus réduite. Il s’agit de deux configurations différentes, et non du même échantillon, et la comparaison reste une simulation tarifaire aux taux standard.

C’est là que la question « faire ou acheter » se concrétise. La synthèse est la capacité que la plupart des organisations achèteront auprès de fournisseurs investissant des milliards pour l’améliorer ; le choix de conception consiste à lui attribuer un rôle bien défini, afin que chaque nouvelle génération puisse être adoptée et vérifiée plutôt que de devoir être construite autour d’elle. Comprendre les caractéristiques d’un domaine nécessite des années de travail et un effort constant pour rester à jour ; il vaut la peine de décider tôt s’il faut le développer en interne ou faire appel à un spécialiste. L’étude du MIT de 2025 sur l’IA générative en entreprise a révélé que les outils achetés auprès de fournisseurs spécialisés ou développés dans le cadre de partenariats réussissaient dans environ deux tiers des cas, contre environ un tiers pour les développements internes, et a mis en évidence l’intégration aux flux de travail réels comme principal écart (Computing). Enfin, l’évaluation relève de la responsabilité de l’entreprise : c’est la seule compétence qu’aucun fournisseur ne peut assumer à votre place.

Questions à se poser concernant votre programme

À propos des tests : cinq analyses de production (vingt sections) sur trois portefeuilles de référence dans les domaines des soins de la peau et de l’alimentation pour animaux de compagnie, régénérées à six niveaux de données, ainsi qu’une référence de raisonnement dans un contexte plus large sur deux sections : 122 générations, octobre 2026. Portée mesurée sur quatre questions à travers 24 reconstructions en lecture seule, non comptabilisées dans les 122 générations. Le benchmark évalue le moteur Gen 8 dans plusieurs configurations ; il ne s’agit pas d’une comparaison contrôlée avec la génération précédente. Dépenses LLM selon la grille tarifaire publique du fournisseur ; il ne s’agit pas du coût total d’un programme. Mesures et résultats complets dans le rapport de benchmark Gen 8.