Composer une estimation défendable à partir de nombreuses sources

Résumé

L'estimation de la taille du marché dans l'entrepreneuriat discipliné demande au praticien de s'engager sur un chiffre unique, par exemple le nombre total d'utilisateurs finaux dans un marché défini, alors que les preuves de ce chiffre sont dispersées entre des sources de qualité très inégale. Nous décrivons la méthode que Cambridge Cyber International utilise pour composer une estimation défendable à partir de plusieurs entrées hétérogènes, chacune récupérée à l'aide d'un modèle de langage et chacune exprimée sous la forme d'une estimation à trois points avec citations. La méthode attache à chaque entrée un poids qui est le produit de cinq facteurs : la crédibilité de la source qui publie, la confiance déclarée du modèle, la précision de l'estimation, une vérification de disponibilité de la citation et une décroissance liée à la fraîcheur. Les poids sont normalisés parmi les sources qu'un opérateur sélectionne, et les entrées sont combinées par un mélange Monte-Carlo pondéré qui rapporte un chiffre central accompagné d'une mesure d'accord. Cet article se concentre sur le premier facteur, la crédibilité de la source. Nous présentons une taxonomie à neuf classes avec des probabilités a priori éditoriales, un algorithme déterministe qui associe toute adresse citée à une probabilité a priori avec un recours pour les sources inconnues, et la gouvernance qui garde ces probabilités honnêtes. Nous sommes explicites sur le fait que ces probabilités a priori sont des valeurs de départ éditoriales soumises à calibrage, et non des taux de précision mesurés.

1. Problème

Un praticien suivant la méthode de l'entrepreneuriat discipliné (Aulet 2013; Aulet and Snyder 2017) doit produire des chiffres concrets tôt, avant qu'une recherche primaire ne soit abordable, et doit les défendre. Un modèle de langage peut récupérer rapidement des chiffres candidats, mais il les renvoie avec trois défauts qui rendent une moyenne naïve dangereuse. Premièrement, les sources diffèrent énormément en fiabilité, d'un institut national de statistiques à un revendeur d'études de marché nourri de communiqués de presse, or une simple moyenne les traite de la même manière. Deuxièmement, plusieurs des citations renvoyées remontent souvent à un unique rapport sous-jacent, de sorte qu'une simple moyenne compte silencieusement en double. Troisièmement, un modèle peut énoncer un chiffre avec une confiance injustifiée, ou citer une page qui n'existe plus. La tâche consiste à combiner de telles entrées en un seul chiffre qu'un lecteur raisonnable accepterait, tout en exposant pourquoi le chiffre est ressorti tel qu'il est.

2. Contexte

Nous traitons chaque entrée candidate comme une estimation à trois points, une valeur basse, une valeur la plus probable et une valeur haute, la forme utilisée depuis longtemps dans l'évaluation et l'examen de programmes (Malcolm, Roseboom, Clark and Fazar 1959) et dans l'analyse quantitative des risques, où les distributions triangulaire et d'évaluation de programme sont des outils standard pour transformer trois points en une distribution (Vose 2008). Nous propageons l'incertitude par simulation plutôt que par algèbre en forme close, en suivant la méthode Monte-Carlo (Metropolis and Ulam 1949). Nous récupérons les preuves par une génération ancrée et porteuse de citations plutôt que par une génération libre, dans l'esprit des approches augmentées par récupération qui lient la sortie du modèle à des documents nommés (Lewis et al. 2020). Combiner plusieurs distributions en une seule est en soi un problème étudié, et la littérature d'analyse des risques avertit qu'une agrégation naïve ignore à la fois la qualité des sources et la dépendance entre elles (Clemen and Winkler 1999) ; nos étapes de pondération et de déduplication sont une réponse directe à cet avertissement.

3. Le modèle de pondération

Chaque source sélectionnée i reçoit un poids qui est le produit de cinq facteurs bornés :

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Les poids sont ensuite normalisés parmi l'ensemble sélectionné par l'opérateur de sorte que leur somme fasse un. Le facteur de crédibilité est une probabilité a priori sur l'éditeur, décrit dans les sections 5 à 8. Le facteur de confiance reflète la certitude déclarée du modèle quant à l'affirmation spécifique. Le facteur de précision récompense un intervalle à trois points plus resserré, dans l'esprit de la pondération par l'inverse de la variance, où des estimations plus précises portent davantage d'influence (Borenstein, Hedges, Higgins and Rothstein 2009). Le facteur de disponibilité est proche de zéro lorsque la page citée ne peut être atteinte, et le facteur de fraîcheur décroît à mesure que la citation vieillit. Comme les facteurs se multiplient, l'un d'eux s'approchant de zéro tire l'ensemble du poids vers zéro, ce qui est le comportement recherché : un chiffre actuel, précis et énoncé avec assurance sur un lien mort ne devrait pas dominer.

4. Pourquoi la crédibilité est une probabilité a priori, non une précision

Le facteur de crédibilité est une probabilité a priori sur l'éditeur, fixée avant que l'affirmation spécifique ne soit examinée. Il exprime le bénéfice du doute qu'une classe de source a mérité, à la manière dont un lecteur attentif fait plus confiance à un communiqué de banque centrale qu'à un blog anonyme avant de lire l'un ou l'autre. Ce n'est pas une probabilité mesurée qu'un chiffre donné soit correct. Nous tenons fermement à cette distinction, car l'alternative, présenter un coefficient comme s'il s'agissait d'un taux de précision validé, surestimerait ce que le registre connaît et inviterait à un mésusage. Le registre publié et cet article décrivent donc les valeurs comme des probabilités a priori éditoriales soumises à calibrage. La feuille de route de calibrage de la section 12 explique comment les probabilités a priori sont destinées à évoluer au fil du temps à mesure que s'accumulent les preuves sur les sources ayant prédit de bonnes estimations.

5. Taxonomie de crédibilité des sources et attribution des coefficients

Nous classons les sources en neuf classes, ordonnées par probabilité a priori de départ décroissante. La recherche universitaire évaluée par les pairs porte la probabilité a priori la plus élevée, suivie des statistiques officielles, des organisations intergouvernementales, des banques centrales et des dépôts réglementés ; puis les données ouvertes du gouvernement ; puis les analystes indépendants ; puis les fournisseurs de statistiques transparents ; puis les organismes professionnels, chambres et organismes de normalisation ; puis la presse d'affaires de qualité ; puis les revendeurs d'études de marché ; et enfin une classe résiduelle pour le renseignement de source ouverte (OSINT) et toute source que le registre ne reconnaît pas. Chaque classe a un coefficient de départ explicite exprimé en pourcentage et un signal de résolution, la caractéristique observable d'une adresse qui place une source dans la classe. Les coefficients sont conservés côté serveur comme valeurs ajustables et versionnées ; le registre publié expose la classe et une étiquette de palier grossière mais retient le nombre, pour les raisons données à la section 11.

Trois règles priment sur le coefficient brut de classe et importent plus que le pourcentage exact. La crédibilité d'un média n'est pas la crédibilité d'une affirmation, de sorte que la probabilité a priori n'est qu'un point de départ que la disponibilité et la fraîcheur ajustent ensuite. La co-citation est dédupliquée, de sorte que plusieurs médias qui remontent à un rapport comptent une fois. Les sources primaires priment sur les secondaires à classe égale, de sorte qu'un communiqué original prime sur un compte rendu qui le reprend. Une couche sectorielle relève la probabilité a priori pour les sources situées dans le domaine cyber et des technologies réglementaires au cœur de l'entreprise, comme l'European Union Agency for Cybersecurity, l'United States National Institute of Standards and Technology et les agences nationales de cybersécurité. Une couche pays amorce, pour chaque pays, l'institut de statistiques, le portail de données ouvertes, la banque centrale ou le régulateur financier, les principales chambres de commerce et le registre des entreprises.

6. Algorithme de résolution

Toute adresse qu'un modèle cite est résolue en une probabilité a priori après l'appel, jamais en injectant le registre dans l'invite. La résolution procède en quatre étapes ordonnées et renvoie la première correspondance. Elle cherche d'abord une correspondance exacte de l'hôte, ou de l'hôte et du chemin ensemble lorsqu'une source n'est crédible que sur un chemin spécifique. Elle cherche ensuite une correspondance de domaine parent, de sorte qu'un sous-domaine d'une source reconnue hérite de sa classe. Elle applique ensuite une règle de classe fondée sur le domaine de premier niveau, de sorte que tout domaine universitaire ou gouvernemental se résout vers la bonne classe même lorsque l'institution spécifique n'est pas individuellement répertoriée. Si aucune de ces correspondances n'aboutit, elle renvoie le recours de renseignement de source ouverte à la probabilité a priori non nulle la plus basse, marqué comme provenance inconnue, de sorte qu'une source non reconnue reste admissible à faible poids plutôt que d'être écartée. Le résolveur renvoie l'identifiant, le nom, la classe, le coefficient, le palier, la portée et un enregistrement de l'étape qui a correspondu, ce dernier conservé à des fins d'audit. Un parcours de promotion existe pour les sources inconnues : une source qui apparaît de manière répétée dans des citations ayant prédit de bonnes estimations devient candidate à une curation dans une classe nommée.

7. Vérification de disponibilité et décroissance liée à la fraîcheur

Une probabilité a priori élevée sur une citation morte ne vaut rien, de sorte que le facteur de disponibilité réduit fortement le poids lorsque la page citée ne se résout pas ou renvoie un statut de non-trouvé. La disponibilité est vérifiée au moment de la notation plutôt que présumée à partir du registre, parce que les pages se déplacent. Le facteur de fraîcheur fait décroître le poids à mesure que le matériel cité vieillit, au motif qu'un chiffre de marché vieux de plusieurs années est une preuve plus faible pour un marché actuel qu'un chiffre récent, toutes choses égales par ailleurs. La décroissance est douce pour les statistiques structurelles à évolution lente et plus abrupte pour les chiffres technologiques à évolution rapide ; le taux est un paramètre ajustable plutôt qu'une constante fixe.

8. Déduplication de la co-citation et règle du primaire sur le secondaire

Avant toute pondération, les citations sont regroupées de sorte que celles remontant à une source sous-jacente se réduisent à un seul contributeur. Cela empêche un rapport populaire, repris par de nombreux médias, d'acquérir un poids artificiel par répétition. Lorsque le registre sait qu'une source en reprend une autre, l'original est préféré et la reprise est supprimée ou minorée. Les sources inconnues indépendantes sont délibérément gardées séparées, de sorte qu'une corroboration authentique d'origines distinctes soit récompensée tandis que l'écho ne l'est pas. Cette étape est la forme pratique de l'avertissement selon lequel une agrégation sans attention à la dépendance surestime la confiance (Clemen and Winkler 1999).

9. Composition par mélange Monte-Carlo pondéré

Une fois les poids fixés et normalisés, nous tirons des échantillons de la distribution à trois points de chaque source en proportion de son poids, formant un mélange, et nous résumons le mélange par un chiffre central et une mesure de dispersion (Metropolis and Ulam 1949; Vose 2008). Nous rapportons la dispersion aux côtés du chiffre central plutôt que de la cacher, parce que l'intervalle indique au lecteur à quel point les sources s'accordent. Un mélange resserré signale un consensus ; un mélange large signale que l'estimation repose sur un terrain contesté et devrait être traitée avec prudence. Cette honnêteté sur l'accord est, à notre avis, aussi importante que le chiffre central lui-même.

10. Gouvernance

Les probabilités a priori sont ajustables sans reconstruction, de sorte que la curation peut répondre rapidement à de nouvelles preuves. Un opérateur peut passer outre une probabilité a priori résolue pour une analyse spécifique, et cette dérogation est enregistrée. Chaque citation résolue est stockée avec son étape correspondante et sa valeur résolue, de sorte que toute estimation composée puisse être reconstruite et auditée ultérieurement. La taxonomie est revue selon une cadence fixe, avec un intervalle de revue par défaut par enregistrement, et la responsabilité de la curation est nommée afin que l'obsolescence ait un propriétaire. L'atténuation des biais est traitée en gardant les signaux de classe observables et les règles publiques, de sorte qu'un lecteur puisse voir pourquoi une source a obtenu son score plutôt que de faire confiance à un score opaque.

11. Ouverture et posture de propriété intellectuelle

Le registre est publié à une adresse publique. Une liste publiée de domaines est publique par conception et ne peut être un secret commercial, aussi ne prétendons-nous pas le contraire. Nous publions ouvertement les domaines et leurs classes et nous publions cette méthode en entier, parce que le faire relève d'un bon leadership intellectuel et invite à un examen qui améliore le registre. Nous retenons les coefficients numériques et leur calibrage, qui demeurent la surface produit maintenue et versionnée. La valeur défendable réside donc non pas dans la liste des domaines mais dans la méthodologie de curation, le calibrage des probabilités a priori, la cadence et la fraîcheur de la maintenance, la profondeur de la couverture par pays et par secteur, et la boucle de rétroaction qui apprend quelles sources ont prédit de bonnes estimations à travers de nombreuses analyses. En tant qu'entité européenne, nous nous appuyons aussi sur la protection que la directive sur les bases de données confère à une base de données curée contre une extraction massive, même lorsque la base est publiée, à condition qu'un investissement substantiel dans l'obtention, la vérification et la présentation des données soit documenté (European Parliament and Council 1996). Nous tenons donc un journal d'investissement et associons la page publiée à des conditions d'utilisation claires. Lorsque la page publiée montre un palier plutôt qu'un nombre, le palier permet encore à un lecteur de classer les sources sans révéler la pondération.

12. Limites et feuille de route de calibrage

Les probabilités a priori sont éditoriales, elles encodent donc un jugement et peuvent se tromper ; les neuf classes compriment une hétérogénéité réelle, de sorte qu'un domaine fort peut porter une page faible et que la classe seule ne le rattrapera pas, ce qui explique pourquoi la disponibilité, la fraîcheur et la règle du primaire sur le secondaire se situent en aval de la probabilité a priori. Les taux de décroissance et les facteurs de confiance et de précision sont des paramètres que nous avons fixés par raisonnement plutôt que par ajustement. La feuille de route de calibrage comble ces lacunes par une boucle de rétroaction : à mesure que les estimations composées sont ultérieurement vérifiées face aux résultats ou face à de meilleures preuves, l'enregistrement des sources ayant contribué à des estimations précises devient une donnée avec laquelle déplacer les probabilités a priori de valeurs éditoriales vers des valeurs calibrées, et promouvoir de bonnes sources inconnues vers des classes nommées. Jusqu'à ce que cette boucle ait accumulé assez de preuves, les probabilités a priori devraient être lues comme des valeurs de départ défendables, non comme des mesures établies.

13. Conclusion

Un chiffre de marché unique n'est défendable qu'à hauteur du récit de la manière dont il a été atteint. La méthode Touchstone rend ce récit explicite : elle énonce ce en quoi elle a confiance et pourquoi, elle refuse de laisser une citation morte ou périmée dominer, elle compte la corroboration une fois, et elle rapporte l'accord aux côtés du chiffre central. Le registre de crédibilité des sources est la partie visible de ce récit, et la méthode décrite ici est le raisonnement qui la sous-tend.

Acronymes

Acronyme	Développement
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Références

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845