Comporre una stima difendibile a partire da molte fonti

Sintesi

Il dimensionamento del mercato nell'imprenditorialità disciplinata chiede al professionista di impegnarsi su un unico numero, per esempio il conteggio totale degli utenti finali in un mercato definito, mentre le prove a sostegno di quel numero sono disperse tra fonti la cui qualità e la cui affidabilità sono molto disomogenee. Descriviamo la metodologia che Cambridge Cyber International utilizza per comporre un'unica stima difendibile a partire da diversi input eterogenei, ciascuno reperito con l'aiuto di un modello linguistico e ciascuno espresso come stima a tre punti con citazioni, così da poterne valutare l'affidabilità e la qualità. Il metodo attribuisce a ogni input un peso che è il prodotto di cinque fattori: la credibilità della fonte che pubblica, la fiducia dichiarata dal modello, la precisione della stima, un controllo di liveness sulla citazione e un decadimento di attualità. I pesi sono normalizzati tra le fonti che un operatore seleziona, affinché la loro somma sia unitaria, e gli input sono combinati mediante una miscela Monte-Carlo ponderata che riporta una cifra centrale insieme a una misura di accordo. Questo articolo si concentra sul primo fattore, la credibilità della fonte. Presentiamo una tassonomia a nove classi con prior editoriali, un algoritmo deterministico che mappa qualsiasi indirizzo citato su un prior con un ripiego per le fonti sconosciute, e la governance che mantiene onesti i prior. Siamo espliciti sul fatto che i prior sono valori di partenza editoriali soggetti a calibrazione, non tassi di accuratezza misurati.

1. Problema

Un professionista che segue il metodo dell'imprenditorialità disciplinata (Aulet 2013; Aulet and Snyder 2017) deve produrre cifre concrete già presto, prima che la ricerca primaria sia sostenibile, e deve difenderle. Un modello linguistico può reperire cifre candidate rapidamente, ma le restituisce con tre difetti che rendono insicura la media ingenua. Primo, le fonti differiscono enormemente per affidabilità, da un ufficio nazionale di statistica a un rivenditore di ricerche di mercato guidato dai comunicati stampa, eppure una semplice media le tratta allo stesso modo. Secondo, diverse delle citazioni restituite risalgono spesso a un unico rapporto sottostante, per cui una semplice media conta due volte in silenzio. Terzo, un modello può dichiarare una cifra con una fiducia ingiustificata, o citare una pagina che non esiste più. Il compito è combinare tali input in un'unica cifra che un lettore ragionevole accetterebbe, mentre si espone il perché la cifra è risultata così com'è.

2. Contesto

Trattiamo ogni input candidato come una stima a tre punti, un valore basso, uno più probabile e uno alto, la forma usata da tempo nella valutazione e revisione dei programmi (Malcolm, Roseboom, Clark and Fazar 1959) e nell'analisi quantitativa del rischio, dove le distribuzioni triangolare e di valutazione dei programmi sono strumenti standard per trasformare tre punti in una distribuzione (Vose 2008). Propaghiamo l'incertezza per simulazione anziché per algebra in forma chiusa, seguendo il metodo Monte-Carlo (Metropolis and Ulam 1949). Reperiamo le prove con una generazione ancorata e corredata di citazioni anziché con una generazione libera, nello spirito degli approcci potenziati dal recupero che legano l'output del modello a documenti nominati (Lewis et al. 2020). Combinare diverse distribuzioni in una sola è già di per sé un problema ampiamente studiato dalla letteratura specialistica, e la letteratura sull'analisi del rischio avverte che l'aggregazione ingenua ignora sia la qualità della fonte sia la dipendenza tra le fonti (Clemen and Winkler 1999); i nostri passaggi di ponderazione e deduplicazione sono una risposta diretta a tale avvertimento.

3. Il modello di ponderazione

Ogni fonte selezionata i riceve un peso che è il prodotto di cinque fattori limitati:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

I pesi vengono poi normalizzati sull'insieme selezionato dall'operatore affinché la loro somma sia unitaria. Il fattore di credibilità è un prior sull'editore, descritto nelle sezioni da 5 a 8. Il fattore di fiducia riflette la certezza dichiarata dal modello riguardo alla specifica affermazione. Il fattore di precisione premia una dispersione a tre punti più stretta, nello spirito della ponderazione per varianza inversa, dove le stime più precise hanno più influenza (Borenstein, Hedges, Higgins and Rothstein 2009). Il fattore di liveness è prossimo a zero quando la pagina citata non è raggiungibile, e il fattore di attualità decade con l'invecchiare della citazione. Poiché i fattori si moltiplicano, uno qualsiasi di essi che si avvicina a zero tira l'intero peso verso zero, che è il comportamento desiderato: una cifra attuale, precisa e dichiarata con fiducia su un collegamento morto non dovrebbe dominare.

4. Perché la credibilità è un prior, non un'accuratezza

Il fattore di credibilità è un prior sull'editore, fissato prima che la specifica affermazione sia esaminata. Esprime quanto beneficio del dubbio una classe di fonte si è guadagnata, nel modo in cui un lettore attento si fida di un comunicato di una banca centrale più di un blog anonimo prima di leggere l'uno o l'altro. Non è una probabilità misurata che una data cifra sia corretta. Manteniamo con fermezza questa distinzione perché l'alternativa, ossia presentare un coefficiente come se fosse un tasso di accuratezza già validato, sovrastimerebbe ciò che il registro realmente sa e inviterebbe all'uso improprio, minando la credibilità dell'intera metodologia. Il registro pubblicato e questo articolo descrivono quindi i valori come prior editoriali soggetti a calibrazione. La tabella di marcia della calibrazione nella sezione 12 spiega come i prior siano destinati a spostarsi nel tempo man mano che si accumulano prove su quali fonti hanno predetto buone stime.

5. Tassonomia della credibilità delle fonti e assegnazione dei coefficienti

Ordiniamo le fonti in nove classi, disposte per prior di partenza decrescente. L'accademia sottoposta a revisione paritaria, ossia la comunità scientifica, porta il prior più alto, seguita dalle statistiche ufficiali, dalle organizzazioni intergovernative, dalle banche centrali e dai depositi regolamentati; poi i dati aperti governativi; poi gli analisti indipendenti; poi i fornitori di statistiche trasparenti; poi gli enti di categoria, le camere e le organizzazioni di normazione; poi la stampa economica di qualità; poi i rivenditori di ricerche di mercato; e infine una classe residuale per l'intelligence a sorgente aperta e per qualsiasi fonte che il registro non riconosce. Ogni classe ha un coefficiente di partenza esplicito espresso in percentuale e un segnale di risoluzione, la caratteristica osservabile di un indirizzo che colloca una fonte nella classe. I coefficienti sono conservati sul backend come valori regolabili e versionati; il registro pubblicato espone la classe e un'etichetta di livello approssimativa ma trattiene il numero, per le ragioni date nella sezione 11.

Tre regole prevalgono sul coefficiente di classe grezzo e contano più della percentuale esatta. La credibilità della testata non è la credibilità dell'affermazione, quindi il prior è solo un punto di partenza che la liveness e l'attualità poi aggiustano. La co-citazione è deduplicata, per cui diverse testate che risalgono a un unico rapporto contano una volta sola. Le fonti primarie superano quelle secondarie a parità di classe, quindi un comunicato originale supera una sua ripubblicazione. Uno strato settoriale aumenta il prior per le fonti all'interno del focus cyber e delle tecnologie regolatorie dell'azienda, come l'Agenzia dell'Unione europea per la cibersicurezza, il National Institute of Standards and Technology degli Stati Uniti e le agenzie cyber nazionali, la cui autorevolezza è già riconosciuta nel settore. Uno strato nazionale semina, per ciascun paese, l'istituto di statistica, il portale di dati aperti, la banca centrale o l'autorità di vigilanza finanziaria, le principali camere di commercio e il registro delle attività d'impresa.

6. Algoritmo di risoluzione

Qualsiasi indirizzo che un modello cita viene risolto in un prior dopo la chiamata, mai iniettando il registro nel prompt. La risoluzione procede in quattro passaggi ordinati e restituisce la prima corrispondenza. Cerca prima una corrispondenza esatta dell'host, o dell'host e del percorso insieme quando una fonte è credibile solo su un percorso specifico. Cerca poi una corrispondenza di dominio superiore, così che un sottodominio di una fonte riconosciuta ne erediti la classe. Applica poi una regola di classe basata sul dominio di primo livello, così che qualsiasi dominio accademico o governativo si risolva nella classe corretta anche quando l'istituzione specifica non è elencata individualmente. Se nessuna di queste corrisponde, restituisce il ripiego dell'intelligence a sorgente aperta al prior più basso non nullo, contrassegnato come provenienza sconosciuta, così che una fonte non riconosciuta resti ammissibile a basso peso anziché essere scartata. Il risolutore restituisce l'identificatore, il nome, la classe, il coefficiente, il livello, l'ambito e una registrazione di quale passaggio ha corrisposto, l'ultimo dei quali conservato per l'audit. Esiste un percorso di promozione per le fonti sconosciute: una fonte che appare ripetutamente in citazioni che hanno predetto buone stime diventa candidata alla cura in una classe nominata.

7. Verifica di liveness e decadimento di attualità

Un prior alto su una citazione morta è inutile, quindi il fattore di liveness riduce il peso bruscamente quando la pagina citata non si risolve o restituisce uno stato di non trovato. La liveness è controllata al momento del punteggio anziché affidarsi ciecamente al registro, perché le pagine si spostano e la loro reperibilità cambia nel tempo. Il fattore di attualità fa decadere il peso con l'invecchiare del materiale citato, sul ragionamento che una cifra di mercato di diversi anni fa è una prova più debole per un mercato attuale rispetto a una recente, a parità di condizioni. Il decadimento è dolce per le statistiche strutturali a lento movimento e più ripido per le cifre tecnologiche a rapido movimento; il tasso è un parametro regolabile anziché una costante fissa.

8. Deduplicazione della co-citazione e regola del primario sul secondario

Prima di qualsiasi ponderazione, le citazioni sono raggruppate in modo che quelle che risalgono a un'unica fonte sottostante collassino in un singolo contributore. Questo impedisce che un rapporto popolare, ripubblicato da molte testate, acquisisca un peso artificiale attraverso la ripetizione. Laddove il registro sa che una fonte ripubblica un'altra, l'originale è preferito e la ripubblicazione è soppressa o penalizzata. Le fonti sconosciute indipendenti sono deliberatamente tenute separate, così che un'autentica conferma da origini distinte sia premiata mentre l'eco non lo sia. Questo passaggio è la forma pratica dell'avvertimento secondo cui l'aggregazione senza attenzione alla dipendenza sovrastima la fiducia (Clemen and Winkler 1999).

9. Composizione mediante miscela Monte-Carlo ponderata

Con i pesi fissati e normalizzati, estraiamo campioni dalla distribuzione a tre punti di ciascuna fonte in proporzione al suo peso, formando una miscela, e riassumiamo la miscela con una cifra centrale e una misura di dispersione (Metropolis and Ulam 1949; Vose 2008). Riportiamo la dispersione accanto alla cifra centrale anziché nasconderla, perché la dispersione dice al lettore quanto le fonti concordano. Una miscela stretta segnala consenso; una più ampia segnala che la stima poggia su un terreno controverso e dovrebbe perciò essere trattata con maggiore cautela. Questa onestà sul grado di accordo è, a nostro avviso, importante quanto il numero centrale stesso: la credibilità della stima dipende anche dalla trasparenza con cui se ne comunica l'incertezza.

10. Governance

I prior sono regolabili senza una ricostruzione, così che la cura può rispondere rapidamente a nuove prove. Un operatore può ignorare un prior risolto per una specifica analisi, e l'override è registrato. Ogni citazione risolta è conservata con il suo passaggio corrispondente e il valore risolto, così che qualsiasi stima composta possa essere ricostruita e verificata in seguito. La tassonomia è rivista con una cadenza fissa, con un intervallo di revisione predefinito per record, e la titolarità della cura è assegnata così che l'obsolescenza abbia sempre un responsabile ben identificato e una chiara catena di responsabilità. La mitigazione dei pregiudizi è affrontata mantenendo i segnali di classe osservabili e le regole pubbliche, così che un lettore possa vedere perché una fonte ha ottenuto un dato punteggio anziché fidarsi di un punteggio opaco: la trasparenza è qui una garanzia di responsabilità.

11. Apertura e postura sulla proprietà intellettuale

Il registro è pubblicato a un indirizzo pubblico. Un elenco pubblicato di domini è pubblico per progettazione e non può essere un segreto commerciale, quindi non pretendiamo il contrario. Pubblichiamo i domini e le loro classi apertamente e pubblichiamo questo metodo per intero, perché farlo è una buona leadership di pensiero e invita a un esame che migliora il registro. Tratteniamo i coefficienti numerici e la loro calibrazione, che restano la superficie di prodotto mantenuta e versionata. Il valore difendibile risiede quindi non nell'elenco dei domini ma nella metodologia di cura, nella calibrazione dei prior, nella cadenza e nell'attualità della manutenzione, nella profondità della copertura nazionale e settoriale, e nel ciclo di feedback che apprende quali fonti hanno predetto buone stime attraverso molte analisi. In quanto entità europea ci affidiamo anche alla protezione che la direttiva sulle banche dati offre a una banca dati curata contro l'estrazione all'ingrosso, anche quando la banca dati è pubblicata, a condizione che sia documentato un investimento sostanziale nell'ottenere, verificare e presentare i dati (European Parliament and Council 1996). Manteniamo quindi un registro degli investimenti e abbiniamo la pagina pubblicata a chiare condizioni d'uso. Laddove la pagina pubblicata mostra un livello anziché un numero, il livello permette comunque a un lettore di ordinare le fonti senza rivelare la ponderazione.

12. Limiti e tabella di marcia della calibrazione

I prior sono editoriali, quindi codificano un giudizio e possono sbagliare; le nove classi comprimono una reale eterogeneità, così che un dominio forte può portare una pagina debole e la classe da sola non lo coglierà, ed è per questo che liveness, attualità e la regola del primario sul secondario si collocano a valle del prior. I tassi di decadimento e i fattori di fiducia e precisione sono parametri che abbiamo fissato per ragionamento anziché per adattamento. La tabella di marcia della calibrazione colma queste lacune attraverso un ciclo di feedback: man mano che le stime composte vengono in seguito confrontate con gli esiti o con prove migliori, la registrazione di quali fonti hanno contribuito a stime accurate diventa il dato con cui spostare i prior da valori editoriali verso valori calibrati, e con cui promuovere buone fonti sconosciute in classi nominate. Finché quel ciclo non ha accumulato prove sufficienti, i prior dovrebbero essere letti come valori di partenza difendibili, non come misurazioni definitive.

13. Conclusione

Una singola cifra di mercato è difendibile solo quanto il resoconto di come è stata raggiunta. Il metodo Touchstone rende esplicito quel resoconto: dichiara di cosa si fida e perché, rifiuta di lasciare che una citazione morta o obsoleta domini, conta la conferma una volta sola, e riporta il grado di accordo accanto al numero centrale, così da preservarne la credibilità. Il registro della credibilità delle fonti è la parte visibile di questo resoconto, e il metodo qui descritto è il ragionamento che vi sta dietro.

Acronimi

Acronimo	Significato
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

References

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845