Uit vele bronnen één verdedigbare schatting samenstellen

Samenvatting

Marktbepaling in gedisciplineerd ondernemerschap vraagt van een beoefenaar om zich vast te leggen op één getal, bijvoorbeeld het totale aantal eindgebruikers in een gedefinieerde markt, terwijl het bewijs voor dat getal verspreid ligt over bronnen van zeer ongelijke kwaliteit. We beschrijven de methode die Cambridge Cyber International gebruikt om uit verschillende heterogene invoeren één verdedigbare schatting samen te stellen, waarbij elke invoer met behulp van een taalmodel is opgehaald en elke invoer wordt uitgedrukt als een driepuntsschatting met citaten. De methode kent aan elke invoer een gewicht toe dat het product is van vijf factoren: de geloofwaardigheid van de publicerende bron, de door het model aangegeven vertrouwensmate, de precisie van de schatting, een liveness-controle op het citaat en een actualiteitsverval. De gewichten worden genormaliseerd over de bronnen die een operator selecteert, en de invoeren worden gecombineerd door een gewogen Monte-Carlo-mengsel dat een centraal cijfer rapporteert samen met een maat voor overeenstemming. Dit artikel richt zich op de eerste factor, de geloofwaardigheid van de bron. We zetten een taxonomie met negen categorieën met redactionele priors uiteen, een deterministisch algoritme dat elk geciteerd adres afbeeldt op een prior met een terugval voor onbekende bronnen, en het bestuur dat de priors eerlijk houdt. We zijn expliciet dat de priors redactionele beginwaarden zijn die onderhevig zijn aan kalibratie, en geen gemeten nauwkeurigheidspercentages.

1. Probleem

Een beoefenaar die de methode van gedisciplineerd ondernemerschap volgt (Aulet 2013; Aulet and Snyder 2017) moet vroeg concrete cijfers produceren, voordat primair onderzoek betaalbaar is, en moet ze verdedigen. Een taalmodel kan kandidaatcijfers snel ophalen, maar geeft ze terug met drie gebreken die naïef middelen onveilig maken. Ten eerste verschillen de bronnen enorm in betrouwbaarheid, van een nationaal statistiekbureau tot een door persberichten gedreven wederverkoper van marktonderzoek, en toch behandelt een gewoon gemiddelde ze gelijk. Ten tweede gaan verschillende van de teruggegeven citaten vaak terug op één onderliggend rapport, zodat een gewoon gemiddelde stilzwijgend dubbel telt. Ten derde kan een model een cijfer met ongerechtvaardigd vertrouwen vermelden, of een pagina citeren die niet meer bestaat. De taak is om dergelijke invoeren te combineren tot één cijfer dat een redelijke lezer zou aanvaarden, terwijl blootgelegd wordt waarom het cijfer zo is uitgekomen.

2. Achtergrond

We behandelen elke kandidaatinvoer als een driepuntsschatting, een lage, een meest waarschijnlijke en een hoge waarde, de vorm die al lang wordt gebruikt in programma-evaluatie en -beoordeling (Malcolm, Roseboom, Clark and Fazar 1959) en in kwantitatieve risicoanalyse, waar de driehoeks- en de programma-evaluatieverdeling standaardhulpmiddelen zijn om drie punten in een verdeling om te zetten (Vose 2008). We propageren onzekerheid door simulatie in plaats van door algebra in gesloten vorm, volgens de Monte-Carlo-methode (Metropolis and Ulam 1949). We halen bewijs op met gefundeerde, van citaten voorziene generatie in plaats van vrije generatie, in de geest van ophaalversterkte benaderingen die de modeluitvoer koppelen aan genoemde documenten (Lewis et al. 2020). Verschillende verdelingen tot één combineren is zelf een bestudeerd probleem, en de literatuur over risicoanalyse waarschuwt dat naïeve samenvoeging zowel de bronkwaliteit als de afhankelijkheid tussen bronnen negeert (Clemen and Winkler 1999); onze weeg- en deduplicatiestappen zijn een direct antwoord op die waarschuwing.

3. Het weegmodel

Elke geselecteerde bron i krijgt een gewicht dat het product is van vijf begrensde factoren:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

De gewichten worden vervolgens genormaliseerd over de door de operator geselecteerde verzameling zodat ze optellen tot één. De geloofwaardigheidsfactor is een prior over de uitgever, beschreven in de paragrafen 5 tot en met 8. De vertrouwensfactor weerspiegelt de door het model aangegeven zekerheid over de specifieke bewering. De precisiefactor beloont een strakkere driepuntsspreiding, in de geest van inverse-variantieweging, waarbij nauwkeurigere schattingen meer invloed dragen (Borenstein, Hedges, Higgins and Rothstein 2009). De liveness-factor is bijna nul wanneer de geciteerde pagina niet bereikbaar is, en de actualiteitsfactor vervalt naarmate het citaat veroudert. Omdat de factoren zich vermenigvuldigen, trekt elk van hen dat nul nadert het hele gewicht naar nul, wat het gedrag is dat we willen: een actueel, nauwkeurig, met vertrouwen vermeld cijfer op een dode link zou niet mogen domineren.

4. Waarom geloofwaardigheid een prior is, geen nauwkeurigheid

De geloofwaardigheidsfactor is een prior over de uitgever, vastgesteld voordat de specifieke bewering wordt onderzocht. Hij drukt uit hoeveel voordeel van de twijfel een categorie bron heeft verdiend, op de manier waarop een zorgvuldige lezer een persbericht van een centrale bank meer vertrouwt dan een anonieme blog voordat hij beide leest. Het is geen gemeten waarschijnlijkheid dat een gegeven cijfer juist is. We houden dit onderscheid stevig vast omdat het alternatief, een coëfficiënt presenteren alsof het een gevalideerd nauwkeurigheidspercentage was, zou overdrijven wat het register weet en tot misbruik zou uitnodigen. Het gepubliceerde register en dit artikel beschrijven de waarden daarom als redactionele priors die onderhevig zijn aan kalibratie. Het kalibratietraject in paragraaf 12 legt uit hoe de priors bedoeld zijn om in de loop van de tijd te verschuiven naarmate bewijs zich opstapelt over welke bronnen goede schattingen hebben voorspeld.

5. Taxonomie van brongeloofwaardigheid en toewijzing van coëfficiënten

We sorteren bronnen in negen categorieën, geordend naar afnemende begin-prior. Door vakgenoten beoordeelde wetenschap draagt de hoogste prior, gevolgd door officiële statistiek, intergouvernementele organisaties, centrale banken en gereguleerde deponeringen; dan open overheidsdata; dan onafhankelijke analisten; dan transparante statistiekleveranciers; dan brancheorganisaties, kamers en normalisatieorganisaties; dan kwalitatieve zakenpers; dan wederverkopers van marktonderzoek; en ten slotte een restcategorie voor openbronintelligentie en elke bron die het register niet herkent. Elke categorie heeft een expliciete begincoëfficiënt uitgedrukt als percentage en een resolutiesignaal, het waarneembare kenmerk van een adres dat een bron in de categorie plaatst. De coëfficiënten worden op de backend bewaard als afstembare, geversioneerde waarden; het gepubliceerde register toont de categorie en een grof niveaulabel maar houdt het getal achter, om de redenen die in paragraaf 11 zijn gegeven.

Drie regels overheersen de ruwe categoriecoëfficiënt en tellen zwaarder dan het exacte percentage. De geloofwaardigheid van het medium is niet de geloofwaardigheid van de bewering, dus de prior is slechts een uitgangspunt dat liveness en actualiteit vervolgens aanpassen. Co-citatie wordt gededupliceerd, zodat verschillende media die teruggaan op één rapport eenmaal tellen. Primaire bronnen overtreffen secundaire bij gelijke categorie, dus een oorspronkelijk persbericht overtreft een herrapportage ervan. Een sectorlaag verhoogt de prior voor bronnen binnen de cyber- en regelgevingstechnologiefocus van het bedrijf, zoals het Agentschap van de Europese Unie voor cyberbeveiliging, het National Institute of Standards and Technology van de Verenigde Staten en de nationale cyberagentschappen. Een landlaag zaait, voor elk land, het statistiekinstituut, het opendataportaal, de centrale bank of financiële toezichthouder, de voornaamste kamers van koophandel en het ondernemingsregister.

6. Resolutiealgoritme

Elk adres dat een model citeert wordt na de aanroep herleid tot een prior, nooit door het register in de prompt te injecteren. De resolutie verloopt in vier geordende stappen en geeft de eerste overeenkomst terug. Ze zoekt eerst een exacte overeenkomst van de host, of van de host en het pad samen wanneer een bron alleen op een specifiek pad geloofwaardig is. Ze zoekt vervolgens een overeenkomst met het bovenliggende domein, zodat een subdomein van een erkende bron de categorie ervan erft. Ze past dan een categorieregel toe die is gekoppeld aan het topniveaudomein, zodat elk academisch of overheidsdomein wordt herleid tot de juiste categorie, zelfs wanneer de specifieke instelling niet afzonderlijk is vermeld. Als geen van deze overeenkomt, geeft ze de terugval van openbronintelligentie terug bij de laagste niet-nul prior, gemarkeerd als onbekende herkomst, zodat een niet-herkende bron toelaatbaar blijft met een laag gewicht in plaats van te worden weggegooid. De resolver geeft de identificator, de naam, de categorie, de coëfficiënt, het niveau, de reikwijdte en een registratie van welke stap overeenkwam terug, waarbij die laatste voor audit wordt bewaard. Er bestaat een promotietraject voor onbekende bronnen: een bron die herhaaldelijk voorkomt in citaten die goede schattingen hebben voorspeld, wordt een kandidaat voor curatie in een genoemde categorie.

7. Liveness-verificatie en actualiteitsverval

Een hoge prior op een dood citaat is waardeloos, dus de liveness-factor verlaagt het gewicht scherp wanneer de geciteerde pagina niet wordt herleid of een niet-gevonden-status teruggeeft. Liveness wordt op het moment van scoren gecontroleerd in plaats van vertrouwd vanuit het register, omdat pagina's verplaatsen. De actualiteitsfactor laat het gewicht vervallen naarmate het geciteerde materiaal veroudert, op de redenering dat een marktcijfer van enkele jaren geleden zwakker bewijs is voor een huidige markt dan een recent cijfer, bij overigens gelijke omstandigheden. Het verval is zacht voor traag bewegende structurele statistieken en steiler voor snel bewegende technologiecijfers; het tempo is een afstembare parameter in plaats van een vaste constante.

8. Deduplicatie van co-citatie en de primair-boven-secundair-regel

Vóór enige weging worden citaten gegroepeerd zodat die welke teruggaan op één onderliggende bron samenvallen tot één bijdrager. Dit voorkomt dat een populair rapport, herrapporteerd door vele media, door herhaling een kunstmatig gewicht verkrijgt. Waar het register weet dat de ene bron een andere herrapporteert, wordt het origineel verkozen en wordt de herrapportage onderdrukt of neerwaarts gewogen. Onafhankelijke onbekende bronnen worden bewust gescheiden gehouden, zodat echte bevestiging uit verschillende oorsprongen wordt beloond terwijl echo dat niet wordt. Deze stap is de praktische vorm van de waarschuwing dat samenvoeging zonder aandacht voor afhankelijkheid het vertrouwen overdrijft (Clemen and Winkler 1999).

9. Compositie door gewogen Monte-Carlo-mengsel

Met vastgezette en genormaliseerde gewichten trekken we monsters uit de driepuntsverdeling van elke bron in verhouding tot haar gewicht, waarmee we een mengsel vormen, en we vatten het mengsel samen met een centraal cijfer en een spreidingsmaat (Metropolis and Ulam 1949; Vose 2008). We rapporteren de spreiding naast het centrale cijfer in plaats van haar te verbergen, omdat de spreiding de lezer vertelt hoezeer de bronnen het eens zijn. Een strak mengsel duidt op consensus; een breed mengsel duidt erop dat de schatting op betwiste grond rust en met zorg moet worden behandeld. Deze eerlijkheid over overeenstemming is naar onze mening even belangrijk als het centrale getal zelf.

10. Bestuur

De priors zijn afstembaar zonder een herbouw, zodat curatie snel kan reageren op nieuw bewijs. Een operator kan een herleide prior voor een specifieke analyse overschrijven, en de overschrijving wordt geregistreerd. Elk herleid citaat wordt opgeslagen met zijn overeenkomende stap en herleide waarde, zodat elke samengestelde schatting later kan worden gereconstrueerd en geaudit. De taxonomie wordt op een vaste cadans herzien, met een standaard herzieningsinterval per record, en het eigenaarschap van de curatie is benoemd zodat veroudering een eigenaar heeft. Vermindering van vertekening wordt aangepakt door de categoriesignalen waarneembaar en de regels openbaar te houden, zodat een lezer kan zien waarom een bron zo scoorde in plaats van een ondoorzichtige score te vertrouwen.

11. Openheid en houding ten aanzien van intellectueel eigendom

Het register wordt op een openbaar adres gepubliceerd. Een gepubliceerde lijst van domeinen is van nature openbaar en kan geen bedrijfsgeheim zijn, dus doen wij niet anders voorkomen. We publiceren de domeinen en hun categorieën openlijk en we publiceren deze methode volledig, omdat dit goed leiderschap in denken is en uitnodigt tot toetsing die het register verbetert. We houden de numerieke coëfficiënten en hun kalibratie achter, die het onderhouden, geversioneerde productoppervlak blijven. De verdedigbare waarde ligt daarom niet in de lijst van domeinen maar in de curatiemethodologie, de kalibratie van de priors, de cadans en versheid van het onderhoud, de diepte van de land- en sectordekking, en de terugkoppellus die leert welke bronnen over vele analyses heen goede schattingen hebben voorspeld. Als Europese entiteit steunen we ook op de bescherming die de databankrichtlijn een gecureerde databank biedt tegen grootschalige onttrekking, zelfs wanneer de databank gepubliceerd is, mits een substantiële investering in het verkrijgen, verifiëren en presenteren van de gegevens is gedocumenteerd (European Parliament and Council 1996). We houden daarom een investeringslogboek bij en koppelen de gepubliceerde pagina aan duidelijke gebruiksvoorwaarden. Waar de gepubliceerde pagina een niveau toont in plaats van een getal, laat het niveau een lezer de bronnen toch rangschikken zonder de weging te onthullen.

12. Beperkingen en het kalibratietraject

De priors zijn redactioneel, dus ze coderen een oordeel en kunnen verkeerd zijn; de negen categorieën comprimeren echte heterogeniteit, zodat een sterk domein een zwakke pagina kan dragen en de categorie alleen dit niet zal opvangen, en daarom zitten liveness, actualiteit en de primair-boven-secundair-regel stroomafwaarts van de prior. De vervaltempo's en de vertrouwens- en precisiefactoren zijn parameters die we door redeneren hebben vastgesteld in plaats van door fitten. Het kalibratietraject dicht deze leemten door een terugkoppellus: naarmate samengestelde schattingen later worden getoetst aan uitkomsten of aan beter bewijs, wordt de registratie van welke bronnen hebben bijgedragen aan nauwkeurige schattingen gegevens waarmee de priors van redactionele waarden naar gekalibreerde kunnen worden verschoven, en waarmee goede onbekende bronnen naar genoemde categorieën kunnen worden gepromoveerd. Totdat die lus voldoende bewijs heeft opgestapeld, moeten de priors worden gelezen als verdedigbare beginwaarden, niet als vaststaande metingen.

13. Conclusie

Eén marktcijfer is slechts zo verdedigbaar als het verslag van hoe het is bereikt. De Touchstone-methode maakt dat verslag expliciet: het verklaart wat het vertrouwt en waarom, het weigert een dood of verouderd citaat te laten domineren, het telt bevestiging eenmaal, en het rapporteert overeenstemming naast het centrale getal. Het register van brongeloofwaardigheid is het zichtbare deel van dit verslag, en de hier beschreven methode is de redenering erachter.

Acroniemen

Acroniem	Betekenis
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

References

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845