Aus vielen Quellen eine vertretbare Schätzung zusammensetzen

Zusammenfassung

Die Marktdimensionierung im disziplinierten Unternehmertum verlangt von einem Praktiker, sich auf eine einzige Zahl festzulegen, zum Beispiel die Gesamtzahl der Endnutzer in einem definierten Markt, während die Belege für diese Zahl über Quellen sehr ungleicher Qualität verstreut sind. Wir beschreiben die Methode, die Cambridge Cyber International verwendet, um aus mehreren heterogenen Eingaben eine einzige vertretbare Schätzung zusammenzusetzen, wobei jede mithilfe eines Sprachmodells abgerufen und jede als Dreipunktschätzung mit Zitaten ausgedrückt wird. Die Methode weist jeder Eingabe ein Gewicht zu, das das Produkt aus fünf Faktoren ist: der Glaubwürdigkeit der veröffentlichenden Quelle, der vom Modell angegebenen Zuversicht, der Genauigkeit der Schätzung, einer Liveness-Prüfung des Zitats und einem Aktualitätszerfall. Die Gewichte werden über die von einem Operator ausgewählten Quellen normalisiert, und die Eingaben werden durch eine gewichtete Monte-Carlo-Mischung kombiniert, die eine zentrale Kennzahl zusammen mit einem Maß für die Übereinstimmung ausweist. Diese Arbeit konzentriert sich auf den ersten Faktor, die Quellenglaubwürdigkeit. Wir stellen eine Taxonomie mit neun Klassen und redaktionellen Priors dar, einen deterministischen Algorithmus, der jede zitierte Adresse auf einen Prior abbildet, mit einem Rückgriff für unbekannte Quellen, sowie die Governance, die die Priors ehrlich hält. Wir sind ausdrücklich darin, dass die Priors redaktionelle Ausgangswerte sind, die einer Kalibrierung unterliegen, und keine gemessenen Genauigkeitsraten.

1. Problem

Ein Praktiker, der der Methode des disziplinierten Unternehmertums folgt (Aulet 2013; Aulet and Snyder 2017), muss früh konkrete Zahlen liefern, bevor primäre Forschung erschwinglich ist, und muss sie verteidigen. Ein Sprachmodell kann Kandidatenzahlen schnell abrufen, gibt sie jedoch mit drei Mängeln zurück, die eine naive Mittelung unsicher machen. Erstens unterscheiden sich die Quellen enorm in ihrer Vertrauenswürdigkeit, von einem nationalen Statistikamt bis zu einem von Pressemitteilungen getriebenen Marktforschungs-Wiederverkäufer, doch ein einfacher Mittelwert behandelt sie gleich. Zweitens gehen mehrere der zurückgegebenen Zitate oft auf einen einzigen zugrunde liegenden Bericht zurück, sodass ein einfacher Mittelwert stillschweigend doppelt zählt. Drittens kann ein Modell eine Zahl mit ungerechtfertigter Zuversicht angeben oder eine Seite zitieren, die nicht mehr existiert. Die Aufgabe besteht darin, solche Eingaben zu einer Zahl zu kombinieren, die ein vernünftiger Leser akzeptieren würde, während offengelegt wird, warum die Zahl so ausgefallen ist.

2. Hintergrund

Wir behandeln jede Kandidateneingabe als Dreipunktschätzung, einen niedrigen, einen wahrscheinlichsten und einen hohen Wert, die Form, die seit Langem in der Programmbewertung und -überprüfung (Malcolm, Roseboom, Clark and Fazar 1959) und in der quantitativen Risikoanalyse verwendet wird, wo die Dreiecks- und die Programmbewertungsverteilung Standardwerkzeuge sind, um drei Punkte in eine Verteilung zu überführen (Vose 2008). Wir propagieren die Unsicherheit durch Simulation statt durch geschlossene Algebra, gemäß der Monte-Carlo-Methode (Metropolis and Ulam 1949). Wir rufen Belege durch fundierte, mit Zitaten versehene Generierung statt durch freie Generierung ab, im Geiste abrufgestützter Ansätze, die die Modellausgabe an benannte Dokumente binden (Lewis et al. 2020). Mehrere Verteilungen zu einer einzigen zu kombinieren ist selbst ein untersuchtes Problem, und die Literatur zur Risikoanalyse warnt, dass eine naive Zusammenführung sowohl die Quellenqualität als auch die Abhängigkeit zwischen den Quellen ignoriert (Clemen and Winkler 1999); unsere Gewichtungs- und Deduplizierungsschritte sind eine direkte Antwort auf diese Warnung.

3. Das Gewichtungsmodell

Jede ausgewählte Quelle i erhält ein Gewicht, das das Produkt aus fünf beschränkten Faktoren ist:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Die Gewichte werden dann über die vom Operator ausgewählte Menge normalisiert, sodass sie sich zu eins summieren. Der Glaubwürdigkeitsfaktor ist ein Prior über den Herausgeber, beschrieben in den Abschnitten 5 bis 8. Der Zuversichtsfaktor spiegelt die vom Modell angegebene Gewissheit über die konkrete Behauptung wider. Der Genauigkeitsfaktor belohnt eine engere Dreipunktspanne, im Geiste der invers-varianzbasierten Gewichtung, bei der genauere Schätzungen mehr Einfluss tragen (Borenstein, Hedges, Higgins and Rothstein 2009). Der Liveness-Faktor ist nahe null, wenn die zitierte Seite nicht erreichbar ist, und der Aktualitätsfaktor zerfällt, während das Zitat altert. Weil sich die Faktoren multiplizieren, zieht jeder von ihnen, der sich null nähert, das gesamte Gewicht gegen null, was das gewünschte Verhalten ist: eine aktuelle, genaue, zuversichtlich angegebene Zahl an einem toten Link sollte nicht dominieren.

4. Warum Glaubwürdigkeit ein Prior ist, keine Genauigkeit

Der Glaubwürdigkeitsfaktor ist ein Prior über den Herausgeber, festgelegt, bevor die konkrete Behauptung geprüft wird. Er drückt aus, wie viel Vertrauensvorschuss sich eine Klasse von Quellen verdient hat, in der Weise, in der ein sorgfältiger Leser einer Mitteilung einer Zentralbank mehr vertraut als einem anonymen Blog, bevor er das eine oder das andere liest. Er ist keine gemessene Wahrscheinlichkeit, dass eine gegebene Zahl korrekt ist. Wir halten diese Unterscheidung fest, weil die Alternative, einen Koeffizienten so darzustellen, als wäre er eine validierte Genauigkeitsrate, überzeichnen würde, was das Register weiß, und zu Missbrauch einladen würde. Das veröffentlichte Register und diese Arbeit beschreiben die Werte daher als redaktionelle Priors, die einer Kalibrierung unterliegen. Der Kalibrierungsfahrplan in Abschnitt 12 erläutert, wie sich die Priors im Laufe der Zeit bewegen sollen, während sich Belege dafür ansammeln, welche Quellen gute Schätzungen vorhergesagt haben.

5. Taxonomie der Quellenglaubwürdigkeit und Koeffizientenzuweisung

Wir sortieren die Quellen in neun Klassen, geordnet nach absteigendem Ausgangs-Prior. Die begutachtete Wissenschaft trägt den höchsten Prior, gefolgt von der amtlichen Statistik, den zwischenstaatlichen Organisationen, den Zentralbanken und regulierten Einreichungen; dann die offenen Behördendaten; dann die unabhängigen Analysten; dann die transparenten Statistikanbieter; dann die Branchenverbände, Kammern und Normungsorganisationen; dann die hochwertige Wirtschaftspresse; dann die Marktforschungs-Wiederverkäufer; und schließlich eine Restklasse für die quelloffene Aufklärung und jede Quelle, die das Register nicht erkennt. Jede Klasse hat einen expliziten Ausgangskoeffizienten, ausgedrückt als Prozentsatz, und ein Auflösungssignal, das beobachtbare Merkmal einer Adresse, das eine Quelle in die Klasse einordnet. Die Koeffizienten werden im Backend als anpassbare, versionierte Werte gehalten; das veröffentlichte Register legt die Klasse und ein grobes Stufenlabel offen, hält jedoch die Zahl zurück, aus den in Abschnitt 11 genannten Gründen.

Drei Regeln setzen sich über den rohen Klassenkoeffizienten hinweg und zählen mehr als der genaue Prozentsatz. Die Glaubwürdigkeit des Mediums ist nicht die Glaubwürdigkeit der Behauptung, sodass der Prior nur ein Ausgangspunkt ist, den Liveness und Aktualität dann anpassen. Die Ko-Zitierung wird dedupliziert, sodass mehrere Medien, die auf einen Bericht zurückgehen, einmal zählen. Primärquellen übertreffen sekundäre bei gleicher Klasse, sodass eine ursprüngliche Mitteilung eine Wiederholung von ihr übertrifft. Eine Sektorschicht hebt den Prior für Quellen innerhalb des Cyber- und Regulierungstechnologie-Fokus des Unternehmens an, wie die Agentur der Europäischen Union für Cybersicherheit, das National Institute of Standards and Technology der Vereinigten Staaten und die nationalen Cyber-Behörden. Eine Länderschicht sät für jedes Land das Statistikinstitut, das Offene-Daten-Portal, die Zentralbank oder Finanzaufsicht, die wichtigsten Handelskammern und das Unternehmensregister.

6. Auflösungsalgorithmus

Jede Adresse, die ein Modell zitiert, wird nach dem Aufruf auf einen Prior aufgelöst, niemals durch Einspeisen des Registers in den Prompt. Die Auflösung erfolgt in vier geordneten Schritten und gibt die erste Übereinstimmung zurück. Sie sucht zunächst eine genaue Übereinstimmung des Hosts, oder des Hosts und Pfads zusammen, wenn eine Quelle nur auf einem bestimmten Pfad glaubwürdig ist. Sie sucht dann eine Übereinstimmung der übergeordneten Domain, sodass eine Subdomain einer anerkannten Quelle deren Klasse erbt. Sie wendet dann eine Klassenregel an, die auf der Top-Level-Domain beruht, sodass jede akademische oder behördliche Domain sich in die richtige Klasse auflöst, selbst wenn die konkrete Einrichtung nicht einzeln aufgeführt ist. Wenn keine davon übereinstimmt, gibt sie den Rückgriff der quelloffenen Aufklärung beim niedrigsten von null verschiedenen Prior zurück, gekennzeichnet als unbekannte Herkunft, sodass eine nicht erkannte Quelle mit geringem Gewicht zulässig bleibt, statt verworfen zu werden. Der Auflöser gibt die Kennung, den Namen, die Klasse, den Koeffizienten, die Stufe, den Geltungsbereich und eine Aufzeichnung darüber zurück, welcher Schritt übereinstimmte, wobei Letzteres zur Prüfung aufbewahrt wird. Für unbekannte Quellen existiert ein Beförderungspfad: Eine Quelle, die wiederholt in Zitaten erscheint, die gute Schätzungen vorhergesagt haben, wird zur Kandidatin für die Aufnahme in eine benannte Klasse.

7. Liveness-Prüfung und Aktualitätszerfall

Ein hoher Prior auf einem toten Zitat ist wertlos, daher senkt der Liveness-Faktor das Gewicht stark, wenn die zitierte Seite sich nicht auflöst oder einen Nicht-gefunden-Status zurückgibt. Die Liveness wird zum Zeitpunkt der Bewertung geprüft, statt dem Register vertraut zu werden, weil sich Seiten verschieben. Der Aktualitätsfaktor lässt das Gewicht zerfallen, während das zitierte Material altert, mit der Begründung, dass eine Marktzahl von vor mehreren Jahren ein schwächerer Beleg für einen aktuellen Markt ist als eine aktuelle, bei sonst gleichen Bedingungen. Der Zerfall ist sanft für langsam veränderliche Strukturstatistiken und steiler für schnell veränderliche Technologiezahlen; die Rate ist ein anpassbarer Parameter statt einer festen Konstante.

8. Deduplizierung der Ko-Zitierung und die Primär-vor-Sekundär-Regel

Vor jeder Gewichtung werden die Zitate so gruppiert, dass jene, die auf eine zugrunde liegende Quelle zurückgehen, zu einem einzigen Beitragenden zusammenfallen. Dies verhindert, dass ein beliebter Bericht, der von vielen Medien wiederholt wird, durch Wiederholung ein künstliches Gewicht erlangt. Wo das Register weiß, dass eine Quelle eine andere wiedergibt, wird das Original bevorzugt und die Wiedergabe unterdrückt oder heruntergewichtet. Unabhängige unbekannte Quellen werden bewusst getrennt gehalten, sodass eine echte Bestätigung aus unterschiedlichen Ursprüngen belohnt wird, während ein Echo dies nicht wird. Dieser Schritt ist die praktische Form der Warnung, dass eine Zusammenführung ohne Beachtung der Abhängigkeit die Zuversicht überzeichnet (Clemen and Winkler 1999).

9. Komposition durch gewichtete Monte-Carlo-Mischung

Mit fixierten und normalisierten Gewichten ziehen wir aus der Dreipunktverteilung jeder Quelle Stichproben im Verhältnis zu ihrem Gewicht und bilden so eine Mischung, und wir fassen die Mischung durch eine zentrale Kennzahl und ein Streuungsmaß zusammen (Metropolis and Ulam 1949; Vose 2008). Wir weisen die Streuung neben der zentralen Kennzahl aus, statt sie zu verbergen, weil die Streuung dem Leser sagt, wie sehr die Quellen übereinstimmen. Eine enge Mischung signalisiert Konsens; eine breite signalisiert, dass die Schätzung auf umstrittenem Boden ruht und mit Vorsicht behandelt werden sollte. Diese Ehrlichkeit über die Übereinstimmung ist nach unserer Ansicht ebenso wichtig wie die zentrale Zahl selbst.

10. Governance

Die Priors sind ohne einen Neuaufbau anpassbar, sodass die Kuratierung schnell auf neue Belege reagieren kann. Ein Operator kann einen aufgelösten Prior für eine bestimmte Analyse außer Kraft setzen, und die Außerkraftsetzung wird aufgezeichnet. Jedes aufgelöste Zitat wird mit seinem übereinstimmenden Schritt und aufgelösten Wert gespeichert, sodass jede zusammengesetzte Schätzung später rekonstruiert und geprüft werden kann. Die Taxonomie wird in einem festen Takt überprüft, mit einem Standard-Überprüfungsintervall pro Datensatz, und die Kuratierungsverantwortung ist benannt, sodass die Veralterung einen Verantwortlichen hat. Der Verzerrungsminderung wird begegnet, indem die Klassensignale beobachtbar und die Regeln öffentlich gehalten werden, sodass ein Leser sehen kann, warum eine Quelle so bewertet wurde, statt einer undurchsichtigen Bewertung zu vertrauen.

11. Offenheit und Haltung zum geistigen Eigentum

Das Register wird unter einer öffentlichen Adresse veröffentlicht. Eine veröffentlichte Liste von Domains ist von Natur aus öffentlich und kann kein Geschäftsgeheimnis sein, daher geben wir nichts anderes vor. Wir veröffentlichen die Domains und ihre Klassen offen und wir veröffentlichen diese Methode vollständig, weil dies eine gute Vordenkerrolle ist und zu einer Prüfung einlädt, die das Register verbessert. Wir halten die numerischen Koeffizienten und ihre Kalibrierung zurück, die die gepflegte, versionierte Produktoberfläche bleiben. Der vertretbare Wert liegt daher nicht in der Liste der Domains, sondern in der Kuratierungsmethodik, der Kalibrierung der Priors, dem Takt und der Frische der Pflege, der Tiefe der Länder- und Sektorabdeckung und der Rückkopplungsschleife, die lernt, welche Quellen über viele Analysen hinweg gute Schätzungen vorhergesagt haben. Als europäische Einheit stützen wir uns auch auf den Schutz, den die Datenbankrichtlinie einer kuratierten Datenbank gegen eine großflächige Entnahme gewährt, selbst wenn die Datenbank veröffentlicht ist, sofern eine wesentliche Investition in das Beschaffen, Überprüfen und Präsentieren der Daten dokumentiert ist (European Parliament and Council 1996). Wir führen daher ein Investitionsprotokoll und koppeln die veröffentlichte Seite mit klaren Nutzungsbedingungen. Wo die veröffentlichte Seite eine Stufe statt einer Zahl zeigt, lässt die Stufe einen Leser dennoch die Quellen einordnen, ohne die Gewichtung preiszugeben.

12. Grenzen und der Kalibrierungsfahrplan

Die Priors sind redaktionell, sie kodieren also ein Urteil und können falsch sein; die neun Klassen komprimieren eine reale Heterogenität, sodass eine starke Domain eine schwache Seite tragen kann und die Klasse allein dies nicht auffängt, weshalb Liveness, Aktualität und die Primär-vor-Sekundär-Regel dem Prior nachgelagert sind. Die Zerfallsraten und die Zuversichts- und Genauigkeitsfaktoren sind Parameter, die wir durch Überlegung statt durch Anpassung festgelegt haben. Der Kalibrierungsfahrplan schließt diese Lücken durch eine Rückkopplungsschleife: Während zusammengesetzte Schätzungen später gegen Ergebnisse oder gegen bessere Belege geprüft werden, wird die Aufzeichnung darüber, welche Quellen zu genauen Schätzungen beigetragen haben, zu Daten, mit denen sich die Priors von redaktionellen Werten hin zu kalibrierten bewegen lassen und mit denen sich gute unbekannte Quellen in benannte Klassen befördern lassen. Bis diese Schleife genügend Belege angesammelt hat, sollten die Priors als vertretbare Ausgangswerte gelesen werden, nicht als abschließende Messungen.

13. Fazit

Eine einzelne Marktzahl ist nur so vertretbar wie die Darstellung, wie sie erreicht wurde. Die Touchstone-Methode macht diese Darstellung explizit: Sie erklärt, was sie vertraut und warum, sie weigert sich, ein totes oder veraltetes Zitat dominieren zu lassen, sie zählt die Bestätigung einmal und sie weist die Übereinstimmung neben der zentralen Zahl aus. Das Register der Quellenglaubwürdigkeit ist der sichtbare Teil dieser Darstellung, und die hier beschriebene Methode ist die Überlegung dahinter.

Akronyme

Akronym	Bedeutung
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

References

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845