Tworzenie jednego obronnego oszacowania z wielu źródeł

Streszczenie

Szacowanie wielkości rynku w zdyscyplinowanej przedsiębiorczości wymaga od praktyka zobowiązania się do jednej liczby, na przykład całkowitej liczby użytkowników końcowych na zdefiniowanym rynku, podczas gdy dowody na tę liczbę są rozproszone wśród źródeł o bardzo nierównej jakości. Opisujemy metodę, którą Cambridge Cyber International stosuje do tworzenia jednego obronnego oszacowania z kilku heterogenicznych danych wejściowych, z których każde jest pozyskiwane przy pomocy modelu językowego i każde wyrażone jako trzypunktowe oszacowanie z cytatami. Metoda przypisuje każdemu wejściu wagę będącą iloczynem pięciu czynników: wiarygodności źródła publikującego, deklarowanej pewności modelu, precyzji oszacowania, kontroli żywotności cytatu oraz zaniku aktualności. Wagi są normalizowane w obrębie źródeł wybranych przez operatora, a dane wejściowe są łączone za pomocą ważonej mieszaniny Monte-Carlo, która raportuje wartość centralną wraz z miarą zgodności. Niniejszy artykuł koncentruje się na pierwszym czynniku, wiarygodności źródła. Przedstawiamy taksonomię dziewięciu klas z redakcyjnymi apriori, deterministyczny algorytm, który mapuje każdy cytowany adres na apriori z rezerwową ścieżką dla źródeł nieznanych, oraz zarządzanie, które utrzymuje apriori w uczciwości. Jasno stwierdzamy, że apriori są redakcyjnymi wartościami początkowymi podlegającymi kalibracji, a nie zmierzonymi wskaźnikami trafności.

1. Problem

Praktyk stosujący metodę zdyscyplinowanej przedsiębiorczości (Aulet 2013; Aulet and Snyder 2017) musi przedstawić konkretne liczby wcześnie, zanim badania pierwotne staną się dostępne cenowo, i musi ich bronić. Model językowy może szybko pozyskać kandydujące liczby, ale zwraca je z trzema wadami, które sprawiają, że naiwne uśrednianie jest niebezpieczne. Po pierwsze, źródła różnią się ogromnie pod względem wiarygodności, od krajowego urzędu statystycznego po odsprzedawcę badań rynku napędzanego komunikatami prasowymi, a jednak zwykła średnia traktuje je jednakowo. Po drugie, kilka zwróconych cytatów często sprowadza się do jednego bazowego raportu, więc zwykła średnia po cichu liczy podwójnie. Po trzecie, model może podać liczbę z nieuzasadnioną pewnością lub zacytować stronę, która już nie istnieje. Zadaniem jest połączenie takich danych wejściowych w jedną liczbę, którą rozsądny czytelnik zaakceptowałby, jednocześnie ujawniając, dlaczego liczba przyjęła taką postać.

2. Tło

Traktujemy każde kandydujące wejście jako trzypunktowe oszacowanie, wartość niską, najbardziej prawdopodobną i wysoką, formę od dawna stosowaną w ocenie i przeglądzie programów (Malcolm, Roseboom, Clark and Fazar 1959) oraz w ilościowej analizie ryzyka, gdzie rozkłady trójkątny i oceny programów są standardowymi narzędziami do przekształcania trzech punktów w rozkład (Vose 2008). Propagujemy niepewność przez symulację, a nie przez algebrę w postaci zamkniętej, zgodnie z metodą Monte-Carlo (Metropolis and Ulam 1949). Pozyskujemy dowody za pomocą ugruntowanej generacji opartej na cytatach, a nie generacji swobodnej, w duchu podejść wzbogaconych o wyszukiwanie, które wiążą wynik modelu z nazwanymi dokumentami (Lewis et al. 2020). Łączenie kilku rozkładów w jeden jest samo w sobie zbadanym problemem, a literatura z analizy ryzyka ostrzega, że naiwne łączenie ignoruje zarówno jakość źródła, jak i zależność między źródłami (Clemen and Winkler 1999); nasze kroki ważenia i deduplikacji są bezpośrednią odpowiedzią na to ostrzeżenie.

3. Model ważenia

Każde wybrane źródło i otrzymuje wagę będącą iloczynem pięciu ograniczonych czynników:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Wagi są następnie normalizowane w obrębie zbioru wybranego przez operatora tak, aby sumowały się do jedności. Czynnik wiarygodności jest apriori dotyczącym wydawcy, opisanym w sekcjach od 5 do 8. Czynnik pewności odzwierciedla deklarowaną przez model pewność co do konkretnego twierdzenia. Czynnik precyzji nagradza węższy rozrzut trzypunktowy, w duchu ważenia odwrotną wariancją, gdzie bardziej precyzyjne oszacowania mają większy wpływ (Borenstein, Hedges, Higgins and Rothstein 2009). Czynnik żywotności jest bliski zeru, gdy cytowana strona nie może zostać osiągnięta, a czynnik aktualności zanika w miarę starzenia się cytatu. Ponieważ czynniki się mnożą, którykolwiek z nich zbliżający się do zera ciągnie całą wagę w kierunku zera, co jest zachowaniem, którego pragniemy: aktualna, precyzyjna, pewnie podana liczba na martwym łączu nie powinna dominować.

4. Dlaczego wiarygodność jest apriori, a nie trafnością

Czynnik wiarygodności jest apriori dotyczącym wydawcy, ustalonym przed zbadaniem konkretnego twierdzenia. Wyraża, na ile korzyści z wątpliwości zasłużyła sobie dana klasa źródła, w taki sposób, w jaki uważny czytelnik ufa komunikatowi banku centralnego bardziej niż anonimowemu blogowi, zanim jeszcze przeczyta którykolwiek z nich. Nie jest to zmierzone prawdopodobieństwo, że dana liczba jest poprawna. Trzymamy się tego rozróżnienia stanowczo, ponieważ alternatywa, przedstawianie współczynnika tak, jakby był zweryfikowanym wskaźnikiem trafności, przeceniałaby to, co rejestr wie, i zapraszałaby do nadużyć. Opublikowany rejestr oraz niniejszy artykuł opisują zatem te wartości jako redakcyjne apriori podlegające kalibracji. Plan kalibracji w sekcji 12 wyjaśnia, jak apriori mają zmieniać się w czasie w miarę gromadzenia dowodów na temat tego, które źródła przewidziały dobre oszacowania.

5. Taksonomia wiarygodności źródeł i przypisanie współczynników

Sortujemy źródła na dziewięć klas, uporządkowanych według malejącego apriori początkowego. Recenzowana nauka niesie najwyższe apriori, następnie oficjalne statystyki, organizacje międzyrządowe, banki centralne i regulowane sprawozdania; potem rządowe dane otwarte; potem niezależni analitycy; potem przejrzyści dostawcy statystyk; potem organizacje branżowe, izby i organizacje normalizacyjne; potem wysokiej jakości prasa biznesowa; potem odsprzedawcy badań rynku; i wreszcie klasa rezydualna dla otwartego wywiadu źródłowego oraz każdego źródła, którego rejestr nie rozpoznaje. Każda klasa ma jawny współczynnik początkowy wyrażony jako procent oraz sygnał rozstrzygania, czyli obserwowalną cechę adresu, która umieszcza źródło w danej klasie. Współczynniki są przechowywane na zapleczu jako wartości strojalne i wersjonowane; opublikowany rejestr ujawnia klasę i zgrubną etykietę poziomu, ale wstrzymuje liczbę, z powodów podanych w sekcji 11.

Trzy reguły nadpisują surowy współczynnik klasy i mają większe znaczenie niż dokładny procent. Wiarygodność wydawcy nie jest wiarygodnością twierdzenia, więc apriori jest jedynie punktem wyjścia, który żywotność i aktualność następnie korygują. Współcytowanie jest deduplikowane, więc kilka wydawców, które sprowadzają się do jednego raportu, liczy się raz. Źródła pierwotne przewyższają wtórne przy równej klasie, więc oryginalny komunikat przewyższa jego ponowne omówienie. Warstwa sektorowa podnosi apriori dla źródeł znajdujących się w obszarze cyberbezpieczeństwa i technologii regulacyjnych będących w centrum zainteresowania firmy, takich jak ENISA, NIST oraz krajowe agencje cyberbezpieczeństwa. Warstwa krajowa zaszczepia dla każdego kraju instytut statystyczny, portal danych otwartych, bank centralny lub regulatora finansowego, główne izby handlowe oraz rejestr działalności gospodarczej.

6. Algorytm rozstrzygania

Każdy adres cytowany przez model jest rozstrzygany na apriori po wywołaniu, nigdy przez wstrzykiwanie rejestru do promptu. Rozstrzyganie przebiega w czterech uporządkowanych krokach i zwraca pierwsze dopasowanie. Najpierw poszukuje dokładnego dopasowania hosta lub hosta i ścieżki razem, gdy źródło jest wiarygodne tylko na określonej ścieżce. Następnie poszukuje dopasowania domeny nadrzędnej, tak aby subdomena rozpoznanego źródła dziedziczyła jego klasę. Następnie stosuje regułę klasy opartą na domenie najwyższego poziomu, tak aby każda domena akademicka lub rządowa rozstrzygała się na właściwą klasę, nawet gdy konkretna instytucja nie jest indywidualnie wymieniona. Jeśli żadne z tych dopasowań nie zachodzi, zwraca rezerwową klasę OSINT przy najniższym niezerowym apriori, oznaczoną jako nieznane pochodzenie, tak aby nierozpoznane źródło pozostawało dopuszczalne przy niskiej wadze, zamiast być odrzucone. Rozstrzygacz zwraca identyfikator, nazwę, klasę, współczynnik, poziom, zakres oraz zapis tego, który krok dopasował, przy czym ten ostatni jest zachowywany do audytu. Istnieje ścieżka awansu dla źródeł nieznanych: źródło, które wielokrotnie pojawia się w cytatach przewidujących dobre oszacowania, staje się kandydatem do włączenia w nazwaną klasę.

7. Weryfikacja żywotności i zanik aktualności

Wysokie apriori na martwym cytacie jest bezwartościowe, więc czynnik żywotności ostro redukuje wagę, gdy cytowana strona nie rozstrzyga się lub zwraca status nieznalezienia. Żywotność jest sprawdzana w chwili punktacji, a nie przyjmowana na zaufanie z rejestru, ponieważ strony się przenoszą. Czynnik aktualności zanika wagę w miarę starzenia się cytowanego materiału, na tej podstawie, że liczba rynkowa sprzed kilku lat jest słabszym dowodem dla bieżącego rynku niż liczba niedawna, przy równych pozostałych warunkach. Zanik jest łagodny dla wolno zmieniających się statystyk strukturalnych i bardziej stromy dla szybko zmieniających się liczb technologicznych; tempo jest parametrem strojalnym, a nie stałą wartością.

8. Deduplikacja współcytowania i reguła pierwotne przed wtórnym

Przed jakimkolwiek ważeniem cytaty są grupowane tak, aby te sprowadzające się do jednego bazowego źródła zwijały się w pojedynczego kontrybutora. Zapobiega to nabywaniu przez popularny raport, ponownie omawiany przez wielu wydawców, sztucznej wagi poprzez powtarzanie. Gdy rejestr wie, że jedno źródło ponownie omawia inne, oryginał jest preferowany, a ponowne omówienie jest tłumione lub obniżane w wadze. Niezależne nieznane źródła są celowo trzymane osobno, tak aby prawdziwe potwierdzenie z odrębnych źródeł było nagradzane, podczas gdy echo nie. Ten krok jest praktyczną formą ostrzeżenia, że łączenie bez uwzględnienia zależności przecenia pewność (Clemen and Winkler 1999).

9. Kompozycja za pomocą ważonej mieszaniny Monte-Carlo

Przy wagach ustalonych i znormalizowanych losujemy próbki z trzypunktowego rozkładu każdego źródła proporcjonalnie do jego wagi, tworząc mieszaninę, i podsumowujemy mieszaninę wartością centralną oraz miarą rozproszenia (Metropolis and Ulam 1949; Vose 2008). Raportujemy rozproszenie obok wartości centralnej, zamiast je ukrywać, ponieważ rozrzut mówi czytelnikowi, na ile źródła się zgadzają. Ciasna mieszanina sygnalizuje konsensus; szeroka sygnalizuje, że oszacowanie opiera się na spornym gruncie i powinno być traktowane z ostrożnością. Ta uczciwość co do zgodności jest, naszym zdaniem, równie ważna jak sama liczba centralna.

10. Zarządzanie

Apriori są strojalne bez przebudowy, więc kuracja może szybko reagować na nowe dowody. Operator może nadpisać rozstrzygnięte apriori dla konkretnej analizy, a nadpisanie jest rejestrowane. Każdy rozstrzygnięty cytat jest przechowywany wraz z dopasowanym krokiem i rozstrzygniętą wartością, tak aby każde skomponowane oszacowanie mogło zostać odtworzone i poddane audytowi później. Taksonomia jest przeglądana w stałym rytmie, z domyślnym interwałem przeglądu na rekord, a własność kuracji jest nazwana, tak aby przeterminowanie miało właściciela. Łagodzenie stronniczości jest realizowane przez utrzymywanie sygnałów klasy obserwowalnymi, a reguł publicznymi, tak aby czytelnik mógł zobaczyć, dlaczego źródło uzyskało taką ocenę, zamiast ufać nieprzejrzystej punktacji.

11. Otwartość i postawa wobec własności intelektualnej

Rejestr jest opublikowany pod publicznym adresem. Opublikowana lista domen jest z założenia publiczna i nie może być tajemnicą handlową, więc nie udajemy inaczej. Publikujemy domeny i ich klasy otwarcie i publikujemy tę metodę w całości, ponieważ czynienie tak jest dobrym przywództwem myślowym i zaprasza do krytyki, która ulepsza rejestr. Wstrzymujemy liczbowe współczynniki i ich kalibrację, które pozostają utrzymywaną, wersjonowaną powierzchnią produktu. Obronna wartość leży zatem nie w liście domen, lecz w metodologii kuracji, kalibracji apriori, rytmie i świeżości utrzymania, głębokości pokrycia krajowego i sektorowego oraz w pętli sprzężenia zwrotnego, która uczy się, które źródła przewidziały dobre oszacowania w wielu analizach. Jako podmiot europejski polegamy również na ochronie, jaką dyrektywa o bazach danych zapewnia kuratorowanej bazie danych przed hurtowym wydobyciem, nawet gdy baza danych jest opublikowana, pod warunkiem udokumentowania znacznej inwestycji w pozyskanie, weryfikację i prezentację danych (European Parliament and Council 1996). Prowadzimy zatem dziennik inwestycji i parujemy opublikowaną stronę z jasnymi warunkami użytkowania. Tam, gdzie opublikowana strona pokazuje poziom, a nie liczbę, poziom nadal pozwala czytelnikowi uszeregować źródła bez ujawniania ważenia.

12. Ograniczenia i plan kalibracji

Apriori są redakcyjne, więc kodują osąd i mogą być błędne; dziewięć klas kompresuje rzeczywistą heterogeniczność, więc silna domena może nieść słabą stronę, a sama klasa tego nie wychwyci, dlatego żywotność, aktualność i reguła pierwotne przed wtórnym znajdują się w dół strumienia od apriori. Tempa zaniku oraz czynniki pewności i precyzji są parametrami, które ustaliliśmy raczej przez rozumowanie niż przez dopasowanie. Plan kalibracji zamyka te luki poprzez pętlę sprzężenia zwrotnego: w miarę jak skomponowane oszacowania są później sprawdzane wobec wyników lub wobec lepszych dowodów, zapis tego, które źródła przyczyniły się do trafnych oszacowań, staje się danymi, za pomocą których można przesunąć apriori z wartości redakcyjnych ku skalibrowanym oraz awansować dobre nieznane źródła do nazwanych klas. Dopóki ta pętla nie zgromadzi wystarczających dowodów, apriori należy odczytywać jako obronne wartości początkowe, a nie jako ustalone pomiary.

13. Wnioski

Pojedyncza liczba rynkowa jest tylko tak obronna, jak relacja o tym, jak została osiągnięta. Metoda Touchstone czyni tę relację jawną: stwierdza, czemu ufa i dlaczego, odmawia pozwolenia, by martwy lub przestarzały cytat zdominował, liczy potwierdzenie raz i raportuje zgodność obok liczby centralnej. Rejestr wiarygodności źródeł jest widoczną częścią tej relacji, a opisana tutaj metoda jest rozumowaniem za nim stojącym.

Akronimy

Akronim	Rozwinięcie
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Bibliografia

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845