從眾多來源組成一個可辯護的估計值

摘要

紀律型創業中的市場規模估算要求實務工作者承諾於單一數字，例如某個界定市場中終端使用者的總數，然而支持該數字的證據卻散布於品質極不均衡的各種來源之間。我們描述 Cambridge Cyber International 用以從數個異質輸入資料組成一個可辯護估計值的方法，每個輸入皆借助語言模型取得，並以帶有引用的三點估計形式表達。此方法為每個輸入附加一個權重，該權重是五個因素的乘積：發布來源的可信度、模型陳述的信心、估計的精確度、對引用的有效性檢查，以及時效性衰減。權重在操作者選擇的來源集合中進行正規化，而各輸入則透過加權 Monte-Carlo 混合加以組合，該混合報告一個中央數值連同一個一致性度量。本文聚焦於第一個因素，即來源可信度。我們提出一個具有編輯先驗的九類分類法、一個將任何被引用位址對映至先驗值並為未知來源提供後備方案的確定性演算法，以及維持先驗值誠實性的治理機制。我們明確表示，這些先驗值是有待校準的編輯起始值，而非經過測量的準確率。

1. 問題

遵循紀律型創業方法的實務工作者（Aulet 2013; Aulet and Snyder 2017）必須在早期產出具體數字，在初級研究尚負擔得起之前，並且必須為其辯護。語言模型能快速取得候選數字，但它回傳這些數字時帶有三項缺陷，使得天真的平均變得不安全。第一，各來源在可信度上差異極大，從國家統計機構到以新聞稿為驅動的市場研究轉售商，然而單純的平均卻一視同仁地對待它們。第二，回傳的數個引用往往可追溯至單一底層報告，因此單純的平均會悄然重複計算。第三，模型可能以不合理的信心陳述某數字，或引用一個已不存在的頁面。此任務在於將這類輸入組合成一個合理讀者會接受的數字，同時揭露該數字為何得出如此結果。

2. 背景

我們將每個候選輸入視為一個三點估計，即低值、最可能值與高值，這種形式長期用於計畫評估與審查（Malcolm, Roseboom, Clark and Fazar 1959），以及量化風險分析中，其中三角分布與計畫評估分布是將三點轉化為分布的標準工具（Vose 2008）。我們透過模擬而非封閉形式的代數傳播不確定性，遵循 Monte-Carlo 方法（Metropolis and Ulam 1949）。我們以有根據的、帶有引用的生成而非自由生成來取得證據，秉持將模型輸出繫結於具名文件的檢索增強方法之精神（Lewis et al. 2020）。將數個分布組合成一個本身就是一個被研究的問題，而風險分析文獻警告，天真的匯集忽略了來源品質與來源之間的相依性（Clemen and Winkler 1999）；我們的加權與去重複步驟正是對該警告的直接回應。

3. 加權模型

每個被選取的來源 i 獲得一個權重，該權重是五個有界因素的乘積：

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

接著在操作者選取的集合中對權重進行正規化，使其總和為一。可信度因素是關於發布者的先驗值，於第 5 至 8 節中描述。信心因素反映模型對特定主張所陳述的確定性。精確度因素獎勵較緊密的三點範圍，秉持反變異數加權的精神，其中較精確的估計具有較大的影響力（Borenstein, Hedges, Higgins and Rothstein 2009）。當被引用頁面無法觸及時，有效性因素接近於零，而時效性因素則隨引用老化而衰減。由於各因素相乘，其中任一因素趨近於零便會將整個權重拉向零，這正是我們想要的行為：一個位於失效連結上、當前、精確且信心十足地陳述的數字不應占據主導地位。

4. 為何可信度是先驗值而非準確率

可信度因素是關於發布者的先驗值，在檢視特定主張之前設定。它表達某一類來源已贏得多少信任的餘地，正如謹慎的讀者在閱讀任一者之前，便信任中央銀行的發布多於匿名部落格。它並非某一給定數字為正確的測量機率。我們堅定地持守此區別，因為替代做法，即將某係數呈現得彷彿它是經過驗證的準確率，會誇大登錄冊所知的內容並招致誤用。因此，已發布的登錄冊與本文將這些數值描述為有待校準的編輯先驗值。第 12 節中的校準路線圖說明這些先驗值如何隨著關於哪些來源預測出良好估計的證據累積而預期隨時間移動。

5. 來源可信度分類法與係數指派

我們將來源分為九類，依起始先驗值遞減排序。同儕審查的學術界承載最高的先驗值，其後為官方統計、政府間組織、中央銀行與受規管的申報；接著是政府開放資料；接著是獨立分析師；接著是透明的統計供應商；接著是行業團體、商會與標準組織；接著是優質的商業媒體；接著是市場研究轉售商；最後是一個殘餘類別，用於開放來源情報（OSINT）以及登錄冊不予辨識的任何來源。每一類皆有一個以百分比表達的明確起始係數，以及一個解析訊號，即將來源歸入該類的位址可觀察特徵。這些係數作為可調的、版本化的數值保存於後端；已發布的登錄冊揭露類別與粗略的層級標籤，但基於第 11 節所述的理由而保留數字。

三條規則會覆寫原始的類別係數，且比精確的百分比更為重要。刊物的可信度並非主張的可信度，因此先驗值僅是一個起點，其後由有效性與時效性加以調整。共同引用會被去重複，因此追溯至同一報告的數個刊物僅計算一次。在同等類別下，初級來源勝過次級來源，因此原始發布勝過對其的再報導。行業層為位於公司網路安全與監理科技焦點之內的來源提高先驗值，例如 ENISA、NIST 以及國家網路機構。國家層為每個國家播種其統計機構、開放資料入口、中央銀行或金融監管機構、主要商會，以及企業登錄機構。

6. 解析演算法

模型引用的任何位址皆在呼叫之後解析為先驗值，而絕不透過將登錄冊注入提示來進行。解析依四個有序步驟進行，並回傳第一個相符者。它首先尋求主機的精確相符，或當某來源僅在特定路徑上可信時，尋求主機與路徑一併的相符。接著它尋求父網域的相符，使得受辨識來源的子網域繼承其類別。接著它套用以頂級網域為鍵的類別規則，使得任何學術或政府網域皆解析至正確的類別，即便該特定機構未被個別列出。若這些皆不相符，它便回傳位於最低非零先驗值的開放來源情報（OSINT）後備方案，標記為來源不明，使得未受辨識的來源以低權重維持可接納，而非被捨棄。解析器回傳識別碼、名稱、類別、係數、層級、範圍，以及一筆關於哪一步驟相符的紀錄，其中最後一項保留供稽核。未知來源存在一條晉升路徑：一個反覆出現於預測出良好估計之引用中的來源，會成為策展進入具名類別的候選者。

7. 有效性驗證與時效性衰減

失效引用上的高先驗值毫無價值，因此當被引用頁面無法解析或回傳找不到狀態時，有效性因素會急劇降低權重。有效性在評分時進行檢查，而非信任來自登錄冊的資訊，因為頁面會移動。時效性因素隨被引用材料的老化而衰減權重，其推理是在其他條件相同下，數年前的市場數字對當前市場而言是比近期數字更弱的證據。對於緩慢變動的結構性統計，衰減較為和緩，而對於快速變動的技術數字，衰減較為陡峭；此速率是一個可調參數，而非固定常數。

8. 共同引用的去重複與初級優於次級規則

在任何加權之前，引用會被分組，使得追溯至同一底層來源者塌縮為單一貢獻者。這防止一個受多個刊物再報導的熱門報告，透過重複而取得人為的權重。當登錄冊得知某一來源再報導另一來源時，原始者受偏好，而再報導則被抑制或降低權重。獨立的未知來源被刻意保持分離，使得來自不同源頭的真正佐證受到獎勵，而回聲則不然。此步驟是「不注意相依性的匯集會誇大信心」這一警告的實務形式（Clemen and Winkler 1999）。

9. 透過加權 Monte-Carlo 混合的組合

在權重固定並正規化之後，我們依每個來源的權重比例，從其三點分布中抽取樣本，形成一個混合，並以一個中央數值與一個離散度度量來概括該混合（Metropolis and Ulam 1949; Vose 2008）。我們將離散度與中央數值一併報告，而非將其隱藏，因為該範圍告訴讀者各來源之間的一致程度。緊密的混合表示共識；寬闊的混合則表示該估計立於有爭議的基礎之上，應謹慎對待。在我們看來，這種關於一致性的誠實，與中央數字本身同等重要。

10. 治理

先驗值無需重新建置即可調整，因此策展能夠迅速回應新的證據。操作者可為特定分析覆寫已解析的先驗值，且該覆寫會被記錄。每個已解析的引用皆連同其相符步驟與解析值一併儲存，使得任何組成的估計皆可於日後重建與稽核。分類法以固定的節奏審查，每筆紀錄具有預設的審查間隔，且策展所有權經過指名，使得陳舊有其負責人。偏誤緩解透過保持類別訊號可觀察且規則公開來處理，使得讀者能夠看見某來源為何得出如此評分，而非信任一個不透明的評分。

11. 開放性與智慧財產權態度

登錄冊發布於一個公開位址。已發布的網域清單依設計即為公開，且不可能成為營業秘密，因此我們不假裝其非如此。我們公開地發布這些網域及其類別，並完整地發布此方法，因為如此做是良好的思想領導，並招致改善登錄冊的審視。我們保留數值係數及其校準，這些仍為受維護的、版本化的產品面。因此，可辯護的價值並不在於網域清單，而在於策展方法論、先驗值的校準、維護的節奏與新鮮度、國家與行業涵蓋的深度，以及那個學習哪些來源在眾多分析中預測出良好估計的回饋迴路。作為一個歐洲實體，我們也仰賴資料庫指令對受策展資料庫所提供的、抵禦大規模擷取的保護，即便該資料庫已發布，只要在取得、驗證與呈現資料方面的可觀投資有所記載（European Parliament and Council 1996）。因此我們保存一份投資日誌，並將已發布的頁面與清楚的使用條款相配對。在已發布頁面顯示層級而非數字之處，該層級仍讓讀者能夠在不揭露加權的情況下排列來源。

12. 限制與校準路線圖

先驗值屬於編輯性質，因此它們編碼判斷且可能出錯；九個類別壓縮了真實的異質性，因此一個強勢網域可能承載一個弱勢頁面，而單憑類別無法捕捉此點，這正是有效性、時效性與初級優於次級規則位於先驗值下游的原因。衰減速率以及信心與精確度因素，是我們透過推理而非擬合所設定的參數。校準路線圖透過一個回饋迴路彌合這些缺口：隨著組成的估計於日後對照結果或對照更佳證據加以查核，關於哪些來源對準確估計有所貢獻的紀錄便成為資料，藉此可將先驗值從編輯值移向校準值，並將良好的未知來源晉升進入具名類別。在該迴路累積足夠證據之前，這些先驗值應被解讀為可辯護的起始值，而非既定的測量結果。

13. 結論

一個單一的市場數字，其可辯護程度僅等同於關於它如何得出的說明。Touchstone 方法使該說明明確：它陳述它信任什麼以及為何信任，它拒絕讓失效或陳舊的引用占據主導，它將佐證計算一次，並將一致性與中央數字一併報告。來源可信度登錄冊是此說明的可見部分，而此處描述的方法則是其背後的推理。

縮寫

縮寫	全稱
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

參考文獻

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845