多数の情報源から一つの弁護可能な推定を構成する

要旨

規律ある起業論における市場規模の推定は、実務者に対して単一の数値、たとえば定義された市場における最終利用者の総数へと確約することを求めますが、その数値の根拠は品質が著しく不均一な情報源に散在しています。本稿では、Cambridge Cyber International が複数の異質な入力から一つの弁護可能な推定を構成するために用いる手法を述べます。各入力は言語モデルの助けを借りて取得され、それぞれが引用を伴う三点推定として表現されます。この手法は、各入力に対して五つの要因の積である重みを付与します。すなわち、公表元の信頼性、モデルが表明した確信度、推定の精度、引用に対する生存性チェック、そして新しさの減衰です。重みはオペレーターが選択した情報源全体にわたって正規化され、入力は重み付き Monte-Carlo 混合によって組み合わされ、中心的な数値とともに一致度の尺度を報告します。本稿は第一の要因、すなわち情報源の信頼性に焦点を当てます。編集上の事前値を伴う九分類の分類体系、引用された任意のアドレスを事前値へ対応付け未知の情報源には代替を備えた決定論的アルゴリズム、そして事前値を誠実に保つガバナンスを提示します。これらの事前値が校正の対象となる編集上の初期値であり、測定された正確性の割合ではないことを、私たちは明示します。

1. 問題

規律ある起業論の手法 (Aulet 2013; Aulet and Snyder 2017) に従う実務者は、一次調査が負担可能になる前の早い段階で具体的な数値を提示し、それを弁護しなければなりません。言語モデルは候補となる数値を素早く取得できますが、単純な平均化を危険にする三つの欠陥を伴ってそれらを返します。第一に、情報源は信頼性において、国の統計局からプレスリリース主導の市場調査再販業者まで、大きく異なりますが、単純な平均はそれらを同等に扱います。第二に、返された引用のいくつかはしばしば一つの根底にある報告書に遡るため、単純な平均は静かに二重計上します。第三に、モデルは正当化されない確信をもって数値を述べたり、もはや存在しないページを引用したりすることがあります。課題は、そのような入力を、分別ある読者が受け入れるであろう一つの数値へと組み合わせつつ、その数値がなぜそのように出たのかを明らかにすることです。

2. 背景

私たちは各候補入力を三点推定、すなわち低い値、最も可能性の高い値、高い値として扱います。これはプログラム評価およびレビューにおいて長く用いられてきた形式であり (Malcolm, Roseboom, Clark and Fazar 1959)、また定量的リスク分析においても、三角分布およびプログラム評価分布が三点を分布に変えるための標準的な道具となっています (Vose 2008)。私たちは不確実性を閉形式の代数ではなくシミュレーションによって伝播させ、Monte-Carlo 法に従います (Metropolis and Ulam 1949)。私たちは証拠を自由生成ではなく、根拠づけられ引用を伴う生成によって取得します。これはモデルの出力を名指しされた文書に結びつける検索拡張的手法の精神に沿っています (Lewis et al. 2020)。複数の分布を一つに組み合わせること自体が研究された問題であり、リスク分析の文献は、単純な統合が情報源の品質と情報源間の依存性の双方を無視することを警告しています (Clemen and Winkler 1999)。私たちの重み付けおよび重複排除の手順は、その警告への直接的な応答です。

3. 重み付けモデル

選択された各情報源 i は、五つの有界な要因の積である重みを受け取ります。

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

続いて重みは、オペレーターが選択した集合全体にわたって、その総和が一になるように正規化されます。信頼性要因は公表元に関する事前値であり、第5節から第8節で述べられます。確信度要因は、特定の主張に関するモデルの表明された確実性を反映します。精度要因は、逆分散重み付けの精神に沿って、より狭い三点の幅を報酬とします。ここではより精密な推定がより大きな影響を持ちます (Borenstein, Hedges, Higgins and Rothstein 2009)。生存性要因は、引用されたページに到達できない場合にゼロに近くなり、新しさ要因は引用が古くなるにつれて減衰します。要因が乗算されるため、そのいずれか一つがゼロに近づくと重み全体をゼロへと引き寄せます。これこそ私たちが望む挙動です。すなわち、切れたリンク上にある最新で精密かつ確信をもって述べられた数値が支配的になるべきではありません。

4. なぜ信頼性は事前値であり正確性ではないのか

信頼性要因は公表元に関する事前値であり、特定の主張が精査される前に設定されます。それは、慎重な読者がいずれをも読む前に匿名のブログよりも中央銀行の公表を信頼するのと同じように、ある種類の情報源がどれだけの善意的評価を得てきたかを表現します。それは、ある数値が正しいという測定された確率ではありません。私たちはこの区別を固く保ちます。なぜなら、代替案、すなわち係数を検証された正確性の割合であるかのように提示することは、レジストリが知っていることを過大に述べ、誤用を招くからです。したがって公開されたレジストリと本稿は、これらの値を校正の対象となる編集上の事前値として記述します。第12節の校正ロードマップは、どの情報源が良い推定を予測したかについて証拠が蓄積されるにつれ、これらの事前値が時間とともにどのように動くことが意図されているかを説明します。

5. 情報源信頼性の分類体系と係数の割り当て

私たちは情報源を九つの分類に区分し、降順の初期事前値によって順序づけます。査読を経た学術界が最も高い事前値を持ち、続いて公式統計、政府間機関、中央銀行および規制対象の届出、次に政府オープンデータ、次に独立系アナリスト、次に透明性のある統計ベンダー、次に業界団体、会議所および標準化組織、次に質の高いビジネス報道、次に市場調査再販業者、そして最後に OSINT およびレジストリが認識しない任意の情報源のための残余分類が続きます。各分類は百分率として表される明示的な初期係数と、情報源をその分類に置くアドレスの観察可能な特徴である解決シグナルを持ちます。係数はバックエンドで調整可能でバージョン管理された値として保持されます。公開されたレジストリは分類と粗い階層ラベルを開示しますが、第11節で示す理由により数値は伏せます。

三つの規則が生の分類係数を上書きし、正確な百分率よりも重要となります。媒体の信頼性は主張の信頼性ではないため、事前値は生存性と新しさがその後調整する出発点にすぎません。共引用は重複排除されるため、一つの報告書に遡る複数の媒体は一度だけ数えられます。同一の分類において一次情報源は二次情報源に勝るため、原公表はその再報道に勝ります。分野レイヤーは、ENISA、United States NIST、および各国のサイバー機関のように、当社のサイバーおよび規制技術の焦点内にある情報源の事前値を引き上げます。国レイヤーは、各国について統計機関、オープンデータポータル、中央銀行または金融規制当局、主要な商工会議所、そして事業登記を種として設定します。

6. 解決アルゴリズム

モデルが引用する任意のアドレスは、レジストリをプロンプトに注入するのではなく、呼び出しの後に事前値へと解決されます。解決は四つの順序づけられた手順で進み、最初の一致を返します。まずホストの完全一致を、あるいは情報源が特定のパス上でのみ信頼できる場合はホストとパスをあわせた一致を求めます。次に親ドメインの一致を求め、認識された情報源のサブドメインがその分類を継承するようにします。次にトップレベルドメインを鍵とする分類規則を適用し、特定の機関が個別に列挙されていない場合でも、任意の学術または政府ドメインが正しい分類へ解決されるようにします。これらのいずれも一致しない場合は、最低の非ゼロ事前値で OSINT の代替を返し、未知の出所として印を付けます。これにより、認識されない情報源は破棄されるのではなく低い重みで許容され続けます。解決器は識別子、名称、分類、係数、階層、範囲、そしてどの手順が一致したかの記録を返し、最後のものは監査のために保持されます。未知の情報源には昇格の経路が存在します。良い推定を予測した引用に繰り返し現れる情報源は、名指しされた分類への整理の候補となります。

7. 生存性の検証と新しさの減衰

切れた引用に対する高い事前値は無価値であるため、引用されたページが解決しない、または見つからない状態を返す場合、生存性要因は重みを急激に減じます。ページは移動するため、生存性はレジストリから信用するのではなく採点時に確認されます。新しさ要因は、引用された資料が古くなるにつれて重みを減衰させます。これは、他の条件が同じであれば、数年前の市場の数値は現在の市場に対して最近のものよりも弱い証拠である、という理由づけに基づきます。減衰はゆっくり動く構造的統計に対しては穏やかで、速く動く技術の数値に対しては急です。その率は固定された定数ではなく調整可能なパラメーターです。

8. 共引用の重複排除と一次優先の規則

いかなる重み付けの前にも、引用は一つの根底にある情報源に遡るものが単一の寄与者へと折り畳まれるように群化されます。これは、多くの媒体によって再報道された人気のある報告書が、反復を通じて人為的な重みを獲得することを防ぎます。ある情報源が別のものを再報道するとレジストリが知っている場合、原本が優先され、再報道は抑制されるか重みを下げられます。独立した未知の情報源は意図的に分離して保たれ、異なる出所からの真正な裏付けが報酬とされる一方で、反響はそうならないようにします。この手順は、依存性への注意を欠いた統合が確信を過大に述べるという警告 (Clemen and Winkler 1999) の実際的な形態です。

9. 重み付き Monte-Carlo 混合による構成

重みが固定され正規化された状態で、私たちは各情報源の三点分布からその重みに比例して標本を抽出し、混合を形成し、その混合を中心的な数値と散らばりの尺度によって要約します (Metropolis and Ulam 1949; Vose 2008)。私たちは散らばりを隠すのではなく中心的な数値とともに報告します。なぜなら、その幅は情報源がどれほど一致しているかを読者に伝えるからです。狭い混合は合意を示し、広い混合は推定が争われた地盤の上に立っており慎重に扱われるべきであることを示します。一致についてのこの誠実さは、私たちの見解では、中心的な数値そのものと同じくらい重要です。

10. ガバナンス

事前値は再構築なしに調整可能であるため、整理は新しい証拠に素早く応答できます。オペレーターは特定の分析のために解決された事前値を上書きでき、その上書きは記録されます。解決されたすべての引用は、その一致した手順と解決された値とともに保存されるため、構成されたいかなる推定も後で再構築し監査することができます。分類体系は一定の周期で見直され、記録ごとに既定の見直し間隔を持ち、整理の所有権が名指しされることで、陳腐化に所有者があるようにします。バイアスの軽減は、分類のシグナルを観察可能に、規則を公開に保つことで対処されます。これにより読者は、不透明な採点を信用するのではなく、なぜある情報源がそのように採点されたのかを見ることができます。

11. 公開性と知的財産の姿勢

レジストリは公開のアドレスで公表されます。ドメインの公表された一覧は設計上公開であり、営業秘密であり得ないため、私たちはそうであるかのように装いません。私たちはドメインとその分類を公然と公表し、この手法を余すところなく公表します。なぜなら、そうすることは良い思想的先導であり、レジストリを改善する精査を招くからです。私たちは数値の係数とその校正を伏せておきます。これらは維持されバージョン管理された製品面であり続けます。したがって弁護可能な価値はドメインの一覧にではなく、整理の方法論、事前値の校正、維持の周期と鮮度、国および分野の網羅の深さ、そして多くの分析にわたってどの情報源が良い推定を予測したかを学ぶフィードバックループに存します。欧州の主体として、私たちはまた、データベースがたとえ公表されていても、データの取得、検証、提示に相当の投資がなされたことが文書化されている限り、整理されたデータベースを一括抽出から保護するデータベース指令の保護に依拠します (European Parliament and Council 1996)。したがって私たちは投資記録を保持し、公表されたページを明確な利用条件と対にします。公表されたページが数値ではなく階層を示す場合でも、その階層は重み付けを明かすことなく読者が情報源を順位づけることを可能にします。

12. 限界と校正ロードマップ

事前値は編集上のものであるため判断を符号化しており、誤り得ます。九つの分類は現実の異質性を圧縮するため、強いドメインが弱いページを担い得て、分類だけではそれを捕捉しません。だからこそ生存性、新しさ、そして一次優先の規則が事前値の下流に位置します。減衰率と確信度および精度の要因は、当てはめによってではなく推論によって私たちが設定したパラメーターです。校正ロードマップは、これらの隙間をフィードバックループを通じて閉じます。構成された推定が後に結果に対して、あるいはより良い証拠に対して照合されるにつれ、どの情報源が正確な推定に寄与したかの記録は、事前値を編集上の値から校正された値へと動かし、良い未知の情報源を名指しされた分類へ昇格させるためのデータとなります。そのループが十分な証拠を蓄積するまで、事前値は確定した測定値ではなく弁護可能な初期値として読まれるべきです。

13. 結論

単一の市場の数値は、それがどのように到達されたかの説明と同じ程度にしか弁護できません。タッチストーン法はその説明を明示します。すなわち、何を、そしてなぜ信頼するのかを述べ、切れたあるいは古びた引用が支配することを拒み、裏付けを一度だけ数え、一致を中心的な数値とともに報告します。情報源信頼性レジストリはこの説明の目に見える部分であり、ここで述べた手法はその背後にある推論です。

頭字語

頭字語	展開
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

参考文献

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845