अनेक स्रोतों से एक बचाव-योग्य अनुमान की रचना

सार

अनुशासित उद्यमिता में बाज़ार का आकार निर्धारण किसी अभ्यासी से एक ही संख्या पर प्रतिबद्ध होने की माँग करता है, उदाहरण के लिए किसी परिभाषित बाज़ार में अंतिम उपयोगकर्ताओं की कुल गिनती, जबकि उस संख्या के प्रमाण अत्यंत असमान गुणवत्ता वाले स्रोतों में बिखरे रहते हैं। हम उस विधि का वर्णन करते हैं जिसका उपयोग Cambridge Cyber International कई विषम इनपुट से एक बचाव-योग्य अनुमान की रचना के लिए करता है, जिनमें से प्रत्येक किसी भाषा मॉडल की सहायता से प्राप्त किया जाता है और प्रत्येक उद्धरणों सहित एक तीन-बिंदु अनुमान के रूप में व्यक्त किया जाता है। यह विधि प्रत्येक इनपुट से एक भार जोड़ती है जो पाँच कारकों का गुणनफल है: प्रकाशक स्रोत की विश्वसनीयता, मॉडल का घोषित विश्वास, अनुमान की परिशुद्धता, उद्धरण पर एक सजीवता जाँच, और एक नवीनता क्षय। भारों को उन स्रोतों में सामान्यीकृत किया जाता है जिन्हें एक ऑपरेटर चुनता है, और इनपुट को एक भारित Monte-Carlo मिश्रण द्वारा संयोजित किया जाता है जो एक केंद्रीय आँकड़े के साथ सहमति का एक माप भी बताता है। यह पत्र पहले कारक, अर्थात स्रोत विश्वसनीयता, पर केंद्रित है। हम संपादकीय पूर्वानुमानों सहित एक नौ-वर्ग वर्गीकरण, एक निर्धारक एल्गोरिदम जो किसी भी उद्धृत पते को एक पूर्वानुमान से मानचित्रित करता है और अज्ञात स्रोतों के लिए एक विकल्प रखता है, और वह अभिशासन प्रस्तुत करते हैं जो पूर्वानुमानों को ईमानदार बनाए रखता है। हम स्पष्ट हैं कि ये पूर्वानुमान अंशांकन के अधीन संपादकीय प्रारंभिक मान हैं, न कि सटीकता की मापी गई दरें।

1. समस्या

अनुशासित उद्यमिता विधि (Aulet 2013; Aulet and Snyder 2017) का पालन करने वाले एक अभ्यासी को प्राथमिक शोध वहनीय होने से पहले ही आरंभ में ठोस आँकड़े प्रस्तुत करने होते हैं, और उनका बचाव करना होता है। एक भाषा मॉडल संभावित आँकड़ों को शीघ्रता से प्राप्त कर सकता है, परंतु वह उन्हें तीन दोषों के साथ लौटाता है जो सरल औसत निकालने को असुरक्षित बना देते हैं। पहला, स्रोत विश्वसनीयता में अत्यधिक भिन्न होते हैं, किसी राष्ट्रीय सांख्यिकी कार्यालय से लेकर प्रेस-विज्ञप्ति-संचालित बाज़ार-अनुसंधान पुनर्विक्रेता तक, फिर भी एक सामान्य माध्य उन्हें एक समान मानता है। दूसरा, लौटाए गए कई उद्धरण अक्सर एक ही अंतर्निहित रिपोर्ट तक पहुँचते हैं, इसलिए एक सामान्य माध्य चुपचाप दोहरी गिनती कर देता है। तीसरा, एक मॉडल किसी आँकड़े को अनुचित विश्वास के साथ बता सकता है, या एक ऐसे पृष्ठ को उद्धृत कर सकता है जो अब मौजूद नहीं है। कार्य ऐसे इनपुट को एक ऐसे आँकड़े में संयोजित करना है जिसे एक विवेकशील पाठक स्वीकार कर ले, साथ ही यह भी उजागर करना है कि आँकड़ा उस रूप में क्यों निकला।

2. पृष्ठभूमि

हम प्रत्येक संभावित इनपुट को एक तीन-बिंदु अनुमान के रूप में मानते हैं, एक निम्न, एक सर्वाधिक संभावित, और एक उच्च मान, वह रूप जो कार्यक्रम मूल्यांकन और समीक्षा में लंबे समय से प्रयुक्त होता आया है (Malcolm, Roseboom, Clark and Fazar 1959) और मात्रात्मक जोखिम विश्लेषण में, जहाँ त्रिकोणीय और कार्यक्रम-मूल्यांकन वितरण तीन बिंदुओं को एक वितरण में बदलने के मानक उपकरण हैं (Vose 2008)। हम अनिश्चितता का प्रसार संवृत-रूप बीजगणित के बजाय अनुकरण द्वारा करते हैं, Monte-Carlo विधि का अनुसरण करते हुए (Metropolis and Ulam 1949)। हम प्रमाण को मुक्त उत्पादन के बजाय आधारित, उद्धरण-सहित उत्पादन से प्राप्त करते हैं, उन पुनर्प्राप्ति-संवर्धित उपागमों की भावना में जो मॉडल के आउटपुट को नामित दस्तावेज़ों से बाँधते हैं (Lewis et al. 2020)। कई वितरणों को एक में संयोजित करना स्वयं एक अध्ययन किया गया प्रश्न है, और जोखिम-विश्लेषण साहित्य चेतावनी देता है कि सरल संग्रहण स्रोत गुणवत्ता और स्रोतों के बीच निर्भरता दोनों की उपेक्षा करता है (Clemen and Winkler 1999); हमारे भारण और अपचयन चरण उस चेतावनी की एक सीधी प्रतिक्रिया हैं।

3. भारण मॉडल

प्रत्येक चयनित स्रोत i को एक भार प्राप्त होता है जो पाँच परिबद्ध कारकों का गुणनफल है:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

फिर भारों को ऑपरेटर-चयनित समुच्चय में इस प्रकार सामान्यीकृत किया जाता है कि उनका योग एक हो जाए। विश्वसनीयता कारक प्रकाशक पर एक पूर्वानुमान है, जिसका वर्णन खंड 5 से 8 में है। विश्वास कारक विशिष्ट दावे के बारे में मॉडल की घोषित निश्चितता को दर्शाता है। परिशुद्धता कारक एक सघन तीन-बिंदु विस्तार को पुरस्कृत करता है, प्रतिलोम-प्रसरण भारण की भावना में, जहाँ अधिक परिशुद्ध अनुमान अधिक प्रभाव रखते हैं (Borenstein, Hedges, Higgins and Rothstein 2009)। सजीवता कारक शून्य के निकट होता है जब उद्धृत पृष्ठ तक पहुँचा नहीं जा सकता, और नवीनता कारक उद्धरण के पुराने होते जाने के साथ क्षय होता है। क्योंकि कारक गुणा होते हैं, उनमें से कोई भी शून्य के निकट पहुँचने पर संपूर्ण भार को शून्य की ओर खींच लेता है, जो वही व्यवहार है जो हम चाहते हैं: किसी मृत लिंक पर एक वर्तमान, परिशुद्ध, विश्वासपूर्वक बताया गया आँकड़ा प्रभुत्व नहीं जमाना चाहिए।

4. विश्वसनीयता एक पूर्वानुमान क्यों है, सटीकता क्यों नहीं

विश्वसनीयता कारक प्रकाशक के बारे में एक पूर्वानुमान है, जो विशिष्ट दावे की जाँच से पहले निर्धारित होता है। यह व्यक्त करता है कि किसी स्रोत वर्ग ने कितना संदेह-लाभ अर्जित किया है, उसी प्रकार जैसे एक सावधान पाठक किसी को पढ़ने से पहले किसी केंद्रीय बैंक की विज्ञप्ति पर किसी गुमनाम ब्लॉग की तुलना में अधिक भरोसा करता है। यह इस बात की मापी गई प्रायिकता नहीं है कि कोई दिया गया आँकड़ा सही है। हम इस भेद को दृढ़ता से बनाए रखते हैं क्योंकि विकल्प, अर्थात किसी गुणांक को इस प्रकार प्रस्तुत करना मानो वह एक सत्यापित सटीकता दर हो, रजिस्ट्री जो जानती है उसे बढ़ा-चढ़ाकर बताएगा और दुरुपयोग को आमंत्रित करेगा। इसलिए प्रकाशित रजिस्ट्री और यह पत्र इन मानों को अंशांकन के अधीन संपादकीय पूर्वानुमानों के रूप में वर्णित करते हैं। खंड 12 का अंशांकन रोडमैप बताता है कि इन पूर्वानुमानों को समय के साथ किस प्रकार गतिशील होना है, जैसे-जैसे इस बारे में प्रमाण संचित होते हैं कि किन स्रोतों ने अच्छे अनुमानों की भविष्यवाणी की।

5. स्रोत विश्वसनीयता वर्गीकरण और गुणांक निर्धारण

हम स्रोतों को नौ वर्गों में क्रमबद्ध करते हैं, अवरोही प्रारंभिक पूर्वानुमान के अनुसार क्रमित। सहकर्मी-समीक्षित शिक्षा जगत सर्वोच्च पूर्वानुमान रखता है, इसके बाद आधिकारिक सांख्यिकी, अंतरसरकारी संगठन, केंद्रीय बैंक और विनियमित दाखिलियाँ; फिर सरकारी मुक्त डेटा; फिर स्वतंत्र विश्लेषक; फिर पारदर्शी सांख्यिकी विक्रेता; फिर व्यापार निकाय, वाणिज्य मंडल और मानक संगठन; फिर गुणवत्तापूर्ण व्यावसायिक प्रेस; फिर बाज़ार-अनुसंधान पुनर्विक्रेता; और अंततः OSINT तथा किसी भी ऐसे स्रोत के लिए एक अवशिष्ट वर्ग जिसे रजिस्ट्री नहीं पहचानती। प्रत्येक वर्ग का एक स्पष्ट प्रारंभिक गुणांक होता है जो एक प्रतिशत के रूप में व्यक्त होता है और एक समाधान संकेत, अर्थात किसी पते की वह अवलोकनीय विशेषता जो किसी स्रोत को उस वर्ग में रखती है। गुणांकों को बैकएंड पर समायोज्य, संस्करणित मानों के रूप में रखा जाता है; प्रकाशित रजिस्ट्री वर्ग और एक मोटी श्रेणी लेबल उजागर करती है परंतु संख्या को रोक कर रखती है, उन कारणों से जो खंड 11 में दिए गए हैं।

तीन नियम कच्चे वर्ग गुणांक को अधिभावी बनाते हैं और सटीक प्रतिशत से अधिक महत्वपूर्ण होते हैं। आउटलेट विश्वसनीयता दावा विश्वसनीयता नहीं है, इसलिए पूर्वानुमान केवल एक प्रारंभिक बिंदु है जिसे फिर सजीवता और नवीनता समायोजित करते हैं। सह-उद्धरण को अपचयित किया जाता है, इसलिए कई आउटलेट जो एक रिपोर्ट तक पहुँचते हैं, एक बार गिने जाते हैं। समान वर्ग पर प्राथमिक स्रोत द्वितीयक स्रोतों से आगे रहते हैं, इसलिए एक मूल विज्ञप्ति उसकी पुनर्रिपोर्ट से आगे रहती है। एक क्षेत्र परत उन स्रोतों के लिए पूर्वानुमान बढ़ाती है जो फर्म के साइबर और नियामक-प्रौद्योगिकी केंद्र के भीतर हैं, जैसे ENISA, United States NIST, और राष्ट्रीय साइबर एजेंसियाँ। एक देश परत प्रत्येक देश के लिए सांख्यिकी संस्थान, मुक्त-डेटा पोर्टल, केंद्रीय बैंक या वित्तीय नियामक, प्रमुख वाणिज्य मंडलों, और व्यवसाय रजिस्ट्री को बीज-रूप में रखती है।

6. समाधान एल्गोरिदम

एक मॉडल जो भी पता उद्धृत करता है, उसे कॉल के बाद एक पूर्वानुमान से हल किया जाता है, कभी भी रजिस्ट्री को प्रॉम्प्ट में अंतःक्षेपित करके नहीं। समाधान चार क्रमबद्ध चरणों में आगे बढ़ता है और पहला मिलान लौटाता है। यह पहले मेज़बान का एक सटीक मिलान खोजता है, या मेज़बान और पथ का एक साथ मिलान जब कोई स्रोत केवल किसी विशिष्ट पथ पर विश्वसनीय हो। फिर यह एक जनक-डोमेन मिलान खोजता है, ताकि किसी मान्यता प्राप्त स्रोत का उपडोमेन उसके वर्ग को विरासत में प्राप्त कर ले। फिर यह शीर्ष-स्तरीय डोमेन पर आधारित एक वर्ग नियम लागू करता है, ताकि कोई भी शैक्षणिक या सरकारी डोमेन सही वर्ग से हल हो सके, तब भी जब विशिष्ट संस्थान व्यक्तिगत रूप से सूचीबद्ध न हो। यदि इनमें से कोई मिलान न हो, तो यह न्यूनतम अशून्य पूर्वानुमान पर OSINT विकल्प लौटाता है, जिसे अज्ञात उद्गम के रूप में चिह्नित किया जाता है, ताकि एक अपरिचित स्रोत त्यागे जाने के बजाय कम भार पर स्वीकार्य बना रहे। समाधानकर्ता पहचानकर्ता, नाम, वर्ग, गुणांक, श्रेणी, दायरा, और यह अभिलेख लौटाता है कि कौन सा चरण मिला, इनमें से अंतिम को लेखा-परीक्षण के लिए रखा जाता है। अज्ञात स्रोतों के लिए एक पदोन्नति पथ मौजूद है: एक स्रोत जो बार-बार उन उद्धरणों में प्रकट होता है जिन्होंने अच्छे अनुमानों की भविष्यवाणी की, एक नामित वर्ग में क्यूरेशन के लिए उम्मीदवार बन जाता है।

7. सजीवता सत्यापन और नवीनता क्षय

किसी मृत उद्धरण पर एक उच्च पूर्वानुमान व्यर्थ है, इसलिए सजीवता कारक भार को तीव्रता से घटा देता है जब उद्धृत पृष्ठ हल नहीं होता या नहीं-मिला स्थिति लौटाता है। सजीवता को रजिस्ट्री से विश्वस्त मानने के बजाय स्कोरिंग के समय जाँचा जाता है, क्योंकि पृष्ठ स्थानांतरित होते रहते हैं। नवीनता कारक भार को उद्धृत सामग्री के पुराने होते जाने के साथ क्षय कर देता है, इस तर्क पर कि कई वर्ष पूर्व का एक बाज़ार आँकड़ा एक वर्तमान बाज़ार के लिए एक हालिया आँकड़े की तुलना में कमज़ोर प्रमाण है, अन्य सब समान रहने पर। धीमी-गति वाली संरचनात्मक सांख्यिकी के लिए क्षय सौम्य होता है और तेज़-गति वाले प्रौद्योगिकी आँकड़ों के लिए अधिक तीव्र; दर एक स्थिर नियतांक के बजाय एक समायोज्य पैरामीटर है।

8. सह-उद्धरण का अपचयन और प्राथमिक-पर-द्वितीयक नियम

किसी भी भारण से पहले, उद्धरणों को इस प्रकार समूहित किया जाता है कि जो एक अंतर्निहित स्रोत तक पहुँचते हैं वे एक ही योगदानकर्ता में संघटित हो जाएँ। यह किसी लोकप्रिय रिपोर्ट को, जिसे कई आउटलेट पुनर्रिपोर्ट करते हैं, पुनरावृत्ति के माध्यम से कृत्रिम भार अर्जित करने से रोकता है। जहाँ रजिस्ट्री जानती है कि एक स्रोत दूसरे को पुनर्रिपोर्ट करता है, वहाँ मूल को वरीयता दी जाती है और पुनर्रिपोर्ट को दबा दिया जाता है या कम भार दिया जाता है। स्वतंत्र अज्ञात स्रोतों को जानबूझकर अलग रखा जाता है, ताकि विभिन्न उद्गमों से वास्तविक पुष्टि पुरस्कृत हो जबकि प्रतिध्वनि नहीं। यह चरण उस चेतावनी का व्यावहारिक रूप है कि निर्भरता पर ध्यान दिए बिना संग्रहण विश्वास को बढ़ा-चढ़ाकर बताता है (Clemen and Winkler 1999)।

9. भारित Monte-Carlo मिश्रण द्वारा रचना

भारों के निर्धारित और सामान्यीकृत होने पर, हम प्रत्येक स्रोत के तीन-बिंदु वितरण से उसके भार के अनुपात में नमूने खींचते हैं, एक मिश्रण बनाते हुए, और हम मिश्रण को एक केंद्रीय आँकड़े और एक प्रकीर्णन माप द्वारा संक्षेपित करते हैं (Metropolis and Ulam 1949; Vose 2008)। हम प्रकीर्णन को केंद्रीय आँकड़े के साथ छिपाने के बजाय प्रस्तुत करते हैं, क्योंकि विस्तार पाठक को बताता है कि स्रोत कितने सहमत हैं। एक सघन मिश्रण सर्वसम्मति का संकेत देता है; एक विस्तृत मिश्रण संकेत देता है कि अनुमान विवादित भूमि पर टिका है और उसे सावधानी से माना जाना चाहिए। सहमति के बारे में यह ईमानदारी, हमारे विचार में, स्वयं केंद्रीय संख्या जितनी ही महत्वपूर्ण है।

10. अभिशासन

पूर्वानुमान बिना पुनर्निर्माण के समायोज्य होते हैं, इसलिए क्यूरेशन नए प्रमाण पर शीघ्रता से प्रतिक्रिया कर सकता है। एक ऑपरेटर किसी विशिष्ट विश्लेषण के लिए एक हल किए गए पूर्वानुमान को अधिभावी कर सकता है, और अधिभावन को अभिलेखित किया जाता है। प्रत्येक हल किए गए उद्धरण को उसके मिलान चरण और हल किए गए मान के साथ संग्रहीत किया जाता है, ताकि किसी भी रचित अनुमान को बाद में पुनर्निर्मित और लेखा-परीक्षित किया जा सके। वर्गीकरण की समीक्षा एक निश्चित लय पर की जाती है, प्रति अभिलेख एक डिफ़ॉल्ट समीक्षा अंतराल के साथ, और क्यूरेशन स्वामित्व नामित किया जाता है ताकि बासीपन का एक स्वामी हो। पूर्वाग्रह शमन को वर्ग संकेतों को अवलोकनीय और नियमों को सार्वजनिक रखकर संबोधित किया जाता है, ताकि एक पाठक किसी अपारदर्शी स्कोर पर भरोसा करने के बजाय यह देख सके कि किसी स्रोत ने वैसा स्कोर क्यों किया।

11. खुलापन और बौद्धिक-संपदा मुद्रा

रजिस्ट्री एक सार्वजनिक पते पर प्रकाशित होती है। डोमेनों की एक प्रकाशित सूची अभिकल्पना से सार्वजनिक है और एक व्यापार रहस्य नहीं हो सकती, इसलिए हम अन्यथा होने का दिखावा नहीं करते। हम डोमेनों और उनके वर्गों को खुले तौर पर प्रकाशित करते हैं और हम इस विधि को पूर्ण रूप से प्रकाशित करते हैं, क्योंकि ऐसा करना अच्छा विचार-नेतृत्व है और उस जाँच को आमंत्रित करता है जो रजिस्ट्री को बेहतर बनाती है। हम संख्यात्मक गुणांक और उनके अंशांकन को रोक कर रखते हैं, जो अनुरक्षित, संस्करणित उत्पाद सतह बने रहते हैं। इसलिए बचाव-योग्य मूल्य डोमेनों की सूची में नहीं बल्कि क्यूरेशन कार्यप्रणाली, पूर्वानुमानों के अंशांकन, अनुरक्षण की लय और ताज़गी, देश और क्षेत्र कवरेज की गहराई, और उस प्रतिपुष्टि लूप में निहित है जो सीखता है कि किन स्रोतों ने कई विश्लेषणों में अच्छे अनुमानों की भविष्यवाणी की। एक यूरोपीय इकाई के रूप में हम उस संरक्षण पर भी निर्भर रहते हैं जो डेटाबेस निर्देश एक क्यूरेटेड डेटाबेस को थोक निष्कर्षण के विरुद्ध प्रदान करता है, तब भी जब डेटाबेस प्रकाशित हो, बशर्ते डेटा प्राप्त करने, सत्यापित करने और प्रस्तुत करने में पर्याप्त निवेश प्रलेखित हो (European Parliament and Council 1996)। इसलिए हम एक निवेश लॉग रखते हैं और प्रकाशित पृष्ठ को स्पष्ट उपयोग की शर्तों के साथ युग्मित करते हैं। जहाँ प्रकाशित पृष्ठ किसी संख्या के बजाय एक श्रेणी दिखाता है, वहाँ श्रेणी फिर भी एक पाठक को भारण उजागर किए बिना स्रोतों को क्रमित करने देती है।

12. सीमाएँ और अंशांकन रोडमैप

पूर्वानुमान संपादकीय हैं, इसलिए वे निर्णय को कूटबद्ध करते हैं और गलत हो सकते हैं; नौ वर्ग वास्तविक विषमता को संपीड़ित करते हैं, इसलिए एक मज़बूत डोमेन एक कमज़ोर पृष्ठ को धारण कर सकता है और वर्ग अकेला उसे नहीं पकड़ेगा, यही कारण है कि सजीवता, नवीनता, और प्राथमिक-पर-द्वितीयक नियम पूर्वानुमान के नीचे की धारा में बैठते हैं। क्षय दरें और विश्वास तथा परिशुद्धता कारक ऐसे पैरामीटर हैं जिन्हें हमने फिटिंग के बजाय तर्क से निर्धारित किया है। अंशांकन रोडमैप इन अंतरालों को एक प्रतिपुष्टि लूप के माध्यम से बंद करता है: जैसे-जैसे रचित अनुमानों को बाद में परिणामों के विरुद्ध या बेहतर प्रमाण के विरुद्ध जाँचा जाता है, यह अभिलेख कि किन स्रोतों ने सटीक अनुमानों में योगदान दिया, वह डेटा बन जाता है जिससे पूर्वानुमानों को संपादकीय मानों से अंशांकित मानों की ओर ले जाया जा सके, और अच्छे अज्ञात स्रोतों को नामित वर्गों में पदोन्नत किया जा सके। जब तक वह लूप पर्याप्त प्रमाण संचित नहीं कर लेता, पूर्वानुमानों को व्यवस्थित माप के बजाय बचाव-योग्य प्रारंभिक मानों के रूप में पढ़ा जाना चाहिए।

13. निष्कर्ष

एक एकल बाज़ार आँकड़ा उतना ही बचाव-योग्य है जितना इस बात का विवरण कि वह किस प्रकार पहुँचा गया। टचस्टोन विधि उस विवरण को स्पष्ट करती है: यह बताती है कि वह किस पर और क्यों भरोसा करती है, यह किसी मृत या बासी उद्धरण को प्रभुत्व नहीं जमाने देती, यह पुष्टि को एक बार गिनती है, और यह सहमति को केंद्रीय संख्या के साथ प्रस्तुत करती है। स्रोत विश्वसनीयता रजिस्ट्री इस विवरण का दृश्य भाग है, और यहाँ वर्णित विधि उसके पीछे का तर्क है।

संक्षिप्ताक्षर

संक्षिप्ताक्षर	विस्तार
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

संदर्भ

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845