다수의 출처로부터 하나의 방어 가능한 추정치를 구성하기

초록

규율 있는 기업가정신에서 시장 규모 산정은 실무자에게 단일한 수치, 예를 들어 정의된 시장의 최종 사용자 총수에 확약할 것을 요구하지만, 그 수치에 대한 근거는 품질이 매우 고르지 못한 출처들에 흩어져 있습니다. 본고에서는 Cambridge Cyber International 가 여러 이질적 입력으로부터 하나의 방어 가능한 추정치를 구성하기 위해 사용하는 방법을 기술합니다. 각 입력은 언어 모델의 도움을 받아 확보되며, 각각 인용을 수반한 삼점 추정치로 표현됩니다. 이 방법은 각 입력에 다섯 요인의 곱인 가중치를 부여합니다. 즉 발행 출처의 신뢰성, 모델이 표명한 확신도, 추정치의 정밀도, 인용에 대한 생존성 확인, 그리고 최신성 감쇠입니다. 가중치는 운영자가 선택한 출처 전반에 걸쳐 정규화되며, 입력들은 가중 Monte-Carlo 혼합에 의해 결합되어 중심 수치와 함께 일치도의 척도를 보고합니다. 본고는 첫 번째 요인, 즉 출처 신뢰성에 초점을 둡니다. 편집상의 사전값을 수반한 아홉 등급 분류 체계, 인용된 임의의 주소를 사전값으로 대응시키고 미지의 출처에 대한 대체를 갖춘 결정론적 알고리즘, 그리고 사전값을 정직하게 유지하는 거버넌스를 제시합니다. 이 사전값들이 보정의 대상이 되는 편집상의 초기값이며 측정된 정확도 비율이 아님을 우리는 명시합니다.

1. 문제

규율 있는 기업가정신 방법 (Aulet 2013; Aulet and Snyder 2017) 을 따르는 실무자는 일차 조사가 감당 가능해지기 전 이른 단계에서 구체적인 수치를 제시하고 이를 방어해야 합니다. 언어 모델은 후보 수치를 신속히 확보할 수 있으나, 소박한 평균화를 위험하게 만드는 세 가지 결함과 함께 그것들을 반환합니다. 첫째, 출처는 국가 통계청에서 보도자료 주도의 시장조사 재판매업자에 이르기까지 신뢰성에서 크게 다르지만, 단순 평균은 그것들을 동등하게 취급합니다. 둘째, 반환된 인용 중 다수는 흔히 하나의 근저 보고서로 거슬러 올라가므로, 단순 평균은 조용히 이중 계산을 합니다. 셋째, 모델은 정당화되지 않은 확신으로 수치를 진술하거나, 더 이상 존재하지 않는 페이지를 인용할 수 있습니다. 과제는 그러한 입력들을 분별 있는 독자가 받아들일 하나의 수치로 결합하면서, 그 수치가 왜 그렇게 나왔는지를 드러내는 것입니다.

2. 배경

우리는 각 후보 입력을 삼점 추정치, 즉 낮은 값, 가장 가능성 높은 값, 높은 값으로 취급합니다. 이는 프로그램 평가 및 검토에서 오랫동안 사용되어 온 형식이며 (Malcolm, Roseboom, Clark and Fazar 1959), 정량적 위험 분석에서도 삼각 분포와 프로그램 평가 분포가 세 점을 분포로 바꾸는 표준 도구입니다 (Vose 2008). 우리는 불확실성을 폐형식 대수가 아니라 시뮬레이션으로 전파하며, Monte-Carlo 방법을 따릅니다 (Metropolis and Ulam 1949). 우리는 증거를 자유 생성이 아니라 근거를 갖추고 인용을 수반한 생성으로 확보하며, 이는 모델의 출력을 명명된 문서에 결부시키는 검색 증강 접근의 정신에 부합합니다 (Lewis et al. 2020). 여러 분포를 하나로 결합하는 것 자체가 연구된 문제이며, 위험 분석 문헌은 소박한 통합이 출처 품질과 출처 간 의존성 양쪽을 무시함을 경고합니다 (Clemen and Winkler 1999). 우리의 가중 및 중복 제거 단계는 그 경고에 대한 직접적인 응답입니다.

3. 가중 모델

선택된 각 출처 i 는 다섯 개의 유계 요인의 곱인 가중치를 받습니다.

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

이어서 가중치는 운영자가 선택한 집합 전반에 걸쳐 그 합이 1 이 되도록 정규화됩니다. 신뢰성 요인은 발행자에 대한 사전값이며, 제5절에서 제8절까지 기술됩니다. 확신도 요인은 특정 주장에 대해 모델이 표명한 확실성을 반영합니다. 정밀도 요인은 역분산 가중의 정신에 따라 더 좁은 삼점 범위를 보상하며, 여기서 더 정밀한 추정치가 더 큰 영향을 지닙니다 (Borenstein, Hedges, Higgins and Rothstein 2009). 생존성 요인은 인용된 페이지에 도달할 수 없을 때 0 에 가까워지고, 최신성 요인은 인용이 오래될수록 감쇠합니다. 요인들이 곱해지므로, 그중 어느 하나가 0 에 근접하면 전체 가중치를 0 으로 끌어당깁니다. 이것이 바로 우리가 원하는 거동입니다. 즉 끊어진 링크 위의 최신이고 정밀하며 확신 있게 진술된 수치가 지배해서는 안 됩니다.

4. 신뢰성이 정확도가 아니라 사전값인 이유

신뢰성 요인은 발행자에 관한 사전값이며, 특정 주장이 검토되기 전에 설정됩니다. 이는 신중한 독자가 어느 쪽도 읽기 전에 익명의 블로그보다 중앙은행의 발표를 더 신뢰하는 것과 같은 방식으로, 어떤 부류의 출처가 얼마나 많은 신뢰의 여지를 얻어 왔는지를 표현합니다. 이는 주어진 수치가 옳다는 측정된 확률이 아닙니다. 우리는 이 구별을 굳게 유지하는데, 대안, 즉 계수를 검증된 정확도 비율인 것처럼 제시하는 것은 레지스트리가 아는 바를 과장하고 오용을 초래하기 때문입니다. 따라서 공개된 레지스트리와 본고는 이 값들을 보정의 대상이 되는 편집상의 사전값으로 기술합니다. 제12절의 보정 로드맵은 어떤 출처가 좋은 추정치를 예측했는지에 대한 증거가 축적됨에 따라 이 사전값들이 시간이 지나며 어떻게 움직이도록 의도되었는지를 설명합니다.

5. 출처 신뢰성 분류 체계와 계수 할당

우리는 출처를 아홉 개 등급으로 구분하며, 내림차순의 초기 사전값에 따라 정렬합니다. 동료 심사를 거친 학계가 가장 높은 사전값을 지니고, 이어서 공식 통계, 정부 간 기구, 중앙은행 및 규제 대상 제출 서류, 그다음 정부 공개 데이터, 그다음 독립 분석가, 그다음 투명한 통계 공급업체, 그다음 업계 단체, 상공회의소 및 표준화 기구, 그다음 양질의 비즈니스 언론, 그다음 시장조사 재판매업자, 그리고 마지막으로 OSINT 및 레지스트리가 인식하지 못하는 임의의 출처를 위한 잔여 등급이 옵니다. 각 등급은 백분율로 표현되는 명시적 초기 계수와, 출처를 그 등급에 두는 주소의 관찰 가능한 특징인 해소 신호를 지닙니다. 계수는 백엔드에서 조정 가능하고 버전 관리되는 값으로 보관됩니다. 공개된 레지스트리는 등급과 거친 계층 표찰을 노출하지만, 제11절에서 제시하는 이유로 수치는 감춥니다.

세 가지 규칙이 원시 등급 계수를 무효화하며 정확한 백분율보다 더 중요합니다. 매체 신뢰성은 주장 신뢰성이 아니므로, 사전값은 생존성과 최신성이 이후 조정하는 출발점일 뿐입니다. 공동 인용은 중복 제거되므로, 하나의 보고서로 거슬러 올라가는 여러 매체는 한 번만 계산됩니다. 동일한 등급에서 일차 출처가 이차 출처를 앞서므로, 원 발표는 그것의 재보도를 앞섭니다. 분야 계층은 ENISA, United States NIST, 그리고 각국 사이버 기관과 같이 회사의 사이버 및 규제 기술 초점 내에 있는 출처의 사전값을 높입니다. 국가 계층은 각 국가에 대해 통계 기관, 공개 데이터 포털, 중앙은행 또는 금융 규제 당국, 주요 상공회의소, 그리고 사업자 등기를 씨앗으로 설정합니다.

6. 해소 알고리즘

모델이 인용하는 임의의 주소는 레지스트리를 프롬프트에 주입함으로써가 아니라 호출 이후에 사전값으로 해소됩니다. 해소는 순서가 정해진 네 단계로 진행되어 첫 번째 일치를 반환합니다. 먼저 호스트의 정확한 일치를, 또는 출처가 특정 경로에서만 신뢰할 수 있을 때는 호스트와 경로를 함께 일치시킵니다. 다음으로 상위 도메인 일치를 찾아, 인식된 출처의 하위 도메인이 그 등급을 상속하도록 합니다. 다음으로 최상위 도메인을 키로 하는 등급 규칙을 적용하여, 특정 기관이 개별적으로 열거되지 않았더라도 임의의 학술 또는 정부 도메인이 올바른 등급으로 해소되도록 합니다. 이 중 어느 것도 일치하지 않으면, 최저의 0 이 아닌 사전값으로 OSINT 대체를 반환하고 미지의 출처로 표시합니다. 그리하여 인식되지 않은 출처는 폐기되는 대신 낮은 가중치로 허용된 채 남습니다. 해소기는 식별자, 명칭, 등급, 계수, 계층, 범위, 그리고 어느 단계가 일치했는지의 기록을 반환하며, 마지막 것은 감사를 위해 보관됩니다. 미지의 출처에는 승격 경로가 존재합니다. 좋은 추정치를 예측한 인용에 반복적으로 나타나는 출처는 명명된 등급으로의 정리 후보가 됩니다.

7. 생존성 검증과 최신성 감쇠

끊어진 인용에 대한 높은 사전값은 무가치하므로, 인용된 페이지가 해소되지 않거나 찾을 수 없음 상태를 반환할 때 생존성 요인은 가중치를 급격히 줄입니다. 페이지는 이동하므로, 생존성은 레지스트리로부터 신뢰되는 대신 채점 시점에 확인됩니다. 최신성 요인은 인용된 자료가 오래될수록 가중치를 감쇠시키며, 이는 다른 조건이 같다면 수년 전의 시장 수치가 현재 시장에 대해 최근의 것보다 약한 증거라는 논리에 근거합니다. 감쇠는 느리게 움직이는 구조적 통계에 대해서는 완만하고 빠르게 움직이는 기술 수치에 대해서는 더 가파릅니다. 그 비율은 고정된 상수가 아니라 조정 가능한 매개변수입니다.

8. 공동 인용의 중복 제거와 일차 우선 규칙

어떠한 가중에 앞서, 인용은 하나의 근저 출처로 거슬러 올라가는 것들이 단일 기여자로 접히도록 군집화됩니다. 이는 많은 매체에 의해 재보도된 인기 있는 보고서가 반복을 통해 인위적인 가중치를 획득하는 것을 방지합니다. 한 출처가 다른 것을 재보도한다고 레지스트리가 아는 경우, 원본이 선호되고 재보도는 억제되거나 가중치가 낮아집니다. 독립적인 미지의 출처는 의도적으로 분리하여 유지되어, 서로 다른 기원으로부터의 진정한 뒷받침은 보상되는 한편 반향은 그렇지 않도록 합니다. 이 단계는 의존성에 대한 주의 없는 통합이 확신을 과장한다는 경고 (Clemen and Winkler 1999) 의 실제적 형태입니다.

9. 가중 Monte-Carlo 혼합에 의한 구성

가중치가 고정되고 정규화된 상태에서, 우리는 각 출처의 삼점 분포로부터 그 가중치에 비례하여 표본을 추출하여 혼합을 형성하고, 그 혼합을 중심 수치와 산포 척도로 요약합니다 (Metropolis and Ulam 1949; Vose 2008). 우리는 산포를 숨기는 대신 중심 수치와 함께 보고하는데, 그 범위가 출처들이 얼마나 일치하는지를 독자에게 알려주기 때문입니다. 좁은 혼합은 합의를 시사하고, 넓은 혼합은 추정치가 다툼이 있는 지반 위에 서 있으며 신중히 다루어져야 함을 시사합니다. 일치에 대한 이 정직함은, 우리 견해로는, 중심 수치 그 자체만큼이나 중요합니다.

10. 거버넌스

사전값은 재구축 없이 조정 가능하므로, 정리는 새로운 증거에 신속히 응답할 수 있습니다. 운영자는 특정 분석을 위해 해소된 사전값을 무효화할 수 있으며, 그 무효화는 기록됩니다. 해소된 모든 인용은 그 일치한 단계 및 해소된 값과 함께 저장되므로, 구성된 어떠한 추정치도 나중에 재구축하고 감사할 수 있습니다. 분류 체계는 고정된 주기로 검토되며, 기록마다 기본 검토 간격을 지니고, 정리 소유권이 명명되어 진부화에 소유자가 있도록 합니다. 편향 완화는 등급 신호를 관찰 가능하게, 규칙을 공개로 유지함으로써 다루어집니다. 그리하여 독자는 불투명한 점수를 신뢰하는 대신 어떤 출처가 왜 그렇게 채점되었는지를 볼 수 있습니다.

11. 개방성과 지식재산 태도

레지스트리는 공개 주소에서 공표됩니다. 도메인의 공표된 목록은 설계상 공개이며 영업 비밀일 수 없으므로, 우리는 그렇지 않은 척하지 않습니다. 우리는 도메인과 그 등급을 공공연히 공표하고 이 방법을 온전히 공표하는데, 그렇게 하는 것이 좋은 사상적 선도이며 레지스트리를 개선하는 정밀 검토를 부르기 때문입니다. 우리는 수치 계수와 그 보정을 감추어 두며, 이들은 유지되고 버전 관리되는 제품 표면으로 남습니다. 따라서 방어 가능한 가치는 도메인 목록에 있는 것이 아니라 정리 방법론, 사전값의 보정, 유지의 주기와 신선도, 국가 및 분야 포괄의 깊이, 그리고 많은 분석에 걸쳐 어떤 출처가 좋은 추정치를 예측했는지를 학습하는 피드백 루프에 있습니다. 유럽의 주체로서 우리는 또한, 데이터베이스가 공표되어 있더라도 데이터의 확보, 검증, 제시에 상당한 투자가 이루어졌음이 문서화되어 있는 한, 정리된 데이터베이스를 대량 추출로부터 보호하는 데이터베이스 지침의 보호에 의존합니다 (European Parliament and Council 1996). 따라서 우리는 투자 기록을 유지하고 공표된 페이지를 명확한 이용 약관과 짝지웁니다. 공표된 페이지가 수치가 아니라 계층을 보이는 경우에도, 그 계층은 여전히 독자가 가중을 드러내지 않고 출처의 순위를 매길 수 있게 합니다.

12. 한계와 보정 로드맵

사전값은 편집상의 것이므로 판단을 부호화하고 있으며 틀릴 수 있습니다. 아홉 등급은 실제의 이질성을 압축하므로, 강한 도메인이 약한 페이지를 지닐 수 있고 등급만으로는 그것을 포착하지 못합니다. 바로 그렇기에 생존성, 최신성, 그리고 일차 우선 규칙이 사전값의 하류에 자리합니다. 감쇠율과 확신도 및 정밀도 요인은 적합이 아니라 추론으로 우리가 설정한 매개변수입니다. 보정 로드맵은 이 간극들을 피드백 루프를 통해 닫습니다. 구성된 추정치가 나중에 결과에 대해, 또는 더 나은 증거에 대해 대조됨에 따라, 어떤 출처가 정확한 추정치에 기여했는지의 기록은 사전값을 편집상의 값에서 보정된 값으로 옮기고, 좋은 미지의 출처를 명명된 등급으로 승격시키기 위한 데이터가 됩니다. 그 루프가 충분한 증거를 축적하기 전까지, 사전값은 확정된 측정치가 아니라 방어 가능한 초기값으로 읽혀야 합니다.

13. 결론

단일 시장 수치는 그것이 어떻게 도달되었는지에 대한 설명만큼만 방어 가능합니다. 터치스톤 방법은 그 설명을 명시합니다. 즉 무엇을, 그리고 왜 신뢰하는지를 진술하고, 끊어졌거나 낡은 인용이 지배하는 것을 거부하며, 뒷받침을 한 번만 계산하고, 일치를 중심 수치와 함께 보고합니다. 출처 신뢰성 레지스트리는 이 설명의 눈에 보이는 부분이며, 여기서 기술한 방법은 그 배후의 추론입니다.

약어

약어	확장
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

참고문헌

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845