Birçok kaynaktan tek bir savunulabilir tahmin oluşturmak

Özet

Disiplinli girişimcilikte pazar boyutlandırması, uygulayıcıdan tek bir sayıya bağlanmasını ister, örneğin tanımlı bir pazardaki toplam son kullanıcı sayısına, oysa o sayıya ilişkin kanıtlar çok eşitsiz kalitedeki kaynaklar arasında dağınıktır. Cambridge Cyber International'ın birkaç heterojen girdiden tek bir savunulabilir tahmin oluşturmak için kullandığı yöntemi anlatıyoruz; bu girdilerin her biri bir dil modelinin yardımıyla getirilir ve her biri alıntılarla birlikte üç noktalı bir tahmin olarak ifade edilir. Yöntem, her girdiye beş etkenin çarpımı olan bir ağırlık iliştirir: yayımlayan kaynağın güvenilirliği, modelin belirttiği güven, tahminin kesinliği, alıntı üzerinde bir canlılık kontrolü ve bir güncellik sönümü. Ağırlıklar, bir operatörün seçtiği kaynaklar arasında normalize edilir ve girdiler, merkezi bir rakamı bir uzlaşma ölçüsüyle birlikte raporlayan ağırlıklı bir Monte-Carlo karışımıyla birleştirilir. Bu makale ilk etkene, kaynak güvenilirliğine yoğunlaşır. Editöryel önsellere sahip dokuz sınıflı bir sınıflandırma, alıntılanan herhangi bir adresi bilinmeyen kaynaklar için bir yedekle bir önsele eşleyen belirlenimci bir algoritma ve önselleri dürüst tutan yönetişimi ortaya koyuyoruz. Önsellerin, ölçülmüş doğruluk oranları değil, kalibrasyona tabi editöryel başlangıç değerleri olduğunu açıkça belirtiyoruz.

1. Sorun

Disiplinli girişimcilik yöntemini izleyen bir uygulayıcı (Aulet 2013; Aulet and Snyder 2017), birincil araştırma karşılanabilir hale gelmeden önce erkenden somut rakamlar üretmeli ve bunları savunmalıdır. Bir dil modeli aday rakamları hızla getirebilir, ancak bunları saf ortalama almayı güvensiz kılan üç kusurla döndürür. Birincisi, kaynaklar güvenilirlik açısından muazzam ölçüde farklılık gösterir; bir ulusal istatistik ofisinden basın bültenleriyle beslenen bir pazar araştırması satıcısına kadar, oysa düz bir ortalama bunlara aynı biçimde davranır. İkincisi, döndürülen alıntıların birkaçı sıklıkla tek bir temel rapora dayanır, bu yüzden düz bir ortalama sessizce iki kez sayar. Üçüncüsü, bir model bir rakamı gereksiz bir güvenle belirtebilir veya artık var olmayan bir sayfayı alıntılayabilir. Görev, bu tür girdileri makul bir okuyucunun kabul edeceği tek bir rakamda birleştirmek ve aynı zamanda rakamın neden böyle çıktığını açığa çıkarmaktır.

2. Arka Plan

Her aday girdiyi üç noktalı bir tahmin olarak ele alıyoruz; düşük, en olası ve yüksek bir değer olarak, ki bu biçim uzun süredir program değerlendirme ve gözden geçirmede (Malcolm, Roseboom, Clark and Fazar 1959) ve nicel risk analizinde kullanılır; burada üçgen ve program değerlendirme dağılımları üç noktayı bir dağılıma dönüştürmek için standart araçlardır (Vose 2008). Belirsizliği kapalı biçimli cebir yerine benzetim yoluyla yayarız, Monte-Carlo yöntemini izleyerek (Metropolis and Ulam 1949). Kanıtı serbest üretim yerine temellendirilmiş, alıntı taşıyan üretimle getiririz; model çıktısını adlandırılmış belgelere bağlayan geri getirme ile zenginleştirilmiş yaklaşımların ruhuna uygun olarak (Lewis et al. 2020). Birkaç dağılımı bir araya getirmek başlı başına incelenmiş bir sorundur ve risk analizi yazını, saf havuzlamanın hem kaynak kalitesini hem de kaynaklar arası bağımlılığı görmezden geldiği konusunda uyarır (Clemen and Winkler 1999); ağırlıklandırma ve yinelenenleri ayıklama adımlarımız bu uyarıya doğrudan bir yanıttır.

3. Ağırlıklandırma modeli

Seçilen her i kaynağı, beş sınırlı etkenin çarpımı olan bir ağırlık alır:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Ağırlıklar daha sonra operatörün seçtiği küme içinde toplamları bire eşit olacak şekilde normalize edilir. Güvenilirlik etkeni, 5 ila 8. bölümlerde anlatılan, yayıncı üzerine bir önseldir. Güven etkeni, modelin belirli iddiaya dair belirttiği kesinliği yansıtır. Kesinlik etkeni, daha dar bir üç noktalı yayılımı ödüllendirir; ters varyans ağırlıklandırmanın ruhuna uygun olarak, daha kesin tahminlerin daha fazla etki taşıdığı yerde (Borenstein, Hedges, Higgins and Rothstein 2009). Canlılık etkeni, alıntılanan sayfaya erişilemediğinde sıfıra yakındır ve güncellik etkeni, alıntı yaşlandıkça sönümlenir. Etkenler çarpıldığı için, herhangi birinin sıfıra yaklaşması tüm ağırlığı sıfıra doğru çeker, ki bu istediğimiz davranıştır: ölü bir bağlantı üzerindeki güncel, kesin, güvenle belirtilmiş bir rakam baskın olmamalıdır.

4. Güvenilirlik neden bir doğruluk değil, bir önseldir

Güvenilirlik etkeni, belirli iddia incelenmeden önce belirlenen, yayıncı hakkında bir önseldir. Bir kaynak sınıfının ne kadar şüpheden yararlanma hakkı kazandığını ifade eder; dikkatli bir okuyucunun, herhangi birini okumadan önce bir merkez bankası bültenine anonim bir bloga göre daha fazla güvenmesi gibi. Belirli bir rakamın doğru olduğuna dair ölçülmüş bir olasılık değildir. Bu ayrımı sıkıca tutuyoruz, çünkü alternatif, yani bir katsayıyı sanki doğrulanmış bir doğruluk oranıymış gibi sunmak, kayıt defterinin bildiğini abartır ve kötüye kullanıma davetiye çıkarırdı. Bu nedenle yayımlanan kayıt defteri ve bu makale, değerleri kalibrasyona tabi editöryel önseller olarak tanımlar. 12. bölümdeki kalibrasyon yol haritası, hangi kaynakların iyi tahminler öngördüğüne dair kanıtlar biriktikçe önsellerin zaman içinde nasıl hareket etmesinin amaçlandığını açıklar.

5. Kaynak güvenilirliği sınıflandırması ve katsayı ataması

Kaynakları, azalan başlangıç önseline göre sıralanmış dokuz sınıfa ayırıyoruz. Hakemli akademi en yüksek önseli taşır, ardından resmi istatistikler, hükümetlerarası kuruluşlar, merkez bankaları ve düzenlenmiş beyanlar; sonra hükümet açık verisi; sonra bağımsız analistler; sonra şeffaf istatistik sağlayıcıları; sonra meslek kuruluşları, odalar ve standart kuruluşları; sonra kaliteli iş basını; sonra pazar araştırması satıcıları; ve son olarak açık kaynak istihbaratı ve kayıt defterinin tanımadığı herhangi bir kaynak için artık bir sınıf gelir. Her sınıfın, yüzde olarak ifade edilen açık bir başlangıç katsayısı ve bir çözümleme sinyali vardır; bu sinyal, bir kaynağı sınıfa yerleştiren, adresin gözlemlenebilir özelliğidir. Katsayılar arka uçta ayarlanabilir, sürümlenmiş değerler olarak tutulur; yayımlanan kayıt defteri sınıfı ve kaba bir kademe etiketini açığa çıkarır ancak sayıyı, 11. bölümde verilen nedenlerle saklı tutar.

Üç kural, ham sınıf katsayısını geçersiz kılar ve tam yüzdeden daha çok önem taşır. Yayın organının güvenilirliği iddianın güvenilirliği değildir, bu yüzden önsel yalnızca bir başlangıç noktasıdır ve canlılık ile güncellik sonrasında onu ayarlar. Ortak alıntı yinelenenlerden ayıklanır, bu yüzden tek bir rapora dayanan birçok yayın organı bir kez sayılır. Birincil kaynaklar eşit sınıfta ikincil olanlardan üstündür, bu yüzden özgün bir bülten, onun yeniden aktarımından üstündür. Bir sektör katmanı, firmanın siber ve düzenleyici teknoloji odağı içindeki kaynaklar için önseli yükseltir; ENISA, NIST ve ulusal siber ajanslar gibi. Bir ülke katmanı, her ülke için istatistik enstitüsünü, açık veri portalını, merkez bankasını veya finansal düzenleyiciyi, başlıca ticaret odalarını ve iş kayıt defterini tohumlar.

6. Çözümleme algoritması

Bir modelin alıntıladığı herhangi bir adres, çağrıdan sonra bir önsele çözümlenir, asla kayıt defterini isteme enjekte ederek değil. Çözümleme dört sıralı adımda ilerler ve ilk eşleşmeyi döndürür. Önce, sunucunun tam bir eşleşmesini veya bir kaynak yalnızca belirli bir yolda güvenilir olduğunda sunucu ile yolun birlikte eşleşmesini arar. Sonra bir üst alan adı eşleşmesi arar, böylece tanınan bir kaynağın alt alan adı onun sınıfını devralır. Sonra üst düzey alan adına dayalı bir sınıf kuralı uygular, böylece belirli kurum ayrı ayrı listelenmemiş olsa bile herhangi bir akademik veya hükümet alan adı doğru sınıfa çözümlenir. Bunların hiçbiri eşleşmezse, en düşük sıfır olmayan önselde, bilinmeyen köken olarak işaretlenmiş OSINT yedeğini döndürür, böylece tanınmayan bir kaynak atılmak yerine düşük ağırlıkta kabul edilebilir kalır. Çözümleyici; tanımlayıcıyı, adı, sınıfı, katsayıyı, kademeyi, kapsamı ve hangi adımın eşleştiğine dair bir kaydı döndürür; sonuncusu denetim için saklanır. Bilinmeyen kaynaklar için bir yükseltme yolu vardır: iyi tahminler öngören alıntılarda tekrar tekrar görünen bir kaynak, adlandırılmış bir sınıfa küratörlenme adayı olur.

7. Canlılık doğrulaması ve güncellik sönümü

Ölü bir alıntı üzerindeki yüksek bir önsel değersizdir, bu yüzden canlılık etkeni, alıntılanan sayfa çözümlenmediğinde veya bulunamadı durumu döndürdüğünde ağırlığı keskin biçimde azaltır. Canlılık, kayıt defterinden güvenilmek yerine puanlama anında kontrol edilir, çünkü sayfalar taşınır. Güncellik etkeni, alıntılanan malzeme yaşlandıkça ağırlığı sönümler; birkaç yıl önceki bir pazar rakamının, diğer her şey eşit olduğunda, güncel bir pazar için yakın tarihli bir rakamdan daha zayıf bir kanıt olduğu gerekçesiyle. Sönüm, yavaş değişen yapısal istatistikler için yumuşaktır ve hızlı değişen teknoloji rakamları için daha diktir; oran, sabit bir katsayı yerine ayarlanabilir bir parametredir.

8. Ortak alıntının yinelenenlerden ayıklanması ve birincil-ikincil-üstünlüğü kuralı

Herhangi bir ağırlıklandırmadan önce, tek bir temel kaynağa dayananların tek bir katkıda bulunanda toplanması için alıntılar gruplandırılır. Bu, birçok yayın organı tarafından yeniden aktarılan popüler bir raporun, tekrar yoluyla yapay ağırlık kazanmasını önler. Kayıt defteri bir kaynağın diğerini yeniden aktardığını bildiğinde, özgün olan tercih edilir ve yeniden aktarım bastırılır veya ağırlığı düşürülür. Bağımsız bilinmeyen kaynaklar kasıtlı olarak ayrı tutulur, böylece ayrı kökenlerden gelen gerçek doğrulama ödüllendirilirken yankı ödüllendirilmez. Bu adım, bağımlılığa dikkat etmeden havuzlamanın güveni abarttığı uyarısının pratik biçimidir (Clemen and Winkler 1999).

9. Ağırlıklı Monte-Carlo karışımıyla bileşim

Ağırlıklar sabitlenmiş ve normalize edilmişken, her kaynağın üç noktalı dağılımından ağırlığına orantılı olarak örnekler çekeriz, bir karışım oluştururuz ve karışımı merkezi bir rakam ve bir dağılım ölçüsüyle özetleriz (Metropolis and Ulam 1949; Vose 2008). Dağılımı gizlemek yerine merkezi rakamın yanında raporlarız, çünkü yayılım okuyucuya kaynakların ne kadar uzlaştığını anlatır. Dar bir karışım uzlaşmayı işaret eder; geniş bir karışım, tahminin tartışmalı bir zemine dayandığını ve dikkatle ele alınması gerektiğini işaret eder. Uzlaşma hakkındaki bu dürüstlük, bize göre, merkezi sayının kendisi kadar önemlidir.

10. Yönetişim

Önseller yeniden derleme olmadan ayarlanabilirdir, bu yüzden küratörlük yeni kanıtlara hızla yanıt verebilir. Bir operatör, belirli bir analiz için çözümlenmiş bir önseli geçersiz kılabilir ve geçersiz kılma kaydedilir. Çözümlenmiş her alıntı, eşleşen adımı ve çözümlenmiş değeriyle birlikte saklanır, böylece bileşik herhangi bir tahmin daha sonra yeniden oluşturulabilir ve denetlenebilir. Sınıflandırma, kayıt başına varsayılan bir gözden geçirme aralığıyla, sabit bir tempoda gözden geçirilir ve küratörlük sahipliği adlandırılır, böylece bayatlığın bir sahibi olur. Yanlılık azaltma, sınıf sinyalleri gözlemlenebilir ve kurallar kamuya açık tutularak ele alınır, böylece bir okuyucu, saydam olmayan bir puana güvenmek yerine bir kaynağın neden öyle puanlandığını görebilir.

11. Açıklık ve fikri mülkiyet duruşu

Kayıt defteri kamuya açık bir adreste yayımlanır. Yayımlanmış bir alan adları listesi tasarım gereği kamuya açıktır ve bir ticari sır olamaz, bu yüzden aksini iddia etmiyoruz. Alan adlarını ve sınıflarını açıkça yayımlıyoruz ve bu yöntemi tam olarak yayımlıyoruz, çünkü bunu yapmak iyi bir düşünce liderliğidir ve kayıt defterini iyileştiren incelemeye davetiye çıkarır. Sayısal katsayıları ve kalibrasyonlarını saklı tutuyoruz; bunlar bakımı yapılan, sürümlenmiş ürün yüzeyi olarak kalır. Bu nedenle savunulabilir değer, alan adları listesinde değil, küratörlük metodolojisinde, önsellerin kalibrasyonunda, bakımın temposunda ve tazeliğinde, ülke ve sektör kapsamının derinliğinde ve birçok analizde hangi kaynakların iyi tahminler öngördüğünü öğrenen geri bildirim döngüsünde yatar. Bir Avrupa kuruluşu olarak, veri tabanı yönergesinin, veri tabanı yayımlanmış olsa bile, verilerin elde edilmesi, doğrulanması ve sunulmasına yapılan önemli yatırımın belgelenmesi koşuluyla, küratörlü bir veri tabanına toplu çıkarmaya karşı sağladığı korumaya da güveniyoruz (European Parliament and Council 1996). Bu nedenle bir yatırım günlüğü tutuyoruz ve yayımlanan sayfayı açık kullanım koşullarıyla eşleştiriyoruz. Yayımlanan sayfanın bir sayı yerine bir kademe gösterdiği yerde, kademe yine de okuyucunun ağırlıklandırmayı açığa çıkarmadan kaynakları sıralamasına izin verir.

12. Sınırlamalar ve kalibrasyon yol haritası

Önseller editöryeldir, bu yüzden yargıyı kodlarlar ve yanlış olabilirler; dokuz sınıf gerçek heterojenliği sıkıştırır, bu yüzden güçlü bir alan adı zayıf bir sayfa taşıyabilir ve sınıf tek başına bunu yakalamaz, ki bu yüzden canlılık, güncellik ve birincil-ikincil-üstünlüğü kuralı önselin akış aşağısında yer alır. Sönüm oranları ile güven ve kesinlik etkenleri, uydurma yerine akıl yürütme yoluyla belirlediğimiz parametrelerdir. Kalibrasyon yol haritası bu boşlukları bir geri bildirim döngüsüyle kapatır: bileşik tahminler daha sonra sonuçlara veya daha iyi kanıtlara karşı denetlendikçe, hangi kaynakların doğru tahminlere katkıda bulunduğuna dair kayıt, önselleri editöryel değerlerden kalibre edilmiş olanlara doğru hareket ettirmek ve iyi bilinmeyen kaynakları adlandırılmış sınıflara yükseltmek için bir veri hâline gelir. Bu döngü yeterli kanıt biriktirene kadar, önseller yerleşik ölçümler olarak değil, savunulabilir başlangıç değerleri olarak okunmalıdır.

13. Sonuç

Tek bir pazar rakamı, ancak ona nasıl ulaşıldığının açıklaması kadar savunulabilirdir. Touchstone yöntemi bu açıklamayı açık hâle getirir: neye güvendiğini ve neden güvendiğini belirtir, ölü veya bayat bir alıntının baskın olmasına izin vermeyi reddeder, doğrulamayı bir kez sayar ve merkezi sayının yanında uzlaşmayı raporlar. Kaynak güvenilirliği kayıt defteri, bu açıklamanın görünür kısmıdır ve burada anlatılan yöntem, onun ardındaki akıl yürütmedir.

Kısaltmalar

Kısaltma	Açılımı
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Kaynakça

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845