Compor uma estimativa defensável a partir de muitas fontes

Resumo

O dimensionamento de mercado no empreendedorismo disciplinado pede ao profissional que se comprometa com um único número, por exemplo a contagem total de utilizadores finais num mercado definido, enquanto a evidência desse número está dispersa por fontes de qualidade muito desigual. Descrevemos o método que a Cambridge Cyber International usa para compor uma estimativa defensável a partir de várias entradas heterogéneas, cada uma obtida com a ajuda de um modelo de linguagem e cada uma expressa como uma estimativa de três pontos com citações. O método atribui a cada entrada um peso que é o produto de cinco fatores: a credibilidade da fonte que publica, a confiança declarada do modelo, a precisão da estimativa, uma verificação de disponibilidade da citação e uma decaimento por atualidade. Os pesos são normalizados entre as fontes que um operador seleciona, e as entradas são combinadas por uma mistura Monte-Carlo ponderada que reporta uma cifra central juntamente com uma medida de concordância. Este artigo concentra-se no primeiro fator, a credibilidade da fonte. Apresentamos uma taxonomia de nove classes com probabilidades prévias editoriais, um algoritmo determinístico que associa qualquer endereço citado a uma probabilidade prévia com um recurso para as fontes desconhecidas, e a governação que mantém essas probabilidades honestas. Somos explícitos quanto ao facto de que as probabilidades prévias são valores de partida editoriais sujeitos a calibração, e não taxas de precisão medidas.

1. Problema

Um profissional que segue o método do empreendedorismo disciplinado (Aulet 2013; Aulet and Snyder 2017) deve produzir cifras concretas cedo, antes de a pesquisa primária ser acessível, e deve defendê-las. Um modelo de linguagem pode obter rapidamente cifras candidatas, mas devolve-as com três defeitos que tornam a média ingénua insegura. Primeiro, as fontes diferem enormemente em fiabilidade, de um instituto nacional de estatística a um revendedor de estudos de mercado alimentado por comunicados de imprensa, e no entanto uma média simples trata-as de igual modo. Segundo, várias das citações devolvidas remontam frequentemente a um único relatório subjacente, de modo que uma média simples conta em duplicado silenciosamente. Terceiro, um modelo pode declarar uma cifra com uma confiança injustificada, ou citar uma página que já não existe. A tarefa consiste em combinar tais entradas numa só cifra que um leitor razoável aceitaria, expondo ao mesmo tempo por que a cifra resultou como resultou.

2. Contexto

Tratamos cada entrada candidata como uma estimativa de três pontos, um valor baixo, um mais provável e um alto, a forma usada há muito na avaliação e revisão de programas (Malcolm, Roseboom, Clark and Fazar 1959) e na análise quantitativa de riscos, onde as distribuições triangular e de avaliação de programa são ferramentas padrão para transformar três pontos numa distribuição (Vose 2008). Propagamos a incerteza por simulação em vez de por álgebra em forma fechada, seguindo o método Monte-Carlo (Metropolis and Ulam 1949). Obtemos a evidência com uma geração fundamentada e portadora de citações em vez de uma geração livre, no espírito das abordagens aumentadas por recuperação que ligam a saída do modelo a documentos nomeados (Lewis et al. 2020). Combinar várias distribuições numa só é em si um problema estudado, e a literatura de análise de riscos adverte que a agregação ingénua ignora tanto a qualidade das fontes como a dependência entre elas (Clemen and Winkler 1999); os nossos passos de ponderação e desduplicação são uma resposta direta a essa advertência.

3. O modelo de ponderação

Cada fonte selecionada i recebe um peso que é o produto de cinco fatores limitados:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Os pesos são depois normalizados entre o conjunto selecionado pelo operador de modo que somem um. O fator de credibilidade é uma probabilidade prévia sobre o editor, descrito nas secções 5 a 8. O fator de confiança reflete a certeza declarada do modelo quanto à afirmação específica. O fator de precisão recompensa um intervalo de três pontos mais apertado, no espírito da ponderação pela inversa da variância, onde estimativas mais precisas têm mais influência (Borenstein, Hedges, Higgins and Rothstein 2009). O fator de disponibilidade é quase zero quando a página citada não pode ser alcançada, e o fator de atualidade decai à medida que a citação envelhece. Como os fatores se multiplicam, qualquer um deles aproximando-se de zero puxa todo o peso para zero, que é o comportamento que queremos: uma cifra atual, precisa e declarada com confiança sobre um link morto não deveria dominar.

4. Por que a credibilidade é uma probabilidade prévia, não uma precisão

O fator de credibilidade é uma probabilidade prévia sobre o editor, fixada antes de a afirmação específica ser examinada. Exprime quanto benefício da dúvida uma classe de fonte mereceu, do mesmo modo que um leitor cuidadoso confia mais num comunicado de um banco central do que num blogue anónimo antes de ler qualquer um deles. Não é uma probabilidade medida de que uma cifra dada esteja correta. Mantemos firmemente esta distinção porque a alternativa, apresentar um coeficiente como se fosse uma taxa de precisão validada, exageraria o que o registo sabe e convidaria ao uso indevido. O registo publicado e este artigo descrevem portanto os valores como probabilidades prévias editoriais sujeitas a calibração. O roteiro de calibração da secção 12 explica como se pretende que as probabilidades prévias se movam ao longo do tempo à medida que se acumula evidência sobre quais fontes previram boas estimativas.

5. Taxonomia de credibilidade das fontes e atribuição de coeficientes

Classificamos as fontes em nove classes, ordenadas por probabilidade prévia de partida decrescente. A academia revista por pares tem a probabilidade prévia mais alta, seguida das estatísticas oficiais, das organizações intergovernamentais, dos bancos centrais e dos registos regulados; depois os dados abertos do governo; depois os analistas independentes; depois os fornecedores de estatísticas transparentes; depois os organismos comerciais, câmaras e organizações de normalização; depois a imprensa de negócios de qualidade; depois os revendedores de estudos de mercado; e finalmente uma classe residual para a inteligência de fontes abertas (OSINT) e qualquer fonte que o registo não reconheça. Cada classe tem um coeficiente de partida explícito expresso como percentagem e um sinal de resolução, a característica observável de um endereço que coloca uma fonte na classe. Os coeficientes são mantidos no backend como valores ajustáveis e versionados; o registo publicado expõe a classe e um rótulo de nível grosseiro mas retém o número, pelas razões dadas na secção 11.

Três regras prevalecem sobre o coeficiente bruto de classe e importam mais do que a percentagem exata. A credibilidade de um meio não é a credibilidade de uma afirmação, de modo que a probabilidade prévia é apenas um ponto de partida que a disponibilidade e a atualidade depois ajustam. A cocitação é desduplicada, de modo que vários meios que remontam a um relatório contam uma vez. As fontes primárias prevalecem sobre as secundárias em classe igual, de modo que um comunicado original prevalece sobre uma reprodução do mesmo. Uma camada setorial eleva a probabilidade prévia para as fontes dentro do foco cibernético e de tecnologia regulatória da empresa, como a European Union Agency for Cybersecurity, o United States National Institute of Standards and Technology e as agências nacionais de cibersegurança. Uma camada de país semeia, para cada país, o instituto de estatística, o portal de dados abertos, o banco central ou o regulador financeiro, as principais câmaras de comércio e o registo de empresas.

6. Algoritmo de resolução

Qualquer endereço que um modelo cita é resolvido para uma probabilidade prévia após a chamada, nunca injetando o registo no prompt. A resolução procede em quatro passos ordenados e devolve a primeira correspondência. Primeiro procura uma correspondência exata do anfitrião, ou do anfitrião e do caminho juntos quando uma fonte só é credível num caminho específico. Depois procura uma correspondência de domínio principal, de modo que um subdomínio de uma fonte reconhecida herde a sua classe. Depois aplica uma regra de classe baseada no domínio de topo, de modo que qualquer domínio académico ou governamental se resolva para a classe correta mesmo quando a instituição específica não esteja listada individualmente. Se nenhuma destas corresponder, devolve o recurso de inteligência de fontes abertas na probabilidade prévia não nula mais baixa, assinalado como proveniência desconhecida, de modo que uma fonte não reconhecida continue admissível com baixo peso em vez de ser descartada. O resolvedor devolve o identificador, o nome, a classe, o coeficiente, o nível, o âmbito e um registo de qual passo correspondeu, este último conservado para auditoria. Existe um caminho de promoção para as fontes desconhecidas: uma fonte que aparece repetidamente em citações que previram boas estimativas torna-se candidata a curadoria dentro de uma classe nomeada.

7. Verificação de disponibilidade e decaimento por atualidade

Uma probabilidade prévia alta sobre uma citação morta não vale nada, de modo que o fator de disponibilidade reduz acentuadamente o peso quando a página citada não se resolve ou devolve um estado de não encontrado. A disponibilidade é verificada no momento da pontuação em vez de confiada ao registo, porque as páginas movem-se. O fator de atualidade faz decair o peso à medida que o material citado envelhece, com o raciocínio de que uma cifra de mercado de há vários anos é evidência mais fraca para um mercado atual do que uma recente, em igualdade de condições. O decaimento é suave para as estatísticas estruturais de evolução lenta e mais acentuado para as cifras tecnológicas de evolução rápida; a taxa é um parâmetro ajustável em vez de uma constante fixa.

8. Desduplicação da cocitação e regra do primário sobre o secundário

Antes de qualquer ponderação, as citações são agrupadas de modo que aquelas que remontam a uma fonte subjacente colapsem num único contribuinte. Isto impede que um relatório popular, reproduzido por muitos meios, adquira peso artificial através da repetição. Quando o registo sabe que uma fonte reproduz outra, o original é preferido e a reprodução é suprimida ou minorada. As fontes desconhecidas independentes são deliberadamente mantidas separadas, de modo que uma corroboração autêntica de origens distintas seja recompensada enquanto o eco não. Este passo é a forma prática da advertência de que a agregação sem atenção à dependência exagera a confiança (Clemen and Winkler 1999).

9. Composição por mistura Monte-Carlo ponderada

Com os pesos fixados e normalizados, extraímos amostras da distribuição de três pontos de cada fonte em proporção ao seu peso, formando uma mistura, e resumimos a mistura por uma cifra central e uma medida de dispersão (Metropolis and Ulam 1949; Vose 2008). Reportamos a dispersão ao lado da cifra central em vez de a esconder, porque o intervalo diz ao leitor quanto as fontes concordam. Uma mistura apertada sinaliza consenso; uma ampla sinaliza que a estimativa assenta em terreno disputado e deveria ser tratada com cuidado. Esta honestidade sobre a concordância é, na nossa opinião, tão importante como a própria cifra central.

10. Governação

As probabilidades prévias são ajustáveis sem uma reconstrução, de modo que a curadoria pode responder rapidamente a nova evidência. Um operador pode anular uma probabilidade prévia resolvida para uma análise específica, e a anulação é registada. Cada citação resolvida é armazenada com o seu passo correspondente e o seu valor resolvido, de modo que qualquer estimativa composta possa ser reconstruída e auditada mais tarde. A taxonomia é revista com uma cadência fixa, com um intervalo de revisão por defeito por registo, e a propriedade da curadoria é nomeada para que a obsolescência tenha um dono. A mitigação de enviesamentos é abordada mantendo observáveis os sinais de classe e públicas as regras, de modo que um leitor possa ver por que uma fonte obteve a sua pontuação em vez de confiar numa pontuação opaca.

11. Abertura e postura de propriedade intelectual

O registo é publicado num endereço público. Uma lista publicada de domínios é pública por conceção e não pode ser um segredo comercial, de modo que não fingimos o contrário. Publicamos abertamente os domínios e as suas classes e publicamos este método na íntegra, porque fazê-lo é uma boa liderança intelectual e convida a um escrutínio que melhora o registo. Retemos os coeficientes numéricos e a sua calibração, que continuam a ser a superfície de produto mantida e versionada. O valor defensável reside portanto não na lista de domínios mas na metodologia de curadoria, na calibração das probabilidades prévias, na cadência e frescura da manutenção, na profundidade da cobertura por país e setor, e no ciclo de retroalimentação que aprende quais fontes previram boas estimativas ao longo de muitas análises. Como entidade europeia apoiamo-nos também na proteção que a diretiva de bases de dados confere a uma base de dados curada contra uma extração maciça, mesmo quando a base de dados está publicada, desde que um investimento substancial na obtenção, verificação e apresentação dos dados seja documentado (European Parliament and Council 1996). Por isso mantemos um registo de investimento e emparelhamos a página publicada com condições de uso claras. Quando a página publicada mostra um nível em vez de um número, o nível ainda permite a um leitor ordenar as fontes sem revelar a ponderação.

12. Limitações e o roteiro de calibração

As probabilidades prévias são editoriais, pelo que codificam um juízo e podem estar erradas; as nove classes comprimem uma heterogeneidade real, de modo que um domínio forte pode carregar uma página fraca e a classe por si só não a apanhará, razão pela qual a disponibilidade, a atualidade e a regra do primário sobre o secundário se situam a jusante da probabilidade prévia. As taxas de decaimento e os fatores de confiança e precisão são parâmetros que fixámos por raciocínio em vez de por ajuste. O roteiro de calibração fecha estas lacunas através de um ciclo de retroalimentação: à medida que as estimativas compostas são depois confrontadas com resultados ou com melhor evidência, o registo de quais fontes contribuíram para estimativas precisas torna-se dados com os quais mover as probabilidades prévias de valores editoriais para valores calibrados, e promover boas fontes desconhecidas para classes nomeadas. Até esse ciclo ter acumulado evidência suficiente, as probabilidades prévias deveriam ler-se como valores de partida defensáveis, não como medições assentes.

13. Conclusão

Uma única cifra de mercado é apenas tão defensável quanto o relato de como foi alcançada. O método Touchstone torna esse relato explícito: declara em que confia e porquê, recusa-se a deixar uma citação morta ou obsoleta dominar, conta a corroboração uma vez, e reporta a concordância ao lado da cifra central. O registo de credibilidade das fontes é a parte visível deste relato, e o método descrito aqui é o raciocínio que o sustenta.

Siglas

Sigla	Expansão
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Referências

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845