Componer una estimación defendible a partir de muchas fuentes

Resumen

El dimensionamiento del mercado en el emprendimiento disciplinado pide al profesional que se comprometa con un único número, por ejemplo el recuento total de usuarios finales en un mercado definido, mientras que la evidencia de ese número está dispersa entre fuentes de calidad muy desigual y difícil de conciliar. Describimos el método que Cambridge Cyber International utiliza para componer una estimación defendible a partir de varias entradas heterogéneas, cada una obtenida con la ayuda de un modelo de lenguaje según un mismo protocolo y cada una expresada como una estimación de tres puntos con citas. El método adjunta a cada entrada un peso que es el producto de cinco factores: la credibilidad de la fuente que publica, la confianza declarada del modelo, la precisión de la estimación, una comprobación de disponibilidad de la cita y un decaimiento por actualidad. Los pesos se normalizan entre las fuentes que un operador selecciona, y las entradas se combinan mediante una mezcla Monte-Carlo ponderada que informa una cifra central junto con una medida de acuerdo. Este artículo se concentra en el primer factor, la credibilidad de la fuente. Presentamos una taxonomía de nueve clases con probabilidades previas editoriales, un algoritmo determinista que asigna cualquier dirección citada a una probabilidad previa con un recurso para las fuentes desconocidas, y la gobernanza que mantiene honestas esas probabilidades. Somos explícitos en que las probabilidades previas son valores de partida editoriales sujetos a calibración, no tasas de precisión medidas.

1. Problema

Un profesional que sigue el método del emprendimiento disciplinado (Aulet 2013; Aulet and Snyder 2017) debe producir cifras concretas pronto, antes de que la investigación primaria sea asequible, y debe defenderlas. Un modelo de lenguaje puede obtener rápidamente cifras candidatas, pero las devuelve con tres defectos que hacen inseguro el promedio ingenuo. Primero, las fuentes difieren enormemente en fiabilidad, desde una oficina nacional de estadística hasta un revendedor de estudios de mercado impulsado por notas de prensa, y sin embargo una media simple las trata por igual. Segundo, varias de las citas devueltas suelen remontarse a un único informe subyacente, de modo que una media simple cuenta doble en silencio. Tercero, un modelo puede declarar una cifra con una confianza injustificada, o citar una página que ya no existe. La tarea consiste en combinar tales entradas en una sola cifra que un lector razonable aceptaría, exponiendo a la vez por qué la cifra resultó como resultó.

2. Antecedentes

Tratamos cada entrada candidata como una estimación de tres puntos, un valor bajo, uno más probable y uno alto, la forma usada desde hace tiempo en la evaluación y revisión de programas (Malcolm, Roseboom, Clark and Fazar 1959) y en el análisis cuantitativo de riesgos, donde las distribuciones triangular y de evaluación de programa son herramientas estándar para convertir tres puntos en una distribución (Vose 2008). Propagamos la incertidumbre por simulación en lugar de por álgebra en forma cerrada, siguiendo el método Monte-Carlo (Metropolis and Ulam 1949). Obtenemos la evidencia con una generación fundamentada y portadora de citas en lugar de una generación libre, en el espíritu de los enfoques aumentados por recuperación que vinculan la salida del modelo a documentos nombrados (Lewis et al. 2020). Combinar varias distribuciones en una es en sí un problema estudiado, y la literatura de análisis de riesgos advierte que la agregación ingenua ignora tanto la calidad de las fuentes como la dependencia entre ellas (Clemen and Winkler 1999); nuestros pasos de ponderación y deduplicación son una respuesta directa a esa advertencia.

3. El modelo de ponderación

Cada fuente seleccionada i recibe un peso que es el producto de cinco factores acotados:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Los pesos se normalizan luego entre el conjunto seleccionado por el operador de modo que sumen uno. El factor de credibilidad es una probabilidad previa sobre el editor, descrito en las secciones 5 a 8. El factor de confianza refleja la certeza declarada del modelo sobre la afirmación específica. El factor de precisión premia un rango de tres puntos más ajustado, en el espíritu de la ponderación por la inversa de la varianza, donde las estimaciones más precisas tienen más influencia (Borenstein, Hedges, Higgins and Rothstein 2009). El factor de disponibilidad es casi cero cuando no se puede alcanzar la página citada, y el factor de actualidad decae a medida que la cita envejece. Como los factores se multiplican, cualquiera de ellos que se acerque a cero arrastra todo el peso hacia cero, que es el comportamiento que queremos: una cifra actual, precisa y declarada con confianza sobre un enlace muerto no debería dominar.

4. Por qué la credibilidad es una probabilidad previa, no una precisión

El factor de credibilidad es una probabilidad previa sobre el editor, fijada antes de que se examine la afirmación específica. Expresa cuánto beneficio de la duda ha ganado una clase de fuente, del mismo modo en que un lector cuidadoso confía más en un comunicado de un banco central que en un blog anónimo antes de leer cualquiera de ellos. No es una probabilidad medida de que una cifra dada sea correcta. Mantenemos firmemente esta distinción porque la alternativa, presentar un coeficiente como si fuera una tasa de precisión validada, exageraría lo que el registro sabe e invitaría al mal uso. El registro publicado y este artículo describen por tanto los valores como probabilidades previas editoriales sujetas a calibración. La hoja de ruta de calibración de la sección 12 explica cómo se pretende que las probabilidades previas se muevan con el tiempo a medida que se acumula evidencia sobre qué fuentes predijeron buenas estimaciones.

5. Taxonomía de credibilidad de las fuentes y asignación de coeficientes

Clasificamos las fuentes en nueve clases, ordenadas por probabilidad previa de partida descendente. La academia revisada por pares tiene la probabilidad previa más alta, seguida de las estadísticas oficiales, las organizaciones intergubernamentales, los bancos centrales y los registros regulados; luego los datos abiertos del gobierno; luego los analistas independientes; luego los proveedores de estadísticas transparentes; luego los organismos comerciales, cámaras y organizaciones de normalización; luego la prensa de negocios de calidad; luego los revendedores de estudios de mercado; y finalmente una clase residual para la inteligencia de fuentes abiertas (OSINT) y cualquier fuente que el registro no reconozca. Cada clase tiene un coeficiente de partida explícito expresado como porcentaje y una señal de resolución, la característica observable de una dirección que sitúa a una fuente en la clase. Los coeficientes se mantienen en el backend como valores ajustables y versionados; el registro publicado expone la clase y una etiqueta de nivel gruesa pero retiene el número, por las razones dadas en la sección 11.

Tres reglas prevalecen sobre el coeficiente bruto de clase e importan más que el porcentaje exacto. La credibilidad de un medio no es la credibilidad de una afirmación, de modo que la probabilidad previa es solo un punto de partida que la disponibilidad y la actualidad ajustan luego. La cocitación se deduplica, de modo que varios medios que se remontan a un mismo informe cuentan una única vez. Las fuentes primarias prevalecen sobre las secundarias a igual clase, según su cercanía al origen, de modo que un comunicado original prevalece sobre una reproducción de este. Una capa sectorial eleva la probabilidad previa para las fuentes dentro del foco cibernético y de tecnología regulatoria de la empresa, como la European Union Agency for Cybersecurity, el United States National Institute of Standards and Technology y las agencias nacionales de ciberseguridad. Una capa de país siembra, para cada país, el instituto de estadística, el portal de datos abiertos, el banco central o el regulador financiero, las principales cámaras de comercio y el registro mercantil.

6. Algoritmo de resolución

Cualquier dirección que un modelo cita se resuelve a una probabilidad previa después de la llamada, nunca inyectando el registro en el mensaje. La resolución procede en cuatro pasos ordenados y devuelve la primera coincidencia. Primero busca una coincidencia exacta del host, o del host y la ruta juntos cuando una fuente solo es creíble en una ruta específica. Luego busca una coincidencia de dominio principal, de modo que un subdominio de una fuente reconocida herede su clase. Luego aplica una regla de clase basada en el dominio de nivel superior, de modo que cualquier dominio académico o gubernamental se resuelva a la clase correcta incluso cuando la institución específica no esté listada individualmente. Si ninguna de estas coincide, devuelve el recurso de inteligencia de fuentes abiertas en la probabilidad previa no nula más baja, marcado como procedencia desconocida, de modo que una fuente no reconocida siga siendo admisible con bajo peso en lugar de ser descartada. El resolvedor devuelve el identificador, el nombre, la clase, el coeficiente, el nivel, el alcance y un registro de qué paso coincidió, este último conservado para auditoría. Existe una vía de promoción para las fuentes desconocidas: una fuente que aparece repetidamente en citas que predijeron buenas estimaciones se convierte en candidata a curación dentro de una clase nombrada.

7. Verificación de disponibilidad y decaimiento por actualidad

Una probabilidad previa alta sobre una cita muerta no vale nada, de modo que el factor de disponibilidad reduce bruscamente el peso cuando la página citada no se resuelve o devuelve un estado de no encontrado. La disponibilidad se comprueba en el momento de la puntuación en lugar de confiar en el registro, porque las páginas se mueven. El factor de actualidad hace decaer el peso a medida que el material citado envejece, con el razonamiento de que una cifra de mercado de hace varios años es evidencia más débil para un mercado actual que una reciente, en igualdad de condiciones. El decaimiento es suave para las estadísticas estructurales de evolución lenta y más pronunciado para las cifras tecnológicas de evolución rápida; la tasa es un parámetro ajustable en lugar de una constante fija.

8. Deduplicación de la cocitación y regla de lo primario sobre lo secundario

Antes de cualquier ponderación, las citas se agrupan de modo que las que se remontan a una fuente subyacente colapsen en un único contribuyente. Esto evita que un informe popular, reproducido por muchos medios, adquiera peso artificial mediante la repetición. Cuando el registro sabe que una fuente reproduce a otra, se prefiere el original y la reproducción se suprime o se minora. Las fuentes desconocidas independientes se mantienen deliberadamente separadas, de modo que se premie una corroboración auténtica de orígenes distintos mientras que el eco no. Este paso es la forma práctica de la advertencia de que la agregación sin atención a la dependencia exagera la confianza (Clemen and Winkler 1999).

9. Composición mediante mezcla Monte-Carlo ponderada

Con los pesos fijados y normalizados, extraemos muestras de la distribución de tres puntos de cada fuente en proporción a su peso, formando una mezcla, y resumimos la mezcla mediante una cifra central y una medida de dispersión (Metropolis and Ulam 1949; Vose 2008). Informamos la dispersión junto a la cifra central en lugar de ocultarla, porque el rango le dice al lector cuánto concuerdan las fuentes. Una mezcla ajustada señala consenso; una amplia señala que la estimación descansa sobre un terreno disputado y debería tratarse con cuidado. Esta honestidad sobre el acuerdo es, en nuestra opinión, tan importante como la propia cifra central.

10. Gobernanza

Las probabilidades previas son ajustables sin una reconstrucción, de modo que la curación puede responder rápidamente a nueva evidencia. Un operador puede anular una probabilidad previa resuelta para un análisis específico, y la anulación se registra. Cada cita resuelta se almacena con su paso coincidente y su valor resuelto, de modo que cualquier estimación compuesta pueda reconstruirse y auditarse más tarde. La taxonomía se revisa con una cadencia fija, con un intervalo de revisión por defecto por registro, y la propiedad de la curación se nombra para que la obsolescencia tenga un propietario. La mitigación de sesgos se aborda manteniendo observables las señales de clase y públicas las reglas, de modo que un lector pueda ver por qué una fuente obtuvo tal puntuación, según criterios explícitos, en lugar de confiar en una puntuación opaca.

11. Apertura y postura de propiedad intelectual

El registro se publica en una dirección pública. Una lista publicada de dominios es pública por diseño y no puede ser un secreto comercial, de modo que no pretendemos lo contrario. Publicamos abiertamente los dominios y sus clases y publicamos este método completo, porque hacerlo es un buen liderazgo intelectual e invita a un escrutinio que mejora el registro. Retenemos los coeficientes numéricos y su calibración, que siguen siendo la superficie de producto mantenida y versionada. El valor defendible reside por tanto no en la lista de dominios sino en la metodología de curación, la calibración de las probabilidades previas, la cadencia y frescura del mantenimiento, la profundidad de la cobertura por país y sector, y el bucle de retroalimentación que aprende qué fuentes predijeron buenas estimaciones a lo largo de muchos análisis. Como entidad europea también nos apoyamos en la protección que la directiva de bases de datos confiere a una base de datos curada contra una extracción masiva, incluso cuando la base de datos está publicada, siempre que se documente una inversión sustancial en la obtención, verificación y presentación de los datos (European Parliament and Council 1996). Por ello mantenemos un registro de inversión y emparejamos la página publicada con condiciones de uso claras. Cuando la página publicada muestra un nivel en lugar de un número, el nivel aún permite a un lector clasificar las fuentes sin revelar la ponderación.

12. Limitaciones y la hoja de ruta de calibración

Las probabilidades previas son editoriales, por lo que codifican un juicio y pueden equivocarse; las nueve clases comprimen una heterogeneidad real, de modo que un dominio fuerte puede llevar una página débil y la clase por sí sola no lo detectará, razón por la cual la disponibilidad, la actualidad y la regla de lo primario sobre lo secundario se sitúan aguas abajo de la probabilidad previa. Las tasas de decaimiento y los factores de confianza y precisión son parámetros que hemos fijado por razonamiento en lugar de por ajuste. La hoja de ruta de calibración cierra estas brechas mediante un bucle de retroalimentación: a medida que las estimaciones compuestas se contrastan luego con resultados o con mejor evidencia, el registro de qué fuentes contribuyeron a estimaciones precisas se convierte en datos con los que mover las probabilidades previas de valores editoriales hacia valores calibrados, y promover buenas fuentes desconocidas a clases nombradas. Hasta que ese bucle haya acumulado suficiente evidencia, las probabilidades previas deberían leerse como valores de partida defendibles, no como mediciones asentadas.

13. Conclusión

Una única cifra de mercado es tan defendible como el relato de cómo se alcanzó. El método Touchstone hace ese relato explícito: declara en qué confía y por qué, se niega a dejar que una cita muerta o rancia domine, cuenta la corroboración una vez, e informa el acuerdo junto a la cifra central. El registro de credibilidad de las fuentes es la parte visible de este relato, y el método descrito aquí es el razonamiento que lo sustenta.

Acrónimos

Acrónimo	Significado
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Referencias

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845