Составление одной защитимой оценки из множества источников

Аннотация

Оценка размера рынка в дисциплинированном предпринимательстве требует от практика зафиксировать одно единственное число, например общее количество конечных пользователей на определённом рынке, тогда как доказательства для этого числа разбросаны по источникам крайне неравной ценности. Мы описываем метод, который Cambridge Cyber International использует для составления одной защитимой оценки из нескольких разнородных входных данных, каждое из которых получено с помощью языковой модели и выражено в виде трёхточечной оценки со ссылками. Метод присваивает каждому входному значению вес, представляющий собой произведение пяти факторов: достоверности публикующего источника, заявленной моделью уверенности, точности оценки, проверки работоспособности ссылки и затухания по актуальности. Веса нормируются по набору источников, которые выбирает оператор, а входные данные объединяются с помощью взвешенной смеси методом Monte-Carlo, которая сообщает центральную величину вместе с мерой согласованности. В настоящей работе основное внимание уделено первому фактору, достоверности источника. Мы излагаем таксономию из девяти классов с редакционными априорными значениями, детерминированный алгоритм, сопоставляющий любой цитируемый адрес с априорным значением с резервным вариантом для неизвестных источников, а также управление, которое сохраняет честность априорных значений. Мы прямо заявляем, что априорные значения являются редакционными стартовыми величинами, подлежащими калибровке, а не измеренными показателями точности.

1. Проблема

Практик, следующий методу дисциплинированного предпринимательства (Aulet 2013; Aulet and Snyder 2017), должен получить конкретные цифры на раннем этапе, до того как первичное исследование станет доступным по средствам, и должен уметь их защитить. Языковая модель может быстро извлечь кандидатные цифры, но возвращает их с тремя дефектами, которые делают наивное усреднение небезопасным. Во-первых, источники чрезвычайно различаются по надёжности, от национального статистического ведомства до перепродавца маркетинговых исследований, работающего на основе пресс-релизов, однако обычное среднее относится к ним одинаково. Во-вторых, несколько возвращённых ссылок часто восходят к одному базовому отчёту, поэтому обычное среднее незаметно ведёт двойной учёт. В-третьих, модель может указать цифру с неоправданной уверенностью или сослаться на страницу, которой более не существует. Задача состоит в том, чтобы объединить такие входные данные в одну цифру, которую принял бы разумный читатель, при этом раскрывая, почему цифра получилась именно такой.

2. Предпосылки

Мы рассматриваем каждое кандидатное входное значение как трёхточечную оценку, низкое, наиболее вероятное и высокое значение, форму, давно применяемую в оценке и обзоре программ (Malcolm, Roseboom, Clark and Fazar 1959) и в количественном анализе рисков, где треугольное распределение и распределение оценки программ являются стандартными инструментами для превращения трёх точек в распределение (Vose 2008). Мы распространяем неопределённость с помощью моделирования, а не аналитической алгебры в замкнутой форме, следуя методу Monte-Carlo (Metropolis and Ulam 1949). Мы извлекаем доказательства с помощью обоснованной генерации, несущей ссылки, а не свободной генерации, в духе подходов с дополнением поиском, которые привязывают вывод модели к именованным документам (Lewis et al. 2020). Объединение нескольких распределений в одно само по себе является изученной проблемой, и литература по анализу рисков предупреждает, что наивное объединение игнорирует как качество источника, так и зависимость между источниками (Clemen and Winkler 1999); наши шаги взвешивания и устранения дубликатов являются прямым ответом на это предупреждение.

3. Модель взвешивания

Каждый выбранный источник i получает вес, представляющий собой произведение пяти ограниченных факторов:

weight_i = credibility_i  x  confidence_i  x  precision_i  x  liveness_i  x  recencyDecay_i

Затем веса нормируются по выбранному оператором набору так, чтобы их сумма равнялась единице. Фактор достоверности является априорным значением по издателю, описанным в разделах с 5 по 8. Фактор уверенности отражает заявленную моделью определённость относительно конкретного утверждения. Фактор точности вознаграждает более узкий трёхточечный разброс, в духе взвешивания по обратной дисперсии, где более точные оценки имеют большее влияние (Borenstein, Hedges, Higgins and Rothstein 2009). Фактор работоспособности близок к нулю, когда цитируемая страница недостижима, а фактор актуальности затухает по мере старения ссылки. Поскольку факторы перемножаются, приближение любого из них к нулю тянет весь вес к нулю, что и является желаемым поведением: актуальная, точная, уверенно заявленная цифра на нерабочей ссылке не должна доминировать.

4. Почему достоверность является априорным значением, а не точностью

Фактор достоверности является априорным значением об издателе, установленным до рассмотрения конкретного утверждения. Он выражает, какой кредит доверия заслужил класс источника, подобно тому как внимательный читатель доверяет пресс-релизу центрального банка больше, чем анонимному блогу, ещё до чтения того или другого. Это не измеренная вероятность того, что данная цифра верна. Мы твёрдо придерживаемся этого различия, потому что альтернатива, представление коэффициента так, как будто это подтверждённый показатель точности, преувеличила бы то, что известно реестру, и приглашала бы к злоупотреблению. Поэтому опубликованный реестр и настоящая работа описывают эти значения как редакционные априорные значения, подлежащие калибровке. Дорожная карта калибровки в разделе 12 объясняет, как априорные значения предполагается изменять со временем по мере накопления доказательств о том, какие источники предсказывали хорошие оценки.

5. Таксономия достоверности источников и присвоение коэффициентов

Мы сортируем источники по девяти классам, упорядоченным по убыванию стартового априорного значения. Рецензируемая академическая среда несёт наивысшее априорное значение, за ней следуют официальная статистика, межправительственные организации, центральные банки и регулируемая отчётность; затем государственные открытые данные; затем независимые аналитики; затем прозрачные поставщики статистики; затем отраслевые объединения, палаты и организации по стандартизации; затем качественная деловая пресса; затем перепродавцы маркетинговых исследований; и, наконец, остаточный класс для разведки на основе открытых источников (OSINT) и любого источника, который реестр не распознаёт. Каждый класс имеет явный стартовый коэффициент, выраженный в процентах, и сигнал разрешения, наблюдаемую особенность адреса, которая помещает источник в класс. Коэффициенты хранятся на бэкенде как настраиваемые версионированные значения; опубликованный реестр раскрывает класс и грубую метку уровня, но скрывает число по причинам, изложенным в разделе 11.

Три правила переопределяют исходный коэффициент класса и имеют большее значение, чем точный процент. Достоверность издания не является достоверностью утверждения, поэтому априорное значение является лишь отправной точкой, которую затем корректируют работоспособность и актуальность. Совместное цитирование устраняется как дубликат, поэтому несколько изданий, восходящих к одному отчёту, учитываются единожды. Первичные источники превосходят вторичные при равном классе, поэтому оригинальный релиз превосходит его повторную публикацию. Отраслевой слой повышает априорное значение для источников внутри фокуса компании на кибербезопасности и регуляторных технологиях, таких как ENISA, NIST и национальные кибер-агентства. Страновой слой засевает для каждой страны статистический институт, портал открытых данных, центральный банк или финансовый регулятор, основные торговые палаты и реестр предприятий.

6. Алгоритм разрешения

Любой адрес, цитируемый моделью, разрешается в априорное значение после вызова, но никогда путём внедрения реестра в запрос. Разрешение проходит в четыре упорядоченных шага и возвращает первое совпадение. Сначала оно ищет точное совпадение хоста или хоста и пути вместе, когда источник достоверен только на определённом пути. Затем оно ищет совпадение родительского домена, так что поддомен распознанного источника наследует его класс. Затем оно применяет правило класса, привязанное к домену верхнего уровня, так что любой академический или государственный домен разрешается в правильный класс, даже когда конкретное учреждение не указано отдельно. Если ни одно из этих совпадений не найдено, оно возвращает резервный вариант разведки на основе открытых источников (OSINT) с наименьшим ненулевым априорным значением, помеченный как неизвестное происхождение, так что нераспознанный источник остаётся допустимым с низким весом, а не отбрасывается. Резолвер возвращает идентификатор, имя, класс, коэффициент, уровень, область и запись о том, какой шаг совпал, последнее из которых хранится для аудита. Для неизвестных источников существует путь повышения: источник, многократно появляющийся в ссылках, которые предсказывали хорошие оценки, становится кандидатом на курирование в именованный класс.

7. Проверка работоспособности и затухание по актуальности

Высокое априорное значение на нерабочей ссылке бесполезно, поэтому фактор работоспособности резко снижает вес, когда цитируемая страница не разрешается или возвращает статус "не найдено". Работоспособность проверяется в момент оценивания, а не принимается на веру из реестра, потому что страницы перемещаются. Фактор актуальности затухает вес по мере старения цитируемого материала, исходя из соображения, что рыночная цифра многолетней давности является более слабым доказательством для текущего рынка, чем недавняя, при прочих равных условиях. Затухание мягкое для медленно меняющейся структурной статистики и более крутое для быстро меняющихся технологических показателей; скорость является настраиваемым параметром, а не фиксированной константой.

8. Устранение дубликатов совместного цитирования и правило приоритета первичного над вторичным

Перед любым взвешиванием ссылки группируются так, чтобы те, что восходят к одному базовому источнику, схлопывались в единственного участника. Это предотвращает получение популярным отчётом, повторно опубликованным многими изданиями, искусственного веса за счёт повторения. Там, где реестр знает, что один источник повторно публикует другой, оригинал предпочитается, а повторная публикация подавляется или получает пониженный вес. Независимые неизвестные источники намеренно сохраняются раздельно, так что подлинное подтверждение из различных истоков вознаграждается, а эхо нет. Этот шаг является практической формой предупреждения о том, что объединение без внимания к зависимости преувеличивает уверенность (Clemen and Winkler 1999).

9. Композиция взвешенной смесью методом Monte-Carlo

При зафиксированных и нормированных весах мы делаем выборки из трёхточечного распределения каждого источника пропорционально его весу, формируя смесь, и обобщаем смесь центральной величиной и мерой разброса (Metropolis and Ulam 1949; Vose 2008). Мы сообщаем разброс наряду с центральной величиной, а не скрываем его, потому что разброс сообщает читателю, насколько источники согласуются. Узкая смесь сигнализирует о консенсусе; широкая сигнализирует о том, что оценка покоится на спорной почве и с ней следует обращаться осторожно. Эта честность относительно согласованности, на наш взгляд, столь же важна, как и само центральное число.

10. Управление

Априорные значения настраиваемы без пересборки, поэтому курирование может быстро реагировать на новые доказательства. Оператор может переопределить разрешённое априорное значение для конкретного анализа, и это переопределение записывается. Каждая разрешённая ссылка хранится вместе с её совпавшим шагом и разрешённым значением, так что любую составленную оценку можно позднее реконструировать и проверить. Таксономия пересматривается с фиксированной периодичностью, с интервалом пересмотра по умолчанию на каждую запись, и владелец курирования назван, так что у устаревания есть ответственный. Смягчение предвзятости достигается за счёт сохранения наблюдаемости сигналов класса и публичности правил, так что читатель может увидеть, почему источник получил именно такую оценку, а не доверять непрозрачной оценке.

11. Открытость и позиция в отношении интеллектуальной собственности

Реестр публикуется по публичному адресу. Опубликованный список доменов является публичным по замыслу и не может быть коммерческой тайной, поэтому мы не притворяемся иначе. Мы открыто публикуем домены и их классы и полностью публикуем этот метод, потому что это хорошее интеллектуальное лидерство, приглашающее к критике, которая улучшает реестр. Мы скрываем числовые коэффициенты и их калибровку, которые остаются поддерживаемой версионированной продуктовой поверхностью. Таким образом, защитимая ценность заключается не в списке доменов, а в методологии курирования, калибровке априорных значений, периодичности и свежести поддержки, глубине странового и отраслевого охвата, а также в петле обратной связи, которая учится, какие источники предсказывали хорошие оценки во множестве анализов. Как европейская организация мы также полагаемся на защиту, которую директива о базах данных предоставляет курируемой базе данных против массового извлечения, даже когда база данных опубликована, при условии, что документированы существенные инвестиции в получение, проверку и представление данных (European Parliament and Council 1996). Поэтому мы ведём журнал инвестиций и сопровождаем опубликованную страницу чёткими условиями использования. Там, где опубликованная страница показывает уровень, а не число, уровень всё же позволяет читателю ранжировать источники, не раскрывая взвешивания.

12. Ограничения и дорожная карта калибровки

Априорные значения редакционны, поэтому они кодируют суждение и могут быть ошибочными; девять классов сжимают реальную разнородность, так что сильный домен может нести слабую страницу, и один только класс этого не уловит, поэтому работоспособность, актуальность и правило приоритета первичного над вторичным располагаются ниже по потоку от априорного значения. Скорости затухания и факторы уверенности и точности являются параметрами, которые мы установили путём рассуждения, а не подгонки. Дорожная карта калибровки закрывает эти пробелы через петлю обратной связи: по мере того как составленные оценки позднее сверяются с результатами или с лучшими доказательствами, запись о том, какие источники внесли вклад в точные оценки, становится данными, с помощью которых можно перемещать априорные значения от редакционных величин к откалиброванным, и повышать хорошие неизвестные источники в именованные классы. Пока эта петля не накопила достаточно доказательств, априорные значения следует читать как защитимые стартовые величины, а не как устоявшиеся измерения.

13. Заключение

Единственная рыночная цифра защитима лишь настолько, насколько защитим рассказ о том, как она была получена. Метод Touchstone делает этот рассказ явным: он заявляет, чему он доверяет и почему, он отказывается позволить нерабочей или устаревшей ссылке доминировать, он учитывает подтверждение единожды и он сообщает согласованность наряду с центральным числом. Реестр достоверности источников является видимой частью этого рассказа, а описанный здесь метод является рассуждением, стоящим за ним.

Аббревиатуры

Аббревиатура	Расшифровка
ADR	Architecture Decision Record
CCI	Cambridge Cyber International
CISA	Cybersecurity and Infrastructure Security Agency
DOI	Digital Object Identifier
ENISA	European Union Agency for Cybersecurity
IGO	Intergovernmental Organisation
NIST	National Institute of Standards and Technology
OSINT	Open-Source Intelligence
PERT	Program Evaluation and Review Technique
URL	Uniform Resource Locator

Список литературы

Aulet, B. (2013). Disciplined Entrepreneurship: 24 Steps to a Successful Startup. Hoboken: Wiley. https://www.wiley.com/en-fr/Disciplined+Entrepreneurship:+24+Steps+to+a+Successful+Startup-p-9781118720813

Aulet, B., and Snyder, B. (2017). Disciplined Entrepreneurship Workbook. Hoboken: Wiley. https://www.wiley.com/en-us/Disciplined+Entrepreneurship+Workbook-p-9781119365792

Borenstein, M., Hedges, L. V., Higgins, J. P. T., and Rothstein, H. R. (2009). Introduction to Meta-Analysis. Chichester: Wiley. https://doi.org/10.1002/9780470743386

Clemen, R. T., and Winkler, R. L. (1999). Combining probability distributions from experts in risk analysis. Risk Analysis, 19(2), 187 to 203. https://doi.org/10.1111/j.1539-6924.1999.tb00399.x

European Parliament and Council (1996). Directive 96/9/EC of 11 March 1996 on the legal protection of databases. https://eur-lex.europa.eu/eli/dir/1996/9/oj

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Kuttler, H., Lewis, M., Yih, W., Rocktaschel, T., Riedel, S., and Kiela, D. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33. https://arxiv.org/abs/2005.11401

Malcolm, D. G., Roseboom, J. H., Clark, C. E., and Fazar, W. (1959). Application of a technique for research and development program evaluation. Operations Research, 7(5), 646 to 669. https://doi.org/10.1287/opre.7.5.646

Metropolis, N., and Ulam, S. (1949). The Monte Carlo method. Journal of the American Statistical Association, 44(247), 335 to 341. https://doi.org/10.2307/2280232

Vose, D. (2008). Risk Analysis: A Quantitative Guide (3rd ed.). Chichester: Wiley. https://www.wiley.com/en-us/Risk+Analysis:+A+Quantitative+Guide,+3rd+Edition-p-9780470512845