Экспертное оценивание как процесс измерения

Эффективность начальных этапов разработки ЭС (этапов идентификации и концептуализации) во многом определяется успешным формированием авторитетной группы экспертов и получением от них качественных знаний, составляющих основу любой ЭС.
Суть процесса выявления знаний заключается в организации проведения экспертами интуитивно-логического анализа проблемной области с количественной оценкой формулируемых ими суждений. На этом этапе эксперты:
формируют объекты и понятия предметной области (цели, решения, альтернативные ситуации и т.д.);
производят измерение характеристик (вероятности свершения событий, коэффициенты значимости целей, предпочтение решений и т.д.).
Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В этом определении фигурируют три понятия: объект, показатель (признак) и процедура сравнения.
Объектами могут быть предметы, явления, решения. В качестве показателей сравнения могут использоваться пространственно-временные, физические, психические и другие свойства и характеристики объектов. Процедура сравнения включает в себя:
определение причинно-следственной связи между объектами;
а также установление степени влияния одних объектов на другие.
Последнее обстоятельство требует проведения сравнения объектов, определяющих какой-либо результат, по степени их влияния на него. Введение конкретных показателей сравнения позволяет экспертам устанавливать отношения между объектами, например, "больше", "лучше", "более чем", "хуже", "одинаковы", "предпочтительнее" и т.д.
Для формального описания множества объектов и отношений между ними вводится понятие эмпирической системы с отношениями
M = < O ; R >,
 где O=(O1,O2,...,On) – множество объектов предметной области,  R= ( R1,R2,...,Rn) – множество отношений между ними.
Запись OiRkOj означает, что объект Oi находится в отношении Rk к объекту Oj. Такое отношение называется бинарным (двуместным) поскольку связывает два объекта. Отношения могут быть трехместными и т.д. В общем случае k-местными, по числу объектов, которые они связывают. Определим основные свойства отношений:
Отношение R рефлексивно,   если       OiROj  –  истинно;
Отношение R симметрично, если из  OiROj  следует OjROi;
Отношение R транзитивно,  если из OiROj и OjROk следует OiROk.
Отношение, которое обладает свойствами рефлексивности, симметричности и транзитивности называется отношением эквивалентности.
Oi   ~   Oj
При экспертном оценивании, кроме отношения эквивалентности используется отношение порядка. Это отношение может означать, например: "раньше чем", "более чем", "сильнее чем", "предпочтительнее чем" и т.д. Отношение порядка антирефлексивно, транзитивно и обозначается:
Oi     Oj
для случая, если Oi предпочтительнее Oj.
Экспертное оценивание в процессе выявления знаний от экспертов, использует наряду с эмпирической, также числовую систему с отношениями
H = < N ; S >,
где N – множество действительных чисел, а S – множество отношений между числами. Именно эта система позволяет не только устанавливать причинно-следственные связи между объектами предметной области, но и определять их взаимосвязи и влияние.