Основные этапы опроса экспертов.

1. Уточнение объекта опроса. Получение новых мнений, рекомендаций, путей нового подхода к решаемой проблеме. Цель этого этапа – собрать всю информацию об исследуемом объекте и выделить наиболее существенные характеристики и ограничения.

2. Вероятностная оценка рабочей модели, ее характеристика, факторы, влияющие на нее. На этом этапе получают информацию, необходимую для выработки решения. Но на этом этапе информация не может быть сразу использована из-за несогласованности экспертных оценок.

3. Согласование оценок экспертов. Это этап может повторяться несколько раз, пока не будет достигнута достаточная согласованность мнений экспертов.

После каждого этапа производится сбор, статистическая обработка и анализ результатов опроса. 25% самых высоких и 25% самых низких оценок отбрасываются. Перед каждым следующим этапом экспертов информируют о результатах предыдущего этапа. Они при этом могут пересмотреть или исправить предыдущие ответы. Если их оценки попали в отброшенные 25%, то их просят обосновать свое мнение (анонимно).

Результаты опроса обрабатывают и вновь доводят до сведения экспертов, предоставив возможность опять пересмотреть оценки.

Как правило, трех этапов бывает достаточно для получения хорошо согласованных оценок экспертов.

Метод ранжирования

Ряд объектов (показателей, факторов) в соответствии с выраженностью определенного признака называют ранжированным. Сам процесс упорядочения называют ранжировкой. Номер, который при этом получает каждый объект, называют его рангом. Так, наиболее значимый объект получает ранг, равный 1.

Ранг 2 присваивается объекту, наиболее значимому среди оставшихся, и т.д. Если значимость объектов выражена с помощью количественных характеристик (чисел), то ранжирование можно производить, упорядочивая их по убыванию (возрастанию) этих чисел.

Если объекты одинаково важны, они получают одинаковые ранги, называемые связными рангами. В практике ранжирования объектов следует отказаться от использования связных рангов. Запрет на связные ранги диктуется и характером объектов, и стремлением получить от экспертов более полную и объективную информацию в результате дополнительного анализа близких по значимости объектов.

Процесс упорядочения объектов в соответствии с выраженностью определенного признака называют ранжированием.

Если значимость определенных признаков объекта выражена с помощью количественных характеристик (чисел), то ранжирование объектов осуществляется естественным образом. Можно упорядочить их по возрастанию или по убыванию этих чисел.

Если же у исследуемых признаков объектов нет количественных характеристик, то для их ранжирования прибегают к помощи экспертов.

Номер, который получает каждый объект, называется рангом. Наиболее значимый объект получает ранг 1. Наиболее значимый объект среди оставшихся объектов ранг 2 и т.д.

Ранги, назначенные каждым экспертом, назовем индивидуальными. Ранги, которые получают объекты по результатам групповой экспертизы, назовем групповыми рангами.

Рассмотрим пример. Пусть нужно произвести ранжирование m объектов F₁, F₂,…,F_m. Привлекаем n экспертов. Ранг, который i-му объекту присвоит j-й эксперт, обозначим r_ij. В результате опроса всех экспертов получим результаты, которые сведем в таблицу.

Пусть необходимо произвести ранжирование m объектов F₁; F₂;… F_i; …; F_m с помощью n экспертов (j = 1,2,..., n). Обозначим r_ij ранг, которые присваивает i-му объекту j-й эксперт. В результате опроса экспертов получаем таблицу-матрицу размером m x n, то есть матрица индивидуальных рангов имеет n строк и m столбцов.

 

 

Объекты	Эксперты	Ri
	…	j	…	n
F1	r11		r1j		r1n
…
Fi	ri1		rij		rin
…
Fm	rm1		rmj		rmn

 

Символически такую матрицу принято обозначать:

.

В таблице следует предусмотреть четыре графы для результатов обработки исходных данных.

Для установки групповых рангов r_i (i = 1, 2,…, m), по которым и производится ранжирование данных объектов, определяется суммарный ранг R_i по каждому объекту:

.

логика исследований и соответствующие нормативные документы, требуют оценить достоверность полученной экспертной информации путём проверки согласованности экспертных оценок внутри рабочей группы. Для этого вычисляют значение размаха как разность между наибольшими и наименьшими значениями R_i:

и проверяют условие

.

Если условие выполняется, то согласованность экспертных оценок считается достаточно высокой и можно приступать к процедуре ранжирования объектов по сумме индивидуальных рангов R_i, выбранной по каждому рангу.

Если условие не выполняется, то, учитывая приближенный характер этой формулы, производят дополнительную проверку на согласованность экспертных оценок по более точной (и более трудоемкой) формуле

, (*)

Здесь D — дисперсия R_i, — среднее арифметическое R_i.

Понятие дисперсии и среднего арифметического широко применяется в математической статистике. Они вычисляются по следующим формулам:

, .

Условие (*) получено в предположении, что с вероятностью более 90% можно утверждать, что между экспертами существует согласованность оценок, достаточная для того, чтобы экспертную информацию можно было считать достоверной.

Теперь наименьшей сумме рангов, т.е. наименьшему значению из R_i, присваивается ранг, равный 1, наименьшему из оставшихся R_i — ранг 2 и т.д. Иначе говоря, ранжирование объектов производим, упорядочивая их по возрастающим значениям R_i.

Если условие (*) не будет выполнено, следует рассмотреть дополнительно вопросы по составу рабочей группы.

Рассмотрим пример. Пусть при ранжировании m=4 объектов n=5 экспертами получены следующие результаты:

 

Объек-ты	Эксперты	Ri	Ri-	(Ri- )^2	Групповые ранги
							5,5	30,25
							1,5	2,25
							1,5	2,25
							5,5	30,25

 

Оценим результаты ранжирования по первому методу. вычислим значение размаха:

.

.

проверим условие . Это условие не выполняется, так как .

Проведем дополнительную проверку на согласованность экспертных оценок по более точной формуле.

.

.

.

Так как 22>17,25 (), то можно утверждать, что между экспертами существует согласованность оценок, достаточная для того, чтобы экспертную информацию можно было считать достоверной.

 

Метод балльных оценок

 

Пусть нужно произвести ранжирование m объектов. Привлекаем n экспертов.

Метод балльных оценок позволяет непосредственно находить относительные коэффициенты весомости объектов (или индивидуальные баллы) W_ij. W_ij – это оценка, которую дает j-й эксперт i-му объекту. Эта оценка выражается в долях 1 или в процентах. От каждого эксперта можно потребовать выполнения условия нормированности индивидуальных баллов:

.

Эксперт в процессе назначения оценок должен контролировать выполнение условия нормированности индивидуальных баллов. Это побуждает его постоянно сравнивать объекты между собой. При этом получается более обоснованное экспертное заключение. «Все познается в сравнениии!!!».

По результатам опроса n экспертов строим матрицу индивидуальных относительных коэффициентов весомости аналогичную матрице R (см. метод ранжирования).

Групповую оценку весомости i-го объекта вычисляем следующим образом:

.

Для оценки достоверности результатов (то есть согласованности назначенных экспертами индивидуальных коэффициентов весомости) вводится величина – относительный размах.

.

Здесь – наибольший индивидуальный коэффициент весомости из всех коэффициентов, данных экспертами по i-му объекту, то есть – это максимальное из чисел , , …, . – наименьший индивидуальный коэффициент весомости из всех коэффициентов, данных экспертами по i-му объекту, то есть – это минимальное из чисел , , …, .

Если , то согласованность назначенных экспертами индивидуальных коэффициентов весомости считаем достаточной.

Рассмотрим пример. Пусть 5 экспертов оценивают 4 объекта.

 

Объ-екты	эксперты
	0,25	0,3	0,28	0,19	0,2	1,22	0,244	0,45
	0,5	0,4	0,55	0,45	0,7	2,6	0,52	0,58
	0,15	0,17	0,05	0,25	0,07	0,69	0,138	1,45
	0,1	0,13	0,12	0,11	0,03	0,49	0,098	1,02

 

согласованность назначенных экспертами индивидуальных коэффициентов весомости считаем недостаточной.