Тема 4. «групповая экспертиза».

Лекции 7 – 8

Отбор экспертов

Надо всегда исходить из правила, что волевые решения на этом этапе абсолютно не приемлемы!!! Нужен специальный механизм отбора, который позволит избежать ошибок на следующих этапах, ведущих к некачественной экспертизе и, как следствие, к неверным решениям с непредсказуемыми последствиями.

Отбор производят исходя из целей экспертизы. Учитывают и то, в какой предметной области она будет производиться: в науке, технике, экономике, управлении и т.д.

Сначала определяют кандидатов в эксперты из лиц, компетентных в этой области знаний. Желательно при этом, чтобы кандидат обладал достаточно широким кругозором вообще и был эрудирован в смежных областях.

Эрудицию и аналитические способности кандидатов в эксперты чаще всего определяют путем анализа данных специальных анкет, заполняемых ими. В анкетах каждый потенциальный эксперт делает свою самооценку (О_с), следуя специальной инструкции и давая за 10 – 15 минут ответы на поставленные в ней вопросы по, обычно, 10-бальной шкале.

По индивидуальным самооценкам можно рассчитать среднюю групповую самооценку ():

,

где: j – номер эксперта (j =1.. m).

 

Фактически, это есть численный индекс, характеризующий совокупный объем знаний, которым, по собственному мнению, обладает группа кандидатов по данному вопросу.

 

На основе самооценки будущего эксперта можно получить коэффициент его информированности по изучаемому вопросу:

 

 

Своего рода объяснением полученной самооценки эксперта служит коэффициент аргументации. Он получается на основе данных т.н. эталонной таблицы. В ней представлены предполагаемые доводы (аргументы) в пользу включения кандидата с состав группы экспертов. Степень влияния каждого источника аргументации на самооценку приводится в трех номинациях: «высокой», «средней» и «низкой».

 

Таблица 4.1.

Эталонная таблица степени влияния источников аргументации на знания эксперта.

№ п/п	Источники аргументации	Степень влияния источника
Высокая	Средняя	Низкая
	Производственный опыт	0,4	0,3	0,1
	Теоретические знания	0,25	0,2	0,1
	Опыт участия в подобных экспертизах	0,15	0,1	0,05
	Собственная интуиция	0,1	0,07	0,03
	Материалы зарубежных публикаций	0,05	0,03	0,02
	Материалы отечественных публикаций	0,05	0,03	0,02

 

 

Кандидату в эксперты дается аналог этой таблицы без численных значений, т.е. чистой, не заполненной. Претендент лишь как-то отмечает источники («плюсом» или «крестиком»), оценивая их степень влияния на свои знания в поставленной проблеме. Затем его ответы «накладываются» на эталонную таблицу и рассчитывается коэффициент аргументации:

,

где: l – номер источника аргументации (l =1.. L) по эталонной таблице.

- самооценка эксперта по эталонной таблице.

 

Степень квалификации будущего эксперта оценивается коэффициентом компетенции:

 

 

Кроме указанных коэффициентов, которые можно определить количественно (с определенной степенью вероятности), для отбора экспертов используют и качественные характеристики:

- лояльность к экспертизе, т.е. негативное (пассивное) или позитивное (активное) отношение к изучаемой проблеме;

- креативность – способность творчески, в развитии решать вопросы;

- конструктивность – способность осмысленно, продуктивно (результативно) подходить к экспертизе;

- самокритичность – способность объективно оценивать свои возможности;

- коллективизм – этика поведения в группе экспертов в целях создания хорошего психологического климата в ней;

- конформизм – подверженность мнениям авторитетов, склонность приспосабливаться к обстоятельствам, неустойчивость собственного мнения.

На основании анализа указанных характеристик делается

окончательный выбор в пользу тех или иных кандидатов в эксперты.

Замечания:

1. точность групповой оценки существенно зависит от числа экспертов в группе. При уменьшении их числа точность оценки снижается, т.к. вес оценки каждого эксперта повышается. В то же время при очень большом количестве экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, но не всегда оказываются ошибочными. Оптимальной считается группа из 8-12 человек;

2. группа не должна состоять из представителей одной, узкой специальности, т.к. тогда их мнение будет, в определенной степени, тенденциозным;

3. при отборе экспертов необходимо принимать во внимание не только квалификацию и опытность кандидатов, но и их личностные отношения, интересы, сложность и остроту обсуждаемой проблемы;

4. необходимо использовать соответствующие тренировки и обучение кандидатов. Например, эксперт-репетиции с участием группы кандидатов и контрольной группы из наиболее компетентных и информированных лиц.

 

5. Опрос экспертов.

 

Обычно опрос экспертов осуществляется с помощью анкет.

Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с другими вопросами и отвечает поставленным целям.

Анкета должна обеспечить единственное толкование вопросов и, по возможности, формирование их количественной оценки. Если последнее не удается сделать, то прибегают к оценке сравнительной интенсивности признака с помощью методов упорядочивания.

Вопросы анкеты принято различать по:

1. содержанию:

а). объективные данные о самом эксперте (возраст, образование,

профессия, стаж работы, научное звание, специализация и

т.д.);

б). характеристики для определения мотивов, которыми

руководствуется эксперт при оценке исследуемой проблемы;

в). основные вопросы, касающиеся существа проблемы.

2. форме:

а). прямые и косвенные:

б). открытые и закрытые.

В прямых вопросах цель экспертизы просматривается явно, а в косвенных она замаскирована (или нет уверенности, что эксперт может дать определенную информацию по интересующей проблеме).

На открытые вопросы ответ может даваться в любой, произвольной форме. Преимущество таких вопросов в том, что могут появиться новые, зачастую неожиданные аспекты решаемой проблемы. Недостатком же является высокая вероятность индивидуальной интерпретации вопросов экспертами, что приводит к несопоставимости данных, получаемых от них. Кроме того, анализ ответов на такие вопросы весьма трудоемок.

В отличие от этого закрытый вопрос уже в своей формулировке содержит варианты возможных ответов (альтернатив) при т.н. дихотомическом вопросе – «да» или «нет». Достоинства – строгость и однозначность восприятия вопросов, а также малые затраты труда на обработку ответов; недостаток – существующая опасность навязывания ответов эксперту.

При ответе на поставленный вопрос эксперту позволительно уклоняться от него или выдвигать свою альтернативу ответа.

Конкретный вопрос с определенным набором ответов называется признаком анкеты.

Методы опроса можно разделить на:

- индивидуальные и групповые;

- очные (личные) и заочные;

- открытые (для посторонних) и закрытые и т.д.

Каждый метод опроса экспертов должен быть основан на учете

взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблемы.

 

 

Лекции 7 – 8

Тема 4. «ГРУППОВАЯ ЭКСПЕРТИЗА».

1. Общие положения.

2. Определение цели экспертизы.

3. Формирование группы специалистов-аналитиков.

4. Отбор экспертов.

5. Опрос экспертов.

6. Обработка экспертной информации:

6.1. Ранжирование и оценка факторов.

6.2. Ранжирование с использованием метода непосредственной

оценки.

6.3. Ранжирование непосредственной оценкой в сочетании с

методами СПУ.

 

---- *** ---

 

1. Общие положения.

В сложных ситуациях принятия решения, особенно в условиях складывающейся неопределенности в областях политики, экономики, науки, техники, требуется разносторонний анализ управляемой системы. Очень часто в таких случаях прибегают к услугам группы эрудированных специалистов, хорошо осведомленных во многих областях знаний. Их задача – провести групповую экспертизу.

 

Работает правило: «ум хорошо, а два – лучше!».

 

Преимуществами такого подхода к выработке решений являются те обстоятельства, что группа экспертов:

- нивелирует, компенсирует погрешности отдельных экспертов;

- делает результаты экспертизы более надежными и обоснованными;

- позволяет принимать более рискованные решения (в группе проявляется коллективная ответственность);

- формирует интервал оценок, где с большой степенью вероятности содержится «истинная» оценка.

 

Вместе с тем нельзя не отметить и очевидные недостатки:

- у группы экспертов количество неверной информации оказывается большим, нежели у одного эксперта;

- возможно большое расхождение во мнениях экспертов, даже из одной области;

- может проявляться влияние группы экспертов на ее отдельных членов, что чревато пагубными последствиями, особенно при прогнозировании;

- однозначность ответов экспертов не является гарантией их обоснованности (в момент экспертизы это нельзя проверить).

 

К групповой экспертизе предъявляются определенные

требования. Она должна обеспечивать:

а). приемлемое «гладкое» (экспоненциальное) распределение оценок

экспертов, что будет указывать на независимость их суждений;

б). групповую надежность, означающую, что две групповые оценки

по определенной проблеме, данные двумя одинаковыми

подгруппами, выбранными из общей группы случайным образом,

должны быть близкими.

 

Процесс проведения групповой экспертизы проходит следующие основные этапы:

1. определение цели экспертизы и основных правил ее проведения;

2. формирование группы специалистов-аналитиков;

3. отбор и формирование группы экспертов;

4. опрос экспертов;

5. обработка экспертной информации и ее анализ;

6. синтез объективной (статистической) информации, полученной от экспертов, с целью достижения согласия между ними и выработки рекомендаций по принятию решения.

 

Остановимся подробнее на этих этапах.

 

2. Определение цели экспертизы.

Выбор цели экспертизы определяется существом решаемой проблемы, предполагаемыми результатами и возможными способами их представления.

Уровень принятия решения определяет проблемную область, количество альтернатив и степень формализации процедуры принятия решения.

На выбор цели влияют надежность и полнота требуемой и имеющейся информации. Важно также четко установить признак, по которому надлежит производить оценку, и условия использования экспертных оценок.

 

3. Формирование группы специалистов-аналитиков.

Это группа призвана разработать метод и модель опроса, отобрать экспертов, произвести их опрос, проанализировать и обобщить полученную информацию. Ее основу должны составлять высококвалифицированные специалисты не только в анализируемой, но и в смежных областях, а также специалисты по экспертным методам (математики, социологи, психологи).

Важной стороной деятельности аналитиков является задание перечня оцениваемых событий и определение факторов, их характеризующих. При этом используются разные уровни детализации:

- качественное описание исследуемых событий;

- перечень событий;

- описание устойчивых факторов для каждого из событий;

- выделение числа различимых уровней для каждого события;

- то же для каждого фактора;

- описание устойчивых значений факторов для каждого уровня события.

Уровень детализации во многом определяет достоверность

результатов экспертизы. Как правило, с увеличением степени детализации согласованность экспертов повышается.

 

Отбор экспертов

Надо всегда исходить из правила, что волевые решения на этом этапе абсолютно не приемлемы!!! Нужен специальный механизм отбора, который позволит избежать ошибок на следующих этапах, ведущих к некачественной экспертизе и, как следствие, к неверным решениям с непредсказуемыми последствиями.

Отбор производят исходя из целей экспертизы. Учитывают и то, в какой предметной области она будет производиться: в науке, технике, экономике, управлении и т.д.

Сначала определяют кандидатов в эксперты из лиц, компетентных в этой области знаний. Желательно при этом, чтобы кандидат обладал достаточно широким кругозором вообще и был эрудирован в смежных областях.

Эрудицию и аналитические способности кандидатов в эксперты чаще всего определяют путем анализа данных специальных анкет, заполняемых ими. В анкетах каждый потенциальный эксперт делает свою самооценку (О_с), следуя специальной инструкции и давая за 10 – 15 минут ответы на поставленные в ней вопросы по, обычно, 10-бальной шкале.

По индивидуальным самооценкам можно рассчитать среднюю групповую самооценку ():

,

где: j – номер эксперта (j =1.. m).

 

Фактически, это есть численный индекс, характеризующий совокупный объем знаний, которым, по собственному мнению, обладает группа кандидатов по данному вопросу.

 

На основе самооценки будущего эксперта можно получить коэффициент его информированности по изучаемому вопросу:

 

 

Своего рода объяснением полученной самооценки эксперта служит коэффициент аргументации. Он получается на основе данных т.н. эталонной таблицы. В ней представлены предполагаемые доводы (аргументы) в пользу включения кандидата с состав группы экспертов. Степень влияния каждого источника аргументации на самооценку приводится в трех номинациях: «высокой», «средней» и «низкой».

 

Таблица 4.1.

Эталонная таблица степени влияния источников аргументации на знания эксперта.

№ п/п	Источники аргументации	Степень влияния источника
Высокая	Средняя	Низкая
	Производственный опыт	0,4	0,3	0,1
	Теоретические знания	0,25	0,2	0,1
	Опыт участия в подобных экспертизах	0,15	0,1	0,05
	Собственная интуиция	0,1	0,07	0,03
	Материалы зарубежных публикаций	0,05	0,03	0,02
	Материалы отечественных публикаций	0,05	0,03	0,02

 

 

Кандидату в эксперты дается аналог этой таблицы без численных значений, т.е. чистой, не заполненной. Претендент лишь как-то отмечает источники («плюсом» или «крестиком»), оценивая их степень влияния на свои знания в поставленной проблеме. Затем его ответы «накладываются» на эталонную таблицу и рассчитывается коэффициент аргументации:

,

где: l – номер источника аргументации (l =1.. L) по эталонной таблице.

- самооценка эксперта по эталонной таблице.

 

Степень квалификации будущего эксперта оценивается коэффициентом компетенции:

 

 

Кроме указанных коэффициентов, которые можно определить количественно (с определенной степенью вероятности), для отбора экспертов используют и качественные характеристики:

- лояльность к экспертизе, т.е. негативное (пассивное) или позитивное (активное) отношение к изучаемой проблеме;

- креативность – способность творчески, в развитии решать вопросы;

- конструктивность – способность осмысленно, продуктивно (результативно) подходить к экспертизе;

- самокритичность – способность объективно оценивать свои возможности;

- коллективизм – этика поведения в группе экспертов в целях создания хорошего психологического климата в ней;

- конформизм – подверженность мнениям авторитетов, склонность приспосабливаться к обстоятельствам, неустойчивость собственного мнения.

На основании анализа указанных характеристик делается

окончательный выбор в пользу тех или иных кандидатов в эксперты.

Замечания:

1. точность групповой оценки существенно зависит от числа экспертов в группе. При уменьшении их числа точность оценки снижается, т.к. вес оценки каждого эксперта повышается. В то же время при очень большом количестве экспертов становится сложнее выявить их согласованное мнение из-за уменьшения роли тех суждений, которые хотя и отличаются от мнения большинства, но не всегда оказываются ошибочными. Оптимальной считается группа из 8-12 человек;

2. группа не должна состоять из представителей одной, узкой специальности, т.к. тогда их мнение будет, в определенной степени, тенденциозным;

3. при отборе экспертов необходимо принимать во внимание не только квалификацию и опытность кандидатов, но и их личностные отношения, интересы, сложность и остроту обсуждаемой проблемы;

4. необходимо использовать соответствующие тренировки и обучение кандидатов. Например, эксперт-репетиции с участием группы кандидатов и контрольной группы из наиболее компетентных и информированных лиц.

 

5. Опрос экспертов.

 

Обычно опрос экспертов осуществляется с помощью анкет.

Анкета – это структурно организованный набор вопросов, каждый из которых логически связан с другими вопросами и отвечает поставленным целям.

Анкета должна обеспечить единственное толкование вопросов и, по возможности, формирование их количественной оценки. Если последнее не удается сделать, то прибегают к оценке сравнительной интенсивности признака с помощью методов упорядочивания.

Вопросы анкеты принято различать по:

1. содержанию:

а). объективные данные о самом эксперте (возраст, образование,

профессия, стаж работы, научное звание, специализация и

т.д.);

б). характеристики для определения мотивов, которыми

руководствуется эксперт при оценке исследуемой проблемы;

в). основные вопросы, касающиеся существа проблемы.

2. форме:

а). прямые и косвенные:

б). открытые и закрытые.

В прямых вопросах цель экспертизы просматривается явно, а в косвенных она замаскирована (или нет уверенности, что эксперт может дать определенную информацию по интересующей проблеме).

На открытые вопросы ответ может даваться в любой, произвольной форме. Преимущество таких вопросов в том, что могут появиться новые, зачастую неожиданные аспекты решаемой проблемы. Недостатком же является высокая вероятность индивидуальной интерпретации вопросов экспертами, что приводит к несопоставимости данных, получаемых от них. Кроме того, анализ ответов на такие вопросы весьма трудоемок.

В отличие от этого закрытый вопрос уже в своей формулировке содержит варианты возможных ответов (альтернатив) при т.н. дихотомическом вопросе – «да» или «нет». Достоинства – строгость и однозначность восприятия вопросов, а также малые затраты труда на обработку ответов; недостаток – существующая опасность навязывания ответов эксперту.

При ответе на поставленный вопрос эксперту позволительно уклоняться от него или выдвигать свою альтернативу ответа.

Конкретный вопрос с определенным набором ответов называется признаком анкеты.

Методы опроса можно разделить на:

- индивидуальные и групповые;

- очные (личные) и заочные;

- открытые (для посторонних) и закрытые и т.д.

Каждый метод опроса экспертов должен быть основан на учете

взаимосвязи явно выраженных признаков и скрытой (латентной) переменной, связанной с определенным отношением эксперта к исследуемой проблемы.