Проведение экспертного опроса

Опрос экспертов должен соответствовать следующим требованиям:

- ограниченное количество вопросов, задаваемых эксперту;

- полнота охвата решаемой задачи;

- всестороннее рассмотрение вопроса;

- ограниченное время опроса;

- возможность применения заочного опроса;

Операции экспертной оценки качества выполняются по этапам:

1. Подготовительный этап:

- формулирование цели оценки;

- формирование рабочей группы.

2. Этап работы рабочей группы:

- уточнение цели оценки;

- выбор методов, модификаций, способов и процедур оценки;

- определение перечня операций, выполняемых экспертами;

- формирование экспертной группы;

- выбор методов, способов и процедур опроса экспертов.

3. Этап работы экспертной группы:

- классификация продукции и потребителей;

- определение номенклатуры показателей качества;

- определение коэффициентов весомости показателей;

- определение базовых значений показателей;

- определение оценок единичных показателей;

- определение комплексных показателей.

4. Заключительный этап:

- обработка значений экспертных оценок;

- анализ результатов и подготовка решения экспертной группы.

При реализации третьего этапа – работы экспертной группы, получают ответы экспертов, которые можно разделить на:

1. Общие ответы в виде описаний, их используют при определении и уточнении целей оценки и условий эксплуатации (потребления) продукции или как источник дополнительной информации при оценке качества продукции.

2. Классификационные ответы могут быть как в виде описаний, так и в виде шкалы наименований (например, деление потребителей на группы в соответствии с условиями потребления оцениваемой продукции).

3. Оценочные ответы представляют в количественном виде (баллы, проценты, доли единицы) или качественной форме (“хорошо - плохо”, “достаточно - недостаточно”), их используют при определении коэффициентов весомости, значения оценок показателей качества. При оценке качества опрос экспертов рекомендуется проводить в два - три тура: индивидуальный и групповой. Это позволяет обеспечить независимость суждений экспертов в первом туре, (что снижает отрицательное конформное и авторитетное влияние) и обмен информацией между экспертами в последующих турах. Проведение более трех туров опроса экспертов нецелесообразно.

Необходимость повторения операций экспертизы оценки качества продукции может возникнуть по различным причинам:

- сравнение результатов, полученных с использованием одинаковых процедур в различных условиях;

- сравнение различных методов или процедур, например, очного или заочного опроса;

- повышение точности результата за счет многократного обмена информацией;

- оценка качества эксперта за счет определения стабильности его суждения, выраженного показателем воспроизводимости.

К одной из разновидностей многоэтапного метода относится метод Делфи, который американцы довольно долго держали засекреченным.

Метод Делфи был предложен в начале пятидесятых годов американскими учеными Т.Дж. Гордоном и О. Хелмером для решения военных проблем. Название этого метода происходит от древнегреческого города Дельфа, где с IX в. до н. э. при храме Аполлона существовал совет мудрецов - “дельфийский оракул”. Назначение метода Делфи состоит в выявлении мнения специалистов в обстановке, исключающей прямые дебаты между ними, но позволяющей им неоднократно взвешивать свои суждения, учитывая ответы коллег.

Характерными чертами метода Делфи являются:

- анонимность; эксперты не встречаются друг с другом;

- ответы на вопросы обязательно содержат количественную характеристику;

- многоэтапность; после каждого тура эксперты знакомятся с ответами коллег и при необходимости составляют письменные обоснования своих точек зрения, что может найти отражение в изменении мнений эксперта на следующем этапе опроса;

- контроль; после каждого тура проводится статистическая обработка полученных ответов до тех пор, пока степень согласованности мнений экспертов не достигнет заранее выбранного значения.

Количество проводимых туров опроса зависит от квалификации специалистов и опыта. При особо важных измерениях можно учитывать весовые коэффициенты квалификации экспертов. В среднем считается достаточно проведения трех туров для группы, состоящей из 10-12 экспертов.

По способу проведения экспертные опросы подразделяются:

- непосредственное измерение;

- ранжирование;

- сопоставление.

При непосредственном измерении экспертным методом значения показателей качества определяются в установленных единицах: единицы СИ, баллы, нормо-часы, рубли, единицы условного топлива и т.д. Такие измерения могут проводиться по шкале отношений или по шкале интервалов. Для измерения по шкале отношений требуется наличие эталона. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале интервалов.

Значения коэффициентов рассчитываются по формуле (33):

 

, (33)

 

где n – количество экспертов;

m – число взвешиваемых показателей;

G_ij – коэффициент весомости j-го показателя в баллах, данный

i-м экспертом.

Непосредственное измерение экспертным методом является наиболее сложным и требует высококвалифицированных экспертов.

Ранжирование заключается в расстановке объектов измерений или показателей качества в порядке их предпочтения или по важности. Место, занятое при такой расстановке называется рангом. Согласно метода предпочтения эксперта просят пронумеровать все весомости M_j в порядке их предпочтения так, что весомость наименее предпочитаемого свойства получает номер 1, следующее – 2, и чем важнее свойство, тем больше значение весомости.

Расчетная формула весомости j-го свойства M_j:

 

, (34)

где W_jl – место, на которое поставлена весомость j-го свойства у

l-го эксперта;

r – количество экспертов;

n – количество свойств.

Согласно метода ранга эксперт делает оценку важности каждого свойства по шкале относительной значимости в диапазоне от 1 до 10, причем он может присваивать свойству как целые, так и дробные числа. В данном методе расчетная формула весомости M_j имеет вид:

 

, (35)

 

где

(36)

 

причем P_jl - оценка весомости j-го свойства у l-го эксперта.

Сопоставление подразделяется на последовательное и попарное. Метод последовательного сопоставления заключается:

1. Расположение весомостей всех свойств в порядке предпочтения аналогично методу предпочтения (ранжирования).

2. Наиболее важное свойство получает весомость M_j = 1,0; все остальные - в порядке убывания в диапазоне от 1 до 0.

3. Если свойство с весомостью M₁ важнее всех остальных свойств вместе взятых, то M₁ увеличивается до величины, превосходящей сумму всех прочих весомостей:

 

> , (37)

 

Если же эксперт считает, что свойство M₁ менее важное, то проводится обратная процедура:

 

< , (38)

 

4. Аналогичным образом сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом, и так далее для всех остальных. При этом нужно следить, чтобы не нарушалось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе.

5. Полученные результаты измерений или весовые коэффициенты нормируют, то есть делят на общую сумму баллов или весовых коэффициентов, после этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Метод попарного сопоставления является наиболее простым и заключается в сравнении двух объектов. Результаты представляются в форме ортогональной матрицы. Например, необходимо сравнить эстетические показатели шести видов обоев, обозначенных номерами 1, 2,....6 (таблица 3), где предпочтение i-го вида над j-ым соответствует 1, а противоположное - 0.

Ранжированный ряд имеет вид (по возрастающей): №4 №5, №6, №2, №1, №3.

Этот же пример можно рассмотреть с проведением ранжирования следующего вида: преимущество i-го вида над j-ым соответствует 1, противоположное - (-1); а при равном качестве - 0 (таблица 4).

Следовательно, наивысшие эстетические показатели имеют обои № 3, затем, № 1; № 2, № 6 и № 4 имеют равные свойства, наихудшие показатели у обоев № 5.

Шишкин И.Ф. приводит следующий вариант проведения попарного сопоставления. Предпочтение выражается указанием номера предпочитаемого объекта (таблица 5).

 

Таблица 3

 

j i							Итого
	´
		´
			´
				´
					´
						´

 

 

Таблица 4

 

j i							Итого
			-1
	-1		-1				-1
	-1		-1				-1
	-1	-1	-1	-1		-1	-5
	-1		-1				-1

 

Балл j-го объекта или весомость j-го показателя рассчитывается по формуле (39). В данном случае:

 

, (39)

 

где F_i,j – частота предпочтения i-м экспертом j-го объекта

экспертизы;

c – общее число суждений одного эксперта, связанное с

числом объектов экспертизы m (числом измеряемых

показателей или коэффициентов весомости) соотношением:

 

. (40)

 

Таблица 5

 

Номер объекта экспертизы
	´
		´
			´
				´
					´
						´

 

Анализ результатов

 

После проведения опроса экспертов необходимо определить их степень согласованности, используя коэффициент конкордации W (41).

 

, (41)

 

где S – сумма квадратов отклонений суммы рангов каждого объекта

экспертизы от среднеарифметического рангов;

n – число экспертов;

m – число объектов экспертизы.

Коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Существенность значения W устанавливают с помощью критерия (распределение Пирсона) (42):

 

. (42)

 

Значение сравнивают с табличным при заданном уровне значимости a и числе степеней свободы f = n-1. При > (f) степень согласия между исследователями (значение коэффициента конкордации W) не вызывает сомнения.

Если имеют место «связанные ранги», то коэффициент конкордации задается формулой

 

(43)

 

где

 

, (44)

 

- l-е число одинаковых рангов в k-м ранжировании. Например, если некоторый k-й исследователь записал ранги 1; 2; 4,5; 4,5; 4,5; 4,5; 8; 8; 8; 10, то для него

 

(4³-4)+(3³-3)=84.

 

Существенность значения W устанавливается также с помощью критерия

 

, (45)

 

который также сравнивают с табличным при заданном уровне значимости a и числе степеней свободы f = n-1.

 

Контрольные вопросы

1. В чем суть экспертного методы?

2. Как формируют и готовят экспертную комиссию?

3. Каков порядок экспертного опроса?

4. Каким образом обрабатывают результаты экспертной комиссии?

5. Что характеризует коэффициент конкордации?

 

Заключение

 

В курсе лекций по дисциплине «Квалиметрия» рассмотрены важнейшие теоретические и прикладные аспекты к оценке качества продукции. Несомненно, материал этого пособия позволит студентам, изучившим дисциплину «Квалиметрия», с успехом применить полученные знания на практике.

Методы измерения и оценки качества продукции в настоящее время находят свое применение не только при оценке качества вещественной продукции различных отраслей и, в частности, продукции химико-лесного комплекса. Они всё чаще и чаще применяются при оценке качеств различных услуг, и даже при оценке качеств человека. В целом качество жизни тоже можно описать, используя основные квалиметрические подходы.

Шкалирование, применяемое в квалиметрии, зачастую применяется в таких исследованиях, как маркетинговые. Этот способ позволяет наглядно и результативно представить экспериментально полученный материал, а также помогает свести воедино оцениваемые качественные параметры, которые очень трудно оценить количественно другими способами (например, удовлетворённость потребителя).

Решаемые квалиметрией такие задачи, как обоснование номенклатуры показателей качества, разработка методов определения показателей качества продукции и их оптимизации, разработка принципов построения обобщённых показателей качества и обоснование условий их использования позволяют создать методические основы для стандартизации и управления качеством.

Квалиметрическая оценка качеств есть только основа и начальная стадия сложного процесса управления качеством объектов. Без знания об уровне свойств и качеств рассматриваемых объектов нет возможности для научно обоснованного принятия необходимого управляющего решения и последующего осуществления соответствующего корректирующего воздействия на объект с целью изменения качества.

По итогам квалиметрических оценок производят: 1) оптимизацию показателей свойств и качества в целом; 2) прогнозирование качества продукции; 3) определение уровня и запаса конкурентоспособности как совокупной оценки уровней качества и цены продукции или услуги и многое другое.

Квалиметрия как относительно новая и фундаментальная наука является, во-первых, актуальной и базисной для других сопряженных наук, направленных на решение проблем управления качеством. Во-вторых, квалиметрия все ещё нуждается в развитии и использовании при принятии управленческих решений в отношении качества чего-либо.

 

Библиографический Список

Основная литература

1. Калейчик М. М. Квалиметрия: учеб. пособие / М. М. Калейчик. - М.: МГИУ, 2006. - 198 с.

2. Агарков А.П. Управление качеством: [учеб. пособие для вузов по специальности "Менеджмент орг."] / А. П. Агарков. - М.: Дашков и К, 2007. - 217 с.

3. Квалиметрическая экспертиза строительных объектов / [В. М. Маругин [и др.]; под ред. В. М. Маругина, Г. Г. Азгальдова. - СПб.: Политехника, 2008. - 527 с.

4. Мишин, В.М. Управление качеством: [учеб. для вузов по специальности "Менеджмент орг."] / В. М. Мишин. - М.: Юнити, 2008. - 463 с.

5. Федюкин, В.К. Квалиметрия. Измерение качества промышленной продукции: [ учеб. пособие для вузов] / В. К. Федюкин. - М.: КноРус, 2009. - 320 с.

Дополнительная литература

1. ГОСТ 15467-79 «Управление качеством продукции. Основные понятия. Термины и определения».

2. Бузов, Б.А. Управление качеством продукции. Технический регламент, стандартизация и сертификация: [учеб. пособие для вузов по направлению подгот. "Технология и конструирование изделий лег. пром-сти"] / Б. А. Бузов. - М.: Академия, 2006. - 172 с.

3. Лобашев, В.Д. Характеристика процессов и элементов оценивания / Лобашев В. Д.; В. Д. Лобашев, И. В. Лобашев // Стандарты и мониторинг в образовании. - 2005. - № 5.- С. 23-30.

4. Корнещук, Н.Г. Квалиметрия как инструмент оценки качества образования / Н. Г. Корнещук, Г. Ш. Рубин, Т. В. Абрамова // Стандарты и мониторинг в образовании. - 2006. - № 3.- С. 16-20.

5. Сафонцев, С.А. Экспертная оценка программ дополнительного профессионального образования / С. А. Сафонцев, И. С. Коновалова // Стандарты и мониторинг в образовании. - 2006. - № 4.- С. 28-36.

6. Азгальдов, Г.Г. Квалиметрия - наука об измерении качества продукции / Г. Г. Азгальдов и др. // Стандарты и качество. - 2007. - № 4.- С. 62-63.

7. Родионова, Е.М. Оценке качества образования - квалиметрический подход / Е. М. Родионова, Т. Н. Козлова // Стандарты и качество. - 2007. - № 4.- С. 76-78.

8. Малахова, Ю.Г. Методология оценки конкурентоспособности риэлтерских услуг / Ю. В. Малахова, Л. Н. Руденко // Современный российский менеджмент: состояние, проблемы, развитие. - Пенза, 2007. - С. 71-73.

9. Корнеева, В.М. Сущность и возможность квалиметрического анализа / В. М. Корнеева, А. И. Феофанов, Р. М. Хвастунов // Стандарты и качество. - 2007. - № 9.- С. 76-81.

10. Нестерова, Е.И. Экспертно-аналитический метод оценки результативности СМК предприятий и организаций кинематографии [Текст] / Елена Ивановна Нестерова // Методы менеджмента качества. - 2008. - № 7.- С.8-12.

11. Квалиметрия [Текст]: метод. указания к выполнению курсовой работы для специальности 220501 очн. формы обучения / Федер. агентство по образованию, ГОУ ВПО "Сиб. гос. технол. ун-т". - Красноярск: СибГТУ, 2010. - 44 с.

12. Аристов, Д.В. Квалиметрический анализ конкурентоспособности предприятия [Текст] / Д. В. Аристов, В. С. Осипчик // Менеджмент в России и за рубежом. - 2010. - № 1.- С.90-94.