Общие сведения о методах экспертных оценок (МЭО)

Методы экспертных оценок (МЭО) специальные процедуры, логические приемы и математические методы, применяемые для сбора, обобщения и анализа информации, полученной от специалистов.

Для этой цели разрабатывают шкалу, с помощью которой анализируемые экспертом понятия переводят в цифры. Различают несколько видов шкал: шкала наименований, частично упорядоченная шкала, шкала порядка, шкала интервалов и шкала отно­шений. При обработке материалов опроса шкала порядка является са­мой простой и надежной.

Шкала порядка – полностью упорядоченная шкала, в которой установлены соотношения между всеми объектами. Объекты располагаются в порядке убывания их влияния. Операция расположения их в данном порядке называется ранжированием, а полученный ряд – ранжированным рядом. Шкала легко поддается математической обработке (вычисление коэффициентов корреляции).

Не менее важными, чем выбор шкалы оценок, являются вопросы формирования экспертной группы, основные из которых – оценка компетентности и выбор необходимого числа экспертов.

Компетентность экспертов оценивается по отклонению оценки эксперта от средней оценки группы. Для этого выполняют следующее:

– определяют среднее мнение экспертной комиссии, выводят средний балл;

– каждому эксперту присваивают место в порядке убывания компетентности (чем ближе к среднему, тем ниже балл);

– по полученным значениям мест рассчитывают ранги (j = 1,2,..., п – номер эксперта);

– пропорционально рангам определяют весомость мест экспертов (компетентность) так, чтобы

– итоговую оценку комиссия определяет с учетом компетентности экспертов

. (7.1)

 

Численность экспертной группы зависит, прежде всего, от метода оценки качества продукции. Вероятность принятия правильного решения возрастает с ростом числа экспертов. Рекомендуется иметь в составе экспертной группы не менее 7–10 человек.

Наиболее распространенным методом выявления мнений экспертов является анкетный опрос. На вопросы анкеты могут отвечать и изготовители продукции, и ученые, и потребители, что определяется целью опроса. Лиц, отвечающих на вопросы анкеты, называют респондентами. При подготовке опроса создается рабочая группа, в которую входят специалисты. Рабочая группа проводит выбор респондентов, разрабатывает сопроводительные документы и форму анкеты. После ранжирования свойств (факторов) оценивают важность факторов и согласованность мнений респондентов.

Полученные данные обрабатывают с помощью априорного ранжирования, основанного на методах ранговой корреляции. При ранжировке эксперт располагает операции в порядке, который представляется ему наиболее рациональным, и приписывает каждому из них числа-ранги. Наиболее важную операцию обозначают рангом , а наименее значимую рангом , где – число обсуждаемых операций.

Пример ранжировки операций приведен в табл. 7.1.

 

Таблица 7.1

Ранжировка операций

Операции
Ранги

 

Если эксперт считает несколько операций равноценными по значимости, и присваивает им одинаковые оценки, необходимо определить нормальную ранжировку операций. Сумма одинаковых оценок должна быть равна сумме мест при их последовательном расположении. Тогда операциям 2 и 5, поделившим между собой второе и третье места, присваивают ранг , а операциям 3, 4, 6, поделившим четвертое, пятое и шестое места, приписывают ранг . В итоге получают нормальную ранжировку (табл. 7.2).

Таблица 7.2

Нормальная ранжировка операций

Операции
Ранги		2,5			2,5

 

Использование метода экспертных оценок проиллюстрируем на примере выявления значимых факторов, определяющих качество посадки женского жакета.

 

Пример использования метода экспертных оценок

На основе анализа литературы [5, 11, 30] составлен предварительный перечень факторов, определяющих качество посадки женского жакета:

Х₁ – правильность положения края полы изделия;

Х₂ – правильность положения воротника;

Х₃ – правильность положения боковых швов;

Х₄ – правильность положения рукава;

Х₅ – правильность положения низа изделия;

Х₆ – отсутствие горизонтальных складок в верхней части спинки;

Х₇ – отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

Проведение серии экспериментов с целью выявления влияния каждого из 7 факторов на качество посадки жакета нереально, поскольку потребует большого расхода материалов на изготовление образцов и длительности процесса исследования, поэтому такую задачу целесообразно решать экспертным методом путем предварительного отсеивания числа факторов с использованием априорного ранжирования.

Восьми специалистам () было предложено ответить на вопросы анкеты с целью оценки степени влияния каждого фактора на качество посадки женского жакета (табл. 7.3). В качестве примера в табл. 7.4 приведена анкета, заполненная одним из восьми экспертов.

 

 

АНКЕТА

Дата ____________________

Ф. И. О. _________________

Место работы ____________

Должность ______________

Стаж работы_____________

 

Просим оценить каждый из перечисленных факторов, определяющих качество посадки одежды путем присвоения им рангов (мест) с 1 по 7 по степени убывания значимости, например ранг 1, 2 и т. д. присваивают самым значимым факторам, по которым проявление дефектов, ухудшающих качество, крайне нежелательно.

Таблица 7.3

Распределение мнений специалистов о важности признаков,

характеризующих качество посадки женского жакета

Индекс фактора	Внешнее проявление	Оценка
Х1	Правильность положения края полы изделия;
Х2	Правильность положения воротника;
Х3	Правильность положения боковых швов;
Х4	Правильность положения рукава;
Х5	Правильность положения низа изделия;
Х6	Отсутствие горизонтальных складок в верхней части спинки;
Х7	Отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

 

Таблица 7.4

Ответы специалиста на вопросы анкеты о важности признаков,

характеризующих качество посадки женского жакета

Индекс фактора	Внешнее проявление	Оценка
Х1	Правильность положения края полы изделия;
Х2	правильность положения воротника;
Х3	Правильность положения боковых швов;
Х4	Правильность положения рукава;
Х5	Правильность положения низа изделия;
Х6	Отсутствие горизонтальных складок в верхней части спинки;
Х7	Отсутствие наклонных складок на спине, идущих от боковых швов или проймы.

 

Таблица 7.5

Сводная таблица результатов опроса

Экспер-ты, m	Факторы, n	Число одинаковых рангов, tj
								2,2
								2,2

Оценки, проставленные экспертами каждому фактору, приведены в табл. 7.5. В результате ранжирования полученных данных составлена табл. 7.6.

 

Таблица 7.6

Нормализованная матрица ранжирования

Эксперты, m	Факторы, n
		2,5		2,5
		2,5		2,5		4,5	4,5
		4,5		2,5		4,5	2,5
		24,5		18,5
	-18	-7,5		-14,5
		56,25		182,25				1083,5
		31,5		38,5
	0,25	0,19	0,04	0,22	0,07	0,13	0,10	1,00
	0,38	0,28	-	0,34	-	-	-	1,00

 

Сумма рангов, полученная в результате ранжировании, у каждого эксперта по горизонтали должна быть постоянной и равной

 

, (7.2)

 

где – номер операции; – шифр эксперта.

 

В рассматриваемом примере

 

 

Мнения респондентов о весомости свойств могут по различным причинам не совпадать.

При ранжировании несколькими лицами для определения, в какой мере совпадают полученные ранговые последовательности, служит коэффициент конкордации . Если m лиц дают испытуемым предметам n ранговые цифры 1 … n, то определяют сумму ранговых цифр каждого испытуемого предмета (S_i) и из неё вычисляют коэффициент конкордации :

 

, (7.3)

 

где – средняя сумма рангов всех операций.

Сумма рангов для каждого -го свойства определяется по формуле:

. (7.4)

 

Средняя сумма рангов

 

. (7.5)

 

Сумма квадратов отклонений

 

. (7.6)

 

Для рассматриваемого примера результаты расчета , , представлены в табл. 7.6.

При наличии связанных (равных) рангов коэффициент конкордации определяется по формуле:

, (7.7)

 

где – показатели связанных рангов для каждого -го эксперта

 

, (7.8)

 

где – число рангов с одинаковыми оценками у -го эксперта, – число одинаковых рангов внутри каждого случая.

Вычисление поясним на примере (для четвертого эксперта), который выставил двум факторам ранг 2,5 и еще двум – 4,5. Таким образом, .

Подставляя полученные данные из табл. 7.6 в формулу (7.7) получаем:

 

.

 

может принимать значения 0£ £1, причём, означает несовпадение ранговых последовательностей, – полное совпадение. Чем ближе к 1, тем лучше согласованность мнений экспертов.

Оценка значимости при числе свойств больше 7 осуществляется по критерию Пирсона , расчетное значение которого находится по формуле

 

. (7.9)

 

Коэффициент конкордации значим, если при заданном числе степеней свободы () и уровне доверительной вероятности расчётное значение больше табличного (прил.8).

В рассматриваемом примере .

По таблице прил. 8, исходя из числа степеней свободы , при доверительной вероятности находим .

Так как табличное значение -критерия меньше расчетного, поэтому степень совпадения мнений экспертов можно оценивать найденным коэффициентом конкордации.

Далее определяют коэффициенты весомости каждого показателя:

 

. (7.10)

 

По полученным данным можно построить диаграмму значимости свойств (рис. 7.1).

Если бы все показатели были одинаково значимы, то их коэффициенты весомости были одинаковы и равны: .

 

Рис. 7.1. Диаграмма весомости показателей свойств

 

Из всех n характеристик выделяют наиболее значимые характеристики n₀, для которых . Для каждой из выделенных характеристик определяют относительный коэффициент значимости по формуле

, (7.11)

 

где – сумма для каждой из оставленной характеристики.

Из табл. 7.6 наиболее значимыми являются первый, второй и четвертый факторы, у которых Для этих показателей рассчитаем относительные коэффициенты значимости.

 

Таким образом, наиболее важными показателями, характеризующими качество посадки женского жакета являются:

Х₁ – правильность положения края полы изделия;

Х₂ – правильность положения воротника;

Х₄ – правильность положения рукава.

Их нужно использовать в качестве объектов операционного контроля при оценке качества заданного изделия (табл. 7.6).

 

 

Практическая работа № 7

Тема работы: оценка показателей качества продукции с применением методов экспертных оценок.

Цель работы: ознакомиться с методом экспертных оценок, оценить согласованность мнений экспертов при определении значимых показателей качества.

Методика и порядок выполнения:

Для проведения исследования студенты разделяются на группы.

1. После изучения метода экспертных оценок выбрать объект для исследования в соответствии с заданием (табл. 7.7).

 

Таблица 7.7

Задания к практической работе 7

Номер варианта	Объект исследования	Номер варианта	Объект исследования
	Куртка (женская, мужская)		Швейная машина
	Плащ (женский, мужской)		Стиральная машина
	Рубашка (блузка)		Телевизор
	Головной убор (женский, мужской)		Мягкая мебель
	Обувь (женская, мужская)		Диски музыкальные
	Фен		Фотоаппарат
	Предметы косметики (тушь для ресниц, губная помада, пудра, тени для век и т. д.)		Видеокамера
	Сумка (женская, мужская)		Микроволновая печь
	Компьютер		Принтер
	Монитор		Бижутерия

 

2. Разработать анкету и провести опрос экспертов, по результатам которого составить сводную таблицу результатов опроса (табл. 6.5).

3. Проранжировать полученные экспертные оценки, данные занести в преобразованную матрицу ранжирования (табл. 7.6).

4. Оценить согласованность мнений экспертов. Расчет производить в следующей последовательности.

4.1. Сумма рангов для каждого -го свойства (7.4).

4.2. Средняя сумма рангов (7.5).

4.3. Сумма квадратов отклонений (7.6).

4.4. Показатели связанных рангов для каждого -го эксперта (7.8).

4.5. Коэффициент конкордации (7.7).

5. Провести оценку значимости по критерию Пирсона (7.9).

6. Определить коэффициенты весомости показателей (7.10) и выявить наиболее значимые из них, построить диаграмму весомости показателей.

 

Содержание отчета

1. Сводная таблица результатов опроса (табл. 7.5).

2. Преобразованная матрица ранжирования (табл. 7.6).

3. Расчет коэффициента конкордации .

4. Оценка значимости по критерию Пирсона .

5. Расчет коэффициентов весомости показателей с выделением наиболее значимых.

6. Диаграмма весомости показателей исследуемых характеристик.

7. Выводы о согласованности мнений экспертов и выборе наиболее значимых показателей, влияющих на качество продукции.

 

Метод экспертных оценок используется на основе решений экспертов в том случае, если точные количественные методы оценки невозможны. Оценки, получаемые от экспертов, являются случайными переменными, распределение которых отражает суждения специалистов о вероятности того или иного исхода события. Поэтому для анализа согласованности оценок, полученных от экспертов, применяют обобщенные статистические характеристики.

 

Контрольные вопросы

1. Назвать область применения метода экспертных оценок?

2. Как проводится ранжирование операций?

3. Как получить нормальную ранжировку?

4. Что показывает коэффициент конкордации?

5. Для чего определяются коэффициенты весомости?

ЗАКЛЮЧЕНИЕ

Важнейшей задачей, стоящей перед высшей школой, является существенное повышение качества подготовки специалистов, обладающих творческими способностями, навыком практического использования полученных в вузе знаний в деле ускорения научно-технического прогресса.

Длительный опыт многих ведущих вузов страны показал, что одним из эффективных направлений решения такой задачи является привлечение студентов к творческой работе в период обучения, требующей применения уже полученных знаний, необходимостиих углубления и практического закрепления. В связи с этим сведения, получаемые в вузах при чтении учебников, традиционно закреплялись на семинарских занятиях, в процессе выполнения лабораторных работ. Однако всесторонние методические разработки каждого такого занятия или лабораторной работы во многих случаях требовали от студентов лишь более или менее точного выполнения методически продуманных этапов работы, чтобы получить конечный результат. Эта форма практического закрепления получаемых знаний, конечно, давала определенный результат, но не требовала от студентов творческого напряжения, поиска заранее неизвестного результата, что, естественно, снижало эффективность таких занятий. И поэтому усилия многих вузов были направлены на то, чтобы поднять эффективность творческого воспитания будущих специалистов в направлении усложнения учебных заданий, введение в них творческих элементов, что естественным путем приводило к целесообразности привлечения студентов к научно-исследовательской работе в самых различных формах.

Накопление опыта, расширение такой работы как в рамках учебного процесса, так и вне его дало возможность, с одной стороны, обобщить положительный опыт, а с другой – принять меры, способствующие по возможности более ранней подготовке студентов для участия в творческой, научно-исследовательской работе. Такой мерой было включение во многие планы вузов специального времени, отводимого для выполнения научно-исследователь-ской работы и введение учебной дисциплины «Методы и средства исследований». В задачу названной дисциплины входит вооружение будущего специалиста комплексом знаний, необходимых для участия в творческой работе. В связи с этим учебное пособие охватывает вопросы, которые помогут специалисту с большей подготовкой участвовать в исследованиях, правильнее осуществлять поиск решения поставленной перед ним творческой задачи.

Освоение каждым специалистом сведений, содержащихся в предлагаемом учебном пособии, дадут желаемый высокий эффект только при условии, если теоретическая работа будет подкреплена практикой, практическим участием студентов в научно-исследовательской, конструкторской, проектной и другой творческой работе в период обучения. Поэтому при изучении данной дисциплины каждый студент получает возможность самостоятельного выполнения научно-исследовательской работы. Из практики установлено, что каждая работа отличается индивидуальностью постановки задачи, различными этапами ее выполнения, своеобразием метода решения, выбором определенных факторов, использованием различных приборов и испытательных стендов, различными методами математической или экспертной обработки результатов и прочее.

Студенческая научно-исследовательская работа может быть теоретического характера, включать экспериментальное, экспериментально-аналитическое исследование реферативного порядка, в форме прикладного решения практических задач или исследования смешанного типа.

Тематика НИРС тесно связана с учебной и исследовательской работой, проводимой преподавателями и аспирантами кафедры по госбюджетным, хоздоговорным работам, договорам о творческом содружестве с работодателями. При выполнении научно-исследовательской работы студенту необходимо проявить умение: квалифицированно ориентироваться в теоретических и прикладных разделах основных дисциплин, связанных с избранной специальностью; работать с отечественной и зарубежной литературой; при выполнении экспериментальной части уметь использовать современные методы исследования; правильно поставить эксперимент, обрабатывать и обобщать полученные результаты, оформлять содержание и графический материал в соответствии с требованиями ЕСКД и ГОСТ.

 

Библиографический список

1. Андросова, Г. М. Методы и средства исследований: учебное пособие / Г. М. Андросова. – Омск: ОГИС, 2000. – 212 с.

2. Андросова, Г. М. Методы и средства исследований: методические указания к выполнению контрольной работы / Г. М. Андросова,Л. Ф. Немирова. – Омск: ОГИС, 2002. – 48 с.

3. ГОСТ 4103-82. Изделия швейные. Методы проверки качества.

4. Джалилов, А. Х. Основы учебно-исследовательской работы студентов / А. Х. Джалилов, Д. Т. Досхожаев. – Алма-Ата: Мектеп, 1989. – 192 с.

5. Заёнчик, В. М. Основы творческо-конструкторской деятельности: Методы и организация: учебник для студ. высш. учеб. заведений / В. М. Заёнчик, А. А. Карачёв, В. Е. Шмелев. – М.: Издательский центр «Академия», 2004. – 256 с.

6. Инструкция «Технические требования к соединениям деталей швейных изделий». – М.: ЦНИИТЭИлегпром, 1991. – 101 с.

7. Коблякова, Е. Б. Основы проектирования рациональных размеров и форм одежды / Е. Б. Коблякова. – М.: Легкая и пищевая промышленность, 1984.

8. Крутов, В. И. Основы научных исследований: учебник для технических вузов / Грушко И. М., Попов В. В. и др. – М.: Высш. шк., 1989. – 400с.

9. Международная патентная классификация (8-я редакция). Т.1-9. – М.: ВНИИПИ, 2006.

10. Международная классификация промышленных образцов (8-я редакция). – М.: ВНИИПИ, 2004.

11. Поливанов, С. Ю. Эксплуатационные испытания швейных машин / С. Ю. Поливанов, В. Г. Прытков, Э. А. Сиротников. – М.: Легкая и пищевая пром-сть, 1984. – 136 с.

12. Сиденко, В. М. Основы научных исследований / В. М. Сиденко, И. М. Грушко. – Харьков: Высшая школа, 1987. – 200 с.

13. Стельмашенко, В. И. Методы и средства исследования в процессах оказания услуг. Практикум: учеб. пособие / В. И. Стельмашенко, Н.В. Воронцова, Т.Н. Шушунова. – М.: ИД «ФОРУМ»: ИНФРА-М, 2007. – 384 с.

14. Тихонов, В.А. Основы научных исследований: теория и практика / учеб. пособие / В. А. Тихонов, Н. В. Корнев, В. А. Ворона, В. В. Остроухов. – М.: Гелиос АРВ, 2006. – 352 с.

15. Универсальная десятичная классификация (3-е советское издание) Т.1-6. – М.: Изд-во стандартов, 1986.

16. Шаньгина, В. Ф. Оценка качества соединений деталей одежды /В. Ф. Шаньгина. – М.: Легкая промышленность, 1981. – 168 с.

 

Приложение 1