Психометрические критерии научности психодиагностических методик

Психометрия—понятие это введено Вольфом (1734), указавшим на возможность измерения в психологии. Одним из первых измерений в экспериментальной психологии было измерение времени реакции. Поэтому первоначально под психометрией понималось измерение временных характеристик психических процессов. Впоследствии к психометрии начинают относить все то, что связано с количественным определением психических явлений (разумеется, существуют и другие, менее распространенные определения психометрии.

КРИТЕРИИ ОБЪЕКТИВНОСТИ НАУЧНЫХ ПСИХОДИАГНОСТИЧЕСКИХ МЕТОДИК ЗАЛОЖЕНЫ В ПРИНЦИПАХ И МЕТОДАХ ИХ РАЗРАБОТКИ. При научной организации работы по созданию тестов используются внешние критерии, не зависимые от воли и желаний разработчика теста. Результаты ответов испытуемых на каждое отдельное задание теста сравниваются с этими внешними критериями. Те задания, которые дают результаты, совпадающие (или статистически значимо коррелирующие) с критерием, объявляются ВАЛИДНЫМИ (то есть обоснованными) по данному критерию. Когда, после отсева невалидных заданий, в тесте остаются только валидные задания, тест в целом оказывается валидным.

Стандартизация – это единообразие процедуры проведения и оценки выполнения теста.

Два этапа (плана):

● как выработка единых требований к процедуре эксперимента;

● как определение единого критерия оценки результатов диагностических испытаний.

1. Стандартизацияпроцедуры экспериментаподразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.

Требования:

1) инструкции сообщать одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;

2) ни одному испытуемому не следует давать никаких преимуществ перед другими;

3) в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;

4) эксперимент с разными группами следует проводить в одинаковое по возможности время дня, в сходных условиях;

5) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т.д.

Авторы методик в руководстве приводят точные указания по процедуре проведения. Это дает возможность сравнить между собой показатели, полученные разными испытуемыми.

2. Выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний.

2.1. Это проводится статистическим путем – это статистическая норма. Для этого создается выборка стандартизации, вырабатываются нормы. Нормы указывают средний уровень выполнения и его относительную вариативность выше и ниже среднего уровня. Это позволяет определить положение испытуемого относительно нормативной выборки (выборки стандартизации).

Для вычисления статистической нормы используются приемыматематической статистики. Для классификации всего полученного при стандартизации материала используются σ и М. Результаты в пределах М ± σ (68,26 % случаев) – показывают границы наиболее характерной, представительной части распределения, границы нормы для каждого возраста.

2.2. Основой для сравнения, интерпретации результатов диагностических испытаний могут стать процентили.

Процентиль – это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя. Процентиль показывает на относительное положение испытуемого в выборе стандартизации.

2.3. Точка отсчета – независимый от результатов испытания, объективно заданный социально-психологический норматив. Разрабатывается под руководством К.М. Гуревича. Социально-психологический норматив рассматривается как 100%-ное выполнение всего теста.

Статистическая норма - это средний диапазон значений на шкале измеряемого свойства (область, прилегающая к центральной линии на профиле). Нормой здесь считается близость значения свойства к тому уровню, который характеризует
статистически среднего индивида. Значимое отклонение от нормы в этом случае (выход за пределы среднего диапазона) называется акцентуацией, а данная личностная черта называется "акцентуированной". Чем сильнее выражено это отклонение, тем более сильной считается акцентуация, вплоть до появления "патохарактерологических" признаков.

Нормальное распределение случайной величины (распределение Лапласа–Гаусса) – это наиболее важное распределение в статистике. В обеспечении качества оно также играет центральную роль. Его широкое применение объясняется тем, что многие случайные величины достаточно близко описываются этим законом.

Особенность закона: он является предельным законом, к которому при определенных условиях приближаются другие законы. Нормальный закон проявляется в тех случаях, когда случайная переменная Х является результатом действия большого числа различных факторов. Каждый фактор в отдельности на величину Х влияет незначительно, и нельзя указать, какой именно влияет в большей степени, чем остальные.

Кривая нормального распределения (кривая Гаусса)

Форму и положение нормальной кривой обусловливают значение средней и среднего квадратичного отклонения Математически доказано, что изменение величины среднего (математического ожидания) не меняет формы нор рмальнои кривой, а приводит лишь к ее смещение вдоль оси абсцисс Кривая сдвигается вправо, если ~ растет, и влево, если ~ спадаає.

ВЫБОРКА СТАНДАРТИЗАЦИИ - группа людей, на которой осуществляется стандартизация методики. Правила формирования выборки стандартизации:

1) выборка стандартизации должна состоять из респондентов, на которых в принципе ориентирован данный тест, то есть если создаваемый тест ориентирован на детей (например, тест Амтхауэра), то и стандартизация должна происходить на детях заданного возраста;

2) выборка стандартизации должна быть репрезентативной, то есть представлять собой уменьшенную модель популяции по таким параметрам, как возраст, пол, профессия, географическое распределение и т.д. Под популяцией понимается, например, группа дошкольников 6-7 лет, руководителей, подростков и т.д. Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью (популяцией).

Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью.

Репрезентативность выборки - представительность отобранной из всей изучаемой совокупности части в отношении тех признаков, которые изучаются или оказывают влияние на формирование обобщающих характеристик.

В репрезентативной выборке все элементы генеральной совокупности представлены в той же пропорции

Таким образом, существует несколько способов, избежать ошибки:

- каждый элемент генеральной совокупности должен иметь одинаковую вероятность попасть в выборочную совокупность;

-генеральная совокупность должна быть желательно однородной;

- необходимо иметь сведения о структуре генеральной совокупности и её характерные черты;

-при составлении выборочной совокупности заранее учесть случайные и систематические ошибки.

Для обеспечения репрезентативности выборки используют один из следующих методов. [7]

В качестве показателя репрезентативности выборки обычно используют отношение выборочной средней к истинной средней, выраженное в процентах. [8]

С целью обеспечения репрезентативности выборки в зависимости от конкретных условий применяются различные способы отбора: простой, типический, механический, серийный. [9]

Как известно, понятие репрезентативности выборки в социологии является довольно сложным, отнюдь не всегда совпадающим с соответствующими математико-статистическими представлениями. Коротко опишем, как оно должно пониматься в рассматриваемом случае. [10]

На практике для обеспечения репрезентативности выборки пользуются сочетанием вышеуказанных способов отбора.

Надежность методики — это такой критерий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.

Степень надежности методик зависит от многих причин. Поэтому важной проблемой практической диагностики является выяснение факторов, снижающих точность измерений. Была сделана попытка составить классификацию таких факторов. Среди них наиболее часто называются следующие:

1) нестабильность диагностируемого свойства;

2) несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечетко сформулированы указания, как методику предъявлять испытуемым, и т. д.);

3) меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещенность помещения, наличие или отсутствие посторонних шумов и т. д.);

4) различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т. д.);

5) колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом — утомление и т. д.);

6) элементы субъективности в способах оценки и интерпретации результатов (когда ведется протоколирование ответов испытуемых, оцениваются ответы по степени полноты, оригинальности и т. п.).

Если все эти факторы иметь в виду и постараться в каждом из них устранить условия, снижающие точность измерений, то можно добиться приемлемого уровня надежности теста. Одним из важнейших средств повышения надежности психодиагностической методики является единообразие процедуры обследования, его строгая регламентация: одинаковые для обследуемой выборки испытуемых обстановка и условия работы, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми, порядок предъявления заданий и т. д. При такой стандартизации процедуры исследования можно существенно уменьшить влияние посторонних случайных факторов на результаты теста и таким образом повысить их надежность.

На характеристику надежности методик большое влияние оказывает исследуемая выборка. Она может как снижать, так и завышать этот показатель, например, надежность может быть искусственно завышена, если в выборке небольшой разброс результатов, т. е. если результаты по своим значениям близки друг к другу.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т. е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т. п. Для каждой такой выборки приводятся свои коэффициенты надежности. Приводимый показатель надежности применим только к группам, подобным тем, на которых он определялся. Если методика применяется к выборке, отличающейся от той, на которой проверялась ее надежность, то эта процедура должна быть проведена заново.

К. М. Гуревича, который, проведя тщательный анализ зарубежной литературы по этой проблеме, предложил толковать надежность как комплексную характеристику, включающую:

- надежность самого измерительного инструмента;

- стабильность изучаемого признака;

- константность, т. е. относительную независимость результатов от личности экспериментатора.

Основные показатели он предложил обозначить следующим образом:

- показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надежности;

- показатель, характеризующий стабильность измеряемого свойства — коэффициентом стабильности;
- показатель оценки влияния личности экспериментатора — коэффициентом константности.

Определение надежности измерительного инструмента

От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измерения. Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак.

Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод «расщМетодика признается надежной, когда полученный коэффициент не ниже 0,75-0,85. Лучшие по надежности тесты дают коэффициенты порядка 0,90 и более».

Для проверки стабильности диагностируемого признака, свойства используется прием, известный под названием тест-ретест. Он заключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или несохранении каждым испытуемым своего порядкового номера в выборке.

Коэффициент стабильности методики должен быть достаточно высоким (не ниже 0,80).

Определение константности (относительной независимости результатов от личности экспериментатора).

Коэффициент константности определяется путем корреляции результатов двух опытов, проведенных в относительно одинаковых условиях на одной и той же выборке испытуемых, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

«Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».

Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

Понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к самой методике, т. е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.

Обобщая, можно сказать следующее:

- при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация;
- при прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что нечто, измеряемое методикой, имеет связь с определенными областями практики.

Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее.

Таким образом, провести теоретическую валидизацию методики — это доказать, что методика измеряет именно то свойство, качество, которое она по замыслу исследователя должна измерять.

Американские исследователи Д. Тиффин и Е. Мак-Кормик, проведя анализ используемых для доказательства валидности внешних критериев, выделяют четыре их типа:

1) критерии исполнения (в их число могут входить такие, как количество выполненной работы, успеваемость, время, затраченное на обучение, темп роста квалификации и т. п.); 2) субъективные критерии (они включают различные виды ответов, которые отражают отношение человека к чему-либо или к кому-либо, его мнение, взгляды, предпочтения; обычно субъективные критерии получают с помощью интервью, опросников, анкет); 3) физиологические критерии (они используются при изучении влияния окружающей среды и других ситуационных переменных на организм и психику человека; замеряется частота пульса, давление крови, электросопротивление кожи, симптомы утомления И т. д.); 4) критерии случайностей (применяются, когда цель исследования касается, например, проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен отвечать трем основным требованиям:

- он должен быть релевантным;

- свободным от помех;

- надежным.

Под релевантностью имеется в виду смысловое соответствие диагностического инструмента независимому жизненно важному критерию.

Оценка валидности методик может носить количественный и качественный характер.

Для вычисления количественного показателя — коэффициента валидности — сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему критерию, тех же лиц. Используются разные виды линейной корреляции (по Спирмену, по Пирсону).

Надежность – устойчивость процедуры относительно объектов исследования.Валидность – однозначность, устойчивость относительно измеряемых свойств объекта, т. е. предмета измерения. Устойчивость теста относительно объектов (испытуемых) является необходимым, но недостаточным условием его устойчивости относительно измеряемых свойств объектов. Следовательно, надежность является необходимым, но недостаточным условием валидности. Это означает, что валидность теста не может качественно и количественно превышать надежность. Данное соотношение нельзя, однако, трактовать как указание на прямую пропорциональную связь характеристик валидности и надежности. Повышение надежности отнюдь не сопровождается обязательным повышением валидности.

Особой разновидностью валидности является достоверность, которая требует специальных усилий и процедур по ее обеспечению. Речь идет о сознательных или бессознательных искажениях, которые вносит 6 тестовые результаты сам испытуемый, руководствуясь в ходе теста особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении.

Способность теста защищать информацию от мотивационных искажений испытуемого и есть достоверность теста. Особенно остро эта проблема стоит в случае тестов-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа.

Типичный прием обеспечения достоверности - наличие в тест-опросниках шкал лжи. Шкала лжи - это шкала, состоящая из вопросов, касающихся незначительных проступков, которые совершаются большинством людей. Эти шкалы основываются главным образом на феномене социальной желательности - стремлении испытуемых давать в ходе тестирования социально одобряемую информацию.

Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо выполнить данный тест еще раз, будучи более откровенным, либо выполнить другой тест.

Достоверность тестирования тесно связана со степенью доверительности общения с психологом. Здесь принято различать две диагностические ситуации: консультативную (ситуация клиента) и аттестационную (ситуация экспертизы). В первом случае испытуемый участвует в тестировании на добровольной основе и сам заинтересован получить рекомендации по результатам тестирования (например, в профконсультации). Во втором случае тестирование проводится по инициативе педагога или администрации, психолога, родителей, т.е. других лиц, и эти другие больше заинтересованы в результатах, чем сам испытуемый.