Репрезентативность тестовых норм. Понятие о распределении. Нормальное распределение.

Репрезентативность – одна из психометрических характеристик теста. Говорит о возможности использования тестовых норм, выработанных на выборке стандартизации при разработке теста, для всей генеральной совокупности испытуемых, для которых данный тест предназначен. Также она значит, что с некоторой статистической погрешностью можно считать, что представленное в выборке распределение психических свойств соответствует их реальному распределению. Репрезентативность позволяет классифицировать результаты тестирования - выделять высокий, средний и низкий уровни выраженности психических свойств. Если тест не репрезентативен, то предлагаемые им оценки выраженности свойств будут неприменимы за пределами выборки стандартизации. Для оценки репрезентативности проводится анализ распределения тестовых баллов. Обычно при получении кривой нормального распределения делается вывод о том, что тестовые обладают репрезентативностью. Для проверки нормальности распределения используются различные статистические критерии (например, критерий Колмогорова-Смирнова). Но нормальность - не необходимое условие репрезентативности, репрезентативность тестовых норм может достигаться и без него. Если распределение тестовых баллов отличается от нормального, то для проверки репрезентативности необходимо решить вопрос об устойчивости тестовых норм: производится расщепление выборки пополам и сравнение распределений тестовых баллов в первой и второй половине выборки (мы делали на психодиагностике). Если различий нет, то распределение тестовых баллов является устойчивым, а тестовые нормы - репрезентативными. Психодиагностические нормы позволяют выносить диагностические заключения (относить испытуемого к определенной диагностической категории), что невозможно сделать просто на основании подсчета сырого тестового балла по ключам. Нормативные границы разделяют весь диапазон тестовых баллов на интервалы, соответствующие определенным уровням выраженности измеряемого признака. Первоначальный суммарный балл, подсчитанный с помощью ключа, но его нельзя диагностически интерпретировать, это всего лишь «сырой тестовый балл». Применение тестовых норм в психодиагностике основывается на процедуре стандартизации тестового балла: перевод тестовых баллов из «сырой» шкалы в «стандартную». Тестовые нормы – это такие критические точки на шкале тестовых баллов, которые отделяют области значений с заданным психодиагностическим выводом.

В психодиагностике следует различать как минимум два различных вида норм: статистические и социокультурные. Первый вид чаще применяется для оценки стилевых и мотивационных черт. Второй вид - для оценки способностей и достижений (знаний и умений). Виды психодиагностических норм:

Школьные нормы - разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны. Профессиональные нормы - устанавливаются на основе тестов для разных профессиональных групп, например: механиков разного профиля или машинисток. Локальные нормы - устанавливаются и применяются для узкой категории людей отличающихся наличием общего признака, например возраста или пола, географического района, национальности, экономического статуса.

Правила формирования выборки стандартизации: -выборка стандартизации должна состоять из респондентов на которых ориентирован данный тест, то есть если создаваемый тест ориентирован на детей то и стандартизация должна происходить на детях заданного возраста. - выборка стандартизации должна быть репрезентативной т.е. представлять собой уменьшенную модель популяции по таким параметрам как возраст пол, профессия, географ распределения. Под популяцией понимается например группа дошкольников, группа руководителей. Распределение результатов, полученных при тестировании испытуемых выборки стандартизации, можно изобразить с помощью графика – кривой нормального распределения. Этот график показывает, какие значения первичных показателей входят в зону средних значений (в зону нормы), а какие выше и ниже нормы.

Нормальное распределение имеет колоколообразную форму, асимптотически приближается к оси X (то есть может принимать сколь угодно малые значения по ординате при стремлении икс-значений к плюс или минус бесконечности), значения моды, медианы и среднего арифметического равны между собой. Свойством нормальных распределений является наличие определенного количества случайной величины (случаев, испытуемых), приходящегося на интервалы между значениями σ, обычно это количество измеряют в процентах от общего числа случаев, испытуемых. Считается, что нормальное распределение характеризует такие случайные величины, на которые воздействует большое количество разнообразных факторов, причем сила воздействия одного отдельно взятого фактора значительно меньше суммы воздействий остальных факторов. Многие биологические параметры распределены подобным образом (рост, вес и т.п.). Психологи полагают, что большинство психологических свойств, качеств (интеллект, свойства личности и т.п.) также имеет нормальное распределение, именно из этой посылки исходят при проведении стандартизации тестовых методик.

 

88. Надежность и точность тестов. Валидность тестов. Способы проверки теста на надежность и валидность. Теоретические и методологические вопросы адаптации иностранных тестов и методик.

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства: Воспроизводимость рез-тов исследования. Точность измерения. Устойчивость результатов.

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие: нестабильность диагностируемого свойства; несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.); меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.); различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.); колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утомление и т.д.); элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. К.М. Гуревич предложил толковать надёжность как: надёжность самого измерительного инструмента (коэффициент надежности); стабильность изучаемого признака (коэффициент стабильности); константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности). Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионая). Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной. Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази).Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность. Проверка валидности методики называется валидизацией. Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:

• Критерий исполнения (количество выполняемой работы, успеваемость, время, темп роста квалификации).
• Субъективные критерии (включают различные виды ответов, которые отражают отношение человека к чему-либо, его мнения, взгляды).
• Физиологический критерий (используется при изучении влияния внешней среды, влияющей на организм и психику).
• Критерий случайности (например, когда цель касается проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

Внешний критерий должен обладать 3 основными требованиями:

• Должен быть релевантным, то есть должна быть уверенность, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряет диагностическая методика. Внешний критерий и диагностическая модель должны находиться во внутреннем смысловом соответствии.
• Должен быть свободным от помех (контаминации). Следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях.
• Должен быть надежен. Постоянство и устойчивость исследуемой функции.

Оценка валидности методики может носить количественный и качественный характер.

Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия: Валидность «по содержанию» (используется в тестах достижения): 3 – 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя. Валидность «по одновременности» или текущая валидность – собираются данные, относящиеся к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту. «Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. «Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

В психометрике обоснование получили три метода оценки надёжности тестов:

1) метод повторного тестирования (метод тест-ретест); 2) метод тестирования параллельной, или эквивалентной, формой теста; 3) метод деления, или расщепления теста на части. Оценка надёжности по методу повторного тестирования требует, чтобы тест дважды предъявлялся одной и той же выборке испытуемых через какое-то время. Длительность временного промежутка определяется содержанием и характером задач теста.Второй метод оценки надёжности теста требует наличия параллельной, то есть эквивалентной, формы теста, например формы "А" и "Б". Репрезентативную выборку испытуемых, на которой проверяется надёжность теста, случайным образом делят на две примерно равночисленные группы. Затем первой группе предъявляются задачи формы "А", а второй группе – задачи формы "Б". Через некоторое время (не более одной недели) задачи формы "Б" решает первая группа, а формы "А" - вторая. После этого для всей репрезентативной выборки испытуемых отдельно вычисляются первичные результаты для форм "А" и "Б", которые затем подвергаются корреляции.Общим недостатком первых двух методов оценки надёжности теста является то, что они зачастую дают заниженные или завышенные коэффициенты надёжности. Дело в том, что дисперсия результатов, на основе которой рассчитывается коэффициент корреляции, неоднородна по своему составу. Наряду с дисперсией действительных индивидуальных различий в неё входят частные дисперсии, обусловленные влиянием как внутренних, психологических, причин (колебания внимания, усталость и др.), так и внешних (уличный шум, поведение и высказывания исследователя и т. п.). При этом сила и сочетание этих причин в первом и во втором тестировании могут быть различными, и оценить их влияние или полностью их нейтрализовать оказывается невозможным. Поэтому, особенно при проверке надёжности тестов мощности (например, интеллектуальных тестов) и достижений, предпочтение следует отдавать третьему методу, поскольку он предполагает лишь однократное тестирование. Третий метод оценки надёжности включает два различных приёма расчёта: разделение тестовых задач на две части, например по принципу "чётные и нечётные", и расчёт коэффициента консистентности задач теста. Требуется серьезная эмпирическая работа по проверке надежно­сти и валидности в новых социокультурных условиях, работа, факти­чески соответствующая по своему объёму созданию оригинальной методики. Важна работа по адаптации текста опросника к новым социокультурным условиям как с точки зрения языка, так и с точки зрения смыслового наполнения, адекватного той или иной культуре. Здесь было бы даже более адекватным использование не тер­мина «адаптация», а выражения «исследование зарубежной методики на отечественной выборке».

Необходимые этапы эмпирико-статистической рабо­ты при адаптации многомерного переводного тест-опросника:1. Анализ внутренней валидности, внутренней согласованности пунктов, из которых состоит тест-опросник. 2. Проверка устойчивости к перетестированию. 3. Анализ корреляций с релевантным внешним критерием. Например, подобная работа проделана коллективом Ф. Б. Березина для сокращенной модифицированной версии MMPI (Березин Ф. Б. и др., 1976).4. Проверка или ре стандартизация тестовых норм. 5. Специфичный этап для многомерных тестов - проверка вос­производимости структуры отношений между шкалами.

 

Классификация психодиагностических методик. Требования к методикам. Статистические методы обработки данных в психодиагностическое исследование.

Средства, которыми располагает современная психодиагностика, по своему качеству разделяются на 2 группы: методики высокого уровня формализации и методики малоформализованные.

К формализованным методикам относятся тесты, опросники, проективная техника и психофизиологические методики. Для них характерна жесткая регламентация процедуры обследования (точное соблюдение инструкций, строго определенные способы предъявления стимульного материала, невмешательство исследователя в деятельность испытуемого и др.), стандартизация (наличие норм или других критериев оценки результатов), надежность и валидность. Эти методики позволяют собрать диагностическую информацию в относительно короткие сроки и в таком виде, который дает возможность количественно и качественно сравнивать индивида с другими людьми. К малоформализованным методикам следует отнести такие приемы, как наблюдения, опросы, анализ продуктов деятельности. Малоформализованные методики очень трудоемки (например, наблюдения за обследуемым осуществляются иногда в течение нескольких месяцев) и в большей степени основаны на профессиональном опыте, психологической интуиции самого психодиагноста. МЕТОДИКИ ВЫСОКОГО УРОВНЯ ФОРМАЛИЗАЦИИ Они включают в себя четыре главных класса методик: тесты (которые, в свою очередь, делятся на несколько подклассов), опросники, проективные техники и психофизиологические методики (имеются в виду только те, которые разработаны в школе Б.М. Теплова). Тесты можно классифицировать в зависимости от того, какой признак взят за основание деления. Наиболее значительными представляются следующие три основания для классификации: форма, содержание и цель психологического тестирования. ФОРМА ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ По форме тесты могут быть индивидуальные и групповые; устные и письменные; бланковые, предметные, аппаратурные и компьютерные; вербальные и невербальные (практические). СОДЕРЖАНИЕ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ По содержанию тесты обычно делятся на четыре класса, или направления: тесты интеллекта, тесты способностей, тесты достижений и тесты личности.ЦЕЛИ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ (ОПРОСНИКИ, ПРОЕКТИВНАЯ ТЕХНИКА, МЕТОДИКИ ПСИХОФИЗИОЛОГИЧЕСКИЕ) Требования к методикам: СТАНДАРТИЗАЦИЯ, НАДЕЖНОСТЬ И ВАЛИДНОСТЬДиагностическая методика отличается от любой исследовательской тем, что она стандартизирована. Как отмечает А. Анастази (1982), стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Таким образом, стандартизация рассматривается в двух планах: как выработка единых требований к процедуре эксперимента и как определение единого критерия оценки результатов диагностических испытаний. " Надежность" означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Надежность методики — это такой критерий, который говорит о точности психологических измерений, т.е. позволяет судить о том, насколько внушают доверие полученные результаты. А. Анастази: " Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность.

Применение методов математической статистики (статистических методов) для обработки результатов эмпирического исследования является обязательным требованием к курсовым и выпускным квалификационным работам по психологии и конфликтологии. Методами статистической обработки результатов исследования называются математические приемы, формулы, способы количественных расчетов, с помощью которых показатели, получаемые в ходе исследования, можно обобщать, приводить в систему, выявляя скрытые в них закономерности. В зависимости от применяемых методов можно охарактеризовать выборочное распределение данных исследования, можем судить о динамики изменения отдельных показателей, о статистических связях существующих между исследуемыми переменными величинами. Главная цель статистических методов - представить количественные данные в сжатой форме, с тем, чтобы облегчить их понимание. Все методы статистического анализа условно делятся на первичные( опр ср ариф, дисперсии, моды и медианы)и вторичные( корреляционный анализ, регрессионный анализ, факторный анализ, методы сравнения первичных данных двух или нескольких выборок).

90. Общие требования к процедуре исследования. Подготовка стимульного материала, протоколов, бланков и т.д.

К числу требований, которые необходимо соблюдать при проведении исследования относятся:

1) сообщение инструкции испытуемым одинаковым образом;

2) единые требования к выполнению заданий испытуемыми;

3) исследования с разными группами следует проводить в одинаковых условиях;

4) временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т.д.

Также можно добавить

· Условия тестирования (помещение, освещение и др. внешние факторы).

· Наличие стандартного стимульного материала.

· Временные ограничения выполнения данного теста.

· Стандартный бланк для выполнения данного теста.

· Учет влияния ситуационных факторов на процесс и результат тестирования.

· Учет влияния поведения диагноста на процесс и результат тестирования

· Учет влияния опыта испытуемого в тестировании.

Только строгое соблюдение стандартов исследования даёт возможность сравнивать между собой показатели, полученные разными испытуемыми.

Подготовка исследования, как правило, в студенческих работах заключается в следующем:

♦ изготовление демонстрационного или стимульного материала (например, таблиц, картинок, видео отрывков, газетных вырезок и т.п.);

♦ копирование необходимого количества индивидуальных бланков методик;

♦ подготовка протоколов фиксации данных наблюдения, беседы, интервью, экспериментальной ситуации;

На этапе подготовки материалов для исследования уже необходимо думать об их обработке. Если методик несколько, то важно продумать такую форму, чтобы легко было идентифицировать конкретного респондента. С учетом того, что в основном исследования проводятся анонимно, то правильным является:

☻– размещение нескольких методик на одном бланке (один бланк – один участник исследования);

☻– одинаковая нумерация бланков различных методик, предназначенных для одного респондента (№ 1 – все бланки для И.И.И.; № 2 – все бланки для В.В.В. и т.п.).