Валидность и надежность патопсихологических методик. Психометрические методы.

 

Надежность и валидность имеют отношение к обобщаемости показателей тестов — определению того, какие выводы по тестовым показателям являются обоснованными.

 

Валидность:

 

Валидность характеризует качество выводов, получаемых на основе результатов проведения измерительной процедуры. Валидность рассматривается как способность теста отвечать поставленным целям и обосновывать адекватность решений, принятых на основе результата. Недостаточно валидный тест не может считаться инструментом измерения и использоваться на практике, поскольку зачастую полученный результат может серьёзно влиять на будущее тестируемого.

 

 

Виды валидности: Существует несколько видов валидности, обусловленных особенностями диагностических методик, а также временным статусом внешнего критерия Во многих работах (А Анастази, 1982; Л.Ф Бурлачук, С.М. Морозов, 1989; KM. Гуревич, 1970; Б.В Кулагин, 1984; В Черны, 1983; "Общая психодиагностика", 1987 и др) называются чаще всего следующие:

 

1. Валидность "по содержанию". Этот прием используется в основном в тестах достижений. Обычно в тесты достижений включается не весь материал, который прошли учащиеся, а какая-то его небольшая часть (3-4 вопроса). Можно ли быть уверенным в том, что правильные ответы на эти немногие вопросы свидетельствуют об усвоении всего материала. На это и должна ответить проверка валидности по содержанию. Для этого проводится сопоставление успешности по тесту с экспертными оценками учителей (по данному материалу). Валидность "по содержанию" также подходит к критериально-ориентированным тестам. Иногда этот прием называют логической валидностью.

 

2. Валидность "по одновременности", или текущая валидность, определяется с помощью внешнего критерия, по которому информация собирается одновременно с экспериментами по проверяемой методике. Другими словами, собираются данные, относящиеся к настоящему времени успеваемость в период испытания, производительность в этот же период и т д. С ним коррелируют результаты успешности по тесту.

 

3. "Предсказывающая" валидность (другое название - "прогностическая" валидность). Определяется также по достаточно надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Внешним критерием обычно бывает выраженная в каких-нибудь оценках способность человека к тому виду деятельности, для которой он отбирался по результатам диагностических испытаний. Хотя этот прием наиболее соответствует задаче диагностических методик - предсказанию будущей успешности, применять его очень трудно. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования. Чем больше проходит времени после измерения, тем большее количество факторов требуется учитывать при оценке прогностической значимости методики. Однако учесть все факторы, влияющие на предсказание, практически невозможно.

 

4. "Ретроспективная" валидность. Она определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики. Так, для проверки того, в какой мере хорошие результаты теста способностей соответствуют быстрому обучению, можно сопоставить прошлые оценки успеваемости, прошлые экспертные заключения и т.д. у лиц с высокими и низкими на данный момент диагностическими показателями.

 

Источник: Психологическая диагностика: Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой.

 

Выделяется три вида валидности тестов:

 

• Конструктная (концептуальная) валидность. Её требуется определить, если тест измеряет свойство, имеющее абстрактный характер, то есть не поддающееся прямому измерению. В таких случаях необходимо создание концептуальной модели, которая бы объясняла данное свойство. Эту модель и подверждает или опровергает тест.
• Критериальная (эмпирическая) валидность. Показывает, насколько соотносятся результаты теста с неким внешним критерием. Эмпирическая валидность существует в двух видах: текущая критериальная валидность — корреляция результатов теста с выбранным критерием, существующим в настоящее время; прогностическая критериальная валидность — корреляция результатов с критерием, который появится в будущем. Определяет, насколько тест предсказывает проявление измеряемого качества в будущем, учитывая влияние внешних факторов и собственной деятельности тестируемого.
• Содержательная валидность. Определяет, насколько соответствует тест его предметной области, то есть измеряет ли он качество, для измерения которого предназначен, у репрезентативной выборки. Чтобы поддержать содержательную валидность теста, необходимы его регулярные проверки на соответствие, так как реальная картина проявления определённого качества может меняться у выборки с течением времени. Оценка содержательной валидности должна произвдится экспертом в предметной области теста.

 

Процесс валидизации теста должен представлять собой не сбор доказательств его валидности, а комплекс мер по повышению этой валидности.

 

Ещё валидность — понятие, показывающее, насколько психологический метод (методика) измеряет действительно то, что он должен изучать и измерять, и насколько хорошо он выполняет эту задачу. Понятие валидности сложнее, чем понятие надежности; разными исследователями выделяются различные виды валидности. Так, различают валидность по содержанию, по критерию, т. е. по непосредственной и независимой мере того, что должен предсказать метод (например для метода, направленного на изучение определенного профессионального свойства, таким критерием может быть эффективность работы обследуемого в последующем на производстве), по конструкту, показывающая, насколько результаты метода (методики) могут рассматриваться как мера какого-либо теоретического конструкта, свойства, например интеллекта, памяти, тревожности, нейротизма и т. п.

 

конкретное предназначение метода: При определении валидности всегда должно быть указано конкретное предназначение метода. Это особенно важно учитывать при проведении патопсихологического исследования. Так, метод оказывается различно валидным в зависимости от стоящей перед психологом задачи, например, валидность метода Роршаха будет достаточно высокой при обследовании группы больных, отобранных по нозологическому критерию, но окажется весьма низкой при необходимости проведения индивидуально-нозологической диагностики. Методики, направленные на выявление истощаемости психической деятельности, не обладают высокой нозологической валидностью, но последняя может быть весьма существенной, когда перед психологом ставится конкретная задача дифференциальной диагностики между истинной и симптоматической эпилепсией. В значительной мере валидность тех или иных методик зависит не только от самого диагностируемого заболевания, но и от его стадии, о чем будет идти речь в разделе, посвященном патопсихологическим исследованиям при шизофрении.

 

Надежность:

 

Надежность касается выводов о согласованности измерения. Согласованность определяется по-разному: как временная устойчивость, как сходство между предположительно эквивалентными тестами, как однородность в рамках одного теста или как сравнимость оценок, выносимых экспертами.

• При использовании метода «тест-ретест» надежность теста устанавливается путем повторного его проведения с той же группой спустя определенный промежуток времени. Затем два полученных набора показателей сравниваются с целью определения степени сходства между ними. При использовании метода взаимозаменяемых форм, на выборке обследуемых проводятся два параллельных измерения.
• Привлечение экспертов («оценщиков») к оценке качества параллельных форм теста дает меру надежности, наз. надежностью оценщиков. Этот метод часто применяют, когда есть необходимость в экспертной оценке.

Ещё Надежность психологического метода (методики) позволяет характеризовать его с точки зрения стабильности результатов, получаемых при повторном использовании этого метода при аналогичных условиях (ретестовая надежность) или же при использовании взаимозаменяемых, эквивалентных форм метода. В связи с этим очень важно использовать в практической деятельности методики, надежность которых подтверждена уже накопленным в патопсихологии опытом, или при разработке и внедрении новых методик специально проводить их изучение на предмет надежности.

 

Показатели надежности психодиагностической методики:

 

Определение надежности измерительного инструмента: От того, как составлена методика, насколько правильно подобраны задания с точки зрения их взаимосогласованности, насколько она однородна, зависит точность, объективность любого психологического измерения.

 

Внутренняя однородность методики показывает, что ее задания актуализируют одно и то же свойство, признак. Для проверки надежности измерительного инструмента, говорящего о его однородности (или гомогенности), используется так называемый метод "расщепления". Обычно задания делятся на четные и нечетные, отдельно обрабатываются, а затем результаты двух полученных рядов коррелируются между собой. Для применения этого способа нужно поставить испытуемых в такие условия, чтобы они смогли успеть решить (или попытаться решить) все задания. Если методика однородна, то большой разницы в успешности решения по таким половинкам не будет, и, следовательно, коэффициент корреляции будет достаточно высоким. Можно делить задания и другим путем, например сопоставить первую половину теста со второй, первую и третью четверть - со второй и четвертой и т п. Однако "расщепление" на четные и нечетные задания представляется наиболее целесообразным, поскольку именно этот способ наиболее независим от влияния таких факторов, как врабатываемость, тренировка, утомление и пр.

 

Корелляции: Методика признается надежной, когда полученный коэффициент не ниже 0,75-0,85. Лучшие по надежности тесты дают коэффициенты порядка 0,90 и более. Но на начальном этапе разработки диагностической методики можно получить невысокие коэффициенты надежности, например, порядка 0,46-0,50. Это означает, что в разрабатываемой методике присутствует некоторое число заданий, которые в силу своей специфичности ведут к снижению коэффициента корреляции. Такие задания необходимо специально проанализировать и либо переделать их, либо вообще изъять. Чтобы легче было установить, за счет каких заданий снижаются коэффициенты корреляции, необходимо проанализировать таблицы с выписанными данными, подготовленными для корреляций.

 

Перестановки заданий: Следует отметить, что любые изменения в содержании методики - изъятие заданий, их перестановка, переформулировка вопросов или ответов требует заново высчитывать коэффициенты надежности.

 

Однородность выборки: При ознакомлении с коэффициентами надежности не следует забывать, что они зависят не только от правильного подбора заданий с точки зрения их взаимосогласованности, но и от социально-психологической однородности той выборки, на которой проверялась надежность измерительного инструмента. В самом деле, в заданиях могут встретиться понятия, малоизвестные одной части испытуемых, но хорошо известные другой части. От того, как много в методике таких понятий, будет зависеть и коэффициент надежности, задания с такими понятиями могут случайно расположиться и в четной и в нечетной половине теста.

 

Disclaimer: Очевидно, показатель надежности не следует приписывать только методике как таковой и нельзя уповать на то, что он будет неизменным, с какой бы выборкой ни проводилось тестирование.

 

Определение стабильности изучаемого признака: Определить надежность самой методики - это не значит решить все вопросы, связанные с ее применением. Нужно еще установить, насколько устойчив, стабилен признак, который исследователь намерен измерять. Было бы методологической ошибкой рассчитывать на абсолютную стабильность психологических признаков. В том, что измеряемый признак со временем меняется, нет ничего опасного для надежности. Все дело в том, в каких пределах варьируются результаты от опыта к опыту у одного и того же испытуемого, не приводят ли эти колебания к тому, что испытуемый по непонятным причинам оказывается то в начале, то в середине, то в конце выборки. Сделать какие-то конкретные выводы об уровне представленное измеряемого признака у такого испытуемого нельзя. Таким образом, колебания признака не должны иметь непредсказуемого характера. Если не ясны причины резких колебаний, то такой признак не может быть использован в диагностических целях.

 

Для проверки стабильности диагностируемого признака, свойства используется прием, известный как тест - ретест. Он заключается в повторном обследовании испытуемых с помощью той же методики. О стабильности признака судят по коэффициенту корреляции между результатами первого и повторного обследования. Он будет свидетельствовать о сохранении или несохранении каждым испытуемым своего порядкового номера в выборке. На степень устойчивости, стабильности диагностируемого свойства влияют разнообразные факторы. Число их достаточно велико.

 

Единообразия процедуры: Выше уже говорилось о том, как важно соблюдать требования единообразия процедуры проведения эксперимента. Так, например, если первое тестирование проводилось в утренние часы, то и повторное должно быть проведено утром, если первый опыт сопровождался предварительным показом заданий, то и при повторном испытании это условие также должно быть соблюдено и т.д.

 

Промежуток времени между: При определении стабильности признака большое значение имеет промежуток времени между первым и повторным обследованием. Чем короче срок от первого до второго испытания, тем (при прочих равных условиях) больше шансов, что диагностируемый признак сохранит уровень первого испытания. С увеличением временного интервала стабильность признака имеет тенденцию снижаться, так как возрастает число посторонних факторов, влияющих на нее. Следовательно, напрашивается вывод, что целесообразно проводить повторное тестирование через короткий срок после первого. Однако тут есть свои сложности если срок между первым и вторым опытом небольшой, то некоторые испытуемые могут воспроизвести свои прежние ответы в памяти и, таким образом, отойдут от смысла выполнения заданий. В этом случае результаты двух предъявлении методики уже нельзя рассматривать как независимые. Трудно четко ответить на вопрос, какой срок можно считать оптимальным для повторного эксперимента. Только исследователь, исходя из психологической сущности методики, условий, в которых она проводится, особенностей выборки испытуемых, может определить этот срок. При этом такой выбор должен быть научно обоснован. В тестологической литературе наиболее часто называются временные интервалы в несколько месяцев (но не более полугода.) При обследовании детей младшего возраста, когда возрастные изменения и развитие происходят очень быстро, эти интервалы могут быть порядка нескольких недель (А Анастази, 1982).

 

Показатель определенных изменений свойства: Важно помнить, что коэффициент стабильности не следует рассматривать только с его узко формальной стороны, по его абсолютным значениям. Если тест исследует свойство, которое в период тестирования находится в процессе интенсивного развития (например, умение проводить обобщения), то коэффициент стабильности. может оказаться невысоким, но это не следует истолковывать как недостаток теста. Такой коэффициент стабильности должен интерпретироваться как показатель определенных изменений, развития исследуемого свойства. В этом случае, например, КМ Гуревич (1975) рекомендует рассмотреть по частям ту выборку, на которой устанавливался коэффициент стабильности. При таком рассмотрении выделится часть испытуемых, проходящих путь развития в одинаково ровном темпе, другая часть - где развитие шло особенно быстрыми темпами; и часть выборки, где развитие у испытуемых практически совсем нельзя заметить. Каждая часть выборки заслуживает специального анализа и истолкования. Следовательно, недостаточно просто констатировать, что коэффициент стабильности низкий, нужно понять, от чего это зависит.

 

Если свойство уже сформировано: Совсем другое требование предъявляется к коэффициенту стабильности, если автор методики считает, что измеряемое свойство уже сформировано и должно быть достаточно устойчивым. Коэффициент стабильности в этом случае должен быть достаточно высоким (не ниже 0,80). Таким образом, вопрос о стабильности измеряемого свойства решается не всегда однозначно. Решение зависит от сущности самого диагностируемого свойства.

 

Определение константности, т е относительной независимости результатов от личности экспериментатора. Поскольку методика, разработанная для диагностических целей, не предназначена для того, чтобы вечно оставаться в руках своих создателей, крайне важно знать, в какой мере ее результаты поддаются влиянию личности экспериментатора. Хотя диагностическая методика всегда снабжается подробными инструкциями по ее применению, правилами и примерами, указывающими, как проводить эксперимент, регламентировать манеру поведения экспериментатора, скорость его речи, тон голоса, паузы, выражение лица очень трудно. Испытуемый в своем отношении к опыту всегда отразит то, как сам экспериментатор к этому опыту относится (допускает небрежность или действует точно в соответствии с требованиями процедуры, проявляет требовательность, настойчивость или бесконтрольность и т.п). Особенно существенную роль личность экспериментатора играет при проведении так называемых недетерминированных методик (например, в проективных тестах).

 

Источник: Психологическая диагностика: Учебное пособие / Под ред. К.М. Гуревича и Е.М. Борисовой.

 

 

Психометрический метод (психометрия) - совокупность теоретико-математических моделей и процедурно-методических правил организации сбора и обработки эмпирических данных, позволяющих выразить психические свойства и параметры психических процессов в числовой или квазичисловой (ранговой, категориальной) форме.

http://bookw.narod.ru/part3_4.htm

 

Психометрия (психометрические методы) — исследование количественных сторон, соотношений, характеристик психических процессов и явлений. Важнейшим признаком психометрии является стандартизация технологий измерения параметров динамики индивидуальных различий, эмпирических лимитов данного психического процесса. Психометрия направлена на создание психодиагностических методик, обладающих валидностью, надежностью и репрезентативностью. К психометрическим методам относится психологическое тестирование.

 

Векслер – психометрич. метод исследования интеллекта. С помощью метода Векслера могут быть обследованы лица старше 16 лет. Для обследования детей создан специальный вариант метода Векслера (WISC), адаптированный и стандартизованный А. Ю. Панасюком (1973). Метод Векслера состоит из 11 отдельных методик — субтестов. Каждая из них не содержит каких-либо новых, не использовавшихся раньше в экспериментальной психологии приемов. Все субтесты разделены на 2 группы — вербальные (6) и невербальные (5).