Содержательная валидность (логическая).

Содержательная валидность означает, что тест является валидным по мнению специалистов.

Содержательную валидность следует отличать от очевидной (лицевой, внешней) валидности – валидности с точки зрения испытуемого, которая играет важную роль в процессе тестирования, поскольку определяет отношение испытуемого к обследованию. В одних случаях они могут совпадать, а в других внешняя валидность используется для маскировки содержательной валидности. Пример: тест «Домино»

Валидность по содержанию заключается в том, что в тесте должны быть представлены все и в правильной пропорции ключевые аспекты той выборки поведения, той психологической области, для диагностики которой он предназначен. Пример: агрессивность(физическая, вербальная, косвенная и т.п.)

Предположим, мы разрабатываем тест для диагностики успешности изучения программы по истории за курс средней школы. Для обеспечения валидности по содержанию мы должны включить в него вопросы по всем периодам, начиная с первобытности и до современности, а не только предположим, по истории средних веков. Кроме того, должны быть представлены вопросы по различным сторонам жизни людей, а не только по военным сражениям или культуре.

Работа по созданию теста начинается с анализа диагностируемой области и составления так называемой матрицы-спецификации, в которой записывается, какого типа и сколько вопросов должно быть в тесте, что и позволяет обеспечить его валидность по содержанию. В нашем примере теста освоения курса истории в матрице-спецификации, например, по горизонтали будут расположены периоды истории (первобытность, рабовладение и т.д.), а по вертикали – различные аспекты данной эпохи (экономические занятия, политическое устройство, военные сражения, культура и т.п.), на пересечении – необходимое количество заданий теста. Пример: опросник Баса-Дарки

Матрицу-спецификацию может создать только эксперт в соответствующей области. В нашем примере таким экспертом является высоко квалифицированный преподаватель истории. Именно он, а не психолог, разрабатывающий тест по истории, определяет сколько и каких именно заданий нужно включить в тест, а психолог после этого займётся работой над проверкой надёжности и валидности теста.

Валидность по содержанию не измеряется, а закладывается уже в процессе разработки теста. Поэтому содержательная валидность не имеет количественного выражения и не может быть представлена как коэффициент корреляции; в руководстве, как правило, приводится матрица-спецификация. Для определения содержательной валидности используют экспертные методы, то есть отбираются компетентные эксперты, организуется процедура экспертизы, во время которой эксперты должны оценить содержание заданий теста по их соответствию измеряемому психическому свойству, объявленному в качестве содержания валидизируемого теста. С этой целью экспертам предъявляется спецификация теста (где указываются темы, задачи обучения и значения каждой темы и задачи) и список заданий. Если задание соответствует спецификации, то эксперт обозначает его как соответствующее содержанию теста, если нет – бракует. С целью получения итоговой оценки содержательной валидности производится обобщение суждений отдельных экспертов по всем заданиям. Эти итоги о валидности по содержанию включаются в руководство к тесту.

Для критериально-ориентированных тестов в руководстве должны быть сведения об области знаний, навыках или учебных задачах, освоение которых измеряется тестом, а так же сведения о числе заданий по каждой из задач обучения. Анализируются типичные ошибки и применяемые ими методы работы. Так как выполнение тестов в этом случае оценивается с точки зрения усвоенного материала и навыков, в первую очередь необходимо, чтобы эти тесты были валидны по содержанию.

Критериальная валидность

(эмпирическая валидность или валидность по критерию)

Определяет способность теста служить предсказателем определённой психической особенности или формы поведения человека и предполагает учет независимых показателей и признаков, по которым можно судить о валидности теста. На практике это означает соответствие результатов диагностики реальному поведению, результатам практической деятельности, наблюдаемым действиям и реакциям испытуемого.

Критериями для оценки эмпирической валидности могут быть:

- поведенческие показатели – реакции, действия и поступки в различных ситуациях;

- достижения в различных видах деятельности (учебной, трудовой, спортивной и т.п.);

- данные о выполнении контрольных проб и заданий;

- данные по другим методикам, валидность или связь с которыми считается твердо установленной.

Тест будет эмпирически валидным, когда будет установлено, что испытуемый ведет себя в жизни именно так, как предсказывает тест.

«Валидность по критерию показывает, насколько по результатам теста можно судить об интересующем нас аспекте поведения индивида в настоящем и будущем. Чтобы определить её, выполнение теста соотносится с критерием, т.е. непосредственной и независимой мерой того, что должен предсказывать тест» (А. Анастази).

Пример: если нас интересует, насколько клинический тест позволяет предсказать диагноз, мы должны сравнить результаты теста с медицинским заключением, полученным на основании независимых исследований собственно медицинскими средствами, т.е. с данными «Истории болезни». Если нас интересует, насколько данный тест позволяет предсказывать успешность дальнейшего обучения школьника в высших учебных, то мы должны сопоставить результаты по нему с результатами последующей учёбы в институте и т.д.

Для большинства тестов валидность по критерию (чаще её называют критериальной валидностью) является самым важным показателем, ибо она даёт возможность психологу и «потребителю» психодиагностической информации чётко знать, какие именно аспекты поведения и в какой мере тест предсказывает, с какими внешними параметрами он связан. Например, психолог имеет два теста по интеллекту. Один из них обладает более высокой валидностью по математическим субтестам, а другой – по словарным. Перед ним же стоит задача отобрать наиболее способных абитуриентов, среди всех поступающих на физико-математический факультет. Естественно, что он должен отдать предпочтение первому.

Эмпирически критериальная валидность проявляется в сравнимости результатов измерений, полученных изучаемым методом, с результатами, полученными другими методами, валидность которых не вызывает сомнения. Если отсутствуют методы, валидность которых вызывает сомнения, то должна быть теоретически обоснована связь измеряемых признаков с исследуемым качеством.

Чтобы это доказать, проверяется, коррелируют ли результаты теста с результатами других существующих тестов, прогнозирующих ту же выборку поведения, чья валидность уже доказана. Наличие взаимосвязи между данными двух тестов является показателем того, что новый тест диагностирует приблизительно ту же реальность, что и существующий. Проверке на критериальную валидность могут быть подвегнуты все задания (пункты) теста.

Вообще, пользователь должен ориентироваться не на название теста, а на показатели критериальной валидности: по ним и только по ним он может определить, что же действительно измеряет тест и для решения каких задач он может быть применён.

Поскольку коэффициент критериальной валидности это не что иное как коэффициент корреляции между результатами теста и данными по тому параметру, который мы собираемся оценить или предсказать (т.е. критерию), то он интерпретируется также, как и любой другой коэффициент корреляции.

Например, коэффициент критериальной валидности, равный 1.00, говорит о том, что между результатами по тесту и по критерию существует абсолютно прямая зависимость. Чем выше результат по тесту, тем выше результат по критерию и наоборот. Результаты по тесту с таким коэффициентом валидности полностью отражают действительное положение обследуемого среди других по измеряемому параметру. Ошибки в прогнозе были бы связаны только с надёжностью теста Если бы тест по интеллекту истории из нашего примера имел такой невероятно высокий коэффициент критериальной валидности, то он был бы идеальным инструментом для оценки знаний по истории учеников выпускных классов, - более точного инструмента для оценки знаний не существует в принципе.

Коэффициент критериальной валидности, равный -1.00, говорит о том, что между результатами по тесту и по критерию существует абсолютная обратная зависимость. Чем выше результат по тесту, тем ниже результат по критерию и наоборот. Такой тест также является идеальным инструментом для оценки и предсказания, но по методу «от противного».

Коэффициент критериальной валидности, равный 0.00, говорит о том, что между результатами по тесту и по критерию не существует никакой связи. Тест с такой критериальной валидностью абсолютно бессмысленен. Его эффективность не превышает эффективности простого отгадывания.

Обычно, коэффициент валидности тестов колеблется в пределах от 0.30 до 0.80, наиболее часто он равен 0.40-0.60. Например, критериальная валидность наиболее авторитетного в системе образования США теста DAT находится именно в таком диапазоне. Таким образом, критериальную валидность, равную 0.40-0.60, можно считать своего рода стандартом.

Коэффициент валидности, равный, например, 0.47, говорит о том, что 47% индивидуальных различий результатов по тесту связаны с тем фактором, который данный тест измеряет, а 53% - со всеми другими. Таким образом, например, от 40 до 60% индивидуальных различий в успешности обучения школьников связаны с тем фактором, который измеряется DAT, или по другому – этот тест охватывает от 40 до 60% факторов, с которыми связаны различия между школьниками в успеваемости.

Существует несколько вариантов получения коэффициента критериальной валидности.

1. В первом случае результаты всех обследуемых, участвующих в валидизации, сопоставляются с данными по выбранному критерию и просто вычисляется коэффициент корреляции между ними.

Для измерения этого свойства теста вычисляют коэффициент корреляции (r) тестового результата с внешним критерием. В качестве критерия может служить любой независимый показатель, измеряющий ту же психологическую характеристику, что и валидизируемый тест. От выбора критерия зависят качественная и количественная оценка валидности, поэтому вопрос о выборе критерия является в этом виде валидности основным.

Условно выделяют три группы критериев:

а) экспертные; б) экспериментальные; в) «жизненные».

а) Экспертные критерии предполагают использовать экспертные оценки. Этому методу уделяется значительное внимание, в связи с низкой надёжностью и трудностью организации экспертиз, экспертные критерии валидности используются редко. При валидности тестов, предназначенных для школьников, в качестве экспертов обычно используются учителя, но их оценки в значительной степени подвержены искажениям (симпатиям и антипатиям, переносу отношений с родителей на ученика, с успеваемости на качества личности и т.п.)

б) Экспериментальные критерии предполагают использование результатов одновременно тестирования испытуемых другим тестом, предположительно измеряющим то же психическое свойство. Коэффициент корреляции между результатами двух независимых измерений называется эмпирической валидностью. Его величина зависит от степени совпадения содержания теста, сравнимости единиц измерения, характера выборок стандартизации, надёжности тестов. Поэтому максимальные коэффициенты эмпирической валидности имеют параллельные тесты, он равен коэффициенту надёжности около 1 (если бы были абсолютно надёжны параллельные формы, то эмпирическая валидность была равна 1, так как по другим критериям они идентичны).

в) Если к моменту проверки валидности теста подходящего экспериментального критерия нет, то в качестве него используются характеристики реального поведения, которые связаны с измеряемым психологическим свойством. Эти характеристики реального поведения называют «жизненными» критериями. Например, в качестве «жизненных» критериев для тестов интеллекта используют показатели успешности обучения, экстравертированности – успешность административной деятельности, тревожности – частоту заболеваний нервозом, технических способностей – по конечным результатам профессионального обучения и т.п. Однако успешность обучения, поведения и деятельности редко зависят только от одного – единственного свойства психики, а как правило, от комплекса психических свойств. Поэтому использование «жизненных» критериев преимущественно используется для валидизации тестов, таких, как MMPI, 16PF и др., представляющих собой многопрофильные батареи тестов. Валидность теста по отношению к «жизненному» критерию называют иногда практической валидностью.