Понятия: тест, надежность, валидность.

Тесты – это стандартизированные и обычно краткие и ограниченные во времени испытания, предназначенные для установления количественных индивидуально-психологических различий между людьми. Их отличительная особенность заключается в том, что они состоят из заданий, на которые от испытуемого нужно получить правильный ответ.

Тесты можно классифицировать в зависимости от того, какой признак взят за основание деления. Наиболее значительными представляются классификации тестов по форме и по содержанию:

По форме тесты могут быть индивидуальные и групповые; устные и письменные; бланковые, предметные, аппаратурные и компьютерные; вербальные и невербальные (практические).

 

Индивидуальные тесты предусматривают, что взаимодействие экспериментатора и испытуемого происходит один на один. Индивидуальное тестирование имеет свои преимущества: возможность наблюдать за испытуемым (за его мимикой, непроизвольными реакциями), слышать и фиксировать непредусмотренные инструкцией высказывания, что позволяет оценивать отношение к обследованию, отмечать функциональное состояние испытуемого и другое. Кроме того, опираясь на уровень подготовленности испытуемого, можно по ходу эксперимента заменить один текст другим. Индивидуальная диагностика необходима при работе с детьми младенческого и дошкольного возраста, в клинике – для тестирования лиц с соматическими или нервно-психическими нарушениями, людей с физическими недостатками и так далее. Необходима она и в тех случаях, когда нужен тесный контакт экспериментатора и испытуемого с целью оптимизации деятельности испытуемого. Однако индивидуальные тесты требуют, как правило, много времени на проведение эксперимента и в этом смысле менее экономичны по сравнению с групповыми.

 

Групповые тесты позволяют одновременно проводить испытания с очень большой группой людей (до нескольких сот человек). Поскольку инструкции и процедура проведения детально разработаны, экспериментатор должен неукоснительно их выполнять. При групповом тестировании особенно строго соблюдается единообразие условий проведения эксперимента. Обработка результатов объективизирована и не требует высокой квалификации. Результаты большинства групповых тестов могут обрабатываться на компьютере.

Но так у экспериментатора гораздо меньше возможностей установить взаимопонимание с испытуемым, пробудить его интерес и заручиться его сотрудничеством. Любые случайные состояния испытуемого, такие как болезнь, утомление, беспокойство и тревожность, которые могут влиять на выполнение заданий, гораздо труднее выявить в групповом тестировании. В целом лица, незнакомые с такой процедурой, скорее покажут более низкие результаты при групповом тестировании, нежели при индивидуальном. Поэтому в тех случаях, когда принимаемое по результатам тестирования решение важно для испытуемого, желательно дополнить результаты группового тестирования либо индивидуальной проверкой неясных случаев, либо информацией, полученной из других источников.

Устные и письменные тесты различаются по форме ответа. Устными чаще всего бывают индивидуальные тесты, письменными – групповые! У с т н ы е ответы в одних случаях могут формулироваться испытуемым самостоятельно (открытые ответы), в других – он должен из нескольких предложенных ответов выбрать и назвать тот, который считает правильным (закрытые ответы). В п и с ь м е н н ы х тестах ответы даются испытуемым или в тестовой тетради, или на специально разработанном бланке ответов. Письменные ответы также могут носить открытый или закрытый характер.

Бланковые, предметные, аппаратурные, компьютерные тесты различаются по материалу, который используется при тестировании. Б л а н к о в ы е тесты (другое широкое известное название – тесты «Карандаш и бумага») представлены в виде отдельных бланков или тетрадей, брошюр, в которых содержатся инструкция по применению, примеры решения, сами задания и графы для ответов. Предусмотрены формы, при которых ответы заносятся не в тестовые тетради, а на отдельные бланки. Это позволяет использовать одни и те же тестовые тетради многократно. Бланковые тесты могут применяться как при индивидуальном, так и при групповом тестировании.

В п р е д м е т н ы х тестах материал тестовых заданий представлен в виде реальных предметов: кубиков, карточек, деталей геометрических фигур, конструкций и узлов технических устройств и тому подобное. Наиболее известные из них – кубики Кооса, тест сложения фигур из набора Векслера, тест Выготского-Сахарова. Предметные тесты чаще всего проводятся индивидуально.

А п п а р а т у р н ы е тесты требуют применения специальных технических средств или специального оборудования для проведения исследования или регистрации полученных данных. Широко известны приборы для исследования показателей времени реакции (реактометры, рефлексометры), устройства для изучения особенностей восприятия, памяти, мышления. В последние годы аппаратурные тесты широко используются компьютерные усторойства. В большинстве случаев аппаратурные тесты проводятся индивидуально.

К о м п ь ю т е р н ы е тесты проводятся в форме диалога испытуемого и компьютера. Тестовые задания предъявляются на экране дисплея, а советы испытуемый вводит в память компьютера; таким образом, протокол сразу создается как набор данных (файл). Стандартные статистические пакеты позволяют очень быстро проводить математико-статистическую обработку полученных результатов по разным направлениям. При желании можно получить информацию в виде графиков, таблиц, диаграмм, профилей.

С помощью компьютера экспериментатор получает для анализа такие данные, как: время выполнения отдельных заданий теста, время получения правильных ответов, количество отказов от решения и обращений за помощью, время, затрачиваемое испытуемым на обдумывание ответа при отказе от решения, время ввода ответа (если он сложен) и так далее. Эти особенности испытуемых можно использовать для углубленного психологического анализа результатов, полученных в процессе тестирования.

В в е р б а л ь н ы х тестах основным содержанием работы испытуемых являются операции с понятиями, мыслительные действия, осуществляемые в словесно-логической форме. Составляющие эти методы задания апеллируют к памяти, воображению, мышлению в их опосредованной языковой форме. Они очень чувствительны к различиям в языковой культуре, уровню образования, профессиональным особенностям. Вербальный тип заданий наиболее распространен среди тестов интеллекта, тестов достижений, при оценке специальных способностей.

В н е в е р б а л ь н ы х тестах материал представлен в наглядной форме (в виде картинок, чертежей, графических изображений и тому подобное). От испытуемых требуется понимание вербальных инструкций, само же выполнение заданий опирается на перцептивные и моторные функции. Самым известным невербальным тестом являются Прогрессивные матрицы Равена. Невербальные тесты уменьшают влияние языковых различий на результат испытания. Они также облегчают процедуру тестирования испытуемых с нарушением речи, слуха или с низким уровнем образования. Невербальные тесты широко используются при оценке пространственного и комбинаторного мышления. В качестве отдельных субтестов они включены во многие тесты интеллекта, общих и специальных способностей, тесты достижений.

 

По содержанию тесты обычно делятся на следующие классы, или направления: тесты интеллекта, тесты способностей, тесты личности; особое место в этом делении занимают тесты достижений, непредназначенные для решения собственно психологических проблем.

 

Тесты интеллекта предназначены для исследования и измерения возрастного интеллектуального развития человека. Они являются наиболее распространенными психодиагностическими методами. Под интеллектом как объектом измерения подразумеваются не любые проявления индивидуальности, а прежде всего те, которые имеют отношение к познавательным процессам и функциям (к мышлению, памяти, вниманию, восприятию). По форме тесты интеллекта могут быть групповыми и индивидуальными, устными и письменными, бланковыми, предметными и компьютерными. Каждое задание таких тестов имеет правильное решение и, следовательно, об успешности их выполнения судят по числу правильных или неправильных ответов. В последние 30 – 35 лет успешно разрабатываются вербальные критериально-ориентированные тесты интеллекта. Их принципиальное отличие от традиционных тестов состоит в том, что в заданиях, в которых испытуемый должен найти свое решение определенной логической задачи, используются не любые понятия и термины, а только те, которые составляют содержание учебных программ. Включение подобных понятий и терминов позволяет установить, насколько они стали предметом мыслительной деятельности учащихся.

 

Тесты способностей предназначены для оценки возможностей индивида в овладении знаниями, навыками, умениями в различных областях – математике, технике, литературе, в разнообразных видах художественной деятельности. Принято выделять общие и специальные способности:

- общие способности обеспечивают овладение разными видами занятий и умений, которые человек реализует во многих видах деятельности. Общие способности отождествляются с интеллектом, и поэтому часто они называются общими интеллектуальными (умственными) способностями.

- специальные способности рассматриваются в отношении к отдельным, специальным областям деятельности. В соответствии с таким делением разрабатываются тесты общих и специальных способностей.

По своей форме тесты способностей носят разнообразный характер (индивидуальный и групповой, устный и письменный, бланковый, предметный, аппаратурный и так далее). Ответы испытуемых здесь также оцениваются по типу правильно – неправильно.

 

Тесты личности направлены на оценку эмоционально-волевых компонентов психической деятельности – мотивации, интересов, эмоций, отношений (в том числе и межличностных), а также особенностей поведения индивида в определенных ситуациях. Таким образом, тесты личности диагностируют неинтеллектуальные проявления испытуемых.

Тесты личности можно подразделить на тесты действия и ситуационные тесты:

- тесты действия представляют собой относительно простые, четко структурированные процедуры, в которых возможен правильный ответ (например, тест замаскированных фигур Уиткина, тест ригидности Лачинса и другие).

- особенностью ситуационных тестов является то, что испытуемому предлагается выбрать образ поведения в сложной социальной ситуации, близкой к реальной. С их помощью диагностируются, в частности, такие аспекты личности, как склонность к асоциальному поведению, а также к стабильным, устойчивым решениям и действиям.

Неинтеллектуальные личностные особенности измеряются также с помощью опросников и проективной техники.

Тесты достижений (тесты объективного контроля успешности – школьной, профессиональной, спортивной) предназначены для оценки степени продвинутости знаний, навыков, умений после прохождения человеком соответствующего обучения, общей и профессиональной подготовки. Таким образом, тесты достижений в первую очередь измеряют влияние, которое оказывает на развитие индивида относительно стандартный набор воздействий. Они широко используются для оценки школьных, учебных, а также профессиональных достижений. Этим объясняется их большое количество и разнообразие.

Тесты школьных достижений являются в основном групповыми и бланковыми, но могут быть представлены и в компьютерном варианте.

Профессиональные тесты достижений обычно имеют три разные формы: аппаратурные (тесты исполнения или действия), письменные и устные.

 

Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.

 

Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:

1. Воспроизводимость рез-тов исследования.

2. Точность измерения.

3. Устойчивость результатов.

 

Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:

1. нестабильность диагностируемого свойства;

2. несовершенство диагностических методик (небрежно составлена инструкция, задания по своему характеру разнородны, нечётко сформулированы указания по предъявлению методики испытуемым и т.д.);

3. меняющаяся ситуация обследования (разное время дня, когда проводятся эксперименты, разная освещённость помещения, наличие или отсутствие посторонних шумов и т.д.);

4. различия в манере поведения экспериментатора (от опыта к опыту по-разному предъявляет инструкции, по-разному стимулирует выполнение заданий и т.д.);

5. колебания в функциональном состоянии испытуемого (в одном эксперименте отмечается хорошее самочувствие, в другом – утомление и т.д.);

6. элементы субъективности в способах оценки и интерпретации результатов (когда ведётся протоколирование ответов испытуемых, оценивают ответы по степени полноты, оригинальности и т.д.).

 

Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.

 

На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.

В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.

 

Разновидностей надёжности методик так же много, как и условий, влияющих на результаты диагностических испытаний. Так как все виды надёжности отражают степень согласованности двух независимо полученных рядов показателей, то математико-статистический приём, с помощью которого устанавливается надёжность методики, - это корреляции (по Пирсону или Спирмену). Надёжность тем выше, чем больше полученный коэффициент корреляции приближается к единице, и наоборот.

К.М. Гуревич предложил толковать надёжность как:

1. надёжность самого измерительного инструмента (коэффициент надежности);

2. стабильность изучаемого признака (коэффициент стабильности);

3. константность, т.е. относительную независимость результатов от Личности экспериментатора (коэффициент константности).

 

Показатель, характеризующий измерительный инструмент, предлагается называть коэффициентом надёжности; показатель, характеризующий стабильность измеряемого свойства, - коэффициентом стабильности; а показатель оценки влияния Личности экспериментатора – коэффициентом константности. Именно в таком порядке рекомендуется осуществлять проверку методики: целесообразно сначала проверить инструмент измерения. Если полученные данные удовлетворительны, то можно переходить к установлению меры стабильности измеряемого свойства, а уже после этого при необходимости заняться критерием константности. (Надёжность: ретестовая, параллельных форм, частей тела, по внутренней согласованности, факторно-дисперсионая).

 

Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.

Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.

Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.

 

Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.

Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.

На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.

При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.

Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.

 

Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.

Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.

 

 

Валидность методики.

1)Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.

2) Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).

 

!Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация!

 

При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.

Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.

Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.

Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).

Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.

 

 

Прагматическая валидизация. Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.

Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).

 

Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:

1. Критерий исполнения (количество выполняемой работы, успеваемость, время, темп роста квалификации).

2. Субъективные критерии (включают различные виды ответов, которые отражают отношение человека к чему-либо, его мнения, взгляды).

3. Физиологический критерий (используется при изучении влияния внешней среды, влияющей на организм и психику).

4. Критерий случайности (например, когда цель касается проблемы отбора для работы таких лиц, которые менее подвержены несчастным случаям).

 

Внешний критерий должен обладать 3 основными требованиями:

1. Должен быть релевантным, то есть должна быть уверенность, что в критерии задействованы именно те особенности индивидуальной психики, которые измеряет диагностическая методика. Внешний критерий и диагностическая модель должны находиться во внутреннем смысловом соответствии.

2. Должен быть свободным от помех (контаминации). Следует отбирать для исследования такие группы людей, которые находятся в более или менее одинаковых условиях.

3. Должен быть надежен. Постоянство и устойчивость исследуемой функции.

 

Оценка валидности методики может носить количественный и качественный характер.

Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).

Качественное описание сущности измеряемого свойства - здесь не используют статистическую обработку.

 

Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:

1. Валидность «по содержанию» (используется в тестах достижения): 3 – 4 вопроса из большой темы могут показать истинные знания ученика. Для этого результаты диагностики сравнивают с экспертными оценками учителя.

2. Валидность «по одновременности» или текущая валидность – собираются данные, относящиеся к настоящему времени: успеваемость, производительность и т.п. С ними коррелируют результаты успешности по тесту.

3. «Предсказывающая» валидность («прогностическая»). Определяется по надежному внешнему критерию, но информация по нему собирается некоторое время спустя после испытания. Точность прогноза находится в обратной зависимости от времени, заданного для такого прогнозирования.

4. «Ретроспективная» валидность. Определяется на основе критерия, отражающего события или состояние качества в прошлом. Может быть использована для быстрого получения сведений о предсказательных возможностях методики.

 

20. Метод планомерного формирования умственных действий.

В нашей стране наиболее широкое практическое применение в обучении мыслительным действиям получила теория формирования и развития интеллектуальных операций, разработанная П.Я.Гальпериным. В основу данной теории было положено представление о генетической зависимости между внутренними интеллектуальными операциями и внешними практическими действиями.

П.Я.Гальперин внес в соответствующую область исследований новые идеи. Им была разработана теория формирования мышления, получившая название концепции планомерного формирования умственных действий. Гальперин выделил этапы интериоризации внешних действий (перенос внешнего действия во внутрь), определил условия, обеспечивающие их наиболее полный и эффективный перевод во внутренние действия с заранее заданными свойствами.

 

Процесс переноса внешнего действия во внутрь, по П.Я.Гальперину, совершается поэтапно, проходя строго определенные стадии. На каждом этапе происходит преобразование заданного действия по ряду параметров. В этой теории утверждается, что полноценное действие, т.е. действие высшего интеллектуального уровня, не может сложиться без опоры на предшествующие способы выполнения того же самого действия, в конечном счете – на его исходную, практическую, наглядно-действенную, наиболее полную и развернутую форму.

 

Четыре параметра, по которым преобразуется действие при его переходе извне внутрь, суть следующие: - - уровень выполнения (действие может находиться на трех подуровнях: действие с материальными предметами, действие в плане громкой речи и действие в уме);

- мера обобщения;

- полнота фактически выполняемых операций;

- мера освоения.

Три последних параметра характеризуют качество сформированного на определенном уровне действия: обобщенность, сокращенность и освоенность.

 

Процесс формирования умственных действий, по П.Я.Гальперину, представляется следующим образом:

I. Выявление ориентировочной основы действия. На этом этапе происходит ориентация в задании. Первоначально выделяется то, что само бро­ается в глаза. Осуществляется ознакомление с составом будущего действия в практическом плане, а также с требованиями (образцами), которым оно в конечном счете должно будет соответствовать. Это ознакомление есть ориентировочная основа будущего действия.

II. Происходит формирование действия в материальном виде. Осуществляется выполнение заданного действия во внешней форме в практическом плане с реальными предметами или их заменителями. Освоение этого внешнего действия идет по всем основным параметрам с определенным типом ориентировки на каждом. На этом этапе обучающийся умственным действиям получает полную систему ука­заний и систему внешних признаков, на которые ему надо ориентироваться. Действие автоматизируется, делается целесообразным, возможен его перенос на аналогичные задания.

III. Действие формируется в громкой речи. Важное значение приобретает не только знание условий, но и понимание их. Осуществляется выполнение действия без непосредственной опоры на внешние предметы или их заменители. Перенесение действия из внешнего плана в план громкой речи. Перенесение действия в речевой план, по мнению П.Я.Гальперина, означает не только выражение действия в речи, но, прежде всего, речевое выполнение предметного действия.

IV. Этап формирования действий во внешней речи про себя. Здесь осуществляется перенесение громко-речевого действия во внутренний план. Становится свободное проговаривание действия целиком “про себя”.

V. Формирование действий во внутренней речи. Происходит выполнение действия в плане внутренней речи с соответствующими его преобразованиями и сокращениями, с уходом действия, его процесса и деталей выполнения из сферы сознательного контроля и переходом на уровень интеллектуальных умений и навыков.

 

Переход от первого из этих этапов ко всем последующим представляет собой последовательную интериоризацию действий - переход “из вне во внутрь”.