Тема: Определение информативности и добротности теста

Цель: научиться практически определять степень информативности и добротности теста.

Теоретические сведения

Информативность теста — это степень точности, с какой он измеряет свойство (качество, способность, характеристику и т.п.), для оценки которого используется. Информативность нередко называют также валидностью (от англ. validity — обоснованность, действительность, законность). В разных случаях одни и те же тесты могут иметь разную информативность.

Вопрос об информативности теста распадается на два частных вопроса:

1) что измеряет данный тест?

2) как точно он измеряет?

Если тест используется для определения состояния спортсмена в момент обследования, то говорят о диагностической информативности теста. Если же на основе результатов тестирования хотят сделать вывод о возможных будущих показателях спортсмена — о прогностической информативности. Тест может быть диагностически информативен, а прогностически нет, и наоборот.

Степень информативности может характеризоваться количественно на основе опытных данных (так называемая эмпирическая информативность) и качественно — на основе содержательного анализа ситуации (содержа-тельная или логическая информативность).

Идея определения эмпирической информативности (греч. эмпириа — опыт) состоит в том, что результаты сравнивают с некоторым критерием. Для этого рассчитывают коэффициент корреляции между критерием и тестом (такой коэффициент называют коэффициентом информативности и обозначают , где: t — первая буква в слове “тест”, k — в слове “критерий”).

В качестве теста-критерия берется показатель, заведомо и бесспорно отражающий то качество системы, которое собираются измерять с помощью теста.

Чаще всего в спортивной метрологии критериями служат:

1) спортивный результат;

2) какая-либо количественная характеристика соревновательной деятельности (например, длина шага в беге, сила отталкивания в прыжках, процент точных передач в футболе и т.д.);

3) результаты другого теста, информативность которого доказана;

4) принадлежность к определенной группе. Например, можно сравнивать мастеров спорта и спортсменов низших разрядов; принадлежность к одной из этих групп является критерием;

5) так называемый составной критерий, например, сумма очков в многоборье.

Пример определения информативности одного и того же теста (скорость бега 30 м с ходу у мужчин) при разных критериях приведен в таблице 8. Данные получены на 62 спортсменах, показавших в прыжках в длину результаты от 600 до 772 см; результаты в многоборье брались на основании опроса.

Таблица 8

Информативность теста “бег 30 м с ходу” (n = 62)

 

Критерий	Мера критерия	Коэффициент информативности
Прыжок в длину с разбега Разбег в прыжках в длину	Результат прыжка (см) Скорость бега на последних 10 м (м/с)	0,658 0,918
Спортивные достижения в прыжках в длину	Разряд по легкой атлетике (от второго до мастера спорта)	0,715
Результат в троеборье: бег 100 м, прыжки в длину, бег 100 м с/б	Сумма очков	0,764

Вопрос о выборе критерия является, по существу, самым важным при определении реального значения и информативности тестов.

При практическом использовании показателей эмпирической информативности следует иметь ввиду, что они справедливы лишь по отношению к тем исследуемым и условиям, для которых они рассчитаны. Тест, информативный в группе начинающих, может оказаться совершенно не информативным в группе мастеров спорта.

Информативность теста неодинакова в разных по составу группах. В частности, в группах, более однородных по своему составу, тест обычно менее информативен.

Коэффициент информативности очень сильно зависит от надежности теста и критерия. Тест с низкой надежностью всегда мало информативен, поэтому не имеет смысла проверять малонадежные тесты на информативность. Недостаточная надежность критерия также приводит к снижению коэффициентов информативности. Однако в данном случае было бы не правильно пренебрегать тестом как мало информативным; ведь верхней границей возможной корреляции теста является не ± 1, а его индекс надежности. Поэтому надо сравнивать коэффициент информативности с этим индексом. Действительную информативность (с поправкой на надежность критерия) рассчитывают по формуле:

,

где:

Коэффициент информативности может определяться как коэффициент корреляции между результатом теста и теста-критерия (например, ранговый коэффициент корреляции):

.

Пример 11.1.

Эмпирическим путем определить информативность теста становой динамометрии (Х) в оценке силовых возможностей исследуемых, используя в качестве теста-критерия (Y) максимальное количество подтягиваний на перекладине. При этом данные выборок таковы:

Решение:

1. Занесем результаты тестирования в рабочую таблицу и сделаем все необходимые расчеты:

2. Подставим полученные данные в формулу расчета рангового коэффициента корреляции:

3. Определим число степеней свободы по формуле:

k = n.

Вывод: т.к. при k = 7, то с уверенностью в 99% можно говорить о том, что в данной группе исследуемых тест становой динамометрии информативен при оценке уровня развития силовых возможностей.

Рассматривая данный частный пример, необходимо отметить, что с информативностью и надежностью теста тесно связано понятие о его различительной возможности — том минимальном различии между исследуемыми, которое диагностируется с помощью теста. Различительная возможность теста зависит от:

1. Межиндивидуальной вариации результатов, которая во многих случаях (например, межклассовая вариация) может быть повышена за счет увеличения трудности теста.
2. Надежности (т.е. соотношения меж- и внутрииндивидуальной вариации) теста и критерия.

Нет фиксированной величины информативности теста, после которой можно считать тест пригодным. Здесь многое зависит от конкретной ситуации: желаемой точности прогноза, необходимости получить хотя бы какие-то дополнительные сведения о спортсмене и т.п. Практически для диагностики используются тесты, информативность которых не меньше 0,3. Для прогноза, как правило, нужна более высокая информативность — не менее 0,6.

Информативность батареи тестов, естественно выше, чем информативность одного теста. Нередко бывает так, что информативность одного отдельно взятого теста слишком низка, чтобы им пользоваться. Информативность же батареи тестов, в которую он входит, может быть вполне достаточна.

В практической деятельности принято выделять такое понятие как добротность теста, которая складывается из его информативности и надежности, определенных с помощью корреляционного анализа (рис.15).

Рис. 15. Схема определения добротности тестов.

При определении добротности теста необходимо учесть следующие положения:

1. Если тест информативен и надёжен , то он считается добротным, при этом берется меньшая величина уверенности
2. Если же тест не отвечает хотя бы одному из этих свойств (т.е. ненадежен, или неинформативен), то он считается недобротным.

Пример 11.2.

Для оценки уровня развития скоростных возможностей группы исследуемых был использован показатель времени опоры (м/с) в 10-секундном беге на месте на контактной платформе с высоким подниманием бедра (теппинг-тест). Необходимо доказать добротность данного теста (X), сравнив его результаты с результатами ретеста (Y) и теста-критерия (Z), которым служит время бега на 100 м, если данные выборок таковы:

Решение:

1. Занесем результаты тестирования в рабочую таблицу и выполним необходимые расчеты:

2. Определим надежность данного теста с помощью расчета рангового коэффициента корреляции между результатами теста и ретеста:

 

Тогда при k = 8 и b = 99% табличное значение рангового коэффициента корреляции равно 0,88.

3. Определим информативность теппинг-теста с помощью расчета рангового коэффициента корреляции между данными теста и теста-критерия:

 

Значение рангового коэффициента корреляции из таблицы при k = 8 и равно 0,72.

Вывод: 1) можно говорить о том, что в данной группе исследуемых теппинг-тест надежен в оценке скоростных возможностей;

2) то с уверенностью можно говорить об информативности данного теста;

3) т.к. тест надежен и информативен, то с уверенностью можно говорить о том, что он добротен.

Ход работы

Задача 1.

По результатам тестирования группы в показателе _____________, определить информативность данного теста в оценке ____________________________, используя в качестве теста-критерия результаты ___________________________________________.

Решение:

2. Занести результаты тестирования в рабочую таблицу и произвести необходимые расчеты:

2. Определить информативность теста с помощью расчета рангового коэффициента корреляции:

Вывод:

Задача 2.

Определить добротность теста ________________________________ в оценке ___________________________________, если в качестве теста-критерия взят тест _____________________, а данные выборок таковы:

Решение:

1. Данные тестирования занести в рабочую таблицу:

2. Определить надежность данного теста:

3. Определить информативность данного теста:

Вывод:

Контрольные вопросы

12. Что называется информативностью теста?
13. Дать понятия диагностической и прогностической информативности.
14. Дать определение эмпирической информативности. Привести пример из области спорта.
15. Какой тест выбирается в качестве контрольного (критерия) при определении информативности теста? Требования, предъявляемые к критерию.
16. Как практически определить действительную информативность теста?
17. Что такое добротность теста?
18. Как практически определяется добротность тестов?