Вычисление индекса трудности

Основным показателем трудности заданий теста является индекс трудности

Uт = 100 (1 – Nп / N)

где: Uт – индекс трудности в процентах, Nп - число испытуемых, правильно решивших задачу; N – общее число испытуемых.

При учете случайного успеха путем угадывания для задачи с предписанным ответом:

Nп - Nн/ m - 1)

Uт = 100 (1 - -----------------------

N

где: Nн - число испытуемых, не решивших задачу; m – число вариантов ответов.

В тех случаях, когда выборка и число проверяемых пунктов велики, имеется возможность определить индекс трудности с помощью контрастных (крайних) групп. В каждую из групп входят по 27 % лиц от численности выборки, имеющих лучшие и худшие результаты по тесту в целом. Индекс трудности заданий теста вычисляется как среднее арифметическое индексов трудности для групп с максимальным и минимальным результатом.

Поэтому трудность заданий в тесте должна иметь умеренный разброс, в среднем составлять около 50% (обычно 0,16% до 0,84%).

 

Расчет индекса трудности.

Основной показатель трудности – индекс трудности заданий.

Ит = 100(1-Nп/N)

где Ит – индекс трудности

Nп – число испытуемых правильно решивших задание

N – общее число испытуемых

 

Пример: расчет индекса трудности - 100 человек:

задание №1 выполнило 15 человек или 15%

задание №2 выполнило 25 человек или 25%

Ит = 100(1-15/100) = 100 (1-0,15) = 100 (0,8) = 8%, задание трудное.

Если в тесте ответы фиксированы и ответ можно выбрать из 5-4 вариантов применяется формула:

Ит = 100 (1- Nп-Nн/m-1)

N

N – число испытуемых не решивших задачу

m – число вариантов ответа

Nп – число правильно решивших

Nн – неправильно решивших задачу

Ит = 100 (15-85/3) = 100(1 – 15 - 28.3/ 100 = 100 (1 – 0,13) = 100 0,87=87 %

Связь между трудностью задания и назначением теста.

Стандартный тест построен по трудности так, что он дифференцирует испытуемых на всех уровнях в равной степени. Но при построении тестов специального назначения выбор трудности заданий зависит от цели и необходимого типа различения.

Пример: необходимо отобрать группу способных учеников для приема в лицей. Трудность около 20% более целесобразна и наоборот – отбор в корреляционную группу, трудность около 80% - более лёгкие задания.

Соотношение трудности и дискриминативности

 

Проблема надежности и достоверности результатов теста.

Виды надежности

Надежность – одна из главных психометрических свойств любой измерительной методики или теста. Надежность – это помехоустойчивость теста, независимость его результатов от действия всевозможных случайных факторов. К числу таких факторов следует отнести:

-разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура, наличие посторонних звуков, отвлекающих внимание и т.п.)

-динамичные внутренние факторы, по разному действующие на разных испытуемых в ходе тестирования (время так называемой «врабатываемости» - выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т.п.).

- информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом, проводящим тестирование, возможное наличие какого-то знания и отношения.

разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла (который можно было бы в принципе получать в идеальных условиях).

Средняя относительная величина этого отклонения определяется как стандартная ошибка измерения Sе. Величина ошибки измерения указывает на уровень неточности или ненадежности теста (надежность – точность синонимы в психометрии)

Надежность является критерием качества тестов и оценивает точность психологических измерений.. Чем выше надежность измерения, тем относительно свободнее результаты теста от погрешностей измерения.

Следовательно, можно утверждать, что надежность— степень соответствия значения показателя величине измеряемого признака и в то же время отсутствие систематических и случайных связей, вызываемых варьированием условий (постоянство ситуаций, состояний испытуемого, а также применяемых методик).

В самом широком смысле надежность теста показывает, в какой степени индивидуальные различия в тестовых результатах оказываются "истинными", а в какой мере могут быть приписаны случайным ошибкам" (А. Анастази).

Традиционно выделяются три группы факторов, влияющих на надежность теста: временные колебания состояния обследуемых, неоднородность содержания теста и различия у ставящих оценки. Соответственно при разработке теста проверяются три типа надежности теста: 1) ретестовая надежность (тест — ретест, т.е. повторное тестирование), 2) надежность как согласованность содержания и 3) надежность субъективных оценок.

Для получения показателя надежности высчитывается так называемый коэффициент корреляции (от лат. соrrе1аtiо - связь), обозначаемый латинской буквой r. Иными словами, коэффициент надежности есть не что иное, как коэффициент корреляции.

Коэффициент корреляции показывает, существует ли связь между двумя попарно связанными рядами данных. Попарными рядами данных, например, являются результаты по тесту интеллекта и тесту на внимание, годовые оценки учеников класса по физкультуре и по биологии, объем торгового оборота ряда фирм за последние два года и т.д. Например, школьный психолог захотел узнать существует ли взаимосвязь между уровнем развития внимания в пятом классе и успеваемостью по русскому языку. Для этого он проводит в классе тестирование, выписывает рядом с данными по тесту каждого ученика его оценку по предмету и подсчитывает коэффициент корреляции.

Коэффициент корреляции вычисляется с помощью специальных математических процедур и может колебаться в пределах от -1.00 до +1.00. Пользователю теста в большинстве случаев нет необходимости знать способы вычисления коэффициента корреляции, гораздо важнее понимать психодиагностический смысл, стоящий за тем или иным его значением.

Минимальный приемлемый коэффициент, для большинства тестов, ' должен превышать 0.70. Как правило, у "серьезных" тестов он существенно выше: 0.8 и даже 0.9. Например, надежность как согласованность содержания вербальной (словесной) шкалы теста интеллекта Д. Векслера для взрослых равна 0.96,— лишь 4% различий в выполнении теста зависят от побочных факторов.

Надёжность теста - это характеристика, показывающая способность осуществлять надёжные и точные измерения, в которых мала доля ошибок и помех.

Виды надёжности.

Существует множество характеристик надёжности, так как имеется много условий влияющих на результаты теста, практически применяется несколько характеристик.

1.Надежность как согласованность содержания. Сущность этого вида демонстрирует ставший уже хрестоматийным пример. Каждому известно, что на экзамене бывают "легкие" и "трудные" вопросы: в первом случае мы сдаем на отлично, во втором - зачастую, "проваливаемся". Так отражает ли в таком случае и одна и вторая экзаменационная оценка наши "истинные" знания? Ведь давно известно, что экзамен — это лотерея. Но тест не может быть лотереей!

Таким образом, при создании теста стремятся добиться, чтобы результат обследуемого как можно меньше зависел от того, какой "билет он вытащил", какой именно конкретный набор заданий был использован в тесте, какие именно задания выбрал и успел выполнить обследуемый. Иными словами, задания должны быть максимально однородны по содержанию и не давать каких-либо преимуществ отдельным обследуемым.

Например, коэффициент надежности как согласованности содержания, равный 0.72, позволяет считать, что 72% индивидуальных различий в выполнении этого теста обусловлены "истинными" различиями между обследуемыми, а 28% — вызваны тем, что его задания неоднородны и часть обследуемых лучше справляется с одними из них, а часть - с другими. При таком "экзамене" не все "билеты" равноценны.

Наиболее распространены три основных способа получения коэффициента надежности как согласованности содержания: а) метод расщепления, б) метод взаимозаменяемых форм и в) метод Кьюдера-Ричардсона.