Надійність суб'єктивних оцінок.

Надійність як один із основних критеріїв забезпечує незалежність результатів тестів від дії випадкових факторів. Результат вимірювання безпосередньо залежить від стабільності вимірюваної ознаки. Якщо ознака лабільна (змінювана), наприклад настрій, то результат вимірювання її не може бути настільки ж точним, як результат вимірювання стабільної ознаки, наприклад знання орфографії. Надійність - характеристика методики, що відображає точність психодіагностичних вимірів, а також стійкість результатів тесту до дії сторонніх факторів. У широкому розумінні вона засвідчує, наскільки виявлені у досліджуваного ознаки за тестовими результатами є відображенням дійсних ознак вимірюваних властивостей і наскільки на тестові результати впливають випадкові фактори. У вузькому (методичному) розумінні надійність є мірою узгодженості результатів тесту, отриманих під час першого і повторного застосування, в одних і тих самих досліджуваних у різний час за допомогою різних, але однакових за характером, наборів тестових завдань або за інших змін умов дослідження.

Ступінь надійності вимірювання визначають за допомогою коефіцієнта надійності (коефіцієнта реліабільності) - кореляційного коефіцієнта, що показує відповідність результатів вимірювань, зроблених за однакових умов однією особою (тобто,у який спосіб відтворені результати вимірювання).

Надійність характеризує точність вимірювання, констатує, наскільки правильні дані тестування. Якщо на етапі перевірки якості тесту досліджувані одержують оцінки, які відрізняються від попередніх, це свідчить про ненадійність тесту.

Валідність за змістом.

Змістова валідність характеризує спрямованість тестових завданнях щодо усього обсягу вимірюваної сфери психічних властивостей. її коефіцієнт визначають шляхом експертного оцінювання.

Цей вид валідності є проблематичним критерієм, оскільки для кожної поведінки існує змістовий опис, тому розробляють завдання, що виявляють її ознаки. За допомогою оцінок експертів з'ясовують, наскільки характеристика поведінки, отримана за результатами тестів, змістово збігається з попереднім її описом.

Валідність змістова закладається у тест при підборі завдань майбутньої методики. Першим етапом валідизації є визначення сфери досліджуваних властивостей і видів діяльності, розчленування складної здатності або діяльності на елементи. На другому етапі розробляють власне модель тестування на основі найважливіших елементів реальної діяльності. На останньому етапі аналізують ступінь відповідності розробленої моделі реальній дійсності, перевіряють пропорційність елементів у завданнях тесту і в реальній діяльності. Так, для тестів досягнень за окремими предметами розробленню конкретного змісту завдань передують систематична перевірка відповідних підручників і навчальних програм, консультації зі спеціалістами. На основі зібраної інформації складають специфікацію тесту, де вказують тестовані розділи змісту, завдання навчання, а також відносне значення кожної теми і процесу для досягнення мети навчання на цьому етапі. Конкретні завдання оцінюють експерти за принципом їх наближеності до реальних вимог. Вони роблять судження про те, чи охоплює тест репрезентативну вибірку конкретних навичок і знань досліджуваної галузі навчання. Така валідність має особливе значення у критеріально-орієнтувальних тестах і тестах досягнень.

Для валідизації особистісних питальників і тестів інтелекту критерії змістової валідності використовуються лише на початкових етапах складання тесту, адже відповіді на питання анкети, питальників, результати проективних досліджень дають змогу лише здогадуватись про реальну діяльність досліджуваного. Вияв особистісних якостей може мати індивідуальний характер.

У контексті змістової валідності можна виокремити валідність очевидну, яка формує уявлення про тест, що виникає у досліджуваного або іншої особи, яка не володіє спеціальною інформацією про характер використання і мету методики, окреслює сферу його застосування, результативність та прогностичну цінність. Валідність очевидна не є компонентом об'єктивно встановленої валідності. Вона діє як фактор, що спонукає досліджуваних до обстеження, сприяє відповідальнішому ставленню до роботи з виконання завдань тесту і висновків, які робить психолог. Інколи цю валідність називають зовнішньою, або довірчою.

Валідність за критерієм

Критеріальну валідність формують характеристики, які включають валідність поточну і прогностичні методики, що відображають відповідність діагнозу і прогнозу певному комплексу критеріїв вимірюваного явища. Для валідизації критерію використовують незалежні від результатів тесту безпосередні міри досліджуваної якості - рівень досягнень у певній діяльності, ступінь розвитку здібності, вираженість певної властивості особистості тощо.

Цей тип валідності включає як зв'язки із поточним станом досліджуваного явища, так і ймовірність, і обґрунтованість прогнозу про його стан у майбутньому. Тому в межах критеріальної валідності розглядають валідність поточну і прогностичну. Прогностична критеріальна валідність відображає відповідність прогнозу, зробленого на основі певного тесту, реальному стану вимірюваної якості через деякий час, а також часовий інтервал, у якому результат тесту є валідним.

У межах валідності критеріальної виокремлюють діагностичну валідність, що відображає здатність тесту диференціювати досліджуваних за досліджуваною ознакою. Аналіз діагностичної валідності стосується встановлення відповідності показників тесту реальному стану психологічних особливостей досліджуваного у момент обстеження.

Прогностична валідність дає змогу обчислити взаємозв'язок між даними, отриманими у процесі проведеного дослідження, і поведінкою, що спостерігається після нього.

Різновиди валідності критеріальної залежать від валідності емпіричної - сукупності характеристик валідності тесту, які отримані порівняльним статистичним способом оцінювання. Основою емпіричної валідності є операція статистичного аналізу отриманих результатів за допомогою методики і реального вияву психологічної змінної.

Емпірична валідність і надійність співвідносні. Якщо висока надійність тесту свідчить, що він може точно вимірювати певну властивість, то висока валідність - що тест вимірює саме те, для чого був розроблений. Тому коефіцієнти валідності не перевищують значення коефіцієнтів надійності. Ці характеристики визначають укладачі у процесі підготовки тесту.

Емпіричну валідність завжди вимірюють за допомогою статистичного корелювання. Проводять кореляційний аналіз зв'язку двох рядів значень - оцінок тесту і показників за зовнішнім параметром досліджуваної властивості

Конкретні процедури визначення емпіричної валідності пов'язані з комплексом валідності коефіцієнтів - статистичного показника валідності емпіричного тесту.

Отже, критеріальна валідність показує співвідношення результатів тестування з оцінками вимірюваної якості чи властивості, отриманими нетестовими способами (думки фахівців, дані спостережень і експериментів, аналіз продуктів діяльності досліджуваних).

Валідизацією критерію є й незалежні від результатів тесту безпосередні величини вимірюваної якості (наприклад, рівень досягнень у певній діяльності, ступінь розвитку здатності, виразність визначеної властивості особистості тощо).

Конструктна валідність.

Конструктна валідність відображає ступінь співвіднесення результатів тесту з базовими для нього теоретичними поняттями (конструктами). Тобто показує, наскільки результати, отримані за допомогою методики, можна розглядати в якості міри деякого теоретичного конструкту (досліджуваного психологічного фактора або властивостей особистості чи групи). Визначення цієї міри є завданням емпіричної валідизації методики.

Якщо тест розроблятимуть для встановлення ступеня розуміння мовлення, необхідно уявляти, які компоненти утворюють цей конструкт. Наприклад, слід вибрати із запропонованого переліку пункти, що стосуються розуміння мовлення дитиною: а) відповідає на питання; б) дуже уважна при слуханні; в) переказує почуте своїми словами; г) може дослівно запам'ятати текст із першого разу; ґ) здатна скласти план тексту; д) ставить експериментатору багато запитань стосовно почутого.

Однак тільки частина з них стосується розглянутого конструкту. Проаналізувавши проблему, підбирають завдання, що відображають різні аспекти розуміння мовлення. Після цього формулюють гіпотези про те, як дані розроблюваного тесту будуть корелювати з іншими тестами, спрямованими на наближені і віддалені конструкти. Гіпотези перевіряють методами кореляційного і факторного аналізу. Підтвердження чи спростування сукупності очікуваних зв'язків характеризує конструктну валідність тесту.

Валідність конструкту має здебільшого теоретичну, а не прагматичну спрямованість. Тому її значення полягає не в безпосередній практико-діагностичній придатності до використання, а в теоретичному поясненні вимірюваних психологічних особливостей.

Для валідизації конструкту розроблені комплексні статистичні методи, наприклад аналіз факторів другого порядку і канонічний аналіз. Інструментарій має конструктивну валідність, якщо знайдені відношення відповідають теоретичній моделі.

Часто психолог не може підібрати для вимірюваної властивості жодного апробованого тесту з відомою валідністю. Тоді він формулює передбачувані гіпотези, які корелюватимуть його новий тест з іншими тестами, що вимірюють родинні характеристики досліджуваних. Ці гіпотези ґрунтуються на теоретичних уявленнях про вимірювану властивість. їх підтвердження вказує на валідність висунутого конструкту, тобто на конструктну валідність тесту, або передбачувану валідність.