Поступила в редакцию 16.11 2000 г.



Мы поможем в написании ваших работ!


Мы поможем в написании ваших работ!



Мы поможем в написании ваших работ!


ЗНАЕТЕ ЛИ ВЫ?

Поступила в редакцию 16.11 2000 г.



 

Подготовленный развитием компьютерной техники и глобальных сетевых технологий переход от инду­стриального к информационному обществу затронул отечественную психологическую науку. Теперь стали возможными электронные библиотеки, научное общение в сети (конференции и семинары), а также проведе­ние психологических исследований на базе глобальной сети Интернет.

В связи с этим наш журнал открывает новую рубрику "Психология и Интернет". Диапазон тем доста­точно широк: от освещения новых возможностей, которые предоставляет компьютерная сеть для разви­тия науки, до отчетов о психологических исследованиях, проведенных с использованием новейших технологи­ческих достижений; от инженерно-психологических вопросов построения социотехнических систем до соци­ально-психологических исследований различного рода сообществ, возникших на базе сети Интернет.

Знаменательно, что открытие рубрики совпало с юбилеем "Психологического Журнала" и попало на на­чало нового тысячелетия.

Сохранение надёжности многофакторных тестов при их использовании в сети Интернет

В. Г. Ромек*, Д. К. Сатин*

Психологический журнал, 2000, том 21, № 2, с. 70-78

Выявлено сохранение показателей надежности многошкальных тестов, разработанных с примене­нием факторного анализа при их использовании в сети Интернет. Рефакторизация данных, полу­ченных по тестам уверенности в себе и Айзенка (EPI) на больших выборках (661 и 1637 человек), доказала, что надежность тестов при их использовании в сети Интернет не уменьшается при сохра­нении факторной структуры тестов. В то же время, усредненные значения по шкалам при тестиро­вании в сети отличаются от данных, полученных на "бланковых" выборках. Авторы делают вывод о возможности использования тестов в сети, но оговаривают необходимость дальнейшего анализа специфики выборок пользователей сети Интернет.

Ключевые слова: факторная структура теста, психометрические характеристики теста, надежность, компьютерное тестирование.

ЦЕЛИ, ЗАДАЧИ, ГИПОТЕЗЫ

Глобальная компьютерная сеть Интернет все в большей степени осваивается специалистами-психодиагностами в качестве новой среды для ор­ганизации и проведения исследований [4—6]. Ком­пьютерная сеть предоставляет несколько воз­можностей, которые отсутствуют при бланковом тестировании, а именно:

ü низкую стоимость тиражирования материа­лов;

ü широкий географический охват;

ü не требуется непосредственного присутствия психодиагноста рядом с испытуемым. Инструк­цию и стимульный материал предоставляет про­граммный комплекс, осуществляющий также об­работку полученных данных. Ее результаты ав­томатически соотносятся с психометрическими нормами, на основании чего испытуемому выво­дится текст интерпретации;

ü пользователи компьютерной сети подготов­лены к встрече с тестами, так как для получения обратной связи многие администраторы сети со­здают и размещают на своих серверах непсихоло­гические опросники-анкеты. Каждый пользова­тель имеет опыт участия в опросах, предъявляе­мых в виде одностраничной анкеты или последовательности диалогов. У пользователей глобальной сети достаточно высока готовность к участию в тестировании еще и потому, что мно­гие администраторы сайтов размещают на них популярные, а зачастую и профессиональные те­сты в качестве развлекательного материала.

Особенности профессионального тестирова­ния в глобальной сети ставят перед диагностами ряд проблем этического, практического и науч­ного плана. Тестирование в сети происходит в от­сутствие психолога, который мог бы проконтро­лировать ход диагностической процедуры, и от которого испытуемый получает интерпретацию результатов. Это ставит перед диагностом допол­нительные задачи контроля переменных, связан­ных с ситуацией тестирования, а также задачу со­ставления таких интерпретаций, которые бы не оставляли испытуемому возможностей для не­верного истолкования.

Процесс заполнения формы на экране ком­пьютера, или прохождение последовательности диалогов, существенно отличается от традицион­ной работы с карандашом и бумагой. Испытуе­мый может отвлекаться, одновременно выпол­нять какую-либо другую работу в открытой про­грамме, он может, наконец, просто случайным образом заполнить тест, чтобы посмотреть, что в итоге получится.

В связи с этим возникает ряд важных для пси­ходиагностики задач:

в технических средствах реализовать те функции, которые обычно выполняет психолог, проводя тестирование испытуемого (в психоло­гии накоплен значительный опыт проведения те­стов на персональных компьютерах, но тестиро­вание в сети Интернет требует новых решений, позволяющих стандартизировать эту ситуацию);

проверить надежность психологических тес­тов при их использовании в сети Интернет с авто­матической обработкой данных и выдачей реко­мендаций.

Настоящее исследование направлено на реше­ние второй из перечисленных выше задач. В ходе исследования обсуждаются основные подходы к решению первой задачи.

МЕТОДИКА

Мы сопоставили надежность двух тестов - уверенности в себе и личностного опросника Айзенка при их использова­нии в бланковой форме и при выполнении теста анонимны­ми пользователями в сети Интернет.

Это сопоставление должно было дать ответ на вопрос, требуется ли дополнительная адаптация тестов при их ис­пользовании в сети, т.е. происходит ли изменение надежнос­ти и других психометрических характеристик при тестирова­нии в сети Интернет, и существует ли разница между норма­ми при выполнении бланковых тестов и их версий в сети Интернет?

Тест Айзенка(Eysenck Personality Inventory, EPI) особого представления специалистам не требует. Он содержит три шкалы: Экстраверсии, Нейротизма, Лжи [1]. Для сравнения использовалась его русская адаптация (форма А), выполнен­ная А.Г. Шмелевым [7], и данные о нормах и составе шкал [2].

Тест уверенности в себепредставляет собой опросник из 30 пунктов, разработанный с использованием факторного анализа и дающий оценки по шкалам общей уверенности в себе, социальной смелости и инициативы в контактах [3].

Для проверки зависимости психометрических характери­стик названных тестов от ситуации тестирования (бланковое или тестирование в сети Интернет) мы сравнили на двух вы­борках по каждому тесту факторные структуры, показатели надежности отдельных шкал (a-Кронбаха) и нормы, полу­ченные при бланковом тестировании и тестировании в сети Интернет.

ХАРАКТЕРИСТИКИ ВЫБОРОК

Тест уверенности в себе.

Выборка 1 (бланковое тести­рование) составила 535 человек (60.6% женщин, 39.4% муж­чин). Она включала испытуемых с разным образовательным уровнем (в ней не было студентов-психологов). Тестирова­ние проводилось частично в групповой форме, основная мас­са бланков была заполнена испытуемыми в ходе консульта­ционной работы. Все испытуемые получали интерпретацию результатов тестирования.

Выборка 2 (тестирование в сети Интернет) составила 661 человек (53.6% женщин, 46.4% мужчин). Контролировать иные демографические показатели выборки не представлялось возможным. Тестирование проходило на сайте "Психология уверенности в себе" (http://www.openweb.ru/romek/) путем за­полнения формы, по внешнему виду приближенной к бумаж­ному бланку. Интерпретация либо рассылалась по электрон­ной почте, либо выводилась на экран компьютера.

Тест Айзенка

Выборка 3 (бланковое тестирование) со­ставила 153 человека (студенты МГУ обоего пола непсихо­логических специальностей).

Выборка 4 (тестирование в сети Интернет) составила 1637 человек (46% женщин, 54% мужчин). Тестирование проходило на сайте "Книжная полка научно-психологичес­кой литературы" (http://come.to/satin) путем прохождения ис­пытуемым последовательных диалогов, в каждом из кото­рых нужно выбрать один из двух вариантов ответа. После осуществления выбора программа автоматически предъяв­ляла испытуемому новый пункт опросника. После ответа на последний пункт опросника программа автоматически выво­дила испытуемому интерпретацию его результатов.

Для всех выборок, полученных при тестировании в сети Интернет, собирались также данные о возрасте испытуе­мых. Разброс значений составил от 12 до 54 лет, при значе­нии медианы - 25 лет.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Полученные данные обрабатывались по од­ной и той же схеме с использованием статистиче­ского пакета SPSS-7.5. На первом этапе мы срав­нили факторные веса отдельных пунктов теста уверенности в себе по трем его шкалам на двух описанных ранее выборках. Результаты сравне­ния мы приводим в табл. 1.

Как можно увидеть из этой таблицы, в целом в факторной структуре теста не произошло суще­ственных изменений, за исключением вопроса

№ 19[7], что гипотетически можно объяснить пре­имущественно ночным образом жизни тех, кто тесно связан с работой в Интернете (ночью - де­шевле и связь лучше). Именно во второй выборке (Интернет) мы получили значимо меньше отве­тов "неверно" на этот вопрос.

Вопрос в суточном распределении частоты тестирования в сети Интернет был дополнительно изучен. Оказалось, что с 00:00 до 09:00 проходят тестирование не более 20% испы­туемых, а с 03:00 до 07:00 - меньше 8%. Учитывая то, что в сетевом тестировании принимают участие испытуемые, живущие в разных часовых поясах, фактором возможнос­тей искаженности результатов ночного тестирования мож­но пренебречь.

Таблица 1. Факторные веса вопросов теста уверенности при тестировании в бланковой форме и в сети Интернет

  Факторные веса   Факторные веса
№ вопроса   фактор 1 (социальная смелость/зас­тенчивость) фактор 2 (уверенность в себе) фактор 3 (инициатива в социальных контактах) № вопроса фактор 1 (социальная смелость/ застенчивость) фактор 2 (уверенность в себе) фактор 3 (инициатива в социальных контактах)
.622/.570       .537/.573  
.5897.599       .5347.59  
.582/.420       .5157.498  
-.580/-.491       .479/.329 .272/-
.578/.518   .277/-   .4397.529  
.566/.S44       .428/364  
.5617.623 -.265/-.290   .2997.309 -.400/-.516  
.5187.573         .555/.613
.514/.457         .555/.5S7
.4957.429   .364/.319     .521/.416
.4917.546         .474А469
.3687.326 -.356/-.271 .251/.263     .434/.589
  .6757.635   .3277.381   .422/.313
  -.S94/-.647   .2657.266 -.323/-.373 .364/-
  .5477.620       -.242/-

Примечание. Факторный анализ проводился с экстракцией факторов методом главных компонент и последующей Varimax-ротацией. В таблице приводятся факторные веса после ротации.

Первая цифра соответствует факторному весу, полученному на "бланковой" выборке, вторая - при тестировании в сети Ин­тернет. В таблице приводятся факторные веса, большие, чём 0.25.

Соответственно, можно было ожидать сохра­нения хорошего уровня надежности при тестиро­вании в сети. Мы проверили это предположение, рассчитав индексы надежности на двух выборках. Как видно из табл. 2, надежность всех трех шкал теста уверенности при тестировании в сети либо уменьшилась крайне незначительно, либо даже увеличилась (шкала уверенности).

Таблица 2. Сравнение индексов надежности теста уве­ренности при тестировании в бланковой форме и в се­ти Интернет

Шкалы Индексы надежности (α-Кронбаха)
Уверенность в себе Социальная смелость Инициатива 0.73/0.75 0.79/0.77 0.60/0.56

Примечание. Первая цифра соответствует коэффициенту, полученному на "бланковой" выборке, вторая - при тестиро­вании в сети Интернет.

Были также проверены различия в средних значениях по трем шкалам на двух выборках. По всем трем шкалам обнаружены значимые разли­чия средних между двумя выборками (α < 0.01). Дисперсия значимо различалась лишь по шкале общей уверенности (α = 0.03). Означает ли это, что нормы при тестировании в сети должны быть пересмотрены?

Полученные различия могут быть объяснены разным характером мотивации тестирования у испытуемых при проведении бланкового вариан­та и при проведении в сети Интернет. В случае бланкового тестирования мотивация участия в тестировании варьирует от ориентации на полу­чение интерпретации до желания помочь иссле­дователю в осуществлении стандартизации теста. При проведении тестирования в сети Интернет мотивация тестирования ограничена мотивацией самопознания, так как исследователь не имеет никакого влияния на поведение испытуемого. Приходится также признать, что сам выбор ме­тодики испытуемым может быть не случаен. Вполне может оказаться, что люди, испытываю­щие недостаточность, например, уверенности в себе, чаще проходят тест уверенности в себе, чем самоуверенные. Подобному искажению состава выборки подвержены те тесты, в названии кото­рых указана измеряемая ими психологическая черта.

Таблица 3. Факторные веса вопросов теста Айзенка при тестировании сети Интернет

№ вопроса/№ шкалы в ключах 1984г. Факторы № вопроса/№ шкалы в ключах 1984г. Факторы
экстра­версия нейротизм ложь экстра­версия нейротизм ложь
23/2 .621     27/1 -.143 .606  
55/2 .621 -.124 .157 25/1 -.127 .545  
16/2 .608     53/1 -.126 .526 .111
09/2 .608     29/1(-) .179 -.512 .110
52/2 .566 -.118 -.141 15/1(-)   -.509  
07/2 .547     46/1 .186 .468  
14/2 .546     51/1(-) .158 -.444  
38/2 .538   -.210 39/1 -.113 .424 .156
47/2 .534   -.151 01/1 .106 .417  
33/2 .517   .130 56/1   .387 -.202
19/2 .504   -.121 20/1(-) .118 -.384 .156
50/2 .498   -.152 32/1(-)   -.339  
40/2 .492     44/1   .326 .110
11/2 .451 -.131   10/1   .308  
02/2 .446 .270   08/1i .135 .290  
26/2 .427 .269   13/1 .151 .282  
31/2 .366     03/1 -.171 .277  
45/2 .355   -.144 41/1(-) .107 -.168 .147
35/2 .336     05/1(-)   -.123  
04/2 .336 -.126   06/3     .537
28/2 .307     24/3   .271 .506
43/2 .302     54/3(-)   .159 -.481
57/2 .295     36/3     .441
37/1(-) .264 -.143   42/3(-)     -.433
21/2 .210 .133   12/3(-) .294   -.391
18/3(-) .201   -.135 48/3(-)     -.381
22/1 .196 .168 -.165 30/3(-) .206 .199 -.373
17/1   .645   34/1     .370
49/1 -.113 .628          

Примечание. Результаты факторного анализа после Varimax-ротации. Факторные веса отсортированы в нисходящем поряд­ке. Показаны факторные веса, большие чем 0.1. В первом столбце после номера вопроса следует номер шкалы, в которую вошел данный вопрос в результате адаптации 1984 г. В скобках отмечена полярность вопроса. Жирным начертанием отме­чены вхождения в фактор с наибольшим весом и совпадения полученного значения с ключом 1984 г.

Соответствующие расчеты для теста Айзенка при его использовании в сети Интернет дали схо­жие результаты. В факторном анализе мы уста­новили практически полное соответствие фак­торной структуры теста ключам к тесту, которые разработаны А.Г. Шмелевым в процессе его адаптации. Как это можно увидеть из табл. 3, не­смотря на то, что русская адаптация проводилась в бланковом варианте в 1984-85 гг., при тестиро­вании в Интернете с последовательным предъяв­лением вопросов испытуемым группировка от­дельных вопросов теста практически не изменилась. Лишь единичные вопросы имели большие факторные веса в "неправильном" факторе, что, однако, не сказалось на надежности шкал теста в целом. Расчеты надежности по отдельным шка­лам теста также дали достаточно хорошие ре­зультаты (табл. 4).

Таблица 4. Оценка надежности шкал теста Айзенка при тестировании в сети Интернет

Шкалы Индексы надежности (а-Кронбаха)
Экстраверсия Нейротизм Ложь 0.75 0.85 0.53

Таблица 5. Показатели ретестовой надежности, полу­ченные при тестировании в сети Интернет

Тест Айзенка (EPI, форма А)
Шкала rxу Пирсона
Экстраверсия-Интроверсия Нейротизм Социальная желательность 0.878 0.877 0.772
Тест уверенности в себе
Шкала гху Пирсона
Социальная смелость Инициатива в социальных контактах Уверенность в себе 0.972 0.962 0.982

Примечание. Уровень значимости для всех полученных зна­чений произведения моментов Пирсона составил р < 0.01. Повторное тестирование, проходившее через две недели пос­ле проведения первого, по тесту Айзенка прошли 64 испыту­емых, а по тесту уверенности в себе - 74.

ВЫВОДЫ

Таким образом, на примере теста уверенности в себе и теста Айзенкаобнаружено сохранение основных психометрических характеристик многошкальных тестов, построенных с применением факторного анализа при их использовании в сети Интернет. Следовательно, правомерно сделать вывод о том, что надежность психологических те­стов этого типа не снижается. Вопрос о необходи­мости дополнительного нормирования остается открытым, но глобальная компьютерная сеть предоставляет огромные возможности для науч­ного исследования этой проблемы. При тестирова­нии в сети психолог может получить уникальный материал, так как есть возможность составления больших выборок, равномерно распределенных на определенной территории. Размещение тестов на разных сайтах и в разных вариантах позволит изучить зависимость норм и надежности тестов от содержания сайтов, на которых они размеще­ны, от вариантов программирования и предъяв­ления испытуемым заданий теста.

По окончании данного исследования была осу­ществлена разработка универсальной системы проведения психодиагностических исследований в сети Интернет (http://testology.psychology.ru). Система предоставляет зарегистрированным пользователям возможность прохождения в стан­дартизованных условиях ряда исследовательских методик и получения интерпретации результа­тов.

Уже сейчас система позволила собрать данные о ретестовой надежности тестов, которым посвя­щена данная работа (табл. 5).

Следует отметить, что, конечно, самым боль­шим достоинством проведения тестирования в се­ти Интернет является возможность получения больших выборок, без которых проблематично разработать достаточно точную психодиагности­ческую методику. На малых выборках (от 100 до 200 человек), которые обычно набираются при бланковой стандартизации, невозможно выявить важные характеристики, необходимые для оцен­ки точности и эффективности методики. Приме­ром такого уточнения данных, полученных при бланковой стандартизации больших выборок в сети Интернет, является установление фактов чувствительности шкалы нейротизма теста Айзе­ка к полу испытуемых и неоднородности шкалы экстраверсии-интроверсии [6].

Учитывая бурное развитие сети Интернет в России, работа по проведению психодиагностиче­ских исследований в сети представляется очень важной и перспективной. Она может стать важ­ным стимулом дальнейшего развития отечест­венной психодиагностики.

СПИСОК ЛИТЕРАТУРЫ

1. Бурлачук Л.Ф., Морозов СМ. Словарь-справоч­ник по психодиагностике. Киев: "Наукова Думка", 1989. С. 8-11.

2. Практикум по психодиагностике. Психодиагности­ческие материалы / Под ред. А.А. Бодалева, И.М. Карлинской, С.Р. Пантелеева, В.В. Столина. М.: Изд-во МГУ, 1988. С. 11-16.

3. Ромек В.Г. Тесты уверенности в себе // Практиче­ская психодиагностика и психологическое кон­сультирование. Ростов-на-Дону: Изд-во ЮРГИ, 1998. С. 87-108.

4. Ромек В.Г., Сатин Д.К. Психологическое тестиро­вание в сети Интернет: проблемы надежности тес­тов // Научный сервис в сети Интернет. Тезисы до­кладов всероссийской научной конференции. М.: Изд-во МГУ, 1999. С. 226-229. ISBN 5-211-04181-X.

5. Ромек В.Г., Сатин Д.К. Надежность тестов при те­стировании в Интернете // Междисциплинарный семинар "Виртуальная коммуникация в сети Ин­тернет". М., 1999. С. 27-36.

6. Сатин Д.К. Психометрические нормы личностно­го опросника Айзенка (EPI) при проведении в сети Интернет // Индивидуальный и групповой субъек­ты в изменяющемся обществе. Тезисы докладов к международной научно-практической конферен­ции. М.: ИП РАН, 1999. С. 136-138. ISDN 5-201-02314-2.

7. Шмелев А.Г., Похилъко В.И. Анализ пунктов при конструировании и применении тест-опросников: ручные и компьютерные алгоритмы // Вопросы психологии. 1985. № 4. С. 126-134.

 



Последнее изменение этой страницы: 2016-06-26; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 3.236.253.192 (0.016 с.)