Поступила в редакцию 16.11 2000 г.

 

Подготовленный развитием компьютерной техники и глобальных сетевых технологий переход от инду­стриального к информационному обществу затронул отечественную психологическую науку. Теперь стали возможными электронные библиотеки, научное общение в сети (конференции и семинары), а также проведе­ние психологических исследований на базе глобальной сети Интернет.

В связи с этим наш журнал открывает новую рубрику "Психология и Интернет". Диапазон тем доста­точно широк: от освещения новых возможностей, которые предоставляет компьютерная сеть для разви­тия науки, до отчетов о психологических исследованиях, проведенных с использованием новейших технологи­ческих достижений; от инженерно-психологических вопросов построения социотехнических систем до соци­ально-психологических исследований различного рода сообществ, возникших на базе сети Интернет.

Знаменательно, что открытие рубрики совпало с юбилеем "Психологического Журнала" и попало на на­чало нового тысячелетия.

Сохранение надёжности многофакторных тестов при их использовании в сети Интернет

В. Г. Ромек*, Д. К. Сатин*

Психологический журнал, 2000, том 21, № 2, с. 70-78

Выявлено сохранение показателей надежности многошкальных тестов, разработанных с примене­нием факторного анализа при их использовании в сети Интернет. Рефакторизация данных, полу­ченных по тестам уверенности в себе и Айзенка (EPI) на больших выборках (661 и 1637 человек), доказала, что надежность тестов при их использовании в сети Интернет не уменьшается при сохра­нении факторной структуры тестов. В то же время, усредненные значения по шкалам при тестиро­вании в сети отличаются от данных, полученных на "бланковых" выборках. Авторы делают вывод о возможности использования тестов в сети, но оговаривают необходимость дальнейшего анализа специфики выборок пользователей сети Интернет.

Ключевые слова: факторная структура теста, психометрические характеристики теста, надежность, компьютерное тестирование.

ЦЕЛИ, ЗАДАЧИ, ГИПОТЕЗЫ

Глобальная компьютерная сеть Интернет все в большей степени осваивается специалистами-психодиагностами в качестве новой среды для ор­ганизации и проведения исследований [4—6]. Ком­пьютерная сеть предоставляет несколько воз­можностей, которые отсутствуют при бланковом тестировании, а именно:

ü низкую стоимость тиражирования материа­лов;

ü широкий географический охват;

ü не требуется непосредственного присутствия психодиагноста рядом с испытуемым. Инструк­цию и стимульный материал предоставляет про­граммный комплекс, осуществляющий также об­работку полученных данных. Ее результаты ав­томатически соотносятся с психометрическими нормами, на основании чего испытуемому выво­дится текст интерпретации;

ü пользователи компьютерной сети подготов­лены к встрече с тестами, так как для получения обратной связи многие администраторы сети со­здают и размещают на своих серверах непсихоло­гические опросники-анкеты. Каждый пользова­тель имеет опыт участия в опросах, предъявляе­мых в виде одностраничной анкеты или последовательности диалогов. У пользователей глобальной сети достаточно высока готовность к участию в тестировании еще и потому, что мно­гие администраторы сайтов размещают на них популярные, а зачастую и профессиональные те­сты в качестве развлекательного материала.

Особенности профессионального тестирова­ния в глобальной сети ставят перед диагностами ряд проблем этического, практического и науч­ного плана. Тестирование в сети происходит в от­сутствие психолога, который мог бы проконтро­лировать ход диагностической процедуры, и от которого испытуемый получает интерпретацию результатов. Это ставит перед диагностом допол­нительные задачи контроля переменных, связан­ных с ситуацией тестирования, а также задачу со­ставления таких интерпретаций, которые бы не оставляли испытуемому возможностей для не­верного истолкования.

Процесс заполнения формы на экране ком­пьютера, или прохождение последовательности диалогов, существенно отличается от традицион­ной работы с карандашом и бумагой. Испытуе­мый может отвлекаться, одновременно выпол­нять какую-либо другую работу в открытой про­грамме, он может, наконец, просто случайным образом заполнить тест, чтобы посмотреть, что в итоге получится.

В связи с этим возникает ряд важных для пси­ходиагностики задач:

в технических средствах реализовать те функции, которые обычно выполняет психолог, проводя тестирование испытуемого (в психоло­гии накоплен значительный опыт проведения те­стов на персональных компьютерах, но тестиро­вание в сети Интернет требует новых решений, позволяющих стандартизировать эту ситуацию);

проверить надежность психологических тес­тов при их использовании в сети Интернет с авто­матической обработкой данных и выдачей реко­мендаций.

Настоящее исследование направлено на реше­ние второй из перечисленных выше задач. В ходе исследования обсуждаются основные подходы к решению первой задачи.

МЕТОДИКА

Мы сопоставили надежность двух тестов - уверенности в себе и личностного опросника Айзенка при их использова­нии в бланковой форме и при выполнении теста анонимны­ми пользователями в сети Интернет.

Это сопоставление должно было дать ответ на вопрос, требуется ли дополнительная адаптация тестов при их ис­пользовании в сети, т.е. происходит ли изменение надежнос­ти и других психометрических характеристик при тестирова­нии в сети Интернет, и существует ли разница между норма­ми при выполнении бланковых тестов и их версий в сети Интернет?

Тест Айзенка (Eysenck Personality Inventory, EPI) особого представления специалистам не требует. Он содержит три шкалы: Экстраверсии, Нейротизма, Лжи [1]. Для сравнения использовалась его русская адаптация (форма А), выполнен­ная А.Г. Шмелевым [7], и данные о нормах и составе шкал [2].

Тест уверенности в себе представляет собой опросник из 30 пунктов, разработанный с использованием факторного анализа и дающий оценки по шкалам общей уверенности в себе, социальной смелости и инициативы в контактах [3].

Для проверки зависимости психометрических характери­стик названных тестов от ситуации тестирования (бланковое или тестирование в сети Интернет) мы сравнили на двух вы­борках по каждому тесту факторные структуры, показатели надежности отдельных шкал (a-Кронбаха) и нормы, полу­ченные при бланковом тестировании и тестировании в сети Интернет.

ХАРАКТЕРИСТИКИ ВЫБОРОК

Тест уверенности в себе.

Выборка 1 (бланковое тести­рование) составила 535 человек (60.6% женщин, 39.4% муж­чин). Она включала испытуемых с разным образовательным уровнем (в ней не было студентов-психологов). Тестирова­ние проводилось частично в групповой форме, основная мас­са бланков была заполнена испытуемыми в ходе консульта­ционной работы. Все испытуемые получали интерпретацию результатов тестирования.

Выборка 2 (тестирование в сети Интернет) составила 661 человек (53.6% женщин, 46.4% мужчин). Контролировать иные демографические показатели выборки не представлялось возможным. Тестирование проходило на сайте "Психология уверенности в себе" (http://www.openweb.ru/romek/) путем за­полнения формы, по внешнему виду приближенной к бумаж­ному бланку. Интерпретация либо рассылалась по электрон­ной почте, либо выводилась на экран компьютера.

Тест Айзенка

Выборка 3 (бланковое тестирование) со­ставила 153 человека (студенты МГУ обоего пола непсихо­логических специальностей).

Выборка 4 (тестирование в сети Интернет) составила 1637 человек (46% женщин, 54% мужчин). Тестирование проходило на сайте "Книжная полка научно-психологичес­кой литературы" (http://come.to/satin) путем прохождения ис­пытуемым последовательных диалогов, в каждом из кото­рых нужно выбрать один из двух вариантов ответа. После осуществления выбора программа автоматически предъяв­ляла испытуемому новый пункт опросника. После ответа на последний пункт опросника программа автоматически выво­дила испытуемому интерпретацию его результатов.

Для всех выборок, полученных при тестировании в сети Интернет, собирались также данные о возрасте испытуе­мых. Разброс значений составил от 12 до 54 лет, при значе­нии медианы - 25 лет.

РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ

Полученные данные обрабатывались по од­ной и той же схеме с использованием статистиче­ского пакета SPSS-7.5. На первом этапе мы срав­нили факторные веса отдельных пунктов теста уверенности в себе по трем его шкалам на двух описанных ранее выборках. Результаты сравне­ния мы приводим в табл. 1.

Как можно увидеть из этой таблицы, в целом в факторной структуре теста не произошло суще­ственных изменений, за исключением вопроса

№ 19[7], что гипотетически можно объяснить пре­имущественно ночным образом жизни тех, кто тесно связан с работой в Интернете (ночью - де­шевле и связь лучше). Именно во второй выборке (Интернет) мы получили значимо меньше отве­тов "неверно" на этот вопрос.

Вопрос в суточном распределении частоты тестирования в сети Интернет был дополнительно изучен. Оказалось, что с 00:00 до 09:00 проходят тестирование не более 20% испы­туемых, а с 03:00 до 07:00 - меньше 8%. Учитывая то, что в сетевом тестировании принимают участие испытуемые, живущие в разных часовых поясах, фактором возможнос­тей искаженности результатов ночного тестирования мож­но пренебречь.

Таблица 1. Факторные веса вопросов теста уверенности при тестировании в бланковой форме и в сети Интернет

	Факторные веса		Факторные веса
№ вопроса	фактор 1 (социальная смелость/зас­тенчивость)	фактор 2 (уверенность в себе)	фактор 3 (инициатива в социальных контактах)	№ вопроса	фактор 1 (социальная смелость/ застенчивость)	фактор 2 (уверенность в себе)	фактор 3 (инициатива в социальных контактах)
	.622/.570					.537/.573
	.5897.599					.5347.59
	.582/.420					.5157.498
	-.580/-.491					.479/.329	.272/-
	.578/.518		.277/-			.4397.529
	.566/.S44					.428/364
	.5617.623	-.265/-.290			.2997.309	-.400/-.516
	.5187.573						.555/.613
	.514/.457						.555/.5S7
	.4957.429		.364/.319				.521/.416
	.4917.546						.474А469
	.3687.326	-.356/-.271	.251/.263				.434/.589
		.6757.635			.3277.381		.422/.313
		-.S94/-.647			.2657.266	-.323/-.373	.364/-
		.5477.620					-.242/-

Примечание. Факторный анализ проводился с экстракцией факторов методом главных компонент и последующей Varimax-ротацией. В таблице приводятся факторные веса после ротации.

Первая цифра соответствует факторному весу, полученному на "бланковой" выборке, вторая - при тестировании в сети Ин­тернет. В таблице приводятся факторные веса, большие, чём 0.25.

Соответственно, можно было ожидать сохра­нения хорошего уровня надежности при тестиро­вании в сети. Мы проверили это предположение, рассчитав индексы надежности на двух выборках. Как видно из табл. 2, надежность всех трех шкал теста уверенности при тестировании в сети либо уменьшилась крайне незначительно, либо даже увеличилась (шкала уверенности).

Таблица 2. Сравнение индексов надежности теста уве­ренности при тестировании в бланковой форме и в се­ти Интернет

Шкалы	Индексы надежности (α-Кронбаха)
Уверенность в себе Социальная смелость Инициатива	0.73/0.75 0.79/0.77 0.60/0.56

Примечание. Первая цифра соответствует коэффициенту, полученному на "бланковой" выборке, вторая - при тестиро­вании в сети Интернет.

Были также проверены различия в средних значениях по трем шкалам на двух выборках. По всем трем шкалам обнаружены значимые разли­чия средних между двумя выборками (α < 0.01). Дисперсия значимо различалась лишь по шкале общей уверенности (α = 0.03). Означает ли это, что нормы при тестировании в сети должны быть пересмотрены?

Полученные различия могут быть объяснены разным характером мотивации тестирования у испытуемых при проведении бланкового вариан­та и при проведении в сети Интернет. В случае бланкового тестирования мотивация участия в тестировании варьирует от ориентации на полу­чение интерпретации до желания помочь иссле­дователю в осуществлении стандартизации теста. При проведении тестирования в сети Интернет мотивация тестирования ограничена мотивацией самопознания, так как исследователь не имеет никакого влияния на поведение испытуемого. Приходится также признать, что сам выбор ме­тодики испытуемым может быть не случаен. Вполне может оказаться, что люди, испытываю­щие недостаточность, например, уверенности в себе, чаще проходят тест уверенности в себе, чем самоуверенные. Подобному искажению состава выборки подвержены те тесты, в названии кото­рых указана измеряемая ими психологическая черта.

Таблица 3. Факторные веса вопросов теста Айзенка при тестировании сети Интернет

№ вопроса/№ шкалы в ключах 1984г.	Факторы	№ вопроса/№ шкалы в ключах 1984г.	Факторы
экстра­версия	нейротизм	ложь	экстра­версия	нейротизм	ложь
23/2	.621			27/1	-.143	.606
55/2	.621	-.124	.157	25/1	-.127	.545
16/2	.608			53/1	-.126	.526	.111
09/2	.608			29/1(-)	.179	-.512	.110
52/2	.566	-.118	-.141	15/1(-)		-.509
07/2	.547			46/1	.186	.468
14/2	.546			51/1(-)	.158	-.444
38/2	.538		-.210	39/1	-.113	.424	.156
47/2	.534		-.151	01/1	.106	.417
33/2	.517		.130	56/1		.387	-.202
19/2	.504		-.121	20/1(-)	.118	-.384	.156
50/2	.498		-.152	32/1(-)		-.339
40/2	.492			44/1		.326	.110
11/2	.451	-.131		10/1		.308
02/2	.446	.270		08/1i	.135	.290
26/2	.427	.269		13/1	.151	.282
31/2	.366			03/1	-.171	.277
45/2	.355		-.144	41/1(-)	.107	-.168	.147
35/2	.336			05/1(-)		-.123
04/2	.336	-.126		06/3			.537
28/2	.307			24/3		.271	.506
43/2	.302			54/3(-)		.159	-.481
57/2	.295			36/3			.441
37/1(-)	.264	-.143		42/3(-)			-.433
21/2	.210	.133		12/3(-)	.294		-.391
18/3(-)	.201		-.135	48/3(-)			-.381
22/1	.196	.168	-.165	30/3(-)	.206	.199	-.373
17/1		.645		34/1			.370
49/1	-.113	.628

Примечание. Результаты факторного анализа после Varimax-ротации. Факторные веса отсортированы в нисходящем поряд­ке. Показаны факторные веса, большие чем 0.1. В первом столбце после номера вопроса следует номер шкалы, в которую вошел данный вопрос в результате адаптации 1984 г. В скобках отмечена полярность вопроса. Жирным начертанием отме­чены вхождения в фактор с наибольшим весом и совпадения полученного значения с ключом 1984 г.

Соответствующие расчеты для теста Айзенка при его использовании в сети Интернет дали схо­жие результаты. В факторном анализе мы уста­новили практически полное соответствие фак­торной структуры теста ключам к тесту, которые разработаны А.Г. Шмелевым в процессе его адаптации. Как это можно увидеть из табл. 3, не­смотря на то, что русская адаптация проводилась в бланковом варианте в 1984-85 гг., при тестиро­вании в Интернете с последовательным предъяв­лением вопросов испытуемым группировка от­дельных вопросов теста практически не изменилась. Лишь единичные вопросы имели большие факторные веса в "неправильном" факторе, что, однако, не сказалось на надежности шкал теста в целом. Расчеты надежности по отдельным шка­лам теста также дали достаточно хорошие ре­зультаты (табл. 4).

Таблица 4. Оценка надежности шкал теста Айзенка при тестировании в сети Интернет

Шкалы	Индексы надежности (а-Кронбаха)
Экстраверсия Нейротизм Ложь	0.75 0.85 0.53

Таблица 5. Показатели ретестовой надежности, полу­ченные при тестировании в сети Интернет

Тест Айзенка (EPI, форма А)
Шкала	rxу Пирсона
Экстраверсия-Интроверсия Нейротизм Социальная желательность	0.878 0.877 0.772
Тест уверенности в себе
Шкала	гху Пирсона
Социальная смелость Инициатива в социальных контактах Уверенность в себе	0.972 0.962 0.982

Примечание. Уровень значимости для всех полученных зна­чений произведения моментов Пирсона составил р < 0.01. Повторное тестирование, проходившее через две недели пос­ле проведения первого, по тесту Айзенка прошли 64 испыту­емых, а по тесту уверенности в себе - 74.

ВЫВОДЫ

Таким образом, на примере теста уверенности в себе и теста Айзенка обнаружено сохранение основных психометрических характеристик многошкальных тестов, построенных с применением факторного анализа при их использовании в сети Интернет. Следовательно, правомерно сделать вывод о том, что надежность психологических те­стов этого типа не снижается. Вопрос о необходи­мости дополнительного нормирования остается открытым, но глобальная компьютерная сеть предоставляет огромные возможности для науч­ного исследования этой проблемы. При тестирова­нии в сети психолог может получить уникальный материал, так как есть возможность составления больших выборок, равномерно распределенных на определенной территории. Размещение тестов на разных сайтах и в разных вариантах позволит изучить зависимость норм и надежности тестов от содержания сайтов, на которых они размеще­ны, от вариантов программирования и предъяв­ления испытуемым заданий теста.

По окончании данного исследования была осу­ществлена разработка универсальной системы проведения психодиагностических исследований в сети Интернет (http://testology.psychology.ru). Система предоставляет зарегистрированным пользователям возможность прохождения в стан­дартизованных условиях ряда исследовательских методик и получения интерпретации результа­тов.

Уже сейчас система позволила собрать данные о ретестовой надежности тестов, которым посвя­щена данная работа (табл. 5).

Следует отметить, что, конечно, самым боль­шим достоинством проведения тестирования в се­ти Интернет является возможность получения больших выборок, без которых проблематично разработать достаточно точную психодиагности­ческую методику. На малых выборках (от 100 до 200 человек), которые обычно набираются при бланковой стандартизации, невозможно выявить важные характеристики, необходимые для оцен­ки точности и эффективности методики. Приме­ром такого уточнения данных, полученных при бланковой стандартизации больших выборок в сети Интернет, является установление фактов чувствительности шкалы нейротизма теста Айзе­ка к полу испытуемых и неоднородности шкалы экстраверсии-интроверсии [6].

Учитывая бурное развитие сети Интернет в России, работа по проведению психодиагностиче­ских исследований в сети представляется очень важной и перспективной. Она может стать важ­ным стимулом дальнейшего развития отечест­венной психодиагностики.

СПИСОК ЛИТЕРАТУРЫ

1. Бурлачук Л.Ф., Морозов СМ. Словарь-справоч­ник по психодиагностике. Киев: "Наукова Думка", 1989. С. 8-11.

2. Практикум по психодиагностике. Психодиагности­ческие материалы / Под ред. А.А. Бодалева, И.М. Карлинской, С.Р. Пантелеева, В.В. Столина. М.: Изд-во МГУ, 1988. С. 11-16.

3. Ромек В.Г. Тесты уверенности в себе // Практиче­ская психодиагностика и психологическое кон­сультирование. Ростов-на-Дону: Изд-во ЮРГИ, 1998. С. 87-108.

4. Ромек В.Г., Сатин Д.К. Психологическое тестиро­вание в сети Интернет: проблемы надежности тес­тов // Научный сервис в сети Интернет. Тезисы до­кладов всероссийской научной конференции. М.: Изд-во МГУ, 1999. С. 226-229. ISBN 5-211-04181-X.

5. Ромек В.Г., Сатин Д.К. Надежность тестов при те­стировании в Интернете // Междисциплинарный семинар "Виртуальная коммуникация в сети Ин­тернет". М., 1999. С. 27-36.

6. Сатин Д.К. Психометрические нормы личностно­го опросника Айзенка (EPI) при проведении в сети Интернет // Индивидуальный и групповой субъек­ты в изменяющемся обществе. Тезисы докладов к международной научно-практической конферен­ции. М.: ИП РАН, 1999. С. 136-138. ISDN 5-201-02314-2.

7. Шмелев А.Г., Похилъко В.И. Анализ пунктов при конструировании и применении тест-опросников: ручные и компьютерные алгоритмы // Вопросы психологии. 1985. № 4. С. 126-134.