Организация и проведение процедуры диагностического обследования

Этап организации психодиагностического обследования предполагает решение методических вопросов планирования обследования, прохождения процедур сбора информации.

На этом этапе специалист знает цель диагностического обследования, его предмет и теоретический подход, методы которого он будет использовать при проведении диагностики.

Приступая к организации обследования психодиагност должен определить необходимый объем диагностической информации, позволяющий ему решить поставленную задачу, а также требования к ее надежности и достоверности.

Следует учитывать, что наиболее надежными методами диагностики выступают стандартизированные процедуры: тестирование и опрос, наименее надежными – не стандартизированные – наблюдение, анкетирование, беседа.

В процессе стандартизации, надежность методов подвергается специальной проверке и указывается разработчиками в справочной литературе. Так, о надежности может говорить внутренняя согласованность заданий, задач, вопросов в методике. Как правило, личностные опросники обладают наиболее низкой надежностью, достигающей значений от 0,5 до 0,6 пунктов a-Кронбаха, тесты способностей 0,7-0,8, а критериально-ориентированные и тесты профессиональных умений имеют максимальное значение такого показателя, составляющее 0,8-0,9.

Высокая надежность предполагает постоянство и устойчивость полученных психологических данных, низкая – нестабильность и изменчивость.

Тесно связанным с надежностью параметром диагностической процедуры является способность прогнозировать, предсказывать проявление психологического явления в деятельности. По мнению А.Г. Шмелева, конкурентная прогностическая валидность диагностических процедур имеет значительный разброс (табл. 3).

Таблица 3.

 

Прогностическая валидность методов исследования

(подготовлена по материалам А.Г.Шмелева[36])

 

№ п/п	Диагностическая процедура	Прогностическая  валидность
1.	Интервью	0,1 – 0,3
2.	Психологическое тестирование	0,3-0,5
3.	Квалификационное тестирование	0,4 – 0,6
4.	Оценка способности к деятельности	0,5-0,7

Примечание: валидность измеряется в диапазоне от 0 (отсутствие) до 1 (максимальное предсказание).

Конечно, низкая валидность метода наблюдения, в соотношении с квалификационным тестированием компенсируется другими преимуществами. К ним относится высокая скорость, низкая стоимость, отсутствие необходимости применять специальное оборудовании, приглашать квалифицированных специалистов-оценщиков и др.

Приступая к формированию набора методов, следует руководствоваться принципами, предложенными Р.Кеттеллом[37]. Используемые методы должны предполагать сбор трех видов диагностически ценной информации:

– L-данные (life record data) – предоставляются в ходе регистрации реального поведения обследуемого в повседневной жизни, в условиях профессиональнйой деятельности, учебы, общения. Наиболее надежными источниками информации такого рода являются формализованные оценки экспертов, наблюдающих поведение испытуемого в течение определенного времени в типичной ситуации. В методической работе подобные данные используются в качестве внешнего доказательства валидности инструментов;

– Q-данные (questionnaire data) – основаны на изучении личности с помощью самоотчетов. Источниками информации выступают стандартизированные самоотчеты, нацеленные на определение стабильных моделей социального поведения, личностных черт и пр.

– T-данные (objective test data) представляют собой данные объективных тестов в контролируемой экспериментальной ситуации. Источниками тестовых данных выступают физиологические пробы, тесты способностей и когнитивных процессов. Менее представлены тестовые данные относительно измерений свойств и черт личности.

Принимая решение о выборе методов, следует определиться с соотношением между количественными (формализованными) и качественными, неформализованными.

Количественные методы являются формализованными с точки зрения сбора информации и ее обработки. Это находит свое отражение в направленности на изучение строго определенных переменных, статистической обработкой получаемых результатов. Качественные методы исследований нацелены на получение информации путем глубокого исследования небольшого объема информации.

Как правило, количественные и качественные методы исследования дополняют друг друга, поскольку охватывают разные по характеру виды информации, стратегии ее обработки.

Переходя от методов к выбору методики исследования, важно учитывать теоретические основания в рамках которых она разработана. Планируя, к примеру, изучение черт личности, важно понимать, что теоретические основания, на которых базируются опросники личности различаются. Используя концептуально несоотносимые подходы (например, теорию черт личности с клиническими опросниками) исследователь получает несопоставимые и несоотносимые друг с другом данные о субъекте. Выполненные на таком основании прогнозы относительно поведения, отношения или выражения личности будут ошибочными.

В случае, если методики принадлежат к одной теоретической области и построены на одном диагностическом конструкте, исследователь может столкнуться с необходимостью выбора одного инструмента из нескольких доступных. Наиболее общими критериями выбора методик, являются:

1) критерий валидности – относимости всех показателей методики к изучаемому предмету;

2) критерий надежности – предпочтение следует отдавать более прогностически устойчивым инструментам;

3) критерий сочетания стратегий исследования – следует применять методики, позволяющие проводить как количественное, так и качественное изучение показателей;

4) критерий используемости: полученная информация должна быть полезна для построения прогнозов развития, оценки эффективности обследуемого в различных видах деятельности.

5) критерии скорости сбора диагностически значимой информации.

Конечно, первым критерием, позволяющим переходить к оценке других показателей (надежности, репрезентативность, стандартизации) должна быть валидность по отношению к поставленной диагностической задаче.

При организации обследования необходимо ориентироваться на показатели каждой методики и всей совокупности методов в целом, их соответствие предмету, сочетаемости, пополняемости. Следует избегать методик с пересекающимися областями измерения.

В результате методической работы специалист подбирает валидную и целостную совокупность инструментов, строго согласующуюся с поставленными задачами. Конкретизация инструментария позволяет переходить к следующему этапу организации – планированию процесса обследования.

Тщательная подготовка процедуры тестирования влияет на качество получаемых данных, отношение обследуемых к проводимому обследованию. В ходе подготовки обследования уточняется: 1) количество сеансов и продолжительность обследования; 2) помещение для проведения обследования; 3) содержание информирования обследуемого; 4) правила поведения.

Количество сеансов и продолжительность обследования. Количество сеансов определяется трудоемкостью, спецификой методов. В ходе одного сеанса подбираются типичные методы. Как правило, бланковые обследования проводятся отдельно от компьютерных, тренажерных и т.д.

Время обследования определяется утомляемостью обследуемых и зависит от трудоемкости тестирования. Поскольку прерывать выполнение методик не рекомендуется, следует группировать их исходя из продолжительности выполнения. Для бланковых тестов длительность сеанса не должна превышать 180 минут, компьютерного тестирования – 90 минут. Продолжение обследования должно проводится на следующий день.

Трудоемкость обследования зависит от предъявляемого стимульного материала, задач, заданий. Трудоемкость когнитивных тестов выше, чем анкет и самоотчетов. Тесты интеллекта (тест Векслера, матрицы Равена, тест структуры интеллекта Амтхауэра), как правило, имеют ограничения по времени выполнения субтестов и рассчитаны на полутора часовое тестирование.

Личностные опросники не имеют ограничений по времени. Трудоемкость их выполнения зависит от применяемых шкал сбора информации. Ответы по типу «да-нет» легче воспринимаются, чем шкалы с пятью и более градациями.

Заполнение опросника объемом 150 вопросов дихотомического типа занимает от 60 до 90 минут, в зависимости от уровня образования и мотивации опрашиваемого. Выполнение опросника MMPI и его модификаций может длится до 180 минут.

Тесты знаний требуют от опрашиваемого дополнительного времени на размышление, поэтому временные затраты на выполнение одного задания могут составлять до 5-7 минут. В целом, за 60 минут опрашиваемый может выполнить от 30 до 60 заданий, с учетом уровня его подготовленности, а также мотивации.

Ситуативные задания включающие описание ситуации (кейсы) требуют наибольшего времени на прочтение и принятие решения. Как правило, разработчики недостаточно точно формулируют условия, поэтому испытуемые могут длительное время тянуть с ответом, принимая решение. В такой ситуации, время ответа может составлять до 7-10 минут на один кейс.

Помещение для обследования. При проведении обследования следует обеспечивать следующие требования к помещению:

– температура воздуха от 22 до 25°С;

 – влажность воздуха в пределах 40—60%;

– свежесть воздуха должна обеспечиваться проветриванием;

– достаточное естественное и искусственное освещение (100‑200 люкс);

– малая шумность (уровень шума, не превышающий 60 дБА), отсутствие резких источников звука;

– наличие индивидуальных рабочих мест для обследуемых (расстояние между стульями участников — не менее 0,5 м).

– расстояние от экрана мониторов до глаз тестируемых в пределах 600—700 мм, но не ближе 500 мм.

В помещении должны присутствовать необходимое оборудование и канцелярские принадлежности.

В процессе диагностики необходимо избежать или снизить воздействие раздражителей, в том числе посторонних людей. Желательно наличие настенных часов.

Инструктирование обследуемых. Обследуемыепредварительно оповещаются об участии в психологическом тестировании. При этом, важно учитывать, что содержание информирования влияет на отношение к процедуре и в целом, сказывается на результатах обследования. Подготовка и проведение инструктирования следует рассматривать как один из факторов повышения достоверности диагностики.

Целью информирования является предоставление знаний о процедурах обследования, мотивация на их выполнение и снижение тревожности.

При проведении групповых обследований рекомендуется стандартизировать процедуру инструктирования. Для этого желательно разработать бланк, содержащий всю необходимую информацию. Она должна быть изложена ясно, логично и последовательно. При инструктировании важно ответить на вопросы, возникшие у отдельных участников. Участники должны получать одинаковую информацию. Если существует возможность проведения очного консультирования, желательно воспользоваться ею для проведения консультативной встречи. Сроки информирования определяются целями, методами и процедурами обследования. Как правило, рекомендуется сообщить о тестировании не позднее, чем за 3 дня.

Содержание информирования должно включать в себя следующие обязательные элементы:

• цель обследования;

• дату и время обследования;

• длительность процедуры диагностики;

• описание процедуры проведения и способ контроля (например, бланковое обследование в присутствии психолога организации);

• описание правил поведения во время обследования и санкций за их нарушение;

• тематики обследования и видов методик (например, изучение особенностей личности, без приведения конкретных обозначений инструментов);

• использовании результатов обследования, лицах, выполняющих анализ и обсуждение результатов, сроки и порядок хранения результатов.

• видах, способах и сроках предоставления обратной связи, а также лицах, ответственных за его проведение.

Помимо указанных элементов, могут быть представлены и другие сведения об обследовании. Как правило, необходимость в этом возникает из за специфики тестирования (компьютерное, удаленное (он-лайн) и пр.

Правила поведения обследуемых во время тестирования должны содержать следующую информацию: 

— каким образом будет устанавливаться личность обследуемого, какие документы он должен при себе иметь;

 — какие предметы разрешены, а какие запрещены при проведении обследования (например, мобильные средства связи);

— какие действия во время обследования запрещены или недопустимы (например, обсуждение заданий, разговоры с соседями, порча, фотографирование бланков и пр.);

— какие санкции предусмотрены за нарушения правил поведения (например, предупреждение, отстранение, удаление);

— какие действия следует предпринять при обнаружении некорректных заданий, сбоев, опечаток (например, оповестить руководителя);

— какие действия следует предпринять при досрочном завершении тестирования (например, встать и подойти к руководителю или не вставая подозвать его к себе подъёмом руки);

— какие предметы должны быть сданы по окончанию тестирования (например, бланки, тексты с вопросами и пр.).

Процедура проведения обследования начинается с установления контакта и создания мотивации к тестированию. Далее в процедуре тестирования можно также выделить некоторые общие этапы:

1) инструктирование. В ходе инструктирования желательно использование стандартной (или, по крайней мере, общей для всех ваших испытуемых) инструкции. При наличии стандартной инструкции в руководстве к тесту ее модификация является крайне нежелательной;

2) контроль за пониманием инструкции. Для этого можно воспользоваться одним из следующих приемов: либо просто задать вопрос относительно того, понятна ли инструкция, нет ли вопросов по поводу того, как работать с тестом, либо дать испытуемому задание-пример. В некоторых тестах такого рода задания предусмотрены составителем. Результат выполнения этого задания служит для оценки того, понял ли испытуемый, как работать с методикой, и поэтому как правило не принимается во внимание при обработке полученных результатов;

3) наблюдение за опрашиваемым в процессе выполнения методик. Нужно обращать внимание на отклонения поведения от стандартных действий, немедленно реагировать на них, при необходимости фиксировать в протоколах особенности поведения;

4) контроль за состоянием испытуемого и его отношением к процедуре. По завершении работы с тестом с испытуемым проводится письменный или устный опрос из нескольких вопросов о состоянии испытуемого («Как Вы себя чувствуете» и т.п.) и отношении к обследованию («Были ли задания сложными для Вас» и т.п.);

Подводя итоги, отметим, что процедура обследования должна опираться на обоснованный выбор методов и методик, релевантных поставленным целям исследования, обладающих удовлетворительными показателями надежности, стандартизированности. Кроме того, организация процедуры должна предполагать детальное планирование этапов, контроль условий проведения, ясное и полное информирование обследуемых.

 

Этап обработки и интерпретации. Подготовка заключения.

 

Обработка результатов обследования как правило, применяется в отношении количественных методов измерения. Она осуществляется посредством подсчета «сырых» и стандартизированных баллов.

Так называемы «сырые баллы» представляют собой первичные показатели, вычисляемые согласно методике расчёта результатов. Например, количество совпадений ответов испытуемого в тесте способностей с указанным разработчиком ключом. Если методика или процедура содержит несколько шкал, то сырой балл рассчитывается для каждой из них. Для методик, предполагающих наблюдение, анкетирование или собеседование, разработчик указывает критерии начисления баллов и способы их фиксации в бланке. При отсутствии такой информации методика не может использоваться.

Перевод (пересчет) «сырых баллов» в стандартизированные, является вторым этапом обработки результатов. Эта процедура позволяет сравнить результаты обследуемого с результатами других лиц, а также сопоставить несколько результатов, полученных разными методиками.

Пересчёт сырых баллов в стандартизированные производится посредством специальной «конверсионной» таблицы. В ней, разработчик указывает способ соотнесения «сырых» и стандартизированных баллов. Важно соблюдать правила стандартизации, в том случае, если существует выбор показателей для нескольких групп обследуемых (мужчин, женщины, или разных возрастов). Следует выбрать показатели максимально приближенные к его половым, возрастным и культурным характеристикам.

В практике работы психолог может использовать собственные стандартизированные показатели. Это является наиболее желательным, поскольку позволяет максимально полно учитывать специфику организации, вид деятельности и другие условия. Психологический смысл подобных норм в более точном отборе персонала. Для расчета подобных норм необходимо применять выборку, размером не менее 100 человек, соответствующих полу и возрасту обследуемых. Конечно, нормы могут рассчитываться в том числе и для стандартизированных анкет, бесед и прочих коммуникативных техник.

Интерпретация результатов обследования. Этап и нтерпретации предполагает объяснение полученных результатов, построение выводов, диагноза и формулирование заключения.

Основанием для интерпретации выступают результаты расчета стандартизированных баллов не только по отдельным шкалам, но их сочетаниям. В случае применения нескольких инструментов, интерпретация может обобщать их результаты. При интерпретации результатов обследования используются два основных подхода – клинический и статистический. Их сопоставление проводится в таблице 4.

 

Таблица 4

 

Сопоставление клинического и статистического подходов
к интерпретации результатов обследования

Критерий	Клинический	Статистический
Источник информации для оценки	Описание типов поведения, проявлений свойств, качеств	Описание нормативных показателей, профилей, средних и отклонений
Характер информации	Качественная: речевая деятельность, способы мышления, стратегии поведения	Количественная, цифровая
Вид сопоставления	Логико-семантический	Математико-статистический

 

Сопоставление подходов показывает, что клинический подход опирается на профессиональный опыт специалиста, статистический зависит от объективной, количественной информации об проявлениях исследуемого психологического явления.

Прогностическая ценность клинического подхода определяется способностью к анализу опыта, интуиции и креативности специалиста диагноста. В противовес ему, прогнозирование в статистическом подходе опирается на математические модели регрессионного и детерминационного анализа.

Можно говорить об эффективности клинического и статистического прогноза в их разумном сочетании. Поскольку, в целом, точность и надежность статистического подхода выше, чем клинического его применение должно использоваться в отношении типичных ситуаций. Клинический подход более эффективен по отношению к нетипичным ситуациям, дефиците диагностической информации, необходимой для принятия решения.

Кроме того, клинический подход применив ситуации комплексного описания психологического явления, определении причин и факторов возникновения проблемы. Наконец, в исследовании качественными методами – например – наблюдении, беседы, проективной диагностике, качественной оценке процессов мышления клинический подход в интерпретации результатов является основным. Можно заключить, что оптимальным будет является сочетание статистического и клинического подходов, а не их противопоставление. Так, при интерпретации результатов сочетание подходов может обеспечиваться следующим образом. Статистический подход предполагает определение уровня полученных результатов на основе сопоставления с данными других обследований. Для этого могут использоваться следующие приемы:

1)  качественный, предполагающий сравнение результатов без применения каких-либо статистических методов;

2) расчёт интегрального показателя по всей совокупности методик и определение полученного ранга в целом;

3) разработка профиля обследуемого и сопоставление его с «идеальным» профилем, разработанным на основе экспертных оценок;

4) сравнение результатов обследуемого с предварительно распределенными на группы результатами тестирования прошлых лет.

Клинический подход применим при дополнении выводов, полученных от статистического анализа посредством сопряжения с другими источниками информации об обследуемом. В частности, результаты оценки можно сопоставить с нормативными данными, экспертными оценками руководителей, других сотрудников, специалистов по оценке и т.п.

Подготовка заключения. Завершающий этап психодиагностического обследования предполагает построение диагностических заключений. Выделяются три способа подготовки заключений: симптоматический, этиологический, типологический.

Симптоматическое заключение фиксирует полученные опрошенным результатов в терминах соответствия/отклонений. Например, делается вывод о соответствии уровня интеллекта нормативным показателям, типа характера определенному описанию и пр. Такой вид заключения не содержит аналитической и прогнозной части и, как правило, используется при проведении массовых обследований, на предмет наличия определенного явления, выраженности определенного состояния и пр. К, примеру, диагностика социально-психологического климата может сводится к заключении о благоприятном климате без дальнейшей детализации.

Этиологическое заключение предполагает объяснение причин явления. Например, установив снижение климата в подразделении, исследователь формулирует предположение о возможных причинах этого явления, опираясь на механизм его измерения. При использовании методики социометрия, вывод о неблагоприятном климате может быть сделан из-за отсутствия взаимных выборов участников коллектива. Убедившись в этом, психолог может выдвинуть предположение об отсутствии взаимных выборов как вероятной причине нарушений климата. Рассуждая дальше, специалист предлагает программу коррекционных действий, которая повлияет на взаимопонимание и повысит частоту взаимных выборов. Таким образом, этиологическое заключение оценивает причины диагностированного уровня или состояния психологического явления, при этом оно опирается на закономерности измерения или выявленные факты. Специалист рассматривает эти закономерности или факты в качестве «мишеней» для своего преобразующего воздействия.

Третий вид заключения – типологический является наиболее глубоким и комплексным. Здесь специалист отходит от описания причин в сторону типических проявлений данного явления. Например, считая, что неблагоприятный климат в подразделении может влиять на другие показатели совместной деятельности, состояние и самочувствие его участников. Таким образом, психодиагност переходит к оценке влияния полученных результатов на связанные с ними психологические явления. В данном случае заключение специалиста завершается разработкой программы психокоррекционных действий, выходящих за пределы нарушений конкретных параметров, и охватывающих субъекта, подвергшегося диагностике.

Оформление заключения. При подготовке заключения специалист должен определить перечень включаемой в него информации. Типичная информация предполагает описание следующих параметров обследования: даты и времени, цели обследования; методов и методик, способах обработки (количественный, качественный анализ), информацию о решениях в однозначной формулировке (при проведении обследования на пригодность - «пригоден / не пригоден»); информацию о возможностях и ограничениях использования результатов тестирования.

Итоги диагностического исследования должны быть представлены в общеупотребимых а не специальных терминах и понятиях. Представляются не, результаты диагностики посредством методик исследования, а их комплексная психологическая интерпретация. В практике тестирования персонала существует два типа выводов, относящихся к двум основным этапам интерпретации.

Выводы первого типа основываются на общем представлении о терминологии оценивания, знании психологических явлений и, фактически отражают результаты проведенного исследования. Например: «обладает высоким уровнем интеллекта», «не имеет выраженных лидерских качеств», «мотивация к успеху – средняя».

Выводы второго типа основываются на клиническом подходе к интерпретации результатов обследования. Они опираются опыт и компетентность специалиста, знание закономерностей поведения обследуемых, получивших подобные характеристики. Например: «с обязанностями руководителя не справится из-за отсутствия способности к распределению задач между сотрудниками», «в деятельности водителя будет успешен, при условии отсутствия монотонных поездок», «в экстремальной ситуации будет допускать ошибки в учете информации от окружающих, опираться на собственные представления».

К заключению могут приобщаться:

 – описания полученных результатов в виде профилей, показателей шкал, параметров и т.д. (с информацией о критериальных значениях);

– содержательная интерпретация результатов в терминах психологических инструментов;

– диаграммы и графики и другие формы визуализации;

– выводы и рекомендации (например, индивидуальные и/или групповые экспертные заключения, письменные отчеты).

Контрольные вопросы

1. Какие этапы психодиагностической процедуры являются основными?

2. Какие действия необходимо провести психологу, осуществляющему планирование диагностического исследования?

3. В каких целях осуществляется сбор диагностической информации?

4. Какую информацию должен получить диагност, наблюдая за опрашиваемым в ходе обследования?

5. В чем заключаются последствия низкой прогностической валидности методики?

6. С какой целью собираются L-, Q- и Т-данные?

7. Чем следует руководствоваться подбирая психодиагностического исследования?

8. Зачем проводится перевод «сырых» баллов в стандартизированные?

9. Какие приемы следует использовать, готовя текст заключения?

10. Чем отличаются типы выводов в психодиагностическом исследовании?