Сравнение основных моделей оценки

 

Тип модели	Основная аудитория	Результат	Принятые предположения	Методология	Типичные вопросы
Системный анализ	Экономисты, менеджеры	Эффективность программ	Цели, известные причины и следствия, количественные величины	PPBS, анализ расходов и прибыли	Достигнуты ли ожидаемые эффекты? Какие программы наиболее эффективны?
Анализ достижения целей деятельности	Менеджеры, психологи	Продуктивность, подотчетность	Предусмотренные параметры, количественные величины	Цели деятельности, тесты достижений	Достигают ли обучающиеся поставленных целей? Продуктивна ли работа преподавателя?
Оценка принятия решений	Администраторы	Эффективность, контроль качества	Общие задачи, критерии оценок	Обзоры, опросники, интервью, естественное разнообразие	Эффективна ли программа? Какие разделы эффективны?
Открытая модель	Потребители	Предпочтения потребителей, общественная полезность	Последствия, критерии оценок	Контроль отклонений, логический анализ	Перечислить все эффекты программы
Художественная критика	Знатоки, потребители	Улучшенные стандарты	Критики, нормы критики	Критическое обозрение	Улучшит ли критика данную программу?
Аккредитация	Профессиональные эксперты, общественность	Профессиональное одобрение	Комиссия экспертов, процедуры и критерии оценок	Отчет комиссии, самоотчет	Как профессионалы оценивают программу?
Рецензирование	Жюри, общественность	Решения	Процедуры, суждения	Полуформальные процедуры	Доводы «за» и «против» программы
Взаимодействие	Практикующие врачи или юристы, а также представители других профессий, требующих непосредственной работы с клиентом	Понимание	Переговоры, деятельность	Изучение случаев, интервью, наблюдения.	Как программа воспринимается разными людьми

Дэниэлс и его коллеги (Daniels et al., 1981) исследовали параметры, по которым оценивались модели, и предложили несколько практических методов сравнения различных моделей, что позволяет для каждого конкретного случая подобрать наиболее подходящую модель. Дэниэлс отмечает, что как внутренние, так и внешние ограничения «определяют зону эффективного применения каждой модели» (р. 580). Ими предложена структура, предназначенная для того, чтобы помочь консультантам выбрать подходящую модель для каждой ситуации (рис. 19.1).

Рис. 19.1.

Источник: A meta-model for evaluating counseling programs, by M. H.Daniels, R. Mines & C. Gressard, 1981, Personnel and Guidance Journal, 59, 581.

 

Если вопросы сформулированы до оценивания (априорные вопросы), существует большая вероятность получить удовлетворительные ответы на эти вопросы, чем на вопросы, появившиеся после проведения оценивания (вопросы, поставленные постфактум). Следовательно, оценивающие должны с самого начала уяснить, что они собираются оценивать и как они собираются это делать (Davidson, 1986). Две модели объединяют оба этих аспекта: модель «системы планирования, программирования и составления бюджета» (the planning, programming, budgeting systems — PPBS) и модель «контекст — исходные данные — процесс —результат» (conte input-process-product — CIPP) (Humes,1972; Stufflebeam et al., 1971).

В модели PPBS упор делается на программы планирования со специально подобранными целями, задачами и критериями оценивания. Ситуация, популяция и применяемые процедуры — вот основные составляющие данной модели. Хьюмз (Humes, 1972) отмечает, что информация, получаемая в рамках модели PPBS, является в большей степени параметрической (критериально-ориентированной, т. е. непосредственно относящейся к измеряемым величинам), а не нормативно-ориентированной (относящейся к сравнению с другими членами группы, как в случае применения стандартизованных тестов). Следовательно', если планирование и составление программы выполнены правильно, проводящий оценку консультант в состоянии показать, что эффективное консультирование является существенным фактором улучшения состояния клиента. Кроме того, когда принимается решение о бюджете, могут быть четко продемонстрированы эффективность консультирования и соотношение «эффективность — стоимость»; сила и слабость программы могут быть подтверждены документально. В этом случае администраторы служб консультирования находятся в лучшем положении, обосновывая запрос на дополнительное финансирование разработки и оказания услуг. Поэтому этот аспект анализа программ является жизненно важным.

Модель CIPP предлагает четыре типа оценивания. Первый — содержательное (context) оценивание — сравнение того, что задумывалось, с тем, что осуществлено в программе. Второй тип — оценивание исходной (input) ситуации: собирается информация о том, какие ресурсы нужны и что доступно для осуществления программы. Эта часть оценивания демонстрирует соотношение «стоимость—эффективность» и указывает на необходимость дополнительных ресурсов. Третий тип — оценивание процесса (process) — направлен на выявление сильных и слабых сторон программы. При выявлении слабых мест, например, если запланированные возможности информационного обмена недостаточны, могут быть предприняты корректирующие меры. Четвертый тип оценивания концентрируется на конечном результате (product) всей программы. На этом этапе оценивающий выясняет, насколько эффективной оказалась программа в действительности. Может быть принято решение продолжить, повторить, расширить или ограничить программу.

Независимо от применяемой модели, заключительная фаза оценивания проводится с использованием методов исследования.