Доказательства самой высокой иерархии, вызывающие доверие, можно получить при помощи сравнительных экспериментов со случайной выборкой.

 

 

Как сравнить яблоко и апельсин

 

В главе 4 мы говорили о проекте STAR, который проходил в штате Теннесси. Этот крупномасштабный сравнительный эксперимент со случайной выборкой должен был прояснить причинно‑следственную связь между малочисленными классами и успеваемостью учащихся. Напомним, в нем участвовали приблизительно 6500 детей из 79 государственных детских садов и начальных школ. Часть из них была разделена на малочисленные классы по 13–17 человек (экспериментальная группа), а другая часть (контрольная группа) осталась в классах по 22–25 человек. В ходе эксперимента эти две группы сравнивались.

Однако еще до того, как был запущен этот проект, в районах штата с относительно высоким уровнем достатка уже работали малочисленные классы.

Возникает вопрос: зачем было делить детей на группы, если можно было просто сравнить школы новой системы со стандартными?

Потому что есть вероятность, что дети, посещающие школы с малочисленными классами, отличаются от детей, которые ходят в обычные школы.

Как мы представляем себе родителей, выбравших для детей школу с малочисленными классами?

Скорее всего это люди, которые принимают активное участие в образовании ребенка. Некоторые семьи даже переезжают поближе к хорошей школе. Агентства по недвижимости часто используют в качестве рекламы фразу «рядом с такой‑то школой».

Иными словами, родители, а не исследователи влияют на отбор – они сами выбирают школу с нововведениями. Невозможно сравнивать детей из таких активных семей с детьми, которые ходят в обычную школу.

В социологии систематическая ошибка, возникающая из‑за неудачного принципа отбора, называется смещением отбора.

При смещении отбора дети из школ с малочисленными классами и дети из школ со стандартными классами отличаются по многим показателям. У первых скорее всего будут родители не только с высокой степенью участия в вопросах образования ребенка, но и с высоким доходом, позволяющим переехать на новое место из‑за школы. Не исключено, что успеваемость у детей таких родителей изначально выше.

«Апельсин и яблоко» – в английском языке это выражение означает два изначально несравнимых объекта. Сравнение детей в такой ситуации будет сравнением яблока и апельсина.

 

Контрфактическое мышление

 

В качестве примера я использую сюжет известной манги «Дораэмон». Там есть два персонажа – школьник‑вундеркинд Дэкисуги и Нобита, который плохо учится. Предположим, вундеркинд Дэкисуги поступает в первый класс школы с малочисленными группами, а Нобита – в стандартную школу. Если через несколько лет мы сравним их результаты, то окажется, что успеваемость у Дэкисуги очень хорошая, а у Нобита – очень плохая. Можем ли мы сделать вывод, что «малочисленные классы положительно влияют на успеваемость»?[5]

Это и есть сравнение по принципу «яблоко и апельсин».

Успеваемость Дэкисуги была бы высокой даже в обычном классе. А результаты Нобита (если Дораэмон не достанет волшебный напиток, который делает человека умным) были бы плохими.

Что нужно сделать, чтобы сравнивать подобное с подобным? У Дораэмона есть робот‑клон, который превращается в того, кто им управляет. Если вы нажмете красную кнопку на носу робота, он станет вашей точной копией. С помощью такого клона можно сравнивать яблоки с яблоками, а апельсины – с апельсинами.

Нам нужно сравнить Дэкисуги в школе с маленькими классами и его клона в стандартной школе. Разница, которая появится между ними с течением времени, и будет причинно‑следственным эффектом.

Сравнение того, что было бы с Дэкисуги в школе с маленькими классами и в стандартной школе, называется в статистике контрфактическим моделированием.

К сожалению, даже в XXI веке еще не изобрели робота‑клона. И все же есть способ, который позволяет применить контрфактический подход – это сравнительный эксперимент со случайной выборкой. В нашем случае мы можем при помощи жеребьевки произвольно выбрать маленькие классы (экспериментальная группа) и стандартные классы (контрольная группа), исключив влияние родителей при выборе школы. Обе группы в среднем окажутся в аналогичных начальных условиях (при достаточном количестве участников).

Перед экспериментом требуется проверить начальные условия – сравнить такие параметры, как успеваемость, дополнительные занятия и кружки, доход и образование родителей, наличие дедушек и бабушек, живущих с детьми. Если статистически не возникнет расхождения между двумя средними значениями, значит, мы сравниваем яблоки с яблоками.

 

 

Таким образом, мы исключили смещение отбора. После нескольких лет учебы разница между этими группами будет определяться только количеством учеников в классе. Это и есть причинно‑следственный эффект (схема 41).

 

Другие типы экспериментов

 

Почти в каждой главе этой книги я рассказывала о сравнительных экспериментах со случайной выборкой. Можно вспомнить и так называемые естественные эксперименты из главы 2 при описании исследований профессора Кэролайн Хоксби и профессора Грэга Дункана. Естественные эксперименты не планируются учеными специально. Условия для них возникают при изменении системы или когда складывается ситуация, максимально схожая со сравнительным экспериментом. Из‑за того, что эти условия возникают спонтанно, их называют естественными.

Исследование профессора Хидэо Акабаси, о котором шла речь во главе 2, и исследование профессора Брайена Джейкоба из 5‑й главы считаются естественными, но в них используется так называемый метод регрессии с точками разрыва. Это ясно на примере схемы 42, в которой описан метод исследования профессора Джейкоба.

По горизонтальной оси указаны оценки учащихся в школах, выделенных в категорию испытательных до внедрения новой системы (=1996 год), по вертикальной оси – оценки после внедрения системы (=1999 год). Если бы не появились испытательные школы и тренинги для преподавателей, можно было бы предполагать наличие положительной корреляции: школы, в которых были хорошие результаты в 1996 году, показали их и в 1999 году, поэтому на левом графике оценки 1996 и 1999 годов образуют непрерывную линию. Однако если бы из‑за изменения системы в 1996 году преподаватели в испытательных школах добились улучшения успеваемости, то возле пограничной линии между испытательными и обычными школами возникли бы разрывы, как показано на правом графике.

 

 

Разница (разрыв) между экспериментальной и контрольной группами – причинно‑следственный эффект внедрения тренингов для преподавателей.

Результат исследования оказался таким, как на левом графике, – без разрывов. Это означает, что тренинги не оказали влияния на улучшение качества преподавания.

Таким образом, эксперименты необязательно должны быть сравнительными, со случайной выборкой.

 

Эксперимент для образовательной политики

 

Давайте посмотрим, как используются сравнительные (или аналогичные им) эксперименты при внедрении новых приемов в области обучения.

Вначале определяется цель; самая распространенная – улучшение успеваемости. Затем с помощью сравнительных экспериментов тестируются различные методы ее достижения для определения их эффективности.

Разумеется, чтобы улучшить успеваемость, недостаточно одного метода. Поэтому мы рассмотрим три фактора, обладающих причинно‑следственным эффектом: малочисленные классы, разделение класса на группы по успеваемости, занятия после школы.

Как уже говорилось, причинно‑следственный эффект выражается разницей в успеваемости между экспериментальной и контрольной группами в ходе эксперимента. Эта разница и затраты на внедрение метода показывают соотношение между стоимостью и результатом.

Это очень важно понимать, ведь малочисленные классы, к примеру, требуют серьезных финансовых затрат. Нужно нанимать дополнительных преподавателей, увеличивать количество классных комнат. Даже если мы докажем, что малочисленные классы обладают высокой эффективностью, но эта мера окажется слишком дорогостоящей, на практике она внедрена не будет. Скорее выберут меру, которая окажется самой дешевой и приведет к самому большому эффекту по улучшению успеваемости. Это называется высокое соотношение стоимости и эффекта. Сравнив его в трех выбранных методах, мы узнаем, какой из них даст результат с наименьшими затратами.

Только тогда можно целенаправленно делать инвестиции в наиболее эффективную меру. Получив научные доказательства, органы местной власти и комитеты по образованию смогут объяснить необходимость перемен школам, родителям и налогоплательщикам.

Такие полномасштабные сравнительные эксперименты, как STAR‑проект в Теннесси, проводятся в мире довольно редко, зато бывает много мелкомасштабных экспериментов. Начать с малого, добиться большего – это стиль принятия решений в США. Сначала эксперименты проводятся в ограниченном объеме. После доказательства эффективности они внедряются на уровне штата, а потом и всей страны.

Если в небольшом эксперименте доказана низкая эффективность, то от идеи отказываются сразу. Так удается избежать лишних трат налоговых средств.

Использование сравнительных экспериментов в США стало повсеместным не только потому, что они занимают высокое положение в иерархии доказательств. Одна из причин – с их помощью легко объяснить оценку. Когда мы говорим об эффективности образовательной политики, используя сложные методы оценки, для большинства людей это непонятно. Даже среди депутатов и чиновников мало кто понимает сложные эконометрические методы. Именно сложность мешает внедрению результатов исследований экономистов в образование.

Сравнительные эксперименты со случайной выборкой очень просты. Для объяснения результатов достаточно увидеть разницу между средними значениями двух групп (схема 43).