Тесты достижений и современная когнитивная психология

Тесты достижений. Среди всех типов стандартизованных тестов тесты достиже­ний численно превосходят все остальные. Они создавались для измере­ния эффективности программ и процесса обучения и ориентированы на оценку достижений индивида после завершения обучения. Их принято противопоставлять тестам способностей, состоящим из тестов общего интеллекта, комплексных батарей способностей и тестов спе­циальных способностей. Тесты достижений измеряют влияние относительно стандартизованного курса обучения, такого, как курс английского языка, алгебры или информатики. А тесты способностей отражает совокупное влияние разнообразного опыта по­вседневной жизни. Таким образом, в то время как тесты достижений измеряют эффек­тивность обучения при частично известных и контролируемых усло­виях, тесты способностей измеряют эффективность обучения в относительно неконтролируемых и не­известных условиях.

Другим отличием тестов способностей от тестов достижений являются цели их использования. Тесты способностей служат для пред­сказания последующего выполнения той или иной деятельности и приме­няются для оценки целесообразности прохождения индивидом того или иного специального курса обучения или для предсказания уровня его до­стижений в новой ситуации. Тесты достижений обычно дают конечную оценку достижений индивида по завершении обучения, они дают ответ на вопрос, что индивид может делать к на­стоящему времени. При этом для тестов способностей выявляется прогностическая валидность, а тесты достижений в основном оцени­ваются в терминах валидности по содержанию.

Тесты достижений в практике образования. Тесты достижений, применяемые в образовании, имеют заметные преимущества по сравнению с существующей оценкой успеваемости учащихся. Их показатели ориентированы на измерение усвоения ключевых понятий, тем и элементов учебной программы, а не конкретной совокупности знаний, как это имеет место при традиционной школьной оценке. Тесты достижений благодаря стандартизированной форме оценки позволяют соотнести уровень достижений учащегося по предмету в целом и по отдельным существенным его элементам с аналогичными показателями в классе или в любой другой выборке испытуемых. Безусловно, эта оценка носит более объективный характер и требует меньших затрат времени (большинство тестов достижений являются группо­выми тестами), чем традиционная школьная оценка.

Разработка тестов достижений, опирающихся на учебные программы, имеет ряд особенностей. Важным этапом является подбор контрольных те­стовых задач, связанных с планируемой для теста содержательной валидностью. Условием разработки и стан­дартизации таких тесты достижений является опора на стан­дартные программы обучения.

При всех типах обучения периодическое применение тестов достижений облегчает этот процесс. Такие тесты выявляют недостатки прошлого обучения, подсказывают направление последующего и обеспечивают мотивацию обучающегося. Эффективность такой самопроверки обычно сказывается немедленно. Поэтому, когда проверка достижений приме­няется главным образом как средство обучения, желательно, чтобы уча­щиеся узнали о допущенных ошибках как можно раньше.

Кроме того, тесты достижений помогают приспособить курс обуче­ния к потребностям индивида. Учение происходит более плодотворно, когда начинается с той стадии, на которой уже находится обучающийся. Выяснение того, что каждый индивид способен делать и что он знает о предмете, есть поэтому необходимый первый шаг эффективного обуче­ния.

Наконец, тесты достижений могут использоваться как средство оценки, усовершенствования и постановки задач обучения. Тесты достижений дают информацию о соответствии знаний и навыков, усвоенных обучающимися, тому, что они действительно должны были усвоить. Тесты достиже­ний помогают анализировать цели обучения и контролировать его со­держание и методы.

Виды тестов достижений. Тесты достижений относятся к наиболее многочисленной группе психодиагностических методик. Среди тестов достижений имеются широкоориентированные тесты, применяемые для оценки навыков по основным, рассчитанным на продолжительное время, целям обучения (тесты на понимание научных принци­пов, восприятие литературы и т. д.). Некоторые из них предназначены для измерения влияния обучения на логическое мышление, приемы ре­шения широкого круга задач, критическую оценку выводов и воображение. По содержанию заданий и характеру получаемых результатов они наиболее близки тестам интеллекта. Более того, тесты интеллекта коррелируют с тестами достижений по­чти так же, как различные тесты интеллекта коррелируют друг с другом.

Другую большую группу тестов достижений составляют методики по конкретным учебным предметам (достижения в чтении, математике и др.) и более специализированные тесты достижений, направленные на исследование усвоения отдельных тем, частей учебной программы, комплексов действий и т.д.

 

Пример теста достижений

Широкоориентированным тестом достижений является Станфордский тест достижений. Его 6 батарей охватывают классы с I по IX. Их проведение занимает 4-5 часов и осуществляется в несколько сеансов.

Так, батарея про­межуточного уровня II, применяемая с середины V и до конца VI клас­сов содержит следующие 11 субтестов:

1. Словарный: измеряет словарный запас независимо от умения читать; незавершенные предложения предъявляются устно; ребенок выбирает слово, правильно завер­шающее каждое предложение. Пример. «Человек, который большую часть времени нахо­дится в плохом настроении, называется»: а-отшельник, б-актер, в-брюзга, г-учащийся.

2. Понимание прочитанного: отрывки прозы или стихов прочитываются ребенком, к каждому из отрывков дается серия вопросов, ответы на которые требуют владения та­кими навыками, как выявление центральной мысли отрывка, делание выводов, понимание скрытого смысла и реагирование на ключевые моменты текста.

3. Навыки анализа слов: определение звучания зрительно предъявляемых букв и бук­венных сочетаний, составление слов из слогов.

4. Математические понятия: понимание математических терминов, систем обозна­чений и действий, например дробей, множеств, процентов, геометрических понятий и т. д.

5. Математические вычисления: включает различные действия с числами.

6. Применение математики: словесно сформулированные задачи, представляющие обычные житейские ситуации; содержит типичные арифметические задачи на рассуждение, а также задания на измерение, составление графиков, вычисление площадей и т.д.

7. Грамотность: выявление неправильно написанных слов, а также неправильного употребления в контексте омофонов (например, пруд вместо прут, костный вместо косный).

8. Язык: правильное использование языка, в том числе употребление прописных букв, пунктуации, форм глаголов и местоимений, структуры предложений.

9. Социальные науки: предназначен выявить знание фактологии, а также способ­ность к абстрактному мышлению; используются сведения из географии, истории, эконо­мики, политики, антропологии и социологии.

10. Естественные науки: предполагает знание научных методов, основных понятий физических и биологических наук.

11. Понимание прослушанного: непосредственно после прослушивания зачитываемо­го экспериментатором отрывка ребенок отвечает на серию задаваемых вслух по тексту вопросов.

Индивидуальная база знаний как основа тестов достижений. Батареи общих достижений связываются с основными обра­зовательными навыками. Вместе с тем, есть необходимость в методах измерения достижений в конкретных областях знаний, изу­чаемых в школе и ВУЗах. Это – тесты достижений по отдельным дисциплинам.

С самого начала разработки интел­лектуальных тестов общее знание считалось неотъемлемой частью интеллекта человека. Вопросы, направленные на выявление того, что инди­вид знает про мир, входят в состав наиболее распространенных тес­тов, прежде всего тестов достижений. Дж.Кэмпион полагает, что дефициты в организации базы знаний являются одним из источников умственной отсталости. Напротив, хорошо структурированная база знаний выступает в качестве отличительной черты детской одаренно­сти и высоких интеллектуальных достижений в профессиональной дея­тельности.

Особенности базы знаний субъекта характеризуют такое его психоло­гическое качество как компетентность. Высокий уровень компетентности предполагает вы­сокий уровень понимания проблем в некоторой реальной предметной об­ласти (такой как математика, шахматы и т.д.), опытность при выполнении сложных действий и эффективность суждений. При этом компетентность в отношении реальных профессиональных проблем не связана с IQ. Например, при прогнозе результатов конных скачек опыт­ные знатоки, независимо от величины своего IQ, обнаруживали более вы­сокие показатели умозаключающей способности и многовариантность суждений в отличие от новичков.

В контексте тестов достижений из всех психических функций оказываются задействованными, прежде всего, функции долговременной памяти. По мнению Р. Глезера (1980; 1984), люди с различным уровнем интеллектуальных способностей обладают в разной мере организованной системой знаний — как декларативных (знаний о том «что»), так и процедурных (знаний о том, «как»).

Одной из наиболее распространенных экспериментальных моделей, в рамках которой изучается роль базы знаний, является сравнительный ана­лиз проявлений интеллектуальной активности экспертов (знающих, опытных, обученных субъектов) и новичков (малоосведомленных, неопытных, начинающих). Например, эксперты-физики (специалисты) сначала стро­ят физическую репрезентацию проблемы и только потом начинают ее ре­шать, тогда как новички (студенты) более быстро и непосредственно пе­реходят к процессу решения. Далее, репрезентации экспертов-физиков строятся вокруг фундаментальных принципов, которые характеризуют наиболее обобщенное, а также «подразумеваемое» знание (последнее вы­ступает в виде сложных интуитивных представлений, далеко не всегда чет­ко вербализованных), тогда как репрезентации новичков — вокруг доми­нантных объектов, которые представлены в соответствующей физической ситуации в явном виде. Кроме того, знания экспертов вклю­чают знания о возможности применения того, что они знают. Наконец, они успешно извлекают из собственных знаний сведения, необходимые для плани­рования своих дальнейших действий.

Как известно, память может быть процедурная и декларативная, последняя в свою очередь подразделяется на эпизодную и семантическую. Процедурное знание — это знание о том, как выполнять действия, и оно часто имплицитно, мало осознанно. Это знание, как ездить на велосипеде, играть в теннис или в волейбол; оно охватывает двигательные и другие навыки. Декларативное знание — эксплицитное знание о событиях (знать что-то), о котором можно сообщить и которое осознается. Эпизодная память в значительной мере автобиографична по содержанию, она удерживает личные переживания, связанные с конкретным временем и местом. При этом она подвержена существенным изменениям или потерям информации, т.к. таким воспоминаниям во многом не хватает формальной структуры. Семантическая память связана со знаниями о мире, в ней отсутствует личностное качество эпизодной памяти. Согласно Э.Тулвингу (1972), семантическая память является, прежде всего, организованным знанием о словах и прочих вербальных знаках, их значениях и референтах, об отношениях между ними, а также о правилах, формулах и алгоритмах для манипулирования этими знаками, понятиями и отношениями. Семантическая память регистрирует не воспринимаемые свойства входных сигналов, а их когнитивные референты. Когда мы употребляем слово «синий», мы относим его не к конкретному эпизоду в нашей памяти, где это слово было использовано, а к общему значению этого слова.

Когнитивные карты и процесс обучения. В последнее время активно развивается психолого-педагогические направление, в котором интегрированы когнитивная и педагогическая психология. В частности, это касается использования в процессах научения понятия когнитивных карт, о чем первым заговорил Э.Толмен (1948).

 

Дополнительная информация

В работах Э.Толмена понятие «когнитивная карта» обозначало знание пространства, проявляемое крысами в лабиринте. Позже O'Keefe и Nadel (1978) развели «эгоцентрическое кодирование», позволяющее определять местоположения относительно самого животного в терминах расстояний и направлений от него, и «аллоцентрированное кодирование», при котором когнитивная карта дает ориентиры и точки привязки одна относительно другой и которое обеспечивает запоминание местоположений, подход к скрытой цели новыми маршрутами, используя обходы и пр.

I.Glynn (1999) предложил соотносить два типа декларативной памяти (эпизодную и семантическую) с двумя типами навигации следующим образом. «Эгоцентрическая навигация», или карта маршрута, связана с эпизодической памятью, а «аллоцентрическая», или топографическая, навигация - с семантической памятью. Первоначально, тот или иной маршрут зависит от эпизодической памяти, но когда он становится знакомым, мы не помним отдельные походы, которые мы сделали, и знание взаимных расположений предметов становятся частью нашего знания о мире, частью нашей семантической памяти.

Показано, что когнитивные карты имеют отношение к перемещению не только по физическому, но по виртуальному пространству, в качестве которого может выступать учебный материала. Так, учащийся сначала усваивает материал в связи с теми или иными ситуациями (ситуации лекции, чтения литературы в читальном зале и т.д.). Именно поэтому на первых порах обучения столь выражен контекстно-зависимый характер памяти (это – эпизодная память). Но в дальнейшем, по мере оптимизации учебной деятельности, происходит переход от «эгоцентрической навигации» в учебном материале к «топографической», прежде всего, на основе логических схем, отражающих учебный материал в символической форме, вне зависимости от ситуаций его изучения (семантическая память). Таким образом, в начале обучения материал запоминается преимущественно с помощью эпизодной памяти, а в дальнейшем – с использованием семантической. Эти закономерности – разведение эпизодной памяти и семантической - могут быть использованы при построении систем тестирования достижений студентов.

Семантическая организация памяти. Переходя к рассмотрению семантической организации памяти, надо констатировать, что существует несколько моделей, которые разработаны в рамках когнитивной психологии и могут быть использованы в тестировании знаний.

Кластерная модель (основные представители: Бусфилд и Г.Бауэр). Здесь постулируется, что понятия хранятся в семантической памяти в виде кластеров, т.е. скоплений элементов, которые имеют какие-то сход­ные признаки. Например, воспоминание о конкретной птице хранится вместе с воспоминаниями о других птицах, название города — вместе с названиями других городов и т.д.

Бусфилд разработал метод анализа кластерной организации, предполагающий количественную оценку, - метод свободного воспроизведения. То, как происходит воспроизведение, может дать информацию об организации слов в памяти человека и о характере когнитивной структуры их организации.

 

Методика

Испытуемым в случайном порядке предъявлялись списки имен, названий животных, профессий и овощей. Всего было 60 существи­тельных (по 15 в каждой из четырех категорий). Затем они должны были непрерывно давать ассоциации на слова, служившие названиями категорий,— например, птиц. При воспроизведении названий птиц испытуемые воспро­изводили названия сходных птиц по кластерам. Ответ испытуемого мог звучать так: «ястреб», «орел», «стервятник», а затем: «курица», «индюк», «утка» — как если бы он отыскивал названия в какой-нибудь одной подкатегории класса «птицы» и, исчерпав ее, переходил к другой подкатегории, исчерпывал ее содержание и переходил к следующей и т.д.

 

Таким образом, в процессе свободного воспроизведения испытуемые проявили тенденцию к объединению слов в кластеры по их категориальной принадлежности. Как показывает сво­бодное воспроизведение слов, предложенных для запоминания в бессвязном порядке, слова, относящиеся к близким категори­ям, воспроизводятся вместе.

Групповая модель (основ­ной представитель: Б.Мейер). Здесь также постулируется, что понятия представлены в семантической памяти в виде групп (кластеров). Но в отличие от кластерной модели, здесь описаны также и другие особенности групп. Так, понятия объе­диняются в памяти не только по предметным категориям (например: орел, воробей и канарейка находятся в кластере «птицы»), но и по призна­кам (например: имеет крылья, имеет перья, летает — это признаки «птиц»).

Модель сравнительных семанти­ческих признаков (основные авторы: Э.Смит и Рош). Модель сравнительных семантических признаков близка групповой модели. Здесь постулируется, что есть два типа признаков, хранимых в семантической памяти. Это 1) определяющие признаки, являющиеся существенной частью понятия, и 2) характерные признаки. Определяющие при­знаки — те, что образуют существенные аспекты значения понятия, без которых оно не может быть отнесено к данной категории, и характер­ные признаки — те, что свойственны понятию, но несущественны для отнесения его к данной категории.

Основой выступает суждение, что в долговременной памяти представлены определенные множества, наборы информации, соответству­ющие тому или иному семантическому классу. Эти множества могут рассматри­ваться как локальные хранилища видов информации, выделен­ные на основе семантических признаков. Причем одна и та же информация может содержаться во многих хранилищах, что составляет основу для ее извлечения из памяти по самым различным основаниям. Совпадением или отличием определительных и характерных признаков детерми­нируется степень близости понятий в субъективном пространстве памяти.

Эта модель отличается от групповой модели несколькими важными моментами. Первый состоит в том, что значение понятия не является неразложимой единицей, скорее оно представляет собой набор семантических признаков. Широкий набор признаков, связываемых с каждым словом, меняется в непрерывном диапазоне от исключительно важного до случайного.

Итак, триперечисленные мо­дели семантической памяти можно проиллюстрировать следующим обра­зом:

- с позиции кластерной модели, слово «воробей» расположено в се­мантической памяти вместе с названиями других птиц — орла, дятла и т.д.;

- с позиции групповой модели, оно не только относится к более крупной категории птиц, но также обладает свойствами, или атрибута­ми — крылья, перья;

- согласно модели сравнительных семантических признаков «воробей» описывается на основе определя­ющих признаков — имеет перья, крылья и коричневую окраску, и характер­ных признаков — не прирученный, безвреден и т.п. Хотя некоторые из компонентов, выделяемых в групповой модели и в мо­дели сравнительных признаков идентичны, последняя модель отличается тем, что в ней используются и определяющие, и характерные признаки.

Сетевая модель. Здесь постулируется, что понятия существу­ют в памяти как независимые единицы, объединенные в сеть с помощью пропозиций (например, «ель есть дерево»). Эта сеть обладает максимальной упорядоченностью и компактностью. В простейшем случае связь — это отношение типа «А есть В» или «воробей есть птица». В более сложном вари­анте сеть включает множество высказываний и поэтому очень разветвле­на.

Так, А.М.Коллинз и М.Р.Квиллиан (1969) предположили, что семантическая память организована в большое количество иерархических сетей. Эта структура представлена иерархией категориальных фактов, таких как «канарейка это птица» и «птица это животное», связывая узлы для двух категорий связями «суть». Главные понятия, например «животное», «птица» и «канарейка», представлены узлами, а с каждым узлом связаны различные свойства, или характеристики (например, «питается», «имеет крылья»). С категориями связаны свойства, которые для них истинны. Свойства, истинные для категорий более высокого уровня, также истинны для категорий низшего уровня. Так, поскольку животные дышат, из этого следует, что птицы дышат и канарейки дышат.

Коллинз и Куиллиан проверяли свою теорию с помощью эксперимента, где испытуемый должен был как можно быстрее решить, являются ли различные предложения истинными или ложными, при этом варьировалась семантическая близость элементов в памяти и измерялось время реакции испытуемых.

 

Методика

 

Использовались двух- или трехуровневые иерархии. Предложения были такой формы:

1. «Канарейки могут петь»,

2. «Канарейки имеют перья»,

3. «Канарейки имеют кожу»,

4. «Канарейка может летать»,

5. «Канарейка желтого цвета».

Испытуемым предъявлялись подобные утверждения, а также ложные утверж­дения, такие как «яблоки имеют перья». Испытуемых просили оценить, было ли утверждение истинным или ложным, нажимая одну из двух кнопок. Измерялось время от предъявления утверждения до нажатия кнопки.

Время, требуемое для каждого определения, должно было зависеть, по прогнозу, от расстояния, на которое удалены в иерархии субъект и предикат. Так, информация, подтверждающая предло­жение 1, хранилась непосредственно в узле «канарейка». Однако информация для предложения 2 не хранилась непосредственно в узле «канарейка», а скорее - в узле «птица», и предложение 2 может быть вы­ведено из непосредственно хранящихся фактов, что «канарейка это птица» и «пти­цы имеют перья». Кроме того, предложение 3 непосредственно не хранилось в узле «канарейка»; скорее, предикат «имеет кожу» хранился в узле «животное». Таким образом, предложение 3 может быть выведено из фактов «канарейка это птица», «птица это животное» и «животные имеют кожу». В случае предложения 1 вся необходимая информация для проверки запасена в узле «канарейка»; в случае предложения 2 испытуемые должны пересечь одну связь от узла «канарейка» до узла «птица», чтобы вспомнить необходимую информацию; и в случае предложе­ния 3 испытуемые были бы должны пересечь две связи от узла «канарейка» до узла «животное». Если категориальное знание структурировано так, можно ожидать, что предложение 1 проверялось бы быстрее, чем предложе­ние 2, которое в свою очередь проверялось бы быстрее, чем предложение 3. Имен­но это и было обнаружено. Испытуемым требовалось 1310 мс, что­бы оценить утверждения, подобные предложению 1; 1380 мс для предложений, подобных предложению 2; и 1470 мс для предложений, подобных предложению 3. Таким образом, время поиска, затраченное на переход от одного узла к другому в этой иерархии, возрастало вместе с числом уровней, которые приходи­лось обрабатывать.

На этом основании авторы сформулировали принцип когни­тивной экономности, в соответствии с которым свойства, не являющиеся уни­кальной характеристикой слова, должны храниться только в конфигурации более высокого уровня (например, чтобы попасть в узел «стол имеет четыре ножки», надо пройти через узел «мебель»). Такие свойства, как «питание» или «дыхание», связаны с узлом «животное», но не с узлами «птица» или «канарейка». На низшем уровне запоминаются только те особенности, которые отличают один вид птицы от прочих (например, тот факт, что канарейки желтые).

Дальнейшие исследования извлечения информации из памяти несколько услож­нили выводы, сделанные из первоначального эксперимента А.М.Коллинза и М.Р.Квиллиана. Было отмечено, что частота переживаний фактов оказывала сильное влияние на время извлечения информации. К.Конрад (1972) заметила, что использованные предложения различались не только по иерархической дистанции, отделяющей субъект от предиката, но и по их знакомости. Например, предложение «У канарейки есть кожа» является очень незнакомым и, кроме того, характеризуется значительной иерархической дистанцией. Так, некоторые факты (например, «яблоки съедобны»), для которых предикат мог храниться с промежуточным по­нятием типа «продовольствие», но которые переживаются весьма часто, верифи­цируются так же быстро или быстрее, чем такие факты, как «яблоки имеют тем­ные семечки», которые должны храниться непосредственно с понятием «яблоко». Она провела уравнивание различных групп предложений по их знакомости и установила, что иерархическая дистанция между субъектом и предикатом на скорости решения сказывается очень мало. Для теории данный результат имеет серьезнейшие последствия, так как он подрывает главное доказательство важности иерархической дистанции. Эти данные показали, что структура семантической памяти в действительности сложнее, чем предполагали А.М.Коллинз и М.Р.Квиллиан.

По-видимому, если с фактом, связанным с понятием, часто сталкиваются, он бу­дет храниться с тем же понятием, даже если бы он мог быть выведен из более обще­го понятия. Были сделаны следующие утверждения относительно организации фактов в семан­тической памяти и времени их извлечения:

- если с фактом, связанным с понятием, часто сталкиваются, он будет хра­ниться с тем же понятием, даже если бы он мог быть выведен из более об­щего понятия;

- чем чаще человек сталкивается с фактом, связанным с понятием, тем более
прочно этот факт будет связан с данным понятием; и чем более прочно фак­ты связаны с понятиями, тем быстрее они верифицируются;

- верификация фактов, которые непосредственно не хранятся с понятием, но
которые должны быть выведены, занимает относительно большее время.

Таким образом, на время извлечения материала из памяти оказывают влияние как сила связей между фактами и понятиями (определяющаяся частотой пережи­ваний), так и расстояние между ними в семантической сети.