Сходство и различие рефлексов 1-го и 2-го рода

При образовании рефлексов 1-го рода животное (или человек) начинает поведение с реакции, которая впоследствии связывается с новым стимулом. Иногда даже после одного сочетания безусловной реакции и нового стимула, животное начинает отвечать на новый (условный) стимул условной реакцией. “Ответ” по-английски “response”, отсюда возник термин “респондентеное научение”, употребляющийся, когда речь идет о “павловских” рефлексах.

В природе часто встречается ситуация, когда животное находится в состоянии голода, жажды или страха, но Безусловный стимул, который вызывал бы соответствующий Безусловный рефлекс, отсутствует. При этом у животного появляется поисковое поведение, в процессе которого оно спонтанно выполняет разнообразные действия: принюхивается (если речь идет о млекопитающих), осматривается, передвигается. Иногда одно из таких действий подкрепляется (например, пищей), тогда, если ассоциация повторяется несколько раз, животное учится выполнять целую последовательность действий, приводящую к положительному подкреплению в данной ситуации.

 

Опыты Скиннера

Американский психолог Скиннер на основании работ Торндайка предложил в 1938 году свободно-оперантную методику научения. “Камера Скиннера”, по-существу, представляет собой “проблемный ящик” Торндайка. Но в процессе выработки научения по-Скиннеру есть отличия от методики Торндайка.

Животное, обучаемое по методу Скинера, подвергается не отдельным пробам, как предлагал Торндайк, а имеет возможность свободно совершать любую двигательную реакцию в любое время.

Обычно в камере Скинера находится приспособление, на которое животное должно научиться воздействовать. Это может быть рычаг, на который нажимает млекопитающее для того, чтобы освободиться, или “ключ”, который должна научиться клевать птица, чтобы получить пищу или воду, или стеклянное кольцо, сквозь которое должна проплывать рыба и т.д.

В начале опыта животное выполняет движения, далекие от требуемых, но из всего числа выполняемых реакций экспериментатор подкрепляет те действия, которые приближаются к желаемой для экспериментатора реакции. При этом требования к реакции, заслуживающей подкрепления, постепенно повышаются.

Например, ставится цель научить голубя клевать светящуюся лампочку (ключ) для получения пищи или воды. Вначале экспериментатор подкрепляет всего лишь нахождение птицы в той части клетки, где расположена лампочка. После того, как птица сосредотачивает все свои движения в требуемом месте, экспериментатор начинает подкреплять только те движения, при которых птица удерживает голову на высоте ключа (лампочки). Стабилизировав подкреплением подобное поведение, экспериментатор теперь уже подкрепляет только реакцию клевания самого ключа. Голуби, находящиеся в камере Скиннера, расценивают ключ, который они клюют, как пищу или как воду. При пищевом подкреплении они клюют так же, как клевали бы зерно. Если подкреплением служит вода, то они нажимают на ключ полуоткрытым клювом и делают сосущие движения, как при питье.

Подкрепление не обязательно должно следовать за каждой реакцией. Иногда оно может быть перемежающимся: например, можно подкреплять только каждый н-ный ответ (режим фиксированной доли ответов), или только первую реакцию после данного интервала времени (режим фиксированных интервалов). Если подкрепление совсем прекратить, происходит снижение вероятности и темпа реакции (происходит угашение).

Природа реакций и подкрепления должны быть выбраны с учетом особенностей изучаемого вида. Например, самцов сиамских бойцовых рыбок удобно учить выполнять оперантную реакцию проплывания сквозь кольцо, используя в качестве подкрепления демонстрацию модели другой рыбы в агрессивной позе.

 

Различия между классическим условным рефлексом и оперантным

Во-первых, различны методики их выработки.

А вот вопрос о том, до какой степени различаются внутренние процессы, лежащие в основе формирования этих рекций, остается открытым. При выработке павловских рефлексов изучаемая реакция (например, слюноотделение) сопровождается также реакцией со стороны скелетных мышц, которая может стать условной по схеме оперантных реакций.

С другой стороны, при оперантном обучении условным раздражителем можно считать обратную афферентацию от мускулатуры, которая сигнализирует о предстоящем подкрелении в период выполнения реакции.

Так, укрепленной в павловском станке собаке поднимали переднюю ногу, а затем давали порцию мясного порошка. После нескольких таких проб собака спонтанно поднимала лапу, если ее голодной помещали в станок. (Подобная последовательность событий иногда принимается человеком за причинно-следственную зависимость, по подобной “логике”выполненяются магические действия).

Эллисон и Конорский смогли продемонстрировать независимость инструментальной реакции от классического условного рефлекса. В их опыте собака должна была до тех пор реагировать на первый раздражитель, пока не появлялся второй, за которым следовало пищевое подкрепление. Оказалось, что первый раздражитель вызывал инструментальную реакцию, не сопровождавшуюся слюноотделением, тогда как второй - вызывал слюноотделение. Так удалось в опыте разделить инструментальную и классическую условные реакции.

Вторая проблема, возникающая при сопоставлении классических и инструментальных реакций, касается их связи с реакциями внутренних органов и реакциями скелетных мышц. Раньше считалось, что классическая методика применима к первым реакциям, а оперантная - ко вторым. Теперь эта точка зрения опровергнута.

Миллер выработал оперантную реакцию на слюноотделение. Если у собак, испытывающих жажду, подкреплять водой возникающее время от времени спонтанное слюноотделение, происходит постепенное его увеличение, тогда как у собак, вознаграждаемых в моменты отсутствия слюноотделения, оно постепенно уменьшается. Еще более показательные результаты были получены в эксперименте над крысами, когда давалось подкрепление только при все большем изменении частоты сердечных сокращений, которую удалось изменить почти на 20 процентов.

Инструментальное обучение возможно для таких реакций, как перистальтика кишечника, артериальное давление, общий характер ЭЭГ.

Как для павловских, так и для скиннеровских реакций характерны генерализация, дифференцировка и угасание.

Итак, разделение УР 1-го и 2-го рода полезно в лабораторных опытах, но оно вряд ли существует в природе.

Сведем различия между Условными Рефлексами 1-го рода и УР 2-го рода в таблицу.

Сравниваемые параметры	УР 1-го рода	УР 2-го рода
Типы связей	Физиологическая связь между УСтимулом и Безус. рефлексом на основе ассоциации между индифферентным и безусловным стимулом	Связь между реакцией и естественным поведенческим репертуаром организма
Соответствующие типы поведения	Рефлекторные и эмоциональные реакции	Произвольное поведение
Степень участия организма в целом	Связь между Безусловным стимулом и Усл. стимулом формируется при пассивном участии организма	Для формирования связи между реакцией и подкреплением необходимы активные действия организма над объектами окружающей среды
Временные отношения	Индифферентный стимул в большинстве случаев должен предшествовать безусловному стимулу	Реакция всегда должна предшествовать подкреплению
Угасание	В результате отмены безусловного стимула	В результате отмены подкрепления

 

Закономерности научения

Бреланд, работавший вместе со Скиннером в области психологии, и затем ставший дрессировщиком, обнаружил, что не всякая деятельность животных может быть изменена подкреплением. Бреланд обнаружил, что на некоторые виды активности подкрепление не влияет.

Бреланд готовил цирковой номер, обучая свинью вкладывать бутафорскую монету в копилку. Свинья поднимала соответствующий деревянный кружок, но, вместо того, чтобы опустить его в контейнер, многократно роняла его на пол, толкала пятачком, поднимала, подбрасывала в воздух и т.д. Подобным же образом некоторые цыплята настойчиво скребли землю, когда от них требовалось простоять 10-12 сек на платформе, чтобы получить вознаграждение.

Другой пример. Исследователь Севенстер обучал самцов трехиглых колюшек проплывать через узкое кольцо, чтобы приблизиться к самке. Но он не мог научить кусать самцов стеклянный стерженек, потому что самец упорно направлял на него свое ухаживание.Стеклянный стерженек по виду отдаленно напоминал самку.

Еще пример. Бреланды, используя метод оперантного обучения, научили енотов опускать монеты в копилку. На первых порах никаких затруднений не возникало. По мере того, как еноты научились опускать монеты, у них начали появляться добавочные действия: они стали тереть монеты одну о другую и “макать” их в сосуд. Если бы Бреландам не были известны особенности поведения енотов в природе, они не смогли бы понять эти страные действия. Но, будучи хорошими специалистами, они сразу распознали в этом “полоскание” - характерный для енотов стереотип поведения (то есть инстинкт) при сборе и поедании пищи. Так поступают еноты, например, когда удаляют панцирь с пойманных раков. Стереотипы удалось распознать благодаря знанию экологии этих животных.

Итак, мы можем сформулировать еще одну закономерность научения:

5) Животные имеют наследуемую тендению к специфичским видам поведения. Диапазон научения также строго видоспецифичен.

Так, голубей учили клевать ключ, используя отрицательное подкрепление - удар электротоком (ток пропускали по проволочной сетке, служившей полом клетки). Реакцию (рефлекс) выработать не удалось, то есть ударом тока пищевое поведение обусловить не удалось. Тех же самых голубей стали учить взмахивать крыльями, чтобы предупредить электрическое раздражение. В природе подобные взмахи крыльями характерны при проявлении агрессии. Требуемую реакцию удалось выработать очень быстро.

Можно сделать следующий вывод. Животных гораздо легче научить связывать стимул с реакцией, если похожая связь существует в их инстинктивном поведении.