Особенности подкрепляющего сигнала

 

1. Применение благоприятных для организма ПС, вызывающих положительные реакции, способствует выработке положительных УР. Неблагоприятные ПС вызывают отрицательные реакции, и вырабатываются отрицательные УР. Однако такое разделение в определенной степени условно. Например, болевое раздражение собаки, само по себе вызывающее явную отрицательную реакцию, подкрепляли в состоянии сильного голода подкормкой или вливанием в рот кислоты, вызывающих слюноотделение – положительную реакцию. После нескольких таких сочетаний только болевое раздражение вызывало слюноотделение – положительную реакцию [78].

2. Предъявление детенышу ранее запечатленного объекта в качестве ПС после обучающего сигнала (УС) обусловливает через несколько повторений выполнение им действий, которые связаны с обучающим сигналом [31], т. е. вырабатывается УР с подкреплением в виде объекта запечатления.

3. Незнание объекта запечатления (БС), прежнее общение или необщение с БС: например, щенков держали до 8 мес на молочно‑хлебном рационе; вид или запах молока и молочных продуктов вызывал у них слюноотделение. Однако слюноотделение отсутствовало при показе им мяса, мясного порошка или сока, хотя они проявляли к ним интерес. И лишь на следующий день после того как щенки съели эти продукты, один их вид или запах вызывал у них слюноотделение [76]. При более расширенном варианте опыта щенков поили молоком: одного – при звуке метронома, второго – при запахе камфары, третьего – при наличии какого‑то предмета определенного цвета. Через 3…4 мес сами эти сигналы уже вызывали слюноотделение. Мясо, вкус которого они не знали, слюноотделения не вызывало, для этого надо, чтобы оно попало в рот и вызвало слюноотделение. Только после этого вид и запах мяса вызовут слюну [78]. Это можно объяснить следующим образом. Из всех свойств мяса только вкус служит БС, а потому изначально вызывает слюноотделение (БР). Другие его свойства (вид и запах) могут вызвать слюноотделение только после сочетания со вкусом, т. е. после поедания мяса. Но поскольку щенки его не знали, то вид и запах не вызывали этот процесс. После поедания мяса вид и запах совпали с его вкусом (БС) и, превратившись в УС, стали самостоятельно вызывать слюноотделение (УР).

4. Выработка и осуществление УР у одной собаки в присутствии другой приводит к тому, что предъявляемый УС вызывает у последней такое же действие, как у первой, хотя она подкрепления явно не получает, т. е. для второй особи действие первой служит ПС. В результате у второй собаки вырабатывается тот же УР путем подражания первой на общий для них УС. Этот прием широко применяют в дрессировке: выработка какого‑то навыка у новой собаки значительно эффективней при его одновременном выполнении уже умеющей особью.

5. Один условный рефлекс может служить основой для другого. Если для подкрепления УС используют БС, то вырабатывается УР первого порядка, т. е. на основе БР. Если для подкрепления нового УС используют ранее усвоенный УС, то вырабатывается УР второго порядка, т. е. на основе УР первого порядка и т. д. Допустим, у собаки отрабатывается навык садиться по команде «Сидеть!». Дрессировщик подает команду (УС) и одновременно нажимает на круп и/или поднимает над ее головой приманку (БС). В любом случае собака вынуждена сесть (БР). Через несколько повторений таких комбинаций она садится только по команде. В результате выработан УР первого порядка, т. е. на основе БР.

В качестве продолжения собаку учат садиться по жесту, который подкрепляется командой «Сидеть!». После нескольких повторений новой комбинации она садится только по жесту. В результате выработан УР второго порядка, т. е. на основе УР первого порядка. Это вызвано тем, что в коре головного мозга установилась связь сначала между слуховым центром (СЦ) и двигательным центром (ДЦ), потом между зрительным (ЗЦ) и СЦ. В любом случае эти связи реализуются в виде сигнала от ДЦ через спинной мозг мышцам туловища и задних конечностей. При УР второго порядка рефлекторная дуга длиннее, чем при УР первого порядка, на звено связи между ЗЦ и СЦ. Величина порядка УР повышается с увеличением возбудимости ЦНС и силы действия БС. Так, при пищевом подкреплении УС у собаки вырабатывается УР лишь до второго порядка, а при подкреплении электрораздражением можно выработать УР третьего и даже четвертого порядка [16]. В целом УР первого порядка вырабатывается быстрей и прочней, чем УР высшего порядка.

По соотношению времени предъявления УС и БС выработанные УР бывают наличными, когда время в разной степени совпадает, и следовыми, когда оно в разной степени не совпадает. В классификации Л. Г. Воронина (1979) это выглядит следующим образом: УС и БС полностью совпадают во времени – совпадающие УР; БС предъявляется через 2…4 с после подачи УС – короткоотставленные УР; БС предъявляется через 20…30 с после подачи УС – отставленные УР; БС предъявляется через 1…2 мин после подачи УС – запаздывающие УР; БС предъявляется через 10…20 с после прекращения УС – следовой короткоотставленный УР; БС предъявляется через 1…2 мин после прекращения УС – следовой длинный, или поздний, УР. Во всех случаях вырабатываются УР первого порядка. Скорее всего таким же образом вырабатывается УР высших порядков, когда для подкрепления нового УС вместо БС используют ранее усвоенный УС. Но в любом случае наличные УР вырабатываются быстрей и прочней, чем следовые. Это объясняется тем, что в последнем случае требуется большее напряжение памяти. Уместно напомнить, что в период ее недоразвития у щенков с трудом вырабатываются или вообще не вырабатываются следовые УР (см. Щенячье поведение).

Результаты применения некоторых из указанных характеристик УС и ПС и соотношения их использования иллюстрированы на обложке. Выполнение собакой навыков «Сидеть», «Стоять», «Лежать» по предъявлении соответствующих им цветных карточек (УС) является УР второго порядка, поскольку выработаны на основе УР первого порядка в виде выполнения тех же навыков по соответствующим им ранее усвоенным голосовым командам (ПС). С другой стороны, выполнение собакой указанных навыков является УР совпадающими или короткоотставленными, поскольку при их выработке ПС (голосовая команда) подавался одновременно с УС (цветная карточка) или сразу после него.

До сих пор мы рассматривали выработку какого‑то одного УР. Однако можно сформировать систему УР, связанных друг с другом в последовательную цепь. Примером может служить динамический стереотип. Под стереотипом понимают систему процессов, совершающихся автоматически в одном и том же порядке в соответствии с порядком подачи вызывающих их сигналов. Формирование стереотипа осуществляется в два этапа: 1) вырабатываются отдельные УР, причем всегда в одном и том же порядке; 2) предъявляется только первый УС, в результате выполняются последовательно все УР. Таким образом, пусковая функция осталась только у первого УС, а остальные УС утратили эту функцию за ненадобностью, поскольку все заученные последовательные действия в одном и том же порядке образуют единую цепь, запускаемую с первого звена. Допустим, собаку приучают по первой команде пройти ворота, по второй – перепрыгнуть барьер, по третьей – лечь, по четвертой – пройти по буму и т. д. Все это делается многократно, в одном и том же порядке. Цель достигнута, если собака по первой команде выполняет все действия в заученном порядке. Подобный стереотип называется динамическим, так как он связан с движением. В результате изменения порядка подачи команд или введения новых нарушается выполнение заученных УР, т. е. изменяется выработанный стереотип. Для формирования нового стереотипа опять вырабатывают отдельные УР в соответствии с новым порядком команд. Однако стереотип при всем его удобстве и зрелищности – не единственный способ выполнения комплексных действий и даже не всегда благо, поскольку затрудняет работу собаки в меняющихся условиях, в частности в различных видах поиска. Кроме того, есть такие типы дрессировки, например аджилити (англ. agility – подвижность, ловкость), когда от собаки требуется умение выполнять необходимые действия в любом наборе и в произвольном порядке (проходить трассу по меняющимся маршрутам, преодолевать препятствия в неизвестной заранее очередности и др.). В подобных ситуациях обязательным элементом дрессировки является, наоборот, недопущение формирования стереотипа.

Основные правила выработки различных вариантов условных рефлексов следующие.

1. Собака должна быть здоровой (особенно с нормальным проявлением ориентировочного рефлекса).

2. Необходима мотивация (желание, стремление) для выполнения требуемых действий под влиянием каких‑то побуждений (голода, эмоционального настроя и т. д.).

3. Условные и безусловные сигналы следует подавать одновременно или с некоторым опережением подачи условного сигнала.

4. Безусловный сигнал должен действовать сильней, быть важней, чем условный.

5. Посторонние сигналы, которые могут отвлечь собаку от выполнения требуемых действий, должны отсутствовать.

 

 

МЕТОД ПРОБ И ОШИБОК

 

Условный рефлекс, названный инструментальным, не повторяет безусловный, на основе которого он выработан, а содержит иные действия для достижения цели. Главная роль в его осуществлении принадлежит инициативе животного. Например, собаку приучили подходить к кормушке с кормом (БС) по звонку (УС). На обычном ее пути поставили неизвестные ей препятствия, которые надо преодолеть, чтобы достичь цели: потянуть за веревку, привязанную к дверце, затем пройти через дверцу, нажать на педаль, связанную с механизмом подачи кормушки, вспрыгнуть на стол и подойти к кормушке с кормом. Поскольку привычный звонок побуждает к действию, собака совершает разнообразные движения между препятствиями наудачу, в основном бесполезные, путем слепого поиска правильного решения. То есть она совершает пробы и ошибки, пока случайно не выполнит действие, в результате которого неожиданно появится кормушка. Разумеется, описанные действия не повторяют прежний беспрепятственный способ достижения цели. Значит, собака приобрела инструментальный УР методом проб и ошибок (способ научения), путем проявления собственной инициативы. При многократном повторении того же маршрута она в конце концов научится совершать правильные действия сходу, но УР все равно останется инструментальным, поскольку отличается от изначального, беспрепятственного способа поедания корма, на основе которого он выработан.

Однако обучение методом проб и ошибок может осуществляться без изначально побуждающего внешнего УС, а под влиянием определенного состояния организма, например того же голода [67]. Именно он формирует у собаки поисковое поведение в виде эмоциональных проявлений, различных движений, контактов с разными объектами, преимущественно бесполезных, и др., пока неожиданно, случайно, одно из ее действий подкрепляется кормом. Разумеется, со временем на том же маршруте голодная собака все меньше совершает ненужных действий и, наконец, учится совершать единственно верное, за которым последует вознаграждение. Это тоже инструментальный УР, поскольку осуществляется с помощью такого же инструмента, как активный, хотя и слепой, поиск правильного решения путем реализации инициативы, но без всяких внешних побуждений. Оригинальность этого инструментального УР заключается в том, что он не начинается с побуждающего внешнего УС, как описанный перед ним, хотя тоже заканчивается восприятием БС объекта правильного действия. В дальнейшем собака будет использовать только верный маршрут для получения вознаграждения.

Впервые данный метод обучения описал английский психолог Э. Торндайк в книге «Интеллект животных» (1898), теоретически его обосновал и количественно измерил. Он сконструировал «проблемный ящик», в котором было несколько устройств, препятствующих выходу наружу. Помещенное в ящик животное (чаще кошка) должно было выйти из него и получить поощрение. В целом поведение испытуемого складывалось следующим образом: в процессе множества беспорядочных движений (проб), которые в большинстве неудачны (ошибки), животное неожиданно совершает нужное действие (случайный успех), которое впоследствии выполняет быстрей и чаще. Из этих трех типов поведения находящегося в ящике животного назвали данное обучение «метод проб, ошибок и случайного успеха». Правда, впоследствии убрали третью часть названия, и оно приобрело современный вид «метод проб и ошибок». Идею исследования данного метода обучения Э. Торндайку предложил его учитель – психолог К. Ллойд‑Морган, наблюдавший, как его собака самостоятельно открывает садовую калитку.