Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь FAQ Написать работу КАТЕГОРИИ: АрхеологияБиология Генетика География Информатика История Логика Маркетинг Математика Менеджмент Механика Педагогика Религия Социология Технологии Физика Философия Финансы Химия Экология ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Понятие социально-педагогического эксперимента. Типы экспериментов. Корреляционные исследования.Содержание книги
Похожие статьи вашей тематики
Поиск на нашем сайте
Слово эксперимент употребляется неоднозначно; в различных научных словарях, энциклопедиях можно встретить следующие значения данного понятия: · Эксперимент – (от лат. Experimentum – проба, опыт) – научно-обоснованный опыт; · Эксперимент – проверка гипотезы; · Эксперимент – как синоним эмпирического исследования; · Эксперимент – исследование какого-либо явления в естественных или искусственно созданных контролируемых и управляемых условиях. Слово «эксперимент» употребляется и вне научного контекста: может экспериментировать художник с красками, женщина со своей внешностью, учитель на уроке - с формами работы и т.д. Такое экспериментирование естественно, но это еще не научный эксперимент. Научный эксперимент, очевидно, отличают заранее поставленные цели, определенные правила этой деятельности, которые выработаны наукой. Наиболее часто встречается следующее определение: Эксперимент - это исследовательская деятельность для проверки выдвинутой гипотезы, разворачиваемая в естественных или искусственно созданных контролируемых и управляемых условиях. Критерии экспериментальной деятельности, отличающей ее от другой: · Наличие цели эксперимента · Наличие специально созданных условий эксперимента, разработанных способов, приемов вмешательства в практику образования · Наличие гипотезы · Наличие способов диагностики результатов · Воспроизводимость эксперимента (не только данным автором, но и другими, и в новых условиях) Можно сказать, что главные критерии экспериментальной деятельности, это: 1. Активное вмешательство, манипулирование некими переменными, условиями, факторами для проверки их влияния на основные изучаемые характеристики нашего объекта; 2. Наличие гипотезы, которую мы проверяем.
В педагогических исследованиях часто выделяют 3 типа эксперимента: - констатирующий эксперимент – изучение существующих явлений в естественных условиях с целью констатации наличного состояния изучаемого объекта, процесса или системы (например, констатация наличного уровня грамотности, отношения учеников к предмету, уровня познавательной активности и т.п.), для более объективной оценки существующего положения, выявления наиболее узких мест, противоречий, и с целью получения исходных данных для будущего сравнения ситуации после каких-то изменений; - проверяющий эксперимент – проверка гипотезы исследования; при этом, если гипотеза нашего исследования имеет информационно-описательный характера (отвечает на вопросы: какой? каков?), то исследование заканчивается таким проверяющим экспериментом; - преобразующий или созидательный эксперимент – обоснованное конструирование новых педагогических явлений и эмпирическая проверка результатов такого конструирования (соответствует гипотезе инструментального типа). В педагогических исследованиях именно они предпочтительны. В последнем случае, если преобразования осуществляются в больших масштабах, то им должны предшествовать более локальные эксперименты, проверяющие гипотезы об эффективности предлагаемых преобразований, т.е. масштабный преобразующий эксперимент должен проводиться только после проверяющего, в том случае, если гипотеза подтверждается. Однако в малых масштабах мы обречены на преобразующий (и он же – проверяющий) эксперимент по внедрению чего-то нового (методики, организации и т.д.) с заранее не очевидно положительным результатом. Главная особенность педагогического эксперимента – это эксперимент с людьми, т.е. социальный эксперимент, и он должен быть проведен в соответствии с заповедью «не навреди». Поэтому, прежде чем приступать к экспериментированию с людьми, предлагаемое нововведение должно быть тщательно обосновано теоретически. Как правило, в теоретической главе педагогических диссертаций происходит именно теоретическое обоснование предлагаемой автором новой педагогической идеи и способов ее реализации. Далее, желательно, несмотря на уже сделанное теоретическое обоснование, подтвердить правомерность авторского предложения какими-то эмпирическими данными. Таким образом, может быть сформулирована одна или несколько рабочих гипотез о взаимосвязях, которые могут быть проверены в ходе локальных наблюдений, опросов, тестирования и т.д. до начала преобразующего внедрения в практику новой модели. Иными словами, будет проведен проверяющий эксперимент, проверяющий обоснованность теоретической модели, на которой базируется наша главная гипотеза инструментального типа. И если эксперимент, проверяющий наличие некоторых зависимостей, окажется успешным, т.е. подтвердит теоретические построения, можно начинать преобразующий или созидательный эксперимент (т.к. только после теоретических обоснований и некоторых эмпирических проверок мы будем более уверены в его созидательности, а не разрушительности). Описание эмпирических проверок гипотезы и формирующего эксперимента обычно составляет основное содержание 2-й главы диссертации. Естественно, структура работы определяется ее спецификой. Возможна структура, когда во 2-й главе приводится общая построенная автором модель и ее эмпирическое обоснование, а в 3-й главе – описание формирующего эксперимента и его результатов. Возможны и иные варианты. Натурные наблюдения, опросы, где почти что нет специальных управляемых условий, не совсем соответствуют понятию эксперимента, принятому в естественнонаучной парадигме, однако в педагогике понятие эксперимента. употребляют шире, чем в других науках. Чтобы почувствовать различия, рассмотрим, как трактуют основные методы эмпирических исследований в такой близкой к педагогике науке, как социальная психология. В западной социальной психологии (см. учебное пособие Дж. Майерса) различают 2 метода исследования: · корреляционное исследование · эксперимент Просмотрим, чем они принципиально отличаются в данной трактовке. Корреляционное исследование - исследование, выявляющее или подтверждающее взаимосвязи между различными показателями, признаками, характеризующими объект исследования (или такими характеристиками и факторами внешней среды). Такое исследование часто проводится в естественных условиях. Используются такие частные методы, как наблюдение, опросы, тесты и т.п. Корреляционное исследование не отвечает на вопрос «почему», что является причиной, что следствием, поскольку корреляционные связи амбивалентны, и могут быть опосредованы какими-то третьими факторами. Корреляционная связь (лат. correlatio – связь, зависимость) – это согласованное изменение двух признаков, отражающее тот факт, что изменчивость одного признака находится в соответствии с изменчивостью другого. Корреляционная связь между двумя признаками может свидетельствовать не о зависимости их между собой, а о зависимости обоих эти признаков от какого-то третьего признака или сочетания признаков, не рассматриваемых в исследовании. Корреляционные связи свидетельствуют лишь о том, что изменениям одного признака, как правило, сопутствуют определенные изменения другого.
Для наглядности рассмотрим пример. Пусть мы хотим исследовать, имеется ли зависимость между успеваемостью учащегося и его самооценкой. Для проведения такого исследования нам надо, во-первых, как-то измерять то и другое. Допустим, мы имеем инструменты измерения – пусть мы используем балльную оценку успеваемости (например, по 100-балльной системе) и тестирование по 10-балльной шкале для определения самооценки. Тогда для того, чтобы определить, имеется ли между этими двумя величинами взаимосвязь, мы должны спланировать исследование (мы бы могли сказать – проверяющий эксперимент) таким образом, чтобы для достаточно большого числа учащихся измерить обе эти величины, заполняя таблицу 3: Табл.3. Пример таблицы для корреляционного исследования взаимосвязи успеваемости и самооценки
Затем по определенным формулам (в зависимости от типа используемых шкал и т.д.) рассчитываются коэффициенты корреляции (по Спирмену, по Пирсону и др.), смысл которых в установлении степени и характера взаимозависимости рассматриваемых переменных. Корреляция бывает линейной и нелинейной, положительной и отрицательной. Если знак коэффициента линейной корреляции – «плюс» (r>0), то связь между признаками такова, что если один показатель увеличивается, то соответственно увеличивается и другой показатель. Если же получен знак «минус» (r<0), то большей величине одного признака соответствует меньшая величина другого. Возможна ситуация, когда между переменными невозможно установить какую-либо связь. В этом случае r=0. Мы обращаем внимание на то, что необходимо определить, какой коэффициент рассчитывать, и как затем по величине коэффициента и величине выборки (сколько человек обследовали) решить, можем ли мы с уверенностью сказать, что связь есть? Для постановки и проведения такого, казалось бы, простого исследования, необходимо ознакомиться с методам статистической обработки данных (существует очень много пособий по применению статистической обработки в психологии, и не очень много пособий – для педагогических исследований, но они доступны в любой библиотеке и в интернете, и исследователю, работающему в количественной парадигме, знать азы статистики необходимо). Это не входит в задачи нашего пособия, но мы настоятельно рекомендуем Вам обратиться к соответствующей литературе. Вернемся к рассматриваемому примеру. Подобные исследования в действительности проводились и зафиксировали положительную корреляционную связь. Можем ли мы сделать вывод, что хорошая успеваемость является одной из причин высокой самооценки? Или наоборот: высокая самооценка – является одной из причин хорошей успеваемости? Никакого подобного вывода мы сделать, конечно, не можем. В рассматриваемом примере, последующие исследования установили, что выявленная связь опосредована другими факторами, а именно, интеллектом ученика и статусом его семьи, и если влияние этих факторов устранить, то никакой взаимосвязи между самооценкой и успеваемостью нет. Таким образом, корреляционное исследование формирует уточненную, научную гипотезу, и само нуждается в проверке. Приведем еще примеры корреляционных исследований. В 70-80-е гг. 20 века В.А.Ядовым проводилось масштабное теоретическое и эмпирическое научное исследование удовлетворенности трудом[1] (надо сказать, что исследование представляет непосредственный интерес для педагогики). В основном при исследовании использовались различные опросы, тесты, т.е. методы корреляционного исследования. Центральный вопрос исследования: каковы главные факторы удовлетворенности работой? Гипотеза о том, что доминирующим фактором является оплата, не подтвердилась, было выявлено, что наиболее значим сам характер деятельности, ее содержание, интерес к работе. Исследование показало зависимость удовлетворенности от большого количества факторов, их сложную взаимосвязь. Это характерно практически для всех социальных исследований, и в частности, для педагогических, которые являются по своей сути социально-педагогическими. Именно из-за сложности социальной реальности и из-за зависимости изучаемого исследования от множества факторов, в исследованиях количественного типа, проводимых в естественнонаучной парадигме – мы признаем требование повторяемости исследований, независимой проверки. Первое исследование рождает только гипотезу о том, что есть какая-либо зависимость; если мы получим аналогичные результаты на повторных исследованиях (на других людях, в другое время), мы получим подтверждение гипотезы. Мы не можем сказать «доказательство» в строгом смысле, поскольку количественное исследование всегда связано со статистическими допущениями. Мы можем сказать, что чем больше независимых проверок гипотезы осуществляется, тем более и более она становится обоснованной. В чем принципиальное отличие эксперимента от корреляционного исследования? В эксперименте есть управление, манипулирование некоторыми переменными для выявления их влияния на изучаемый нами объект или процесс. Методика экспериментального анализа в общих чертах была разработана еще Аристотелем, затем в 17 веке – Френсис Бэкон выстроил логическую основу экспериментальных исследований, применительно к области социологии ее усовершенствовал Дж. Стюарт Милль (в 19 веке). Общее в нижеперечисленных правилах: из 2х посылок – суждений – следует вывод следствие о возможной причинной связи. Приведем два самых известных из сформулированных Миллем правил. 1. Правило согласия Милля (или метод единственного сходства) Если два или более случая наступления исследуемого явления (результата – «Р») имеют общим лишь одно обстоятельство («С»), то это обстоятельство, в котором только и сходны эти случаи, есть причина (или по крайней мере содержит в себе причину) рассматриваемого явления. При обстоятельствах А, Б, С, В наступает Р. При обстоятельствах М, К, Н, С наступает Р. Вывод: причиной Р по-видимому является С. Например, если мы установили наблюдениями, что ученик N, попадая в различные компании сверстников, всегда оказывался в положении обиженного, то можно сделать вывод, что причина обид – не конкретная «плохая» компания, а что-то в личности самого N, возможно, в его семье, воспитании. 2. Правило различия Милля (метод единственного различия) Если случай, в котором исследуемое явление (результата – «Р») наступает, и случай, в котором оно не наступает, сходны между собой во всех обстоятельствах, кроме одного, присутствующего лишь в первом случае, то это обстоятельство, которым только и разнятся эти два случая, является действием или причиной (или составной частью причины) данного явления. При А, Б, С, Д - наступает Р. При А, Б, Д - Р отсутствует. Вывод – наличие С необходимо для Р. Например, наблюдая дисциплину класса на разных уроках, мы можем выявить, что самым важным фактором нарушения дисциплины является присутствие на уроке определенного ученика – «провокатора нарушения дисциплины». Рассмотрим пример совместного использования данных двух правил. Пусть наша гипотеза заключается в том, что использование методики обучения «С» ведет к повышению уровня обученности по предмету. Естественно, предполагается, что мы имеем проверенный инструментарий для определения уровня обученности. А) Берем для эксперимента 2 класса – во всех отношениях разные – и вводим методику С. Если в обоих случаях мы фиксируем достоверное повышение уровня обученности – можно сделать вывод, что, возможно, это повышение обусловлено методикой С (по правилу согласия). Б) Для большей уверенности делаем следующую проверку: берем 3-й, «контрольный» класс, где С не использовалось. Если там не фиксируется эффекта, то по правилу различия делаем вывод, что С – причина повышения обученности. В чем недостаток данного «доказательства»? В нашем эксперименте слишком много неконтролируемых факторов, которые тоже могут влиять на повышение обученности (роль учителя, исходный уровень, помощь родителей и т.д.). Поэтому «доказательство» гипотезы в такой схеме достигается после многих-многих проверок в различных условиях (например, обоснованность системы Занкова подтверждается естественным многократным испытанием методики). Другой путь заключается в попытках сделать эксперимент более контролируемым, а именно, в стремлении тщательно выровнять все прочие условия, которые теоретически могут влиять на результат. В рассматриваемом примере это означает, что мы · выявляем потенциально влияющие на результат характеристики (пол, успеваемость, материальное положение, профиль класса и т.п.); · подбираем экспериментальные и контрольные группы так, чтобы они были близкими по всем этим характеристикам, а затем проводим эксперимент по схеме (табл.4.): Табл.4. Схема «классического» экспериментального исследования
Вывод, который можно сделать при такой постановке эксперимента: эмпирические данные подтверждают гипотезу (которая, естественно, уже была ранее обоснована теоретически). По моментам «измерений» эксперименты можно разделить на типы: «до – после» и «только после». Также различают эксперимент натурный и мысленный. В эксперименте «до-после» осуществляется 2 замера во времени и сравнение результатов. Для рассмотренного выше примера мы могли бы предположить, что корректным экспериментом «до-после» был бы замер уровня обученности в экспериментальной группе до введения методики и, скажем, через год после ее введения. Если уровень достоверно повысился, то следовательно, методика дала эффект. Однако такого замера в одной группе явно недостаточно, ведь уровень обученности мог повыситься не благодаря, а вопреки методике, под воздействием каких-то иных факторов или просто взросления учеников. Корректным будет измерение уровней «до» и «после» в экспериментальной и контрольной группах, и затем проведение статистического сравнения эффектов в первой и второй группе. Тем не менее, бывают и эксперименты «только после», когда производится во времени только 1 замер (результата какого-то воздействия, которое, возможно, планировали и проводили в жизнь не мы). Тогда мы можем пытаться идти от следствия к причинам, проводя мысленный эксперимент. В натурном эксперименте специально создаются некие внешние условия, факторы, и изучается их влияние, т.е. происходит вмешательство в реальную жизнь. В мысленном эксперименте работают не с людьми, а с информацией о людях. Поскольку мы можем делать различные выборки в информационных массивах, мы можем как бы моделировать различные экспериментальные и контрольные группы. Мысленный эксперимент зачастую применяется там, где мы не можем или не хотим проводить натурный эксперимент по морально-этическим соображениям. Например, исследуется гипотеза о влиянии отметок на взаимоотношения между учащимися: предположительно, слабоуспевающие учащиеся больше страдают от негативного отношения одноклассников. Для такой гипотезы мы не можем провести формирующий натурный эксперимент. Однако мы можем опросить всех учащихся о том, как к ним относятся их одноклассники, внести в анкеты данные об успеваемости, и затем, разделив анкеты на 2 группы по успеваемости, исследовать, есть ли различия в отношениях. На самом деле в таком «мысленном эксперименте» мы только выявили наличие взаимосвязи между успеваемостью и взаимоотношениями, т.е. провели корреляционное исследование, которое, как мы уже говорили, требует дополнительных проверок, поскольку даже если взаимосвязь выявлена, она может быть опосредована другими факторами.
Социально-педагогический эксперимент по своему характеру можно условно отнести к следующим двум типам: · социологического типа · психолого-педагогического типа В эксперименте социологического типа объектом исследования является некая общность людей (выпускники петербургской школы, петербургское учительство и т.п.). Изучается, какова эта общность в настоящий момент (составление «портрета», включающего мотивы, ценностные ориентации и т.д.), и при каких условиях эта общность как-то меняется. Принципиально важным является необходимость локализовать экспериментальную выборку и сравнить результаты, полученные на ней, со среднестатистическими (или с контрольной выборкой). Например, если мы изучаем «портрет» выпускника конкретной школы Санкт-Петербурга, то целесообразно использовать методику, уже многократно апробированную в исследовании «Выпускник петербургской школы», и тогда данные, полученные для конкретной школы мы можем сравнить с данными школ такого же типа и со средними по городу. Эксперимент психолого-педагогического типа - это: - метод познания, с помощью которого в естественных или искусственных контролируемых условиях изучаются какие-то педагогические явления (констатация или проверка гипотезы), либо - направленная и контролируемая педагогическая деятельность по апробации новых образовательных технологий (преобразующий эксперимент). Возможные варианты психолого-педагогических экспериментов: - изучение процессов (формирования знаний, интеллектуальных умений, компетенций и т.п.), изучение зависимости между содержанием образования, методами и определенными процессами; - изучение эффективности педагогического опыта (зависимости между методикой и результатом); - экспериментальная проверка новой образовательной модели (например, системы Занкова для начальной школы); - сравнение различных методов обучения, их влияния на результаты (обученность, метапредметные и личностные результаты) - «воспитательный эксперимент» – изучение влияния различных методов обучения, содержания образования, организационных моделей и т.д. на качества личности – самый сложный из экспериментов (ввиду отсроченности результатов, «неявности» воспитательных эффектов). Термин «психолого-педагогический» акцентирует некоторую психологическую направленность исследования, хорошее владение исследователем и сознательное использование им определенных психологических знаний, теорий, возможно, использование психологического инструментария в эмпирической части исследования. Такой эксперимент может быть естественным и лабораторным. Естественный проводится в условиях, максимально приближенных к жизни. Лабораторный – в искусственной, строго организованной обстановке (чаще всего, такие эксперименты проводят психологи). В заключение, рассмотрим еще один пример, демонстрирующий различие между констатацией факта, корреляционным исследованием и «истинным экспериментом». В конце 20 века была выявлена проблемная ситуация, связанная с возрастанием агрессивного поведения подростков в школе. Первично проблема сформулирована как несоответствие желаемого и действительного, противоречие между курсом школы на гуманизацию отношений «учитель-ученик» и наблюдаемым возрастанием агрессивности. Центральный вопрос: с чем это может быть связано? Идея – негативное влияние телевидения. Рабочая гипотеза: просмотр большого количества ТВ-передач со сценами насилия является одной из причин агрессивности подростков. Как проверить такую гипотезу? Во-первых, необходима констатация фактического состояния, подтверждающая наличие проблемы, а также разработка диагностических критериев и инструментов, «замеряющих» исследуемые величины. Пусть разработан: а) опросник, с помощью которого выясняем, кто сколько и каких ТВ-передач смотрит, б) психологический тест, измеряющий (скажем, по 10-балльной шкале) уровень агрессивности. Далее проводится опрос выборки старшеклассников (надо позаботиться о том, чтобы было опрошено достаточное количество человек) с замером двух исследуемых величин (т.е. проводится корреляционное исследование). Исследование выявляет положительную взаимосвязь между уровнем агрессивности и числом просмотренных в неделю боевиков. Можно ли на этом этапе сделать вывод, что просмотр боевиков ТВ – причина агрессивного поведения? Нельзя, т.к. взаимосвязь может быть опосредована другими факторами (наследственность, отношения в семье и т.п.). Наше исследование пока только подтвердило гипотезу о существовании взаимосвязи, но не более того. Для установления причинно-следственной связи надо провести «чистый» проверяющий эксперимент, а не корреляционное исследование или мысленный эксперимент. Суть: «испытуемые» делятся на 2 группы – экспериментальную и контрольную, во всех отношениях «одинаковые», сопоставимые (по полу, возрасту, семейным условиям, успеваемости, исходному уровню агрессивности, частоте просмотра боевиков и т.д.). Проводится эксперимент, в котором экспериментальная и контрольная группы отличаются только 1 фактором (условия эксперимента) - просмотром разного вида ТВ-программ: со сценами насилия и нейтральных. В обеих группах измеряется 1 и тот же критерий по одинаковой методике. Если при этом выявляются достоверные различия уровня агрессивности в экспериментальной и контрольной группах – следовательно, делается вывод, что варьируемый в эксперименте фактор, по-видимому, является одной из причин полученных различий. Такой эксперимент в действительности проводился лабораторно в США, и действительно, были получены достоверные различия. Пример ярко демонстрирует этические проблемы подобных экспериментов; одним из условий эксперимента подобного рода является добровольность участия, другое условие – ограниченность воздействий (которые могут быть потенциально негативны). Конкретное описание, как проводился данный эксперимент, можно найти в пособии Дж.Майерса. Заметим, что приведенный выше пример демонстрирует социально-психологический эксперимент, а не педагогический. Для педагогического исследования следовало бы задаться, например, вопросом, а какие педагогические условия способствуют усилению (или, наоборот, уменьшению) агрессивности, и в соответствии с идеей и гипотезой педагогического характера строить далее экспериментальную работу.
Задания и вопросы.
1. Сложность экспериментальной работы еще в первой половине 20 века хорошо продемонстрировали знаменитые опыты профессора Гарвардского университета Элтона Мэйо по изучению влияния различных факторов на производительность труда. При длительном изучение работниц (обмотчиц телефонных реле) в г.Холторн (Чикаго) были получены интересные экспериментальные данные: При выделении 1 бригады (6 девушек) в экспериментальную группу и при изменении условий их работы (увеличение освещенности рабочих мест, улучшение температурного режима, графика работы) было установлено увеличение производительности труда в экспериментальной группе. В дальнейшем при изменении условий экспериментальной группы в худшую сторону, было снова получено увеличение производительности труда. Попробуйте сформулировать возможные гипотезы, что является потенциальной причиной этого явления, получившего название «холторнский эффект»? Найдите в литературе или в интернете, какие гипотезы были выдвинуты видными учеными того времени и как они проверялись. 2. При решении проблемы предотвращения девиантного поведения подростков была высказана гипотеза, что основными факторами риска девиантного поведения являются так называемые «семьи риска» (неполные семьи, многодетные, эмигранты-беженцы). Какого типа эксперимент можно провести, чтобы подтвердить или опровергнуть данную гипотезу?
3. В педагогическом исследовании была высказана гипотеза о возможности формирования толерантности учащихся с помощью технологий мастерских. Как можно спланировать эксперимент для подтверждения данной гипотезы?
4. Охарактеризуйте особенности педагогического эксперимента как социального и его отличия от психологического и социологического экспериментов.
5. Представьте наметки плана экспериментальной проверки Вашей гипотезы. Будет ли у Вас констатирующий эксперимент? Если да, то в чем он будет заключаться? Будут ли в Вашем исследовании проверяющий и преобразующий эксперименты? Будет ли в Вашем эксперименте экспериментальная и контрольная группы, будет ли проверка в динамике («до» - «после»), что (какие показатели) Вы собираетесь сравнивать и с чем.
|
||||||||||||||||||||||||||||||
Последнее изменение этой страницы: 2016-12-16; просмотров: 1439; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.188.110.150 (0.016 с.) |