Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь FAQ Написать работу КАТЕГОРИИ: ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву
Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Понятие социально-педагогического эксперимента. Типы экспериментов. Корреляционные исследования.Содержание книги
Похожие статьи вашей тематики
Поиск на нашем сайте Слово эксперимент употребляется неоднозначно; в различных научных словарях, энциклопедиях можно встретить следующие значения данного понятия: · Эксперимент – (от лат. Experimentum – проба, опыт) – научно-обоснованный опыт; · Эксперимент – проверка гипотезы; · Эксперимент – как синоним эмпирического исследования; · Эксперимент – исследование какого-либо явления в естественных или искусственно созданных контролируемых и управляемых условиях. Слово «эксперимент» употребляется и вне научного контекста: может экспериментировать художник с красками, женщина со своей внешностью, учитель на уроке - с формами работы и т.д. Такое экспериментирование естественно, но это еще не научный эксперимент. Научный эксперимент, очевидно, отличают заранее поставленные цели, определенные правила этой деятельности, которые выработаны наукой. Наиболее часто встречается следующее определение: Эксперимент - это исследовательская деятельность для проверки выдвинутой гипотезы, разворачиваемая в естественных или искусственно созданных контролируемых и управляемых условиях. Критерии экспериментальной деятельности, отличающей ее от другой: · Наличие цели эксперимента · Наличие специально созданных условий эксперимента, разработанных способов, приемов вмешательства в практику образования · Наличие гипотезы · Наличие способов диагностики результатов · Воспроизводимость эксперимента (не только данным автором, но и другими, и в новых условиях) Можно сказать, что главные критерии экспериментальной деятельности, это: 1. Активное вмешательство, манипулирование некими переменными, условиями, факторами для проверки их влияния на основные изучаемые характеристики нашего объекта; 2. Наличие гипотезы, которую мы проверяем.
В педагогических исследованиях часто выделяют 3 типа эксперимента: - констатирующий эксперимент – изучение существующих явлений в естественных условиях с целью констатации наличного состояния изучаемого объекта, процесса или системы (например, констатация наличного уровня грамотности, отношения учеников к предмету, уровня познавательной активности и т.п.), для более объективной оценки существующего положения, выявления наиболее узких мест, противоречий, и с целью получения исходных данных для будущего сравнения ситуации после каких-то изменений; - проверяющий эксперимент – проверка гипотезы исследования; при этом, если гипотеза нашего исследования имеет информационно-описательный характера (отвечает на вопросы: какой? каков?), то исследование заканчивается таким проверяющим экспериментом; - преобразующий или созидательный эксперимент – обоснованное конструирование новых педагогических явлений и эмпирическая проверка результатов такого конструирования (соответствует гипотезе инструментального типа). В педагогических исследованиях именно они предпочтительны. В последнем случае, если преобразования осуществляются в больших масштабах, то им должны предшествовать более локальные эксперименты, проверяющие гипотезы об эффективности предлагаемых преобразований, т.е. масштабный преобразующий эксперимент должен проводиться только после проверяющего, в том случае, если гипотеза подтверждается. Однако в малых масштабах мы обречены на преобразующий (и он же – проверяющий) эксперимент по внедрению чего-то нового (методики, организации и т.д.) с заранее не очевидно положительным результатом. Главная особенность педагогического эксперимента – это эксперимент с людьми, т.е. социальный эксперимент, и он должен быть проведен в соответствии с заповедью «не навреди». Поэтому, прежде чем приступать к экспериментированию с людьми, предлагаемое нововведение должно быть тщательно обосновано теоретически. Как правило, в теоретической главе педагогических диссертаций происходит именно теоретическое обоснование предлагаемой автором новой педагогической идеи и способов ее реализации. Далее, желательно, несмотря на уже сделанное теоретическое обоснование, подтвердить правомерность авторского предложения какими-то эмпирическими данными. Таким образом, может быть сформулирована одна или несколько рабочих гипотез о взаимосвязях, которые могут быть проверены в ходе локальных наблюдений, опросов, тестирования и т.д. до начала преобразующего внедрения в практику новой модели. Иными словами, будет проведен проверяющий эксперимент, проверяющий обоснованность теоретической модели, на которой базируется наша главная гипотеза инструментального типа. И если эксперимент, проверяющий наличие некоторых зависимостей, окажется успешным, т.е. подтвердит теоретические построения, можно начинать преобразующий или созидательный эксперимент (т.к. только после теоретических обоснований и некоторых эмпирических проверок мы будем более уверены в его созидательности, а не разрушительности). Описание эмпирических проверок гипотезы и формирующего эксперимента обычно составляет основное содержание 2-й главы диссертации. Естественно, структура работы определяется ее спецификой. Возможна структура, когда во 2-й главе приводится общая построенная автором модель и ее эмпирическое обоснование, а в 3-й главе – описание формирующего эксперимента и его результатов. Возможны и иные варианты. Натурные наблюдения, опросы, где почти что нет специальных управляемых условий, не совсем соответствуют понятию эксперимента, принятому в естественнонаучной парадигме, однако в педагогике понятие эксперимента. употребляют шире, чем в других науках. Чтобы почувствовать различия, рассмотрим, как трактуют основные методы эмпирических исследований в такой близкой к педагогике науке, как социальная психология. В западной социальной психологии (см. учебное пособие Дж. Майерса) различают 2 метода исследования: · корреляционное исследование · эксперимент Просмотрим, чем они принципиально отличаются в данной трактовке. Корреляционное исследование - исследование, выявляющее или подтверждающее взаимосвязи между различными показателями, признаками, характеризующими объект исследования (или такими характеристиками и факторами внешней среды). Такое исследование часто проводится в естественных условиях. Используются такие частные методы, как наблюдение, опросы, тесты и т.п. Корреляционное исследование не отвечает на вопрос «почему», что является причиной, что следствием, поскольку корреляционные связи амбивалентны, и могут быть опосредованы какими-то третьими факторами. Корреляционная связь (лат. correlatio – связь, зависимость) – это согласованное изменение двух признаков, отражающее тот факт, что изменчивость одного признака находится в соответствии с изменчивостью другого. Корреляционная связь между двумя признаками может свидетельствовать не о зависимости их между собой, а о зависимости обоих эти признаков от какого-то третьего признака или сочетания признаков, не рассматриваемых в исследовании. Корреляционные связи свидетельствуют лишь о том, что изменениям одного признака, как правило, сопутствуют определенные изменения другого.
Для наглядности рассмотрим пример. Пусть мы хотим исследовать, имеется ли зависимость между успеваемостью учащегося и его самооценкой. Для проведения такого исследования нам надо, во-первых, как-то измерять то и другое. Допустим, мы имеем инструменты измерения – пусть мы используем балльную оценку успеваемости (например, по 100-балльной системе) и тестирование по 10-балльной шкале для определения самооценки. Тогда для того, чтобы определить, имеется ли между этими двумя величинами взаимосвязь, мы должны спланировать исследование (мы бы могли сказать – проверяющий эксперимент) таким образом, чтобы для достаточно большого числа учащихся измерить обе эти величины, заполняя таблицу 3: Табл.3. Пример таблицы для корреляционного исследования взаимосвязи успеваемости и самооценки
Затем по определенным формулам (в зависимости от типа используемых шкал и т.д.) рассчитываются коэффициенты корреляции (по Спирмену, по Пирсону и др.), смысл которых в установлении степени и характера взаимозависимости рассматриваемых переменных. Корреляция бывает линейной и нелинейной, положительной и отрицательной. Если знак коэффициента линейной корреляции – «плюс» (r>0), то связь между признаками такова, что если один показатель увеличивается, то соответственно увеличивается и другой показатель. Если же получен знак «минус» (r<0), то большей величине одного признака соответствует меньшая величина другого. Возможна ситуация, когда между переменными невозможно установить какую-либо связь. В этом случае r=0. Мы обращаем внимание на то, что необходимо определить, какой коэффициент рассчитывать, и как затем по величине коэффициента и величине выборки (сколько человек обследовали) решить, можем ли мы с уверенностью сказать, что связь есть? Для постановки и проведения такого, казалось бы, простого исследования, необходимо ознакомиться с методам статистической обработки данных (существует очень много пособий по применению статистической обработки в психологии, и не очень много пособий – для педагогических исследований, но они доступны в любой библиотеке и в интернете, и исследователю, работающему в количественной парадигме, знать азы статистики необходимо). Это не входит в задачи нашего пособия, но мы настоятельно рекомендуем Вам обратиться к соответствующей литературе. Вернемся к рассматриваемому примеру. Подобные исследования в действительности проводились и зафиксировали положительную корреляционную связь. Можем ли мы сделать вывод, что хорошая успеваемость является одной из причин высокой самооценки? Или наоборот: высокая самооценка – является одной из причин хорошей успеваемости? Никакого подобного вывода мы сделать, конечно, не можем. В рассматриваемом примере, последующие исследования установили, что выявленная связь опосредована другими факторами, а именно, интеллектом ученика и статусом его семьи, и если влияние этих факторов устранить, то никакой взаимосвязи между самооценкой и успеваемостью нет. Таким образом, корреляционное исследование формирует уточненную, научную гипотезу, и само нуждается в проверке. Приведем еще примеры корреляционных исследований. В 70-80-е гг. 20 века В.А.Ядовым проводилось масштабное теоретическое и эмпирическое научное исследование удовлетворенности трудом[1] (надо сказать, что исследование представляет непосредственный интерес для педагогики). В основном при исследовании использовались различные опросы, тесты, т.е. методы корреляционного исследования. Центральный вопрос исследования: каковы главные факторы удовлетворенности работой? Гипотеза о том, что доминирующим фактором является оплата, не подтвердилась, было выявлено, что наиболее значим сам характер деятельности, ее содержание, интерес к работе. Исследование показало зависимость удовлетворенности от большого количества факторов, их сложную взаимосвязь. Это характерно практически для всех социальных исследований, и в частности, для педагогических, которые являются по своей сути социально-педагогическими. Именно из-за сложности социальной реальности и из-за зависимости изучаемого исследования от множества факторов, в исследованиях количественного типа, проводимых в естественнонаучной парадигме – мы признаем требование повторяемости исследований, независимой проверки. Первое исследование рождает только гипотезу о том, что есть какая-либо зависимость; если мы получим аналогичные результаты на повторных исследованиях (на других людях, в другое время), мы получим подтверждение гипотезы. Мы не можем сказать «доказательство» в строгом смысле, поскольку количественное исследование всегда связано со статистическими допущениями. Мы можем сказать, что чем больше независимых проверок гипотезы осуществляется, тем более и более она становится обоснованной. В чем принципиальное отличие эксперимента от корреляционного исследования? В эксперименте есть управление, манипулирование некоторыми переменными для выявления их влияния на изучаемый нами объект или процесс. Методика экспериментального анализа в общих чертах была разработана еще Аристотелем, затем в 17 веке – Френсис Бэкон выстроил логическую основу экспериментальных исследований, применительно к области социологии ее усовершенствовал Дж. Стюарт Милль (в 19 веке). Общее в нижеперечисленных правилах: из 2х посылок – суждений – следует вывод следствие о возможной причинной связи. Приведем два самых известных из сформулированных Миллем правил. 1. Правило согласия Милля (или метод единственного сходства) Если два или более случая наступления исследуемого явления (результата – «Р») имеют общим лишь одно обстоятельство («С»), то это обстоятельство, в котором только и сходны эти случаи, есть причина (или по крайней мере содержит в себе причину) рассматриваемого явления. При обстоятельствах А, Б, С, В наступает Р. При обстоятельствах М, К, Н, С наступает Р. Вывод: причиной Р по-видимому является С. Например, если мы установили наблюдениями, что ученик N, попадая в различные компании сверстников, всегда оказывался в положении обиженного, то можно сделать вывод, что причина обид – не конкретная «плохая» компания, а что-то в личности самого N, возможно, в его семье, воспитании. 2. Правило различия Милля (метод единственного различия) Если случай, в котором исследуемое явление (результата – «Р») наступает, и случай, в котором оно не наступает, сходны между собой во всех обстоятельствах, кроме одного, присутствующего лишь в первом случае, то это обстоятельство, которым только и разнятся эти два случая, является действием или причиной (или составной частью причины) данного явления. При А, Б, С, Д - наступает Р. При А, Б, Д - Р отсутствует. Вывод – наличие С необходимо для Р. Например, наблюдая дисциплину класса на разных уроках, мы можем выявить, что самым важным фактором нарушения дисциплины является присутствие на уроке определенного ученика – «провокатора нарушения дисциплины». Рассмотрим пример совместного использования данных двух правил. Пусть наша гипотеза заключается в том, что использование методики обучения «С» ведет к повышению уровня обученности по предмету. Естественно, предполагается, что мы имеем проверенный инструментарий для определения уровня обученности. А) Берем для эксперимента 2 класса – во всех отношениях разные – и вводим методику С. Если в обоих случаях мы фиксируем достоверное повышение уровня обученности – можно сделать вывод, что, возможно, это повышение обусловлено методикой С (по правилу согласия). Б) Для большей уверенности делаем следующую проверку: берем 3-й, «контрольный» класс, где С не использовалось. Если там не фиксируется эффекта, то по правилу различия делаем вывод, что С – причина повышения обученности. В чем недостаток данного «доказательства»? В нашем эксперименте слишком много неконтролируемых факторов, которые тоже могут влиять на повышение обученности (роль учителя, исходный уровень, помощь родителей и т.д.). Поэтому «доказательство» гипотезы в такой схеме достигается после многих-многих проверок в различных условиях (например, обоснованность системы Занкова подтверждается естественным многократным испытанием методики). Другой путь заключается в попытках сделать эксперимент более контролируемым, а именно, в стремлении тщательно выровнять все прочие условия, которые теоретически могут влиять на результат. В рассматриваемом примере это означает, что мы · выявляем потенциально влияющие на результат характеристики (пол, успеваемость, материальное положение, профиль класса и т.п.); · подбираем экспериментальные и контрольные группы так, чтобы они были близкими по всем этим характеристикам, а затем проводим эксперимент по схеме (табл.4.): Табл.4. Схема «классического» экспериментального исследования
Вывод, который можно сделать при такой постановке эксперимента: эмпирические данные подтверждают гипотезу (которая, естественно, уже была ранее обоснована теоретически). По моментам «измерений» эксперименты можно разделить на типы: «до – после» и «только после». Также различают эксперимент натурный и мысленный. В эксперименте «до-после» осуществляется 2 замера во времени и сравнение результатов. Для рассмотренного выше примера мы могли бы предположить, что корректным экспериментом «до-после» был бы замер уровня обученности в экспериментальной группе до введения методики и, скажем, через год после ее введения. Если уровень достоверно повысился, то следовательно, методика дала эффект. Однако такого замера в одной группе явно недостаточно, ведь уровень обученности мог повыситься не благодаря, а вопреки методике, под воздействием каких-то иных факторов или просто взросления учеников. Корректным будет измерение уровней «до» и «после» в экспериментальной и контрольной группах, и затем проведение статистического сравнения эффектов в первой и второй группе. Тем не менее, бывают и эксперименты «только после», когда производится во времени только 1 замер (результата какого-то воздействия, которое, возможно, планировали и проводили в жизнь не мы). Тогда мы можем пытаться идти от следствия к причинам, проводя мысленный эксперимент. В натурном эксперименте специально создаются некие внешние условия, факторы, и изучается их влияние, т.е. происходит вмешательство в реальную жизнь. В мысленном эксперименте работают не с людьми, а с информацией о людях. Поскольку мы можем делать различные выборки в информационных массивах, мы можем как бы моделировать различные экспериментальные и контрольные группы. Мысленный эксперимент зачастую применяется там, где мы не можем или не хотим проводить натурный эксперимент по морально-этическим соображениям. Например, исследуется гипотеза о влиянии отметок на взаимоотношения между учащимися: предположительно, слабоуспевающие учащиеся больше страдают от негативного отношения одноклассников. Для такой гипотезы мы не можем провести формирующий натурный эксперимент. Однако мы можем опросить всех учащихся о том, как к ним относятся их одноклассники, внести в анкеты данные об успеваемости, и затем, разделив анкеты на 2 группы по успеваемости, исследовать, есть ли различия в отношениях. На самом деле в таком «мысленном эксперименте» мы только выявили наличие взаимосвязи между успеваемостью и взаимоотношениями, т.е. провели корреляционное исследование, которое, как мы уже говорили, требует дополнительных проверок, поскольку даже если взаимосвязь выявлена, она может быть опосредована другими факторами.
Социально-педагогический эксперимент по своему характеру можно условно отнести к следующим двум типам: · социологического типа · психолого-педагогического типа В эксперименте социологического типа объектом исследования является некая общность людей (выпускники петербургской школы, петербургское учительство и т.п.). Изучается, какова эта общность в настоящий момент (составление «портрета», включающего мотивы, ценностные ориентации и т.д.), и при каких условиях эта общность как-то меняется. Принципиально важным является необходимость локализовать экспериментальную выборку и сравнить результаты, полученные на ней, со среднестатистическими (или с контрольной выборкой). Например, если мы изучаем «портрет» выпускника конкретной школы Санкт-Петербурга, то целесообразно использовать методику, уже многократно апробированную в исследовании «Выпускник петербургской школы», и тогда данные, полученные для конкретной школы мы можем сравнить с данными школ такого же типа и со средними по городу. Эксперимент психолого-педагогического типа - это: - метод познания, с помощью которого в естественных или искусственных контролируемых условиях изучаются какие-то педагогические явления (констатация или проверка гипотезы), либо - направленная и контролируемая педагогическая деятельность по апробации новых образовательных технологий (преобразующий эксперимент). Возможные варианты психолого-педагогических экспериментов: - изучение процессов (формирования знаний, интеллектуальных умений, компетенций и т.п.), изучение зависимости между содержанием образования, методами и определенными процессами; - изучение эффективности педагогического опыта (зависимости между методикой и результатом); - экспериментальная проверка новой образовательной модели (например, системы Занкова для начальной школы); - сравнение различных методов обучения, их влияния на результаты (обученность, метапредметные и личностные результаты) - «воспитательный эксперимент» – изучение влияния различных методов обучения, содержания образования, организационных моделей и т.д. на качества личности – самый сложный из экспериментов (ввиду отсроченности результатов, «неявности» воспитательных эффектов). Термин «психолого-педагогический» акцентирует некоторую психологическую направленность исследования, хорошее владение исследователем и сознательное использование им определенных психологических знаний, теорий, возможно, использование психологического инструментария в эмпирической части исследования. Такой эксперимент может быть естественным и лабораторным. Естественный проводится в условиях, максимально приближенных к жизни. Лабораторный – в искусственной, строго организованной обстановке (чаще всего, такие эксперименты проводят психологи). В заключение, рассмотрим еще один пример, демонстрирующий различие между констатацией факта, корреляционным исследованием и «истинным экспериментом». В конце 20 века была выявлена проблемная ситуация, связанная с возрастанием агрессивного поведения подростков в школе. Первично проблема сформулирована как несоответствие желаемого и действительного, противоречие между курсом школы на гуманизацию отношений «учитель-ученик» и наблюдаемым возрастанием агрессивности. Центральный вопрос: с чем это может быть связано? Идея – негативное влияние телевидения. Рабочая гипотеза: просмотр большого количества ТВ-передач со сценами насилия является одной из причин агрессивности подростков. Как проверить такую гипотезу? Во-первых, необходима констатация фактического состояния, подтверждающая наличие проблемы, а также разработка диагностических критериев и инструментов, «замеряющих» исследуемые величины. Пусть разработан: а) опросник, с помощью которого выясняем, кто сколько и каких ТВ-передач смотрит, б) психологический тест, измеряющий (скажем, по 10-балльной шкале) уровень агрессивности. Далее проводится опрос выборки старшеклассников (надо позаботиться о том, чтобы было опрошено достаточное количество человек) с замером двух исследуемых величин (т.е. проводится корреляционное исследование). Исследование выявляет положительную взаимосвязь между уровнем агрессивности и числом просмотренных в неделю боевиков. Можно ли на этом этапе сделать вывод, что просмотр боевиков ТВ – причина агрессивного поведения? Нельзя, т.к. взаимосвязь может быть опосредована другими факторами (наследственность, отношения в семье и т.п.). Наше исследование пока только подтвердило гипотезу о существовании взаимосвязи, но не более того. Для установления причинно-следственной связи надо провести «чистый» проверяющий эксперимент, а не корреляционное исследование или мысленный эксперимент. Суть: «испытуемые» делятся на 2 группы – экспериментальную и контрольную, во всех отношениях «одинаковые», сопоставимые (по полу, возрасту, семейным условиям, успеваемости, исходному уровню агрессивности, частоте просмотра боевиков и т.д.). Проводится эксперимент, в котором экспериментальная и контрольная группы отличаются только 1 фактором (условия эксперимента) - просмотром разного вида ТВ-программ: со сценами насилия и нейтральных. В обеих группах измеряется 1 и тот же критерий по одинаковой методике. Если при этом выявляются достоверные различия уровня агрессивности в экспериментальной и контрольной группах – следовательно, делается вывод, что варьируемый в эксперименте фактор, по-видимому, является одной из причин полученных различий. Такой эксперимент в действительности проводился лабораторно в США, и действительно, были получены достоверные различия. Пример ярко демонстрирует этические проблемы подобных экспериментов; одним из условий эксперимента подобного рода является добровольность участия, другое условие – ограниченность воздействий (которые могут быть потенциально негативны). Конкретное описание, как проводился данный эксперимент, можно найти в пособии Дж.Майерса. Заметим, что приведенный выше пример демонстрирует социально-психологический эксперимент, а не педагогический. Для педагогического исследования следовало бы задаться, например, вопросом, а какие педагогические условия способствуют усилению (или, наоборот, уменьшению) агрессивности, и в соответствии с идеей и гипотезой педагогического характера строить далее экспериментальную работу.
Задания и вопросы.
1. Сложность экспериментальной работы еще в первой половине 20 века хорошо продемонстрировали знаменитые опыты профессора Гарвардского университета Элтона Мэйо по изучению влияния различных факторов на производительность труда. При длительном изучение работниц (обмотчиц телефонных реле) в г.Холторн (Чикаго) были получены интересные экспериментальные данные: При выделении 1 бригады (6 девушек) в экспериментальную группу и при изменении условий их работы (увеличение освещенности рабочих мест, улучшение температурного режима, графика работы) было установлено увеличение производительности труда в экспериментальной группе. В дальнейшем при изменении условий экспериментальной группы в худшую сторону, было снова получено увеличение производительности труда. Попробуйте сформулировать возможные гипотезы, что является потенциальной причиной этого явления, получившего название «холторнский эффект»? Найдите в литературе или в интернете, какие гипотезы были выдвинуты видными учеными того времени и как они проверялись. 2. При решении проблемы предотвращения девиантного поведения подростков была высказана гипотеза, что основными факторами риска девиантного поведения являются так называемые «семьи риска» (неполные семьи, многодетные, эмигранты-беженцы). Какого типа эксперимент можно провести, чтобы подтвердить или опровергнуть данную гипотезу?
3. В педагогическом исследовании была высказана гипотеза о возможности формирования толерантности учащихся с помощью технологий мастерских. Как можно спланировать эксперимент для подтверждения данной гипотезы?
4. Охарактеризуйте особенности педагогического эксперимента как социального и его отличия от психологического и социологического экспериментов.
5. Представьте наметки плана экспериментальной проверки Вашей гипотезы. Будет ли у Вас констатирующий эксперимент? Если да, то в чем он будет заключаться? Будут ли в Вашем исследовании проверяющий и преобразующий эксперименты? Будет ли в Вашем эксперименте экспериментальная и контрольная группы, будет ли проверка в динамике («до» - «после»), что (какие показатели) Вы собираетесь сравнивать и с чем.
|
||||||||||||||||||||||||||||
|
Последнее изменение этой страницы: 2016-12-16; просмотров: 1580; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 216.73.216.214 (0.047 с.) |