Понятие социально-педагогического эксперимента. Типы экспериментов. Корреляционные исследования. 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Понятие социально-педагогического эксперимента. Типы экспериментов. Корреляционные исследования.



Слово эксперимент употребляется неоднозначно; в различных научных словарях, энциклопедиях можно встретить следующие значения данного понятия:

· Эксперимент – (от лат. Experimentum – проба, опыт) – научно-обоснованный опыт;

· Эксперимент – проверка гипотезы;

· Эксперимент – как синоним эмпирического исследования;

· Эксперимент – исследование какого-либо явления в естественных или искусственно созданных контролируемых и управляемых условиях.

Слово «эксперимент» употребляется и вне научного контекста: может экспериментировать художник с красками, женщина со своей внешностью, учитель на уроке - с формами работы и т.д. Такое экспериментирование естественно, но это еще не научный эксперимент. Научный эксперимент, очевидно, отличают заранее поставленные цели, определенные правила этой деятельности, которые выработаны наукой.

Наиболее часто встречается следующее определение:

Эксперимент - это исследовательская деятельность для проверки выдвинутой гипотезы, разворачиваемая в естественных или искусственно созданных контролируемых и управляемых условиях.

Критерии экспериментальной деятельности, отличающей ее от другой:

· Наличие цели эксперимента

· Наличие специально созданных условий эксперимента, разработанных способов, приемов вмешательства в практику образования

· Наличие гипотезы

· Наличие способов диагностики результатов

· Воспроизводимость эксперимента (не только данным автором, но и другими, и в новых условиях)

Можно сказать, что главные критерии экспериментальной деятельности, это:

1. Активное вмешательство, манипулирование некими переменными, условиями, факторами для проверки их влияния на основные изучаемые характеристики нашего объекта;

2. Наличие гипотезы, которую мы проверяем.

 

В педагогических исследованиях часто выделяют 3 типа эксперимента:

- констатирующий эксперимент – изучение существующих явлений в естественных условиях с целью констатации наличного состояния изучаемого объекта, процесса или системы (например, констатация наличного уровня грамотности, отношения учеников к предмету, уровня познавательной активности и т.п.), для более объективной оценки существующего положения, выявления наиболее узких мест, противоречий, и с целью получения исходных данных для будущего сравнения ситуации после каких-то изменений;

- проверяющий эксперимент – проверка гипотезы исследования; при этом, если гипотеза нашего исследования имеет информационно-описательный характера (отвечает на вопросы: какой? каков?), то исследование заканчивается таким проверяющим экспериментом;

- преобразующий или созидательный эксперимент – обоснованное конструирование новых педагогических явлений и эмпирическая проверка результатов такого конструирования (соответствует гипотезе инструментального типа). В педагогических исследованиях именно они предпочтительны.

В последнем случае, если преобразования осуществляются в больших масштабах, то им должны предшествовать более локальные эксперименты, проверяющие гипотезы об эффективности предлагаемых преобразований, т.е. масштабный преобразующий эксперимент должен проводиться только после проверяющего, в том случае, если гипотеза подтверждается. Однако в малых масштабах мы обречены на преобразующий (и он же – проверяющий) эксперимент по внедрению чего-то нового (методики, организации и т.д.) с заранее не очевидно положительным результатом.

Главная особенность педагогического эксперимента – это эксперимент с людьми, т.е. социальный эксперимент, и он должен быть проведен в соответствии с заповедью «не навреди». Поэтому, прежде чем приступать к экспериментированию с людьми, предлагаемое нововведение должно быть тщательно обосновано теоретически.

Как правило, в теоретической главе педагогических диссертаций происходит именно теоретическое обоснование предлагаемой автором новой педагогической идеи и способов ее реализации.

Далее, желательно, несмотря на уже сделанное теоретическое обоснование, подтвердить правомерность авторского предложения какими-то эмпирическими данными. Таким образом, может быть сформулирована одна или несколько рабочих гипотез о взаимосвязях, которые могут быть проверены в ходе локальных наблюдений, опросов, тестирования и т.д. до начала преобразующего внедрения в практику новой модели. Иными словами, будет проведен проверяющий эксперимент, проверяющий обоснованность теоретической модели, на которой базируется наша главная гипотеза инструментального типа.

И если эксперимент, проверяющий наличие некоторых зависимостей, окажется успешным, т.е. подтвердит теоретические построения, можно начинать преобразующий или созидательный эксперимент (т.к. только после теоретических обоснований и некоторых эмпирических проверок мы будем более уверены в его созидательности, а не разрушительности).

Описание эмпирических проверок гипотезы и формирующего эксперимента обычно составляет основное содержание 2-й главы диссертации. Естественно, структура работы определяется ее спецификой. Возможна структура, когда во 2-й главе приводится общая построенная автором модель и ее эмпирическое обоснование, а в 3-й главе – описание формирующего эксперимента и его результатов. Возможны и иные варианты.

Натурные наблюдения, опросы, где почти что нет специальных управляемых условий, не совсем соответствуют понятию эксперимента, принятому в естественнонаучной парадигме, однако в педагогике понятие эксперимента. употребляют шире, чем в других науках.

Чтобы почувствовать различия, рассмотрим, как трактуют основные методы эмпирических исследований в такой близкой к педагогике науке, как социальная психология.

В западной социальной психологии (см. учебное пособие Дж. Майерса) различают 2 метода исследования:

· корреляционное исследование

· эксперимент

Просмотрим, чем они принципиально отличаются в данной трактовке.

Корреляционное исследование - исследование, выявляющее или подтверждающее взаимосвязи между различными показателями, признаками, характеризующими объект исследования (или такими характеристиками и факторами внешней среды).

Такое исследование часто проводится в естественных условиях. Используются такие частные методы, как наблюдение, опросы, тесты и т.п.

Корреляционное исследование не отвечает на вопрос «почему», что является причиной, что следствием, поскольку корреляционные связи амбивалентны, и могут быть опосредованы какими-то третьими факторами.

Корреляционная связь (лат. correlatio – связь, зависимость) – это согласованное изменение двух признаков, отражающее тот факт, что изменчивость одного признака находится в соответствии с изменчивостью другого.

Корреляционная связь между двумя признаками может свидетельствовать не о зависимости их между собой, а о зависимости обоих эти признаков от какого-то третьего признака или сочетания признаков, не рассматриваемых в исследовании. Корреляционные связи свидетельствуют лишь о том, что изменениям одного признака, как правило, сопутствуют определенные изменения другого.

 

Для наглядности рассмотрим пример.

Пусть мы хотим исследовать, имеется ли зависимость между успеваемостью учащегося и его самооценкой. Для проведения такого исследования нам надо, во-первых, как-то измерять то и другое. Допустим, мы имеем инструменты измерения – пусть мы используем балльную оценку успеваемости (например, по 100-балльной системе) и тестирование по 10-балльной шкале для определения самооценки.

Тогда для того, чтобы определить, имеется ли между этими двумя величинами взаимосвязь, мы должны спланировать исследование (мы бы могли сказать – проверяющий эксперимент) таким образом, чтобы для достаточно большого числа учащихся измерить обе эти величины, заполняя таблицу 3:

Табл.3.

Пример таблицы для корреляционного исследования взаимосвязи успеваемости и самооценки

Ученик Самооценка Успеваемость
Иванов    
Петров    
Сидоров    
   

 

Затем по определенным формулам (в зависимости от типа используемых шкал и т.д.) рассчитываются коэффициенты корреляции (по Спирмену, по Пирсону и др.), смысл которых в установлении степени и характера взаимозависимости рассматриваемых переменных.

Корреляция бывает линейной и нелинейной, положительной и отрицательной. Если знак коэффициента линейной корреляции – «плюс» (r>0), то связь между признаками такова, что если один показатель увеличивается, то соответственно увеличивается и другой показатель. Если же получен знак «минус» (r<0), то большей величине одного признака соответствует меньшая величина другого. Возможна ситуация, когда между переменными невозможно установить какую-либо связь. В этом случае r=0.

Мы обращаем внимание на то, что необходимо определить, какой коэффициент рассчитывать, и как затем по величине коэффициента и величине выборки (сколько человек обследовали) решить, можем ли мы с уверенностью сказать, что связь есть? Для постановки и проведения такого, казалось бы, простого исследования, необходимо ознакомиться с методам статистической обработки данных (существует очень много пособий по применению статистической обработки в психологии, и не очень много пособий – для педагогических исследований, но они доступны в любой библиотеке и в интернете, и исследователю, работающему в количественной парадигме, знать азы статистики необходимо). Это не входит в задачи нашего пособия, но мы настоятельно рекомендуем Вам обратиться к соответствующей литературе.

Вернемся к рассматриваемому примеру. Подобные исследования в действительности проводились и зафиксировали положительную корреляционную связь. Можем ли мы сделать вывод, что хорошая успеваемость является одной из причин высокой самооценки? Или наоборот: высокая самооценка – является одной из причин хорошей успеваемости?

Никакого подобного вывода мы сделать, конечно, не можем. В рассматриваемом примере, последующие исследования установили, что выявленная связь опосредована другими факторами, а именно, интеллектом ученика и статусом его семьи, и если влияние этих факторов устранить, то никакой взаимосвязи между самооценкой и успеваемостью нет. Таким образом, корреляционное исследование формирует уточненную, научную гипотезу, и само нуждается в проверке.

Приведем еще примеры корреляционных исследований.

В 70-80-е гг. 20 века В.А.Ядовым проводилось масштабное теоретическое и эмпирическое научное исследование удовлетворенности трудом[1] (надо сказать, что исследование представляет непосредственный интерес для педагогики). В основном при исследовании использовались различные опросы, тесты, т.е. методы корреляционного исследования.

Центральный вопрос исследования: каковы главные факторы удовлетворенности работой? Гипотеза о том, что доминирующим фактором является оплата, не подтвердилась, было выявлено, что наиболее значим сам характер деятельности, ее содержание, интерес к работе.

Исследование показало зависимость удовлетворенности от большого количества факторов, их сложную взаимосвязь.

Это характерно практически для всех социальных исследований, и в частности, для педагогических, которые являются по своей сути социально-педагогическими.

Именно из-за сложности социальной реальности и из-за зависимости изучаемого исследования от множества факторов, в исследованиях количественного типа, проводимых в естественнонаучной парадигме – мы признаем требование повторяемости исследований, независимой проверки.

Первое исследование рождает только гипотезу о том, что есть какая-либо зависимость; если мы получим аналогичные результаты на повторных исследованиях (на других людях, в другое время), мы получим подтверждение гипотезы. Мы не можем сказать «доказательство» в строгом смысле, поскольку количественное исследование всегда связано со статистическими допущениями. Мы можем сказать, что чем больше независимых проверок гипотезы осуществляется, тем более и более она становится обоснованной.

В чем принципиальное отличие эксперимента от корреляционного исследования? В эксперименте есть управление, манипулирование некоторыми переменными для выявления их влияния на изучаемый нами объект или процесс.

Методика экспериментального анализа в общих чертах была разработана еще Аристотелем, затем в 17 веке – Френсис Бэкон выстроил логическую основу экспериментальных исследований, применительно к области социологии ее усовершенствовал Дж. Стюарт Милль (в 19 веке).

Общее в нижеперечисленных правилах: из 2х посылок – суждений – следует вывод следствие о возможной причинной связи. Приведем два самых известных из сформулированных Миллем правил.

1. Правило согласия Милля (или метод единственного сходства)

Если два или более случая наступления исследуемого явления (результата – «Р») имеют общим лишь одно обстоятельство («С»), то это обстоятельство, в котором только и сходны эти случаи, есть причина (или по крайней мере содержит в себе причину) рассматриваемого явления.

При обстоятельствах А, Б, С, В наступает Р.

При обстоятельствах М, К, Н, С наступает Р.

Вывод: причиной Р по-видимому является С.

Например, если мы установили наблюдениями, что ученик N, попадая в различные компании сверстников, всегда оказывался в положении обиженного, то можно сделать вывод, что причина обид – не конкретная «плохая» компания, а что-то в личности самого N, возможно, в его семье, воспитании.

2. Правило различия Милля (метод единственного различия)

Если случай, в котором исследуемое явление (результата – «Р») наступает, и случай, в котором оно не наступает, сходны между собой во всех обстоятельствах, кроме одного, присутствующего лишь в первом случае, то это обстоятельство, которым только и разнятся эти два случая, является действием или причиной (или составной частью причины) данного явления.

При А, Б, С, Д - наступает Р.

При А, Б, Д - Р отсутствует.

Вывод – наличие С необходимо для Р.

Например, наблюдая дисциплину класса на разных уроках, мы можем выявить, что самым важным фактором нарушения дисциплины является присутствие на уроке определенного ученика – «провокатора нарушения дисциплины».

Рассмотрим пример совместного использования данных двух правил.

Пусть наша гипотеза заключается в том, что использование методики обучения «С» ведет к повышению уровня обученности по предмету. Естественно, предполагается, что мы имеем проверенный инструментарий для определения уровня обученности.

А) Берем для эксперимента 2 класса – во всех отношениях разные – и вводим методику С.

Если в обоих случаях мы фиксируем достоверное повышение уровня обученности – можно сделать вывод, что, возможно, это повышение обусловлено методикой С (по правилу согласия).

Б) Для большей уверенности делаем следующую проверку: берем 3-й, «контрольный» класс, где С не использовалось. Если там не фиксируется эффекта, то по правилу различия делаем вывод, что С – причина повышения обученности.

В чем недостаток данного «доказательства»? В нашем эксперименте слишком много неконтролируемых факторов, которые тоже могут влиять на повышение обученности (роль учителя, исходный уровень, помощь родителей и т.д.). Поэтому «доказательство» гипотезы в такой схеме достигается после многих-многих проверок в различных условиях (например, обоснованность системы Занкова подтверждается естественным многократным испытанием методики).

Другой путь заключается в попытках сделать эксперимент более контролируемым, а именно, в стремлении тщательно выровнять все прочие условия, которые теоретически могут влиять на результат. В рассматриваемом примере это означает, что мы

· выявляем потенциально влияющие на результат характеристики (пол, успеваемость, материальное положение, профиль класса и т.п.);

· подбираем экспериментальные и контрольные группы так, чтобы они были близкими по всем этим характеристикам, а затем проводим эксперимент по схеме (табл.4.):

Табл.4.

Схема «классического» экспериментального исследования

Исходные условия: группы «одинаковы» по большинству значимых параметров     Фактор, которым мы управляем в эксперименте - методика «С» Результаты, измеренные в обоих группах одним и тем же инструментом (по единому критерию) Оценка статистической достоверности полученных результатов по определенному критерию
Экспериментальная группа   Методику применяем Есть повышение обученности Полученные различия в экспериментальной и контрольной группах статистически достоверны
Контрольная группа   Методику не применяем Нет повышения обученности

 

Вывод, который можно сделать при такой постановке эксперимента: эмпирические данные подтверждают гипотезу (которая, естественно, уже была ранее обоснована теоретически).

По моментам «измерений» эксперименты можно разделить на типы: «до – после» и «только после». Также различают эксперимент натурный и мысленный.

В эксперименте «до-после» осуществляется 2 замера во времени и сравнение результатов. Для рассмотренного выше примера мы могли бы предположить, что корректным экспериментом «до-после» был бы замер уровня обученности в экспериментальной группе до введения методики и, скажем, через год после ее введения. Если уровень достоверно повысился, то следовательно, методика дала эффект. Однако такого замера в одной группе явно недостаточно, ведь уровень обученности мог повыситься не благодаря, а вопреки методике, под воздействием каких-то иных факторов или просто взросления учеников. Корректным будет измерение уровней «до» и «после» в экспериментальной и контрольной группах, и затем проведение статистического сравнения эффектов в первой и второй группе.

Тем не менее, бывают и эксперименты «только после», когда производится во времени только 1 замер (результата какого-то воздействия, которое, возможно, планировали и проводили в жизнь не мы). Тогда мы можем пытаться идти от следствия к причинам, проводя мысленный эксперимент.

В натурном эксперименте специально создаются некие внешние условия, факторы, и изучается их влияние, т.е. происходит вмешательство в реальную жизнь. В мысленном эксперименте работают не с людьми, а с информацией о людях. Поскольку мы можем делать различные выборки в информационных массивах, мы можем как бы моделировать различные экспериментальные и контрольные группы.

Мысленный эксперимент зачастую применяется там, где мы не можем или не хотим проводить натурный эксперимент по морально-этическим соображениям.

Например, исследуется гипотеза о влиянии отметок на взаимоотношения между учащимися: предположительно, слабоуспевающие учащиеся больше страдают от негативного отношения одноклассников. Для такой гипотезы мы не можем провести формирующий натурный эксперимент. Однако мы можем опросить всех учащихся о том, как к ним относятся их одноклассники, внести в анкеты данные об успеваемости, и затем, разделив анкеты на 2 группы по успеваемости, исследовать, есть ли различия в отношениях.

На самом деле в таком «мысленном эксперименте» мы только выявили наличие взаимосвязи между успеваемостью и взаимоотношениями, т.е. провели корреляционное исследование, которое, как мы уже говорили, требует дополнительных проверок, поскольку даже если взаимосвязь выявлена, она может быть опосредована другими факторами.

 

Социально-педагогический эксперимент по своему характеру можно условно отнести к следующим двум типам:

· социологического типа

· психолого-педагогического типа

В эксперименте социологического типа объектом исследования является некая общность людей (выпускники петербургской школы, петербургское учительство и т.п.). Изучается, какова эта общность в настоящий момент (составление «портрета», включающего мотивы, ценностные ориентации и т.д.), и при каких условиях эта общность как-то меняется.

Принципиально важным является необходимость локализовать экспериментальную выборку и сравнить результаты, полученные на ней, со среднестатистическими (или с контрольной выборкой).

Например, если мы изучаем «портрет» выпускника конкретной школы Санкт-Петербурга, то целесообразно использовать методику, уже многократно апробированную в исследовании «Выпускник петербургской школы», и тогда данные, полученные для конкретной школы мы можем сравнить с данными школ такого же типа и со средними по городу.

Эксперимент психолого-педагогического типа - это:

- метод познания, с помощью которого в естественных или искусственных контролируемых условиях изучаются какие-то педагогические явления (констатация или проверка гипотезы), либо

- направленная и контролируемая педагогическая деятельность по апробации новых образовательных технологий (преобразующий эксперимент).

Возможные варианты психолого-педагогических экспериментов:

- изучение процессов (формирования знаний, интеллектуальных умений, компетенций и т.п.), изучение зависимости между содержанием образования, методами и определенными процессами;

- изучение эффективности педагогического опыта (зависимости между методикой и результатом);

- экспериментальная проверка новой образовательной модели (например, системы Занкова для начальной школы);

- сравнение различных методов обучения, их влияния на результаты (обученность, метапредметные и личностные результаты)

- «воспитательный эксперимент» – изучение влияния различных методов обучения, содержания образования, организационных моделей и т.д. на качества личности – самый сложный из экспериментов (ввиду отсроченности результатов, «неявности» воспитательных эффектов).

Термин «психолого-педагогический» акцентирует некоторую психологическую направленность исследования, хорошее владение исследователем и сознательное использование им определенных психологических знаний, теорий, возможно, использование психологического инструментария в эмпирической части исследования. Такой эксперимент может быть естественным и лабораторным. Естественный проводится в условиях, максимально приближенных к жизни. Лабораторный – в искусственной, строго организованной обстановке (чаще всего, такие эксперименты проводят психологи).

В заключение, рассмотрим еще один пример, демонстрирующий различие между констатацией факта, корреляционным исследованием и «истинным экспериментом».

В конце 20 века была выявлена проблемная ситуация, связанная с возрастанием агрессивного поведения подростков в школе. Первично проблема сформулирована как несоответствие желаемого и действительного, противоречие между курсом школы на гуманизацию отношений «учитель-ученик» и наблюдаемым возрастанием агрессивности. Центральный вопрос: с чем это может быть связано?

Идея – негативное влияние телевидения. Рабочая гипотеза: просмотр большого количества ТВ-передач со сценами насилия является одной из причин агрессивности подростков.

Как проверить такую гипотезу? Во-первых, необходима констатация фактического состояния, подтверждающая наличие проблемы, а также разработка диагностических критериев и инструментов, «замеряющих» исследуемые величины.

Пусть разработан: а) опросник, с помощью которого выясняем, кто сколько и каких ТВ-передач смотрит, б) психологический тест, измеряющий (скажем, по 10-балльной шкале) уровень агрессивности.

Далее проводится опрос выборки старшеклассников (надо позаботиться о том, чтобы было опрошено достаточное количество человек) с замером двух исследуемых величин (т.е. проводится корреляционное исследование). Исследование выявляет положительную взаимосвязь между уровнем агрессивности и числом просмотренных в неделю боевиков.

Можно ли на этом этапе сделать вывод, что просмотр боевиков ТВ – причина агрессивного поведения?

Нельзя, т.к. взаимосвязь может быть опосредована другими факторами (наследственность, отношения в семье и т.п.). Наше исследование пока только подтвердило гипотезу о существовании взаимосвязи, но не более того.

Для установления причинно-следственной связи надо провести «чистый» проверяющий эксперимент, а не корреляционное исследование или мысленный эксперимент.

Суть: «испытуемые» делятся на 2 группы – экспериментальную и контрольную, во всех отношениях «одинаковые», сопоставимые (по полу, возрасту, семейным условиям, успеваемости, исходному уровню агрессивности, частоте просмотра боевиков и т.д.).

Проводится эксперимент, в котором экспериментальная и контрольная группы отличаются только 1 фактором (условия эксперимента) - просмотром разного вида ТВ-программ: со сценами насилия и нейтральных. В обеих группах измеряется 1 и тот же критерий по одинаковой методике.

Если при этом выявляются достоверные различия уровня агрессивности в экспериментальной и контрольной группах – следовательно, делается вывод, что варьируемый в эксперименте фактор, по-видимому, является одной из причин полученных различий.

Такой эксперимент в действительности проводился лабораторно в США, и действительно, были получены достоверные различия. Пример ярко демонстрирует этические проблемы подобных экспериментов; одним из условий эксперимента подобного рода является добровольность участия, другое условие – ограниченность воздействий (которые могут быть потенциально негативны). Конкретное описание, как проводился данный эксперимент, можно найти в пособии Дж.Майерса.

Заметим, что приведенный выше пример демонстрирует социально-психологический эксперимент, а не педагогический.

Для педагогического исследования следовало бы задаться, например, вопросом, а какие педагогические условия способствуют усилению (или, наоборот, уменьшению) агрессивности, и в соответствии с идеей и гипотезой педагогического характера строить далее экспериментальную работу.

 

 

Задания и вопросы.

 

1. Сложность экспериментальной работы еще в первой половине 20 века хорошо продемонстрировали знаменитые опыты профессора Гарвардского университета Элтона Мэйо по изучению влияния различных факторов на производительность труда.

При длительном изучение работниц (обмотчиц телефонных реле) в г.Холторн (Чикаго) были получены интересные экспериментальные данные:

При выделении 1 бригады (6 девушек) в экспериментальную группу и при изменении условий их работы (увеличение освещенности рабочих мест, улучшение температурного режима, графика работы) было установлено увеличение производительности труда в экспериментальной группе.

В дальнейшем при изменении условий экспериментальной группы в худшую сторону, было снова получено увеличение производительности труда.

Попробуйте сформулировать возможные гипотезы, что является потенциальной причиной этого явления, получившего название «холторнский эффект»?

Найдите в литературе или в интернете, какие гипотезы были выдвинуты видными учеными того времени и как они проверялись.

2. При решении проблемы предотвращения девиантного поведения подростков была высказана гипотеза, что основными факторами риска девиантного поведения являются так называемые «семьи риска» (неполные семьи, многодетные, эмигранты-беженцы). Какого типа эксперимент можно провести, чтобы подтвердить или опровергнуть данную гипотезу?

 

3. В педагогическом исследовании была высказана гипотеза о возможности формирования толерантности учащихся с помощью технологий мастерских. Как можно спланировать эксперимент для подтверждения данной гипотезы?

 

4. Охарактеризуйте особенности педагогического эксперимента как социального и его отличия от психологического и социологического экспериментов.

 

5. Представьте наметки плана экспериментальной проверки Вашей гипотезы. Будет ли у Вас констатирующий эксперимент? Если да, то в чем он будет заключаться? Будут ли в Вашем исследовании проверяющий и преобразующий эксперименты? Будет ли в Вашем эксперименте экспериментальная и контрольная группы, будет ли проверка в динамике («до» - «после»), что (какие показатели) Вы собираетесь сравнивать и с чем.



Поделиться:


Последнее изменение этой страницы: 2016-12-16; просмотров: 1381; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.219.189.247 (0.063 с.)