Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь FAQ Написать работу КАТЕГОРИИ: АрхеологияБиология Генетика География Информатика История Логика Маркетинг Математика Менеджмент Механика Педагогика Религия Социология Технологии Физика Философия Финансы Химия Экология ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Количественные и качественные методы психолого – педагогических исследований↑ Стр 1 из 4Следующая ⇒ Содержание книги
Похожие статьи вашей тематики
Поиск на нашем сайте
Количественные и качественные методы психолого – педагогических исследований Количественный и качественный подходы к социально – психологическим исследованиям. Под количественным подходом подразумевается научный, сциентистский, естественнонаучный подход. Методологический сциентизм считает методы точных и естественных наук универсальными и предлагает распространить их В отличие от количественного подхода в гуманитарных науках под качественным, определяемым как интуитивистский подход, понимается «гуманистический, гуманитарный, опытный, феноменологический, клинический, исследование случаев, включенное наблюдение, оценивание и обыденное знание» Количественные и качественные традиции сосуществовали и часто находились в состоянии конфликта. Популярность каждого подхода была подвержена колебаниям, связанным с изменениями представлений о природе научного знания, с научными успехами, достигнутыми в рамках той или иной традиции. Проблема полярности количественного и качественного подходов к исследованиям не будет решена, если признать один подход универсальным и более значимым для всех возможных ситуаций исследования, чем другой. Таким образом, разумнее говорить не о противопоставлении, а о сочетании двух подходов – количественного и качественного – к социально-психологическим исследованиям, то есть о п р и н ц и п е ф у н к ц и о н а л ьн о й д о п о л н и т е л ь н о с т и, посредством которого эти подходы связаны друг с другом. При этом выбор тех или иных количественных или качественных методов определяется спецификой изучаемой проблемы. Организация качественных исследований определяет природу и характер получаемых результатов. Известный американский исследователь массовой коммуникации К. Криппендорф (1980) выделил два типа получаемых данных, которые он условно обозначил «emic» и «etic». «Emic-данные» – это данные, которые вытекают из природных или естественных форм поведения. Они только в минимальной степени зависят от исследователя или обстановки исследования. Поэтому их можно обозначить как свободные или неформализованные, не зависящие от влияния исследователя данные. С другой стороны, «еtic-данные» представляют собой строгие, формализованные данные, как бы навязанные исследователем. Качественные методы исследования обеспечивают результаты, которые ближе к свободной, независимой стороне континуума, потому что они позволяют реципиентам отвечать своими словами, используя свои категории и осознанные ассоциации. Тем не менее, они не полностью лишены структуры, т. к. исследователь задает определенные вопросы. Количественные методы, их достоинства и ограничения. Основные характеристики количественных методов – «формализм» и «массовость». Исследуемые переменные заданы разработчиком заранее и отступление от них в процессе сбора уже невозможно, а массовый сбор однотипных данных предшествует их количественной, цифровой обработке. К достоинствам измерительных количественных методов относится достаточно обьективный характер процедуры исследования и возможность перепроверки полученных результатов благодаря выполнению требований репрезентативности, надежности и валидности. С помощью количественных методов возможно изучить большое количество испытуемых и обобщить полученные данные достаточно быстро и легко. Выявление устойчивых и обьективных характеристик обьекта исследования позволяет сравнить полученные индивидуальные результаты исследований с обобщенными данными исследований больших выборок. Кроме того, именно результаты применения количественных методов дают возможность построения математической модели исследуемого обЪекта. Однако ряд недостатков, присущих количественным методам, способны достаточно сильно исказить информацию, получаемую в результате проведенного исследования. Ограничение 1. Одна из серьезных проблем заключается в том, что необходимым условием применения количественных методов служит наличие системы понятий, образующих теоретическое описание исследуемого объекта. Само создание такой системы понятий требует значительных исследовательских процедур и усилий, а методический аппарат, используемый для достижения этой цели, должен обладать высокой подвижностью, чуткостью и способностью оперативно менять набор исследуемых переменных. Ограничение 2. При использовании количественных методов отсутствует необходимая и эффективная «обратная связь», что тормозит развитие концептуальных представлений, которые необходимы для формирования адекватного понятийного аппарата. В результате, количественные методы с наибольшей эффективностью используются при анализе ответов на стандартные вопросы и для изучения стандартных процессов, но часто беспомощны в определении того, что получило название уникальных и изменчивых свойств личности. Так, традиционная психометрика более ориентирована на диагностику устойчивых и стабильных личностных особенностей, что нашло свое отражение в формулировании требования надежности психометрических инструментов. Ограничение 3. Не все явления в равной мере поддаются количественным изменениям, да и сами возможности их использования ограничены определенной «зоной применения», которая образована рамками измерительных процедур и за пределами которой исследователь должен опираться на иные методы. Содержание и характеристика основных этапов исследования, их взаимосвязь и субординация. Структурные компоненты исследовательского процесса (предполагающего экспериментальную часть) в оптимальном варианте выстраиваются следующим образом. Этап I. Общее ознакомление с проблемой исследования, определение ее внешних границ. На этом этапе устанавливается уровень ее разработанности, перспективность. Исследователь должен ясно осознавать и мотивировать потребности общества в знании по данной проблеме. Этап II. Формулирование целей исследования. Цели исследования выступают как достижение неких новых состояний в каком-либо звене исследовательского процесса или как качественно новое состояние –результат преодоления противоречия между должным и сущим. Помимо формулирования общей цели формируются частные, промежуточные цели. Этап III. Разработка гипотезы исследования. Гипотеза исследования становится прообразом будущей теории в том случае, если последующим ходом работы она будет подтверждена. Поэтому при разработке гипотезы исследователь должен иметь в виду основные функции научной теории. Этап IV. Постановка задач исследования. Констатирующий эксперимент. Гипотетически представленные внутренние механизмы функционирования исследуемого явления, предположительно описанные существенные его характеристики соотносятся с целями исследования, т.е. конечными проектируемыми результатами. Это соотнесение позволяет перейти к формулированию задач исследования.
Этап V. Вид преобразующего эксперимента и его организация. Новый этап движения научного поиска наступает после формулирования исследовательских задач. Должен быть представлен полный перечень существенных условий, как поддающихся регулированию, так и допускающих хотя бы стабилизацию. Из этого описания становится ясным вид, содержание, набор средств направленного преобразования объекта (процесса, явления) с целью формирования у него заранее заданных качеств. Этап VI. Организация и проведение эксперимента. Организация и проведение эксперимента начинается с испытательной проверки экспериментальной документации: исследовательских методик, вопросников, анкет, программ бесед, таблиц или матриц для регистрации и накопления данных. Основные понятия математических величин при количественном и качественном анализе. Исключительно важную роль в анализе многих психолого-педагогических явлений играют средние величины, представляющие собой обобщенную характеристику качественно однородной совокупности по определенному количественному признаку. Нельзя, например, вычислить среднюю специальность или среднюю национальность студентов вуза, так как специальность и национальность — качественно разнородные явления. Зато можно и нужно определить среднюю количественную характеристику их успеваемости (средний балл), эффективности методических систем и приемов и т. д. В психолого-педагогических исследованиях обычно применяются различные виды средних величин: средняя арифметическая, средняя геометрическая, медиана, мода и др. Наиболее распространены средняя арифметическая, медиана и мода. Средняя арифметическая применяется в тех случаях, когда между определяющим свойством и данным признаком имеется прямо пропорциональная зависимость (например, при улучшении показателей работы учебной группы улучшаются показатели работы каждого ее члена). Средняя арифметическая представляет собой частное от деления суммы величин на их число и вычисляется по формуле: где X — средняя арифметическая; Хи Х2, Хъ... XN — результаты отдельных наблюдений (приемов, действий), N— количество наблюдений (приемов, действий), 2 — сумма результатов всех наблюдений (приемов, действий). Мода (Мо) – это мера положения, определяемая как значение варианты, наиболее часто встречающееся в выборке. Варианта – это переменная, представляющая собой результаты измерений, которые варьируются, т.е. изменяются. Медианой (Ме) называется мера положения, определяемая как значение переменной, которое является срединным, центральным (по положению) в общем упорядоченном ряду вариант выборки. Медиана делит выборку на две равные по количеству вариант части (половины). Важное значение при использовании в психолого-педагогическом исследовании математических методов уделяется расчету дисперсии и среднеквадратических (стандартных) отклонений. Дисперсия равна среднему квадрату отклонений значения исследуемой переменной от среднего значения. Она выступает как одна из характеристик индивидуальных результатов разброса значений исследуемой переменной (например, оценок учащихся) вокруг среднего значения. Вычисление дисперсии осуществляется путем определения: отклонения от среднего значения; квадрата указанного отклонения; суммы квадратов отклонения и среднего значения квадрата отклонения 1. Значение дисперсии используется в различных статистических расчетах, но не имеет непосредственного наблюдаемого характера. Величиной, непосредственно связанной с содержанием наблюдаемой переменной, является среднее квадратическое отклонение. Среднее квадратическое отклонение подтверждает типичность и показательность средней арифметической, отражает меру колебания численных значений признаков, из которых выводится средняя величина. 11. Основные понятия, используемые в математической обработке психологических данных: признаки и переменные. Признаки и переменные - это измеряемые психологические явления. Такими явлениями могут быть время решения задачи, количество допущенных ошибок, уровень тревожности, показатель интеллектуальной лабильности, интенсивность агрессивных реакций, угол поворота корпуса в беседе, показатель социометрического статуса и множество других переменных. Понятия признака и переменной могут использоваться как взаимозаменяемые. Они являются наиболее общими. Иногда вместо них используются понятия показателя или уровня, например, уровень настойчивости, показатель вербального интеллекта и др. Понятия показателя и уровня указывают на то, что признак может быть измерен количественно, так как к ним применимы определения "высокий" или "низкий", например, высокий уровень интеллекта, низкие показатели тревожности и др. Психологические переменные являются случайными величинами, поскольку заранее неизвестно, какое именно значение они примут. Математическая обработка - это оперирование со значениями признака, полученными у испытуемых в психологическом исследовании. Такие индивидуальные результаты называют также "наблюдениями", "наблюдаемыми значениями", "вариантами", "датами", "индивидуальными показателями" и др. В психологии чаще всего используются термины "наблюдение" или "наблюдаемое значение". Значения признака определяются при помощи специальных шкал измерения. Основные понятия, используемые в математической обработке психологических данных: шкалы измерения. Измерение - это приписывание числовых форм объектам или событиям в соответствии с определенными правилами (Стивене С, 1960, с.60). С.Стивенсом предложена классификация из 4 типов шкал измерения: 1)номинативная, или номинальная, или шкала наименований; 2)порядковая, или ординальная, шкала; 3)интервальная, или шкала равных интервалов; 4)шкала равных отношений. Номинативная шкала - это шкала, классифицирующая по названию: потеп (лат.) - имя, название. Название же не измеряется количественно, оно лишь позволяет отличить один объект от другого или одного субъекта от другого. Номинативная шкала - это способ классификации объектов или субъектов, распределения их по ячейкам классификации. Простейший случай номинативной шкалы - дихотомическая шкала, состоящая всего лишь из двух ячеек, например: "имеет братьев и сестер - единственный ребенок в семье"; "иностранец - соотечественник"; "проголосовал "за" - проголосовал "против"" и т.п. Порядковая шкала - это шкала, классифицирующая по принципу "больше - меньше". Если в шкале наименований было безразлично, в каком порядке мы расположим классификационные ячейки, то в порядковой шкале они образуют последовательность от ячейки "самое малое значение" к ячейке "самое большое значение" (или наоборот). Интервальная шкала - это шкала, классифицирующая по принципу "больше на определенное количество единиц - меньше на определенное количество единиц". Каждое из возможных значений признака отстоит от другого на равном расстоянии. Можно предположить, что если мы измеряем время решения задачи в секундах, то это уже явно шкала интервалов. Однако на самом деле это не так, поскольку психологически различие в 20 секунд между испытуемым А и Б может быть отнюдь не равно различию в 20 секунд между испытуемыми Б и Г, если испытуемый А решил задачу за 2 секунды, Б - за 22, В - за 222, а Г - за 242. Q - критерий Розенбаума Назначение критерия Критерий используется для оценки различий между двумя выборками по уровню какого-либо признака, количественно измеренного. В каждой из выборок должно быть не менее 11 испытуемых. Описание критерия Это очень простой непараметрический критерий, который позволяет быстро оценить различия между двумя выборками по какому-либо признаку. Однако если критерий Q не выявляет достоверных различий, это еще не означает, что их действительно нет. Критерий применяется в тех случаях, когда данные представлены по крайней мере в порядковой шкале. Признак должен варьировать в каком-то диапазоне значений, иначе сопоставления с помощью Q-критерия просто невозможны. Например, если у нас только 3 значения признака, 1, 2 и 3, - нам очень трудно будет установить различия. Метод Розенбаума требует, следовательно, достаточно тонко измеренных признаков. U – критерий Манна-Уитни Назначение критерия Критерий предназначен для оценки различий между двумя выборками по уровню какого-либо признака, количественно измеренного. Он позволяет выявлять различия между малыми выборками, когда n1•n2≥ 3 или n1=2, n2≥5, и является более мощным, чем критерий Розенбаума. Описание критерия Этот метод определяет, достаточно ли мала зона перекрещивающихся значений между двумя рядами. Мы помним, что 1-мрядом (выборкой, группой) мы называем тот ряд значений, в котором значения, по предварительной оценке, выше, а2-мрядом - тот, где они предположительно ниже. Чем меньше область перекрещивающихся значений, тем более вероятно, что различия достоверны. Иногда эти различия называют различиями в расположении двух выборок. Описание критерия G Критерий знаков применим и к тем сдвигам, которые можно определить лишь качественно (например, изменение отрицательного отношения к чему-либо на положительное), так и к тем сдвигам, которые могут быть измерены количественно (например, сокращение времени работы над заданием после экспериментального воздействия). Т - критерий Вилкоксона. Назначение критерия Критерий применяется для сопоставления показателей, измеренных в двух разных условиях на одной и той же выборке испытуемых. Он позволяет установить не только направленность изменений, но и их выраженность. С его помощью мы определяем, является ли сдвиг показателей в каком-то одном направлении более интенсивным, чем в другом. Описание критерия Т Этот критерий применим в тех случаях, когда признаки измерены по крайней мере по шкале порядка; и сдвиги между вторым и первым замерами тоже могут быть упорядочены. Для этого они должны варьировать в достаточно широком диапазоне. В принципе, можно применять критерий Т и в тех случаях, когда сдвиги принимают только три значения:—1,0 и +1, но тогда критерий Т вряд ли добавит что-нибудь новое к тем выводам, которые можно было бы получить с помощью критерия знаков. Вот если сдвиги изменяются, скажем, от—30до +45, тогда имеет смысл их ранжировать и потом суммировать ранги.
Назначения критерия Критерий χ2 применяется в двух целях; 1)для сопоставления эмпирического распределения признака с теоретическим -равномерным, нормальным или каким-то иным; 2)для сопоставления двух, трех или более эмпирических распределений одного и того же признака. Описание критерия Критерий χ2 отвечает на вопрос о том, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределениях или в двух и более эмпирических распределениях. Преимущество метода состоит в том, что он позволяет сопоставлять распределения признаков, представленных в любой шкале, начиная от шкалы наименований (см. п. 1.2). В самом простом случае альтернативного распределения "да - нет", "допустил брак - не допустил брака", "решил задачу - не решил задачу" и т. п. мы уже можем применить критерий χ2. Гипотезы Возможны несколько вариантов гипотез, в зависимости от задач, которые мы перед собой ставим. Первый вариант: Н0: Полученное эмпирическое распределение признака не отличается от теоретического (например, равномерного) распределения. Н1: Полученное эмпирическое распределение признака отличается от теоретического распределения. Второй вариант: Н0: Эмпирическое распределение 1 не отличается от эмпирического распределения 2. Н1: Эмпирическое распределение 1 отличается от эмпирического распределения 2. Третий вариант: Н0: Эмпирические распределения 1, 2, 3,... не различаются между собой. Н1: Эмпирические распределения 1, 2, 3,... различаются между собой. Критерий χ2 позволяет проверить все три варианта гипотез.
Описание критерия Критерий оценивает достоверность различий между процентными долями двух выборок, в которых зарегистрирован интересующий нас эффект. Суть углового преобразования Фишера состоит в переводе процентных долей в величины центрального угла, который измеряется в радианах. Большей процентной доле будет соответствовать больший угол ф, а меньшей доле - меньший угол, но соотношения здесь не линейные: где Р - процентная доля, выраженная в долях единицы. Гипотезы H0: Доля лиц, у которых проявляется исследуемый эффект, в выборке 1 не больше, чем в выборке 2. H1: Доля лиц, у которых проявляется исследуемый эффект, в выборке 1 больше, чем в выборке 2. Метод ранговой корреляции. Для оценки тесноты связи между признаками, оцененными при помощи порядковой (ранговой) шкалы используется метод ранговой корреляции. Естественно, что этот метод применим также для признаков, оцененных по интервальной или относительной шкале. Для оценки тесноты связи используется коэффициент ранговой корреляции, который по смыслу идентичен линейному коэффициенту корреляции. Чаще всего при использовании этого метода вычисляется ранговый коэффициент Спирмена либо ранговый коэффициент Кендэла . Расчет коэффициента Спирмена основан на фиксации разности рангов двух параллельных рядов наблюдений – ряда признака и рада признака : , где , то есть разность рангов каждой пары значений и ; - число наблюдений. Коэффициент корреляции рангов Кендэла определяется по формуле: , где . Коэффициент Кендэла всегда меньше по значению, чем коэффициент Спирмена и для достаточно больших совокупностей . Чем ближе коэффициенты к единице (по модулю), тем теснее зависимость, а близость к нулю означает отсутствие связи или весьма малую зависимость. Критическое значение коэффициента Спирмена определяется по таблице в зависимости от уровня значимости и числа наблюдений . Если , то существенность связи доказана с вероятностью . При ранжировании иногда значения признаков двух или большего числа объектов равны между собой. Такие объекты называются связанными и им приписываются одинаковые средние ранги. Средние ранги равны среднему арифметическому номеров этих объектов в общем списке проранжированных объектов. Дл расчета коэффициента Спирмена в случае наличия связанных рангов существует специальная формула, но приблизительная оценка может быть получена и по общей формуле. Дисперсионный анализ. Дисперсионный анализ – анализ изменчивости признака под влиянием какой-либо контролируемой переменной (переменных) или фактора (факторов). Автор данного метода статистического расчета Р.А. Фишер. Задача дисперсионного анализа состоит в том, что определить соотношение случайной вариативности признаков, с вариативностью обусловленной действием каждой независимости переменной или взаимодействием совокупности независимых переменных. Другими словами определить отличается ли влияние независимых переменных от любого другого случайного влияния. Дисперсионный анализ построен на исследовании особенностей распределения признака, поэтому является параметрическим. Для расчета дисперсионного анализа используют критерий F. F - критерий Фишера вычисляется по формуле: , где - большая дисперсия, - меньшая дисперсия. Если вычисленное значение критерия F больше критического для определенного уровня значимости и соответствующих чисел степеней свободы для числителя и знаменателя, то дисперсии считаются различными. Число степеней свободы числителя определяется по формуле: , где - число вариант для большей дисперсии. Число степеней свободы знаменателя определяется по формуле: , где - число вариант для меньшей дисперсии.
АЛГОРИТМ 1 АЛГОРИТМ 2 Принятие решения о задаче и методе обработки на стадии планирования исследования 1. Определите, какая модель вам кажется наиболее подходящей для доказательства] ваших научных предположений. 2. Внимательно ознакомьтесь с описанием метода, примерами и задачами для самостоятельного решения, которые к нему прилагаются. 3. Если вы убедились, что это то, что вам нужно, вернитесь к разделу "Ограничения критерия" и решите, сможете ли вы собрать данные, которые будут отвечать этим ограничениям (большие объемы выборок, наличие нескольких выборок, монотонно различающихся по какому-либо признаку, например, по возрасту и т.п.). 4. Проводите исследование, а затем обрабатывайте полученные данные по заранее! выбранному алгоритму, если вам удалось выполнить ограничения. 5. Если ограничения выполнить не удалось, обратитесь к алгоритму 1. В описании каждого критерия сохраняется следующая последовательность изложения: · назначение критерия; · описание критерия; · гипотезы, которые он позволяет проверить; · графическое представление критерия; · ограничения критерия; · пример или примеры. Оформление результатов научного исследования. Заключительный этап исследования, литературное оформление результатов, нельзя представлять себе только как изложение готового труда. Оформление работы связано с уточнением логики, обоснований, обнаружением неясностей и т.д. В ходе изложения мысль формулируется и во многом доформировывается. Поэтому литературное оформление – важная часть исследования. Автору необходимо точно и доступно передать основные идеи, методы, выводы и рекомендации. Все возникающие на этом этапе проблемы можно условно разделить на содержательные (о чем следует рассказывать) и методические (как это лучше сделать). Основные требования к содержанию излагаемого 1. Концептуальная направленность определяется системой исходных положений и ведущих идей. Эти идеи могут быть разные. Но тогда следует определить: - какие подходы и концепции будут паритетны, будут взаимодополнять друг друга (таковы, скажем, отношения социальных и индивидуальных факторов в образовании и воспитании); - где следует определить приоритеты (приоритет гуманистического подхода перед технологическим); - как расставить акценты (характерны акценты на творчество, самостоятельность и инициативу, хотя никто не отрицает исполнительности и умения работать по образцу). 2. Сущностный анализ и обобщение. Необходимы глубокое рассмотрение, анализ и обобщение фактов с тем, чтобы не ограничиваться констатацией, а суметь выяснить причины исследуемых явлений и процессов, факторы и перспективы развития. 3. Аспектная определенность предполагает рассмотрение проблемы и изложение работы с определенной точки зрения. Хотя в одном исследовании может быть несколько аспектов. Многоаспектность усиливает объективность исследования, но при изложении нельзя путать аспекты и перескакивать с одного на другой. В каждом конкретном отрывке (контексте) должен быть один аспект, хотя в итоге они должны интегрироваться. 4. Сочетание широкого социального контекста рассмотрения с индивидуально-личностным задано в педагогике изначально. Это определяется пониманием сущности воспитания как единства процессов социализации и индивидуализации. Поэтому изолированное от социальной среды рассмотрение любых объектов и связей в нём неправомерно. 5. Определенность и однозначность употребляемых понятий и терминов. Данное требование не является абсолютным. Под воспитанием, например, следует понимать изменение потребностно-ценностной сферы личности, её социальное формирование, а не специальную воспитательную работу. 6. Четкое выделение нового и авторская позиция. Новое – не обязательно новые идеи и подходы. Это могут быть формы, способы применения в новых условиях уже известных подходов и методик. 7. Конструктивность рекомендаций подразумевает то, что автор не просто говорит о каких-то имеющихся недостатках, но и предлагает решение проблемы, дает советы, рекомендации, желательно, подкрепленные опытом или проверенные экспериментом. Эти требования позволяют обеспечить содержательность и глубину изложения. Требования к логике и методике изложения. Возможны три основных методических варианта изложения: - воспроизведение основных этапов и логики проведенного поиска; - воспроизведение истории происхождения объекта; - теоретическое воссоздание предмета и объекта исследования (от исходного понятия выстраивается система изложения: если за исходное понятие, например, берется «методика обучения» или конкретный методический приём, то раскрывается его сущность, дается сравнение с другими методиками или приёмами работы, раскрывается роль педагога в развитии этой методики и т.д.). Количественные и качественные методы психолого – педагогических исследований
|
||||
Последнее изменение этой страницы: 2016-04-26; просмотров: 4107; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 3.145.57.5 (0.012 с.) |