ТОП 10:

КАК ПРОВЕСТИ СОЦИОЛОГИЧЕСКИЙ ОПРОС



Подготовка социологического опроса

Как каждое серьезное дело, социологический опрос требует тщательной подготовки. Ценность и достоверность информации, получаемой в результате исследования, на­прямую зависит от его подготовки. Бывает так, что подго­товка исследования занимает больше времени, чем само исследование.

Социологический опрос включает четыре этапа:

§ подготовка исследования;

§ сбор социологической информации;

§ подготовка собранной информации к обработке и об­работка ее на компьютере или вручную;

§ анализ обработанной информации, формулирова­ние выводов и рекомендаций.

 

Исследование начинается с составления программы. Программа исследования – это изложение его теоретико-методических предпосылок (общей концепции) в соответ­ствии с основными целями предпринимаемой работы и ги­потез исследования с указанием правил процедуры, а также логической последовательности операции для их проверки. Программа – это стратегический документ ис­следователя. Разработка ее требует глубоких знаний, уме­ний, времени. Как правило, программа состоит из двух разделов: методологическогоипроцедурного. Методо­логическийраздел программы включает следующие эле­менты:

§ обоснование проблемы исследования;

§ определение целей и задач исследования;

§ уточнение и интерпретация основных понятий;

§ формулирование гипотез.

Исследователь должен четко определить проблему и согласовать цели исследования. «Хорошо определенная проблема – это уже полпути к ее решению», – гласит ста­ринная поговорка. Цели могут быть поисковыми, т.е. пре­дусматривать сбор каких-то предварительных данных, проливающих свет на проблему, и, возможно, помогаю­щих выбрать гипотезу. Они могут быть описательными, т.е. предусмотреть описание определенных явлений, на­пример, выяснить численность и состав по различным ха­рактеристикам (полу, возрасту, социальному положению и т.д.) пациентов, пользующихся услугами конкретного ме­дицинского учреждения. Бывают и экспериментальные цели, т.е. предусматривающие проверку гипотезы о какой-либо причинно-следственной связи, например о том, что снижение цен на платные медицинские услуги на Х про­центов вызовет приток пациентов, по крайней мере, на Y процентов.

Теоретическая интерпретация понятий предпола­гает точное объяснение используемых категорий. При этом в первую очередь выделяются ключевые понятия, выра­жающие узловые точки изучаемой проблемы. Например, проводится исследование об отношении населения к каче­ству медицинского обслуживания в ЛПУ. Возникают во­просы: что понимается под «качеством медицинского об­служивания»? Какие элементы включает в себя это поня­тие? С помощью каких конкретных показателей, индексов, характеристик можно измерить качество медицинского обслуживания? Так, понятие «доступность медицинской помощи» включает в себя такие показатели, как террито­риальная доступность учреждения здравоохранения; адек­ватность режима работы учреждения, специалистов; орга­низация приема, порядок госпитализации, возможность получения ожидаемой диагностической, консультативной, лечебной и профилактической помощи; доступность необ­ходимых лечебно-диагностических профилактических ме­роприятий, в том числе лекарственной помощи. Интерпре­тация понятий позволяет установить, о чем и по каким на­правлениям следует собирать информацию.

Гипотеза – это предположение, выдвигаемое для объяснения каких-либо явлений, процессов, фактов, кото­рые надо подтвердить или опровергнуть. Хорошая гипо­теза должна отвечать ряду требований:

- быть проверяема полученным эмпирическим мате­риалом;

- не противоречить установленным ранее научным фактам;

- быть сформулированной просто, ясно и четко.

Процедурныйраздел программы включает в себя:

- план исследования;

- обоснование выборки;

- определение методов сбора и анализа полученной информации.

Рабочий план исследования содержит процедурные мероприятия, связанные с качественным проведением маркетингового исследования. Практика показывает, что умело разработанный план – хорошее подспорье для орга­низаторов: он позволяет заранее точно определить объем организационных и финансовых затрат.

 

Невозможно переоценить значение правильного вы­бора людей для опроса. «Кого спрашивать?» – второй по важности вопрос для исследования после «Что спросить?». Для решения этой задачи и служит выборка. Для человека со стороны выборка представляется предметом малопо­нятным, полным тайн, трюков и подтасовок: «Как может эта крошечная группа людей отражать мнение всего насе­ления?» На этот вопрос удачно ответил Д. Гэллап: «Если хорошо помешать суп, повар возьмет на пробу одну ложку и скажет, какой вкус у всего горшка!».

Выборочное исследование является более экономич­ным и не менее надежным методом, хотя требует более изощренной техники и методики. Его основа – выборочная совокупность, которая является уменьшенной копией ге­неральной совокупности.

Генеральная совокупность – все население или та его часть, которую исследователь намерен изучать. Так, если объект – трудоспособное население страны, то гене­ральная совокупность включает всех женщин от 16 до 54 лет и всех мужчин в возрасте от 16 до 59 лет.

Выборочная совокупность – часть генеральной со­вокупности, отобранная по строгим правилам. Выборочная совокупность включает тех людей, которых исследователь опрашивает. Кого отнести к генеральной совокупности, определяют цели исследования, а кого включать в выбо­рочную совокупность, решают математические методы.

Главное требование к выборке – репрезентативность, т.е. представительность, воспроизводство всех характери­стик и уменьшенная копия генеральной совокупности, сво­его рода микромодель. Например, если нужно исследовать отношение студентов медицинской академии к платному образованию, то нет необходимости опрашивать все три тысячи студентов. Достаточно опросить 10%, т.е. 300 че­ловек, но среди этих трехсот должны быть представлены студенты старших и младших курсов разных факультетов, обучающиеся на бюджетной и контрактной основе и т.д. Эти 300 должны быть своеобразной моделью студентов академии.

Объем выборки рассчитывается по довольно слож­ным формулам, с использованием теории вероятности, таблицы случайных чисел и т.д. Как правило, он должен составлять не менее 5-10% объема генеральной совокупно­сти. В то же время при объеме генеральной совокупности в десятки и сотни тысяч людей объем выборки может быть и менее 5% (не более 2-2,5 тысяч человек). Чем меньше ге­неральная совокупность, тем больше объем выборки. Если генеральная совокупность составляет менее 500 единиц, объем выборки – не менее 50%, а если речь идет о 100 – 200 единицах, то проводят сплошное исследование, т.е. опрашивают всех. Последнее обстоятельство полезно за­помнить. Иногда в социологических исследованиях опра­шивают всю генеральную совокупность, например всех главных врачей, всех главных медсестер города, всех па­циентов какого-либо отделения и т.д.

Различают выборки случайные (вероятностные) и це­ленаправленные.

Случайная выборка связана с понятием статистиче­ской вероятности, законом больших чисел в математике. Рассмотрим основные методы случайной выборки: метод собственно случайного отбора, метод механической вы­борки, серийной и гнездовой выборки.

1. Метод собственно случайного отбора. Чтобы лучше понять его, обратимся к примеру. В ящике три вида шаров: 200 красных, 300 черных и 500 белых. Необходимо 100 шаров отобрать, чтобы присутствовали пропорцио­нально шары всех трех цветов. Их доля в ящике (генераль­ной совокупности) соответственно 20, 30 и 50%. Надо ото­брать – 20 красных, 30 черных и 50 белых. Для того чтобы у каждого шара была равная вероятность быть отобран­ным, надо шары тщательно перемешать и отбирать откла­дывая шары трех цветов. Всего 100. Так и в социологиче­ском исследовании: элементы (респонденты) пофамильно или посредством кода заносятся на карточки, перемеши­ваются тщательно (это очень важно) и отбираются. Недос­татком этого метода является то, что успешно его можно применять только для генеральной совокупности не более 800-1000 единиц. Для больших генеральных совокупно­стей больше подходит метод механической выработки.

2. Метод механической выборки. Все элементы ге­неральной совокупности сводятся в единый список и через равные интервалы отбирается соответствующее число рес­пондентов. Шаг отбора (К) рассчитывается по формуле К=N/n, где N – величина генеральной совокупности, n – величина выборочной совокупности. Например, N = 2000, n = 200, при этом К = 2000/200 = 10. Это значит, что из списка должна быть отобрана каждая десятая единица. Для отбора могут быть использованы списки избирателей, за­писи в домовых книгах, бланки учета в отделе кадров, та­бели в отделениях больниц и поликлиник.

3. Метод серийной выборки достаточно удобный и точный. Если генеральную совокупность можно разбить на однородные по заданному признаку части, то отбор может быть из каждой серии отдельно. Количество респондентов, подлежащих отбору, рассчитывается по формуле: Кс·n/N, где с – число единиц в серии, N – величина гене­ральной совокупности, n – величина выборочной совокуп­ности.

Пример: генеральная совокупность 2000 человек включает в себя 300 врачей, 1000 медсестер и 700 санита­рок. Выборочная совокупность – 200. К1 = 300·200/2000 = = 30 врачей, К2 = 1000·200/2000 = 200 медицинских сестер, К3 = 700·200/2000 = 70 санитарок.

4. Метод гнездовой выборкиотносится к числу часто применяемых на практике. Отбор идет не отдельных респондентов, а групп с последующим сплошным опросом в отобранных группах. Например, из 200 групп студентов, в каждой из которых занимается по 15 человек, может быть отобрано на основе случайной выборки 30 групп. То­гда опросу подлежат 450 человек. Гнездовая выборка ре­презентативна, если состав групп в максимальной степени схож по основным демографическим признакам респон­дентов.

Списки или карточки в этом случае составляются только для групп путем их нумерации. В качестве отби­раемых для исследования могут быть отделения в лечебно-профилактических учреждениях, слушатели факультетов усовершенствования врачей, группы студентов, школьни­ков и другие общности, представляющие собой целостный объект с точки зрения исследования.

5. Целенаправленная выборка.К ней правила тео­рии вероятности не применимы. Она осуществляется с по­мощью следующих методов: стихийной выборки, метода основного массива и метода квот.

6.Примером метода стихийной выборкислужит почтовый адрес читателей журнала или газеты. Нельзя за­ранее определить структуру массива респондентов, воз­вративших анкеты. Вот почему выводы исследования, как правило, распространяются лишь на опрошенную сово­купность.

7. Метод основного массива удобнее всего приме­нять в разведывательных исследованиях для «зондажа» какого-нибудь контрольного вопроса, например: удобно или неудобно назначенное активистами той или иной пар­тии время массовой демонстрации. В таких случаях опра­шиваются 50-60% потенциальных участников демонстра­ции.

8. Метод квотной выборки наиболее точный, ши­роко применяемый в опросах общественного мнения. Его используют, когда до начала исследования имеются стати­стические данные о контрольных признаках элементов ге­неральной совокупности. Все данные о том или ином кон­трольном признаке выступают в качестве квоты, а их от­дельные числовые значения – параметров квот. При квотной выборке респонденты отбираются целенаправ­ленно, с соблюдением параметров квот. Число признаков, данные о которых выбираются в качестве квот, как пра­вило, не превышает четырех. Это связано с тем, что при большем числе «фиксированных» признаков отбор рес­пондентов становится чрезмерно трудоемким. В качестве квот чаще всего применяют «уровень доходов», «уровень квалификации», «уровень образования».

 

Каковы особенности выборки при проведении социо­логических опросов в учреждениях здравоохранения?

Большой интерес представляет изучение мнения па­циентов медицинских учреждений. При этом виде иссле­дования доминирует личный опыт респондента в получе­нии медицинской помощи, однако его пребывание в учре­ждении здравоохранения является сдерживающим факто­ром в получении объективных оценок, что отражается на результатах исследования. Поэтому наиболее оптималь­ным является опрос на дому лиц, выписанных из стацио­нара, или получивших медицинскую помощь в поликли­нических условиях. Также широко используется ретро­спективный опрос госпитализированных больных о видах медицинской помощи, получаемых ими на предыдущих этапах.

Распределение объема выборки среди госпитализи­рованного населения производится соответственно струк­туре коечного фонда учреждений здравоохранения. Выбор в качестве респондентов госпитализированных больных обоснован тем, что данная категория пациентов имеет наи­большее представление о работе всех основных служб здравоохранения, более доступна в организационном плане и опрос ее обходится дешевле с точки зрения матери­альных затрат.

В учреждениях здравоохранения выборочная сово­купность комплектуется из пациентов в разрезе структур­ных подразделений с учетом представительности интере­сующих демографических и/или социальных факторов.

Опрос населения наиболее целесообразно проводить в амбулаторно-поликлинических учреждениях, стациона­рах и других учреждениях здравоохранения. Связано это не только с удобством проведения социологического ис­следования, но и с возможностью получения более досто­верной информации на месте оказания медицинской по­мощи.

В стационарах социологическое исследование можно проводить непосредственно в палатах, в свободное от ди­агностических и лечебных процедур время. Перед разда­чей анкет респондентов необходимо проинформировать о целях и важности проводимого опроса, порядке заполне­ния анкет, обратив внимание на анонимность ответов.

Опрос пациентов проводится одномоментно в раз­личных отделениях в течение 1-2 дней. Необходимо сле­дить за тем, чтобы на мнение пациентов не оказывалось давление со стороны медицинских работников и соседей по палате.

Аналогично можно проводить опрос среди посетите­лей поликлиник, например, среди пациентов, ожидающих врача или проведения лечебно-диагностических исследо­ваний и процедур.

Для получения достоверных данных при опросе мед­работников следует учитывать реальное соотношение вра­чебного и среднего медперсонала. Минимальное число ан­кет для анализа по одной конкретной группе медработни­ков должно быть не менее 30.

Опрос руководителей медицинских учреждений осуществляется сплошным методом. В общем объеме вы­борки по медицинским работникам доля руководителей учреждения здравоохранения должна быть не менее 20% .

Когда выборка построена правильно, исследование дает более точные результаты даже при небольшом объ­еме. Но если она содержит грубые ошибки, то и большой объем не дает точных данных.

Классический пример из истории изучения общест­венного мнения в США: в первой трети двадцатого века ведущую роль в организации опросов общественного мне­ния играл литературный журнал «Литерари дайджест», ко­торый считал, что широта охвата населения гарантирует достоверность результата опросов. Но президентские вы­боры 1936 года показали несостоятельность такой мето­дики. Разослав 10 миллионов писем избирателям и обрабо­тав их, журнал уверенно предсказал победу республиканцу А. Лендону над демократом Ф. Рузвельтом – 57% против 43%. В те же дни никому не известный специалист по изу­чению общественного мнения Д. Гэллап, опросив всего несколько сот избирателей, заявил, что успеха добьется Ф. Рузвельт. И тот действительно получил более 62% го­лосов. Д. Гэллап за один день стал знаменитостью. Сего­дня он – признанный основатель современных методик по изуче­нию общественного мнения.

Институт Гэллапа, институт Харриса, институт Янкеловича и другие опрашивают 1000-1500 человек, лишь изредка 5000. Необходимо так отобрать их, чтобы опрос небольшой группы людей действительно отражал мнение всей страны.

В чем была ошибка журнала? Авторы опроса не учли неоднородность американского общества, отправив письма по адресам из телефонной книги и спискам владельцев машин, т.е. получились люди со средним достатком. Эта группа не являлась репрезентативной для всего американ­ского общества.

После определения выборки наступает следующий этап исследования – разработка анкеты и проведение анке­тирования.

Проведение анкетирования

 

Оно осуществляется с помощью инструмента, назы­ваемого анкетой. Анкета – это опросный лист с упорядо­ченным списком вопросов, на которые опрашиваемый са­мостоятельно отвечает в соответствии с указанными пра­вилами.

Анкетирование может быть групповым ииндиви­дуальным.

Групповой анкетный опрос применяется по месту работы, учебы. Анкеты раздаются для заполнения в ауди­тории, куда приглашаются респонденты. Обычно один ис­следователь работает с группой 15-20 человек. При этом обеспечивается возможность получения дополнительной консультации по технике заполнения, а анкетер, собирая анкеты, может контролировать качество их заполнения.

Прииндивидуальном процессе анкеты раздаются на рабочих местах или по месту жительства респондентов, а время возврата заранее оговаривается. Опрашиваемый за­полняет анкету самостоятельно, здесь нет психологиче­ского давления анкетера. Но следует учесть, что в этом случае потери анкет неизбежны.

Анкетирование может быть очными заочным (поч­товый опрос, опрос через газету, журнал). В социологиче­ских исследованиях нередко применяются почтовые оп­росы, которые имеют важное преимущество – простоту организации и стоимость в 10-20 раз дешевле, чем интер­вью. Нет надобности в подборе, обучении и контроле за деятельностью интервьюеров. При известном опыте ис­следователей почтовый опрос в 2000 человек может быть осуществлен за 7-10 дней. Достоинством метода является и то, что он позволяет провести одновременно опрос на большой территории, в труднодоступных районах. Основ­ной недостаток почтового опроса – неполный возврат ан­кет (не все заполняют и отправляют). Поэтому важно сти­мулировать возврат анкет (70-75% возвращенных анкет – это гарантия надежности информации). Исследования со­циологов показали, возврат анкет можно увеличить: 1) если за 3-4 дня до отправки анкеты участнику анкетирова­ния послать уведомление об опросе; 2) напоминанием че­рез 2-3 недели о том, что была отправлена анкета; 3) возна­граждением за участие, календарик, сувенир и пр.

Задача исследователя – грамотно составить анкету. Составление анкеты требует соблюдения определенных принципов ее конструирования, знания особенностей раз­ных видов вопросов, порядок их расположения, и правил формулирования.

Композиция анкеты.При разработке анкеты необходимо иметь в виду, что она имеет строгую структуру, т.е. композицию.

Анкета должна состоять из трех частей:

1. Обращение или вводная часть.

2. Основная часть.

3. «Паспортичка» (социально-демографическая ха­рактеристика респондента).

Обращение. Его основной смысл состоит в том, чтобы стимулировать интерес опрашиваемого к исследо­ванию, создать деловую атмосферу. Нужно указать кто (организация или научное учреждение) и для чего прово­дит опрос, как будут использованы данные. Надо попу­лярно объяснить цель опроса, не прибегая к сложным сло­весным конструкциям и так, чтобы заинтересовать респон­дента. Не следует писать во введении «нас интересует то-то». Такой оборот скорее вызовет неприязнь, чем желание помочь организаторам опроса. Лучше подчеркнуть актив­ную позицию респондента, например, «Ваши ответы помо­гут улучшить работу в такой-то области».

В большинстве случаев подчеркиваются гарантии анонимности опроса. Это очень важный момент исследо­вания. Анонимность опроса способствует получению ис­кренних, достоверных ответов.

В обращении следует также описать технику запол­нения анкеты. Обращение необходимо завершить выраже­нием благодарности респонденту за его желание принять участие в опросе.

Таким образом, в обращении должны быть отражены следующие моменты:

1. Актуальность темы опроса.

2. Цель исследования.

3. Правила заполнения анкеты.

4. Гарантия анонимности.

Приведем в качестве примера обращение к респон­дентам в исследовании, посвященном подготовке ино­странных студентов в Пермской медицинской академии.

«Уважаемый студент!

В Пермской государственной медицинской академии подготовка иностранных студен­тов началась в 1990-е годы. Накоплен определенный опыт, который требует изу­чения и обобщения. Цель данного оп­роса – изучение мне­ния студентов-иностранцев об учебе в академии, о жизни в России. Ваши искренние ответы по­могут в работе по со­вершенствованию подготовки ино­странных специалистов.

Внимательно прочтите вопрос и все варианты отве­тов. Выберите наиболее соответствующие Вашему мнению и обведите кружочками цифры, которыми они обозначены. Если ни один из предлагаемых ответов не отражает Ваше мнение, допишите свой ответ.

Анонимность опроса гарантируется. Заранее благо­дарим Вас за участие в исследовании!».

 

В основной части обычно принято первыми задавать наиболее простые и доступные по смыслу и технике за­полнения вопросы. Они называются контактными. Такие вопросы вызывают у респондента чувство уверенности в своей компетентности, интерес к теме опроса, желание от­вечать дальше. Например, «Любите ли Вы кино вообще?» Таким образом, цель контактных вопросов – заинтересо­вать респондента, обеспечить процесс вхождения в про­блему. По мере активизации внимания и усиления инте­реса респондента может возрастать сложность и острота вопросов. Переход от простых к более сложным вопросам называют правилом воронки.

В середине анкеты располагаются наиболее важные с точки зрения исследования и трудные для респондента во­просы. Содержание этих вопросов отражает цели и задачи исследования. Поэтому для решения каждой задачи надо разработать определенный блок вопросов: несколько во­просов, объединенных по тематическому и проблемному принципам.

В ходе опроса следует учитывать, что примерно че­рез 45 минут напряженного внимания респондент начинает утомляться, поэтому вторую половину опроса рекоменду­ется посвятить более простым вопросам, ответы на кото­рые не требуют сильного напряжения памяти и внимания. Главная функция заключительных вопросов – снять пси­хологическое напряжение, дать почувствовать, что сделана большая и нужная работа. По мнению известного россий­ского социолога В.А. Ядова, динамика развития опроса, продолжительность которого варьируется от 10-15 минут до 1,5-2 часов в зависимости от целей, выглядит так: в пер­вой половине опроса – плавный подъем, примерно 15% уделено «отдыху» (спад), затем около четверти времени самой напряженной работы (к этому моменту респондент включился в опрос и подготовлен к серьезному обдумыва­нию ответов) и резкое снижение трудности в завершающей фазе.

«Паспортичка» – заключительная часть анкеты. Она фиксирует сведения о личности опрашиваемого; включа­ются вопросы о профессии, образовании, доходе, поле, со­циальном происхождении, месте рождения и проживания, национальности и т.д.

Главным является выделение обоснованных группи­ровок для получения надежных ответов. Если такие харак­теристики, как пол и национальность, группировать не­трудно, то другие признаки (возраст, профессия, семейное положение и др.) требует определенных знаний. Остано­вимся для примера на возрастной характеристике.

Обычно встречаются три типа формулировок вопроса о возрасте:

1. Сколько Вам лет?

2. Сколько Вам лет? Укажите на шкале.

3. В каком году Вы родились?

Преимущество первой формулировки состоит в том, что это привычный вопрос для респондента, легко и про­сто обрабатывается после опроса. Но есть в вопросе неоп­ределенность: нужно указывать количество полных лет или округлять свой возраст?

Вторая формулировка означает возможность для дальнейшего сравнительного исследования по возрастному признаку.

Наиболее подходящей считается третья формули­ровка, т.к. нет определения возраста, есть широкие воз­можности для сравнения, хотя такой вариант несколько усложняет обработку (кодирование) данных.

Можно пользоваться при выделении возрастных групп стандартами государственной статистики. Обычно используют следующую периодизацию возраста: 1-4, 5-9, 10-14, 15-19, 20-24, 25-29, 30-34, 35-39, 40-44, 45-49, 50-54, 55-59, 60-64, 65-69, 70-79, 80 лет и старше.

Исследователь сам решает, какие пороговые группи­ровки для него представляют интерес. Важно учитывать, что для многих статистических операций необходимы рав­ные интервалы. Поэтому, например, при опросе трудоспо­собного населения используют следующую шкалу: 16-19, 20-29, 30-39, 40-49, 50-59, 60-69 лет. В исследованиях мо­лодежи используют следующие деления по возрастному признаку: 14-16, 17-19, 20-23, 24-26, 27-30 лет.

Не сложилось в практике российских исследователей единообразие в формулировке вопросов об образовании. Применяются, например, номинальные шкалы с указанием формы обучения и его длительности:

- начальное (ниже 7 классов);

- неполное среднее (7 классов до 1961 г., 8,9 – после 1961 г.);

- ПТУ без среднего образования;

- ПТУ со средним образованием;

- среднее специальное образование;

- незаконченное высшее (3 курса вуза и больше);

- полное высшее образование.

Во многих странах предлагается универсальный во­прос об общей численности лет обучения, включая общее и специальное. Отдельно задается вопрос о численности лет профессионального обучения.

Важное правило составления «паспортички» – то, что ее структуру нельзя переносить из одной анкеты в другую. Все социально-демографические признаки респондента каждый раз определяются целями и задачами исследова­ния.

После «паспортички», в заключение анкеты, жела­тельно поместить благодарность респонденту за участие в исследовании, которая может быть выражена такими фра­зами «Благодарим за помощь!», «Спасибо за участие в ис­следовании!» и пр.

 

Для того чтобы получить достоверную информацию, необходимо правильно сформулировать и расположить вопросы в анкете. Для этого нужно знать классификацию вопросов.

По содержанию
Рассмотрим подробнее классификацию вопросов по форме. Закрытым называется вопрос, если на него в ан­кете приводится полный набор вариантов ответов. Их дос­таточно прочитать и обвести кружком код вопроса.

Закрытый вопрос может быть альтернативныминеальтернативным. Альтернативный– выбор всего од­ного варианта ответа, в результате чего сумма ответов на все вопросы всегда составляет 100%.

 

Схема № 7







Последнее изменение этой страницы: 2017-02-08; Нарушение авторского права страницы

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 54.211.135.32 (0.019 с.)