Неслучайная выборка (невероятностная). 


Мы поможем в написании ваших работ!



ЗНАЕТЕ ЛИ ВЫ?

Неслучайная выборка (невероятностная).



При таком способе отбора единиц мы не можем заранее рассчитать вероятность каждого элемента попасть в состав выборочной совокупности, что не даёт возможности рассчитать репрезентативность выборки. В этом случае она является не обязательной, так как количественные параметры объекта не играют решающей роли в исследовании, а целью его будет – углублённое качественное описание какого-либо отдельного социального феномена.

Обычно неслучайный отбор применяют в следующих случаях:

1. Невозможно провести случайный отбор вследствие:

· Ограниченности ресурсов (недостаток денежных средств, нехватка времени, отведённого на проведение исследования, отсутствие списков единиц генеральной совокупности и так далее)

· Этических проблем (нельзя заставить респондента отвечать, если он отказывается)

2. Отсутствие необходимости проведения случайного отбора.

Отбор в такой выборке осуществляется не по принципам рандомизации (которые обеспечивают «случайность» отбора элемента генеральной совокупности в выборку. К ним относятся, например, случайный выбор первого адреса из списка, запрет на обследование подряд однотипных квартир, процедуры случайного отбора респондентов в семье».), а по субъективным критериям – доступности, типичности, равного представительства и такое прочее. Главный недостаток неслучайных методов заключается в том, что не существует строгих статистических методов, которые позволили бы обобщить полученные результаты. Оценка точности и валидности таких результатов (и выводов в исследовании) остаётся делом субъективных суждении, опыта и теоретических предпочтений.

2.2.1. Направленная (целевая) выборка.

Применяется обычно в качественном исследовании. На отбор в этом случае большое влияние оказывает цели исследования. Основная задача целевых выборок – получить информационно богатые случаи для последующего их глубокого и многостороннего изучения]. Целевые выборки «разумно использовать в пилотажных исследованиях, в экспериментах, в том числе методических (то есть нацеленных на проверку и отработку анкет, опросников, шкал и такое прочее). Однако всегда следует помнить о том, что возможность обобщения любых оценок, полученных на целевой выборке, для генеральной совокупности в целом, то есть внешняя валидность результатов исследования, чаще всего оказывается сомнительной». Целевые выборки очень многообразны, и я приведу ниже лишь несколько из них.

а) Выборка доступных случаев.

Лучше использовать такую выборку только в экспериментальном исследовании. Например, при психологических экспериментах, проводящихся в вузе, где испытуемыми являются студенты. Экспериментатор в случайном порядке распределяет выборку доступных случаев (или доступных испытуемых) по двум группам, одна из которых экспериментальная, а другая – контрольная. Но в таких случаях обобщить результаты эксперимента на всю генеральную совокупность нельзя, так же как и нельзя с полной уверенностью сказать, что изначально являлось генеральной совокупностью, так как она была, в принципе, определена самого начала.

В социологии же выборку доступных случаев используют при изучении специфических популяций, которые почти не поддаются локализации. Это «относительно малочисленные группы, находящиеся вне сферы институционального (например, административного) контроля». Для этих групп очень сложно составить основу выборки, например посетители выставок не состоят на каком-либо учёте. Поэтому социологам приходится отбирать членов такой выборки «в местах их «естественного обитания» или вероятностного скопления». Так исследование посетителей библиотек проводится в библиотеках, посетителей стрелковых тиров – в тирах и такое прочее.

Одним из плюсов этого метода являются сравнительно низкие издержки на поиск респондентов:

1. доступные респонденты выделены заранее;

2. респонденты выявляются в процессе опроса, поэтому действительное число доступных объектов определяется после его окончания.

Сферы применения доступной выборки:

a) тестирование анкет,

b) отработка процедур опроса,

c) изучение интимных сторон жизни людей,

d) изучение здоровья населения на основе данных об обращениях в больничные учреждения,

e) монографические обследования.

б) Отбор типичных случаев.

При использовании данного метода отбираются единицы генеральной совокупности, обладающие средним (или типичным) значением признака в статистическом отношении. Однако в таком случае встает проблема выбора признака и определения его типичного значения. Субъективный характер оценки вполне может привести к систематической ошибке. Данный метод целесообразно применять для изучения таких объектов, о которых мы уже обладаем некоторой информацией, например, территориальных общностей, предприятий, учреждений и т.п. То есть, он осуществляется на основе анализа демографических данных и предварительных социологических исследований.

Цель такого типа выборки сводится к иллюстрированию, иначе говоря, она предполагает качественное описание типичного социального феномена с использованием соответствующих методов. Так, например, изучение типичных негосударственных школ позволит выяснить проблемы негосударственного допрофессионального образования.

в) Квотная выборка.

Это выборка когда-то была очень популярна даже среди профессиональных статистиков, но сейчас она практически не используется.

«Квотная выборка представляет собою своеобразную микромодель генеральной совокупности».

Процедура квотной выборки очень проста: вся изучаемая совокупность делится на социально-демографические группы в соответствии с целями исследования. В качестве критериев разбивки на группы, которые обычно не превышают четырёх, так как в противном случае процедура отбора становится очень сложной, могут выступать: пол, возраст, национальная принадлежность, место жительства и такое прочее. Основываясь на данных официальной статистики, социолог узнаёт пропорции выбранных групп в генеральной совокупности и даёт задания для интервьюеров, указывая, сколько лиц нужно опросить в соответствии с указанными критериями, например, 8 женщин старше 56 лет, 6 мужчин и 7 женщин в возрасте от 35 до 45 лет и 12 женщин до 30 лет, которые проживают в городе Мурманске, их интервьюеры отбирают по своему усмотрению. В результате получается выборка, которая представляет все заданные пропорции групп в генеральной совокупности.

Этот метод «применяют, если распределение генеральной совокупности по основным социально-демографическим признакам или другим существенным для исследования признакам известно, но её списки получить не возможно, или если для осуществления случайного отбора недостаточно времени и средств».

Недостатки квотного отбора:

1. Необходимо предварительное изучение объекта для выявления в нем пропорций единиц с различными характеристиками и связей между характеристиками.

2. Необходима свежая информация о состоянии генеральной совокупности. Например, если активно происходят какие-то демографические процессы (миграция), то применение данных переписи населения, проведенной несколько лет назад, может дать большую систематическую ошибку.

3. Некоторые проблемы могут возникнуть на полевом этапе проведения исследования:

a) Интервьюер, скорее всего, будет проводить отбор среди наиболее доступных ему лиц, тех, кто наиболее охотно идет на контакт с ним, поэтому выборка имеет тенденцию превращаться в доступную.

b) При этом ближе к концу отбора часто возникает группа «дефицитных» признаков, поэтому повышается соблазн для интервьюера опрашивать людей, которые почти или совсем не подходят по заданным параметрам.

Среди преимуществ квотного отбора можно назвать такие его характеристики как простота процедуры, относительно низкая стоимость, соблюдение анонимности опрашиваемых. При исследовании общественного мнения, ценностей, установок, мотивов квотный отбор даёт достаточно неплохие результаты. Но его категорически не рекомендуется использовать при исследовании социальной структуры, стратификации и мобильности.

г) Метод снежного кома.

Обычно применяется для отбора экспертов, особенно по узкой проблеме, при исследовании маргинальных и избегающих широкой известности групп, например, властвующих элит, а так же наркоманов или коллекционеров антиквариата, то есть редко встречающихся групп респондентов. «По сути, это техника поиска и отбора респондентов с определённым сочетанием свойств в таких условиях, когда трудно очертить границы генеральной совокупности. Особенность метода состоит в том, что, за исключением первого шага, выбор каждого очередного респондента совершается по указанию респондентов, включённых в выборку на предыдущем шаге. Каждый респондент указывает интервьюеру, где можно найти интересующих его людей (или даже сам связывается с ними и рекомендует интервьюера)». Так «выборка постепенно разрастается вширь, подобно снежному кому, катящемуся с горы», отсюда и соответствующее название данной выборки.

Опрос прекращается:

1. когда имена в списке начинают повторяться;

2. в случае информационного насыщения;

3. как только опрос перестаёт приносить новую информацию.

Стихийная выборка.

Исследователь при применении данного метода в некоторой степени контролирует выборку (например, публикуя анкету в журнале, он обращается только к читателям этого журнала), но решение о включении в выборку принимает сам респондент. То есть, её размер заранее часто не известен, а определяется конкретным условием - активностью респондентов. Значит, нельзя и заранее определить структуру массива респондентов, которые заполнят и вернут анкеты. Поэтому этот метод не претендует на репрезентативность выборки, а выводы исследования очень часто распространяются только на опрошенную совокупность.

Сферы применения стихийной выборки:

1) анкеты, публикуемые в газетах и журналах;

2) почтовые опросы;

3) опросы покупателей в залах супермаркетов;

4) опрос пассажиров на остановках и в общественном транспорте.

2.3. Многоступенчатая и одноступенчатая выборки.

Выборка делится на одноступенчатую и многоступенчатую по количеству ступеней в отборе. Одноступенчатая выборка предполагает, что из генеральной совокупности сразу осуществляется отбор респондентов для опроса. Процедура же многоступенчатой выборки включает несколько ступеней, при этом на каждой из них единица отбора меняется. «Различают единицы отбора первой ступени (первичные единицы), единицы отбора вторичной ступени (вторичные единицы) и так далее. Объекты самой нижней ступени, с которых ведется непосредственный сбор информации, называются единицами наблюдения». Например, задача исследования – изучение свободного времени студентов всей страны.

Процедура будет строиться следующим образом:

1. отбор регионов;

2. отбор города в них, где есть вузы;

3. отбор учебных заведений, в которых будет проводиться исследование;

4. выбор академических групп;

5. отбор студентов.

Многоступенчатая выборка осуществляется не в локальных масштабах, а в региональных, общенациональных, международных. Использовать одноступенчатую выборку в таких масштабах нерационально, да и очень дорого обойдётся такое исследование. Многоступенчатая выборка в этом плане экономична и упрощает подход к выбору объекта.

Но нужно учитывать, что чем больше ступеней в выборке, тем больше будет ошибка репрезентативности, возрастёт вероятность погрешностей, что приведёт к искажению результатов исследования.

Рассмотрев некоторые типы выборок, необходимо также уяснить, что такое объем выборки и какие бывают ошибки выборки и как их избежать.

3. Репрезентативность выборки. Объем и ошибка выборки.

В формировании выборочной совокупности важную роль играет определение ее объема и обеспечение репрезентативности.

«Если тип выборки говорит о том, как попадают люди в выборочную совокупность, то объём выборки сообщает о том, какое их количество попало сюда». То есть объем выборки – это количество единиц попавших в выборочную совокупность. И очень важно, чтобы выборка была репрезентативной, то есть не искажала представлений о генеральной совокупности вцелом. «Требования репрезентативности выборки означают, что по выделенным параметрам (критериям) состав обследуемых должен приближаться к соответствующим пропорциям в генеральной совокупности».

Одна из ключевых проблем, встающих, как правило, перед социологом, решающим: доверять полученным в ходе него данным или нет, это то, сколько же человек должно быть опрошено для того, чтобы получить действительно репрезентативную информацию. К сожалению, единой и четкой формулы, используя которую можно было бы рассчитать оптимальный объем выборочной совокупности, не существует в природе. И объясняется это весьма просто. Дело в том, что определение объема выборочной совокупности – это проблема не столько статистическая, сколько содержательная.

Иными словами, объем выборочной совокупности зависит от множества факторов, основные из них следующие:

1. затраты на сбор информации, включая временные;

2. стремление к определённой статистической достоверности результатов, которую надеется получить исследователь;

3. ценность и новизна информации, получаемой в результате опроса.

Объем выборки обусловлен степенью однородности или неоднородности, генеральной совокупности, количеством характеризующих ее признаков. Однородной считается совокупность, в которой контролируемый признак, например уровень грамотности, распределён равномерно, то есть не образует пустот и сгущений, тогда опросив лишь несколько человек, можно сделать вывод о том, что большинство людей грамотны. Чем более однородна генеральная совокупность, тем меньше объем выборки. Например, «допустим, мы осуществляем отбор из генеральной совокупности в 2000 человек, контролируя состав выборочной совокупности по признаку «пол»»: 70% мужчин и 30% женщин. Согласно теории вероятности, можно предположить, что примерно среди каждых десяти отбираемых респондентов встретятся три женщины. Если мы хотим опросить по крайней мерее 90 женщин, то исходя из вышеупомянутого соотношения, нам необходимо отобрать не менее 300 человек. А теперь предположим, что в генеральной совокупности 90% мужчин и 10% женщин. В этом случае, чтобы в выборочную совокупность попало 90 женщин, необходимо отобрать уже не менее 900 человек». Из примера видно, что объем выборки зависит от разброса признака (дисперсии), и его нужно вычислять по признаку, дисперсия значений которого наибольшая.

«Степень однородности социального объекта зависит, в сущности, от того, насколько детально мы намерены его исследовать. Практически любой, самый «элементарный» объект оказывается чрезвычайно сложным. Лишь в анализе мы представляем его как относительно простой, выделяя те или иные его свойства. Чем более основательным и детальным будет анализ, чем больше свойств данного объекта мы намерены принять во внимание в их сочетании, а не изолированно, тем больше должен быть объем выборки».

Существуют, так называемые «правила левой руки» для определения размера выборки (таблица 1)»:

Размер выборки растёт Размер выборки уменьшается
- при необходимости опубликовать данные для отдельных подгрупп (размеры подвыборок при этом суммируются, и выборка в целом растёт пропорционально числу подгрупп); - при исследовании организаций, институтов и прочих «первичных единиц отбора», если сравнительно невелика величина генеральной совокупности, из которой производится отбор(например, совокупности сотрудников рекламных агентств, школьников, пациентов и т.п.);
- при проведении общенациональных обследований, когда велика генеральная совокупность; - при проведении локальных и региональных исследований;
- если уже имеющаяся информация по ключевым вопросам (например, о намерениях избирателей голосовать за ту или иную партию) явно недостаточна и степень неопределённости значительна. - если уже существующая информация относительно полна и всё ещё остающаяся степень неопределенности незначительна.

В репрезентативной выборке все элементы генеральной совокупности представлены в той же пропорции. Но как бы тщательно не соблюдать этот принцип, случайные ошибки все же будут. Мы имеем возможность определять ошибку репрезентативности. Ошибкой репрезентативности, как правило, называют «расхождение между двумя совокупностями – генеральной, на которую направлен теоретический интерес социолога и представление о свойствах которой он хочет получить в конечном итоге, и выборочной, на которую направлен практический интерес социолога, которая выступает одновременно как объект обследования и средство получить информацию о генеральной совокупности». Важно учитывать, что при помощи выборочного метода никогда нельзя получить абсолютно точную оценку наблюдаемого признака, всегда существует вероятность ошибки, но, если вероятность ошибки мала, то она скорее всего не произойдет. В отечественной литературе наряду с термином «ошибка репрезентативности» встречается и другой – «ошибка выборки». Обычно они используются как синонимы, но понятие «ошибка выборки» количественно более точное, чем «ошибка репрезентативности». Ошибка выборки – это «отклонение средних характеристик выборочной совокупности от средних характеристик генеральной совокупности. На практике она определяется путём сравнения известных характеристик генеральной совокупности с выборочными средними».

Репрезентативность выборки определяется двумя компонентами: систематическими и случайными ошибками. Случайные ошибки связаны «со статистическими погрешностями (зависят от динамики исследуемых признаков) и непредвиденными нарушениями процедуры сбора информации (процедурные ошибки, допущенные при регистрации признаков)». Случайные ошибки уменьшаются с увеличением объема выборочной совокупности. Случайную ошибку можно измерить методами математической статистики, если при формировании выборочной совокупности соблюдался принцип случайности, обеспечивающийся строго определенными правилами, которые составляют метод формирования выборочной совокупности, и устранить.

На практике принцип случайности соблюсти очень сложно, а иногда просто невозможно, что приводит к появлению систематической ошибки, которые возникают «из-за неполной объективности выборки генеральной совокупности (недостаток информации о генеральной совокупности, отбор наиболее «удобных» для исследования элементов генеральной совокупности), а так же из-за несоответствия выборки целям и задачам исследования». Иногда такие ошибки называют ошибками смещения. Они возникают при различных телевизионных опросах, когда телеведущий предлагает телезрителям позвонить по определённым номерам телефонов, послать смс-сообщение и высказать своё мнение по какой-то проблеме. Естественно мы не можем утверждать что эти люди отражают мнение всего населения страны, и даже телеаудитории. Вероятнее всего в таких опросах участвуют более образованные и активные люди, чем вся генеральная совокупность, поэтому любой телевизионный опрос содержит в себе систематическое искажение и носит поверхностный характер.

Но систематические ошибки возникают и в ходе корректно организованного опроса. Например, на улице на вопросы интервьюера отвечают только те, кто никуда не спешит. Искажения можно избежать, если соблюдать принципы случайного отбора и опрашивать, к примеру, каждого десятого прохожего.

Причины возникновения систематических ошибок:

1. «в ходе исследования была не правильно составлена основа выборки (использовались устаревшие, неполные данные либо отсутствовала статистика по некоторым важным для формирования выборки признакам),

2. неудачно выбран способ отбора единиц наблюдения,

3. часть респондентов по разным причинам «выпала» из опроса (отсутствовала, отказалась отвечать) и так далее».

При помощи математических средств такие ошибки устранить невозможно, поэтому необходимо осуществить логический анализ причин появления систематических ошибок и разработать меры, которые смогли бы их устранить. «Величину ошибок смещения определить при помощи математических формул практически не возможно, поэтому они автоматически переходят на результаты и выводы исследования. Ошибки смещения бывают обычно следствием:

– неверных исходных статистических данных о параметрах контрольных признаков генеральной совокупности;

– слишком малого (статистически не значимого) объёма выборочной совокупности;

– неверного применения способа отбора единиц анализа (например, отбор из неверно составленного списка, неудачный выбор места и времени проведения опроса)».

Существуют определённые пределы ошибки выборки, которые зависят от цели исследования. В экономических и демографических прогнозах, например при переписи населения, требуется повышенная надёжность и точность. Для таких прогнозов существенные ошибки оборачиваются миллионными потерями материальных ресурсов и просчетами в прогнозах и планировании. Но чаще поводятся социологические исследования для уяснения общих тенденций, общей ориентировки в социальной сфере не требующие стопроцентной надёжности. Существует приблизительная оценка на надёжность результатов исследования: «повышенная надёжность допускает ошибку выборки до 3%. Обыкновенная – до 3-10%, приближенная – то 10 до 20%, ориентировочная – от 20 до 40%, а прикидочная – более 40%».

Таким образом, существует несколько способов, чтобы избежать ошибки:

§ каждый элемент генеральной совокупности должен иметь одинаковую вероятность попасть в выборочную совокупность;

§ генеральная совокупность должна быть желательно однородной;

§ необходимо иметь сведения о структуре генеральной совокупности и её характерные черты;

§ при составлении выборочной совокупности заранее учесть случайные и систематические ошибки.

Качество выборки оценивают по двум показателям: репрезентативность и надежность. О репрезентативности уже говорилось выше. А чтобы создать надежную выборку необходимо правильно построить ее основу. Для этого соблюдаются следующие требования:

1. Полнота выборки, которая требует наличия всех элементов генеральной совокупности в основе выборки. Если в выборку не включены многие единицы наблюдения, тем более, несущие в себе существенные особенности и характеристики объекта, то результаты исследования будут неполными и однобокими.

2. Отсутствие дублирования, которое подразумевает недопустимость повторного включения в выборку одной и той же единицы наблюдения (например, ученик перешел учиться в другую школу, его включили в новый список, не вычеркнув при этом из старого, таким образом, он дважды попал в выборку).

3. Точность информации выборки, предполагающая исключение несуществующих единиц наблюдения из основы выборки. Например, в избирательных списках, которые готовятся для очередных выборов депутатов различного уровня, нередко остаются умершие люди или жильцы снесенных домов.

4. Адекватность, которая означает, что основа составленной выборки должна соотноситься с решением поставленных в исследовании задач. Например, полный список всех учащихся школы — хорошая основа для того, чтобы сформировать выборку при изучении проблемы общей успеваемости. Но если нас интересует отношение старшеклассников к основным учебным дисциплинам, то этот список может быть использован только для формирования новой основы выборки — списка старшеклассников.

5. Удобство работы с основой выборки, при котором необходимо четко пронумеровать все элементы, которые в нее входят, а составленные списки централизованно хранить.

«Существует два основных подхода к обоснованию репрезентативности выборки:

1. При статистическом подходе репрезентативность обеспечивается специальными вероятностными методами извлечения выборки. Для обобщения результатов исследования на генеральную совокупность применяются строгие индуктивные процедуры статистического вывода, оценивается ошибка выборки с заданной вероятностью.

2. Внестатистическое обоснование репрезентативности предполагает теоретическое доказательство того, что выборка достаточно хорошо представляет генеральную совокупность. При использовании этого подхода статистическое оценивание ошибок выборки не производится».

На первый взгляд, кажется, что обеспечить репрезентативность выборки на практике просто невозможно, но на самом деле всё зависит от программных целей и задач исследования.

Если мы проводим обследование большой общественной значимости, по завершению которого нужно будет сделать выводы обо всей генеральной совокупности, то необходимо чётко следовать всем требования репрезентативной выборочной процедуры, так как ошибки в таких исследованиях недопустимы.

Если перед нами стоят более скромные задачи и уровень надежности выводов можно смело понизить, то необходимо следовать всем требованиям по качественному представительству выборочной совокупности. Если мы решим подчёркивать статистическую надёжность данных, то введём в заблуждение тех людей, кто привык верить математическим расчётам. Нельзя забывать, что та информация, которую мы получаем путём опросов и других способов, лишь условно переводится в количественные показатели. И не редкость когда количественные показатели только приблизительно отражают существо социальных процессов. «Поэтому усилия, направленные на строгость статистического обоснования результатов, приобретают смысл только при условии серьёзного качественного анализа проблемы, содержательного её изучения».

Необходимо помнить, что социолог должен сосредотачивать своё внимание именно на существе социальных проблем, привлекать к работе других специалистов, практиков и теоретиков, внимательно изучать литературу в области экономики, психологии, социологии о предмете исследования. И для решения статистических задач, по поводу типа и объема выборки, он сначала должен чётко сформулировать конкретные вопросы, которые необходимо решить, а уже потом обращаться к соответствующим расчётам различных статистик.

Заключение.

Анализируя проблему выборки в социологическом исследовании и её типов, можно остановиться на следующих выводах:

1. Как только встаёт вопрос о том, что нужно собрать информацию о некоторой группе или большой совокупности людей, возникает проблема построения выборки. «Выборка – это подмножество заданной совокупности, позволяющее делать более или менее точные выводы относительно совокупности в целом». Наилучшим способом отбора считается вероятностная или случайная выборка, так как в ней строго соблюдается принцип равенства шансов попадания в выборку для всех единиц изучаемой генеральной совокупности. Выборочный метод позволяет не только сократить временные и материальные затраты на проведения исследования, но и повысить достоверность результатов исследования, поэтому он широко используется при проведении исследований разного рода.

2. Существует множество классификаций типов выборки, разные исследователи по-разному классифицируют свои и чужие способы формирования выборочной совокупности. В разных изданиях можно столкнуться с различными названиями одной и той же выборки, что затрудняет процесс их изучения. В данной курсовой работе предложена классификация, объединяющая все те классификации, которые рассмотрены в используемой литературе.

3. Репрезентативность – это способность выборки «правильно отражать состояние дел в генеральной совокупности, из которой она извлечена и для изучения которой предназначена». Репрезентативность выборки определяется двумя компонентами: систематическими и случайными ошибками. Случайные ошибки уменьшаются с увеличением объема выборочной совокупности. При помощи математических средств можно устранить случайные ошибки, но не систематические, поэтому необходимо осуществить логический анализ причин появления этих ошибок и разработать меры, которые смогли бы их устранить.

4. Обеспечение репрезентативности выборки, её объём и качество во многом зависят от программных целей и задач исследования.

5. Построение выборки – дело ответственное и сложное, и от её качества во многом зависит достоверность результатов исследования. Задачу построения выборки нужно решать каждый раз заново, применительно к конкретным условиям.

Объектом очень многих наук является общество, но это не значит, что все они — социологии. Социология владеет способами измерять общество, но не все, кто называет себя социологами, владеет ими. Все умеют мерить температуру, но далеко не все являемся врачами. Очень сложным разделом социологического исследования является методический раздел программы, который включает в себя описание выборки (социология не мерит общество сплошняком, у нее есть приемы, благодаря которым общую «температуру» можно замерить по единичным случаям) и шкал. Абсолютно точных данных социология дать не может. Всегда есть определенная погрешность. Но прелесть социологии в том, что она может высчитать эту погрешность, это касается объёма и качества выборки.

 



Поделиться:


Последнее изменение этой страницы: 2016-09-20; просмотров: 1312; Нарушение авторского права страницы; Мы поможем в написании вашей работы!

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.221.165.246 (0.045 с.)