Правило сложения дисперсий, межгрупповая дисперсия.

В общем случае вариация результативного признака обусловлена различными факторами в их совокупности, а не только воздействием одного из них. Если статистическую совокупность разбить на группы по какому-либо признаку, то наряду с изучением вариации результативного признака по всей совокупности в целом под воздействием всех факторов, получаем возможность изучить вариацию для каждой из составляющих всю совокупность групп по отдельности. Также можно изучить при этом вариацию между группами. В простейшем случае вся исходная совокупность разбивается на отдельные группы по одному фактору. Тогда указанный выше анализ вариации сводится к расчету и анализу трех видов дисперсий: общей дисперсии, внутригрупповой дисперсии и межгрупповой дисперсии. Общая дисперсия измеряет вариацию результативного признака по всей совокупности под влиянием всех факторов, обусловивших эту вариацию.

Межгрупповая дисперсия характеризует систематическую вариацию под воздействием признака-фактора, положенного в основание группировки. Она равна среднему квадрату отклонений групповых (частных) средних от общей средней для всей совокупности:

 

, где f – численность единиц в группе (частота).

 

Внутригрупповая дисперсия есть уже известная нам дисперсия (для всей совокупности называемая общая), но теперь эта формула применяется только к отдельной группе. Соответственно и обозначается она также буквой сигма-квадрат, но уже с индексом i внизу, который подчеркивает, что расчет выполняется для отдельной «итой» группы.

 

Внутригрупповая дисперсия отражает случайную вариацию, т.е. ту ее часть, которая обусловлена влиянием прочих (неучтенных) факторов, отличных от основания группировки. По отдельным внутригрупповым дисперсиям, рассматривая их как значения некоторого особого признака, рассчитывают среднюю по внутригрупповым дисперсиям, которая уже характеризует вариацию по всей совокупности в целом под воздействием всех прочих (неучтенных) факторов, отличных от основания группировки.

 

Существует простая и важная формула, связывающая общую дисперсию, межгрупповую дисперсию и среднюю по внутригрупповым дисперсиям:

 

 

 

Это означает, что общая дисперсия равна сумме межгрупповой дисперсии и средней по внутригрупповым дисперсиям. Следовательно, зная две из трех дисперсий, можно всегда найти также и третью дисперсию.

Правило сложения дисперсий показывает, что чем больше доля межгрупповой дисперсии в общей дисперсии, тем сильнее влияние группировочного признака на изучаемый результативный признак. Такие соображения естественным образом приводят к количественной характеристике такого влияния, мере стохастической связи между признаками. Она называется эмпирический коэффициент детерминации и обозначается , характеризуя силу влияния группировочного признака на образование общей вариации.

 

 

При отсутствии связи он просто равен нулю, при чисто функциональной связи равен 1. В общем случае коэффициент детерминации принимает значения между 0 и 1. Это видно и из правила сложения дисперсий.

Помимо коэффициента детерминации используют также и эмпирическое корреляционное отношение, которое представляет собой корень квадратный из коэффициента детерминации. И опять оно весьма подходит для измерения линейной связи. В общем случае нелинейной связи предпочтительней использовать и это значительно правильней коэффициент детерминации. Если связь отсутствует, то корреляционное отношение равно нулю и следовательно все групповые средние равны между собой, а межгрупповой вариации просто в этом случае нет. Группировочный признак при этом не влияет никак на образование общей вариации. Если связь функциональная, то корреляционное отношение равно 1. Дисперсия групповых средних равна общей дисперсии и межгрупповой дисперсии. Т.о. внутригрупповой вариации не будет. Т.е. группировочный признак целиком определяет вариацию изучаемого результативного признака.

 

ВОПРОСЫ ДЛЯ САМОПРОВЕРКИ

 

1. Что такое вариация признака?
2. Чем она обусловлена?
3. Какими показателями измеряется вариация?
4. Чем различаются и зачем нужны несколько различных показателей вариации

5. Что такое «ряд распределения»?

6. Какие вы знаете виды рядов распределения?

7. С какой целью ряды распределения изображают графически?

8. Какие вы знаете графические изображения рядов распределения?

9. Что собой представляют средние значения?

10. Какие виды средних и показателей вариации вы знаете?

 

 

Общее понятие о выборочном наблюдении

 

Статистическое наблюдение можно организовать как сплошное и несплошное. Сплошное предусматривает обследование всех единиц изучаемой совокупности явления, несплошное — лишь ее части. К несплошному относится и выборочное наблюдение.

Выборочное наблюдение является одним из наиболее ши­роко применяемых видов несплошного наблюдения. В основе этого наблюдения лежит идея о том, что отобранная в слу­чайном порядке некоторая часть единиц может представлять всю изучаемую совокупность явления по интересующим исследователя признакам. Целью выборочного наблюдения является получение информации прежде всего для определе­ния сводных обобщающих характеристик всей изучаемой (генеральной) совокупности. По своей цели выборочное наблюдение совпадает с одной из задач сплошного наблюдения, и поэтому встает вопрос о том, какое из двух видов наблюдения — сплошное или выборочное — целесообразнее провести.

При решении этого вопроса необходимо исходить из следующих основных требований, предъявляемых к статистическому наблюдению:

• информация должна быть достоверной, т.е. максимально соответствовать реальной действительности;

• сведения должны быть достаточно полными для решения задач исследования;

• отбор информации должен быть проведен в максимально сжатые сроки для использования ее в оперативных целях;,

• денежные и трудовые затраты на организацию и проведение должны быть минимальными.

При выборочном наблюдении эти требования обеспечи­ваются в большей мере, чем при сплошном. Преимущества этого метода по сравнению со сплошным можно оценить, если оно организовано и проведено в строгом соответствии с научными принципами теории выборочного метода, а именно обеспечение случайности отбора единиц и достаточного их числа. Соблюдение этих принципов позволяет получить такую совокупность единиц, которая представляет всю изучаемую совокупность по интересующим исследователя признакам, т.е. является репрезентативной (представительной).

При проведении выборочного наблюдения обследуются не все единицы изучаемого объекта, т.е. не все единицы совокупности, а лишь некоторая специально отобранная часть. Первый принцип отбора — обеспечение случайности — заключается в том, что при отборе каждой из единиц изучаемой совокупности обеспечивается равная возможность попасть в выборку. Случайный отбор — это не беспорядочный отбор, а отбор при соблюдении определенной методики, например осуществление отбора по жребию, применение таблицы случайных чисел и т.д.

Второй принцип отбора— обеспечение достаточного числа отобранных единиц - тесно связан с понятием репрезентативности выборки. Так как любое выборочное наблюдение проводится с определенной целью и четко сформулированными конкретными задачами, то понятие репрезентативности как раз и связано с целью и задачами исследования. Отобранная из всей изучаемой совокупности часть должна быть репрезентативной прежде всего в отношении тех признаков, которые изучаются или оказы­вают существенное влияние на формирование сводных обобщающих характеристик.

В выборочном наблюдении используются понятия «генеральная совокупность»- изучаемая совокупность единиц, подлежащая изучению по интересующим исследовате­ля признакам, и «выборочная совокупность» — случайно выбранная из генеральной совокупности некоторая ее часть. К данной выборке предъявляется требование репре­зентативности, т.е. при изучении лишь части генеральной совокупности полученные выводы должно быть можно применять ко всей совокупности.

Характеристиками генеральной и выборочной совокупностей могут служить средние значения изучаемых признаков, их дисперсии и средние квадратические отклонения, мода и медиана и др. Исследователя могут интересовать и распределения единиц по изучаемым признакам в генеральной и выборочной совокупностях. В этом случае частоты называются соответственно генеральными и выборочными.

Система правил отбора и способов характеристики единиц изучаемой совокупности составляет содержание выборочного метода, суть которого состоит в получении первичных данных при наблюдении выборки с последующим обобщением, анализом и их распространением на всю генеральную совокупность с целью получения достоверной информации об исследуемом явлении.

Репрезентативность выборки обеспечивается соблюдением принципа случайности отбора объектов совокупности в выборку. Если совокупность является качественно однородной, то принцип случайности реализуется простым случайным отбором объектов выборки. Простым случайным отбором называют такую процедуру образования выборки, которая обеспечивает для каждой единицы совокупности одинаковую вероятность быть выбранной для наблюдения, для любой выборки заданного объема. Таким образом, цель выборочного метода — сделать вывод о значении признаков генеральной совокупности на основе информации случайной выборки из этой совокупности.

 

Ошибки выборочного наблюдения

 

Между признаками выборочной совокупности и признаками генеральной совокупности, как правило, существует некоторое расхождение, которое называется ошибкой статистического наблюдения. При массовом наблюдении ошибки неизбежны, но возникают они в результате действия различных причин. Величина возможной ошибки выборочного признака происходит из-за ошибок регистрации и ошибок репрезентативности. Ошибки регистрации, или технические ошибки, связаны с недостаточной квалификацией наблюдателей, неточностью подсчетов, несовершенством приборов и т.п.

Под ошибкой репрезентативности (представительства) понимают расхождение между выборочной характеристикой и разыскиваемой(истинной) характеристикой генеральной совокупности. Ошибки репрезентативности бывают случайными и систематическими. Систематические ошибки связаны с нарушением установленных правил отбора. Случайные ошибки объясняются недостаточно равномерным представлением в выборочной совокупности различных категорий единиц генеральной совокупности.

В результате первой причины (систематическая ошибка) выборка легко может оказаться смещенной, так как при отборе каждой единицы допускается ошибка, всегда направленная в одну и ту же сторону. Эта ошибка получила название ошибки смещения. Ее размер может превышать величину случайной ошибки. Особенность ошибки смещения состоит в том, что, являясь постоянной частью ошибки репрезентативности, она увеличивается с увеличением объема выборки.

Случайная же ошибка с увеличением объема выборки уменьшается. Кроме того, величину случайной ошибки можно определить, тогда, как размер ошибки смещения практически определить очень сложно, а иногда и невозможно, поэтому важно знать причины, вызывающие ошибку смещения, и предусмотреть мероприятия по ее устранению.

Ошибки смещения бывают преднамеренные и непреднамеренные. Причиной возникновения преднамеренной ошибки является тенденциозный подход к выбору единиц из генеральной совокупности. Чтобы не допустить появле­ние такой ошибки, необходимо соблюдать принцип случайности отбора единиц.

Непреднамеренные ошибки могут возникать на стадии подготовки выборочного наблюдения, формирования выборочной совокупности и анализа ее данных. Чтобы не допу­стить появление таких ошибок, необходима хорошая основа выборки, т.е. та генеральная совокупность, из которой предполагается производить отбор, например список еди­ниц отбора. Основа выборки должна быть достоверной, полной и соответствовать цели исследования, а единицы отбора и их характеристики должны соответствовать дей­ствительному их состоянию на момент подготовки выборочного наблюдения. Нередки случаи, когда в отношении некоторых единиц, попавших в выборку, трудно собрать сведения из-за их отсутствия на момент наблюдения, нежелания дать сведения и т.п. В таких случаях эти единицы приходится заменять другими. Необходимо следить, чтобы замена осуществлялась равноценными единицами.

Случайная ошибка выборки возникает в результате случайных различий между единицами, попавшими в выборку, и единицами генеральной совокупности, т.е. она связана со случайным отбором. Теоретическим обоснованием работы со случайными ошибками выборки является теория вероятностей и ее предельные теоремы.

Сущность предельных теорем состоит в том, что в массовых явлениях совокупное влияние различных случайных причин на формирование закономерностей и обобщающих характеристик будет сколь угодно малой величиной или практически не зависит от случая. Так как случайная ошибка выборки возникает в результате случайных различий между единицами выборочной и генеральной совокупностей, то при достаточно большом объеме выборки она будет сколь угодно мала.

Предельные теоремы теории вероятностей позволяют определять размер случайных ошибок выборки. Различают среднюю (стандартную) и предельную ошибку выборки. Под средней (стандартной) ошибкой выборки понимают такое расхождение между средней выборочной и генераль­ной совокупностей (), которое не превышает ±Δ.

 

Обозначения основных характеристик параметров генеральной и выборочной совокупности приведены в таблице 14.

Предельной ошибкой выборочного наблюдения называется разность между величиной средней в генеральной совокупности и ее величиной, вычисленной по результатам выборочного наблюдения: . (8.1)

 

Таблица 8.0 - Основные характеристики генеральной и выборочной совокупностей

№ п/п	Характеристика	Генеральная совокупность	Выборочная совокупность
1.   2.   3.   4.     5.     6.	Объем совокупности (численность единиц). Численность единиц, обладающих обследуемым признаком. Доля единиц, обладающих обследуемым признаком.     Средний размер признака     Дисперсия признака   Дисперсия доли	N М р=M/N	n m w=m/n
Примечание. q, –доля единиц, не обладающих обследуемым признаком

 

В курсах математической статистики доказано, что величина предельной ошибки выборки не должна превышать соотношения

£ t´m, (8.2)

где величина m, называется средним квадратическим отклонением выборочной средней от генеральной средней и (средняя ошибка выборки) определяется по зависимости

 

, (8.3)

где - среднее квадратическое отклонение в генеральной совокупности;

n – число наблюдений.

t – коэффициент доверия, параметр, указывающий на конкретное значение вероятности того, на какую величину генеральная средняя будет отличаться от выборочной средней.

Как правило, именно произведение коэффициента доверия на среднюю ошибку выборки и рассматривают в качестве предельной ошибки, что является более строгим и правильным, а разность генерального и выборочного среднего рассматривают просто как ошибку выборки, являющуюся случайной величиной.

В некоторых случаях величину называют также средней ошибкой выборки и также обозначают m.

Соотношения между дисперсиями генеральной и выборочной совокупности выражается формулой

 

. (8.4)

 

Поскольку величина n/ n-1 при достаточно больших n близка к 1, то можно приближенно считать, что выборочная и генеральные дисперсии равны.

Составлены специальные таблицы, связывающие коэффициент доверия t с вероятностью того, что разность между выборочной и генеральной средними не превысит значения средней ошибки выборки m.

 

t= 1 Þ F(t) = 0,683 t= 1,5 Þ F(t) = 0,866

t= 2 Þ F(t) = 0,954 t= 2,5 Þ F(t) = 0,988 (8.5)

t= 3 Þ F(t) = 0,997 t= 3,5 Þ F(t) = 0, 999

 

Из первой строки левого столбца видно, что с вероятностью 0,683 можно утверждать, что разность между выборочной и генеральной средними не превысит одной величины средней ошибки выборки. Или другими словами, в 68,3 % случаев ошибка репрезентативности не выйдет за пределы +- m.. И далее видно, что чем больше пределы, в которых допускается возможная ошибка, тем с большей вероятностью (т.е. более достоверно) судят о ее величине.

Зная выборочную среднюю величину признака и предельную ошибку выборки , в уточненном только что смысле можно рассчитать границы (пределы), в которых заключена генеральная средняя

- £ £ + . (8.6),

определяющие доверительный интервал.