Доверительный интервал для значений зависимой переменной

Разброс значений складывается из разброса значений вокруг линии регрессии и неопределенности положения самой этой линии. Характеристикой разброса значений вокруг линии регрессии является оценка дисперсии s ₀², а неопределенности положения линии регрессии дисперсия D [ Y | x ₀]. Дисперсия суммы двух величин равна сумме дисперсий D [ Y ] = D [ Y | x ₀]+ s ₀², поэтому доверительный интервал для индивидуального значения Y ₀ будет иметь вид

 

 

50. Проверка гипотез относительно параметров линейной регрессии

Рассмотрим критерии проверки гипотез относительно параметров a, b и ².

Заметим, что проверку некоторых гипотез можно связать с построением доверительных интервалов. Пусть, например, проверяется гипотеза H0: ₀ с уровнем значимости, скажем 0.01, при альтернативной гипотезе H1: ≠ ₀. Тогда можно построить 0.99 доверительный интервал для параметра . Если он накрывает параметр ₀, то гипотеза H0 принимается, в противном случае – отклоняется.

Для проверки гипотезы H0: b=b₀ против H1: b ≠ b₀ используется статистика

которая при справедливости нулевой гипотезы имеет распределение Стьюдента с n − 2 степенями свободы. Если расчетное значение статистики Т то гипотеза отвергается.

 

51. Сравнение двух линий регрессии путем сравнения параметров регрессионной модели

Часто требуется сравнить линии регрессии, рассчитанные по двум выборкам. Это можно сделать тремя способами:

ü Сравнить коэффициенты наклона b

ü Сравнить коэффициенты сдвига a

ü Сравнить линии в целом

Если нужно проверить, значимо ли различие в наклоне двух прямых регрессии, критерий Стьюдента t вычисляется по формуле:

 

где b ₁– b ₂ — разность коэффициентов наклона, a s_{b 1– b 2} — ее стандартная ошибка.

Затем вычисленное значение t сравнивают, с критическим значением, имеющим n ₁+ n ₂–4 степени свободы.

Если обе регрессии оценены по одинаковому числу наблюдений, то стандартная ошибка разности

 

Если же объемы выборок различны, следует воспользоваться объединенной оценкой остаточной дисперсии

 

Тогда стандартная ошибка разности

 

Аналогично сравниваются и коэффициенты сдвига a ₁ и а ₂. В этом случае

где a ₁– a ₂ — разность коэффициентов сдвига, a s_{a 1– a 2} — стандартная ошибка разности коэффициентов сдвига

Затем вычисленное значение t сравнивают, с критическим значением, имеющим n ₁+ n ₂–4 степени свободы.

Сравнить две линии регрессии — значит оценить вероятность нулевой гипотезы о совпадении линий.

Коэффициенты регрессии вычисляются так, чтобы разброс точек вокруг линии регрессии был минимален. Разброс этот характеризуется остаточной дисперсией s ₀²: чем меньше остаточная дисперсия, тем лучше прямая регрессии соответствует имеющимся точкам. Следовательно объединив обе выборки в одну и построим для нее линию регрессии получим: в случае если линии регрессии для двух выборок близки, остаточная дисперсия при этом существенно не изменится. И наоборот, если они различаются, то совпадение точек и линии ухудшится и остаточная дисперсия возрастет.

Таким образом порядок сравнения двух линии регрессии:

ü Построить прямую регрессии для каждой из выборок.

ü По остаточным дисперсиям и каждой из регрессий вычислить объединенную оценку остаточной дисперсии

ü Объединить обе выборки. Построить прямую регрессии для получившейся выборки и вычислить остаточную дисперсию

Вычислить «выигрыш» от использования двух раздельных регрессий. Мерой выигрыша служит величина:

 

По и вычислить критерий F:

 

Сравнить вычисленное значение с критическим значением F для числа степеней свободы 2 и n ₁+ n ₂–4. Если полученное значение больше критического, то гипотеза о совпадении линий регрессии должна быть отклонена.

 

52. Сравнение двух линий регрессии в целом

 

53. Линия регрессии, проходящая через начало координат или другую фиксированную точку

Предположим, что еще в начале исследования известно, что прямая регрессии должна пройти через начало координат, т. е. модель регрессии имеет вид

 

В этом случае на основе n имеющихся наблюдений получается следующая оценка единственного параметра b (обозначим ее через B):

 

Несмещенной оценкой для σ ² будет

 

Выражения для (1 − α) доверительного интервала для значения параметра b имеет вид:

 

Вычисления по проверки значимости регрессии с помощью дисперсионного анализа проводят следующим образом

Если ошибки ε_i распределены по нормальному закону, то при справедливости гипотезы Н₀: b = 0 статистика

 

распределена по закону Фишера с числом степеней свободы 1 и n −2.

Нулевая гипотеза будет отклонена на уровне значимости α, если вычисленное значение статистики F будет больше α-процентной точки f _{1; n −2;α} распределения Фишера.

Иногда априори известно, что прямая регрессии должна пройти через заданную точку на плоскости (x ₀, y ₀). Наиболее простой способ построения прямой в этом случае заключается в том, чтобы из каждого значения x вычесть x ₀, а из каждого y вычесть y ₀ и проделать выше описанную процедуру для линии регрессии проходящей через начало координат.

Подогнанная прямая имеет следующий вид:

 

 

54. Обратная простая регрессия

В основе построения градировочных графиков, как правило, лежат методы линейной регрессии. Трудность построения и использования градуировок связана с так называемой проблемой обратной регрессии. Дело в том, что зависимая и независимая переменные меняются местами при использовании готового графика. То, что было независимой переменной, при измерении становится результатом, что порождает существенные проблемы.

Предположим, что необходимо провести калибровку манометра (датчика давления) и при этом известно, что показания манометра являются линейной функцией давления:

Что можно записать в виде уравнения:

 

Для калибровки манометра на него подают n контролируемых давлений x_i (i = 1, 2,…, n) и считывают показания манометра y_i. По этим данным подбирают уравнение

 

которое можно использовать для оценивания (предсказания) неизвестного давления x ₀ при заданном показании манометра y ₀

 

В то же время для x ₀ можно рассчитать границы (1 − α) доверительного интервала:

 

 

где d ₁ и d ₂ – действительные несовпадающие корни уравнения:

 

Конечный доверительный интервал получается тогда и только тогда, когда

 

 

т. е. когда регрессия является значимой.

Если оценка x ₀ не попадает в границы интервала и, то доверительная область для x ₀ состоит их двух полупрямых.

Если же уравнение не имеет действительных корней, то доверительная область совпадает во всей действительной прямой.

 

55. Множественная линейная регрессия

Во многих практических задачах простая (однофакторная) линейная регрессия дает недостаточную информацию о зависимой переменной. Так, например, урожайность какой-либо культуры определяется несколькими факторами, такими как количество осадков, температура, влажность воздуха, физические и химические показатели почвы и т. д. В таких случаях обращаются к множественной регрессионной модели.

Модель множественной линейной регрессии имеет следующий вид:

 

Предположения относительно множественной линейной регрессии аналогичны тем, которые применялись для простой линейной регрессии. В частности, что все x_i считаются фиксированными и для любого набора x_i значения y_i распределены по нормальному закону с постоянной дисперсией.

Для получения оценок параметров b ₀, b ₁,..., b_k методом наименьших квадратов нужно минимизировать по этим параметрам выражение

 

 

Приравняв нулю частные производные

 

после упрощений получается следующая система нормальных уравнений для нахождения оценок параметров:

Пусть b – вектор-столбец размера (k + 1), состоящий из коэффициентов b ₀, b ₁, …, b _k, y – вектор-столбец из n наблюдений, ε – вектор-столбец из n ошибок и X – матрица наблюдений размером n (k + 1):

 

 

Тогда уравнение модели регрессии можно записать в виде:

 

Выражение для D можно представить в матричном виде:

 

тогда вектор оценок b получается из решения системы уравнений:

 

решение которой имеет вид:

Несмещенной оценкой дисперсии является:

 

Дисперсионный анализ множественной линейной регрессии проводится в следующей таблице:

 

56. Нелинейная регрессия

Во многих случаях линейные по параметрам модели регрессии могут служить лишь в качестве первого приближения к истинной модели. Существует много ситуаций, в которых модели такого вида не пригодны. Если мы приходим к заключению, что модель имеет нелинейную форму, то необходимо воспользоваться для описания именно этой, а не более простой линейной моделью.

Нелинейные модели можно подразделить на два класса, которые условно называются внутренне линейными и внутренне нелинейными.

Если модель внутренне линейна, то с помощью подходящего преобразования ее можно привести к стандартной линейной модели.

Например, модель

 

где α и β – неизвестные параметры, ε – мультипликативная случайная ошибка, логарифмированием обеих частей уравнения может быть переведена в линейную форму

к которой можно применять стандартные методы исследования линейной регрессии. Однако следует подчеркнуть, что для того, чтобы критерий значимости и оценка доверительных интервалов были обоснованными, необходимо соблюдение условия: логарифмы ошибок должны подчиняться нормальному закону с нулевым математическим ожиданием и постоянной дисперсией.

Другая модель

 

является внутренне нелинейной, и поэтому общие методы линейной регрессии для этой модели непригодны.

Если модель регрессии линейна, то оценки метода наименьших квадратов будут оптимальными, поскольку они являются несмещенными оценками с минимальной дисперсией.

Но если модель нелинейна, то методы получения наилучших оценок параметров отсутствует. Однако если ошибки ε _i представляют собой независимые случайные величины, распределенные нормально с нулевым математическим ожиданием и постоянной дисперсией, то с помощью метода наименьших квадратов могут быть получены оценки параметров уравнения регрессии, которые минимизируют сумму квадратов отклонений наблюдений от линии регрессии.

Если в случае линейной модели оценки получаются из решения системы линейных уравнений, то в случае нелинейной модели приходится решать систему нелинейных уравнений и соответствующее решение уже нельзя представить в явном виде. По этой причине приходится использовать различные итерационные методы для численного определения оценок метода наименьших квадратов.

Статистические методы линейной регрессии могут быть адаптированы для нелинейной регрессии, однако статистический анализ при этом будет приближенным.

 

57. Оценка результата измерения: Виды измерений

Измерение определяется как “нахождение физической величины опытным путем с помощью специальных технических средств”

Процесс измерения может быть определен как операция, посредством которой определяется отношение одной измеряемой величины к другой однородной величине, принимаемой за единицу.

Величина, выражающая такое отношение, называется численным значением измеряемой величины.

Различают следующие виды измерений физических величин:

ü Прямые измерения

ü Косвенные измерения

ü Совместные измерения

ü Совокупные измерения

Прямыми называются измерения, при которых значения величины находят непосредственно из экспериментальных данных – результатов измерений.

Косвенными называются такие измерения, при которых исследуемая величина определяется с помощью известных соотношений между физическими величинами, найденными в результате прямых измерений.

Совместными называются одновременные измерения двух или нескольких не одноименных величин, характеризующих состояние исследуемого объекта, для нахождения зависимости между этими величинами.

Совокупными называются измерения нескольких одноименных величин, при этом результаты измерений находят путем решения системы линейных уравнений

 

58. Оценка результата измерения: Погрешности измерений

Погрешность измерения характеризует разность между измеренным и истинным значением величины

Вероятность того, что погрешность измерения не превзойдет заданного значения характеризуется надежностью измерения.

Погрешности измерений в общем случае вызываются действием большого числа факторов и могут быть разделены на две большие группы:

ü Случайные погрешности

ü Систематические погрешности

Случайные погрешности обусловлены факторами, которые проявляются весьма нерегулярно и интенсивность появления которых трудно предвидеть

Систематические погрешности обусловлены факторами, которые не изменяются или изменяются закономерно в процессе измерения

Оба вида погрешностей в процессе измерения проявляются в виде суммы:

Описание случайной погрешности полностью определяется законом ее распределения, в качестве которого может выступать, например, нормальный закон

 

 

Случайная погрешность представляет собой разность между результатом единичного измерения x и математическим ожиданием результатов наблюдений

 

Систематическая погрешность представляет собой отклонение математического ожидания результатов наблюдений от действительного (истинного) значения, скажем a, измеряемой величины:

 

 

Различают три вида систематических погрешностей:

ü Первый вид – это систематические погрешности, величина которых может быть измерена экспериментально или вычислена, исходя из определенных теоретических соображений

ü Второй вид систематических погрешностей – ошибки, о которых известно либо предельное значение, либо среднеквадратическое отклонение

ü Третий вид систематических погрешностей – это незамеченные в процессе измерений ошибки, о существовании которых неизвестно

Формы представления погрешностей

ü Абсолютные погрешности

ü Относительные погрешности

ü Приведенные погрешности

 

 

59. Обработка результатов наблюдений при прямых измерениях

В этом случае необходимо оценить математическое ожидание (истинное значение) A по набору результатов наблюдений:

 

1. Исключить из результатов наблюдений известные систематические погрешности
2. Вычислить среднее арифметическое исправленных результатов наблюдений, которое принимается за результат измерения
3. Вычислить оценку среднеквадратического отклонения результата измерения
4. Проверить гипотезу о том, что результаты наблюдений согласуются с нормальным распределением
5. Вычислить доверительные границы случайной погрешности результата измерения, т. е. случайной составляющей погрешности
6. Вычислить границы неисключенной систематической погрешности результата измерения
7. Вычислить доверительные границы погрешности результата измерения

За результат измерения (оценку математического ожидания A) принимают

 

Среднеквадратическое отклонение результата измерения оценивается по формуле

 

 

Если результаты наблюдений согласуются с нормальным распределением, тогда доверительные границы случайной погрешности результата измерения

 

При равномерном распределении неисключенных систематических погрешностей границы этих погрешностей

 

 

Доверительные границы погрешности результата измерения

Здесь

 

 

60. Обработка результатов наблюдений при косвенных измерениях

При косвенных измерениях исследуемая величина A не измеряется непосредственно, а должна рассчитываться на основании известной функциональной зависимости от одной или нескольких первоначально измеряемых величин

 

При этом каждая из оценок â_j получена со своей погрешностью и требуется, зная эти погрешности, найти погрешность измерения величины A.

1. Из результатов наблюдения каждого аргумента исключить известные систематические погрешности
2. Проверить, соответствует ли распределение группы результатов каждого аргумента нормальному закону
3. Установить отсутствие корреляционных связей между каждой парой аргументов a_j
4. Вычислить результаты прямых измерений аргументов â_j
5. Вычислить результат косвенного измерения

 

 

1. Найти оценку среднеквадратического отклонения результата косвенного измерения

 

 

1. Найти оценку неисключенной систематической составляющей погрешности результата косвенного измерения

 

1. Определить доверительные границы общей погрешности результата косвенного измерения

 

 

61. Обработка результатов наблюдений при совместных и совокупных измерениях

Реализация этих видов измерений осуществляется на основе решения системы уравнений

Например необходимо измерить параметры R ₀, α, β характеризующие зависимость сопротивление образца от температуры. С этой целью проводится измерение сопротивления при трех значениях температуры и составляется система уравнений.

 

 

В этом случае решение системы будет единственным и может быть представлено в виде:

 

Однако с целью уменьшения погрешности измерения проводят большое число наблюдений, чем количество измеряемых параметров. Тогда система уравнений может быть записана в виде:

 

Тогда оценки параметров можно найти методом наименьших квадратов, при котором добиваются минимума погрешности:

 

 

62. Обработка результатов наблюдений, распределенных по закону Пуассона

Случайный процесс удовлетворяющий условиям ординарности, стационарности и отсутствия последействия называется пуассоновским и для него вероятность наступления за время t ровно n событий описывается законом распределения Пуассона

 

 

Оценкой интенсивности потока будет величина

 

Если за время T зарегистрировано Nэ событий, то за оценку параметра l в распределении Пуассона следует взять значение зарегистрированных событий: l= Nэ

 

Для нахождения границ доверительных интервалов для различных значений оценки параметра l= Nэ составлены статистические таблицы

Nэ
N1		0,025	0,242	0,619	1,09	1,62	2,2	2,81	3,45	4,79
N2	3,69	5,57	7,23	8,77	10,2	11,7	13,1	14,4	15,8	18,4

 

При λ > 15 распределение Пуассона достаточно хорошо аппроксимируется нормальным распределением с математическим ожиданием и дисперсией равными λ.

Поэтому в экспериментальной работе для предварительной оценки погрешности числа отсчетов за одно измерение часто используют значение ± Nэ (68% доверительный интервал), ±2 Nэ (95% доверительный интервал) и ±3 Nэ (99.8% доверительный интервал)

 

 

63. Анализ временных рядов. Прогнозирование на основе моделей временных рядов

64. Анализ временных рядов. Сглаживание временного ряда