Лабораторная работа 8. Оптимальный линейный прогноз

  Пусть имеется случайная величина ηс известным законом распределения. Рассмотрим задачу о построении прогноза  значения, которое величина η может принять в эксперименте. Это прогнозируемое значение должно быть определено на основе некоторого критерия оптимальности, состоящего в том, что распределение случайной величины , представляющей собой ошибку прогноза, должно быть как можно сильнее сконцентрировано вблизи нуля. Вообще говоря, для каждого закона распределения существует своя, ему внутренне присущая мера рассеяния, однако можно рассматривать и универсальные меры, применимые к широким классам распределений. Выбирая в качестве такой универсальной меры рассеяния среднее значение (математическое ожидание) квадрата ошибки прогноза, получаем в качестве условия оптимальности принцип наименьших квадратов: 

                                            .                                                    (8.1)

Основной довод в пользу этого принципа состоит в простоте вычислений, к которым он приводит. Получающийся на его основе результат предсказания называют оптимальным среднеквадратным прогнозом. Решая уравнение

                                        

получаем , так что математическое ожидание ошибки прогноза  равно нулю. Такой прогноз называют несмещенным. Подставляя найденное значение  в (8.1), видим, что .

Пусть теперь имеется двумерный случайный вектор с заданным двумерным законом распределения. Предположим, что компонента  вектора X наблюдается в эксперименте, а компонента η ненаблюдаема. Требуется построить процедуру предсказания (оценивания) η в виде линейной функции ξ

                                                      ,

определив коэффициенты  на основе некоторого критерия оптимальности. Принцип наименьших квадратов приводит в этом случае к критериальной функции

                                          .                                             (8.2)

Получающийся на его основе результат предсказания называют оптимальным в среднем квадратическом линейным прогнозом.     

Определение оптимальных значений коэффициентов  из условия (8.2) сводится к решению системы уравнений

                                                          

т.е.   

                                         

Первое уравнение показывает, что математическое ожидание ошибки прогноза

                                         

равно нулю, так что условие (2) автоматически обеспечивает несмещенность прогноза.

Подставляя значение из первого уравнения во второе, получаем

                                    

Коэффициент при  в этом выражении равен, очевидно, дисперсии , свободный член – ковариации , которую удобно выразить через коэффициент корреляции :

                                            

Таким образом,

 ;   ;                                                   (8.3)                                                                                                                      

                               .

Процедуру построения прогноза  по значению наблюдаемой компоненты  удобно рассматривать в геометрической форме. Построим на плоскости хОу прямую

                                                                                            (8.4)

Ее называют прямой среднеквадратической регрессии (СКР) на . Откладывая на оси Ох значение  и перенося его с помощью прямой  на ось О у, получаем прогноз  (рис.8.1).

Заметим, что прямая среднеквадратической регрессии ξ на η, с помощью которой можно строить прогноз  по данному значению η, имеет уравнение 

                                                                                                                 (8.5)

и совпадает с  только в вырожденном случае  Эти две прямые пересекаются в точке с координатами - рис.8.2.

Рис.8.1. Прямая среднеквадратической регрессии η на ξ

 

  Подставив найденные значения  из (8.3) в выражение для G и используя обозначения

находим:

 

          (8.6)

Это выражение, равное (в силу несмещенности) дисперсии ошибки прогноза называют остаточной дисперсией величины η. Из него следует, что если ρ=0, т.е. величины ξ и η некоррелированы, то никакая линейная функция от ξ не дает возможности уменьшить дисперсию ошибки прогноза, она остается такой же, как и в отсутствии информации о ξ. Если же то остаточная дисперсия равна нулю, т.е. между величинами величины ξ и η существует точная линейная связь. В этом смысле коэффициент корреляции ρ можно рассматривать как меру, определяющую тесноту линейной связи между ξ и η.

 

 

Рис.8.2. Прямые среднеквадратической регрессии η на ξ и ξ на η

Задачи

1. Сформировать двумерную выборку из нормального закона (a,S) с заданными параметрами
2. Построить оптимальный среднеквадратический прогноз второй (ненаблюдаемой) компоненты по первой (наблюдаемой)
3. Построить прямые среднеквадратической регрессии первой компоненты на вторую и второй на первую

Пример выполнения работы

Лабораторная работа 8

clear; clc; %оптимальный линейный среднеквадратический прогноз ax=1; ay=2; sx=0.5; sy=0.3; r=-0.5; n=200; E=randn(2,n); S=[sx^2 r*sx*sy; r*sx*sy sy^2]; X=S*E; X(1,:)=X(1,:)+ax; X(2,:)=X(2,:)+ay; x=X(1,:); y=X(2,:); plot(y, 'LineWidth',4); grid; y1=ay+sy/sx*r*(x-ax); SS=corrcoef(x',y'); y2=mean(y)+std(y)/std(x)*SS(1,2)*(x-mean(x)); hold on; plot(y1, 'r', 'LineWidth',4); %hold on; plot(y2,'g','LineWidth',4); figure; x3=ax+sx/sy*r*(y1-ay); plot(x,y1, 'b', 'LineWidth',4); grid; hold on; plot(x3,y1, 'g', 'LineWidth',4);

Рис.8.1. Прогноз второй (ненаблюдаемой) компоненты по первой (наблюдаемой)

Рис.8.2. Прямые среднеквадратической регрессии компонент друг на друга