Оптимальный среднеквадратический линейный прогноз

    Пусть имеется случайная величина ηс известным законом распределения. Рассмотрим задачу о построении прогноза  значения, которое величина η может принять в эксперименте. Это прогнозируемое значение должно быть определено на основе некоторого критерия оптимальности, состоящего в том, что распределение случайной величины , представляющей собой ошибку прогноза, должно быть как можно сильнее сконцентрировано вблизи нуля. Вообще говоря, для каждого закона распределения существует своя, ему внутренне присущая мера рассеяния, однако можно рассматривать и универсальные меры, применимые к широким классам распределений. Выбирая в качестве такой универсальной меры рассеяния среднее значение (математическое ожидание) квадрата ошибки прогноза, получаем в качестве условия оптимальности принцип наименьших квадратов: 

                          .                                         (4.1)

Основной довод в пользу этого принципа состоит в простоте вычислений, к которым он приводит. Получающийся на его основе результат предсказания называют оптимальным среднеквадратным прогнозом. Решая уравнение

получаем , так что математическое ожидание ошибки прогноза  равно нулю. Такой прогноз называют несмещенным. Подставляя найденное значение  в (4.1), видим, что .

Пусть теперь имеется двумерный случайный вектор с заданным двумерным законом распределения. Предположим, что компонента  вектора X наблюдается в эксперименте, а компонента η не наблюдаема. Требуется построить процедуру предсказания (оценивания) η в виде линейной функции ξ

                                                      ,

определив коэффициенты  на основе некоторого критерия оптимальности. Принцип наименьших квадратов приводит в этом случае к критериальной функции

                                          .                                              (4.2)

Получающийся на его основе результат предсказания называют оптимальным в среднем квадратическом линейным прогнозом.     

Определение оптимальных значений коэффициентов  из условия (4.2) сводится к решению системы уравнений

                                                          

т.е.   

                                         

Первое уравнение показывает, что математическое ожидание ошибки прогноза

                                         

равно нулю, так что условие (4.2) автоматически обеспечивает несмещенность прогноза. Подставляя значение из первого уравнения во второе, получаем

                                        

Коэффициент при  в этом выражении равен, очевидно, дисперсии , свободный член – ковариации , которую удобно выразить через коэффициент корреляции :

Таким образом,

 ;   ;                                                                                                          

.                                       (4.3)

Процедуру построения прогноза  по значению наблюдаемой компоненты  удобно рассматривать в геометрической форме. Построим на плоскости хОу прямую

                                                                          (4.4)

Ее называют прямой среднеквадратической регрессии (СКР) на . Откладывая на оси Ох значение  и перенося его с помощью прямой  на ось О у, получаем прогноз  (рис.4.1).

Заметим, что прямая среднеквадратической регрессии ξ на η, с помощью которой можно строить прогноз  по данному значению η, имеет уравнение 

                                                                          (4.5)

и совпадает с  только в вырожденном случае  Эти две прямые пересекаются в точке с координатами - см. рис.4.2.

Рис.4.1. Прямая среднеквадратической регрессии η на ξ

  Подставив найденные значения  из (7.3) в выражение для G и используя обозначения  находим:

          (4.6)

Это выражение, равное (в силу несмещенности) дисперсии ошибки прогноза называют остаточной дисперсией величины η. Из него следует, что если ρ=0, т.е. величины ξ и η некоррелированы, то никакая линейная функция от ξ не дает возможности уменьшить дисперсию ошибки прогноза, она остается такой же, как и в отсутствии информации о ξ. Если же то остаточная дисперсия равна нулю, т.е. между величинами величины ξ и η существует точная линейная связь. В этом смысле коэффициент корреляции ρ можно рассматривать как меру, определяющую тесноту линейной связи между ξ и η.

Рис.4.2. Прямые среднеквадратической регрессии η на ξ и ξ на η

 

Пример 4.1. Смоделировать двумерную выборку с заданными параметрами, построить теоретическую прямую СКР и прогнозы по ней второй компоненты

Документ 4.1. Файл-сценарий в ИМС MatLab

clear; clc; %Оптимальный среднеквадратический линейный прогноз sx=1; sy=3; ro=0.9; ax=1; ay=1; S=[sx^2 ro*sx*sy; ro*sx*sy sy^2]; n=100;                           %число точек E=randn(2,n); X=sqrtm(S)*E;      %поворот осей X(1, J =X(1, J +ax;                %сдвиг центра X(2, J =X(2, J +ay; xx=linspace(min(X(1, J),max(X(1, J),2); yy=ay+sy/sx*ro*(xx-ax);          %прямая СК регрессии   r=40;                            %номер точки xr=X(1,r); yr=interp1(xx,yy,xr);            % прогноз   YY=interp1(xx,yy,X(1, J); R=std(X(2, J -YY); plot(X(1, J,X(2, J, ’sr’, ’LineWidth’,2); grid; hold on; plot(xx,yy, ’LineWidth’,2); hold on; plot(X(1, J,YY, ’og’, ’LineWidth’,2);   disp('Ожидаемая СКО прогноза'); disp(sy^2*(1-ro^2)); disp('Оцененная СКО прогноза'); disp(R)

 

Пример 4.2. Смоделировать двумерную выборку с заданными параметрами, построить теоретическую прямую СКР и ее оценку, дать прогнозы второй компоненты по оцененной прямой СКР.

 

Ожидаемая СКО прогноза 1.7100 Оцененная СКО прогноза  1.2865

Рис.4.3. Результаты работы сценария из Документа 7.1

     

Документ 4.2. Файл-сценарий в ИМС MatLab

clear; clc; %Оптимальный среднеквадратический линейный прогноз sx=1; sy=3; ro=0.9; ax=1; ay=1; S=[sx^2 ro*sx*sy; ro*sx*sy sy^2]; n=50;                            %число точек E=randn(2,n); X=sqrtm(S)*E;      %поворот осей X(1, J =X(1, J +ax;                %сдвиг центра X(2, J =X(2, J +ay;  %Прямая СК регрессии (параметры известны) xx=linspace(min(X(1, J),max(X(1, J),2); yy=ay+sy/sx*ro*(xx-ax); %Прямая СК регрессии (параметры неизвестны) a=mean(X’); SS=cov(X’); Sx=sqrt(SS(1,1)); Sy=sqrt(SS(2,2)); RO=SS(1,2)/(Sx*Sy); yyy=a(2)+Sy/Sx*RO*(xx-a(1));  YY=interp1(xx,yy,X(1, J); R=std(X(2, J -YY); %оценка погрешностей (параметры известны) YYY=interp1(xx,yyy,X(1, J); RR=std(X(2, J -YYY); %оценка погрешностей (параметры неизвестны) plot(X(1, J,X(2, J,’sr’,’LineWidth’,2); grid; hold on; plot(xx,yy,’LineWidth’,2); hold on; plot(xx,yyy,’g’,’LineWidth’,2); disp('Ожидаемая СКО прогноза (параметры известны)'); disp(sy^2*(1-ro^2)); disp('Оцененная СКО прогноза (параметры известны)'); disp(R); disp('Ожидаемая СКО прогноза (непараметры неизвестны)'); disp(RR)

Ожидаемая СКО прогноза (параметры известны)       1.7100 Оцененная СКО прогноза (параметры известны)           1.2725 Ожидаемая СКО прогноза (непараметры неизвестны) 1.2372

Рис. 4.4. Облако выборочных точек, теоретическая и оцененная по 50 точкам прямая СКР

Множественная регрессия

  Пусть теперь имеется случайный вектор Z = [ x ₁,…, x_k, y ₁,…, y_r ] ^T, который подчиняется (k + r) – мерному нормальному закону N_k+r (a, Σ) с известными вектором средних a и ковариационной матрицей Σ. Рассмотрим случай, когда первые k компонент x ₁,…, x_k вектора Z наблюдаются в эксперименте, а оставшиеся компоненты y ₁,…, y_r являются ненаблюдаемыми. Требуется получить оценки ненаблюдаемых компонент.

  Пример 4.3. В лабораторных условиях текущее состояние смазочных материалов контролируется по 16 параметрам и имеется достаточная база данных для оценки их средних и их ковариационной матрицы. В полевых условиях экспресс-анализ позволяет проконтролировать только 7 параметров. На основе знания значений этих 7 параметров требуется оценить оставшиеся 9 показателей.

  Пример 4.4. Для технологической установки имеется база данных, содержащая значения выходных параметров (продукта) при различных комбинациях входных и управляющих параметров. Предположим, что эта база достаточна для оценивания средних и ковариационной матрицы всего вектора контролируемых показателей.

  А) Заданы текущие значения входных (сырья) и управляющих параметров. Требуется получить прогноз вектора выходных параметров установки (продукта).

  Б) Заданы требуемые значения выходных параметров и используемые в настоящий момент значения управляющих параметров. Требуется сформировать требования к входным параметрам (сырью).

  В) Заданы текущие значения входных параметров (свойства сырья). Требуется найти комбинацию управляющих параметров, оптимизирующих целевую функцию, которая отражает свойства выходных показателей (например, в единицах стоимости).

Согласно условиям приведенных задач, средние и ковариационная матрица вектора Z имеют блочную структуру:

Будем сразу рассматривать центрированные величины:

Требуется определить матрицу C размерности , доставляющую минимум функции потерь G (C), которая представляет собой сумму дисперсий погрешностей прогноза:

             (4.7)

В проведенных преобразованиях использован тот факт, что если оба матричных произведения AB и BA имеют смысл, то tr (AB) = tr (BA).

   Функция матричного аргумента G (C) является выпуклой и имеет единственный экстремум – минимум. Вычислим ее производную по матрице С и приравняем ее нулю, используя очевидное соотношение  При дифференцировании нужно все время иметь в виду, что производная матричной функции по матрице С размерности должна иметь тот же размер .

Возвращаясь к исходным величинам X, Y, получаем уравнение множественной линейной регрессии Y на X:

                                               (4.8)

(сравни с формулой (4.5)). 

   Ковариационную матрицу ошибок прогноза в компактной форме представить не удается, но можно вычислить ее след (упрощение достигается за счет того, что tr (AB) = tr (BA)):

    (4.9)

(сравни с формулой (4.6)). На формуле (4.9) основаны различные определения множественного коэффициента корреляции.        

   Аналогичная техника позволяет решить, например, такую задачу. Имеется одна ненаблюдаемая компонента. Требуется построить линейную комбинацию наблюдаемых компонент, в максимальной степени коррелированную с данной ненаблюдаемой.

    Пример 4.5. Требуется спрогнозировать биржевой курс акций данной компании по известным курсам ряда других компаний с некоторым отставанием во времени.