Лабораторная работа 9. Множественная регрессия

  Пусть теперь имеется случайный вектор Z = [ x ₁,…, x_k, y ₁,…, y_r ] ^T, который подчиняется (k+ r) – мерному нормальному закону N_k+r (a, Σ) с известными вектором средних a и ковариационной матрицей Σ. Рассмотрим случай, когда первые k компонент x ₁,…, x_k вектора Z наблюдаются в эксперименте, а оставшиеся компоненты y ₁,…, y_r являются ненаблюдаемыми. Требуется получить оценки ненаблюдаемых компонент.

  Пример 9.1. В лабораторных условиях текущее состояние смазочных материалов контролируется по 16 параметрам и имеется достаточная база данных для оценки их средних и их ковариационной матрицы. В полевых условиях экспресс-анализ позволяет проконтролировать только 7 параметров. На основе знания значений этих 7 параметров требуется оценить оставшиеся 9 показателей.

  Пример 9.2. Для технологической установки имеется база данных, содержащая значения выходных параметров (продукта) при различных комбинациях входных и управляющих параметров. Предположим, что эта база достаточна для оценивания средних и ковариационной матрицы всего вектора контролируемых показателей.

  а) Заданы текущие значения входных (сырья) и управляющих параметров. Требуется получить прогноз вектора выходных параметров установки (продукта).

  б) Заданы требуемые значения выходных параметров и используемые в настоящий момент значения управляющих параметров. Требуется сформировать требования к входным параметрам (сырью).

  в) Заданы текущие значения входных параметров (свойства сырья). Требуется найти комбинацию управляющих параметров, оптимизирующих целевую функцию, которая отражает свойства выходных показателей (например, в единицах стоимости).

 

Согласно поставленным условиям, средние и ковариационная матрица вектора Z имеют блочную структуру:

Будем сразу рассматривать центрированные величины:

Требуется определить матрицу C размерности , доставляющую минимум функции потерь G (C), которая представляет собой сумму дисперсий погрешностей прогноза:

             (9.1)

В проведенных преобразованиях использован тот факт, что если оба матричных произведения AB и BA имеют смысл, то tr (AB) = tr (BA).

   Функция матричного аргумента G (C) является выпуклой и имеет единственный экстремум – минимум. Вычислим ее производную по матрице С и приравняем ее нулю, используя очевидное соотношение  При дифференцировании нужно все время иметь в виду, что производная матричной функции по матрице С размерности должна иметь тот же размер .

Возвращаясь к исходным величинам X, Y, получаем уравнение множественной линейной регрессии Y на X:

                                               (9.2)

(сравни с формулой (8.5)). 

   Ковариационную матрицу ошибок прогноза в компактной форме представить не удается, но можно вычислить ее след (упрощение достигается за счет того, что tr (AB) = tr (BA)):

    (9.3)

(сравни с формулой (6)). На формуле (9.3) основаны различные определения множественного коэффициента корреляции.        

   Аналогичная техника позволяет решить, например, такую задачу. Имеется одна ненаблюдаемая компонента. Требуется построить линейную комбинацию наблюдаемых компонент, в максимальной степени коррелированную с данной ненаблюдаемой.

    Пример 9.5. Требуется спрогнозировать биржевой курс акций данной компании по курсам ряда других компаний с некоторым отставанием во времени.

 

Задачи

1. Сформировать 3-мерную выборку из нормального закона (a,S) с заданными параметрами
2. Построить оптимальный среднеквадратический прогноз третьей (ненаблюдаемой) компоненты по двум первым (наблюдаемым)

Пример выполнения работы

Лабораторная работа 9

clear; clc; clf; s1=1; s2=0.5; s3=0.3; r12=0.8; r13=0.9; r23=0.75; S=[s1^2 r12*s1*s2 r13*s1*s3; r12*s1*s2 s2^2 r23*s2*s3; r13*s1*s3 r23*s2*s3 s3^2]; n=100; X0=randn(n,3); X=X0*sqrtm(S); SS=cov(X); Sxx=SS(1:2,1:2); Sxy=SS(1:2,3); Syy=SS(3,3); y=X(:,3)'; y1=Sxy'*inv(Sxx)*X(:,1:2)'; plot(y, 'LineWidth',2); grid; hold on; plot(y1, 'r', 'LineWidth',2); S1xx=S(1:2,1:2); S1xy=S(1:2,3); S1yy=S(3,3); y2=S1xy'*inv(S1xx)*X(:,1:2)'; %hold on; plot(y2,'g','LineWidth',2); cov(y1-y) cov(y2-y)

Рис.9.1. Прогноз третьей (ненаблюдаемой) компоненты по первым двум (наблюдаемым)