Общий вид линейной многофакторной модели

 

Пусть производится  измерений случайной величины  Каждое измерение  зависит от некоторого числа параметров , которые могут принимать или дискретные, или непрерывные значения. Эту зависимость обычно представляют в виде линейной комбинации параметров  с коэффициентами .

 

,

(8.1)

                           

где – индекс фактора (),  – случайная ошибка измерения. Величины , ,…,  называются факторами. Уравнение (8.1) называется линейной многофакторной моделью.

Оценивая с помощью метода наименьших квадратов для уравнения факторы , ,…, , составим сумму , где , ,…,  – средние квадратические оценки случайных факторов,  – значения непрерывных переменных  Уравнение

 

(8.2)

                                     

называется уравнением регрессии. Главной задачей регрессионного анализа является получение оптимальных оценок , ,…, , называемых коэффициентами регрессии. Уравнение (8.1) можно записать в виде

или в матричной форме

 

,

(8.3)

                                                       

где , , ,  – матрица, транспонированная к матрице

.

Оценку факторов , ,…,  в уравнении (8.3) на основе метода наименьших квадратов можно получить по формуле: , где – матрица, обратная к матрице .

Регрессия называется парной, или однофакторной, если рассматривается влияние только одного фактора; и множественной, или многофакторной, если рассматривается влияние одновременно совокупности нескольких факторов. Уравнение парной зависимости можно представить в виде уравнения кривой (в частном случае прямой), называемой линией регрессии. Уравнение регрессии даёт описание корреляционной зависимости результативного признака Y от учтённых факторов. Уравнения регрессии парной зависимости могут иметь различный вид: , , , , , ,  и др., где a и b – некоторые параметры. Они находятся чаще всего, как уже упоминалось, методом наименьших квадратов. Для построения уравнения регрессии по результатам наблюдений сначала полезно построить корреляционное поле. Как оно строится, известно из курса статистики.

 

Y

0

X

 

Рисунок 8.2 – Различные виды корреляционных полей

 

Метод наименьших квадратов

 

Процесс выражения опытных данных функциональной зависимостью с помощью метода наименьших квадратов состоит из 2-х этапов: на первом выбирают вид искомой формулы (строится теоретическая линия регрессии), а на втором – для данной формулы подбирают параметры. На рисунке 8.2 (левая часть) приведены опытные данные, для которых в качестве эмпирической формулы (полученной на основании опытных данных) можно принять линейную зависимость .

Для данных, приведённых на правой части рис. 8.2, эмпирическую зависимость целесообразно принять в виде . В соответствии с идеей метода наименьших квадратов необходимо минимизировать сумму

 

,

(8.4)

                                    

где  – значения опытных данных,  – значение функции, взятое на эмпирической зависимости в точке ,  – число опытов.

В случае линейной эмпирической формулы сумма (8.4) принимает вид

                    

,

(8.5)

                                  

а в случае квадратической зависимости – следующий вид:

 

(8.6)

              

        Минимум функции (8.5) и (8.6) имеют в тех точках, в которых частные производные от S по параметрам a, b, c обращаются в нуль. В результате дифференцирования и элементарных преобразований для определения параметров получают нормальную систему линейных уравнений. В случае линейной эмпирической зависимости составляют нормальную систему двух уравнений с двумя неизвестными a и b:

 

(8.7)

                           

   В случае квадратической зависимости нормальная система состоит из 3-х уравнений с 3-я неизвестными:

   Для гиперболической зависимости :

   Пример 8.1. Опытные данные о значениях x и y представлены в следующей таблице:

 

Таблица 8.1 – Исходные данные

 

X	1	2	3	4	5	6
Y	15	10	2	2	-4	-10

 

Анализ опытных данных показывает, что в качестве эмпирической зависимости можно использовать линейную зависимость . Найти методом наименьших квадратов значение a и b.

    Подставляя полученные в таблице 8.2 данные в систему уравнений (8.7), получаем: ; .

Эмпирическая формула принимает вид: .

Не существует общего правила для выбора подходящего вида эмпирической формулы; можно лишь догадываться о подходящей формуле уравнений по форме кривой, изображающей данные. Однако существуют способы, с помощью которых можно проверить, является ли догадка удачной или нет.

 

Таблица 8.2 – Расчёт вспомогательных данных для получения уравнения регрессии в примере 8.1

 

№№	x i	y i	x i ^2	x i y i
1	1	15	1	15
2	2	10	4	20
3	3	2	9	6
4	4	2	16	8
5	5	-4	25	-20
6	6	-10	36	-60
S	21	15	91	-31

 

Для наиболее часто встречающихся зависимостей с двумя параметрами, а именно: I) , II) , III) , IV) ,

V) , VI) , VII) , эмпирическую формулу можно выбирать с помощью таблице 8.3.

 

Таблица 8.3 – Расчёт вспомогательных величин и для получения уравнений регрессий различных видов

 

Номер формулы			Вид эмпирической формулы
I			y=ax + b
II			y=ax^b
III			y=ab^x, y=ae ^b ^x, где b =ln b
IV
V
VI
VII			y = a lgx + b