Метод наименьших квадратов в задачах оценивания

Распространенным в теории оценивания методом является метод наименьших квадратов (МНК), основы которого были заложены в работах А.А. Маркова [17] и др. исследователей [18]. МНК осуществляет вычисление вероятности того, что получаемая оценка процесса находится в заданном интервале, если известны параметры распределения. При неточно известных параметрах распределения используются либо адаптивные методы оценивания, либо приближенные методы, аппроксимирующие неизвестное распределение каким-либо приближением, например асимптотическим или бутстраповским. При асимптотическом оценивании погрешности асимптотически стремятся к нулю при увеличении числа измерений. На практике измерения поступают последовательно во времени, поэтому при некоторых допущениях осуществляется замена среднего по реализации средним по времени, что позволяет сформировать оценку, с течением времени приближающуюся к истинному значению оцениваемой величины. В бутстраповском подходе осуществляется построение распределение определяется путем построения алгоритма эмпирической обработки данных по результатам сделанной выборки, и его можно применять при малом числе данных, когда, например, измерения слишком дорогие или опасны.

В случае, когда измеряемые случайные величины могут быть представлены временным рядом, на них накладывают ограничения стационарности и эргодичности, что означает независимость характеристик распределения от времени и от начальных данных.

В основе МНК лежит понятие регрессии. Наиболее часто применяют регрессию среднего , которая обозначается в виде

                                  .                               (2.3)

где  – ошибка регрессии.

Пусть регрессия описывается выражением (2.3), в котором множество измерений  является случайными равномерно распределенными независимыми величинами. Если матрица  невырожденная, то вектор параметров , минимизирующий среднеквадратичную ошибку, является единственным решением следующего уравнения:

                         .                      (2.4)

В соответствии с МНК оценка параметров  имеет следующий вид:

(2.5)

Условная дисперсия регрессионной ошибки определяется выражением

                             .                          (2.6)

которая асимптотически сходится по вероятности к истинному значению дисперсии .

При конечном числе выборки МНК оценку можно записать в виде

                                 ,                              (2.7)

где , .

Если в выражение (2.7) ввести матрицу весовых коэффициентов

                              ,                           (2.8)

то получим взвешенный метод наименьших квадратов.

Частным случаем взвешенного МНК является обобщенный МНК, в котором матрица  является обратной матрице дисперсионных ошибок. Следует отметить, что матрица  в обобщенном МНК в большинстве практических случаев является неизвестной, поэтому используют ее оценки.

Оценка по МНК обладает следующими свойствами [18]: математическое ожидание ошибки оценивания равно нулю (несмещенность); получаемая оценка имеет минимум дисперсии (эффективность); при увеличении числа измерений распределение вероятности оценки и ее ошибки стремится к нормальному (асимптотическая нормальность); ошибка сходится к нулю при возрастании числа измерений (состоятельность).

Рассмотрим пример применения МНК. Пусть задано уравнение объекта в виде:

                                   ,                                (2.9)

Требуется оценить неизвестный параметр .

Чтобы воспользоваться оценкой (2.7), представим выражение (2.9) в виде:

                                 ,                            (2.10)

Введем следующие обозначения

                        ,                   (2.10)

Тогда с учетом (2.10) уравнение (2.9) преобразуется к следующему виду

                                         ,                                    (2.11)

Теперь для решения задачи можно применить МНК в форме (4.40). При этом для учета нестационарности параметра  целесообразно ввести скользящий интервал оценивания, состоящий из n отсчетов. Введение такого интервала означает следующее. Вначале накапливается n измерений. После этого вычисляется оценка в соответствии с (2.7). Далее на каждом шаге первый отсчет отбрасывается и добавляется текущий отсчет, т.е. используются измерения от 2 по n+1, от 3 по n+2 и т.д.

В выражении (2.10) присутствует производная по времени . В робототехнических системах скорости измеряются навигационными средствами. Если нет возможности измерить скорость, то для ее оценивания можно использовать следующий алгоритм:

           ,      (2.12)

где  – переменные состояния наблюдателя производной;  – постоянные коэффициенты усиления; – оценка производной по времени.

Ниже приводится текст программ, реализующих алгоритмы (2.7), (2.9) – (2.12).

Основной файл имеет следующий вид.

clc

clear all

close all

m = 1000; x0=[1;0;0]; tk=1; k1=30; k2=900; a1=1; u1=1;

[t_vec,x_vec]=ode45('mnk_estimation_fun',[0 tk],x0,[],m,k1,k2,a1,u1);

n=size(x_vec,1);

i=20;

while (i<n)

y=x_vec(i-19:i,3)-u1/m+0.1*randn(20,1);

x=-x_vec(i-19:i,1);

a1_est(i-19)=(x'*x)^(-1)*x'*y;

t(i-19)=t_vec(i-19);

i=i+1;

end

figure(1); hold on; grid on; plot(t,a1_est,'*r');

В первых трех строках осуществляется очистка экрана и всех переменных и закрываются все открытые ранее графические окна. Далее задаются параметры: масса объекта; начальные условия для уравнений (2.9) и (2.12); время моделирования; коэффициенты усиления наблюдателя; величина оцениваемого параметра и значение входного воздействия. После этого с помощью оператора ode45 интегрируется файл mnk_estimation_fun, содержащий уравнения системы. Далее определяется размер массива n, полученного в результате численного интегрирования. В следующей строке выбирается скользящий интервал, равный 20. После этого в ц while икле осуществляется вычисление векторов (2.10) и оценки (2.7), а также формируются массивы для построения графиков. В последней строке программы производится построение графика.

Интегрируемая функция, сохраняемая под именем mnk_estimation_fun, имеет вид

function y = mnk_estimation_fun(t,x,flag,m,k1,k2,a1,u1)

y=[-a1*x(1)+u1/m; x(3)+k1*(x(1)-x(2)); k2*(x(1)-x(2))];

Данный файл содержит заголовок функции и вектор правых частей уравнений (2.10), (2.12).

На рис. 2.2 приведены результаты выполнения представленных файлов. На рис. 2.2 сплошной линией показан параметр a ₁, а прерывистой линией – оценка a _est. На рис. 2.2 хорошо виден переходный процесс, связанный с переходными процессами в наблюдателе производной (2.12). Кроме того, имеется погрешность в установившемся режиме, составляющая около 3 % и также обусловленная погрешностями оценивания скорости.

Приведенные алгоритмы в силу использования скользящего интервала оценивания можно использовать для оценок изменяющихся параметров или переменных состояния в нелинейных системах, однако для высокой точности необходимо большое число отсчетов. С другой стороны, число отсчетов ограничено из-за того, что интервал оценивания должен быть достаточно мал, чтобы оцениваемый параметр на нем можно было считать приблизительно постоянным.

Рисунок 2.2 – Оценка параметра методом МНК

 

2.3. Проектное задание 5

1. Используя приведенный в разделе 2.2 пример, провести оценивание неизвестного параметра  для варианта заданного в табл. 2.1.

2. Изменяя величину скользящего интервала n, равную 10, 20, 30, 40, 50, определить погрешность в установившемся режиме и занести результаты в табл. 2.2.

3. Изменяя параметры наблюдателя производных (2.12) в соответствии с выражениями:

                  ,                           

определить зависимость ошибки оценивания от быстродействия наблюдателя и результаты занести в табл. 2.3.

 

Таблица 2.1 – Варианты заданий для исследования оценок по МНК

№	Уравнение объекта	Значение u, a 1 и x (0)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

 

Продолжение таблицы 1.2

24
25
26
27
28
29
30

 

Таблица 2.2 – Зависимость погрешности от величины скользящего интервала

Интервал n	10	20	30	40	50
Ошибка

 

Таблица 2.3 – Зависимость погрешности от величины коэффициента усиления

Коэффициент	20	40	60	80	100
Ошибка