Принцип построения аппроксимирующей функции при использовании метода наименьших квадратов

Метод построения аппроксимирующей функции (x) из условия минимума величины Q называется методом наименьших квадратов (далее - МНК).

Наиболее распространен способ выбора функции (x) в виде линейной комбинации

(x) = с 0 0(x) + с 1 1(x) + … + сm m(x),

(5.12)

где ₀(x), ₁(x), …, _m(x) - базисные функции; ;

с _0, с _1, …, с_m - коэффициенты, определяемые при минимизации величины Q.

Математически минимум величины Q достигается при равенстве нулю частных производных от Q по всем коэффициентам с _0, с _1, …, с_m:

	(5.13)
.......................................................................

 

Эта система линейных алгебраических уравнений относительно неизвестных с _0, с _1, …, с_m называется системой нормальных уравнений, а матрица ее коэффициентов имеет следующий вид:

(5.14)

Элементы матрицы (5.14) являются скалярными произведениями базисных функций

.

(5.15)

Так как , то матрицу (5.14) можно переписать в виде

(5.16)

Матрица (5.16) называется матрицей Грама.

Расширенная матрица системы (5.13) получается добавлением справа к (5.16) сто­л­б­ца свободных членов

,

(5.17)

где - скалярные произведения. аналогичные (5.15).

При обработке экспериментальных данных, полученных с погрешностью в каждой узловой точке, обычно начинают с аппроксимации функцией , представленной одной-двумя базисными функциями. После определения коэффициентов с _k вычисляется ве­ли­чина Q по формуле (5.11). Если окажется, что , то необходимо расширить базис добавлением новых базисных функций . Расширение базиса необходимо про­­должать до тех пор, пока не выполнится условие .

Выбор конкретных базисных функций зависит от свойств аппроксимируемой функции f (x), таких, как периодичность, экспоненциальный или логарифмический характер, симметричность, наличие асимптот и т.д. Различные варианты базисов рассматриваются достаточно подробно в [1]. Здесь рассмотрим лишь частный случай, когда аппрксимирующая функция представлена двумя базисными функциями, т.е.

Система уравнений для нахождения коэффициентов A, B выглядит так:

	(5.18)

 

где	;
	, ;
	, .

Решим систему (1) по правилу Крамера:

, .

или окончательно получаем:

1.

, /     Имеет место следующее достаточное условие сходимости метода простых итераций [ 1 ]. Метод простых итераций (4) сходится к единственному решению СЛАУ (2) (а следовательно и к решению исходной СЛАУ (1)) при любом начальном приближении, если какая-либо норма матрицы эквивалентной системы меньше единицы.. Если используется метод Якоби (выражения (3) для эквивалентной СЛАУ), то достаточным условием сходимости является диагональное преобладание матрицы A, т.е. (для каждой строки матрицы A модули элементов, стоящих на главной диагонали, больше суммы модулей недиагональных элементов). Очевидно, что в этом случае меньше единицы и, следовательно, итерационный процесс (4) сходится. Приведем также необходимое и достаточное условие сходимости метода простых итераций. Для сходимости итерационного процесса необходимо и достаточно, чтобы спектр матрицы эквивалентной системы лежал внутри круга с радиусом, равным единице. При выполнении достаточного условия сходимости оценка погрешности решения на k - ой итерации дается выражением: (5) Где x* - точное решение СЛАУ. * Процесс итераций останавливается при выполнении условия, где задаваемая вычислителем точность.Принимая во внимание, что из (5) следует неравенство можно получить априорную оценку необходимого для достижения заданной точности числа итераций. При использовании в качестве начального приближения вектора такая оценка определится неравенством: откуда получаем априорную оценку числа итераций k при Следует подчеркнуть, что это неравенство дает завышенное число итераций, поэтому редко используется на практике. Замечание. Поскольку является только достаточным (не необходимым) условием сходимости метода простых итераций, то итерационный процесс может сходиться и в случае, если оно не выполнено. Тогда критерием окончания итераций может служить неравенство 19:36:58       Способ реализации достаточного условия сходимости метода простых итераций решения алгебра-ических уравнений Достаточное условие сходимости метода простых итераций при решении трансцендентных уравнений. Пусть имеем приведенную линейную систему вида: (12)   где - заданные матрица и вектор и - искомый вектор. Теорема 1. Процесс итерации для приведенной линейной системы (12) сходится к единственному ее решению, если какая-нибудь каноническая норма матрицы меньше единицы, т.е. для сходимости ( - произвольно) достаточное условие есть (13) Доказательство. Отправляясь от производительного вектора , строим последовательность приближений Отсюда (14) Так как при имеем при , то и Здесь использовались известные теоремы из теории математического анализа и алгебры. Теперь, переходя к пределу в (14) при , получим: (15) Этим доказана сходимость итерационного процесса. Кроме того из равенства (15) имеем: