Принцип построения аппроксимирующей функции при использовании метода наименьших квадратов

Метод построения аппроксимирующей функции (x) из условия минимума величины Q называется методом наименьших квадратов ( далее - МНК).

Наиболее распространен способ выбора функции (x) в виде линейной комбинации

(x) = с0 0(x) + с1 1(x) + … + сm m(x),

(5.12)

где ₀(x), ₁(x), …, _m(x) - базисные функции; ;

с_0, с_1, …, с_m - коэффициенты, определяемые при минимизации величины Q.

Математически минимум величины Q достигается при равенстве нулю частных производных от Q по всем коэффициентам с_0, с_1, …, с_m:

	(5.13)
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

 

Эта система линейных алгебраических уравнений относительно неизвестных с_0, с_1, …, с_m называется системой нормальных уравнений, а матрица ее коэффициентов имеет следующий вид:

(5.14)

Элементы матрицы (5.14) являются скалярными произведениями базисных функций

.

(5.15)

Так как , то матрицу (5.14) можно переписать в виде

(5.16)

Матрица (5.16) называется матрицей Грама.

Расширенная матрица системы (5.13) получается добавлением справа к (5.16) сто­л­б­ца свободных членов

,

(5.17)

где - скалярные произведения. аналогичные (5.15).

При обработке экспериментальных данных, полученных с погрешностью в каждой узловой точке, обычно начинают с аппроксимации функцией , представленной одной-двумя базисными функциями. После определения коэффициентов с_k вычисляется ве­ли­чина Q по формуле (5.11). Если окажется, что , то необходимо расширить базис добавлением новых базисных функций . Расширение базиса необходимо про­­должать до тех пор, пока не выполнится условие .

Выбор конкретных базисных функций зависит от свойств аппроксимируемой функции f (x), таких, как периодичность, экспоненциальный или логарифмический характер, симметричность, наличие асимптот и т.д. Различные варианты базисов рассматриваются достаточно подробно в [1]. Здесь рассмотрим лишь частный случай, когда аппрксимирующая функция представлена двумя базисными функциями, т.е.

Система уравнений для нахождения коэффициентов A, B выглядит так:

	(5.18)

 

где	;
	, ;
	, .

Решим систему (1) по правилу Крамера:

, .

или окончательно получаем:

1.

, /     Имеет место следующее достаточное условие сходимости метода простых итераций [ 1 ]. Метод простых итераций (4) сходится к единственному решению СЛАУ (2) (а следовательно и к решению исходной СЛАУ (1)) при любом начальном приближении , если какая-либо норма матрицы эквивалентной системы меньше единицы. . Если используется метод Якоби (выражения (3) для эквивалентной СЛАУ), то достаточным условием сходимости является диагональное преобладание матрицы A, т.е. (для каждой строки матрицы A модули элементов, стоящих на главной диагонали, больше суммы модулей недиагональных элементов). Очевидно, что в этом случае меньше единицы и, следовательно, итерационный процесс (4) сходится. Приведем также необходимое и достаточное условие сходимости метода простых итераций. Для сходимости итерационного процесса необходимо и достаточно, чтобы спектр матрицы эквивалентной системы лежал внутри круга с радиусом, равным единице. При выполнении достаточного условия сходимости оценка погрешности решения на k - ой итерации дается выражением: (5) Где x* - точное решение СЛАУ. * Процесс итераций останавливается при выполнении условия, где задаваемая вычислителем точность.Принимая во внимание, что из (5) следует неравенство можно получить априорную оценку необходимого для достижения заданной точности числа итераций. При использовании в качестве начального приближения вектора такая оценка определится неравенством: откуда получаем априорную оценку числа итераций k при Следует подчеркнуть, что это неравенство дает завышенное число итераций , поэтому редко используется на практике. Замечание. Поскольку является только достаточным (не необходимым) условием сходимости метода простых итераций, то итерационный процесс может сходиться и в случае, если оно не выполнено. Тогда критерием окончания итераций может служить неравенство 19:36:58       Способ реализации достаточного условия сходимости метода простых итераций решения алгебра-ических уравнений Достаточное условие сходимости метода простых итераций при решении трансцендентных уравнений. Пусть имеем приведенную линейную систему вида: (12)   где - заданные матрица и вектор и - искомый вектор. Теорема 1. Процесс итерации для приведенной линейной системы (12) сходится к единственному ее решению, если какая-нибудь каноническая норма матрицы меньше единицы, т.е. для сходимости ( - произвольно) достаточное условие есть (13) Доказательство. Отправляясь от производительного вектора , строим последовательность приближений Отсюда (14) Так как при имеем при , то и Здесь использовались известные теоремы из теории математического анализа и алгебры. Теперь, переходя к пределу в (14) при , получим: (15) Этим доказана сходимость итерационного процесса. Кроме того из равенства (15) имеем: