Принцип наименьших квадратов

В отличие от задач интерполяции, аппроксимация по методу наименьших квадратов не требует выполнения условия (3.2) совпадения функций  и  в узловых точках. Такая задача возникает в самых различных областях науки и техники, например, при обработке экспериментальных данных.

Пусть функция  задана таблицей приближенных значений:

                                                                               (3.3) полученных из эксперимента с ошибками . Такие ошибки могут носить случайный характер и зачастую уровень погрешности бывает значительным (на рис.6,б показан пример графика ”истинной” функции  вместе с точками  - данными эксперимента).

Рис.6

Предположим, что для аппроксимации функции используется многочлен  степени . Если применять метод интерполяции, то тогда необходимо, чтобы выполнялось условие . В этом случае график функции пройдет точно через точки  (смотри рис.6,а), однако при интерполировании происходит повторение ошибок наблюдений, в то время, как при обработке результатов эксперимента желательно, напротив, их сглаживание. Кроме того, при очень большом значении  степень многочлена слишком велика, а это может привести к значительным вычислительным погрешностям.

Пусть . Из различных критериев, позволяющих выбрать параметры  так, чтобы приближенное равенство удовлетворялось наилучшим образом, наиболее часто используют принцип наименьших квадратов. Согласно этому критерию параметры выбирают так, чтобы минимизировать величину

                                          .                                 (3.4)

Эта величина, как видно из формулы, представляет собой сумму квадратов отклонений аппроксимирующего многочлена от табличных значений. Как известно из курса дифференциального исчисления, такая функция многих переменных в точке экстремума (минимума) должна иметь частные производные по всем переменным, равные нулю:

                                                                                      (3.5)

 

Линейная аппроксимация

Ставится задача найти коэффициенты аппроксимирующего многочлена, если предположить, что он имеет линейный вид: . Тогда минимизируемая функция - функция двух переменных , и для нахождения наилучших по принципу наименьших квадратов коэффициентов получаем систему двух линейных алгебраических уравнений с двумя неизвестными:

                          .                                          (3.6)

Эта система может быть записана в виде

                                          ,

 где , , , , .                  (3.7)

Таким образом, вычисляя по этим формулам значения коэффициентов системы и свободных членов, можно найти затем ее решение каким-либо известным методом. Остается лишь запрограммировать формулы (3.7) перед тем, как воспользоваться стандартной процедурой решения систем линейных уравнений, описанной раньше, например. В результате будут найдены значения коэффициентов  и , а график искомой функции будет представлять собой прямую и может выглядеть, например, как на рис.6,в.

Квадратичная аппроксимация

Аналогично решается задача нахождения коэффициентов аппроксимирующего многочлена 2-го порядка. В этом случае он имеет вид  и график представляет собой параболу. Минимизируемая функция - функция трех переменных . Повторяя те же выкладки, что и в предыдущем разделе, можно прийти к системе трех уравнений с тремя неизвестными (проделайте их самостоятельно):

                                          ,

 где , , , ,

       , , , .                                          (3.8)

Как видно из формул (3.8), полученная система симметрична и хорошо решается методом Гаусса, не требуя выбора главных элементов. Однако для многочленов более высокой степени () использование такого метода не рекомендуется, так как вычисленные на ЭВМ параметры могут оказаться полностью искаженными ошибками округления.

Замечание 1. В том случае, когда m=n, найденный методом наименьших квадратов аппроксимирующий многочлен совпадает с интерполяционным многочленом. При этом минимизируемая функция , и значения многочлена в узловых точках совпадают с табличными значениями.

Замечание 2. Как правило, при использовании метода наименьших квадратов предполагается, что . В этом случае метод обладает некоторыми сглаживающими свойствами.

 

Численное интегрирование

 

В прикладных исследованиях часто возникает необходимость вычисления определенных интегралов . К сожалению, в подавляющем большинстве случаев получить значение такого интеграла известными аналитическими методами не удается. Например, интеграл  широко используется при исследовании процессов теплообмена и диффузии, в статистической физике и теории вероятностей. Однако его значение не может быть выражено в виде конечной комбинации элементарных функций. В других случаях окончательный результат выражается чрезмерно громоздкой формулой, неудобной для дальнейших вычислений. Иногда подынтегральная функция задана таблично, и точное значение интеграла получить невозможно. Тогда применяют специальные методы численного интегрирования.

 

Определение: квадратурной формулой называется приближенное равенство вида                 ,                                            (4.1)

где  - некоторые точки из отрезка , называемые узлами, а  - числовые коэффициенты, называемые весами квадратурной формулы. Величина  называется погрешностью (или остаточным членом) квадратурной формулы.

 

Ниже рассматриваются некоторые широко распространенные простые квадратурные формулы. Все они основаны на геометрических представлениях. Будем интерпретировать интеграл как площадь криволинейной трапеции, ограниченной графиком функции  (при ), осью абсцисс и прямыми  и  (рис.7).

 

Рис.7

 

Разобьем отрезок  на элементарные отрезки  точками . Интеграл разобьется при этом на сумму элементарных интегралов , где , что соответствует разбиению площади исходной криволинейной трапеции на сумму площадей элементарных криволинейных трапеций (рис.7). Введем обозначения: , где  - середина элементарного отрезка. Для простоты шаг  будем считать постоянным ().

Формулы прямоугольников

Заменим приближенно площадь элементарной криволинейной трапеции площадью прямоугольника, основанием которого является отрезок , а высота равна либо  (рис.8,а), либо  (рис.8,б), либо  (рис.8,в).

 

Рис.8

 

Если взять за высоту прямоугольника значение , то , тогда, суммируя все элементарные площади, получаем квадратурную формулу левых прямоугольников:

                                 .                                                           (4.2)

Во втором случае , и тогда приходим к квадратурной формуле правых прямоугольников:

                                 .                                                           (4.3)

Наконец, если за высоту прямоугольника брать значение функции  в средней точке, то , а составная формула выглядит как

                                 .                                                      (4.4)

Названия формул (4.2) и (4.3) следуют из геометрической иллюстрации (рис.8). В соответствии с этим приближенное равенство (4.4) иногда называют формулой центральных прямоугольников. Ниже, когда будут рассматриваться вопросы о точности квадратурных формул, выяснится, что она точнее на порядок по сравнению с (4.2) и (4.3). По этой причине для численного интегрирования гораздо чаще применяют (4.4) и называют ее просто формулой прямоугольников. Для всех трех полученных формул их применение означает приближенную замену площади исходной криволинейной трапеции площадью ступенчатой фигуры, состоящей из элементарных прямоугольников (рис.9 - для формулы центральных прямоугольников).

Рис.9

Формула трапеций

Соединив отрезком точки  и  на графике функции , получим трапецию (рис.10). Заменим теперь приближенно площадь элементарной криволинейной трапеции площадью построенной трапеции. Тогда получим элементарную квадратурную формулу трапеций . Пользуясь этой формулой для каждой элементарной трапеции и суммируя их площади, получим составную квадратурную формулу трапеций:

.                                              (4.5)

Эта формула соответствует приближенной замене площади исходной криволинейной трапеции площадью фигуры, ограниченной ломаной линией, проходящей через точки .

 

                

Рис. 10                                                     Рис. 11

 

Формула Симпсона (парабол)

Если площадь элементарной криволинейной трапеции заменить площадью фигуры, расположенной под параболой, проходящей через точки  ,  и , то получим приближенное равенство . Здесь  - интерполяционный многочлен 2-й степени с узлами . На рис.11 показана такая парабола, а график функции  на элементарном отрезке для большей наглядности изображен искривленным. Если построить интерполяционный многочлен по указанным трем точкам, он будет выражаться формулой

.

Интегрирование полученного выражения на элементарном отрезке приводит к равенству

.                                  

Таким образом, получена элементарная квадратурная формула Симпсона. Применяя эту формулу и суммируя результаты для всего отрезка интегрирования, выводим составную квадратурную формулу Симпсона:

                        (4.6)

 

Замечание 1. Учитывая геометрическую интерпретацию формулы Симпсона, ее иногда называют формулой парабол.

Замечание 2. В случае, когда число элементарных отрезков разбиения четно (), в формуле Симпсона можно использовать узлы лишь с целыми индексами:

                                                             (4.7)

Эта формула легко вытекает из (4.6), если при выводе принять  за элементарный отрезок длины .

Оценка погрешности

Итак, полученные формулы (4.2)-(4.7) позволяют приближенно вычислять определенные интегралы. Программирование здесь сводится к тривиальному использованию операторов цикла для вычисления сумм, поэтому нет необходимости приводить здесь тексты программ. Другой важный вопрос - в каких случаях применять ту или иную формулу - связан с погрешностью вычислений.

Оценим погрешность выведенных квадратурных формул. Будем использовать обозначение   - максимальное значение производной -го порядка от подынтегральной функции на отрезке . Выведем сначала оценку погрешности для формулы (4.2). Представим ее остаточный член в виде:

                              .

Пусть функция  непрерывно дифференцируема. Тогда, используя формулу Тейлора , где , имеем , и тогда

                   .

Так как , то, заменяя , приходим к оценке погрешности:

                                          .                                                             (4.8)

В точности такая же оценка погрешности справедлива и для формулы правых прямоугольников. Ее можно получить, проведя аналогичные выкладки при разложении функции по формуле Тейлора в окрестности точки .

Подобным же способом оцениваются погрешности других квадратурных формул. Справедливы следующие утверждения (без доказательства):

 

Пусть функция  дважды непрерывно дифференцируема на отрезке интегрирования. Тогда для составной квадратурной формулы прямоугольников (центральных) справедлива оценка погрешности:

                                          ,                                                           (4.9)

а для формулы трапеций:

                                          .                                                   (4.10)

Приведенные оценки показывают, что формулы (4.2) и (4.3) имеют лишь первый порядок точности относительно , поэтому они используются крайне редко. Предпочтительнее использование формул (4.4) и (4.5), которые имеют второй порядок точности. Однако вычисление интегралов по формуле Симпсона дает четвертый порядок точности относительно  (для функции  здесь требуется существование непрерывной производной четвертого порядка):

                                          .                                                  (4.11)

Замечание3. Из оценок (4.9)-(4.11) следует, что формулы прямоугольников и трапеций точны для многочленов первой степени, а формула Симпсона - для многочленов четвертой степени.

Замечание4. При вычислении интегралов по приведенным выше квадратурным формулам необходимо учитывать тот фактор, что при увеличении числа узлов возрастает влияние ошибок округления, поэтому для повышения точности рекомендуется не столько увеличивать это число, сколько применять более точную формулу.