Определение параметров эмпирической формулы (регрессионный анализ)

Одной из широко распространенных задач обработки данных является представление их совокупности некоторой функцией у(х). Задача регрессии заключается в получении таких параметров этой функции, чтобы функция приближала облако исходных точек с наименьшей среднеквадратичной погрешностью. Чаще всего используется линейная регрессия, при которой функция у(х) имеет вид и описывает отрезок прямой. К линейной регрессии можно свести многие виды нелинейной регрессии при двухпараметрических зависимостях у(х).

Если вид эмпирической формулы выбран, то возникает задача определения наилучших коэффициентов (параметров), входящих в эту формулу.

В общем виде эта задача ставится следующим образом: пусть данная система значений приближённо описывается формулой вида

(4)

где известная функция и неизвестные постоянные, число которых m обычно меньше числа точек , т.е. m < n. Требуется определить эти постоянные.

Если значение () точно связаны зависимостью (4), то параметры могут быть найдены из системы уравнений

(5)

Однако на практике значения () содержат неизбежные ошибки, а число уравнений системы (5) значительно больше числа неизвестных. Поэтому система (5), как правило, является несовместной. Приходится отыскивать наилучшие значения , приближённо удовлетворяющие системе (5), т.е. такие, что невязки (уклонения)

являются возможно малыми по абсолютной величине.

Геометрически задача сводится к проведению кривой вида (4), наиболее тесно примыкающей к данной системе точек.

Наиболее распространёнными являются эмпирические формулы, линейно зависящие от параметров, т.е. формулы вида

В этом случае система (5) линейная и исследование её сравнительно просто. При нелинейной зависимости в (4) от параметров система (5) также нелинейная и нахождение точных или приближённых решений её представляет трудную задачу; обычно такую систему приближённо заменяют линейной.

Рассмотрим три наиболее употребительных метода определения параметров эмпирической формулы: метод выбранных точек; метод средних и метод наименьших квадратов.

Метод выбранных точек

Пусть для системы опытных данных построена эмпирическая формула

(6)

содержащая m (m<n) свободных параметров , где известная функция.

На координатной плоскости Oxy с возможной аккуратностью проводим плавную кривую Г, наиболее близко примыкающую к точкам . На кривой Г выбираем систему m (по числу параметров) точек , не обязательно совпадающих с точками . При этом желательно, чтобы выбранные точки были по возможности равномерно распределены по всей рабочей части кривой Г и возможно дальше отстояли друг от друга, и в то же время не лежали бы слишком близко к мало надёжным концевым точкам и . Для удобства обычно берут абсциссы этих точек совпадающими с крупными делениями оси Ox координатной сетки. После этого со всей тщательностью замеряют координаты . Тогда параметры , в общем случае, могут быть определены из системы m уравнений

Для случая квадратичной зависимости коэффициенты a, b и c определяются из системы трёх уравнений

Заметим, что метод выбранных точек содержит геометрические построения, допускающие известный произвол, и поэтому является грубым. К нему следует прибегать в тех случаях, когда точность исходных данных относительно невелика. Для увеличения точности метода рекомендуется пользоваться сеткой с мелкими делениями. Достоинство метода – простота применения и наглядность.

Метод средних

Если в эмпирическую формулу

(7)

подставить исходные данные , то левая часть формулы, вообще говоря, не будет равна правой. Разности (невязки)

называются уклонениями и представляют собой расстояния по вертикали точек от графика эмпирической функции (7), взятые со знаком плюс (+) или со знаком минус (-).

Согласно методу средних за наилучшее положение эмпирической кривой К принимается то, для которого равна нулю алгебраическая сумма Е всех уклонений , т.е. должно иметь место равенство

(8)

Для определения по методу средних постоянных , где m < n, все уклонения разбивают на m групп, содержащих примерно одинаковые количества уклонений. Приравнивая нулю алгебраическую сумму уклонений, входящих в каждую из этих групп, получаем систему, содержащую столько уравнений, сколько имеется неизвестных коэффициентов .

Решив эту систему, найдём коэффициенты . Заметим, что поскольку сумма уклонений для каждой группы равна нулю, то равна нулю также и сумма Е всех уклонений, т.е. для нашей системы равенство (8) будет выполнено.

Метод наименьших квадратов

Пусть известен вид эмпирической формулы

(9)

и - уклонения эмпирической формулы (9) от исходных данных ().

Согласно методу наименьших квадратов наилучшими коэффициентами считаются те, для которых сумма квадратов уклонений

будет минимальной. Отсюда, используя необходимые условия экстремума функции нескольких переменных, получаем так называемую нормальную систему для определения коэффициентов

(10)

Если система (10) единственное решение, то оно будет искомым.

Система (10) упрощается, если эмпирическая функция линейная относительно параметров . Действительно, полагая?, будем иметь:

,

где

Отсюда

(11)

Введя сокращенные обозначения и , систему (5) можно записать в виде нормальной системы

(11’)

В частном случае, если эмпирическая функция представляет полином то:

и

Следовательно, нормальная система (11’) будет иметь вид

Метод наименьших квадратов обладает тем преимуществом, что если сумма S квадратов уклонений мала, то сами эти уклонения также малы по абсолютной величине. Для метода средних, где составляется алгебраическая сумма уклонений, такого вывода сделать нельзя.

Недостатком метода наименьших квадратов является громоздкость вычислений. Поэтому к нему прибегают обычно при обработке наблюдений высокой точности, когда нужно получить также весьма точные значения параметров. Заметим, что в этом случае промежуточные вычисления нужно проводить с надлежащим количеством десятичных знаков, так как в противном случае при неблагоприятных условиях искомые коэффициенты будут иметь мало верных знаков. Но грубые значения этих коэффициентов могут быть получены значительно проще, т.е. применение метода не будет оправданно. В частности, если происходит потеря цифр при вычитании, то вычисления должны быть проведены с достаточным количеством запасных верных значащих цифр. Здесь следует руководствоваться следующим правилом: если численные значения коэффициентов желательно иметь с m верными значащими цифрами и если предварительные вычисления показывают, что первые p цифр исчезнут при вычитании, то вычисления должны быть произведены с m + p + 1 верными значащими цифрами на всех стадиях работы.