Метод найменших квадратів (НК) з використанням Mathcad

Лекція 8

Метод найменших квадратів

Лінійне рівняння

Коли експериментальні дані мають невелику точність, використати методи інтерполяції для їх опису досить важко, а то і неможливо. Наприклад, на рис. 8.1а зображено ряд точок які відображають залежність між y і x. Через ці точки можна провести криву, що є інтерполяційним поліномом з багатьма членами (рис. 8.1б), але її не можна буде використати для інтерполяції, бо вона дасть велику похибку. Через ці точки можна провести іншу лінію - пряму, яка в повній мірі відображує залежність між y і x. Як провести цю лінію буде залежати від того якими критеріями буде користуватися дослідник для зменшення відстані між експериментальними даними і кривою.

Рис. 8.1 Вибір критерію для знаходження коефіцієнтів рівняння апроксимації табличних даних

Один із методів знаходження коефіцієнтів рівнянь регресії, які описують експериментальні точки, називається методом найменших квадратів.

Нехай експериментальні дані представлені в таблиці:

х	x1	x2	x3	...	xn
y	y1	y2	y3	...	yn

Взаємозв’язок або регресію між змінними х і у можна описати лінійною залежністю у випадку, коли коефіцієнт кореляції між параметрами х і у по модулю близький до одиниці:

y = a₀ + a₁ x. (8.1)

Так як пряма не накладається точно на точки, то при знаходженні i -го значення за формулою a₀ + a_i x_i в порівнянні з табличним значенням y_i буде виникати похибка.

y_i – a₀ – a₁x_i = e_i. (8.2)

Задача знаходження коефіцієнтів рівняння полягає в тому, щоб сумарна похибка для всіх n точок була мінімальною:

. (8.3)

Але цей критерій при розрахунку коефіцієнтів рівняння не може бути використаним, бо є додатні і від’ємні значення похибок. І коли сума e_і буде в наведеному вище рівнянні дорівнювати 0, то це не означатиме, що похибок немає і рівняння вибране найкраще (див. рис. 8.2а).Інший варіант критерію - це вибрати мінімум суми модулів похибок:

. (8.4)

В цьому випадку люба лінія (рис. 8.2б), що проходить симетрично поміж точками буде мати мінімальну сумарну похибку. Враховуючи це, у якості критерію оцінки рівняння вибрано мінімум суми квадратів похибок.

(8.5)

Використаємо цей критерій для пошуку коефіцієнтів лінійної залежності.

Представимо вибраний критерій у вигляді функції , де а₀ і а₁ - невідомі. Тоді, якщо функція j мінімальна, то частинні похідні по її невідомих дорівнюють нулю. Запишемо це показавши суму у спрощеному виді:

(8.6)

Спростивши цю систему рівнянь отримаємо:

. (8.7)

Позначимо в цій системі рівнянь суми невідомими: åх_і – S1, åx_i² – S2, åy_і – S3, å(x_i ×y_i) – S4 і утворену систему рівнянь вирішимо методом виключення невідомих – методом Гаусса, спростивши систему з двох рівнянь до одного. Для цього помножимо перше рівняння на S1 і поділимо на n. Після цього віднімемо від першого рівняння друге.

(8.8)

В результаті отримаємо значення коефіцієнтів рівняння:

(8.9)

Для оцінки рівняння використовується середньоквадратична похибка рівняння відносно табличних даних:

, (8.10)

де n – 1 – ступінь волі рівняння, яке має шукані два коефіцієнти.

Приклад 8.1

Знайдемо коефіцієнти лінійного рівняння y = a₀ + a₁ x для табличних даних із шести точок, n = 6

Таблиця 8.1.

і	xi	yi	xi ×yi	хі^2	yрi	eі
	0,5	0,62	0,31	0,25	7,0048	0,00871
	1,0	1,64	1,64	1,00	2,6460	0,0030
	1,5	2,58	3,87	2,25	0,4715	0,01923
	2,0	3,70	7,40	4,00	0,1878	0,01315
	2,5	5,02	12,65	6,25	3,0741	0,01195
	3,0	6,04	18,12	9,00	7,6314	0,00111
å	10,5	19,60	43,89	22,75	21,0156	0,05445

Отримаємо систему рівнянь

Розв’язавши цю систему отримаємо:

 

Шукане рівняння матиме вигляд:

Лінійна залежність має найпростішу методику визначення її коефіцієнтів, але це не означає, що завжди між двома змінними ця залежність лінійна. Дуже часто навіть на око можна визначити що залежність нелінійна. Як ми бачили на малюнку 4, що парабола з меншою похибкою відображає дані. Існує дуже багато нелінійних рівнянь, які можна використати для опису даних, для знаходження коефіцієнтів.

 

Лекція 8

Метод найменших квадратів

Лінійне рівняння

Коли експериментальні дані мають невелику точність, використати методи інтерполяції для їх опису досить важко, а то і неможливо. Наприклад, на рис. 8.1а зображено ряд точок які відображають залежність між y і x. Через ці точки можна провести криву, що є інтерполяційним поліномом з багатьма членами (рис. 8.1б), але її не можна буде використати для інтерполяції, бо вона дасть велику похибку. Через ці точки можна провести іншу лінію - пряму, яка в повній мірі відображує залежність між y і x. Як провести цю лінію буде залежати від того якими критеріями буде користуватися дослідник для зменшення відстані між експериментальними даними і кривою.

Рис. 8.1 Вибір критерію для знаходження коефіцієнтів рівняння апроксимації табличних даних

Один із методів знаходження коефіцієнтів рівнянь регресії, які описують експериментальні точки, називається методом найменших квадратів.

Нехай експериментальні дані представлені в таблиці:

х	x1	x2	x3	...	xn
y	y1	y2	y3	...	yn

Взаємозв’язок або регресію між змінними х і у можна описати лінійною залежністю у випадку, коли коефіцієнт кореляції між параметрами х і у по модулю близький до одиниці:

y = a₀ + a₁ x. (8.1)

Так як пряма не накладається точно на точки, то при знаходженні i -го значення за формулою a₀ + a_i x_i в порівнянні з табличним значенням y_i буде виникати похибка.

y_i – a₀ – a₁x_i = e_i. (8.2)

Задача знаходження коефіцієнтів рівняння полягає в тому, щоб сумарна похибка для всіх n точок була мінімальною:

. (8.3)

Але цей критерій при розрахунку коефіцієнтів рівняння не може бути використаним, бо є додатні і від’ємні значення похибок. І коли сума e_і буде в наведеному вище рівнянні дорівнювати 0, то це не означатиме, що похибок немає і рівняння вибране найкраще (див. рис. 8.2а).Інший варіант критерію - це вибрати мінімум суми модулів похибок:

. (8.4)

В цьому випадку люба лінія (рис. 8.2б), що проходить симетрично поміж точками буде мати мінімальну сумарну похибку. Враховуючи це, у якості критерію оцінки рівняння вибрано мінімум суми квадратів похибок.

(8.5)

Використаємо цей критерій для пошуку коефіцієнтів лінійної залежності.

Представимо вибраний критерій у вигляді функції , де а₀ і а₁ - невідомі. Тоді, якщо функція j мінімальна, то частинні похідні по її невідомих дорівнюють нулю. Запишемо це показавши суму у спрощеному виді:

(8.6)

Спростивши цю систему рівнянь отримаємо:

. (8.7)

Позначимо в цій системі рівнянь суми невідомими: åх_і – S1, åx_i² – S2, åy_і – S3, å(x_i ×y_i) – S4 і утворену систему рівнянь вирішимо методом виключення невідомих – методом Гаусса, спростивши систему з двох рівнянь до одного. Для цього помножимо перше рівняння на S1 і поділимо на n. Після цього віднімемо від першого рівняння друге.

(8.8)

В результаті отримаємо значення коефіцієнтів рівняння:

(8.9)

Для оцінки рівняння використовується середньоквадратична похибка рівняння відносно табличних даних:

, (8.10)

де n – 1 – ступінь волі рівняння, яке має шукані два коефіцієнти.

Приклад 8.1

Знайдемо коефіцієнти лінійного рівняння y = a₀ + a₁ x для табличних даних із шести точок, n = 6

Таблиця 8.1.

і	xi	yi	xi ×yi	хі^2	yрi	eі
	0,5	0,62	0,31	0,25	7,0048	0,00871
	1,0	1,64	1,64	1,00	2,6460	0,0030
	1,5	2,58	3,87	2,25	0,4715	0,01923
	2,0	3,70	7,40	4,00	0,1878	0,01315
	2,5	5,02	12,65	6,25	3,0741	0,01195
	3,0	6,04	18,12	9,00	7,6314	0,00111
å	10,5	19,60	43,89	22,75	21,0156	0,05445

Отримаємо систему рівнянь

Розв’язавши цю систему отримаємо:

 

Шукане рівняння матиме вигляд:

Лінійна залежність має найпростішу методику визначення її коефіцієнтів, але це не означає, що завжди між двома змінними ця залежність лінійна. Дуже часто навіть на око можна визначити що залежність нелінійна. Як ми бачили на малюнку 4, що парабола з меншою похибкою відображає дані. Існує дуже багато нелінійних рівнянь, які можна використати для опису даних, для знаходження коефіцієнтів.

 

Метод найменших квадратів (НК) з використанням Mathcad