Парадокс оцінок математичного сподівання.

Парадокс.

Нехай  - реалізація вибірки  з розподілу . Розподіл  залежить від параметра , де  - математичне сподівання розподілу . Значення параметра  в розподілі  невідомо, і його необхідно оцінити за реалізацією  вибірки .

Якщо за розподіл  обрати нормальний розподіл , то оцінка

 

 

незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка  не є незміщеною оцінкою з найменшою дисперсією.

У цьому і полягає парадокс оцінки математичного сподівання.

Пояснимо парадокс.

Розглянемо сім’ю розподілів  на , які залежать від параметра  і задаються щільністю .

Кількість інформації за Фішером має вигляд:

 

 (1)

 

За умов, що щільність  ми вважаємо, що підінтегральний вираз дорівнює нулю. Отже формула (1) перепишеться у вигляді:

 

 (2)

 

В 1965 роціКаган, Ліннік та Раосформулювали теорему, згідно з якою у класі щільностей ,  зі скінченою дисперсією , які задовольняють умови 1.  - неперервно - диференційовна функція.2.  при , нерівність Крамера-Рао

 

 

обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що середне значення розподілу  дорівнює нулеві. Позначимо через  множину точок , для яких щільність  додатна.

Інтеграл по множині  від х помножене на похідну від щільності дорівнює - 1:

 

.

 

Користуючись нерівністю Коші - Буняковського для інтегралів здобуваємо нерівність

 

, (3)

 

при цьому знак рівності досягається тоді й тільки тоді, коли справедлива формула

 

 (4)

 

Розв’язуючи диференціальне рівняння (4), знайдемо щільність

 

. (5)

 

Для знаходження сталих  скористаємося тим, що 1)  - інтеграл від щільності дорівнює 1,2)  - середнє дорівнює 0 та 3)  - дисперсія скінчена й дорівнює .

Отже, маємо щільність нормального розподілу з параметрами :

 

.

 

Теорема доведена.

Отже парадокс показує, що за виключенням нормального розподілу, середнє арифметичне вибірки не є незміщеною оцінкою з найменшою дисперсією для математичного сподівання розподілу .

Парадокс оцінок дисперсії.

Історія парадоксу.

Найважливішою характеристикою випадкових величин і їх розподілів разом з математичним сподіванням є дисперсія.

Нехай  вибірка з розподілу . Якщо дисперсія  розподілу  скінченна, то при відомому математичному сподіванні  розподілу  вибіркова дисперсія дорівнює виразу

 

 

і є незміщеною оцінкою дисперсії .

Ситуація змінюється, коли математичне сподівання розподілу  невідоме і в якості оцінки математичного сподівання розглядається

 

.

 

Тоді вибіркова дисперсія

 

 

вже не є незміщеною оцінкою.

Оцінка  є асимптотично незміщеною оцінкою для . Оскільки незміщеність - одна з необхідних властивостей, яку повинна мати добра оцінка, змінимо оцінку  так, щоб отримати незміщену оцінку для .

 

.

 

Оцінка  незміщена оцінка для .

Проте парадокс оцінок дисперсії показує, що не завжди треба обмежуватися розглядом лише незміщених оцінок. Інколи оцінка з малим зсувом і малою мірою розкиду значень оцінки краща незміщеної оцінки з великою дисперсією.

Парадокс.

Нехай  - вибірка з нормального розподілу  з параметрами . Оцінка

 

 

незміщена оцінка для , а оцінка

 

 

для  така, що міра розкиду оцінки  відносно  мінімальна. Вимога незміщеності і мінімуму міри розкиду приводять до різних оцінок. Треба дізнатися якій з оцінок віддати перевагу.

Пояснимо парадокс. Розглянемо клас оцінок

 

.

 

Математичне сподівання оцінок  дорівнює

 

.

 

Тобто в класі оцінок  існує єдина незміщена оцінка , яка відповідає  і ця оцінка є :

 

. (1)

 

Міра розсіювання оцінок  відносно  обчислюється за формулою:

 

. (2)

 

Позначимо через  функцію параметра

 

. (3)

 

Знайдемо , при якому досягає найменшого значення. Це значення

 

. (4)

 

При цьому  має вигляд:

 

. (5)

 

Одержуємо нерівність (6). Міра розсіювання оцінки  відносно  менша ніж міра розсіювання оцінки  відносно .

 

. (6)

 

Таким чином, на підставі вимоги мінімуму міри розсіювання оцінки зміщена оцінка

 

,

 

зміщення якої

 

 (7)

 

мале при чималому об'ємі вибірки , краще оцінює дисперсію , чим незміщена оцінка .

Цей парадокс показує, що не може бути єдиного критерію, за яким необхідно порівнювати всі оцінки, як не існує єдиної оцінки даного параметра , яка прийнятна для всіх випадків.

Зауважимо.

Вибіркова дисперсія

 

 

при відомому математичному сподіванні - ефективна оцінка для . Оцінка  не є ефективною оцінкою для . Ефективної оцінки для  (при невідомому математичному сподіванні) не існує, тобто ні для якої незміщеної оцінки параметра  нерівність Крамера - Рао не обертається в рівність.

Парадокс Байєса.

Історія парадоксу.

Теорема Томас Байєс, доведена близько 1750 р. і опублікована лише після смерті автора, стала джерелом суперечок в статистиці. Вони не припинилися й досі. Сформулюємо теорему Байєса. Нехай події , утворюють повну групу подій. Тоді для будь-якої події  умовна ймовірність події  відносно  рахується за формулою

 

 (1)

 

Формула Байєса дозволяє за апріорними ймовірностями  подій знайти апостеріорні ймовірності подій . В більшості її застосувань апріорні імовірності  невідомі. В цьому випадку вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності  рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності  були випадковими величинами, зокрема, рівномірно розподіленими на .

Нехай  - випадкова величина рівномірно розподілена на .

 

.

 

Вважаємо, що щільність апріорна.

Позначимо через  - подію, яка полягає у тому, що "в  випробовуваннях Бернуллі подія  відбулась  разів", при цьому ймовірність події  дорівнює .

Тоді умовна ймовірність події  за умов, що  набуло значення  має вигляд

 

. (2)

 

А умовна щільність випадкової величини  перепишеться у вигляді

 

. (3)

 

І вона є апостеріорною щільністю. Імовірність того, що  рахується за формулою

 

. (4)

 

Наприклад, якщо , , , , то імовірність того, що  більше , дорівнює :

 

 

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Парадокс.

Нехай можливими значеннями випадкової величини  є цілі числа. Припустимо, що ймовірнісний розподіл  залежить від параметру . Якщо вибірка  здобута з невідомого розподілу , то послідовність апостеріорних розподілів при збільшенні числа спостережень  концентрується навколо істинного значення невідомого параметра .

 

 (5)

 

Оцінка  параметра  обирається виходячи з максимуму апостеріорної щільності, тобто

 

. (6)

 

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра  може дорівнювати , а послідовність апостеріорних розподілів все більше зосереджується, наприклад, біля .

Пояснення парадоксу.

Нехай апріорний розподіл параметра  рівномірний на відрізку

 

~ . (7)

 

Визначимо функцію  на цьому відрізку таким чином. Визначимо функцію  на цьому відрізку таким чином, що значеннями  завжди є натуральні числа, за виключенням точок  та , де :

 

 (8)

 

Нехай розподіл випадкової величини  (який залежить від ) має вигляд

 

, (9)

 

де  знаходиться з рівності

 

. (10)

 

При відповідному виборі  вказана вище парадоксальна ситуація здійснена.