Парадокс інтервальних оцінок

Історія парадоксу

Теорія інтервального оцінювання була розроблена Г. Фішером і Д. Нейманом між 1925 і 1935 роками. Довірчий інтервал Неймана містить невідомий параметр  зі заданою ймовірністю . Нехай  - вибіркові значення, і припустимо, що  і  такі, що

 

.

 

тоді інтервал  називається довірчим інтервалом з коефіцієнтом надійності  для . Якщо  невідоме математичне сподівання нормального розподілу зі стандартним відхиленням , то

 

,

 

тобто  є довірчим інтервалом для   з коефіцієнтом надійності 0.95%. При іншому підході до інтервального оцінювання випадковим параметром не вибірка, а невідомий параметр . В цьому випадку інтервал  не залежить від вибіркових значень, і рівність

 

 

просто означає, що  потрапляє в інтервал  з ймовірністю . Наприклад, якщо  - невідоме математичне сподівання нормального розподілу, то через випадкові помилки вимірювань  не визначається повністю вибірковим середнім .

Такий параметр  можна розглядати як нормально розподілену випадкову величину з математичним сподіванням  і стандартним відхиленням . Отже,

 

.

 

Такий вигляд інтервальних оцінок, які називають фідуціальними інтервалами, введено Фішером. У випадку нормального розподілу, як ми бачимо, довірчі і фідуціальні інтервали формально збігаються; відрізняється лише їх "філософія". На протязі деякого часу вважали, що ці два види інтервалів практично збігаються, і суперечки про відмінність між довірчими і фідуціальними інтервалами є чисто теоретичними. Проте незабаром виявилися парадокси, що мають практичне значення. Різні підходи Фішера і Неймана привели і до різних результатів в практичних застосуваннях. У 1959 р. К. Стейн вказав на надзвичайно парадоксальний випадок. Для простоти він розглянув довірчі і фідуціальні інтервали, в яких  або  тому, що такі інтервали визначаються одним значенням (іншими кінцем інтервалу).

Парадокс

Нехай  - незалежні нормально розподілені випадкові величини з одиничною дисперсією. Позначимо через  їх математичне сподівання. Нехай вектор  знаходиться на відстані

 

 

від початку координат к Стейн довів, що фідуціальний і довірчий інтервали для  можуть суттєво відрізнятися. Оцінимо кожне  відповідним середнім значенням  вибірки обсягу . Нехай відстань між початком координат і вектором вибіркових середніх  дорівнює

 

.

Тоді

,

 

якщо  - випадкова величина (будується довірчий інтервал) і яке б не було значення невідомого параметра .

З іншого боку, якщо  - випадкова величина (будується фідуціальний інтервал), то

 

 

для будь - якого вибіркового середнього . Іншими словами, ймовірність того, що довірчий інтервал  містить невідоме значення , більша 50%; в той же час з імовірністю, більшою 50%, випадкова величина  знаходиться в (фідуціальному) інтервалі . Таким чином, з точки зору теорії довірчих інтервалів краще ставити на нерівність, а при фідуціальному підході ситуація прямо протилежна.

 

Пояснення парадоксу

Неможливо показати всі протиріччя між фідуціальним підходом і теорією довірчих інтервалів, які виникають у зв’язку з задачею Стейна. Якщо фідуціальний підхід застосовується не до елементів вибірки, заданими своїми координатами, а (через сферичну симетрію нормального розподілу) до сум квадратів координат, то фідуціальні інтервали співпадають з довірчими інтервалами. Отже, вигідніше ставити на те, що "  більше, ніж ".

 

Зауваження

2.9.4.1 Побудуємо інтервальну оцінку для невідомого математичного сподівання  нормального розподілу з відомим стандартним відхиленням , використовуючи апріорну інформацію про те, що величина  нормально розподілена з математичним сподіванням  і стандартним відхиленням  (ці величини відомі).

Якщо  - середнє значення вибірки об’єму , то за теоремою Байєса апостеріорний розподіл величини  також нормальне з математичним сподіванням

 

 

і стандартним відхиленням D, де

 

 

Отже,  є 95% інтервальною оцінкою для , оскільки

 

.

 

Відсутність апріорної інформації значить, що , тобто . Таким чином,

 

 

це і є фідуціальний інтервал. Отже, у випадку многовимірного нормального розподілу байєсівський підхід приводить до того ж самого парадоксу, що і фідуціальний підхід.

2.9.4.2 Нехай нам треба оцінити параметр зсуву  за вибіркою , елементи якої мають показникові щільність розподілу  (якщо  і 0 в супротивному разі). Оцінка

 

 

незміщена, і її щільність розподілу пропорційна  при . За допомогою цієї щільності можна легко знайти 90% довірчий інтервал найменшої довжини. У випадку, коли  цей довірчий інтервал має вигляд .

З іншого боку , очевидно, менше, ніж .

Таким чином, 90% довірчий інтервал найменшої довжини знаходиться в області, в якій  знаходитися не може! Джейнес підкреслив, що для побудови інтервальної оцінки слід скористатися байєсівським підходом. Якщо апріорна щільність є сталою, то апостеріорна щільність величини  буде , якщо  і 0 в протилежному випадку. Таким чином, інтервал

 

,

де

,

 

задає найменшу апостеріорну зону, яка містить апостеріорну ймовірність з ймовірністю . Для вказаної вище вибірки отримаємо .

З точки зору теорії довірчих інтервалів можна було б сказати, що  не є достатньою статистикою для , а статистика  - достатня. Довірчий інтервал найменшої довжини, побудований за достатньою статистикою, співпадає з байєсівським інтервалом, побудованим вище. Але навіть, якщо ми працюємо з , може виявитися, що 90% довірчий інтервал  лежить на від’ємній піввісь, а нам відомо (апріорна інформація), що величина  не може бути негативною.

2.10 Парадокс  - критерію Стьюдента

 

Історія парадокса

У класичній теорії математичної статистики припускається, що вибіркові значення (спостереження) заздалегідь відомі. В основі одного з важливіших напрямків сучасної статистики лежить розуміння того, що не треба фіксувати заздалегідь обсяг вибірки, його слідує визначати в залежності від результатів більш ранніх спостережень. Таким чином, обсяг вибірки випадковий. Ця ідея послідовного вибору поступово розвивалася у роботах Г. Доджа та Г. Роміга (1929 р), П. Махалонобіса (1940 р), Г. Хотеллінга (1941 р) та У. Бєрткі (1943 р), але дійснім засновником теорії послідовного аналізу в математичній статистиці є А. Вальд (1902-1950). Його послідовний критерій відношення правдоподібності (1943 р) став важливим відкриттям, яке дозволило (у типових ситуаціях) на 50% зменшити середню кількість спостережень (за тих же умов помилок). Не дивно, що в роки другої світової війни відкриття Вальда було оголошено "секретним". Його основна книга "Послідовний аналіз" опублікована лише у 1947 р. Рік потому Вальд та Дж. Волфовіц довели, що методи, які відрізняються від послідовного критерію правдоподібності, не дають такого зменшення числа елементів вибірки. Але і в цій області виявились парадокси. Розглянемо парадокс, який належить К. Стейну, хоча цей парадокс відноситься до двохшагових критеріїв, а не до послідовних.

 

Парадокс

Нехай  - вибірка незалежних нормально розподілених випадкових величин з спільним невідомим математичним сподіванням  та спільним невідомим стандартним відхиленням . На основі цієї вибірки будемо розрізнювати наступні нульову та альтернативну гіпотези. Нульова гіпотеза полягає у тому, що  (де  - деяке задане число), а альтернативна - у тому, що . Нехай

 

і

 

Такі гіпотези  та  розрізняють за допомогою  - критерію Стьюдента. Згідно  - критерію нульова гіпотеза не відхиляється або відхиляється в залежності від того, близько значення  до 0 чи ні. У 1940 р.Г. Данциг показав, що при заданій ймовірності помилки 1-го роду ймовірність помилки 2-го роду для будь - якого вирішального правила залежить від невідомого стандартного відхилення . Парадоксально, але через 5 років К. Стейн довів, що якщо обсяг вибірки  не фіксувати заздалегідь, а визначати по вже отриманим елементам вибірки (як у послідовному аналізі Вальда), то існує  - критерій, для якого (при заданій імовірності помилки 1-го роду) імовірність помилки 2-го роду не залежить від невідомого стандартного відхилення  (а залежить лише від різниці ).

 

Пояснення парадоксу

На першому кроці візьмемо вибірку , де  - деяке фіксоване число. Вибіркова дисперсія визначається формулою

 

 

Припустимо, що обсяг вибірки  залежить від величини  та заздалегідь фіксованого числа  наступним чином:

 

 

де дужки  означають цілу частину дійсного числа. Оберемо додатні числа  так, що

 

,  та ,

 

та спробуємо розрізнити гіпотези  та  за допомогою статистики

 

де

 

Очевидно, що при заданому  випадкова величина  нормально розподілена з математичним сподіванням  та дисперсією  З іншого боку розподіл величини  (для довільного ) збігається з розподілом суми квадратів  незалежних стандартних нормальних випадкових величин (тобто з хі-квадрат розподілом ), який не залежить від . Отже, розподіл величини  також не залежить від , тому  залежить лише від , але не від .

 

Зауваження

2.10.4.1 Розподіл випадкової величини  не є нормальним, оскільки  не число, а випадкова величина. (Якщо б значення стандартного відхилення було б відомим, та ми б поставили це значення замість , то розподіл випадкової величини  було б стандартним нормальним) Це чудове спостереження та аналіз випадкової величини  у 1908 р. опублікував Стьюдент, він же Уїльям Д. Госсет. (З 1899 р. він працював у Дубліні на пивоварному заводі Гіннесса, і його начальник наполіг на тому, щоб Госсет писав під псевдонімом) Досить довго ніхто не усвідомлював важливості статті Стьюдента. (Навіть у 1922 р.Р. Фішер був єдиним, як стверджував Стьюдент, хто використовував  - розподіл. У дійсності, саме Фішер вперше позначив розподіл Стьюдента через  у своїй книзі, яка вийшла у 1925 р. сам Стьюдент використовував символ , проте не для позначення величини , а для )

2.10.4.2 Визначення моменту зупинення спостережень у послідовному аналізі є суттю сучасної теорії оптимальних зупинок для різних процесів. Розглянувши вибірку як процес, ми встановлюємо зв'язок між математичною статистикою і теорією стохастичних процесів.

Парадокс перевірки гіпотез

 

Історія парадоксу

Б.В. Гнеденко в своїй книзі відмічає, що облік населення, проведений в Китаї у 2238 р. до нашої ери, показав, що доля новонароджених хлопчиків складала 50%. Джон Арбутнот (1667-1735), англійський математик, лікар і письменник, був першим, хто (це було в 1710 р) відмітив, що гіпотеза про рівне співвідношення народжених хлопчиків і дівчаток повинна бути відхилена, оскільки за демографічними даними за 82 роки (доступні на той час) хлопчиків щороку народжувалося більше, ніж дівчаток. Якби ймовірність народження хлопчика дорівнювала , то результат за 82 роки був би настільки малоймовірним , що його можна було б вважати практично неможливим. Отже, Арбутнот був першим, хто відхилив природню статистичну гіпотезу. Цей нематематичний парадокс зацікавив Лапласа. У 1784 р. він зі здивуванням виявив, що в декількох різних районах Франції доля новонароджених хлопчиків приблизно дорівнювала , а у Парижі це відношення дорівнювало . Лаплас був заінтригований такою різницею, але скоро знайшов для неї розумне пояснення: в загальну кількість новонароджених в Парижі включалися всі підкинуті немовлята, а населення передмість в більшості підкидало немовлят однієї статі. Коли Лаплас виключив підкинутих немовлят з загальної кількості, доля новонароджених хлопчиків стала близькою до .

У 1734 р. Французька академія присудила Данилу Бернуллі премію за дослідження по орбітам планет. За допомогою деякого критерію перевірки гіпотез Бернуллі намагався довести, що схожість орбіт планет є далеко не випадковою. З правила правої руки зрозуміло, що кожній орбіті відповідає деяка точка на одиничній сфері, і Бернуллі перевіряв гіпотезу про те, що розподіл цих точок на одиничній сфері рівномірний. У 1812 р. Лаплас досліджував схожу проблему. Він намагався застосувати статистичні методи для вирішення питання про те, яку з гіпотез слід прийняти: чи є комети звичайними елементами Сонячної системи, чи вони всього лиш “незвані” гості. В останньому випадку кути між орбітами планет і екліптою були б рівномірно розподілені на інтервалі від  до . Лаплас виявив, що комети не є звичайними елементами Сонячної системи. Основоположниками сучасної теорії перевірки статистичних гіпотез були К. Пірсон, Е. Пірсон, Р. Фішер і Є. Нейман.

Припустимо, що треба перевірити гіпотезу про те, що розподілом деякої випадкової величини є . (У проблемі Лапласа розподіл  був рівномірним на інтервалі ) Для вирішення цієї проблеми “міри узгодженості” К. Пірсон, Х. Крамер, Р. фон Мізес, А. М. Колмогоров, М. В. Смірнов та інші вчені, які працювали пізніше, запропонували кілька різних критеріїв, і виникла потреба порівнювати їх ефективності. Перші кроки до знаходження кращих методів прийняття рішень зробили Е. Пірсон і Є. Нейман. По-перше, вони ввели поняття альтернативної гіпотези, яка, взагалі кажучи, не є повним запереченням основної, нульової гіпотези. Розглянемо, наприклад, випадкову величину, що має нормальний розподіл з одиничною дисперсією і невідомим математичним сподіванням. Якщо нульова гіпотеза полягає в тому, що “математичне сподівання дорівнює ", а альтернативна - в тому, що “математичне сподівання дорівнює ", то обидві гіпотези, очевидно, не охоплюють всі можливі випадки. В 1933 р. Нейман і Пірсон показали, що для таких простих гіпотез (коли як нульова, так і альтернативна гіпотези визначаються одним розподілом) існує критерій, найбільш потужний в такому розумінні. При використанні статистичних критеріїв можливі помилки двох видів. Можна відхилити нульову гіпотезу, коли вона вірна, і припуститися помилки 1-го роду. З іншого боку, можна прийняти нульову гіпотезу, коли вона невірна, і припуститися помилки 2-го роду. Метод прийняття рішень (критерій), який базується на вибірці заданого об’єму, називається найбільш потужним критерієм, якщо для будь-якої заданої ймовірності помилки 1-го роду ймовірність помилки 2-го роду мала настільки, наскільки це можливо. (Зауважимо, що при фіксованому об’ємі вибірки сума ймовірностей помилок обох родів не може бути зробленою наскільки завгодно малою. Це є свого роду принципом невизначеності при перевірці гіпотез) Припустимо для простоти, що обидва розподіли (в нульовій і альтернативній гіпотезах) мають щільності. Тоді за основною лемою Неймана - Пірсона існує найбільш потужний критерій такого вигляду. Позначимо через  і  щільності розподілів вибірки  за умов, що вірною є відповідно нульова чи альтернативна гіпотези. Нульова гіпотеза приймається тоді і тільки тоді, коли де  - відповідна постійна.

(Для простоти припускається, що ймовірність того, що  дорівнює 0) Теорія Неймана - Пірсона стала основною при перевірці гіпотез, не позбавленою при цьому парадоксів. У 1950 р. Герберт Роббінс показав, що існує критерій, в певному розумінні більш потужний, ніж найбільш потужний критерій Неймана - Пірсона.

Парадокс

Припустимо, що випадкова величина  нормально розподілена з математичним сподіванням  і дисперсією 1. Нехай нульова гіпотеза полягає в тому, що , а альтернативна гіпотеза полягає в тому, що . На основі вибірки з одного елементу  найбільш потужним критерієм перевірки нульової гіпотези проти альтернативної гіпотези є: якщо , то нульова гіпотеза приймається, а альтернативна відхиляється; в протилежному випадку нульова гіпотеза відхиляється, а альтернативна приймається. В цьому випадку ймовірності помилок обох видів дорівнюють приблизно 16%, оскільки

 

 

Якщо скористатися цим критерієм в  незалежних випадках, то при великих  середня кількість помилкових рішень приблизно дорівнює . Оскільки в кожному випадку використовувався найбільш потужний критерій, то слід було б чекати, що середня кількість помилкових рішень ніколи не може бути меншою . Як не парадоксально, але наступний метод Роббінса показує, що це не так.

Нехай  - середнє арифметичне спостережень . Критерій Роббінса полягає в наступному: якщо , то  для всіх , якщо , то  для всіх , і, нарешті, якщо , то  або  в залежності від того, виконується чи ні нерівність

 

.

 

Цей метод дивує тим, що він об’єднує незалежні одну від одної задачі. Якщо істинне відношення тих , для яких , до тих , для яких , дорівнює 0, то при великих  (наприклад, для ) критерій Роббінса дає відповідь зі 100% надійністю; для відношення 0,1 ймовірність помилки (обох типів) складає 7%; для відношення 0,2 ймовірність помилки дорівнює 11%; для 0.3 - 14% і навіть для відношення 0,4 відсоток помилок менший 16% рівня найбільш потужного критерію. Метод Роббінса стає менш ефективним, ніж найбільш потужний критерій, лише у випадку відношення, близького до 0.5.

Пояснення парадоксу

Парадокс Роббінса показує, що навіть тоді, коли треба прийняти рішення про прийом чи відмову від продукції, яка надходить з різних незалежно працюючих фабрик, загальна кількість помилкових рішень буде в середньому меншою, якщо ми не будемо приймати рішення незалежно одне від другого.

У 1961 р. Джеймс і Стейн запропонували таку просту оцінку для математичного сподівання багатовимірного нормального розподілу

 

 де .

 

Тоді , але . Отже, оцінка  справді не є допустимою. Оцінка  переводить вектор  ближче до початку координат, а оскільки початок координат можна вибрати довільно, то оцінка

 

 

також краща, ніж , при будь якому виборі . Таким чином, оцінка Джеймса - Стейна залежить від вибору початку координат , а в той же час  від  не залежить. (Можна показати, що оцінка

 

 

навіть дещо краща, ніж )

Висновки

 

На думку Карла Пірсона, у математиці немає іншого такого розділу, в якому настільки легко можна було б робити помилки, як у теорії ймовірностей та математичній статистиці. Математична статистика багата на парадокси. Важливо розрізняти парадокси і софізми. Парадокси - це суперечні інтуїції або здоровому глузду, але вірні результати. Софізми - помилкові результати, одержані за допомогою міркувань, які формально здаються вірними. Розглянемо деякі парадокси математичної статистики.