Поняття статистичної оцінки параметрів

Задача статистичного оцінювання параметрів розподілів полягає у тому, щоб за результатами вибірки оцінити як можна точніше значення характеристик генеральної сукупності, наприклад, середнього значення, дисперсії, частоти тощо.

Припустимо, що розподіл ознаки Х (генеральної сукупності) належить до відомого класу розподілів, який залежить від одного або декількох невідомих параметрів і задається функцією ймовірностей (для дискретної випадкової величини Х) або щільністю ймовірностей (для неперервної випадкової величини Х). Наприклад, це параметр розподілу Пуассона або параметри і нормального розподілу. У цьому випадку визначення невідомого розподілу зводиться до знаходження оцінок невідомих параметрів за вибіркою . Тут вибіркові значення можна розглядати як числа , якщо експеримент проведено і вибірка відбулась, і як n незалежних випадкових величин або n екземплярів випадкової величини до експерименту. Випадкові величини мають одну і ту ж функцію розподілу і закон розподілу будь-якої статистики однозначно визначається цією функцією, зокрема, невідомим параметром .

Ø Оцінкою параметра називається будь-яка величина, яка є випадковою функцією вибірки , так звана статистика, за значенням якої можна судити про значення параметра .

Отже, оскільки випадкові величини, то і оцінка (на відміну від оцінюваного параметра величини невипадкової, детермінованої) є випадковою величиною, яка залежить від закону розподілу випадкової величини Х і числа n.

Завжди існує множина функцій від результатів спостережень (від n екземплярів випадкової величини X), які можна прийняти за оцінку параметра . Наприклад, якщо параметр є математичне сподівання випадкової величини X, тобто генеральне середнє a, то за оцінку можна прийняти середнє арифметичне результатів спостережень – вибіркову середню .

Статистику треба підібрати так, щоб вона по можливості більш точно оцінювала невідомий параметр . Для цього вона повинна мати такі властивості як незсуненність, слушність і ефективність.

ØОцінка параметра називається незсуненою, якщо її математичне сподівання дорівнює оцінюваному параметру :

. (2.21)

У протилежному разі оцінка називається зсуненою.

Якщо ця рівність не виконується, то оцінка , одержана за результатами різних вибірок, буде у середньому або завищувати значення (якщо ), або занижувати його (якщо ). Таким чином, вимога незсуненності гарантує відсутність систематичних похибок при оцінюванні параметрів.

Якщо оцінка зсунена, то обчисливши її математичне сподівання і ввівши поправку, можна одержати незсунену оцінку.

Відзначимо, що усі вибіркові початкові моменти випадкової величини, включаючи вибіркове середнє, є незсуненими оцінками відповідних моментів розподілу генеральної сукупності. Однак вибіркова дисперсія , як і інші центральні вибіркові моменти, є зсуненою. Далі буде показано, що:

. (2.22)

Ø Оцінка параметра називається слушною, якщо вона задовольняє закону великих чисел, тобто збігається за ймовірністю до оцінюваного параметра:

(2.23)

Або, як кажуть, прямує до за ймовірністю:

Якщо оцінка слушна, то практично вірогідно, що при достатньо великому n . Якщо оцінка є незсуненою, а її дисперсія при , то вона є слушною.

Умовам незсуненності і слушності можуть задовольняти декілька різних оцінок одного і того ж параметра. Тоді кращою з них буде та, яка має найменшу дисперсію:

. (2.24)

ØОцінка , яка має найменшу дисперсію, називається ефективною.

Якщо властивість незсуненності дає кращу оцінку, то властивість ефективності підвищує її точність. Це обумовлено тим, що від величини дисперсії оцінки безпосередньо залежить довірчий інтервал, ширина якого пропорційна дисперсії. Таким чином, ефективність оцінки забезпечує найменший розкид можливих значень оцінки навколо істинного значення параметра .

Ефективність оцінок сильно залежить від розподілу генеральної сукупності. Так, якщо генеральна сукупність має нормальний розподіл, то вибіркове середнє і дисперсія будуть ефективними оцінками. Звичайно ефективна оцінка добувається на основі метода максимальної правдоподібності, у якому функція правдоподібності визначається, виходячи із припущення, що відомий клас розподілів, якому належить розподіл даної генеральної сукупності.

Нехай – незалежна вибірка, у якій кожне має щільність розподілу де невідомий параметр, а змінна щільності розподілу. Тоді при виконанні деяких умов регулярності має місце нерівність Крамера-Рао:

де незсунена оцінка параметра

Нерівність Крамера-Рао дає нижню границю для дисперсії незміщеної оцінки. Якщо для оцінки у цій нерівності досягається рівність, то ця оцінка буде ефективною.

Ø Ефективністю незміщеної оцінки називається величина

Із нерівності Крамера-Рао випливає, що Оцінка ефективна, якщо

Якщо оцінка параметра асимптотично нормальна з параметрами при то асимптотична ефективність визначається величиною Оцінка асимптотично ефективна, якщо