Інформаційні втрати при кодуванні неперервних джерел

Стосовно неперервного джерела на відміну від дискретного можна говорити про нескінченний алфавіт повідомлень, кож­не з яких відрізняється від сусідніх на нескінченно малу вели­чину, та нескінченний ансамбль повідомлень. Однак у цьому разі замість імовірностей окремих повідомлень з алфавіту прий­нято говорити про диференціальний закон розподілу ймовір­ностей ω (х) випадкової величини х. Інакше ω (х) називається функцією розподілу густини ймовірностей неперервного пові­домлення. При цьому кількість інформації, наявна в прийнятому неперервному повідомленні, як і раніше визначається різницею значень ентропії (невизначеності) джерела повідомлень до та після одержання повідомлення.

Нехай густина імовірності ω (х) має вигляд, показаний на рис. 4.1. Проквантуємо за рівнем випадкову величину х із дискретною ∆х. Імовірність того, що х_n ≤ х ≤ х_п+1, становить р (х_i)= ω (х_i) ∆х, тобто визначається площею S_i, прямокутника:

. (4.1)

 

 

Рис. 4.1- Розподіл густини імовірності ω (х)

 

Координату точки х_i визначає теорема про середнє. При цьому має виконуватися умова нормування

. (4.2)

Ентропія такого штучно утвореного дискретного джерела визначається так, як викладено в пункті 2.3.

(4.3)

Зробимо зворотний перехід до неперервного джерела через спрямування ∆х до 0 та граничний перехід:

(4.4)

оскільки згідно з (4.3)

Друга складова в (4.5) прямує до нескінченності. Отже, ентро­пія Н (х) неперервного джерела має дорівнювати нескінченності, тобто точне подання випадкового відліку неперервного дже­рела (одного його повідомлення) потребує нескінченної кіль­кості, скажімо, двійкових розрядів, тому що несе нескінченну кількість інформації. Проте в реальних умовах відлік неперерв­них повідомлень на приймальному боці виконують у дискрет­них точках х_п , х_{п+ 1},... (див. рис. 4.6). Це зумовлено скінченною точністю та роздільною здатністю технічних засобів (здатністю їх розрізняти х_п і х_{п+ 1}при ∆х → 0). За цих обставин величина ∆х є малою, але має скінченне значення.

Таким чином, вираз (4.5) ентропії неперервного джерела має дві складові, одна із яких визначається законом неперервного розподілу ймовірностей, а інша - допустимою точністю (по­хибкою) ∆х кодування неперервного джерела.

Перша складова

(4.5)

називається диференціальною ентропією,що залежить від статистичних властивостей неперервного джерела. Якщо пронормувати х,щоб зробити цю величину безрозмірною, то мож­на визначити h (х)у двійкових одиницях (при цьому основа логарифма має дорівнювати двом).

Друга складова зовсім не залежить від статистики джерела,
а визначається лише дискретністю квантування ∆х неперервного повідомлення.

Можливий стан джерела повідомлень до одержання пові­домлення у на виході каналу визначається розподілом ω (х),а після одержання відліку з неперервного ансамблю у на вихо­ді - неперервним законом розподілу умовної імовірності ω (х/y),за яким можна знайти умовну ймовірність, користую­чись поняттям елементарної площини ∆х ∆у та роблячи, як і ра­ніше, граничний перехід ∆х → 0, ∆у → 0. Як і в (4.5), загальна умовна ентропія Н (х/у) дорівнює нескінченності, але кількість інформації в цьому відліку, як і раніше, дорівнює різниці безу­мовної та умовної ентропії джерела відносно виходу каналу, тобто

(4.6)

де ω (х, y) - сумісна щільність імовірності значення відліку у та фактичного значення неперервного повідомлення на виході каналу. Тут h (х), h (х/y) - безумовна й умовна диференціальна ентропія джерела.

Друга складова в Н (х) та Н (х/y)виявляється однаковою і при відніманні зникає.

Таким чином, кількість інформації в одному відліку, що пе­редається неперервним каналом, визначається різницею без­умовної та умовної диференціальної ентропії неперервного дже­рела відносно виходу каналу, причому вираз h (х/y)харак­теризує інформаційні втрати на один відлік при кодуванні неперервного джерела.

У теорії вимірювання випадкових величин користуються ін­шою кількісною мірою інформації - епсилон-ентропією. При­пустимо, що випадкова величина У містить інформацію про іншу випадкову величину X - дійсне значення вимірюваної величини, тобто Y є відліком Х упевних одиницях. За цієї умови мінімальна кількість інформації про Х, яка міститься в Y і потрібна для того, щоб за Y відтворити Х із середньоквадратичною похибкою, що не перевищує ε² (де ε > 0 – наперед задана величина), називається епсилон-ентропією:

.

При цьому мінімум кількості інформації відшукується за всіма законами розподілу ймовірностей ω (X / Y), тобто

Цю величину, як правило, подають у вигляді

де ω (X, Y) - сумісна щільність розподілу ймовірностей X і Y;

ω (X), ω (Y), - одновимірні щільності розподілу цих імовірностей.