ТОП 10:

Інформаційні втрати при кодуванні неперервних джерел



Стосовно неперервного джерела на відміну від дискретного можна говорити про нескінченний алфавіт повідомлень, кож­не з яких відрізняється від сусідніх на нескінченно малу вели­чину, та нескінченний ансамбль повідомлень. Однак у цьому разі замість імовірностей окремих повідомлень з алфавіту прий­нято говорити про диференціальний закон розподілу ймовір­ностей ω(х) випадкової величини х. Інакше ω (х) називається функцією розподілу густини ймовірностей неперервного пові­домлення. При цьому кількість інформації, наявна в прийнятому неперервному повідомленні, як і раніше визначається різницею значень ентропії (невизначеності) джерела повідомлень до та після одержання повідомлення.

Нехай густина імовірності ω(х) має вигляд, показаний на рис. 4.1. Проквантуємо за рівнем випадкову величину х із дискретною ∆х. Імовірність того, що хn х хп+1, становить р(хi)= ω(хi) ∆х, тобто визначається площею Si, прямокутника:

. (4.1)

 

 

Рис. 4.1- Розподіл густини імовірності ω(х)

 

Координату точки хi визначає теорема про середнє. При цьому має виконуватися умова нормування

. (4.2)

Ентропія такого штучно утвореного дискретного джерела визначається так, як викладено в пункті 2.3.

(4.3)

Зробимо зворотний перехід до неперервного джерела через спрямування ∆х до 0 та граничний перехід:

(4.4)

оскільки згідно з (4.3)

Друга складова в (4.5) прямує до нескінченності. Отже, ентро­пія Н(х) неперервного джерела має дорівнювати нескінченності, тобто точне подання випадкового відліку неперервного дже­рела (одного його повідомлення) потребує нескінченної кіль­кості, скажімо, двійкових розрядів, тому що несе нескінченну кількість інформації. Проте в реальних умовах відлік неперерв­них повідомлень на приймальному боці виконують у дискрет­них точках хп , хп+1, ... (див. рис. 4.6). Це зумовлено скінченною точністю та роздільною здатністю технічних засобів (здатністю їх розрізняти хп і хп+1при ∆х → 0). За цих обставин величина ∆х є малою, але має скінченне значення.

Таким чином, вираз (4.5) ентропії неперервного джерела має дві складові, одна із яких визначається законом неперервного розподілу ймовірностей, а інша - допустимою точністю (по­хибкою) ∆х кодування неперервного джерела.

Перша складова

(4.5)

називається диференціальною ентропією,що залежить від статистичних властивостей неперервного джерела. Якщо пронормувати х,щоб зробити цю величину безрозмірною, то мож­на визначити h(х)у двійкових одиницях (при цьому основа логарифма має дорівнювати двом).

Друга складова зовсім не залежить від статистики джерела,
а визначається лише дискретністю квантування ∆х неперервного повідомлення.

Можливий стан джерела повідомлень до одержання пові­домлення у на виході каналу визначається розподілом ω(х),а після одержання відліку з неперервного ансамблю у на вихо­ді - неперервним законом розподілу умовної імовірності ω(х/y),за яким можна знайти умовну ймовірність, користую­чись поняттям елементарної площини ∆х ∆у та роблячи, як і ра­ніше, граничний перехід ∆х → 0, ∆у → 0. Як і в (4.5), загальна умовна ентропія Н(х/у) дорівнює нескінченності, але кількість інформації в цьому відліку, як і раніше, дорівнює різниці безу­мовної та умовної ентропії джерела відносно виходу каналу, тобто

(4.6)

де ω(х, y) - сумісна щільність імовірності значення відліку у та фактичного значення неперервного повідомлення на виході каналу. Тут h(х), h(х/y) - безумовна й умовна диференціальна ентропія джерела.

Друга складова в Н(х) та Н(х/y)виявляється однаковою і при відніманні зникає.

Таким чином, кількість інформації в одному відліку, що пе­редається неперервним каналом, визначається різницею без­умовної та умовної диференціальної ентропії неперервного дже­рела відносно виходу каналу, причому вираз h(х/y)харак­теризує інформаційні втрати на один відлік при кодуванні неперервного джерела.

У теорії вимірювання випадкових величин користуються ін­шою кількісною мірою інформації - епсилон-ентропією. При­пустимо, що випадкова величина У містить інформацію про іншу випадкову величину X - дійсне значення вимірюваної величини, тобто Y є відліком Х упевних одиницях. За цієї умови мінімальна кількість інформації про Х, яка міститься в Y і потрібна для того, щоб за Y відтворити Х із середньоквадратичною похибкою, що не перевищує ε2 (де ε > 0 – наперед задана величина), називається епсилон-ентропією:

.

При цьому мінімум кількості інформації відшукується за всіма законами розподілу ймовірностей ω (X/Y), тобто

Цю величину, як правило, подають у вигляді

де ω (X, Y) - сумісна щільність розподілу ймовірностей X і Y;

ω (X), ω (Y), - одновимірні щільності розподілу цих імовірностей.

 







Последнее изменение этой страницы: 2017-02-07; Нарушение авторского права страницы

infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.207.240.230 (0.006 с.)