Кількість інформації та ентропія

 

4.1.1 Моделі Хартлі (Шеннона)

 

Джерело інформації, яке може в кожний момент часу знаходитися в одному з можливих станів, називається дискретним джерелом інформації. Називатимемо кінцеву множину всіх можливих станів {u₁, u₂., u_N} абеткою джерела (N – розмір абетки або число можливих станів). У загальному випадку різні стани u_i вибираються джерелом з різною вірогідністю p_i, і його можна охарактеризувати сукупністю абетки і безлічі вірогідності станів – ансамблем U_N = {u₁, p₁, u₂, p₂., u_N, p_N}. Зрозуміло, сума вірогідності всіх станів повинна дорівнювати 1.

Введемо міру невизначеності стану джерела H(U), що задовольняє таким умовам:

· монотонність: міра повинна монотонно зростати із зростанням кількості можливих станів;

· адитивність: міра, обчислена для складного джерела, що складається з двох незалежних джерел (з розмірами абеток N і M, тоді розмір абетки складного джерела – NM), повинна дорівнювати сумі мір цих двох джерел. Згідно з умовою адитивності міра повинна задовольняти співвідношенню:

. (4.1)

Крім того, існує гранична умова: міра невизначеності для джерела з розміром алфавіту 1 повинна дорівнювати 0. Можна показати, що цим умовам задовольняє логарифмічна функція (з довільною основою).

Для джерела з абеткою розміру N і рівноімовірними станами (p_i = 1/N для будь-якого i) логарифмічна міра була запропонована Р. Хартлі у 1928 р. і має вигляд:

. (4.2)

Припущення про рівні імовірності станів джерела інформації називається моделлю Хартлі. Якщо основу логарифма вибрати рівною двом, відповідна одиниця невизначеності відповідатиме невизначеності вибору з двох рівноімовірних подій і називатиметься двійковою одиницеюабо бітом (від англ. bit, скороченого binary digit, – двійкова цифра).

Моделі Хартлі бракує врахування вірогідності станів. Якщо, наприклад, джерело має два можливі стани з вірогідністю 0.999 і 0.001, зрозуміло, що міра невизначеності такого джерела повинна бути менша 1 біта: є велика упевненість у виборі першого стану. Якщо вірогідність станів відрізняється трохи (наприклад, 0.51 і 0.49), то й міра невизначеності повинна змінитися трохи порівняно з рівноімовірним випадком. Таким чином, міра невизначеності повинна залежати від вірогідності станів джерела, від всього ансамблю. Така модель джерела інформації називається моделлю Шеннона(1948 р.). Міра невизначеності вибору дискретним джерелом стану з ансамблю U_N називається ентропією дискретного джерела інформації або ентропією кінцевого ансамблю.

, (4.3)

де C – довільне позитивне число.

За умови рівної вірогідності станів джерела міра Шеннона зводиться до міри Хартлі.

Доведено, що приведена функція – єдина і така, що задовольняє всім переліченим умовам. Термін “ентропія” запозичений з термодинаміки і використаний для міри невизначеності через те, що обидві ентропії – термодинамічна й інформаційна – характеризують ступінь різноманітності станів даної системи і описуються аналогічними функціями.

 

4.1.2 Властивості ентропії:

 

· Ентропія обмежена зверху значенням 1.

· Ентропія рівна 0, тільки якщо один із станів має вірогідність, рівну 1 (повністю певне джерело).

· Ентропія максимальна, коли всі стани джерела рівноімовірні. При цьому .

· Ентропія джерела з двома станами змінюється від 0 до 1, досягаючи максимуму при рівності їх вірогідності.

· Ентропія об'єднання декількох незалежних джерел інформації дорівнює сумі ентропій початкових джерел.

· Ентропія характеризує середню невизначеність вибору одного стану з ансамблю, не враховуючи змістовну сторону (семантику) станів.

Одиниці кількості інформації. Біт – дрібна одиниця вимірювання кількості інформації. Крупніша одиниця – байт, що складається з восьми бітів. В мережах застосовуються і більш крупніші одиниці від кілобайтів (Кбайт) – 1024 байт = 2¹⁰ байт до петабайтів (Пбайт) – 1024 Тбайт = 2⁵⁰ байт.

За одиницю кількості інформації можна було б вибрати кількість інформації, що міститься, наприклад, у виборі одного з десяти рівновірогідних повідомлень. Така одиниця має назву діт або десятковою одиницею.