Засоби вимірювання інформації

Синтаксична міра інформації. Ця міра кількості інформації оперує із загальною інформацією, що не виражає смислового відношення до об'єкту.

Об'єм даних у повідомленні вимірюється кількістю символів (розрядів) в цьому повідомленні. У різних системах счислення один розряд має різну вагу і відповідно міняється одиниця вимірювання даних:

o у двійковій системі счислення одиниця вимірювання - біт (bit - binary digit - двійковий розряд);

Примітка. У сучасних ЕОМ разом з мінімальною одиницею вимірювання даних "біт" широко використовується укрупнена одиниця вимірювання "байт", рівна 8 біт.

o у десятковій системі счислення одиниця вимірювання -діт (десятковий розряд).

Приклад 3. Повідомлення в двійковій системі у вигляді восьмирозрядного двійкового коду 10111011 має об'єм даних \/д=8 біт.

Повідомлення в десятковій системі у вигляді шестирозрядного числа 275903 має об'єм даних \/д=6 діт (шість розрядів десятинного числа).

Кількість інформації - на синтаксичному рівні неможливо визначити без розгляду поняття невизначеності стану системи (ентропії системи). Дійсно, отримання інформації про яку-небудь систему завжди пов'язано із зміною ступеня непоінформованості одержувача про стан цієї системи. Розглянемо це поняття.

Хай до отримання інформації споживач має деякі попередні (апріорні) відомості про систему а. Мірою його непоінформованості про систему є функція Н(а), яка в той же час служить і мірою невизначеності стану системи.

Після отримання деякого повідомлення b одержувач придбав деяку додаткову інформацію Іb(а), апріорну непоінформованість, що зменшила його, так, що апостеріорна (після отримання повідомлення b) невизначеність стану системи стала Нb(а).

Тоді кількість інформації Іb(а) про систему, одержану в повідомленні b, визначиться як

Іb(a) = H(a) - Hb(a), (1)

тобто кількість інформації вимірюється зміною (зменшенням) невизначеності стану системи.

Якщо кінцева невизначеність Нb(а) звернеться в нуль, то первинне неповне знання заміниться повним знанням і кількість інформації 1b(а)=Н(а).

Ентропія системи Н(а), що має N можливих станів, згідно формулі Шеннона, рівна:

(2)

де Pi - вірогідність того, що система знаходиться в і-му стані.

Для випадку, коли всі стани системи рівноімовірні, тобто їх вірогідність рівна Рі=1/N, її ентропія визначається співвідношенням

(3)

 

Часто інформація кодується числовими кодами в тій або іншій системі счислення, особливо це актуально при представленні інформації в комп'ютері. Природно, що одна і та ж кількість розрядів в різних системах счислення може передати різне число станів об'єкту, які можна представити у вигляді співвідношення

(4)

де N-число всіляких станів, що відображаються;

m - основа системи счислення (різноманітність символів, вживаних в алфавіті);

п - число розрядів (символів) в повідомленні.

Приклад 4. По каналу зв'язку передається n-розрядне повідомлення, що використовує т різних символів. Оскільки кількість всіляких кодових комбінацій буде , то при рівноймовірності появи будь-якої з них кількість інформації, придбаної абонентом в результаті отримання повідомлення, буде

l=logN=logm - (5)формула Хартлі.

 

Якщо за основу логарифма прийняти т, то l=n. В даному випадку кількість інформації (за умови повного апріорного незнання абонентом змісту повідомлення) буде рівна об'єму даних l=V_d, одержаних по каналу зв'язку. Для нерівноімовірних станів системи завжди l<V_d=n.

Найчастіше використовуються двійкові і десяткові логарифми. Одиницями вимірювання в цих випадках будуть відповідно біт і діт.

Семантична міра інформація. Для вимірювання смислового змісту інформації, тобто її кількості на семантичному рівні, найбільше визнання одержала тезаурусная міра, яка зв'язує семантичні властивості інформації із здатністю користувача приймати повідомлення, що поступило. Для цього використовується поняття тезаурус користувача.

Тезаурус - це сукупність відомостей, які має в своєму розпорядженні користувач або система.

Залежно від співвідношень між смисловим змістом інформації S і тезаурусом користувача S_p змінюється кількість семантичної інформації l_с, що сприймається користувачем і включається їм надалі в свій тезаурус.

Розглянемо два граничні випадки, коли кількість семантичної інформації l_с рівна 0:

o при S_p < 0 користувач не сприймає, не розуміє поступаючу інформацію;

o при S_p > 0 користувач все знає, поступаюча інформація йому не потрібна.

Максимальну кількість семантичної інформації l_с споживач придбаває при узгодженні її смислового змісту S з своїм тезаурусом S_p (S_p = S_{p opt}), коли поступаюча інформація зрозуміла користувачу і несе йому раніше не відомі (відсутні в його тезаурусі) відомості.

Отже, кількість семантичної інформації в повідомленні, кількість нових знань, одержуваних користувачем, є величиною відносною. Одне і те ж повідомлення може мати смисловий зміст для компетентного користувача і бути безглуздим (семантичний шум) для користувача некомпетентного.

При оцінці семантичного (змістовного) аспекту інформації необхідно прагнути до узгодження величин S і S_p.

Відносною мірою кількості семантичної інформації може служити коефіцієнт змістовності С, який визначається як відношення кількості семантичної інформації до її об'єму:

(6)

Прагматична міра інформації. Ця міра визначає корисність інформації (цінність) для досягнення користувачем поставленої мети. Вона також величина відносна, обумовлена особливостями використовування цієї інформації в тій або іншій системі. Цінність інформації доцільно вимірювати в тих же самих одиницях (або близьких до них), в яких вимірюється цільова функція.

Приклад 5. У педагогічній системі прагматичні властивості (цінність) інформації можна визначити приростом педагогічного ефекту функціонування, досягнутим завдяки використовуванню цієї інформації для управління системою:

1пb(g)=П(g/b)-П(g), (7)

де Inb(g) - цінність інформаційного повідомлення b для системи управління g,

П(g) - апріорний очікуваний економічний ефект функціонування системи управління g,

П(g /b) - очікуваний ефект функціонування системи g за умови, що для управління буде використана інформація, що міститься в повідомленні b.

Для зіставлення введені заходи інформації представимо в табл.5.

Таблиця 5.