Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь КАТЕГОРИИ: АрхеологияБиология Генетика География Информатика История Логика Маркетинг Математика Менеджмент Механика Педагогика Религия Социология Технологии Физика Философия Финансы Химия Экология ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Синтаксическая мера информации.
Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Объём данных Vд в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных: В двоичной системе счисления единица измерения – бит (bit – binary digit – двоичный разряд). Наряду с минимальной единицей измерения данных "бит" широко используется укрупнённая единица измерения "байт", равная 8 бит. Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределённости состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомлённости получателя о состоянии этой системы. Рассмотрим это понятие. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомлённости о системе является функция H(a), которая в то же время служит и мерой неопределённости состояния системы. После получения некоторого сообщения b получатель приобрёл некоторую дополнительную информацию Ib(a), уменьшившую его априорную неосведомлённость так, что апостериорная (после получения сообщения b) неопределённость состояния системы стала Hb(a). Тогда количество информации Ib(a) о системе, полученной в сообщении b определится так Ib(a) = H(a)- Hb(a),
т.е. количество информации измеряется изменением (уменьшением) неопределённости состояния системы. Если конечная неопределённость Hb(a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ib(a) = H(a). Иными словами энтропия системы H(a) может рассматриваться как мера недостаточности информации. Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона (1995г.), равна:
,
где Pi – вероятность того, что система находится в i-м состоянии. Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , её энтропия определяется соотношением
.
Часто информация кодируется числовыми кодами в той или иной системе счисления. А особенно это актуально при представлении информации в компьютере. Естественно, одно и то же количество разрядов в разных системах счисления может передавать разное число состояний отображаемого объекта, что можно представить в виде соотношения
N = m n,
где N – число всевозможных отображаемых состояний; m – основание системы счисления (разнообразие символов, применяемых в алфавите); n – число разрядов (символов) в сообщении. Пример: По каналу связи передаётся n-разрядное сообщение, использующее m различных символов. Так как количество всевозможных кодовых комбинаций равно N = m n, то при равновероятности появления любой из них количество информации, приобретённой абонентом в результате получения сообщения, будет равно I = n log m – формула Хартли. Если в качестве основания логарифма принять m, то I = n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объёму данных I = Vд, полученных по каналу связи. Для неравновероятных состояний системы всегда I < Vд = n. Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.
|
|||||
Последнее изменение этой страницы: 2017-02-08; просмотров: 224; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.191.236.174 (0.004 с.) |