Что такое элемент сообщения и чем он характеризуется?

Информационный элемент – квант (неделимая часть информации).

Что такое «бит» и какому сообщению соответствует 1 бит?

Бит – это неделимый элемент, получаемый двоичными единицами.

Чему равно количество информации по Хартли?

I = log₂ Q = Nlog₂ h (бит)

1.5 Какое количество информации I содержат сообщения:

а) 10010101,

б) 1101,

в) 1234567890,

1.6 Задана информационная емкость системы в виде десятичного числа Q=1000 999/

а) Определите потенциальное количество информации I в такой системе.

б) Закодируйте заданное число по двоичной системе (h=2). Найдите необходимое число разрядов N.

в) Сделайте выводы.

а) I=N log₂ 1000=10

б) 1111101000, N=10

Опишите сообщение, для которого количество информации определяется энтропией.

Cообщение из N элементов, каждый из которых может принимать любое из m состояний х₁,...х_к,...х_m с вероятностью р₁,.. р_к,..р_m.

Опишите свойства энтропии.

Энтропия характеризуется следующими свойствами:

1. Энтропия всегда неотрицательна.

2. Энтропия равна 0, когда одно событие имеет вероятность 1, остальные – 0, т.е. этот опыт не несет новой информации.

3. Энтропия имеет наибольшее значение при р₁= р₂ =.. р_m= 1/m, при этом

Н_max= - log₂1_/m = log ₂m.

1.9 Что означает условие m=h?

Очевидно, если m=h, то удельная информативность по Хартли и энтропия Шеннона совпадают. Это совпадение будет означать о полном использовании информационной емкости системы. В случае неравных вероятностей количество информации по Шеннону меньше информационной емкости системы.

1.10 Чему равна энтропия двух неравновероятных состояний одного элемента (h=2)

H= = -(p₁log₂ p₁₊ p₂log₂ p₂)

Чему будет равна энтропия по пункту 1.10 при равной вероятности состояний?

m=h если p₁=p₂

I_cр=-(0.5 log₂ 0.5+0.5 log₂0.5)=1 бит.

1.12 Чему будет равна энтропия по пункту 1.10, если ?

=0.47

1.13 Чему будет равна энтропия по пункту 1.10, если или ?

1 .14 Нарисуйте график H(p) для случая п.1.10.

 

Ответы к лекции №2

2.1 Какие сигналы называются детерминированными? Нарисуйте примеры.

Детерминированный сигнал – это сигнал, линейного значения которого в любой момент времени известны.

2.2 Какие сигналы называют случайными? Нарисуйте примеры.

Случайные сигналы – это сигналы мгновенного значения которых не известны, а могут быть лишь предсказаны с некоторой вероятностью, меньшей единицы.

2.3 Какие сигналы называют непрерывными.(аналоговыми)? Нарисуйте примеры с учетом п.п.2.1 и 2.2.

Непрерывный сигнал – это сигнал, который может принимать лишь конечное число значений.Непрерывные сигналы описываются непрерывными функциями х(t)

Переход от аналогового представления к цифровому дает значительные преимущества при передаче, хранении и обработке информации и связан с квантованием (дискретизацией) сигнала х(t) по времени и уровню.

Рис.3 Непрерывная функция

непрерывного аргумента

2.4 Какие сигналы являются дискретными? Нарисуйте примеры

Дискретный сигнал – это сигнал, который может принимать лишь конечное число значений.Рис.4 Дискретная функция дискретного аргумента

Как осуществляется квантование по уровню?

Квантование сигнала х(t) по уровню состоит в преобразовании непрерывных значений х(t_i) в моменты отсчета t_i в дискретные х_k (рис.5).

В результате непрерывное множество значений х(t_i) в диапазоне от х_min до х_max превращается в дискретное множество х_k уровней квантования, где k=1,... m.

Рис.5

2.6 Как выглядит квантованный по времени сигнал? Нарисуйте примеры.

Какие задачи возникают при дискретизации непрерывных сообщений?

При дискретизации решается проблема, каков должен быть шаг дискретизации .

Оптимальным является шаг, который обеспечивает представление исходного сигнала с заданной точностью при минимальном количестве выборок.

Избыточные отсчеты не увеличивают точность восстановления, загружают тракт передачи информации, уменьшают производительность обработки данных в ЭВМ и т.д.

Сокращение избыточных данных - актуальная задача и может решаться в процессе дискретизации.

Какие принципиальные недостатки свойственны модели непрерывных сообщений с ограниченным спектром?

Реальные сигналы имеют конечную длительность. Спектр таких сигналов не ограничен, поэтому применение теоремы Котельникова приводит к погрешностям восстановления и проблемам в выборе шага квантования.