Свойства дифференциальной энтропии

1.Дифференциальная энтропия в отличие от энтропии дискретного источника является относительной мерой неопределенности. Её значение зависит от масштаба случайной величины , например в  раз, оставив неизменным масштаб равномерной распределенной в единичном интервале случайной величины , принятой за эталон. Если , то  .

Тогда

                          

              .

Если одновременно изменить масштаб величины , то относительная неопределенность также изменится, так как значение эталона будет уже иным.

2.Дифференциальная энтропия не зависит от конкретных значений случайной величины  и, в частности, не изменения всех её значений на постоянное. Действительно, масштаб  при этом не меняется и справедливо равенство

                       .

3.Какие же непрерывные распределения обладают максимальной дифференциальной энтропией?

а. Если единственным ограничением для случайной величины  является область её возможных значений , то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области.

При доказательстве решается задача определения плотности распределения , обеспечивающей максимальное значение функционала

при ограничении

.

Используя, например, метод неопределенных множителей Лагранжа, получим

, .

Нетрудно убедиться в том, что найденная функция  обеспечивает максимум функционала , причём

.

б. Если ограничения на область значений непрерывной случайной величины  отсутствуют, но известно, что дисперсия её ограничена, то максимальной дифференциальной энтропией обладает нормальное распределение величины .

При доказательстве решается задача определения функции , которая обеспечивает максимальное значение функционала

при ограничениях

  

и

,

где среднеквадратическое отклонение от математического ожидания  ( заданное ограничение).

Искомую плотность распределения  находят, например, методом неопределенных множителей Лагранжа.

Она называется гауссовской:

.

Вычислив функционал (40.6) для этого распределения, получим значение максимальной дифференциальной энтропии

Поскольку в информационных системах сигнал, который описывается случайной величиной , часто представляет собой электрическое напряжение (или ток), дисперсия  пропорциональна средней мощности сигнала. Тогда в соответствии с (40.7) можно утверждать, что при заданной мощности наибольшей средней неопределенностью выбора будет обладать источник, который генерирует сигналы, амплитуды которых распределены по нормальному закону.

4. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников:

,

где 

    .

Справедливость соотношения (40.9) легко проверить подстановкой (39.2), заданного для  и выражения (39.4) – для .

Так как

 и ,

то

,

причём равенство имеет место только в случае отсутствия статистической связи между  и .