Информация в непрерывных сигналах. Дифференциальная энтропия.

Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть - случайная величина (сечение или отсчёт случайного сигнала), определённая в некоторой непрерывной области, и её распределение вероятностей характеризуется плотностью .

Разобьём область значений  на небольшие интервалы протяжённостью . Вероятность того, что  лежит в интервале , + , то есть , приблизительно равна  , причём приближение тем точнее, чем меньше интервал . Степень неожиданности такого события равна . Если значения  в пределах конечного интервала  заменить значениями  в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как:

Будем теперь увеличивать точность определения значения , уменьшая интервал . В пределе, при   должна получиться энтропия непрерывной случайной величины:

                                                                                           (10.17) Второй член в полученном выражении стремится к  и совершенно не зависит от распределения вероятностей . Это значение, что собственная информация любой непрерывной случайной величины бесконечно велика. Тем не менее, взаимная информация между двумя непрерывными ансамблями, как правило, остаётся конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передаётся с конечной скоростью.

Обратим внимание на первый член в данной формуле. Он является конечным и определяется плотностью распределения вероятности  . Его называют дифференциальной энтропией и обозначают :

                                    (10.18)

Попытаемся теперь определить взаимную информацию между двумя непрерывными случайными величинами  и . Разбив области определения  и  соответственно на небольшие интервалы  и , заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы . Исходя из этого выражения можно определить взаимную информацию между непрерывными величинами  и :

      

                (10.19)

При этом никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований её можно представить и в таком виде:
                                                                 (10.20)

                                                                                                        

Здесь  - определённая ранее дифференциальная энтропия , а - условная дифференциальная энтропия. Легко убедиться, что основные свойства взаимной информации остаются справедливыми и в данном случае.

В качестве примера найдём дифференциальную энтропию случайной величины  с нормальным распределением вероятности:

,                                     (10.21)

где математическое ожидание, а - дисперсия .

Подставив (10.21) в (10.18), найдём:

Первый интеграл по общему свойству плотности вероятности равен 1, а второй – по определению дисперсии равен . Окончательно

      (10.22)

Таким образом, дифференциальная энтропия гауссовской случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.

В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин  с одинаковой дисперсией   наибольшую дифференциальную энтропию имеет величина с нормальным распределением.