Оптимальний прийом інформації в ЕС. Критерій оптимальності.

Рассматриваются классические информационные меры -шенноновская, фишеровская информация, дивергенция Кульбака и их взаимосвязь. Приводится информационная трактовка классических правил выбора статистических решений. Рассматривается оптимальное байесовское правило, распознавания сигналов с позиций использования максимально возможной информацию! о распознаваемых объектах

I. Взаимосвязь основных информационных мер

При распознавании М классов объектов, представленных случайными сигналами, шенноновская информация, которая содержится в наблюдении y относительногипотезы H_j имеет вид

(1)

где произвольная Радона-Никодима меры по отношению к мере мера, заданная на множестве реализаций j-го сигнала, определяющего его.

Соответственно средняя шенноновская информация относительно гипотезы H_j, по всему ансамблю реализаций определяется соотношением

Согласно (2) разность средних шенноновских информаций, содержащихся во всём ансамбле реализаций сигналов относительно гипотез H_iи H_j, равняется

 

 

Эту разность информаций называют расхождением (дивергенцией) Кульбака между гипотезами H_iи H_jили между мерами и

В задаче оценки непрерывного параметра индивидуальная шенноновская информация, которая содержится в сообщениях относительно значения параметра , имеет вид

А средняя информация – соответственно вид

Разность средних шенноновских информаций, которые содержатся в ансамбле сигналов относительно значений параметра и равна

где информационная матрица Фишера;

В частнои скалярного параметра выражение (4) принимает вид

где информация Шифера.

 

Таким образом, классические информационные меры 1 взаимосвязаны: дивергенция Кульбака - это разность средних шенноновеких информация, содержащихся в ансамбле реализаций сигналов относительно двух выдвинутых гипотез; фишеровская] информация - это взятая со знаком минус производная средней щенноновской информации, которая содержится в ансамбле реализаций относительно конкретного значения непрерывного параметра сигнала.

Оптимальный прием сигналов с позиций информационного критерия оптимальности

В теории статистических решений обычно забывают про задачу сохранения информации и ставят задачу - построения решающих правил, оптимальных по иным критериям – минимума среднего риска, минимума средней вероятности ошибки и др. Более естественно использовать информационные критерии, выдвигающие требования сохранения информации о распознаваемых объектах. Иногда эти подхода приводят к одинаковым решающим правилам.

Рассмотрим такой информационный критерий: выбрать среди M гипотез

такую, относительно которой в принятой реализации содержится максимум взаимной шенноковской информации:

Для конечномерных наблюдений решающее правило (5) может быть приведено к виду

который совпадает с алгоритмом, оптимальным по критерию! максимума правдоподобия, мало понятного с позиций передачи

 

информации от распознаваемых объектов.(Здесь функция правдоподобия).

Алгоритмы распознавания, оптимальные по классическим критериям оптимальности, могут быть выражены через информационные характеристики сигналов. Так алгоритм, оптимальный по минимуму средней вероятности ошибки, принимает вид:

алгоритм, оптимальный по критерию минимума среднего риска - вид

 

 

Здесь P_i -вероятности предъявляемых сигналов, матрица потерь.

Решающие правила (6) (7) основаны на информативности наблюдений относительно каждой гипотезы, а также учитывают вероятности гипотез и "плату" за различные решения.

3.Качество оптимального приема сигналов с позиций информативности наблюдений

Классический подход к построению правил распознавания сигналов в рамках байесовской теории статистических решений, требующий минимизации среднего риска, в явном виде не учитывает мание сохранения информации в наблюдениях. В общем случае переход от принятых реализаций сигналов к некоторым статистикам приводит к ухудшению качества распознавания.

С позиций шенноновской информации рассмотрено понятие достаточной статистики относительно задачи распознавания случайных сигналов. Статистика рассмотрена как отображение, задающее разбиение пространства реализаций сигналов на непересекающиеся множества. Показано, что статистика относительно задачи распознавания сигналов будет достаточной горда и только тогда, когда при переходе к ней не изменяется средняя шенноновская информация относительно выдвигаемых

Гипотез

 

Сформулирована фундаментальная теорема относительно байесовского правила распознавания сигналов. Согласно этой теореме, байесовское правило, построенное в пространстве наблюдений, минимизирует средний риск по сравнению с многими другими решающими правилами. Однако величина этого минимума различна для разных статистик. Она наименьшая, когда правило набора решений строится непосредственно в пространстве реализаций принятого сигнала или в пространстве наблюдений, которые являются достаточными статистиками. Использование ими статистик и построение в них решающего правила не дает минимальной величины минимума среднего риска.