Модель, используемая в статической теории информации.

Билеты по Теории Информации

Билет 1.

а) Предмет и модель статистической теории информации

Модель, используемая в статической теории информации.

В основе любой теории лежит аксиома (концентрир. опыт). В теории строится модель объекта = пространство происходящих событий (событие = любое подм-во в простр-ве эл-ных событий), строится теорема, она даёт методы реализации, стравниваются рез-ты. Цепь замыкается.

W(x,y)=W(x)W(y/x)= W(y), где W(x), W(y) – плотность распр-я, W(x,y) – статистич. зависимость между x,y. Р(А/В)=Р(А) (А зависит от В, не зависит).

Комплекс условий – совокуп. к-то контролируемых параметров.

Р(А) – полн., безуслов. вер-ть.

Геометрич. интерпретация: Р(А/В) = Р(АВ)/Р(В) (условная вер-ть)

ТИ предполагает наличие по кр. мере 2х взаимод. между собой объектов (вне этой с-мы понятие инфы теряет смысл). Необх. установить инфу об объекте. Основное понятие – информация, инфа – это сведения.

1) Описание объекта. Оъект – совокупность физич. величин (параметров), кот. опис. этот объект. Каждый объект может нах. в опред-ном состоянии. Состояние – совокуп. физич. параметров. Все физич. величины (параметры) делятся на группы: те, кот. нас интересуют (это информационные объекты) и не интересуют ( мешающие - помехи, шум). Мы можем узнать только состояние объекта.

 

Описание объекта: Х – множ-во сост-ний объекта. х_i – сост-ние объекта.

1) Объект – это множ-во сост-ний. 2) объект – это множ-во сообщений (сообщение – это сост-ние, кот. передаётся) 3) множ-во сост-ний д. выступать как пространство элементарных событий.

Пусть им. 2 объекта – X и Y, м\д кот-ми м\б связь. Частный случай кодирования: кажд. х ставится в соответствие y. Можно задать двумерное распр-ние, кот. описывает связь м\д x и y: W(x,y).

Абстрактная модель – 2 мн-ва X,Y с заданной на них плотн-тью распределения W(x,y).

 

 

Модель ТИ должна содержать как минимум 2 объекта X,Y, связь м\д ними и определённую информацию (источник и приёмник)

б) Определение симметричного канала и вычисление его пропускной способности

А вероятность появления типичной последовательности

.

Вероятность Р_HT стремится к нулю, а вероятность Р_T стре­мится к единице при любом сколь угодно малом значении и неограниченном возрастании длины последовательности п. Интервал . которому принадлежит количество еди­ниц в типичной последовательности, неограниченно увеличива­ется (), хотя относительная величина интервалa

всегда меньше значения .

Докажем, что одновре-менно с неограниченным увеличением длины последователь­ности п можно уменьшать значение с такой скоростью, при которой относительная величина интервала будет стре­миться к нулю, а вероятность появления типичной последова­тельности—к единице. При этом абсолютная величина интер­вала по-прежнему неограниченно возрастает. Вероятность Р_T стремится к единице, если величина неограниченно увеличивается с ростом n. Пусть , где не­который параметр, определяющий скорость роста величины .

Oтсюда

.

Величина стремится к нулю с ростом п при . При этом абсолютная величина интервала не может быть постоянной или стремиться к нулю одновременно с неограни­ченным увеличением величины , стремлением к нулю.

б) Принципы построения корректирующих кодов. Связь корректирующей способности кода с кодовым расстоянием

Линейные коды. Помехозащищенность кода.

Все слова делятся на разрешенные и запрещенные.

Разрешенное кодовое слово <d/2

Запрещенное кодовое слово >=d/2

Расстояние между кодовыми словами должно быть минимальным.

Код – это множество разрешенных кодовых слов.

Линейный код – это разрешенные кодовые слова, удовлетворяющие системе линейных уравнений.

Если есть множество кодовых слов, то минимальное расстояние будет d. Чтобы измерить расстояние, нужно сложить по модулю 2 и посмотреть сумму.

Линейный код – это сумма 2-х разрешенных кодовых слов (выполняется принцип суперпозиции).

Как найти d для разрешенного кодового слова?

Расстояние между 2-мя кодовыми словами измеряется весом какого-либо другого кодового слова. Нужно выписать все веса и минимальный вес и будет расстоянием.

Для линейного кода d определяется по весу кодовых слов.

Построение проверочной матрицы

1) Зададим посл-ть цифр;

2) Запишем их в двоичной системе

3) Выпишем полученную матрицу H

4) Приведем Н к треугольному виду

5) Запишем СЛУ, информац. символы, защитные символы

6) По системе уравнений запишем порождающую матрицуG

7) Выписываем все разрешающие слова

8) Определяем d по весу кодовых слов

9) Определяем кратность ошибки: Если ошибка двукратная, то ошибка размножается. Если однократная, то исправляется.

В этом случае вероятность

Это равенство показывает, что индивидуальное количество информации, которое несет слово, равно количеству информации, которое несет первая буква, плюс количество информации, которое несет вторая буква при условии, что первая буква уже принята, и т. д.

Усредняя равенство по всем словам, получим количество информации, которое в среднем несет каждое слово:

.

Называемый избыточностью.

Для передачи заданного количества информации, равного I, требуется букв, если производительность источника равна . В случае, когда производительность источника достигает своего максимального значения, равного , для передачи того же количества информации I требуется минимальное количество букв, равное .

Отсюда или . Учитывая последнее равенство, выражение для. избыточности можно записать в виде

.

Пример 2. Определить избыточность стационарного марковского источника, алфавит которого состоит из двух символов: 0 и 1. Вырабатываемая источником последовательность представляет собой простую цепь Маркова. Заданы следующие значения условных вероятностей

Решение. Безусловную вероятность того, что (k+1)-м символом последовательности будет нуль, по формуле полной вероятности можно представить в виде

.

В правую часть неравенства входит вероятность pk(0) того, что k-ì символом последовательности будет нуль. В силу стационарности источника . Подставив в равенство значения p(0|0) и р(0|1), получим

р(0)=0,125, р(1)=1— р(0)=0,875.

Билеты по Теории Информации

Билет 1.

а) Предмет и модель статистической теории информации

Модель, используемая в статической теории информации.

В основе любой теории лежит аксиома (концентрир. опыт). В теории строится модель объекта = пространство происходящих событий (событие = любое подм-во в простр-ве эл-ных событий), строится теорема, она даёт методы реализации, стравниваются рез-ты. Цепь замыкается.

W(x,y)=W(x)W(y/x)= W(y), где W(x), W(y) – плотность распр-я, W(x,y) – статистич. зависимость между x,y. Р(А/В)=Р(А) (А зависит от В, не зависит).

Комплекс условий – совокуп. к-то контролируемых параметров.

Р(А) – полн., безуслов. вер-ть.

Геометрич. интерпретация: Р(А/В) = Р(АВ)/Р(В) (условная вер-ть)

ТИ предполагает наличие по кр. мере 2х взаимод. между собой объектов (вне этой с-мы понятие инфы теряет смысл). Необх. установить инфу об объекте. Основное понятие – информация, инфа – это сведения.

1) Описание объекта. Оъект – совокупность физич. величин (параметров), кот. опис. этот объект. Каждый объект может нах. в опред-ном состоянии. Состояние – совокуп. физич. параметров. Все физич. величины (параметры) делятся на группы: те, кот. нас интересуют (это информационные объекты) и не интересуют ( мешающие - помехи, шум). Мы можем узнать только состояние объекта.

 

Описание объекта: Х – множ-во сост-ний объекта. х_i – сост-ние объекта.

1) Объект – это множ-во сост-ний. 2) объект – это множ-во сообщений (сообщение – это сост-ние, кот. передаётся) 3) множ-во сост-ний д. выступать как пространство элементарных событий.

Пусть им. 2 объекта – X и Y, м\д кот-ми м\б связь. Частный случай кодирования: кажд. х ставится в соответствие y. Можно задать двумерное распр-ние, кот. описывает связь м\д x и y: W(x,y).

Абстрактная модель – 2 мн-ва X,Y с заданной на них плотн-тью распределения W(x,y).

 

 

Модель ТИ должна содержать как минимум 2 объекта X,Y, связь м\д ними и определённую информацию (источник и приёмник)

б) Определение симметричного канала и вычисление его пропускной способности