Фундаментальное значение во многих вопросах, касающихся непрекращающегося

Коробка передач. Эта мера развивается следующим образом.

Если в наборе есть разнообразие, и мы берем образец одного предмета из

Установлен, посредством некоторого определенного процесса выборки, то различные возможные

Результаты розыгрыша будут связаны с различными, соответствующими

Вероятности. Таким образом, если у светофора есть четвертая разновидность, покажите-

В комбинациях

1 красный

2 красный и желтый

3 Зеленый

4 желтый,

И если они включены в течение 25, 5, 25 и 5 секунд соответственно

Обычно, если автомобилист неожиданно появляется в ненормированное время, он

Найдет огни в различных состояниях с частотами

около 42, 8, 42 и 8% соответственно. В качестве вероятностей эти

Становятся 0,42, 0,08, 0,42 и 0,08. Таким образом, состояние «Зеленый» имеет (если

Этот конкретный метод выборки должен использоваться) вероятность 0 42;

И то же самое для остальных.

И наоборот, любой набор вероятностей - любой набор положительных

Число, которое в сумме дает 1, можно рассматривать как соответствующие некоторым

Множество, члены которого демонстрируют разнообразие. Расчет Шеннона продолжается

От вероятностей расчетом, если вероятности равны

p1, p2,…, pn, из

- p1 log p1 - p2 log p2 -… pn log pn,

Величина, которую он называет энтропией множества вероятностей

И который он обозначает через H. Таким образом, если мы возьмем бревна с основанием 10,

Энтропия множества, связанного со светофором, равна

- 0,42 log100,42 - 0,08 log100,08 - 0,42 log100,42 - 0,08 log100,08

что равно 0,492. (Обратите внимание, что log10 0,42 = 1,6232 = - 1,0000 +

174

0,6232 = - 0,3768; поэтому первый член равен (- 0,42) (- 0,3768), что

равно + 0,158; и аналогично для других условий.) Если бы журналы были

По основанию 2 (S.7 / 7) результат был бы 1,63 бита.

Слово «энтропия» будет использоваться в этой книге исключительно в том виде, в котором оно используется.

Шенноном, любое более широкое понятие, упоминаемое как «разнообразие» или

Каким-то другим способом.

Бывший. 1: 80 раз, когда я приезжал на определенный железнодорожный переезд, он был закрыт

14. Какова энтропия множества вероятностей?

Бывший. 2: Из перетасованной колоды карт вытягивается одна. Различают три события:

желал:

E1 рисунок Короля треф,

E2: рисунок любой лопаты

E3: вытягивание любой другой карты.

Какова энтропия разнообразия различимых событий?

Бывший. 3: Какова энтропия разнообразия при одном броске несмещенной кости?

Бывший. 4: Какова энтропия в разнообразии множества возможностей результатов

(с сохранением их порядка) двух последовательных бросков несмещенной кости?

Бывший. 5: (Продолжение.) Какова энтропия n последовательных бросков?

*Бывший. 6: Каков предел - p log p, когда p стремится к нулю?

Вычисленная таким образом энтропия имеет несколько важных свойств.

Во-первых, он максимален для данного числа (n) вероятностей, когда

Вероятности все равны. Тогда H равно log n, в точности

Мера разнообразия, определенная в S.7 / 7. (Равенство вероятностных

В S.9 / 10 отмечалось, что в каждом столбце это необходимо для

Ограничение быть минимальным, т. е. чтобы разнообразие было максимальным.)

Кроме того, разные H, полученные из разных наборов, могут с подходящими

Квалификации, можно объединить, чтобы получить среднюю энтропию.

Такая комбинация используется для нахождения энтропии, соответствующей

Цепь Маркова. Каждый столбец (или строка, если они записаны в транспонированной

Form) имеет набор вероятностей, сумма которых равна 1. Следовательно, каждая из них может

Обеспечить энтропию. Шеннон определяет энтропию (одного шага

Цепочки) как среднее значение этих энтропий, каждая из которых взвешивается

Пропорцией, в которой это состояние, соответствующее цвету

Umn, происходит, когда последовательность достигает своего равновесия (S.9 /

Таким образом, вероятности перехода этого участка с соответствующими

Соответствующие энтропии и равновесные пропорции, показанные ниже, являются

↓

B

W

п

Энтропия:

Равновесная пропорция:

B

W

п

1/4 3/4 1/8

3/403/4

01/4 1/8

0,811 0,811 1,061

0,449 0,429 0,122

175