Сообщение требует меньшего количества шагов в соотношении 2 к 1 3/4, т. е. от 8 к

Кодирование, разработанное Шенноном, которое позволяет достичь этого, выглядит следующим образом:

Минимумы. Сначала закодируйте сообщение

Бывший. 2: Печатный английский имеет энтропию около 10 бит на слово. Мы можем читать

около 200 слов в минуту. Дайте нижнюю оценку пропускной способности канала

зрительный нерв.

Бывший. 3. Если пианист может положить каждый из десяти пальцев на любую из трех нот и может

делайте это 300 раз в минуту, найдите нижнюю границу пропускной способности канала

нервы к верхним конечностям.

Бывший. 4. Банковские записи, состоящие из бесконечной последовательности явно случайных

цифры от O до 9 должны быть закодированы шрифтом Брайля для хранения. Если 10000 цифр

для хранения в час, как быстро должен быть напечатан шрифт Брайля при оптимальном кодировании

используется? (Подсказка: в «алфавите» Брайля 64 символа.)

18 сентября. Приведем еще один пример, чтобы показать удивительное

Сила, которую имеет метод Шеннона в понимании основ

Коммуникация. Рассмотрим систему состояний a, b, c, d с транс-

Вероятности появления

↓

↓

например, сообщение выше,

А

0

BCD

10 110 111

а

0

0,6

0,4

0

б

0

0,6

0,4

0

c

0,3

0

0

0,7

d

0,3

0

0

0,7

↓ 100010111000010110010001110

Б. AAB. D.. AAAAB. C.. AB. AAD.. А

а

б

c

d

Теперь разделите нижнюю строку на пары и перекодируйте в новый набор

Письма от

00 01 10 11

EFGH

Эти коды преобразуют любое сообщение от «A до D» в буквы «E».

To H», и, наоборот, без двусмысленности. Что примечательно, так это

Что если мы возьмем типичный набор из восьми исходных букв (каждая

Представлены с его типичной частотой), мы находим, что они могут быть

Передается как семь новых:

Типичная последовательность будет

… Bbbcabcabbcddacdabcac ddddddabb…

Равновесные вероятности: 6/35, 9/35, 6/35, 14/35 соответственно.

Тивительно. Вскоре выяснилось, что энтропия составляет 0,92 бита на букву. Сейчас

Предположим, что различие между a и d потеряно, т.е.

abcd

XbcX

Неужто какая-то информация должна быть потеряна? Покажи нам. Есть

Теперь только три состояния X, b, c, где X означает «либо a, либо d». Таким образом

предыдущее сообщение теперь начнется… bbbc X bc X bbc X

XX c.... Вероятности перехода оказываются равными

↓

↓

↓

AAAAB. Б. C.. D..

0 0 0 0 1 0 1 0 1 1 0 1 1 1

E. E. ГРАММ. ГРАММ. H. F. ЧАС

↓

Икс

б

0

0,6

0,4

c

1

0

0

Тем самым демонстрируя возможность сжатия, сжатие

Количественно предсказанной энтропией исходной

последнее сообщение!

Бывший. 1: показать, что кодирование дает однозначное соответствие между сообщениями.

отправлено и получено сообщение (за исключением возможной двусмысленности в первом письме).

Х 0,70

B 0,18

С 0,12

(Таким образом, c → X должно быть 1, потому что c всегда переходит либо в a, либо в d;

Переходы из a и из d требуют взвешивания (равновесной)

Вероятности нахождения в a или d.) Новые состояния имеют равновесные

185

184

ANINTROD UC TIONTOCYBER NE TICS

IN CESSA NT TR AN SMI SSIO N

Вероятности X, 20/35; б, 9/35; c, 6/35 и энтропии Hx,

Hb 0,971; Hc, 0. Итак, энтропия новой серии равна 0,92.

бит на букву - точно так же, как и раньше!

Этот факт бескомпромиссно говорит о том, что информация не была потеряна.

Когда точки d и a были объединены с буквами X. Следовательно, в нем говорится, что

Должен быть способ восстановить исходное четырехбуквенное сообщение.

Мудреца из трех, чтобы сказать, какой из крестиков был а, а какой

были d's. Более пристальное рассмотрение показывает, что это можно сделать, пораз-

Убедительно подтверждая довольно неожиданное предсказание.

Пример: Как

bbbcXbcXbbcXXXcXXbcXcXXXXXXXbb

декодировать в исходную форму?

в других науках нет необходимости следовать их примеру. В биологии особенно

«Шум» редко относится к этому конкретному источнику; больше ком-

Обычно «шум» в одной системе будет происходить из-за других макрокоманд.

Роскопическая система, из которой исследуемая система не может быть

Полностью изолирован.

Если два (или более) сообщения будут полностью и одновременно -

Легко восстанавливается путем декодирования выходных данных, концепция шума

Мало пользы. В основном это нужно, когда два сообщения (одно