Вероятностный подход при измерении информации

Пусть в результате испытания наступило некоторое событие. Вероятность его наступления можно вычислить по формуле:

                                            

где N – количество всех возможных исходов испытания;

K – количество исходов испытания, удовлетворяющих данному событию.

Количество информации в сообщении о том, что наступило одно из возможных событий, можно вычислить по формуле

где P – вероятность наступления события;

х – количество информации в сообщении о том, что наступило данное событие.

Пример 2. В корзине лежат 16 шаров: 4 синих и 12 красных. Найти количество информации в сообщении о том, что из корзины наугад вынули синий шар.

N = 16, K = 4.

P = K / N = 4/16 = 1/4.

x = log₂(1/ P) = log₂4 = 2 (бита).

Итак, компьютер способен распознавать только значения бита – 0 или 1. Однако он редко работает с конкретными битами в отдельности.

Восьми битов (2⁸ = 256) вполне достаточно для того, чтобы закодировать десятичные цифры, математические операторы, знаки препинания, буквы латинского алфавита и необходимые служебные символы.

Более крупными единицами информации в двоичной системе являются:

1 килобайт (Кбайт) = 1024 байта,

1 мегабайт (Мбайт) = 1024 килобайта (или 1 048576 байт) и т.д.

Система кодирования 16-битовыми словами позволяет обеспечить отдельные коды для 65 536 символов. Такая система получила название универсальной – UNICODE (ЮНИКОД), она позволяет закодировать в одной таблице все символы мировых алфавитов.

Кодирование графических изображений векторного типа, состоящих из элементарных отрезков и дуг, осуществляется аналогично кодированию алфавитно-цифровой информации.

Графические изображения растрового типа состоят из совокупности отдельных точек – пикселей.

Разнообразные цвета формируются путем сочетания трех базовых цветов – красного, зеленого и синего, поэтому для кодирования восьми цветов требуется 3 бита.

Для кодирования каждой цветной точки 16-цветной палитры используется 4 бита, к 3 битам базовых цветов добавляется еще 1 бит – интенсивность (яркость).

Для кодирования каждой точки 256-цветной палитры требуется 8 битов (1 байт). При этом для каждого базового цвета (и его оттенков) используются различные значения интенсивности. Большое количество цветов образуется путем управления уровнями интенсивности базовых цветов.

Звуковая информация может быть представлена последовательностью элементарных звуков (фонем) и пауз между ними. Каждый звук кодируется и хранится в памяти компьютера. Вывод звуков осуществляется синтезатором, который считывает из памяти код звука.

В какой бы форме ни представлялась подлежащая обработке информация, она в конечном счете должна быть переведена компьютером на язык, доступный для автоматической обработки. Язык компьютера – это язык двоичных чисел. Двоичная система счисления наиболее проста и удобна для автоматизации. Наличие в системе всего лишь двух символов (0 и 1) упрощает их преобразование в электрические сигналы.

Системы счисления

Система счисления – это способ представления чисел цифровыми знаками и соответствующие ему правила действий над числами.

Системы счисления можно разделить:

1) непозиционные системы счисления;

2) позиционные системы счисления.

В непозиционной системе счисления значение (величина) символа (цифры) не зависит от положения в числе.

Самой распространенной непозиционной системой счисления является римская. Алфавит римской системы записи чисел состоит из символов: I – один, V – пять, X – десять, L – пятьдесят, C – сто, D – пятьсот, M – тысяча.
Величина числа определяется как сумма или разность цифр в числе (например, II – два, III – три, XXX – тридцать, CC – двести).

Если же большая цифра стоит перед меньшей цифрой, то они складываются (например, VII – семь), если наоборот – вычитаются (например, IX – девять).