Заглавная страница Избранные статьи Случайная статья Познавательные статьи Новые добавления Обратная связь КАТЕГОРИИ: АрхеологияБиология Генетика География Информатика История Логика Маркетинг Математика Менеджмент Механика Педагогика Религия Социология Технологии Физика Философия Финансы Химия Экология ТОП 10 на сайте Приготовление дезинфицирующих растворов различной концентрацииТехника нижней прямой подачи мяча. Франко-прусская война (причины и последствия) Организация работы процедурного кабинета Смысловое и механическое запоминание, их место и роль в усвоении знаний Коммуникативные барьеры и пути их преодоления Обработка изделий медицинского назначения многократного применения Образцы текста публицистического стиля Четыре типа изменения баланса Задачи с ответами для Всероссийской олимпиады по праву Мы поможем в написании ваших работ! ЗНАЕТЕ ЛИ ВЫ?
Влияние общества на человека
Приготовление дезинфицирующих растворов различной концентрации Практические работы по географии для 6 класса Организация работы процедурного кабинета Изменения в неживой природе осенью Уборка процедурного кабинета Сольфеджио. Все правила по сольфеджио Балочные системы. Определение реакций опор и моментов защемления |
Энтропия как мера неопределенности выбора
Дискретный источник – в некоторый момент времени случайным образом может принять одно из конечного множества возможных состояний U1,…,Un, т.к. одни состояния могут быть чаще, а другие реже, то информация характеризуется ансамблем U, т.е. полной совокупностью: причем (1.4) Необходимо ввести меру выбора. Условия ввода меры: 1) монотонность возрастания с увеличением возможностей выбора можно было бы взять число состояний. – Нельзя! т.к. при N=1 ® выбора нет. - не удовлетворяет требованиям аддитивности. 2) аддитивность: информация содержащаяся в 2-х источниках должна быть равна сумме информации в каждом из них: IS=I1+I2, с другой стороны: IS=f(M×N) т.е. f(MN) = f(M) + f(N). Эти условия можно выполнить, если Логарифмическая мера информации была предложена американским ученым Хартли в 1928 г. Если основание log=log2, то имеем единицу информации – бит (binary digit). К сожалению, мера Хартли не учитывает вероятностные характеристики информации. Допустим: - источник ® p1=1, p2=0 - источник ® p1=p2=0,5 В 1-ом случае нет - вероятности и исход – заранее известен. т.о. получение сообщения от 1-го источника информации не прибавляет. Во 2-ом случае – исход заранее неизвестен. Поэтому информация полученная от 2-го источника ® max, т.е. вероятностная мера информации должна удовлетворять следующим условиям: - быть непрерывной функцией вероятности состояния источника p1, p2,…, pN (Spi=1); - max ее (меры) значения должен достигаться при равенстве вероятностей; - мера информации должна зависеть только от функции распределения СВ и не зависеть от ее конкретных значений. Вероятностная мера информации как мера неограниченности выбора состояния из ансамбля была предложена Клодом Шенноном: - энтропия (1.5) В данной системе с=1, тогда: (1.6) Рассмотрим взаимосвязь меры Шеннона с мерой Хартли. Если в ИС имеется N состояний и они p вероятны, то . (1.7) В случае разности вероятностных состояний информация по Шеннону < информации по Хартли. Так для двух равновероятных событий по Хартли: I=log 2 = 1 бит. по Шеннону: H=-(p1log2p1+p2log p2) H=1 бит Max достигается при p1=p2=0,5
Рис 1.1. Лекция 2. Дискретный канал без помех Цель лекции: ознакомление с дискретным каналом передачи информации без помех.
Содержание: а) понятие информации; б) дискретный канал передачи информации без помех; в) пропускная способность канала; г) теоремы для пропускной способности канала без помех; д) математическая модель дискретного канала без помех; Понятие информации Термином “информация” с древнейших времен обозначали процесс разъяснения, изложения, истолкования. Позднее так называли и сами сведения и их передачу в любом виде. Информация – не только сведения о свойствах объектов и процессов, но и обмен этими сведениями между людьми, человеком и автоматом, автоматом и автоматом, обмен сигналами в животном и растительном мире, передача признаков от клетки к клетке, от организма к организму. Под информацией нужно понимать не сами объекты и процессы, или их свойства, а представляющие характеристики предметов и процессов, их отражение или отображение в виде чисел, формул, описаний, чертежей, символов, образов и других абстрактных характеристик. Под информацией понимают сведения о каком-либо явлении, событии, объекте. Информация, выраженная по определенной форме, представляет собой сообщение, иначе говоря, сообщение это то, что подлежит передаче, а сигнал является материальным носителем сообщения. В широком смысле информации – это новые сведения об окружающем нас мире, который мы получаем в результате взаимодействия с ним. Информация - одна из важнейших категорий естествознания. Можно выделить 3 основных вида информации в обществе: личную, специальную и массовую. Личная информация касается тех или иных событий в личной жизни человека. К специальной информации относятся научно-техническая, деловая, производственная, экономическая и др. Массовая информация предназначена для большой группы людей и распространяется через средства массовой информации: газеты, журналы, радио, телевидение. Информация в любой форме является объектом хранения, передачи и преобразования. В теории и технике связи в первую очередь интересуются свойствами информации при её передачи и под информацией понимают совокупность сведений о явлениях, событиях, фактах, заранее не известных получателю.
|
||||||
Последнее изменение этой страницы: 2021-12-15; просмотров: 64; Нарушение авторского права страницы; Мы поможем в написании вашей работы! infopedia.su Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. Обратная связь - 18.118.29.219 (0.006 с.) |