При организации сообщения, передаваемого С помощью телефона или телеграфа, следовало стремиться к тому, чтобы его энтропия оставалась минимальной.

Но, поскольку формула Хартли не учитывала вероятностей различных исходов опыта, в 1948 г. другой американский инженер Клод Шеннон предложил ее усовершенствовать, приняв в качестве меры неопределенности опыта a - с возможными исходами величину:

где p () - вероятности отдельных исходов.

Шеннон (Shannon) Клод Элвуд 1916-2001

Знаменитый американский математик и электроинженер, один из создателей теории информации. Закончив в 1936 г. Мичиганский университет, Шеннон увлекся идеей применения формальной логики к анализу работы релейных систем связи (телефона, телеграфа), что и определило его последующую судьбу. Оставаясь на протяжении всей жизни неутомимым изобретателем эдисоновского типа, Шеннон попытался распространить применение формальной логики в области генетики, защитив в 1940 диссертацию на тему «Алгебра теоретической генетики», а также криптографии и создания шахматных программ.

После защиты диссертации Клод Шеннон более тридцати лет работал в математической лаборатории крупнейшей американской компании по производству аппаратуры и услуг связи - AT&T Bell Telephones. В этот период он создает основы теории информации и теории автоматического управления. В это же время он публикует свой самый знаменитый труд «Математическая теория связи» (1948). В нем Шеннон дает новую интерпретацию энтропии, как меры неопределенности сообщения, и вводит фундаментальные для современной науки понятия: информации, как количества снятой неопределенности благодаря сделанному сообщению; и пропускной способности канала связи. С 1957 г., продолжая службу в AT&T, Шеннон работал профессором математики Массачусетского технологического института.

Использование величины H(a) в качестве меры неопределенности опыта a оказалось очень удобным как для математических, так и для многих практических целей. Хотя, еще в начале 1950-х годов, ряд исследователей указывал на то, что формула Шеннона не может претендовать на полный учет всех факторов, определяющих “неопределенность опыта” в любом смысле, какой может встретиться в жизни, т.к. зависит лишь от вероятностей различных исходов опыта и вовсе не зависит от того, каковы сами эти исходы.

Поэтому, например, формула Шеннона даст один и тот же результат для двух методов лечения больного, один из которых приводит к полному выздоровлению в 90 случаях из 100 и к заметному улучшению состояния больного в остальных случаях, а второй так же вполне успешен в 90 случаях из 100, но зато в остальных 10 случаях завершается смертельным исходом. Существенное различие между двумя опытами в этих случаях должно оцениваться совсем другими характеристиками, отличными от энтропии Шеннона.

Отмеченная особенность энтропии H(a) объясняется тем, что первоначально она была предложена для решения вопросов теории передачи сообщений по линиям связи, т.е., в тех условиях, при которых конкретное содержание самого сообщения совершенно несущественно.

Наряду с понятием энтропии H(a), Шеннон вводит еще и разностную меру J(a) для зависимых опытов a и a ₁, указывающую, насколько осуществление опыта a ₁ уменьшает неопределенность опыта a:

где – энтропия опыта , позволяющая уменьшить неопределенность опыта a.

J (a) – информация об опыте a, содержащаяся в опыте .

Винер (Wiener)

Норберт

(1894 - 1964)

Известный американский учёный. В детстве был вундеркиндом, и уже в 18 лет стал доктором философии Гарвардского университета. С 1919 года Винер был преподавателем, а с 1932 г. - профессором Массачусетского технологического института, работая в области математической логики и теоретической физики.

Во время 2-й мировой войны Винер работал над проблемой создания первых образцов вычислительной техники. В это время он разработал теорию фильтрации случайных процессов, получившую широкое применение при создании систем управления баллистическими ракетами.

После окончания второй мировой войны Винер работал в кардиологическом институте в Мехико. Здесь он выступил с идеей создания новой науки - кибернетики, изучающей процессы хранения и переработки информации, управления и контроля. По мысли Винера кибернетика, изучая информационные процессы, как в технических, так и живых системах, должна стать супернаукой, объединяющей специалистов различного профиля – от математиков до психологов.

Шеннон вводит и единицу измерения информации, в качестве которой принимается информация, необходимая для принятия решения при выборе из двух одинаковых, равновероятных возможностей. Это количество информации получает название двоичной единицы или одного бита. Предложенное К. Шенноном понимание информации вскоре было с воодушевлением воспринято многими естественными и гуманитарными науками, включая психологию, для которой оно на протяжении многих лет стало одним из наиболее часто употребляемых понятий.

В конце сороковых и начале пятидесятых годов 20 века получает развитие еще одна системная наука – кибернетика. Своим происхождением и популярностью в научных кругах она обязана энергичной деятельности Н. Винера. Практический интерес общества к разрабатываемым в ней положениям был связан с начавшейся в это время разработкой систем самонаведения для ракетной техники и созданием первых электронно-вычислительных машин. Несомненной заслугой кибернетического направления было введение понятия “обратной связи” и создание математического аппарата для описания технических саморегулирующихся систем с контурами обратной связи. Однако Н. Винер не ограничил предмет созданного им научного направления лишь математическими концепциями и их техническими приложениями. Одной из главных задач кибернетики он видит установление аналогий между деятельностью человеческого мозга и работой вычислительной машины. Эти аналогии должны способствовать построению более совершенных машин, с одной стороны, и раскрытию механизмов работы мозга, с другой.