Информационная энтропия. Формула Шеннона

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы. Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Инфо
wikipediaИнформационная энтропия — мера неопределённости или непредсказуемости информации. Это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Информационная двоичная энтропия для независимых (неравновероятных) случайных событий x с n возможными состояниями (от 1 до n, p — функция вероятности) рассчитывается по формуле Шеннона:

shannon

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины {i_1, i_2, \dots i_n}.
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности. Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

 I = -\log_2{p} = \log_2{N}  , где I — количество передаваемой информации, p — вероятность события, N — возможное количество различных (равновероятных) сообщений.

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом «туз»; «туз пик»?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

 I_1 = -\log_2{p_1} = \log_2{\frac{1}{\frac{1}{9}}} = \log_2 9 \approx 3.17 \\  I_2 = -\log_2{p_2} = \log_2{\frac{1}{\frac{1}{36}}} = \log_2 36 \approx 5.17

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью)

Задание 2. На неравновероятные события
В колоде 36 карт. Из них 12 карт с «портретами». Поочередно из колоды достается и показывается одна из карт для определения изображен ли на ней портрет. Карта возвращается в колоду. Определить количество информации, передаваемой каждый раз, при показе одной карты.

 I = -(p_{ic}\log_2{p_{ic}}+p_{ot}\log_2{p_{ot}})=\frac{12}{36}\log_2{\frac{1}{\frac{12}{36}}}+\frac{36-12}{36}\log_2{\frac{1}{\frac{36-12}{36}}}=\frac{\ln3}{3\ln2}+\frac{2\ln{\frac{3}{2}}}{3\ln2} \approx 0.91

Ответ: I = 0.91 бита.

Свойство аддитивности информации.
Для независимых x_{1},\dots,x_{n} справедливо:

 I(x_1,x_2,\dots,x_n) = \sum_{i=1}^nI(x_i)

Задание 3. На аддитивность.
Документация некоторого учреждения размещена в 4-х комнатах. В каждой комнате находится 16 шкафов. Каждый шкаф имеет 8 полок. Определить количество информации, которое несет сообщение о том, что нужный документ находится в третьей комнате, в тринадцатом шкафу на пятой полке.

 I = \log_24+\log_216+\log_28=9

Ответ: I = 9 бит.

Добавить комментарий