Репортаж с ничейной земли. Рассказы об информации

Седов Е. А.

I = P₁log P₁ + P₂log P₂ + ... P_nlog P_n.

Здесь значки P₁, P₂ ... P_п означают вероятности рассматриваемых событий, а log P₁ и т. д.
– их логарифмы.

Так, например, в опыте с 6 черными и 4 белыми шарами P₁ = 0,6 (60%), а P₂ - 0,4 (40%). Значит, в этом случае количество информации будет равно:

I = 0,6·log 0,6 + 0,4·log 0,4.

Быть

может, кто-нибудь из присутствующих давно не пользовался логарифмами? Не беда. Для этого существуют логарифмические таблицы. Зная число, по ним легко найти его логарифм. С помощью таблицы легко подсчитать, что:

I = 0,6·log 0,6 + 0,4·log 0,4 = 0,97.

(При расчете количества информации применяются двоичные логарифмы.)

А для случая с 1 белым и 9 черными шарами получим:

I = 0,1·log 0,1 + 0,9·log 0,9 = 0,47.

Таким образом, наши общие рассуждения о «неопределенности опыта» и о «мере неведенья» тех, кто проводит опыт, теперь выражаются точными числами. Но сами по себе числа мало о чем говорят.

Ведь нельзя сказать, что вес равен 10, - все дело в том, в каких выражается он единицах. Что это - 10 граммов или 10 тонн? Значит, для измерения информации тоже нужны какие-то единицы. Единицей времени служит время: час, минута, секунда. Единицей веса опять-таки служит вес. И все измерения производятся так же: давление сравнивается с давлением, температура - с температурой. Значит, и информацию нужно сравнивать с информацией.

За единицу количества информации принят самый простенький случай. Есть два возможных исхода - «или - или»; и каждый из них имеет одинаковую вероятность. Когда получено сообщение об исходе, одно «или» отпало и вы получили одну единицу количества информации - так называемый «бит». Например, в нашем ящике лежит 5 черных и 5 белых шаров. С равной вероятностью можно ожидать или черного, или белого шара. А по формуле Шеннона в этом случае получается:

I = 0,5·log₂0,5 + 0,5·log₂0,5 = - log₂2 = 1 бит.

Название «бит» происходит от сокращения английских слов, означающих в переводе «двоичная единица». Каждый знак двоичного кода тоже дает 1 бит информации, потому что с равной вероятностью может появиться 1 или 0.

Теперь мы имеем возможность оценить наши опыты в битах. Случай с четырьмя и шестью шарами имел большую неопределенность и давал информацию в количестве 0,97 бита. Опыт с девятью черными и одним белым шарами обладает меньшей неопределенностью - здесь каждое сообщение дает только 0,47 бита. А если в ящике находится 99 черных шаров и только один белый? Неопределенность почти исчезает: мы будем почти все время извлекать черный шар. И по формуле мы получим для данного случая информацию всего лишь 0,08 бита. Ну, а если нам вопреки ожиданиям попадется вдруг белый шар? Случай этот весьма непредвиденный, значит сообщение о таком результате должно дать большое количество информации. Так оно и окажется. Но при большом количестве опытов такое событие будет происходить очень редко, и в общей сумме полученной информации оно сыграет весьма малую роль. А формула Шеннона показывает, сколько информации дает в среднем каждое из сообщений. В большинстве случаев мы станем получать сообщения об извлечении черного шара. Очень редко будет попадаться и белый шар. А в среднем каждое сообщение оценивается в 0,08 бита.

А теперь взгляните на формулу, начертанную на самом верху колонны. Не кажется ли она вам знакомой? В самом деле, в ней есть те же символы P_i log P_i. Тот же значок

вероятности. Тот же логарифм. А что означает i? i - это ряд целых чисел: 1, 2, 3 ... n. Вместо того чтобы много раз подряд писать похожие друг на друга строчки, математики придумали это простое обозначение: знаком они избавляют себя от труда много раз подряд повторять знак «+». Для полной ясности они пишут под этим знаком, что счет надо начинать с единицы (i=1; P_i=P₁), а вверху напоминают, что кончать надо тогда, когда учтены все возможные случаи, то есть при P_i=P_n. Вот и получается знаменитая формула Шеннона, породившая Новый Город:

I =

n

i=1

P_i log P_i

Эту формулу можно использовать для оценки разнообразных сообщений. «Когда состоится очередное совещание работников транспорта?» - -запросили вы министерство. Какое количество информации вы должны получить в ответ? Неопределенности здесь гораздо больше, чем в опытах с черными и белыми шарами. Там вы могли ожидать только два различных исхода. А здесь вам могут назвать любой месяц и любое число. В году 365 дней, и, пока вы не получили ответа, любой из них имеет для вас одинаковую вероятность:

P₁ = P₂ = ... = P₃₆₅ =

1

365

Формула Шеннона поможет нам выразить эту неопределенность количеством бит:

I =

365

i=1

P_i log P_i

Если действовать так, как велит эта формула, придется, набравшись терпения, выписать все члены P_ilog P_i от P₁ до P₃₆₅ и сложить их между собой.

Но в данном случае расчет производится проще: сложение можно заменить умножением, потому что все вероятности P_i равны. Значит,

I =

(

1

365

·log

1

365

)

·365 = log

1

365

 = - log 2^8,5 = 8,5 бита.

Но вот пришел, наконец, ответ организаторов совещания, и неопределенность исчезла: в ответе указана точная дата - пятое августа. В каждом слове этого сообщения содержится определе-н'ное количество информации. Слово «август» позволяет отметить один из 12 месяцев. В нем содержится:

I₁ =

12

i=1

P_i log P_i =

(

1

12

·log

1

12

)

·12 = - log 2^3,6 = 3,6 бита.

Слово «пятое» позволяет выбрать из 31 дня данного месяца интересующий нас день совещания.

Значит,

I₂ =

31

i=1

P_i log P_i =