Естествознание. Базовый уровень. 11 класс
Шрифт:
2. Экзаменуемому подсказывают, что ближайшая к Солнцу планета – это не Земля и не Марс. Сколько информации содержит эта подсказка?
§ 11 Свойства информации и двоичная система счисления
Все люди делятся на десять категорий: на тех, кто понимает двоичную систему счисления, и на тех, кто её не понимает.
Мы рассмотрели случаи, когда вероятности всех возможных исходов представляются одинаковыми. Но так бывает далеко не всегда. Очень часто один вариант представляется нам более вероятным, а другой – менее вероятным. Какова будет энтропия в этом случае? К. Шеннон вывел формулу, которая позволяет вычислить энтропию при этом условии. Предположим, что имеется всего два варианта. Вам сегодня надо сдавать экзамен, на котором могут задать 10 вопросов, из которых 9 вы знаете блестяще, а по одному совсем не подготовились. Вероятность удачной сдачи экзамена равна, таким образом, 9/10,
H = – (Рудачи •lоg2 P удачи + P неудачи • lоg2 Р неудачи).
Вычислим энтропию для нашего примера со сдачей экзамена. Вероятность успешной сдачи составляет 0,9, а её двоичный логарифм равен -0,15.
Вероятность провала равна 0,1, а её логарифм по основанию 2 соответствует -0,33. Значит, энтропия равна:
Н = – [0,9 (-0,15) + 0,1 • (-0,33)] 0,17.
Эта величина выражается в битах и означает степень нашей неосведомлённости по поводу результата экзамена.
Предположим теперь, что мы имеем дело с неизвестным учащимся, про степень подготовки которого мы абсолютно ничего не знаем. Как мы оценим вероятность его успеха или провала? Логично предположить, что надо считать и ту и другую равными 0,5, как говорится, «пятьдесят на пятьдесят». Просто у нас нет никаких оснований считать иначе. Какова будет энтропия в этом случае? Как нам известно, в случае равновероятных исходов энтропия равна двоичному логарифму их количества. Таких исходов у нас два – либо сдаст, либо не сдаст. Значит, в этом случае степень нашего незнания результата экзамена равна 1 биту, что значительно больше, чем в предыдущем случае. Почему так получилось? Потому что про второго экзаменуемого нам не было ничего известно, в то время как в отношении себя мы знали, насколько различаются вероятности успешной или неуспешной сдачи экзамена. Это знание вероятностей и снизило энтропию. На сколько? Очевидно, на величину разницы энтропий для двух различных случаев, т. е. на 1 – 0,17 = 0,83 бита. Формула Шеннона показывает, что чем больше степень нашего незнания, тем большей получается величина энтропии.
В реальной жизни при выборе решения мы почти всегда исходим из того, что обладаем некоторой предварительной информацией по этому вопросу. Эта информация снижает исходную энтропию выбора. Например, нам пришлось задать всего одиннадцать вопросов для того, чтобы узнать, что загадан именно Ньютон. Предварительная информация перед угадыванием заключалась в том, что задуманным должен быть человек, скорее всего известный как загадывающему, так и отгадывающему. Вряд ли игрок имел в виду младшего сына любимого раба римского сенатора Информациуса, жившего во II в. до н. э. Сколько на Земле жило достаточно общеизвестных людей? Надо думать, что не более нескольких тысяч. Если для отгадывания Ньютона нам пришлось задать одиннадцать
А что будет в том случае, если мы не имеем никакой предварительной информации? Допустим, что мы имеем дело с авантюристом, который всё-таки загадает младшего сына любимого раба. Вы думаете, что для отгадывания надо будет задать невероятно большое число вопросов? Вовсе нет. Количество всех людей, живших на Земле в обозримый исторический период, вряд ли превышает 10 млрд. А двоичный логарифм этого числа равен 29,9. Так что, задав всего 30 вопросов, вы можете угадать любого человека из всех когда-либо живших. Разумеется, для этого требуется умение правильно задавать вопросы.
В этом заключается одна из особенностей информации – её количество растёт значительно медленнее, чем число вариантов выбора. Это связано с тем, что информация представляет собой логарифм числа выборов, а логарифмическая функция обладает такой особенностью, что при увеличении аргумента во столько-то раз её значение изменяется на столько же единиц. То есть, по мере того как широта выбора растёт в геометрической прогрессии, информация растёт в арифметической прогрессии.
Это свойство информации многих очень удивляет, но именно оно представляет огромную ценность для создания компьютеров, где используют так называемую двоичную систему кодирования информации. С помощью только двух цифр – 0 и 1 – выражают любое число. В десятичной системе, которую мы обычно используем, – десять цифр от 0 до 9. Следующее число пишется как 10, что означает один полный десяток и ноль цифр второго десятка. Затем мы увеличиваем число единиц во втором десятке, пока не дойдём до 19. Число 20 говорит нам, что имеется два полных десятка и ни одного числа третьего десятка. Так продолжается до тех пор, пока счёт не достигнет 99. После этого мы добавляем ещё один разряд – сотни, т. е. квадраты десяток. Число 145 означает, что в нём содержится одна сотня, четыре десятка второй сотни и пять единиц пятого десятка второй сотни. Далее мы продолжаем счёт, вводя, когда потребуется, третьи, четвёртые и дальнейшие степени десяти.
В двоичной системе нет цифр, означающих числа, большие единицы. Поэтому уже для обозначения двойки нам приходится использовать число 10, которое означает: «одна полная двойка и ноль чисел во второй двойке». Далее идёт число 3, которое пишется как 11: «одна полная двойка и одно число второй двойки». Следующим числом будет 4, а это квадрат двойки. Значит, и писать его надо так, как в десятичной системе пишется квадрат десятки, т. е. 100. Теперь посмотрим, как можно изобразить любое число в двоичной системе. Допустим, мы хотим это сделать для тех же ста сорока пяти. Сначала надо узнать, сколько в этом числе содержится целых степеней двойки. Находим, что 27 равно 128, что меньше 145, а 28 – уже 256, что превышает это число. Значит, сто сорок пять равно двум в седьмой степени (27), что записывается как единица с семью нулями (10 000 000), плюс 17 (145 – 128). Выразим 17 в двоичной системе: 16, т. е. 24 (записывается как единица с четырьмя нулями – 10 000), плюс 1. После этого посмотрим, как выглядит число 145 в двоичной системе. Для этого надо сложить все числа, которые мы получали в процессе вычисления: 10 000 000, 10 000 и 1. Следовательно, выражая это число в двоичной системе, мы получаем: 10 000 000 + 10 000 + 1 = 10 010 001.
Казалось бы, такая система слишком громоздка и неудобна для записи и вычислений. Но она является незаменимой в создании электронных устройств и вычислительной техники. Все электронные устройства состоят из отдельных элементов. Чем меньше значений может принимать каждый элемент, тем проще изготовить такие элементы. Две цифры двоичной системы могут быть легко представлены многими физическими явлениями: есть ток – нет тока, температура выше заданной – температура ниже заданной и т. п. Кроме того, чем меньше число возможных состояний элемента, тем надёжнее и быстрее он может работать. К тому же техническим устройствам значительно проще выполнять арифметические вычисления, используя двоичную систему. Например, для того чтобы сложить числа 12 и 36, надо закодировать в памяти машины значения четырёх цифр, в то время как в двоичной системе эта операция выглядит так: (23 + 22) + + (25 + 22) = 1000 + 100 + 100 000 + 100. Поставьте себя на место машины, и вы поймёте, что такую операцию выполнить значительно проще.
Поскольку в двоичной системе существует всего две цифры, то при решении какой-либо задачи требуется на каждом шагу рассуждения или вычисления выбирать один из двух одинаковых вариантов, т. е. тратить информацию, равную одному биту. А так как количество возможных вариантов решения возрастает значительно быстрее, чем число сделанных шагов, то, используя сравнительно небольшое количество двоичных действий, можно осуществить выбор из огромного числа разнообразных решений или комбинаций. Именно на этом принципе строится работа современных компьютеров.