Теория информации

Краткое популярное и наглядное объяснение.

 «Теория информации» — это краткое название «Математической теории связи» Клода Шеннона (Claude Elwood Shannon) — работы 1948 года, которая заложила основу для информационной эпохи.

Это не столько о самой информации, сколько о передаче информации. То есть о коммуникации (связи).

Теория оказала огромное влияние на современное общество, и все еще существуют безграничные возможности для размышлений и исследований. Рассмотрим три основных составляющих этой теории:

1. Компоненты связи (источник, передатчик, канал, приемник, пункт назначения).
2. Как передавать большее количество информации с более высокой скоростью.
3. Как преодолеть шум и обеспечить точность сообщения.

1. Единая структура коммуникации

В первой части «Теории информации» говорится, что всякая коммуникация — любое сообщение на любом носителе — вписывается в следующую структуру:

Сообщение посылается от источника, такого, как человек или машина,  через передатчик, например, письмо или твит, или ваши голосовые связки. Затем оно перемещается по каналу связи, подобно радиоволнам, где подвергается воздействию шума. Далее сообщение попадает в приемник, например, в почтовый ящик или твиттер. Наконец, оно прибывает (а может быть и нет) в пункт назначения, например, в мозг кого-то.

Затем Шеннон предположил, что в дополнение к общей структуре коммуникации, есть также общая вещь, которая передается, когда вы общаетесь. Он назвал эту вещь «информацией».

Согласно определению Шеннона, что-то содержит информацию, если она сообщает  вам что-то новое. Информация измеряется в «двоичных цифрах» (0 или 1), более известных как «биты».

Для простейшего примера воспользуемся подбрасыванием монеты. Если подбрасывать  настоящую монету, результатом может быть либо «орел», либо «решка» (0 или 1), поэтому любой исход броска монеты содержит один бит информации. С другой стороны, подбрасывание фальшивой монеты с «орлами» с обеих сторон не содержит никакой информации, потому что мы не узнаем ничего нового — исход предопределен.

Следует отметить, что информация в теории Шеннона НЕ равнозначна  смыслу. Безнадежный бред, например, это тоже информация, потому что человек, слышащий ее, не знал этого раньше. То же самое с честным броском монеты. 

Сообщение (или часть сообщения), которое не говорит вам ничего нового, называется избыточным. Например, когда кто-то говорит “every single one…”, слово “single” является избыточным. Вы можете удалить его и сохранить ту же информацию. Шеннон подсчитал, что в английском языке присутствует 50% избыточности.

2. Как передавать больше информации и быстрее

Возможность количественной оценки информации имеет большое значение, поскольку это позволяет сжимать сообщения путем устранения избыточности.

Продолжим на примере английского языка. Как известно, после буквы «q» всегда следует буква «u», поэтому можно отбросить  «u» до того, как сообщение войдет в канал, и добавить её обратно, когда сообщение попадет в пункт назначения.

QUITE A LOVELY DAY! -> QITE LOVLY DAY! -> QUITE A LOVELY DAY!

Именно это привело к Информационной Эре — объем сообщений растет, а количество бит уменьшается.

3. Поддержание точности сообщения

Однако, как и всегда, когда мы пытаемся повысить эффективность, необходимо соблюдать баланс качества и эффективности. Если отказаться от всех излишних слов в разговоре, то будет сложнее правильно всё понять, и вероятность того, что кто-то неправильно поймет сообщение, будет увеличиваться.

Кроме того, надо учитывать некоторый уровень шума (помех) в канале связи. Шум может возникать во многих формах. В случае телефонного звонка, это фоновый шум, который отвлекает человека на другой линии.

Как же бороться с шумом и снизить риск сбоя связи? Добавляя избыточность обратно!

Действительно, именно поэтому языки имеют избыточность в первую очередь! 

По материалам: Information Theory