Классическая теория информации и еe ограничения

Э.А. Соснин, Институт сильноточной электроники СО РАН, г. Томск

Статья в краткой форме знакомит с парадоксами классической теории информации.

"Информация это информация."

Н. Винер

"Всегда познавайте предмет в противоречиях. Вы обнаружите при этом, что существует постоянный заговор, имеющий целью преподать тот же предмет догматически и односторонне."

Б. Шоу

Термин “информация” стал активно использоваться в научной литературе, начиная с тридцатых-сороковых годов XX века. Тогда слово “информация” обозначало, в основном, “сведения” или “осведомление”, то есть использовался прямой перевод латинского слова “informatio” (в оригинале латинское слово “informatio” переводится как “разъяснение” или “осведомление”).

К концу сороковых под “информацией” начали понимать функцию статистических характеристик букв какого-либо языка, и, согласно К. Шеннону [Шеннон К. Математическая теория связи // “К. Шеннон. Работы по теории информации и кибернетике”. М.: ИИЛ, 1963. - С. 243-332.], количество информации, содержащееся в каком-либо сообщении, состоящем из М букв, могло быть вычислено по формуле:

 (1)

где n - число букв в данном языке, а рj - частота встречаемости j -той буквы (j = 1,2....n) в этом языке. Знак минус поставлен перед правой частью формулы для того, чтобы количество информации B всегда было положительным.

В восьмидесятые годы “информацией” уже называли “...обмен сведениями между людьми, человеком и автоматом, автоматом и автоматом”, а также “обмен сигналами в животном и растительном мире; передачу признаков от клетки к клетке, от организма к организму” [Советский энциклопедический словарь. М.: Изд-во “Советская энциклопедия”, 1981.- 505 с.].

Под влиянием работ Л. Бриллюзна [Бриллюэн Л. Научная неопределенность и информация. М.:. “Мир”, 1966. - 271 с.], начиная с шестидесятых годов, возник и приобрел широкую известность так называемый “негэнтропийный принцип информации”. Сторонники этого принципа стали называть “информацией” не только содержательный и статистический аспекты сообщений, но и нечто, противоположное физической энтропии, - так называемую негэнтропию. В отличие от энтропии, рассматриваемой в качестве неупорядоченности той или иной системы, негэнтропией обычно называют меру упорядоченности окружающих нас систем, связывая с ней различного рода антиэнтропийные процессы, протекающие в физическом мире. В основе негэнтропийного принципа лежит внешнее сходство формулы К. Шеннона (1), обобщенной для любого единичного события

(2),

где К - коэффициент, а Р - вероятность этого события, и формулы Макса Планка для физической энтропии:

(3),

где К0 постоянная Больцмана, равная 1.4 10-16 эрг град-1, а W  микросостояния системы, соответствующие данному ее макросостоянию.

Л. Бриллюэн предложил выражать информацию I и энтропию S в одних и тех же единицах - информационных (битах) или энтропийных эрг·град-1. Тем самым, по его мнению, была получена возможность рассчитывать количество информации, зная энтропию системы, и, напротив, рассчитывать энтропию системы, зная количество содержащейся в ней информации. Столь широкая трактовка термина “информация” приводит, по существу, к невозможности его строгого определения, а, следовательно, и использования. В этой связи В.В. Налимов [Налимов В.В. Вероятностная модель языка. М.: Наука, 1979. - 303 с.] пишет: “Мы не умеем определить, что есть “информация”, и будем считать, что это такое сложное понятие, смысл которого раскрывается при чтении тех фраз, в которых оно употребляется”. Но в таком случае приходится либо отказаться от употребления этого термина, либо каждый раз давать ему свое, частное, определение. Оба выхода из положения представляются нам неудовлетворительными, да и ненужными.

В большинстве случаев смысловой полиморфизм вызван тем, что под “информацией” часто понимают нечто, давно имевшее другое название, и вовсе не соответствующее этому слову,  например, сложность, гетерогенность, энтропию (или негэнтропию), логарифм вероятности какого-либо события и т.д.

Рассмотрим эти представления подробно.

Информация по-Винеру не является ни материей и ни энергией [Винер Н. Кибернетика, или Управление и связь в животном и машине. М .: Советское радио, 1968. - 340 с.]. В связи с этим логично было бы далее предположить, что она не предполагает строго количественного эквивалента, подобно энергии или материи. Но парадокс классической теории информации именно в том и состоит, что в её основе лежит предположение Р.Хартли, согласно которому информация допускает количественную оценку [Hartley R.V.L. Transmission of Information // BSTJ.- 1928. - V.7 - №3 - P.535-536.]. Вот как это в своё время пояснялось в соответствующем учебнике:

Для развития теории информации в её современном виде (т.е. в 30-е годы XX века,  прим. авт.) вообще не требуется определения понятия информации как такового (курсив наш); необходимым и достаточным для построения теории является понятие количества информации, не должно казаться странным, потому как такое положение характерно и для ряда других количественных теорий. Например, для изложения механики нужны лишь количественные характеристики движения, но не требуется анализа существа самого движения. [Тарасенко Ф.П. Введение в курс теории информации.  Изд-во томского университета, 1963.  240 с., стр.111].

Таким образом, согласно цитируемому отрывку:

 новая теория якобы должна быть количественной в силу того, что все предшествующие содержательные теории были именно таковыми;

 новая теория вообще не нуждается в определении информации (!!!).

Теория информации Шеннона родилась как теория поддержки для технических систем связи. И в этой сфере доказала свою безусловную полезность. Однако, предложившие ее ученые не могли не понимать, что вводимая ими количественная мера не отражает всей полноты существующих информационных процессов, а не только тех процессов, что характеризуют передачу сигналов по каналам связи. Возможно недаром, у Хартли информация допускает количественную оценку, хотя ничего не сказано о том, насколько исчерпывающей такая оценка может быть.

Поделитесь этой записью или добавьте в закладки