Механизм передачи информации, ее количество и критерии измерения. Единицы информации в зависимости от основания логарифма. Основные свойства и характеристики количества информации, ее энтропия. Определение энтропии, избыточности информационных сообщений.
При этом: Х={х1, х2,…, хм} - множество возможных сообщений источника; i = 1, 2,…, m, где m - объем алфавита; p(xi) - вероятности появления сообщений, причем p(xi) ? 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p(xi), поэтому естественно предположить, что количество информации I(xi) в сообщении xi является функцией p(xi). При этом наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1 = 1/2.
Список литературы
1 Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. - Харьков: ХПУ, 2000.
2 Цымбал В.П. Теория информации и кодирование. - М.: Высш. шк., 1986.
3 Кловский Д.Д. Теория передачи сигналов. - М.: Связь, 1984.
4 Кудряшов Б.Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. - 320 с.
5 Цымбал В.П. Теория информации и кодирование. - М.: Высш. шк., 1986.
