Система передачи информации, ее количество и логарифмическая мера. Ансамбль сообщений, виды единиц информации. Свойства количества информации. Энтропия как содержательность и мера неопределенности информации, ее свойства. Понятие избыточности сообщений.
Аннотация к работе
На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1). При этом: Х={х1, х2,…, хм } - множество возможных сообщений источника; i = 1, 2,..., m, где m - объем алфавита; p (xi) - вероятности появления сообщений, причем p (xi) ? 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р (х) }. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p (xi), поэтому естественно предположить, что количество информации I (xi) в сообщении xi является функцией p (xi). При этом, наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю.Количество информации в сообщении обратно-пропорционально вероятности появления данного сообщения. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита - m. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1 = 1/2.Энтропия - содержательность, мера неопределенности информации. Энтропия - математическое ожидание H (x) случайной величины I (x) определенной на ансамбле {Х, р (х) }, т.е. она характеризует среднее значение количества информации, приходящееся на один символ. Воспользуемся методом неопределенного множителя Лагранжа - l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию: (7) Найдем максимум этой функции т.к .Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0 ? p ? 1. Энтропия численно совпадает со средним количеством информации но принципиально различны, так как: H (x) - выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т.е. до получения сообщения при наличии статистики сообщений.Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p (0) = p (1) = 1/m и определить его избыточность. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p (0) = 3/4, p (1) = 1/4.
Список литературы
Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. - Харьков: ХПУ, 2000.
Цымбал В.П. Теория информации и кодирование. - М.: Высш. шк., 1986.
Кловский Д.Д. Теория передачи сигналов. - М.: Связь, 1984.
Кудряшов Б.Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. - 320с.
Цымбал В.П. Теория информации и кодирование. - М.: Высш. шк., 1986.