Количество информации и ее мера. Определение количества информации, содержащегося в сообщении из ансамбля сообщений источника. Свойства количества информации и энтропии сообщений. Избыточность, информационная характеристика источника дискретных сообщений.
На вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.1). При этом: Х={х1, х2 ,…, хм } - множество возможных сообщений источника; i = 1, 2 ,..., m, где m - объем алфавита; p(xi) - вероятности появления сообщений, причем p(xi) ? 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p(xi), поэтому естественно предположить, что количество информации I(xi) в сообщении xi является функцией p(xi). При этом, наибольшее количество информации содержат наименее вероятные сообщения, а количество информации в сообщении о достоверном событии равно нулю.Количество информации в сообщении обратно - пропорционально вероятности появления данного сообщения. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита-m. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1 = 1/2.Энтропия - содержательность, мера неопределенности информации. Энтропия - математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т. е. она характеризует среднее значение количества информации, приходящееся на один символ. Воспользуемся методом неопределенного множителя Лагранжа - l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию: (7) Найдем максимум этой функции т. к.Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0 ? p ? 1. Энтропия численно совпадает со средним количеством информации но принципиально различны, так как: H(x) - выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т. е. до получения сообщения при наличии статистики сообщений.Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т. е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4.
Список литературы
1 Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. - Харьков: ХПУ, 2000.
2 Цымбал В.П. Теория информации и кодирование. -М.: Высш. шк., 1986.
3 Кловский Д. Д. Теория передачи сигналов. -М.: Связь, 1984.
4 Кудряшов Б. Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. - 320с.
5 Цымбал В.П. Теория информации и кодирование. -М.: Высш. шк., 1986.
