Объединение как совокупность нескольких ансамблей дискретных, случайных событий. Безусловная энтропия - среднее количество информации, приходящееся на один символ. Описание информационных свойств непрерывного источника. Понятие дифференциальной энтропии.
Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. Если Х - передаваемое, а У-принимаемое сообщения, то можно записать следующие соотношения: X Y X Y Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике когда известно, что передается X (рис. Источник сообщений X-вырабатывает сообщения, элементами которого являются символы алфавита источника {x1,x2,...,xm }, вероятности появления на выходе которых равны p(x1), p(x2), ..., p(xm) ,при этом: Энтропия источника представляет собой неопределенность появления на выходе источника сообщений символа первичного алфавита и определяется соотношением: () Приемник сообщений Y-принимает сообщения, элементами которого являются символы алфавита приемника {y1,y2,...,ym }, вероятности появления на входе которых равны p(y1), p(y2),..., p(ym), при этом: Энтропия приемника представляет собой неопределенность появления на входе приемника сообщений символа после его появления на выходе источника и определяется соотношением: (2)Для описания информационных свойств непрерывного источника (сигнала) используется понятие дифференциальной энтропии. Полная энтропия источника непрерывных сообщений состоит из двух слагаемых, одно из которых определяется законом распределения, а второе является постоянной величиной, определяющей шаг квантования, который влияет на точность измерений. Значение первого слагаемого определяется законом распределения и характеризует дифференциальную энтропию непрерывного источника (т. к. f(x) - плотность вероятности или дифференциальный закон распределения) Дифференциальная энтропия-часть энтропии источника непрерывных сообщений, которая зависит от плотности вероятности сигнала x(t), выдаваемого источником. Так как дифференциальная энтропия зависит от плотности вероятности, определим, для какого закона она максимальна.
Список литературы
1. Коганов А. В. Векторные меры сложности, энтропии, информации. “Математика. Компьютер. Образование”. Вып. 7, ч. 2, “Прогресс-Традиция”, М., 2000, с. 540 - 546
2. Яглом А. М., Яглом И. М. Вероятность и информация. М., 1957.
3. Шеннон К. Работы по теории информации и кибернетике. - М.: Изд. иностр. лит., 1963. - 830 с.
4. Волькенштейн М. В. Энтропия и информация. - М.: Наука, 1986. - 192 с.
5. Цымбал В. П. Теория информации и кодирование. - М.: Выща Школа, 1977. - 288 с.
6. Вероятностные методы в вычислительной технике. /Под ред. А.Н. Лебедева, Е.А.Чернявского. -М.: Высш. шк., 1986.
7. Седов Е.А. Взаимосвязь информации, энергии и физической энтропии в процессах управления и самоорганизации. Информация и управление. М., Наука, 1986.
Вы можете ЗАГРУЗИТЬ и ПОВЫСИТЬ уникальность своей работы
