Определение количества информации, содержащейся в каждом из символов источника при их независимом выборе. Двоичная единица информации. Информационные характеристики дискретного источника. Зависимость энтропии при равновероятном распределении вероятностей.
Аннотация к работе
Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (?i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (?i). Независимо от назначения непрерывного канала его можно характеризовать тремя основными параметрами: временем , в течение которого он предоставляется для передачи сигнала ТК , шириной полосы пропускания сигнала FK и доступным превышением сигнала над помехой в канале НК. При оценке возможностей передачи сигнала по каналу с заданными физическими характеристиками также ограничивается рассмотрением трех основных параметров сигнала: его длительности ТС, ширины спектра FC и превышением над помехой HC , причем HC=log(PU/P?) где PU-средняя мощность передаваемого сигнала; P?-средняя мощность помехи в канале. Когда канал имеет меньшую полосу пропускания, чем практическая ширина спектра, подлежащего передачи сигнала, последнюю можно уменьшить за счет увеличения длительности сигнала.