Источники сообщений, сигналы и коды, примеры применения знания основ теории информации для практических целей. Расчет информационных характеристик и согласование дискретного источника с дискретным каналом без шума и с шумом, эффективное кодирование.
Аннотация к работе
Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Дисциплина связана с предшествующими ей дисциплинами "Высшая математика", "Теория вероятности и матстатистика", "Дискретная математика" и последующими дисциплинами "Компьютерная электроника", "Вычислительные системы", "Сети ЭВМ", "Надежность, контроль, диагностика и эксплуатация ЭВМ", "Основы защиты информации" и др. Основной задачей теории информации как самостоятельной дисциплины является оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью передачи сообщений. Частными задачами при этом являются: проблемы измерения количества информации, изучение свойств информации, изучение методов помехоустойчивого кодирования, исследование взаимодействия систем и элементов систем методами теории информации, решение задач прикладного характера.Распределение вероятностей дискретной случайной величины имеет вид: Определить число n значений случайной величины, при которых энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения. Для нахождении энтропии данного дискретного ансамбля воспользуемся формулой (1.4), соответствующей определению энтропии (Энтропия - это среднее количество информации, содержащееся в одном сообщение источника). Равномерное распределение предполагает равные вероятности всех возможных исходов, при этом энтропия Из условия, что находим: Ответ: при объеме алфавита n = 7, энтропия Hp(X) равномерного распределения будет равна энтропии H(X) заданного распределения. Найти энтропию шума H(U/Z) в двоичном симметричном канале без памяти, если энтропия источника на входе канала H(U) = 3400(бит), энтропия ансамбля на выходе канала H(Z) = 6800(бит), ненадежность канала H(U/Z) = 700(бит).На вход дискретного симметричного канала без памяти поступают двоичные символы U1 =0 и U2 = 1 с априорными вероятностями P(U1) = 0,85 и P(U2) = 0,15. Переходные вероятности P(Zj / Ui) в таком канале задаются соотношением Решение: Ситуация в канале характеризуется схемой, изображенной на рисунке: Рис. Найдем переходные вероятности: В таком канале каждый кодовый символ может быть принят с ошибочной вероятностью: . Но не все информация, переедающаяся по каналу, может быть ошибочной.Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода. Ответ: потенциальный минимум ; среднее количество символов, приходящихся на одно сообщение ; эффективность кода . Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Фано, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода. Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Хаффмана, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода. Закодировать произвольную комбинацию, состоящую из пяти символов ансамбля А; Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля А; Определить среднее количество символов разработанного кода Хаффмана, приходящихся на одно сообщение из ансамбля А; Рассчитать эффективность разработанного кода.Определить избыточного оптимального по Шеннону кода (существование которого утверждается теоремой для канала с шумом) с объемом алфавита М =3 и средним количеством символов, переданных в единицу времени - Vk, предназначенного для безошибочной передачи информации по каналу с пропускной способностью С. В соответствии с §1.6 лекции, среднее количество символов, передающихся в единицу времени будем определять по формуле (1.27.а): Подставляя полученное значение в выведенную формулу избыточности, получим: Ответ: минимальная возможная избыточность оптимального кода для симметричного канала с вероятностью ошибки Р = 0,1 и объемом алфавита М = 3 будет равна . Построить производящую матрицу G линейного двоичного блочного кода, способного исправлять одиночную ошибку при передаче дискретных сообщений источника, представляющих собой пос
План
Содержание
Реферат
Введение
1. Расчет информационных характеристик источников дискретных сообщений
1.1 Задача № 1.30
1.2 Задача № 1.48
1.3 Задача № 1.67
2. Расчет информационных характеристик дискретного канала
2.1 Задача № 2.24
2.2 Задача № 2.58
3. Согласование дискретного источника с дискретным каналом без шума. Эффективное кодирование
3.1 Задача № 3.24
3.2 Задача № 3.54
3.3 Задача № 3.84
3.4 Задача № 3.114
4. Согласование дискретного источника с дискретным каналом с шумом. Помехоустойчивое кодирование
4.1 Задача № 4.24
4.2 Задача № 4.54
Заключение
Список используемых источников
Введение
Эффективная организация обмена информации приобретает все большее значение как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития промышленного потенциала. Доля рабочей силы занятой вопросами обеспечения информацией начинает превышать долю рабочей силы занятой непосредственно в производстве. Поэтому науки, изучающие структуру и закономерности протекания информационных процессов, к числу которых относится и теория информации (ТИ), в такой ситуации становятся исключительно актуальными.
Дисциплина связана с предшествующими ей дисциплинами "Высшая математика", "Теория вероятности и матстатистика", "Дискретная математика" и последующими дисциплинами "Компьютерная электроника", "Вычислительные системы", "Сети ЭВМ", "Надежность, контроль, диагностика и эксплуатация ЭВМ", "Основы защиты информации" и др.
Основной задачей теории информации как самостоятельной дисциплины является оптимальное использование информационных характеристик источников сообщений и каналов связи для построения кодов, обеспечивающих заданную достоверность передаваемой информации с максимально возможной скоростью и минимально возможной стоимостью передачи сообщений. Частными задачами при этом являются: проблемы измерения количества информации, изучение свойств информации, изучение методов помехоустойчивого кодирования, исследование взаимодействия систем и элементов систем методами теории информации, решение задач прикладного характера.
В данной курсовой работе проводится расчет основных информационных характеристик источника сообщений, сигналов и каналов. Теория информации представляет собой ветвь статистической теории связи. Информация передается, и хранится в виде сообщений. Сообщение - это информация представленная в какой-либо форме. Первый раздел курсовой работы носит название: «Расчет информационных характеристик источника дискретного сообщения». Изменяющийся во времени физический процесс, отражающий передаваемое сообщение называется сигналом. Сигнал передается по каналу связи. Второй раздел работы называется: «Расчет информационных характеристик дискретного канала». В оставшихся двух разделах решаются задачи по темам: согласование дискретного источника с дискретным каналом с шумом и без шума, эффективное и помехоустойчивое кодирование. Их решение основываются на постулатах таких ученых как Шеннон, Хаффман, Фано.