Руководство для практических занятий на базе Mathcad 6.0 Plus - Учебное пособие

Сборник примеров и задач по теории информации Руководство для практических занятий на базе Mathcad 6.0 Plus С.В. Рассмотрены основные понятия и расчетные соотношения теории информации для практических занятий по темам: оценка энтропийных характеристик, оценка количества информации, оценка информационных характеристик систем и эффективное кодирование. Приводятся примеры решения типовых задач с использованием программного обеспечения Matchad 6.0 Plus. Руководство предназначено для улучшения качества изучения курса “Теоретические основы информационно-измерительной техники” и других дисциплин, содержащих разделы теории информации.Вероятностная мера неопределенности Шеннона или энтропия дискретной случайной величины имеет вид мера неопределенности i-го значения; знак минус понимается как наличие "беспорядка" для величины X. H(X) = M[-log2P(x)], где log2P(x) - дискретная случайная величина, для которой i-е значение log2P(xi) имеет вероятность P(xi). , где log2P(X,Y) - случайная величина, принимающая значения согласно матрице совместного распределения, и для которой значение log2P(xi,yj) имеет вероятность P(xi,yj). ,(1.5) где P(xi/yj) - вероятность значения xi величины X при условии, что величина Y приняла значение yj (условная вероятность).Энтропия непрерывной случайной величины , (1.8) где p(x) - плотность вероятности случайной величины X; - шаг ее квантования, определяющий точность перехода от непрерывной величины к дискретной. При Dx=1 имеем дифференциальную или относительную энтропиюТребуется определить, какой источник обладает большей неопределенностью. Сначала определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; Сначала определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; Предварительно определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; В системе регулирования скорости вращения вала двигателя задающее воздействие X в виде электрического напряжения имеет независимых дискретных значений с шагом квантования , вероятности появления которых распределены по двухстороннему экспоненциальному закону с параметром и функцией плотности вероятностиВычислить среднюю неопределенность каждого источника и установить связь между их энтропиями. Предварительно определим единицу измерения энтропии как . Предварительно определим единицу измерения энтропии как . Дискретный источник информации X имеет энтропию , а источник Y - энтропию . Определить энтропии H(X), H(Y), H(X/Y), H(Y/X), H(X/y1), H(Y/x2), H(X,Y).В общем случае количество информации I, получаемое в результате эксперимента, определяется как мера уменьшения неопределенности, а именно Полное количество информации I(Y®X) о величине X, содержащееся в величине Y, I(Y®X) = H(X)-H(X/Y); (2.3) Частная информация I(yj ® xi) о значении xi величины X, содержащаяся в значении yj величины Y, , где I(yj «xi) - частная взаимная информация двух значений (может быть как положительной, так и отрицательной величиной), .3) условную частную информацию I(x2/y2), содержащуюся в сообщении x2 источника при условии приема сообщения y2; Определим единицы измерения количества информации: а) при натуральном логарифме (нит) -; Предварительно определим единицы измерения количества информации: а) при натуральном логарифме (нит) -; На выходе канала при правильной передаче им однозначно соответствуют также шесть () комбинаций - y1«x1, y2«x2, y3«x3, y4«x4, y5«x5, y6«x6 . Передаваемая комбинация xi может под влиянием помех трансформироваться (перейти) в любую из комбинаций yj с вероятностью и принята правильно с вероятностью . Так как комбинации передаются и принимаются с равной вероятностью, то вероятность передачи i-й и приема j-й комбинацииИзмеряемая величина X на интервале [] при с параметрами и имеет усеченный нормальный закон распределения с плотностью вероятности (рис.2.3.1 при и ) Погрешность каждого результата измерения (например, ) при параметре имеет распределение Лапласа (двустороннее экспоненциальное) с плотностью вероятности (рис.2.3.1 при и ) Требуется найти количество информации, получаемой в среднем на одно измерение. Информация передается путем изменения амплитуды сигнала x, распределенной по нормальному закону с параметрами - среднее значение и дисперсия . Среднее количество информации I(X,Y)=IXY определяется разностью энтропий результата измерения H(Y) и погрешности измерения H(Z) при условии нормального распределения величин Z и Y соответственно с дисперсиями и ., (3.2) где - средняя длительность одного сообщения; - средняя скорость создания сообщения источником, . Скорость передачи информации по каналу - это количество информации на выходе за одну секунду, , (3.3) где - средняя скорость передачи сообщения по каналу; - средняя длительность сообщения в канале связи.

ОГЛАВЛЕНИЕ

1. ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК

1.1 Основные сведения

1.1.1 Дискретные случайные величины

1.1.2 Непрерывные случайные величины

1.2 Типовые примеры

1.3 Типовые задачи

2. ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ

2.1 Основные сведения

2.2 Типовые примеры

2.3 Типовые задачи

3. ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ

3.1 Основные сведения

3.2 Типовые примеры

3.3 Типовые задачи

4. ЭФФЕКТИВНОЕ КОДИРОВАНИЕ

4.1 Основные сведения

4.2 Типовые примеры

4.3 Типовые задачи

ЛИТЕРАТУРА

1.

ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК

1.1 Основные сведения

1.1.1 Дискретные случайные величины