Основные понятия и расчетные соотношения теории информации: энтропийные характеристики, дискретные и непрерывные случайные величины; оценка информационных систем. Эффективное кодирование с использованием программного обеспечения Matchad 6.0 Plus.
Аннотация к работе
Сборник примеров и задач по теории информации Руководство для практических занятий на базе Mathcad 6.0 Plus С.В. Рассмотрены основные понятия и расчетные соотношения теории информации для практических занятий по темам: оценка энтропийных характеристик, оценка количества информации, оценка информационных характеристик систем и эффективное кодирование. Приводятся примеры решения типовых задач с использованием программного обеспечения Matchad 6.0 Plus. Руководство предназначено для улучшения качества изучения курса “Теоретические основы информационно-измерительной техники” и других дисциплин, содержащих разделы теории информации.Вероятностная мера неопределенности Шеннона или энтропия дискретной случайной величины имеет вид мера неопределенности i-го значения; знак минус понимается как наличие "беспорядка" для величины X. H(X) = M[-log2P(x)], где log2P(x) - дискретная случайная величина, для которой i-е значение log2P(xi) имеет вероятность P(xi). , где log2P(X,Y) - случайная величина, принимающая значения согласно матрице совместного распределения, и для которой значение log2P(xi,yj) имеет вероятность P(xi,yj). ,(1.5) где P(xi/yj) - вероятность значения xi величины X при условии, что величина Y приняла значение yj (условная вероятность).Энтропия непрерывной случайной величины , (1.8) где p(x) - плотность вероятности случайной величины X; - шаг ее квантования, определяющий точность перехода от непрерывной величины к дискретной. При Dx=1 имеем дифференциальную или относительную энтропиюТребуется определить, какой источник обладает большей неопределенностью. Сначала определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; Сначала определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; Предварительно определим единицы измерения количества энтропии: а) при натуральном логарифме (нит) -; В системе регулирования скорости вращения вала двигателя задающее воздействие X в виде электрического напряжения имеет независимых дискретных значений с шагом квантования , вероятности появления которых распределены по двухстороннему экспоненциальному закону с параметром и функцией плотности вероятностиВычислить среднюю неопределенность каждого источника и установить связь между их энтропиями. Предварительно определим единицу измерения энтропии как . Предварительно определим единицу измерения энтропии как . Дискретный источник информации X имеет энтропию , а источник Y - энтропию . Определить энтропии H(X), H(Y), H(X/Y), H(Y/X), H(X/y1), H(Y/x2), H(X,Y).В общем случае количество информации I, получаемое в результате эксперимента, определяется как мера уменьшения неопределенности, а именно Полное количество информации I(Y®X) о величине X, содержащееся в величине Y, I(Y®X) = H(X)-H(X/Y); (2.3) Частная информация I(yj ® xi) о значении xi величины X, содержащаяся в значении yj величины Y, , где I(yj «xi) - частная взаимная информация двух значений (может быть как положительной, так и отрицательной величиной), .3) условную частную информацию I(x2/y2), содержащуюся в сообщении x2 источника при условии приема сообщения y2; Определим единицы измерения количества информации: а) при натуральном логарифме (нит) -; Предварительно определим единицы измерения количества информации: а) при натуральном логарифме (нит) -; На выходе канала при правильной передаче им однозначно соответствуют также шесть () комбинаций - y1«x1, y2«x2, y3«x3, y4«x4, y5«x5, y6«x6 . Передаваемая комбинация xi может под влиянием помех трансформироваться (перейти) в любую из комбинаций yj с вероятностью и принята правильно с вероятностью . Так как комбинации передаются и принимаются с равной вероятностью, то вероятность передачи i-й и приема j-й комбинацииИзмеряемая величина X на интервале [] при с параметрами и имеет усеченный нормальный закон распределения с плотностью вероятности (рис.2.3.1 при и ) Погрешность каждого результата измерения (например, ) при параметре имеет распределение Лапласа (двустороннее экспоненциальное) с плотностью вероятности (рис.2.3.1 при и ) Требуется найти количество информации, получаемой в среднем на одно измерение. Информация передается путем изменения амплитуды сигнала x, распределенной по нормальному закону с параметрами - среднее значение и дисперсия . Среднее количество информации I(X,Y)=IXY определяется разностью энтропий результата измерения H(Y) и погрешности измерения H(Z) при условии нормального распределения величин Z и Y соответственно с дисперсиями и ., (3.2) где - средняя длительность одного сообщения; - средняя скорость создания сообщения источником, . Скорость передачи информации по каналу - это количество информации на выходе за одну секунду, , (3.3) где - средняя скорость передачи сообщения по каналу; - средняя длительность сообщения в канале связи.