Процеси отримання, перетворення, накопичення та передачі інформації в інформаційних системах. Визначення ентропії джерела та максимальної ентропії. Побудування коду Шенона-Фано та коду Хафмена. Ймовірність появи елемента та частота появи елемента.
Аннотация к работе
Основна задача основ теорії телекомунікацій - вивчення закономірностей передачі та прийому повідомлень з метою створення систем звязку, що задовольняють заданим вимогам за найменших затрат. Окремими задачами при цьому є: 1) Вимірювання кількості інформації, 2) Вивчення властивостей інформації, 3) Розробка оптимальних методів кодування, що забезпечують максимальну пропускну здатність каналів звязку за наявності завад. З усієї різноманітності сучасних технічних систем можна виділити особливу групу так званих інформаційних систем, призначених для передачі, перетворення та зберігання інформації. Процеси отримання, перетворення, накопичення та передачі інформації в інформаційних системах вивчає теорія інформації, математичним апаратом якої є теорія ймовірностей та математична статистика. В даній курсовій роботі запропоновано розвязок деяких задач з курсу основ теорії телекомунікації з наданням базових положень та основних теоретичних відомостей з метою набуття навиків вирішення реальних технічних проблем, які можуть виникати в ході роботи з системами звязку в процесі отримання, зберігання, обробки та передачі інформації чи при проектуванні таких систем.Ентропія починає зменшуватися якщо символи стають не рівноімовірними аж до нуля якщо імовірність появи одного з символів наближається до одиниці. Використовує надмірність повідомлення, тобто замінює коди частіших символів короткими двійковими послідовностями, а коди більш рідких символів - довшими послідовностями. Основні етапи[3]: - Символи первинного алфавіту m1 виписують в порядку збування ймовірностей. Отримані частини рекурсивно діляться і їх частинам призначаються відповідні виконавчі цифри в префіксной коді. На кроці поділу алфавіту існує неоднозначність, так як різниця сумарних ймовірностей може бути однакова для двох варіантів поділу (враховуючи, що всі символи первинного алфавіту мають ймовірність більше нуля).Задане джерело повідомлення було закодовано кодом за методом Шенона-Фано. Для отримання ймовірностей появи 1 та 0 тип повідомлення прийнято за типовий, в якому ймовірність появи елемента рівна частоті появи елемента. Для джерела повідомлень (задача 1) побудувати код Шенона-Фано, який забезпечує надмірність, меншу 0,5% (блочний код). Блочний код використовується у випадках, якщо різниця між ймовірностям появи символів дуже велика.Імовірність блоку менша імовірності окремого символа, а кількість їх більша оскільки визначається кількістю комбінацій між символами тому ми можемо ділити ансамбль на частини що значно ближче до відємних степенів двійки, що збільшує ентропію. В даному випадку код має надмірність лише значенням в десятитисячні відсотка. Побудувати код Хафмена а) m=2, б) m=3, визначення надмірності коду: код інформаційний ентропія шенон Отже за n0=2 код можна формується так (результат наведено в таблиці 3.2): 1 Знаходимо абсолютну та відносну надмірність: % б) Формування додаткових допоміжних букв для випадку m=3 потрібне, умова кодування 2 n0 3, = j, j-ціле число, M-число символів повідомлення.Кодуючи ансамбль символів джерела кодом Хаффмана, для значень алфавіту m=2 (таблиця 3.2), та m=3 (таблиця 3.3) знайшли надмірність коду, що складає: Для m=2 : D=2,764 %В даній курсовій роботі для початку треба було визначити кількість інформації у кожному із символів, знайти ентропію та надмірність данного джерела. Відносна надмірність виявилась такою: Було побудовано кодові послідовності для данних джерел за алгоритмами Хаффмана, та Шенона-Фано: блочним та звичайним Основною метою роботи було обчислення і аналіз надмірності різних типів кодів для різних значень ансамблю символів джерела, і порівняння їх з вихідними значеннями. Для ансамблю з 5 символів було побудовано код Шенона-Фано, та знайдено надмірність коду: Порівняно з вхідними данним результат покращився на порядок. Побудова коду Хаффмана для ансамблю символів джерела зроблена для різних значень алфавіту дає змогу порівняти значення надмірності кодів при збільшенні числа алфавіту.