Поняття повідомлення та інформації. Моделі інформаційних систем та математичні моделі каналу зв’язку. Предмет теорії інформації та кодування. Ансамблі та джерела повідомлень, статистична міра інформації. Характеристика безумовної та умовної ентропії.
Аннотация к работе
Повідомлення стають інформацією тільки в момент їх застосування, тобто інформація - це використовувані повідомлення, причому такі, які відзначаються новизною і раніше не були відомі одержувачеві (оператору ЕОМ).Є й інше, більш широке визначення інформації, згідно з яким інформація - це відомості, що є обєктом зберігання, передавання та перетворення. Для можливості технічного оброблення (передачі, запису та ін.) повідомлення має бути перетворене на сигнал - матеріальний носій, що відображує повідомлення. Будь-який сигнал характеризується такими основними параметрами: · тривалістю Під тривалістю Т с сигналу розуміють час, протягом якого він знаходиться в каналі звязку. Частотний спектр F c сигналу визначає смугу частот, яку він охоплював під час передачі по каналу звязку.Під інформаційною розумітимемо будь-яку систему, яка за допомогою технічних засобів виконує одну або кілька таких функцій,як збирання, передавання, перетворення, накопичення, зберігання та оброблення інформації. Лінія звязку - це фізичне середовище, в якому поширюються сигнали. Сукупність лінії звязку, модулятора та демодулятора (пристроїв перетворення сигналів) утворює неперервний канал передачі інформації,а якщо до цієї сукупності додати ще кодер і декодер, то дістанемо дискретний канал цієї передачі. Під способом передачі сигналів розуміють сукупність операцій перетворення повідомлення на сигнал, яку можна подати так: інформація повідомлення звязок Сигнали при передачі по лінії звязку загасають, піддаючись дії завад і спотворень, що спричинює значні відхилення послідовності сигналів на вході приймача {y п.з і (t)} від переданої в лінію послідовності сигналів {y к.з і (t)}, тобто {y п.з і (t)} = ? л {y к.з і (t)}= ? л ? прд {x i}Від вибору каналу звязку залежить не тільки кількість інформації, яку можна передавати від передавача до одержувача повідомлень, а й швидкість передачі інформації та її вірогідність. Канал з невизначеною фазою сигналу - це канал, який відрізняється від попереднього тим, що в ньому запізнення T є випадковою величиною. ? k= ? 0 T Однопроменевий гауссовий канал із загальними завмираннями також описується виразом : , але тут, крім запізнення T, випадковими вважаються також коефіцієнт передачі K n та фаза ? k, тобто випадковими є квадратурні компоненти: Тоді, якщо врахувати зміну квадратурних компонентів Х(t) i Y(t) в часі, вихідний сигнал каналу визначиться виразом: Модель досить добре описує більшість радіоканалів різних хвильових діапазонів і проводових каналів з випадковими та змінними параметрами. Гауссовий багатопроменевий канал з завмираннями та адитивним шумом є каналом, у якому сигнали від передавача до приймача поширюються кількома шляхами (каналами), причому тривалість проходження їх і коефіцієнти передачі каналів є неоднаковими та випадковими. Середня кількість інформації у повідомленні знаходиться як При дуже великій кількості n символів в повідомленні вступає в силу закон великих чисел, згідно якого ймовірності символів можуть визначатися як їх частота появи в повідомленні.