Характеристика методов сжатия информации и понятие оптимального кодирования (метод Хаффмана). Специфика повышения эффективности и принципы помехоустойчивого кодирования. Разновидности помехоустойчивых кодов и особенности алгоритмов вычисления CRC.
Аннотация к работе
Например, сообщение «Утром взошло солнце» содержит совсем мало информации, тогда как сообщение «Ваш дом только что рухнул» содержит информации много больше. В случае русского алфавита (33 буквы) количество информации, приходящейся на одну букву равно-log2(1/33)=5.044 битов, в случае латинского:-log2(1/26)=4.7, для десятичных цифр - 3.32 бита на символ. Учитывая количество информации, содержащейся в каждой цифре, мы можем сказать, что общее количество информации в сообщении длины n равно - p*n*log(p) - q*n*log(q) = n*( - p*log(p) - q*log(q) ), а среднее количество информации, приходящееся на один символ, равно - p*log(p) - q*log(q). Таким образом, округляя величину 5,044 к ближайшему большему целому, получаем, что для кодирования 33 символов требуется 6 бит. в) анализируют первую часть: если она содержит только один символ, работа с ней заканчивается, - считается, что код для ее символов построен, и выполняется переход к шагу г) для построения кода второй части.