Архив метки: энтропия

Информационные характеристики источников сообщений

Количественная мера информации Поскольку любая система связи предназначена для передачи информации, то возникает задача в оценке количества информации в передаваемом сообщении. Оценить количество информации с точки зрения ее ценности для получателя невозможно, т. к. одно и тоже сообщения для различных … Читать далее

Рубрика: Теория | Метки: | Добавить комментарий

Информационные характеристики каналов

Скорость передачи информации по каналу — это среднее количество информации, получаемое на выходе канала в единицу времени. В идеальном канале, т. е. канале без помех количество принимаемой информации соответствует переданной, а соответственно скорость передачи информации равна производительности источника. В реальном … Читать далее

Рубрика: Теория | Метки: , | Добавить комментарий

Эффективное кодирование

Как известно, большинство сообщений, формируемых источником, содержат избыточность. Удаление или уменьшение избыточности является одной из задач кодирования. Кодирование, которое осуществляет удаление или уменьшение избыточности из закодированных сообщений, называется эффективным. Возможность эффективного кодирования основана на теореме Шеннона, согласно которой: Минимальное среднее … Читать далее

Рубрика: Теория | Метки: , | Добавить комментарий