Архив метки: энтропия

Количественная мера информации Поскольку любая система связи предназначена для передачи информации, то возникает задача в оценке количества информации в передаваемом сообщении. Оценить количество информации с точки зрения ее ценности для получателя невозможно, т. к. одно и тоже сообщения для различных … Читать далее →

Скорость передачи информации по каналу — это среднее количество информации, получаемое на выходе канала в единицу времени. В идеальном канале, т. е. канале без помех количество принимаемой информации соответствует переданной, а соответственно скорость передачи информации равна производительности источника. В реальном … Читать далее →

Как известно, большинство сообщений, формируемых источником, содержат избыточность. Удаление или уменьшение избыточности является одной из задач кодирования. Кодирование, которое осуществляет удаление или уменьшение избыточности из закодированных сообщений, называется эффективным. Возможность эффективного кодирования основана на теореме Шеннона, согласно которой: Минимальное среднее … Читать далее →