4.4. Информация в непрерывных сигналах

Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть S - случайная величина (сечение или отсчет случайного сигнала), определенная в некоторой непрерывной области, и ее распределение вероятностей характеризуется плотностью w(S).

Разобьем область значений 5 на небольшие интервалы протяженностью Δs. Вероятность того, что s_k<S<S_k + Δs, приблизительно равна w(s)Δs, причем приближение тем точнее, чем меньше интервал Δs. Степень неожиданности такого события равна

Если не уточнять значение S в пределах конечного интервала Δs, а заменить их значениями s_k в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как

Будем теперь увеличивать точность определения значения s_k уменьшая интервал Δs. В пределе, при Δs→0 должна получиться энтропия непрерывной случайной величины:

Второй член в полученном выражении стремится к +∞ и совершенно не зависит от распределения вероятностей S. Это значит, что собственная информация любой непрерывной случайной величины бесконечно велика. В этом нет ничего неожиданного, так как для того, чтобы точно задать значение S, например в виде десятичной дроби, необходимо сообщить бесконечное количество цифр.

Тем не менее, как сейчас будет показано, взаимная информация между двумя непрерывными ансамблями, как правило, остается конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передается с конечной скоростью.

Обратим внимание на первый член в (4.29). Он является конечным и определяется плотностью распределения вероятности w(s). Его называют дифференциальной энтропией и обозначают h(S):

Дифференциальную энтропию, в отличие от обычной энтропии дискретного ансамбля, нельзя рассматривать как меру собственной информации^*. Она не обладает многими свойствами обычной энтропии, в частности, может принимать и отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и объясняется ее название. Впрочем, свойство аддитивности сохраняется и для дифференциальной энтропии, т. е. дифференциальная энтропия нескольких сечений случайного процесса равна сумме их дифференциальных энтропий, вычисляемых, конечно, с учетом вероятностных зависимостей между сечениями.

^* (Вопрос об определении собственной информации (энтропии) непрерывного ансамбля сообщений будет рассмотрен в § 4.7.)

Попытаемся теперь определить с помощью предельного перехода взаимную информацию между двумя непрерывными случайными величинами S и U. Разбив области определения S и U соответственно на небольшие интервалы Δs и Δu, заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы (4.29).

Исходя из выражения (4.19), можно определить взаимную информацию между непрерывными величинами S и U:

При этом предельном переходе никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований ее можно представить и в таком виде:

Здесь h(S) - определенная ранее дифференциальная энтропия S, a

условная дифференциальная энтропия. Формула (4.32) имеет ту же форму, что и (4.17), а отличается лишь заменой энтропии дифференциальной энтропией. Легко убедиться, что основные свойства взаимной информации (4.20) и (4.21) остаются справедливыми и в данном случае.

В качестве примера, который понадобится в дальнейшем, найдем дифференциальную энтропию случайной величины X с нормальным распределением вероятности:

где a - математическое ожидание, а σ² - дисперсия X.

Подставив (4.33) в (4.30), найдем

Первый интеграл по общему свойству плотности вероятности равен 1, а второй - по определению дисперсии равен σ². Окончательно

Таким образом, дифференциальная энтропия гауссовской случайной величины не зависит от ее математического ожидания и монотонно возрастает с увеличением дисперсии.

В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин X с одинаковой дисперсией σ² наибольшую дифференциальную энтропию имеет величина с нормальным распределением [9].