Расстояние (дивергенция) Ку́льбака — Ле́йблера (информационная дивергенция,относительная энтропия) в теории информации — это несимметричная мера удаленности друг от друга двух вероятностных распределений^[1]. Обычно одно из сравниваемых распределений — это «истинное» распределение, второе — предполагаемое (проверяемое), являющееся приближением первого.

Дискретные распределения

Пусть даны две дискретные случайные величины , принимающие значения в одном множестве , и их распределения задаются функциями вероятности и соответственно. Тогда расстояние Кульбака — Лейблера задаётся формулой:

Непрерывные распределения

Пусть теперь даны две абсолютно непрерывные случайные величины , и их распределения задаются плотностями вероятности и соответственно. Тогда расстояние Кульбака — Лейблера задаётся формулой:

Свойства

• Расстояние Кульбака — Лейблера всегда неотрицательно, и равно нулю тогда и только тогда, когда почти всюду.

• Расстояние Кульбака — Лейблера, вообще говоря, не симметрично, то есть

.

В частности, оно не является метрикой на пространстве распределений.

Примечания