Главная > Математика > Наука и теория информации
<< Предыдущий параграф
Следующий параграф >>
<< Предыдущий параграф Следующий параграф >>
Макеты страниц

ГЛАВА 3. ИЗБЫТОЧНОСТЬ В ЯЗЫКЕ

1. Корреляция и зависимые события

Для того чтобы ввести в рассмотрение корреляцию, мы повторим некоторые определения и соотношения, относящиеся к зависимым событиям.

Мы рассматривали две переменные х и у, которые могут, например, принимать значения

и определили как вероятность того, что в данный момент . Соответствующая информация есть Мы определили также другие вероятности. Величина равна вероятности того, что для любого . С этой вероятностью связана информация . Величина — вероятность того, что для любого .

Связанная с этой вероятностью информация есть . В предыдущей главе было найдено, что

Это неравенство следует из того факта, что при наложении на систему ограничений информация убывает.

Для получения равенства мы взяли условную вероятность , т. е. вероятность того, что , когда известно, что . С этой вероятностью связана условная информация .

Связь между вероятностями выражается соотношением

и, определив условную информацию, как

мы получили следующее равенство:

<< Предыдущий параграф Следующий параграф >>
Оглавление