S są stochastycznie niezależne, tzn. jeśli zachodzi:&lt;gap&gt; to S jest niezależne od X z uwagi na U oraz C(X, S; U) = 0 dla dowolnego U . Dowód jest prosty: zakładając (15) otrzymujemy:&lt;gap&gt;.<br><br>&lt;tit&gt;3. Informacja statystyczna&lt;/&gt;<br><br> Miarę Shannona, często nazywaną informacją statystyczną, definiuje się jako:&lt;gap&gt;. W powyższym wyrażeniu H(S) jest entropią zmiennej S , czyli wartością oczekiwaną logarytmu jej funkcji rozkładu prawdopodobieństwa (wziętą ze znakiem minus, aby wartość była nieujemna):&lt;gap&gt; H(SiX) jest entropią warunkową H(SiX = x) uśrednioną ze względu na X :&lt;gap&gt;. Biorąc pod uwagę to, że entropia jest miarą niepewności związanej ze zmienną losową, widzimy, że I(X, S) stanowi