jest prosty: zakładając (15) otrzymujemy:&lt;gap&gt;.<br><br>&lt;tit&gt;3. Informacja statystyczna&lt;/&gt;<br><br> Miarę Shannona, często nazywaną informacją statystyczną, definiuje się jako:&lt;gap&gt;. W powyższym wyrażeniu H(S) jest entropią zmiennej S , czyli wartością oczekiwaną logarytmu jej funkcji rozkładu prawdopodobieństwa (wziętą ze znakiem minus, aby wartość była nieujemna):&lt;gap&gt; H(SiX) jest entropią warunkową H(SiX = x) uśrednioną ze względu na X :&lt;gap&gt;. Biorąc pod uwagę to, że entropia jest miarą niepewności związanej ze zmienną losową, widzimy, że I(X, S) stanowi miarę średniego spadku niepewności związanej z S wywołanego przez informację wniesioną przez zmienną X .<br> Filozoficzne znaczenie takiego pojęcia informacji było podkreślane przez Hintikkę. Cytowana [w przypisie 5