Entropia to najmniejsza średnia ilość informacji, przypadająca na znak symbolizujący zajście zdarzenia z pewnego zbioru. Zdarzenia w tym zbiorze mają przypisane prawdopodobieństwa wystąpienia.
Wzór na entropię:
\[H(x)=-\sum_{i=1}^np(i)\log_2 p(i).\,\! \]
gdzie \[p(i) \] - prawdopodobieństwo zajścia zdarzenia \[i \]. W przypadku kodowania ciągu znaków jest to prawdopodobieństwo wystąpienia \[i \]-tego znaku.
Entropia ma dwa znaczenia:
  • entropię w konkretnym modelu, np. modelując prawdopodobieństwo wystąpienia znaku na podstawie 5 ostatnich znaków
  • entropię w najlepszym modelu
Własności entropii:
  • jest nieujemna
  • jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same
  • jest równa 0, gdy stany systemu przyjmują wartości 0 albo 1
  • własność superpozycji - gdy dwa systemy są niezależne to entropia sumy systemów równa się sumie entropii
Pojęcie entropii jest bardzo przydatne w dziedzinie kompresji informacji. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i ilości znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, ale istnieją lepsze sposoby np. kodowanie arytmetyczne.
Przyjęcie modelu w którym uwzględnia się kontekst znaku pozwala zwykle na bardzo duże obniżenie entropii.

Przykład

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:
\[- p_{O} \log_2 p_{O} - p_{R} \log_2 p_{R} = - \frac 1 2 \log_2 \frac 1 2 - \frac 1 2 \log_2 \frac 1 2 = \frac 1 2 + \frac 1 2 = 1 \]

Ogólniej każde źródło dające \[N \] równie prawdopodobnych wyników ma \[log_2 N \] bitów na symbol entropii:
\[- \sum_{i=1}^N \frac 1 N \log_2 \frac 1 N = - N \frac 1 N \log_2 \frac 1 N = -\log_2 \frac 1 N = \log_2 N \]

Publikacja wraz ze zdjęciami jest udostępniona w Encyklopedii "Zgapedia" części portalu zgapa.pl. Treść objęta jest licencją GNU FDL Wolnej Dokumentacji w wersji 1.3 lub dowolnej pózniejszej opublikowanej przez Free Software Foundation i została ona opracowana na podstawie Wikipedii, tutaj możesz znaleźć artykuł źródłowy oraz autorów. Warunki użytkowania Encyklopedii znajdziesz na tej stronie.