Shannon's [[Entropieformule]], [[H = -∑p(x) log p(x)]], meet de gemiddelde onzekerheid of [[informatie]] in een bericht of [[communicatiesysteem]]. De formule wordt gebruikt om de efficiëntie van [[communicatiesysteem]] te beoordelen door de variatie in berichten te kwantificeren. De formule de gemiddelde [[informatiehoeveelheid]] aan dat wordt overgebracht in een set van berichten, waarbij hogere [[entropie]] duidt op meer [[informatie]]. Een lagere entropie volgens Shannon's formule betekent dat berichten meer voorspelbaar zijn, terwijl hogere entropie wijst op minder voorspelbaarheid. Shannon's Entropieformule legt de theoretische basis voor [[datacompressie]] door de minimale hoeveelheid bits te bepalen die nodig is om een bericht over te brengen. Deze formule is fundamenteel in de [[informatietheorie]]