Informationsteoretiskt:

---

Claude Shannon definierade 1948 begreppet entropi hos en informationskälla som genererar symboler. Baserat på sannolikheten för varje symbol definieras entropin över hela sannolikhetsfördelningen som:

$H\; =\; -\; \backslash sum\_i\; p\_i\; \backslash log\; p\_i$

Begreppet definierades utifrån behovet att beräkna kapaciteten hos kommunikationskanaler, och grundar sig på stokastiska sannolikheter, men entropin kan också uppfattas som ett mått på den osäkerhet en viss sannolikhetsfördelning besitter i en informativ process. Osäkerheten bygger på en sannolikhetsfördelning av informativa sannolikheter men beräknas med samma formel ovan.

Se även:

• informativ sannolikhet
• information

Informationsteori

---

Termodynamiskt:

---

Entropi är en termodynamisk tillståndsfunktion. Den är ett mått på oordningen i ett fysikaliskt system, där "oordning" är ett sätt att beskriva mängden energi som är tillgänglig för arbete. Entropin mäter oordningen hos varje individuell frihetsgrad, d.v.s. variationen av mikrotillstånd. Den totala entropin är summan av varje entropibidrag från respektive frihetsgrad, ex. vibrationsfrekvens, magnetiskt bidrag, o.d. Betecknas ofta med bokstaven S. Termodynamikens andra huvudsats säger att naturens riktning är att öka oordningen, vilket oftas postuleras som att jämvikt är då entropin har sitt maximala värde. Introducerat av Rudolf Clausius 1865.

Den generella entropidefinitionen är

$S\; =\; -\; k\; \backslash sum\_r\; p\_r\; \backslash log\; p\_r$

där k är boltzmanns konstant och

$p\_r\; =\; p\_r(T,\; E\_r)\; =\; \backslash frac\{\; e^\{-\backslash frac\{E\_r\}\{k\; \backslash cdot\; T\}\}\; \}\{\; \backslash sum\_i\; e^\{-\backslash frac\{E\_i\}\{k\; \backslash cdot\; T\}\}\; \}$

är sannolikheten att systemet är i tillstånd r med energin E_r, för en viss frihetsgrad.

Boltzmans entropidefinition för ett system i jämvikt är

$S\; =\; k\; \backslash cdot\; ln\; \backslash Omega(E,\; V,\; N)$

där Ω är den statistiska vikten för antalen makrotillstånd. E är systemets energi, V objektets volym och N antal partiklar i volymen.

Se även:

• Termodynamik

Termodynamik

إنتروبية | Entropija | Entropia | Entropie | Entropi | Entropie | Εντροπία | Entropy | Entropio | Entropía (termodinámica) | انتروپی | Entropia | Entropie | Entropía | אנטרופיה | Entropija | Entropia | Entropia (termodinamica) | エントロピー | 엔트로피 | Entropija | Entropie | Entropi | Entropi | Entropia (termodynamika) | Entropia | Термодинамическая энтропия | Entropija | Ентропија | Entropi | Термодинамічна ентропія | Entropy | 熵 (熱力學)