Információs kommunikáció és entrópia - stadopedia
Az információ entrópia az információ káosz mértéke, vagy az információs rendszer belső rendellenessége. Az entrópia növekszik az információforrások kaotikus eloszlásával, és csökken a megrendelésük.
Az információ entrópia az információ káoszának mértéke, az elsődleges ábécé egyes szimbólumának megjelenése bizonytalansága. Az információvesztés hiányában számszerűen megegyezik a továbbított üzenetenkénti információ mennyiségével.
Információs entrópia - az elsődleges ábécé bármely szimbólum megjelenésének bizonytalansága. Az információvesztés hiányában számszerűen megegyezik a továbbított üzenetenkénti információ mennyiségével.
Például az orosz nyelvű mondatot tartalmazó betűk sorozata különböző betűket jelenít meg különböző frekvenciákkal, így a betűk bizonyos megjelenési bizonytalansága kisebb, mint mások számára.
Ha figyelembe vesszük, hogy egyes betűk kombinációja (ebben az esetben az n-edik entrópiájáról beszél) igen ritka, akkor a bizonytalanság még tovább csökken.
Az információ entrópia fogalmát Shannon határozza meg diszkrét adatok esetében, és nagyon hasonlít a termodinamikai entrópia fogalmához. Ez egy érték, amely jelzi az adott üzenetben (vagy jelek sorozatában) lévő információk mennyiségét.
Az információ entrópiájára vonatkozó információ szükséges a jelátvitel megbízhatóságának javítása érdekében.
Az entrópia és az információ entropia fogalmát először 1948-ban Shannon kapcsolta össze. Az előterjesztés szerint az entrópiát hasznos információként használták fel a vezetékes jelátvitel folyamataiban. Hangsúlyozni kell, hogy az információ alapján a Shannon értette a szükséges jelzéseket, amelyek hasznosak a fogadó számára.
Hasznos jelek Shannon szempontjából a zaj, a zaj. Ha a kommunikációs csatorna kimenetén lévő jel a bemeneten lévő jel pontos másolata, akkor azt jelenti, hogy nincs entrópia. Nincs zaj a maximális információ.
Az entrópia és az információ közötti összefüggés tükröződik a képletben: H + I = 1, ahol H - entrópia, I - információ.