Az üzenetek és jelek információs paraméterei - stadopedia
Az üzenetek különböző forrásainak és a különböző kommunikációs csatornák összehasonlításához szükség van néhány mennyiségi intézkedés bevezetésére, amely lehetővé teszi az üzenetben lévő információk és a jelek által hordozott információk becslését. A mennyiségi információ szigorú módszereit K. Shannon 1948-ban javasolta. és az információelmélet megalkotásához vezetett, amely a kommunikáció elmélete, az informatika és számos kapcsolódó tudomány és technológia matematikai alapja.
Először is fontoljuk meg az elmélet alapvető elgondolásait, olyan diszkrét forrásként, amely egy üzenetsorozatot bocsát ki. Hagyja, hogy ez a forrás néhány üzenetet küldjön. Megtaláljuk az üzenetben szereplő információk mennyiségének meghatározását az alábbi természetes követelmények alapján:
1. Az információmennyiségnek additív mennyiségnek kell lennie, vagyis két független üzenetnél, meg kell egyeznie az egyes információkról.
2. Az üzenetben lévő információ mennyisége nulla értékre vonatkozik.
3. Az információ mennyisége nem szabad az üzenet minőségétől, különösen a címzett fontosságától, az átvitel lehetséges következményeitől, az érzelmi színezéstől stb. Függően.
Tehát az üzenetben lévő információ mennyiségének meghatározásához csak olyan paraméterre kell alapozni, amely a legáltalánosabb formában az A együttesből származó a üzenetet jellemzi. Ez a paraméter nyilvánvalóan az üzenet küldő forrásának p (a) valószínűsége. Ezért az információ mennyisége i (a). tartalmaznia kell az i.
A szükséges meghatározás további finomítása nem nehéz, ha figyelembe vesszük az első két követelményt. Legyen a1 és a2 két független üzenet. Az a valószínűség, hogy a forrás mindkét üzenetet (egymás után) elküldi, p (a1, a2) = p (a1). p (a2), és a benne lévő információnak meg kell felelnie az additivitási feltételnek, azaz i (a1, a2) = i (a1) + i (a2). Ezért meg kell találni a p valószínűség függvényét, amelynek tulajdonsága, hogy a két argumentum megszorzása esetén a függvény értékei összeadódnak. Az egyetlen ilyen függvény a logaritmikus i (a) = kl og p (a), ahol k minden konstans, és a logaritmust bármely bázisra átveszik. Az információ mennyiségének meghatározásával a második követelmény is fennáll: amikor p (a) = 1 i (a) = kl og1 = 0.
Az információ mennyiségének nem negatív számmal történő méréséhez mindig k = -1 választunk, mivel a FORMULA (ha a logaritmus alapja nagyobb, mint egy). ezért:
A (2.1) -es logaritmus alapját gyakran 2-nek választják. Az ebben az esetben kapott információs egységet bináris egységnek vagy bitnek nevezzük. Ez megegyezik az eseményről szóló üzenetben lévő információ mennyiségével, amely valószínűséggel 0,5, vagyis azonos valószínűséggel előfordulhat vagy nem fordul elő. Az ilyen egység a legalkalmasabb a számítástechnikai és kommunikációs bináris kódok széleskörű használatának köszönhetően. Az elméleti vizsgálatok során néha természetes logaritmust alkalmaznak, amely a természetes egységekben mért adatokat. A természetes egység kétszer akkora, mint a bináris. Alapvetően bináris egységeket fogunk használni, és az alábbiakban az l og jelölés jelenti a bináris logaritmust.
Lehetséges az entrópia jellemzése, valamint a forrás által okozott üzenetek sokféleségének mérése.
Az entrópia a forrás fő jellemzője, annál nagyobb, annál nehezebb egy üzenetet memorizálni (rögzíteni) vagy továbbítani egy kommunikációs csatornán keresztül. Az üzenetek továbbítására sok esetben szükséges energiaigény arányos az entrópiával.
Az entrópia alapvető tulajdonságai:
1. Az entrópia nem negatív. Csak egy "degenerált" együttes számára nulla, ha egy üzenetet az 1. valószínűséggel továbbítanak, a többi pedig nulla valószínűséggel.
2. Az entrópia adalékanyag. Vagyis, ha az n üzenetek sorozatát egy "kibővített" üzenetnek tekintjük. akkor az ilyen kiterjesztett üzenetek forrásának entrópiája n-szerese a forrási forrás entrópiájának.
3. Ha az együttes K különböző üzeneteket tartalmaz, és az egyenlőség csak akkor következik be, ha az összes üzenet egyenlően és függetlenül kerül továbbításra. A K számot a forrásalkalmazás kötetének nevezik.
Különösen egy memória nélküli bináris forrás esetén, ha K = 2, az entrópia maximum P (a1) = P (a2) = 0,5 értékre esik, és egyenlő az l og2 = 1bit értékkel. A forrás entrópiájának függése P (a1) = 1-P (a2) esetében az ábrán látható.
Ez azt jelenti, hogy az üzenetben lévő információ mennyisége nagyobb, mint ami kevésbé valószínű, vagy egyébként, mint váratlanabb.
Ha a forrás átad egy sor függő üzeneteket, akkor az előző üzenetek fogadása megváltoztathatja a későbbi, és ennek következtében az információ mennyiségét. Meg kell határozni azt a feltételes valószínűséget, hogy az üzenet továbbítása az előző an-1-vel történik. an-2, ...:
A fent meghatározott információk mennyisége egy véletlen változó, mivel az üzenetek maguk véletlenszerűek. Az üzenet egész egészének (vagy forrásának) jellemzésére az információ mennyiségének matematikai elvárásait használják, amit entrópiaként hívnak és H (A) jelölik:
Itt a matematikai várakozás, mint mindig, átlagolással jelöli az üzenetegyüttest. Ebben az esetben figyelembe kell venni a különböző üzenetek közötti valószínűségi kapcsolatokat.
Minél inkább a forrás entrópiája, annál nagyobb az átlagosan általuk közvetített üzenetek váratlansága, azaz annál bizonytalanabb a várt üzenet. Ezért az entrópiát gyakran bizonytalanságnak nevezik. Miután megkapta az üzenetet, ha elfogadják, az esetleges bizonytalanság megszűnik. Ez lehetővé teszi számunkra, hogy az információ mennyiségét a csökkenő bizonytalanság mértékeként értelmezzük.
a forrást redundanciának nevezzük a K. ábécéret térfogatával. Megmutatja, hogy a forrás nem használja a legnagyobb lehetséges entrópiás ábécét.
Egyes források állandó sebességgel továbbítják az üzeneteket, átlagosan T-t költenek minden üzenetben.
Az ilyen forrás H '(A) termelése (bájt / másodperc) egy egységnyi idő alatt továbbított üzenetek teljes entrópiája: