Ang konsepto ng informational entropy ay nagpapahiwatig ng negatibong logarithm ng probability mass function para sa isang value. Kaya, kapag ang data source ay may value na may mas mababang probability (ibig sabihin, kapag nangyari ang isang event na may mababang probability), ang event ay nagdadala ng mas maraming "impormasyon" ("surprise") kaysa kapag ang source data ay may value na may mas mataas na probabilidad..
Ang dami ng impormasyong ipinadala ng bawat kaganapang tinukoy sa paraang ito ay nagiging random na variable na ang inaasahang halaga ay ang information entropy. Sa pangkalahatan, ang entropy ay tumutukoy sa kaguluhan o kawalan ng katiyakan, at ang kahulugan nito na ginamit sa teorya ng impormasyon ay direktang kahalintulad sa ginamit sa statistical thermodynamics. Ang konsepto ng IE ay ipinakilala ni Claude Shannon sa kanyang 1948 na papel na "A Mathematical Theory of Communication". Dito nagmula ang terminong "Shannon's informational entropy."
Kahulugan at sistema
Ang pangunahing modelo ng isang data transmission system ay binubuo ng tatlong elemento: isang data source, isang channel ng komunikasyon at isang receiver,at, gaya ng sinabi ni Shannon, ang "pangunahing problema sa komunikasyon" ay para sa receiver na matukoy kung anong data ang nabuo ng source batay sa signal na natatanggap nito sa channel. Nagbibigay ang Entropy ng ganap na hadlang sa pinakamaikling posibleng average na lossless na haba ng pag-encode ng naka-compress na source data. Kung ang entropy ng source ay mas mababa kaysa sa bandwidth ng channel ng komunikasyon, ang data na nabuo nito ay maaaring maipadala nang mapagkakatiwalaan sa receiver (kahit man lang sa teorya, marahil ay napapabayaan ang ilang praktikal na pagsasaalang-alang tulad ng pagiging kumplikado ng system na kinakailangan upang magpadala ng data at ang tagal ng oras na maaaring tumagal upang magpadala ng data).
Ang entropy ng impormasyon ay karaniwang sinusukat sa mga bit (tinatawag ding "shannons") o minsan sa "natural units" (nats) o decimal place (tinatawag na "dits", "bans" o "hartleys"). Ang yunit ng pagsukat ay depende sa base ng logarithm, na ginagamit upang matukoy ang entropy.
Properties at logarithm
Ang pamamahagi ng probability ng log ay kapaki-pakinabang bilang sukatan ng entropy dahil ito ay additive para sa mga independiyenteng source. Halimbawa, ang entropy ng patas na taya ng isang coin ay 1 bit, habang ang entropy ng m-volume ay m bits. Sa isang simpleng representasyon, kailangan ang log2(n) bits upang kumatawan sa isang variable na maaaring tumagal sa isa sa n values kung ang n ay isang kapangyarihan ng 2. Kung ang mga value na ito ay pare-pareho ang posibilidad, ang entropy (sa bits) ay katumbas ng bilang na iyon. Kung ang isa sa mga halaga ay mas malamang kaysa sa iba, ang obserbasyon na ito ayNangyayari ang kahulugan, ay hindi gaanong nagbibigay-kaalaman kaysa sa kung ilang hindi gaanong pangkalahatang resulta ang magaganap. Sa kabaligtaran, ang mga mas bihirang kaganapan ay nagbibigay ng karagdagang impormasyon sa pagsubaybay.
Dahil mas madalas ang pagmamasid sa mga hindi gaanong posibleng kaganapan, walang pagkakatulad na ang entropy (tinuturing na average na impormasyon) na nakuha mula sa hindi pantay na distributed na data ay palaging mas mababa o katumbas ng log2(n). Ang entropy ay zero kapag ang isang resulta ay tinukoy.
Shannon's information entropy ay binibilang ang mga pagsasaalang-alang na ito kapag alam ang probability distribution ng pinagbabatayan ng data. Ang kahulugan ng mga naobserbahang kaganapan (ang kahulugan ng mga mensahe) ay hindi nauugnay sa kahulugan ng entropy. Isinasaalang-alang lamang ng huli ang posibilidad na makakita ng isang partikular na kaganapan, kaya't ang impormasyong inilalagay nito ay ang data tungkol sa pinagbabatayan na pamamahagi ng mga posibilidad, hindi tungkol sa kahulugan ng mga kaganapan mismo. Ang mga katangian ng information entropy ay nananatiling pareho sa inilarawan sa itaas.
Teorya ng impormasyon
Ang pangunahing ideya ng teorya ng impormasyon ay ang mas maraming nalalaman tungkol sa isang paksa, mas kaunting impormasyon ang makukuha ng isang tao tungkol dito. Kung ang isang kaganapan ay napaka-malamang, ito ay hindi nakakagulat kapag ito ay nangyari at samakatuwid ay nagbibigay ng maliit na bagong impormasyon. Sa kabaligtaran, kung ang kaganapan ay hindi malamang, ito ay higit na nagbibigay-kaalaman na nangyari ang kaganapan. Samakatuwid, ang payload ay isang pagtaas ng function ng kabaligtaran na posibilidad ng kaganapan (1 / p).
Ngayon kung marami pang kaganapan ang mangyayari, entropysinusukat ang average na nilalaman ng impormasyon na maaari mong asahan kung nangyari ang isa sa mga kaganapan. Nangangahulugan ito na ang paghahagis ng isang die ay may higit na entropy kaysa sa paghagis ng isang barya dahil ang bawat kristal na kinalabasan ay may mas mababang posibilidad kaysa sa bawat resulta ng barya.
Mga Tampok
Kaya, ang entropy ay isang sukatan ng hindi mahuhulaan ng isang estado o, na parehong bagay, ang average na nilalaman ng impormasyon nito. Upang makakuha ng intuitive na pag-unawa sa mga terminong ito, isaalang-alang ang halimbawa ng isang political poll. Karaniwang nangyayari ang mga ganitong botohan dahil ang mga resulta ng, halimbawa, mga halalan ay hindi pa alam.
Sa madaling salita, ang mga resulta ng survey ay medyo hindi mahuhulaan, at sa katunayan, ang pagsasagawa nito at pagsusuri sa data ay nagbibigay ng ilang bagong impormasyon; magkaibang paraan lang sila ng pagsasabi na malaki ang naunang entropy ng mga resulta ng poll.
Ngayon isaalang-alang ang kaso kung saan ang parehong poll ay ginawa sa pangalawang pagkakataon pagkatapos ng una. Dahil alam na ang resulta ng unang survey, ang mga resulta ng pangalawang survey ay maaaring mahulaan nang mabuti at ang mga resulta ay hindi dapat maglaman ng maraming bagong impormasyon; sa kasong ito, ang apriori entropy ng pangalawang resulta ng poll ay maliit kumpara sa una.
Coin Toss
Ngayon isaalang-alang ang halimbawa ng pag-flip ng barya. Ipagpalagay na ang posibilidad ng mga buntot ay kapareho ng posibilidad ng mga ulo, ang entropy ng isang coin toss ay napakataas, dahil ito ay isang kakaibang halimbawa ng informational entropy ng isang system.
Ito ay dahilna imposibleng mahulaan na ang kalalabasan ng isang barya ay itatapon nang maaga: kung kailangan nating pumili, ang pinakamahusay na magagawa natin ay ang hulaan na ang barya ay mapupunta sa mga buntot, at ang hula na ito ay magiging tama na may posibilidad na 1 / 2. Ang naturang coin toss ay may kaunting entropy, dahil may dalawang posibleng resulta na may pantay na posibilidad, at ang pag-aaral sa aktwal na resulta ay naglalaman ng isang piraso ng impormasyon.
Sa kabaligtaran, ang pag-flip ng barya gamit ang magkabilang gilid na may mga buntot at walang ulo ay walang entropy dahil ang barya ay palaging mapupunta sa sign na ito at ang kalalabasan ay maaaring mahulaan nang perpekto.
Konklusyon
Kung lossless ang compression scheme, ibig sabihin, maaari mong bawiin anumang oras ang buong orihinal na mensahe sa pamamagitan ng pag-decompress, kung gayon ang naka-compress na mensahe ay may parehong dami ng impormasyon gaya ng orihinal, ngunit ipinapadala sa mas kaunting mga character. Ibig sabihin, mayroon itong mas maraming impormasyon o mas mataas na entropy bawat karakter. Nangangahulugan ito na ang naka-compress na mensahe ay may mas kaunting redundancy.
Sa madaling salita, ang source code coding theorem ni Shannon ay nagsasaad na ang isang lossless compression scheme ay hindi maaaring bawasan ang mga mensahe sa karaniwan upang magkaroon ng higit sa isang bit ng impormasyon sa bawat message bit, ngunit anumang halaga na mas mababa sa isang bit ng impormasyon bawat bit ay maaaring makamit.mga mensahe gamit ang naaangkop na encoding scheme. Ang entropy ng isang mensahe sa mga bit na beses ang haba nito ay isang sukatan kung gaano karaming pangkalahatang impormasyon ang nilalaman nito.
