信息理论的一个基本原理是用低熵（low-entropy）载波（不带有surprising msg.的载波）来承担高熵（high-entropy）的信息（充满了surprise）。
熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。令香农惊讶的是，若要传输信息需要更高的熵或者更高的无序程度。熵越低，或无序程度越低，就意味着更高的一致性，则传输的信息就越少。因为事件的意外程度（surprise of an event）与事件发生的可能性（probability of an event）成反比，这意味着，如果某个事件发生的可能性很大，那么它的surprise就比较少，它携带的信息也比较少；如果某个事件发生和不发生的可能性是50%对50%，其中就包含了丰富的surprise或者信息。为此，香农提出了信息熵（information entropy）或者香农比特（shannon bit）的概念，如果下一个比特是0或者1的概率是50%对50%，则熵达到最大化，而下一个比特的information熵增加一个shannon bit。如果如果下一个比特是0概率大于是1的概率，则下一个比特的information熵小于一个shannon bit。如果连续传输N个比特是相互独立的，则总的信息熵是一个比特信息熵的N倍。
上述内容用数学公式如下：
UNCERTAINTY = lg (1/PROBABILITY)
熵 = AVERAGE (UNCERTAINTY)
高的熵 = 好的保密性