▷ 信道容量
在電機工程學、電腦科學、資訊理論中，信道容量（Channel capacity，又譯通道容量）是指在一個信道中能夠可靠地傳送資訊时可达速率的最小上界。所谓可靠传输指的是可以以任意小的错误率传递信息。根据有噪信道编码定理，信道容量是可以误差概率任意小地达到的给定信道的极限信息率。信道容量的单位为比特每秒、奈特每秒等等。[1] [2]
香农在第二次世界大战期间发展出信息论，為信道容量提了定义，並且提供了计算信道容量的数学模型。香农指出，信道容量是信道的输入与输出的互信息量的最大值，而相应的输入分布称为最佳输入分布。[3]
目录
1 定義
2 有噪信道编码定理
3 参见
4 参考文献
定義
编辑
X代表已傳送信號的隨機變數，Y代表已收到信號的隨機變數。
p
Y
|
X
(
y
|
x
)
{\displaystyle \ p_{Y|X}(y|x)}
代表已知X的情況下Y的條件分布，为信道的内在固定属性。于是依据如下性质
p
X
,
Y
(
x
,
y
)
=
p
Y
|
X
(
y
|
x
)
p
X
(
x
)
{\displaystyle \ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_{X}(x)}
边缘分布
p
X
(
x
)
{\displaystyle p_{X}(x)}
的选取完全决定了联合分布
p
X
,
Y
(
x
,
y
)
{\displaystyle p_{X,Y}(x,y)}
，这就能导出互信息
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
。信道容量定义为
C
=
sup
p
X
(
x
)
I
(
X
;
Y
)
{\displaystyle \ C=\sup _{p_{X}(x)}I(X;Y)\,}
其中上确界针对对所有可能的
p
X
(
x
)
{\displaystyle p_{X}(x)}
值。
有噪信道编码定理
编辑
有噪信道编码定理表明，对任意的ε > 0以及传输速率R小于信道容量C，在块长度足够大的情况下，总有一种在速率为R下传输的编码和解码方案，它的误差概率小于ε。另外，对于任何大于信道容量的速率，随着块长度趋近于无穷，接受者的误差概率也趋于1。
参见
编辑
信息论
信息熵
信道
有噪信道编码定理
参考文献
编辑
^ Saleem Bhatti. Channel capacity. Lecture notes for M.Sc. Data Communication Networks and Distributed Systems D51 -- Basic Communications and Networks. [2007-11-10]. （原始内容存档于2007-08-21）.
^ Jim Lesurf. Signals look like noise!. Information and Measurement, 2nd ed. [2007-11-10]. （原始内容存档于2016-12-28）.
^ Thomas M. Cover, Joy A. Thomas. Elements of Information Theory. John Wiley & Sons, New York. 2006.