信息论基础｜第一章绪论学习笔记
声明：本文为课程学习笔记，内容整理自翟明岳《信息论基础》教材第一章绪论，仅用于学习交流，不做商用。教材版权归原作者与清华大学出版社所有。
参考文献：[1]翟明岳.信息论基础[M].北京：清华大学出版社.
一、信息论的诞生与发展
信息论是通信的数学理论，应用数理统计方法研究信息的传输、存储与处理。1948年香农发表《通信的数学理论》，标志信息论正式诞生。
克劳德·艾尔伍德·香农（Claude Elwood Shannon，1919—2001），美国数学家，信息论创始人。
1. 1948年，香农在Bell System Technical Journal发表论文《通信的数学理论》，宣告信息论学科诞生。
2. 1949年，香农在同一期刊发表《噪声下的通信》。
在这两篇论文中，香农阐明通信的基本问题，给出通信系统模型，提出信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本问题，两篇论文成为信息论的奠基性著作。
信息论发展关键时间节点：
1. 1924年，奈奎斯特（Nyquist）研究电报信号传输中脉冲速率与信道带宽的关系。
2. 1928年，哈特莱（Hartley）提出消息是符号，而非内容，区分信息与消息；首次提出利用对数函数度量信息量，消息包含的信息量和取值个数有关。
3. 1935年，阿姆斯特朗（Armstrong）提出增大带宽能够加强通信系统抗干扰能力。
4. 1948年，香农在哈特莱研究基础上提出信息熵概念，对信息进行科学定量描述，奠定经典信息论基础。香农指出，信息量不仅与事件可能性数量有关，还和事件本身不确定性有关。
5. 1959年，香农发表《保真度准则下的离散信源编码定理》，系统提出信息率失真理论和限失真信源编码定理。
一则消息之所以包含信息，根源在于它具有不确定性；不具备不确定性的消息不包含任何信息。通信的目的是消除或者部分消除这种不确定性。香农对信息的理解：信息是对事物运动状态或者存在方式的不确定性描述，可以从随机性和概率测度的角度理解信息。
二、信息的概念
信息包含在消息之中，消息是信息的载体。收到消息后，如果消息内容是未知的，人们就获得信息；如果消息内容早已知晓，则获得的信息很少。
消息：一段文字、图画、歌曲、视频等，文字、符号、语音、图片都属于消息。消息能够被通信双方理解，消息本身是随机、不确定的。哈莱特提出消息是符号，而不是内容，信息与消息开始得以区分。
信号：消息的表现形式。消息需要转换为信号，才能够在信道中传输。信息是信息论中最基本和最重要的概念，信息是可以度量的。
信息：消息承载的，用来消除不确定性的内容。
自信息量公式：I(x)=-log_2P(x)，单位为比特（bit）。
规律：事件发生概率越大，自信息量越小；事件发生概率越小，自信息量越大。
举例：抛掷一枚硬币，存在正面、反面两种等概率结果，P=0.5，I=-log_20.5=1\ \text{bit}。
三、通信系统模型
信息论研究广义通信系统，既包含电话、电报、电视等狭义通信系统，也包含生物遗传系统、神经系统、视觉系统，甚至人类社会管理系统。
通信系统模型由七个部分组成：信源、编码器、调制器、信道、解调器、译码器、信宿，传输过程伴随噪声干扰。
1. 信源：信息的来源，可以是人、机器或者其他事物。信源输出消息，消息是信息的载体，消息具备随机性、不确定性。
2. 编码器：将消息变换为符号或者符号序列，目的是提高传输有效性。例：字符a,b,c,d可以分别编码为0,10,110,111。
3. 调制器：把编码器输出的符号转换为适合信道传输的信号，实现远距离传输。调制器有时也可看作编码器的一部分。
4. 信道：信息传输通道，起始于调制器，终止于解调器，包含收发设备和物理介质。狭义信道包含架空明线、电缆、波导、光纤、无线电波传播空间。信道会引入噪声与干扰，系统其他部分产生的噪声在分析时统一等效为信道干扰。
5. 解调器：位于接收端，将信道输出的信号转换为符号，是调制器的逆变换。
6. 译码器：位于接收端，是编码器的逆变换，将符号还原成消息。
7. 信宿：信息的接收者，即接收消息的人或者设备。
噪声：叠加在信道之中，干扰信号正常传输。
四、信息论的研究范畴
狭义信息论：研究信息度量、信道容量、信息编码，研究干扰对信息传输的影响，包含信息论相关的检测和估值。
广义信息论：除通信系统全部统计问题之外，还涵盖语言学、心理学、遗传学、神经生理学等与信息有关的自然、社会学科，也叫信息科学。
信息论解决：设计如何实现信息传输，传输的可靠性，有效性。
本章小结
本章绪论搭建了信息论的整体研究框架。香农提出的信息定义、通信系统模型，是后续学习信息熵、信道容量、编码定理的基础。理解“信息用来消除不确定性”这一核心概念，是学习信息论的基础。
本文仅为课程学习笔记，所有概念、史实、定义均整理自翟明岳《信息论基础》教材，仅用于个人学习交流，不用于商业用途。教材著作权归原作者及出版社所有。
