一、简介 信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的学科。它主要是研究通讯和控制系统中普遍存在的信息传递的共同规律以及研究最佳解决信息的获取、度量、变换、传递、存储等问题的基本理论。 信息论的研究范围极为广阔，一般把信息论分为三种研究类型： （1）狭义信息论：是利用数理统计方法来研究信息处理和信息传递的学科。它研究通讯和控制系统中普遍存在的信息传递的共同规律，以及如果提高各通讯系统有效性和可靠性的一门通讯理论。 （2）一般信息论：主要研究通讯问题，还包括噪声理论、信号滤波与预测、调制与信息处理等。 （3）广义信息论：除了包括狭义信息论和一般信息论外，还包括和信息有关的一切领域，比如社会学，心理学等。 《信息论与编码》是电子与信息工程学院通信工程专业和电子信息专业本科三年级必修的一门专业基础课。该课程是研究信息传递和处理中一般规律的学科，也是现代通信领域所有通信理论的基础。 通过本课程的学习，使学生对《信息论与编码》有一个比较全面和系统的了解，掌握信息论的基本概念和研究方法，为后面专业课的开设打下坚实的基础，同时也为今后从事通信领域的研究和应用奠定基础。 二、主要内容 1、绪论：信息、消息与信号的概念及三者的联系与区别；信息论研究的内容、对象及目标；香农信息论基础。 2、信源与信息熵：信源的分类与描述；离散信源中消息自信息量的计算；离散信源熵的计算；冗余度的定义与来源。 3、信道与信道容量：信道额分类与模型；离散信道的描述方法；各种特殊离散信道信道容量的计算。 4、率失真函数：失真的定义；平均失真的计算；失真函数的定义；率失真函数的性质。 5、信源编码：信源编码的分类；各种信源编码方法的介绍。 6、信道容量：信道编码中各种概念的介绍；信道编码的理论依据与理论基础；信道编码的分类；各种不同信道编码方法的介绍。