哈夫曼与信道编码
哈夫曼编码
一、哈夫曼编码定义:哈夫曼编码是无失真信源编码中一种不等长分组码、唯一可译码、及时码。依据各字符出现概率来构造码字（概率匹配的方法进行信源编码）其基本原理是基于二叉树的编码思想。
观察一个二进制哈夫曼码树，每一个信源符号ai都对应于树的一个终端节点，拥有一个码字。
信源符号ai出现概率越高，树的节数越小，码长越小。信源符号ai出现概率越低，树的节数越大，码长越大。
哈夫曼编码每一个码字都从低位到高位来编.对于一个码字，每进一位，树的节点向上走一级，代表当前符号被合并。
二、哈夫曼编码方法：(1)将信源消息符号按其出现的概率大小依次排列为p1≥p2≥…≥pn
(2)取两个概率最小的字母分别配以0和1两个码，并将这两个概率相加作为一个新字母的概率，与未分配二进符号的字母一起重新排队。
(3)对重排后的两个概率最小符号重复步骤(2)的过程。
(4)不断继续上述过程，直到最后两个符号配以0和1为止。
(5)从最后一级开始,向前返回得到各个信源符号所对应的码序列，即相应的码字。
哈夫曼编码得到的码并不唯一。它们的码长、编码效率相等、码方差不同。码方差越小码的质量越好。将两个概率最小的符号合并后的符号放在信源序列尽可能高的位置上，可以获得较小的码方差。三、哈夫曼编码优势：平均码长较小、编码效率高、信息传输速率大。
四、哈夫曼编码过程:设信源有Q个符号，m为m进制，三进制就取3。
1、对信源符号按概率由大到小排序。
2、计算X = m + k(m-1) = 3 + k(3 – 1) = 3 + 2 k (3进制的情况) ，k为整数。
3、取一个使X>=Q满足上式的X。
4、s = X – Q，则3-s的数值就是三进制哈夫曼编码第一步所需要取的概率最小符号个数，一个符号分配0，两个符号分配0，1，三个符号分配0，1，2，并将这几个符号概率相加作为一个新字母的概率，与未分配符号的字母一起重新排序。
5、对重排后三个概率最小符号分配0,1和2, 并将这三个符号概率相加作为一个新字母的概率，与未分配符号的字母一起重新排序。
6、重复步骤5，直到最后三个符号分配0,1和2为止。
7、写出相应的码字。
举个例子：信源符号有6种字母，概率为0.32, 0.22, 0.18, 0.16, 0.08, 0.04分析得到X为7，s=7-6=1，则第一步所需要编码符号数为3-1=2。
信道编码
信道编码的定义:信道编码是以信息在信道上的正确传输为目标的编码，它可分为两个层次：一是如何正确接收载有信息的信号，二是如何避免少量差错信号对信息内容的影响。从信息论角度来看的信道编码是指第二层次的编码，差错控制编码，包括各种形式的纠错、检错码，可统称为纠错编码。接下来，本篇帖子将简单介绍信道编码的相关知识。
一、差错和差错控制系统分类
1.差错符号、差错比特
信号差错与信息差错既有联系又有区别，分别用差错符号、差错比特来描述它们。通常所说的符号差错概率（误码率）是指信号差错概率，而误比特率是指信息差错概率。对于二进制传输系统，符号差错等效于比特差错。
为了定量地描述信号的差错，定义收、发码之“差”为差错图样（error pattern）：
差错图样E=发码C-收码R（模M）
最常用的二进制码可当作特例来研究，其差错图样等于收码与发码的模2加：E=C⊕R或C=R⊕E
此时差错图样中的“1”既是符号差错也是比特差错，差错的个数叫汉明距离。
2.差错图样类型
若差错图样上各码位的取值既与前后位置无关，又与时间无关即差错始终以相等概率独立发生于各码字、各码、各比特，称此类差错为随机差错。而前后相关、成堆出现的差错称为突发差错。
3.差错控制系统分类
从系统的角度，运用纠/检错码进行差错控制的基本方式大致分成三类，前向纠错（FEC）,反馈重发(ARQ）和混合纠错（HEC）。
前向纠错（FEC）：发端信息经纠错编码后实行传送，接收端通过纠错译码自动纠正传递过程中的差错。
反馈重发（ARQ）：发送端发送检错码如循环冗余校验（CRC）码，接收端通过检测接收码是否符合编码规来判断该码是否存在差错。如判定码组有错，则通过反向信道通知发送端重发该码，如此反复直到接收端认为正确接收为止。
混合纠错（HEC）：此法是前向纠错和反馈重发的结合，发送端发送的码兼有检错和纠错两种能力。
二、纠错编码的基本原理
由信道编码定理： 可知，减小需要增大码长N或E(R)。对于同样的码率R，信道容量大者其可靠性函数E（R）也增大；若信道容量C不变，码率减小时其可靠性函数E（R）增大。由分析可知减小差错概率的方法有:
1.增大信道容量C
2.译码方法——最优译码与最大似然译码
三、线性分组
一共有2ⁿ种差错，而差错图案应该有2^k种，所以应该有删减。一般情况，我们会采用概率译码，即在2ⁿ中选取重量最轻的2^k个E。由于E=R+C，E重量最小就是R与C的汉明距离最小，所以二进制的概率译码实际上就是最小汉明距离译码，也就是最大似然译码。
本帖为简单的课程总结，如有纰漏，还望海涵。
2024最新激活全家桶教程，稳定运行到2099年，请移步至置顶文章：https://sigusoft.com/99576.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。 文章由激活谷谷主-小谷整理,转载请注明出处：https://sigusoft.com/164189.html
