离散数学哈夫曼算法_根据哈夫曼编码画出哈夫曼树

深度学习需要掌握哪些数学基础？ 　　可以参考：刘才权：深度学习的高阶数学 　　有了基础的《概率/统计》、《线性代数》、《微积分》知识，就可以上手深度学习的算法和实践了。但经过一段时间的工程实践，慢慢觉得大多数时间都用在选模型，调超参，或者是网络结构的排列组合上。深度学习的黑盒特性越来越明显。难道深度学习工程师就当真是数据“炼丹师”吗？如果，你有了这样的感觉，下面的视频不妨抽时间看看(都需要翻墙)： 　　李宏毅《Machine Learning and having it deep and structured》 　　不多说，直接看目录吧。课程地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html《Theory 1 – Why Deep Structure》Can shallow network fit any functionPotential of DeepIs Deep better than Shallow《Theory 2 – Optimization》When Gradient is ZeroDeep Linear NetworkDoes Deep Network have Local MinimaGeometry of Loss Surfaces (Conjecture)Geometry of Loss Surfaces (Empirical)《Theory 3 – Generalization 》Capability of GeneralizationIndicator of Generalization 　　Sanjeev Arora《The mathematics of machine learning and deep learning》 　　视频地址：https://www.youtube.com/watch?v=r07Sofj_puQ这是ICM2018的主题演讲，虽然Sanjeev Arora作为普林斯顿计算机科学的教授，但演讲内容深入浅出，并没有涉及大量的数学公式和推导，这里贴一下提纲：

　　小结 　　这两部分的内容是相互呼应的，可以先看李宏毅老师的课程，然后在看Sanjeev Arora教授的分享总结。 　　机器学习以数学理论为基础，要学好机器学习必须做好艰苦奋斗的准备，坚持对数学知识的追求。掌握机器学习至少需要微积分，线性代数，概率论，统计学，高等数学 等五种数学的基本知识： 　　1.微积分 　　微积分建立在代数学、三角学和解析几何学的基础上，包括微分学、积分学两大分支，包括连续、极限、多函数的微积分、高斯定理等内容。微积分在天文学、力学、化学、生物学、工程学、经济学、计算机科学等领域有着越来越广泛的应用，比如：在医疗领域，微积分能计算血管最优支角，将血流最大化；在经济学中，微积分可以通过计算边际成本和边际利润来确定最大收益；微积分可用于寻找方程的近似值；通过微积分解微分方程，计算相关的应用，比如，宇宙飞船利用欧拉方法来求得零重力环境下的近似曲线等。 　　在机器学习和数据分析领域，微积分是很多算法的理论基础，如：多层感知器神经网络算法。多层感知器是前馈人工神经网络模型的一种，算法分为两个阶段：正向传播信号、反向传播误差。 　　正向传播信号阶段是数据训练阶段，数据从输入层传入，经各个隐层计算后传至输出层，计算每个单的实际值，向各层各单分摊产生的误差；反向传播误差阶段通过网络输出与目标输出的误差对网络进行修改审查，将正向输出的误差再传播回各层进行权重值调整，直到误差最小化或达到规定的计算次数。 　　2.线性代数 　　线性代数是高等数学中的一门成熟的基础学科，以矩阵和线性空间为主要研究对象。线性代数在数学、物理学、社会科学、工程学等诸多领域着有广泛的应用。在整个数学领域的框架内，可以把线性代数看成抽象代数应用在矩阵空间中的一个特例。它不但包含行列式、矩阵、线性方程组等初等部分，而且包括线性空间、欧式空间、酉空间、线性变换和线性函数、λ-矩阵、矩阵特征值等更深入的理论。线性代数理论是计算技术的基础，在机器学习、数据分析、数学建模领域有着重要的地位，这些领域往往需要应用线性方程组、矩阵、行列式等理论，并通过计算机完成计算。 　　3.概率论 　　概率论是研究随机性或不确定性现象的数学，用来模拟实验在同一环境下会产生不同结果的情况。 　　4.统计学 　　统计学是收集、分析、表述和解释数据的科学，作为数据分析的一种有效工具，统计方法已广泛应用于社会科学和自然科学的各个领域。统计学与概率论联系紧密，前者以后者为理论基础。统计学主要分为描述统计学和推断统计学。描述统计学描绘或总结观察量的集中和离散情形，基础的数学描述包括了平均数和标准差等；推断统计学将资料中的数据模型化，计算它的机率并且做出对于母群体的推论，主要包括假设检定、对于数字特征量的估计、对于未来观察的预测、相关性预测、回归、变异数分析、时间序列、数据挖掘等。 　　无论是描述统计学还是推断统计学都是数据分析技术的基础。通过描述统计学方法，数据分析专家能对数据资料进行图像化处理，将资料摘要变为图表，分析数据分布特征。此外，还可以分析数据资料，以了解各变量内的观察值集中与分散的情况等。通过推断统计学方法，对数据未知特征做出以概率形式表述的推断，在随机抽样的基础上推论有关总体数量特征。 　　5.离散数学 　　离散数学是数学的几个分支的总称，研究基于离散空间而不是连续的数学结构，其研究内容非常广泛，主要包括数理逻辑、集合论、信息论、数论、组合数学、图论、抽象代数、理论计算机科学、拓扑学、运筹学、博弈论、决策论等。 　　离散数学广泛应用于机器学习、数据分析等领域，比如：数理逻辑和集合论是专家系统的基础，专家系统是一类具有专门知识和经验的计算机智能程序系统，一般采用人工智能中的知识表示和知识推理技术，模拟通常由领域专家才能解决的复杂问题；信息论、数论、抽象代数用于信息安全领域；与信息论密切相关的编码理论可用来设计高效可靠的数据传输和数据储存方法；数论在密码学和密码分析中有广泛应用，现代密码学的DES、RSA等算法技术（包括因子分解、离散对数、素数测试等）依赖于数论、抽象代数理论基础；运筹学、博弈论、决策论为解决很多经济、金融和其他数据分析领域的问题提供了实用方法，这些问题包括资源合理分配、风险防控、决策评估、商品供求分析等。 　　以上是机器学习需要的核心数学知识，但不是全部知识。对于非数学专业毕业的同学，还要学习其他数学分支理论，比如说泛函分析、复变函数、偏微分方程、抽象代数、约束优化、模糊数学、数值计算等。 　　补充一点，信号处理方面的知识是需要学习的，也许能够指导新型深度学习模型的设计。

信号分析 　　傅里叶变换也许能算是最基础的信号分析方法（之一），有必要掌握。

傅里叶变换 　　小波理论也是比较经典的信号分析方法。

小波分析 　　这些信号处理方法也许能够启发新型深度学习模型的设计 　　举例来说，许多原始信号包含着大量噪声；信号降噪领域中常用的软阈值化，能够被嵌入到残差网络中，就成为了残差收缩网络：

残差收缩网络 　　参考：如何写人工智能方面的sci？

　　这是对系列课程：ReadPaper论文阅读的个人空间-ReadPaper论文阅读个人主页-哔哩哔哩视频 　　的总结笔记，请配合视频食用，持续更新中~ 　　ep1：深度学习中的数学ep1：深度学习中的矩阵求导基础 　　ep2：深度学习中的数学ep2：FC层和LN层该如何求导？ 　　ep3：深度学习中的数学ep3：如何对简单的神经网络求导？ 　　ep4：深度学习中的数学ep4：从泰勒展开到梯度下降法和牛顿法 　　ep5：深度学习中的数学ep5：Lipschitz连续及其常量的定义讲解 　　ep6: 深度学习中的数学ep6：FC层的Lipschitz常量+奇异值分解回顾 　　ep7: 深度学习中的数学ep7：SVD、Xavier初始化、Lipschitz常量仿真 　　ep8: 深度学习中的数学ep8：ResNet的数学分析 　　ep9：深度学习中的数学ep9：Transformer主要模块从数学上如何解读？ 　　ep10：深度学习中的数学ep10：为什么Transformer会好于ResNet，从Lipschitz常量讲起 　　《深度学习的数学》这本书再合适不过了。作者罗纳德.T.纽塞尔（Ronald T. Kneusel），拥有超过 20年的机器学习行业经验。 本书适合有一定深度学习基础、了解Python编程语言的读者阅读，也可作为用于拓展深度学习理论的参考书。

　　为什么这么说？看看书中的都讲了哪些内容：概率论概率论进阶统计学线性代数线性代数进阶微分矩阵微分经网络中的数据流反向传播梯度下降 　　本书就是为希望更了解深度学习底层数学基础的朋友们准备的。与其他数学书不同，本书 围绕深度学习展开，阐述了深度学习背后的核心数学概念，包括统计学、线性代数、微分等， 并且包含了很多人容易忽略的矩阵微分。另外，本书的示例是以Python 代码而不是严格理论证 明的形式展开的，这使得它们特别适合深度学习的从业者(特别是初学者)使用，尤其是那些 希望通过学习底层数学知识来更好地了解深度学习原理，从而改进训练算法和模型的朋友。 　　深度学习的核心概念涉及自然科学、工程技术和数学。各家公司一直在试图给出其正式定 义，但难以涵盖方方面面，以至于当他们想招聘该领域头部人才的时候，只好将职位要求描述 得非常宽泛。与此类似，这一领域的学术课程，往往需要跨不同学科，才能让学生习得所需的 技能。尽管在实战中，运用深度学习技术需要跨不同领域的学科知识，但其核心仍建立在数学理论的基础上，包括概率论、统计学、线性代数和微分。至于对这些数学基础理论要掌握和理 解到什么程度，就要看你希望对深度学习技术精通到何种程度了。本书致力于为深度神经网络的工作人员在实施算法的过程中遇到的各种挑战提供解决方案。他们通常遇到的挑战在于如何有效地利用现有方案解决问题，比如去哪里找寻源代码、如何设置工作环境来运行代码、如何进行单测试，以及最终如何用业务数据训练模型来解决实 际问题。这些深度神经网络可能有数千万甚至上亿的参数需要学习，而且即便是精通算法的研 究员，也需要在有充足训练样本的情况下，通过精细化的调参才能实现有效优化，达到对数据的良好表征。初次(第二次、第三次也一样)实现模型的时候，他们通常会经历痛苦的网络最 优结构的搜索过程，而只有具备对底层数学原理的高水平理解的人才能胜任这些工作。 而当算法人员开始对整个方案进行整合的时候，他们就要进一步提高专业度，不仅要熟悉 本领域的知识，也要理解深度学习的底层基础模块。此时，他们所面临的挑战将不只是简单的 算法实现，而且需要运用核心概念对目标领域的问题建模。挑战再次降临!他们可能面临梯度爆炸的问题，也可能为了更好地对问题建模而不得不修改损失函数，却又发现损失函数不可微 (也就无法进行梯度计算),抑或在训练模型的时候发现优化算法效率太低。本书为这些人填补了空白。通过清楚地阐述深度学习所需的核心数学概念，本书可以帮助他们解决这些困难。 　　关于本书 　　这虽然是一本关于数学的书，但其中不会有大量公式证明和练习题，我们主要通过代码来 阐述各种概念。深度学习是一门应用学科，所以你需要在实践中理解其内涵。我们将用代码填 补数学理论和应用实践之间的空白。 　　本书内容安排有序，首先介绍基础理论，然后引出更高级的数学内容，最后用实际的深度 学习算法让你将之前掌握的内容融会贯通。建议你按照书中的内容顺序阅读，如果遇到已经非常熟悉的内容，你可以直接跳过。 　　第1章：搭建舞台 　　该章对工作环境以及深度学习中的常用组件进行配置。 　　第2章：概率论 　　概率论影响深度学习的方方面面，它是理解神经网络训练过程的关键。作为本书概率论的 前半部分，该章介绍该领域的基础知识点。 　　第3章：概率论进阶 　　单靠一章难以覆盖重要的概率论的全部内容，该章继续探索概率论中与深度学习相关的知 识点，包括概率分布和贝叶斯定理。 　　第4章：统计学 　　统计学对理解数据和评估模型非常重要，而且概率论也离不开统计学，要理解深度学习， 就不得不理解统计学。 　　第5章：线性代数 　　线性代数是一门关于向量和矩阵的学科，而深度学习就以线性代数为核心。实现神经网络 本身就是在运用向量和矩阵进行运算，所以理解相关概念和运算方法非常关键。 　　第6章：线性代数进阶 　　该章继续讨论线性代数知识，内容聚焦于矩阵的相关核心内容。 　　第7章：微分 　　或许训练神经网络的最核心理论基础就是梯度。要想理解和使用梯度，就必须掌握如何对 函数求导。该章介绍求导和梯度的理论基础。 　　第8章：矩阵微分 　　在深度学习中，求导往往是针对向量和矩阵进行的。该章把导数的概念扩展到这些对象上。 第9章：神经网络中的数据流 　　要想理解神经网络如何对向量和矩阵进行运算，就必须理解数据在神经网络中是如何流转 的。该章讨论这些内容。 　　第10章：反向传播 　　成功训练神经网络离不开两个关键算法：反向传播和梯度下降。该章通过介绍反向传播， 帮助你对前面所学知识加以应用。 　　第11章：梯度下降 　　梯度下降使用反向传播过程中计算得出的梯度来训练神经网络。该章从简单的一维函数开 始探讨梯度下降， 一步步讲到全连接网络的情况。除此之外，该章还会介绍并对比梯度下降的 各种变体。 　　附录：学无止境 　　本书虽然略过了概率论、统计学、线性代数和微分中的很多知识点，但附录部分会给你提供进一步学习相关领域的资源。