DeathWhispers

深度学习基础

0. 基本概念 机器学习 机器学习就是利用计算机、概率论、统计学等知识,输入数据,让计算机学会新知识。机器学习的过程,就是训练数据去优化目标函数的过程。 深度学习 深度学习是机器学习的一个研究方向,深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声...

模型超参数调整策略

我们都知道目前的神经网络是一个黑盒,里面有太多我们无法解释的地方了,各种超参数又对网络的性能产生了特别大的影响,所以说调参是深度学习中一个非常重要的部分,但是我们目前已知的一些调参方式几乎都是根据前人的经验得来的,很多地方并没有严格的公式证明,我下面介绍的一些方法也是根据前辈的经验得到的,有些地方可能并不一定很严谨,但是以下的调参方式在大多数的场景中还是非常有效的。 1. 超参数概念 1...

模型改进及期刊发表

1. 顶会审稿人论文写作技巧 1.1 阅读论文 发表论文的前提是大量阅读论文!!!文献阅读分为三个阶段,初期找方向,中期重点突破,后期广泛涉猎。 初期读论文需要逐字精读,方向不必严格限定,感兴趣论文涉及的论文链都可以去读。一篇论文用时一天,英文论文+中文分享,前期阅读论文数量30篇以上,可以提高学术英语阅读能力和专业术语积累。 中期读论文要重点精读,严格限定研究方向和方向涉及的论文链...

模型优化方法及思路

1. 一个合适的梯度下降优化算法 参考论文:1609.04747.pdf (arxiv.org) 梯度下降法是最小化目标函数 J(θ) 的一种方法,其中, θ ∈ ℝd 为模型参数,梯度下降法利用目标函数关于参数的梯度 ∇θJ(θ) 的反方向更新参数。学习率 η 决定达到最小值或者局部最小值过程中所采用的步长的大小。即我们沿着目标函数的斜面下降的方向,直到到达谷底。 梯度下降法是最著名...

机器学习基础

一 机器学习基础 1. 标量、向量、矩阵、张量的概念及示例 1.1 标量、向量、矩阵、张量概念 一般来说,当前所有的机器学习系统都使用张量作为基本的数据结构。张量对这个领域非常的重要,重要到Google的TensorFlow都以它来命名。那么什么是张量呢? 标量(0D张量) 仅包含一个数字的张量叫做标量(scalar,也叫标量张量、零维张量、0D张量)。在Numpy中,一个 f...

实践练习

本章教程的目标及涵盖范围 本章教程对 Apache Flink 的基本概念进行了介绍,虽然省略了许多重要细节,但是如果你掌握了本章内容,就足以实现可扩展并行度的 ETL、数据分析以及事件驱动的流式应用程序。本章重点对 Flink API 中的状态管理和时间进行了介绍,掌握了这些基础知识后,你将能更好地从其他详细参考文档中获取和掌握你所需要的知识。每小节结尾都有链接去引导你了解更多内容。 ...