[综合] 机器学习之神经网络（机器学习技法）

神经网络的动机 感知器的线性融合 前面我们知道了将简单的模型进行融合之后会得到一个非常强大的模型。我们试着将感知器（简单的二元分类模型）做线性融合之后得到下图： 其中每一个节点都是一个感知器，其第一层的感知器都是由前一层X向量与W权重的线性组合，而第二层的感知器又是由前一层的得到的小的感知器g与...

[综合] 机器学习之深度学习（机器学习技法）

深层神经网络 先说说神经网络 神经网络是由一个个的神经元所构成，其中每个神经元的内部都封装着一个线性或者是非线性的模型。每一个节点都会对应一个权重向量W。这个向量会与前面的输入所组合（透过tanh函数）组合后的输出又当做是新一轮的输入。我们希望模型的预测与我们的标签一样，那么我们最终的权重的大小就应...

[综合] 浅谈Java枚举类

什么是枚举类 有时候一个类的对象有且固定的，这样的类就是枚举类。比如说四季，或者是九大行星。这个类突出的特点就是固定。 几个特点 ①枚举类默认继承java.lang.Enum类而非Object这个类。 ②使用enum修饰，抽象的枚举类会有隐式的abstract修饰，非抽象的枚举类默认使用final修...

[综合] 浅谈Java垃圾回收机制

对象在内存中的状态 对象在内存中一共有三种状态： ①可达态：在对象创建之后若有一个以上的引用变量引用它就是可达态。程序可以通过引用变量去引用它。 ②可恢复态：当对象完全失去引用的时候就进入可恢复态。在这种状态下系统的垃圾回收机制就准备回收该对象使用的内存。在回收内存时系统会调用可恢复对象的final...

[综合] 台大林轩田机器学习技法神经网络深度学习完全解读

笔者能力有限欢迎大家批评:-) 机器学习之神经网络 机器学习之深度学习 机器学习之RBFNetwork 机器学习之矩阵分解

[综合] 台大林轩田机器学习技法集成学习完全解读

Blending与Bagging Adaboost 决策树（DecisionTree） 随机森林（RandomForest） 梯度提升树（GBDT） 最后感谢林轩田老师！

[综合] 台大林轩田机器学习技法完全解读

支持向量机（SVM）完全解读 集成学习完全解读 神经网络深度学习完全解读 感谢林轩田老师！

[综合] 台大林轩田机器学习基石技法完全解读

台大林轩田机器学习基石学习笔记（一键直达） 台大林轩田机器学习技法完全解读（一键直达） 感谢林轩田老师！

[综合] 做减法

做减法的经历无疑是痛苦的，准备了大半年的机器学习最后由于生活的阻力而被迫中断。也许是我太过于急躁了。没有免费的午餐，我还需要继续的坚持下去。等待开花！

[综合] SparkMLlib

厦门大学 并发编程网

[综合] 写给自己的数据库基本理论

这篇文章只是自己对数据库中的知识的一个索引可能不适合广大网友阅读 数据库概述 基本概述 ①数据也就是数字化之后的信息。 ②数据库是一个数据的集合，其中包括数据与是数据之间的联系。 ③数据库管理系统，则用来管理数据。 ④数据库系统则是一整套的东西包括，数据库，数据库管理程序（和其开发工具），所服务的应...

[综合] Pig基本原理

Pig基本原理 Pig是一款数据装载、处理、存储的工具。我们可以使用pig将数据装载到内存中成为一个关系，然后再通过PigLatin语言对数据进行操作，最后再将数据转换的结果存储到一个文件中。它的底层事实上是MR的任务，所以会具备MR的各个特性。 Pig的组成 Pig由两部分组成 PigLatin...

[综合] Spark之RDD与DataFrame互相转换

在Spark中RDD转换为DataFrame一共有两种方法。一种是基于一个封装数据的类去转换，另一种是通过结构类型去转换，下面分别介绍。 基于封装数据的类去转换（反射方式） Java版本 这种方法是底层基于类的反射机制去实现的，为了封装数据我们首先需要一个封装数据的类也就是JavaBean。然后去...

[综合] Spark之SparkSQL内核解析

SparkSQL内核解析 使用SparkSQL引擎去解析SQL与其它的SQL执行引擎也是非常相似的，都要进过未解析逻辑计划-->解析后的逻辑计划-->逻辑计划优化-->物理计划-->执行物理计划等步骤。下面我们详细说明。 生成未解析的逻辑计划 我们在Spark中执行SQL语句...

[综合] Spark之Master状态转换

Spark之Master状态转换 在Driver与Executor的状态发生改变的时候他们会给Master发送一些信息，之后Master会根据这些状态准换的信息做出相应的动作。 Driver状态转换 当Driver的程序发生改变会向Master发送一个状态转换的信息。Master会根据传过来的Dri...

[综合] Spark之Worker工作原理

Spark之Worker工作原理 当一个Spark上的Application要启动的时候，Master就会发送使用调度算法给Application分配资源，也就是将Application所需要的资源分摊到Worker上面以保证分布式的计算。同时Master还会给Worker发送消息让它去启动Driv...

[综合] SparkSQL读写kudu小记

在操作之前首先要有相应的依赖 <dependency><groupId>org.apache.kudu</groupId><artifactId>kudu-spark2_2.11</artifactId><version>1.8...

[综合] 《你学的数学可能是假的》的触动笔记

数学的精神： 不在于玩弄多么高大上的概念，而是一种创造性的解决方法。 一些生活中的数学技巧： 数学作为一种工具需要记住一些二级公式。 被误解的天才： 船长问题：还没有审题就开始计算。 被误解的天才：不受污染的孩子进行的独立思考往往是新东西出现的地方。合乎逻辑但是与传统的东西背道而驰可能就是一种创...

[综合] 《认知觉醒》读书笔记

认知觉醒 认知觉醒是一本集大成之作，融合了很多底层逻辑与牛人的做事方法。全程高能，我本身也会投入到实践当中。以下是一些触动我的句子（观点）。其中最触动的就是耐心与专注还有元认知。 0.去反思，去觉知。直面核心困难。 1.刻意练习的要义之一就是带着清晰的目标去学习。 2.一流的生活不是富有而是觉知。...

[综合] 三个维度聊聊同步与异步的区别

1.计算机网络中的同步|异步传输 是时间节拍上的区别 同步传输发送方与接收方都用着同样的节拍，你发一个我接一个。 异步传输不使用时间节拍这一套，我发送我的你接收你的。 传输数据的大小 一般情况下同步传输传递的单位是帧，异步传输传递的是字节。 相同点 都需要加上起始位和结束位。他们的目标都是要实现字符...