一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器 ：用来对信息进行聚合，主要用于累计计数等场景； 广播变量 ：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期： ...

Docker 作为目前最火的轻量级容器技术，有很多令人称道的功能，如 Docker 的镜像管理。然而，Docker 同样有着很多不完善的地方，网络方面就是 Docker 比较薄弱的部分。因此，我们有必要深入了解 Docker 的网络知识，以满足更高的网络需求。本文首先介绍了 Docker 自身的 4 种网络工作方式，然后通过 3 个样例 —— 将 Docker 容器配置到本地网络环境中、单主...

一、集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主...

原创张彦飞allen开发内功修炼 第一个是对实践的重视程度不够。这个问题在大学计算机课程中尤为突出。但这也不只是在学生群体中存在，很多工作了的工程师也是。在学习一个新技术的时候止步于眼睛看完就拉到，不想着去动手写一写，做测试跑一跑验证一下。 第二是对实现的重视程度不够。大部分的人都愿意把精力放在自己代码能波及的范围内。盲目相信工程中的黑盒依赖，把底层当成黑盒来使用，不愿意花功夫去了解一点...

一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： ```plain text tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz ### 1.2 配置环境变量 ```plain text ...

一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。 二、特点 Apache Spark 具有以下特点： ...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2695 「小明哥」，谢谢！ 在 XmlBeanDefinitionReader#doLoadDocument(InputSource inputSource, Resource resource) 方法，中做了两件事情： 调用 验证模式 #getValid...

SpringBoot 是为了简化 Spring 应用的创建、运行、调试、部署等一系列问题而诞生的产物 自动装配的特性让我们可以更好的关注业务本身而不是外部的XML配置，我们只需遵循规范，引入相关的依赖就可以轻易的搭建出一个 WEB 工程 在我们日常开发中，经常会遇到 数据定时增量同步、定时发送邮件、爬虫定时抓取 的需求；这时我们可以采用定时任务的方式去进行工作….. 定时任务概述 定...

什么是阻塞队列？有什么适用场景？ 阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是： 在队列为空时，获取元素的线程会等待队列变为非空。 当队列满时，存储元素的线程会等待队列可用。 阻塞队列常用于生产者和消费者的场景： 生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程 阻塞队列就是生产者存放元素的容器，而消费者也只...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2688 「小明哥」，谢谢！ 在上篇博客【死磕 Spring】—— IoC 之加载 Definitions 中提到，在核心逻辑方法 #doLoadBeanDefinitions(InputSource inputSource, Resource resource) ...