Spark 开发环境搭建
一、安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: ```plain text tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz ### 1.2 配置环境变量 ```plain text ...
一、安装Spark 1.1 下载并解压 官方下载地址:http://spark.apache.org/downloads.html ,选择 Spark 版本和对应的 Hadoop 版本后再下载: 解压安装包: ```plain text tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz ### 1.2 配置环境变量 ```plain text ...
一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab,2013 年被捐赠给 Apache 软件基金会,2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算,Spark 可以带来上百倍的性能提升,因此它成为继 MapReduce 之后,最为广泛使用的分布式计算框架。 二、特点 Apache Spark 具有以下特点: ...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2695 「小明哥」,谢谢! 在 XmlBeanDefinitionReader#doLoadDocument(InputSource inputSource, Resource resource) 方法,中做了两件事情: 调用 验证模式 #getValid...
SpringBoot 是为了简化 Spring 应用的创建、运行、调试、部署等一系列问题而诞生的产物 自动装配的特性让我们可以更好的关注业务本身而不是外部的XML配置,我们只需遵循规范,引入相关的依赖就可以轻易的搭建出一个 WEB 工程 在我们日常开发中,经常会遇到 数据定时增量同步、定时发送邮件、爬虫定时抓取 的需求;这时我们可以采用定时任务的方式去进行工作….. 定时任务概述 定...
什么是阻塞队列?有什么适用场景? 阻塞队列(BlockingQueue)是一个支持两个附加操作的队列。这两个附加的操作是: 在队列为空时,获取元素的线程会等待队列变为非空。 当队列满时,存储元素的线程会等待队列可用。 阻塞队列常用于生产者和消费者的场景: 生产者是往队列里添加元素的线程,消费者是从队列里拿元素的线程 阻塞队列就是生产者存放元素的容器,而消费者也只...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2688 「小明哥」,谢谢! 在上篇博客【死磕 Spring】—— IoC 之加载 Definitions 中提到,在核心逻辑方法 #doLoadBeanDefinitions(InputSource inputSource, Resource resource) ...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2658 「小明哥」,谢谢! 先看一段熟悉的代码: ClassPathResource resource = new ClassPathResource("bean.xml"); // <1> DefaultListableBeanFactory fa...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2656 「小明哥」,谢谢! 在学 Java SE 的时候,我们学习了一个标准类 java.net.URL,该类在 Java SE 中的定位为统一资源定位器(Uniform Resource Locator),但是我们知道它的实现基本只限于网络形式发布的资源的查找和...
手工模拟实现 Docker 容器网络! 原创张彦飞allen开发内功修炼2021-11-16 08:28 收录于话题 #docker1个 #linux3个 #网络2个 #开发内功修炼之网络篇30个 #服务器2个 大家好,我是飞哥! 如今服务器虚拟化技术已经发展到了深水区。现在业界已经有很多公司都迁移到容器上了。我们的开发写出来的代码大概率是要运行在容器上的。因此深刻理解容器...
彻底搞懂WebSocket原理 1.webSocket与http webSocket是HTML5出的协议,也就是说HTTP协议没有变化, 但HTTP协议是不支持持久连接的(循环连接,长连接不算) http1.1和http1.0的区别: 根本在于对 keep-alive 的支持 http1.0默认为短链接,http1.1版本支持keep-alive,可以维持长连接(即把多个http请求...