1.添加依赖： <!-- ehcache缓存 --><dependency> <groupId>net.sf.ehcache</groupId> <artifactId>ehcache</artifactId> <version>2.10.1</version> </de...

一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <ve...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2736 「小明哥」，谢谢！ 在上篇博客【死磕 Spring】—— IoC 之解析 标签：BeanDefinition 中，已经完成了对 标签属性的解析工作。这篇博文开始，分析子元素的解析。 完成 bean 标签的基本属性解析后，会依次调用 BeanDefini...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2734 「小明哥」，谢谢！ 前面历经千辛万苦终于到达解析 bean 标签步骤来了，解析 bean 标签的过程其实就是构造一个 BeanDefinition 对象的过程。 元素标签拥有的配置属性，BeanDefinition 均提供了相应的属性，与之一一对应。所以，...

Pod简介 名词解释 Pods 在Kubernetes中，最小的管理元素不是一个个独立的容器，而是Pod,Pod是最小的，管理，创建，计划的最小单元. 什么是Pod 一个Pod（就像一群鲸鱼，或者一个豌豆夹）相当于一个共享context的配置组，在同一个context下，应用可能还会有独立的cgroup隔离机制，一个Pod是一个容器环境下的“逻辑主机”，它可能包含一个或者多个紧密相连...

https://www.iocoder.cn/JUC/sike/happens-before/ 在上篇博客（《【死磕 Java 并发】—– 深入分析 volatile 的实现原理》）中，LZ 提到过由于存在线程本地内存和主内存的原因，再加上重排序，会导致多线程环境下存在可见性的问题。那么我们正确使用同步、锁的情况下，线程 A 修改了变量 a ，何时对线程 B 可见？ 我们无法就所有场景来...

一、简单聚合 1.1 数据准备 ```plain text // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName(“aggregations”).master(“local[2]”).getOrCreate() val emp...

Kubernetes核心概念之Volume存储数据卷详解 在Docker中就有数据卷的概念，当容器删除时，数据也一起会被删除，想要持久化使用数据，需要把主机上的目录挂载到Docker中去，在K8S中，数据卷是通过Pod实现持久化的，如果Pod删除，数据卷也会一起删除，k8s的数据卷是docker数据卷的扩展，K8S适配各种存储系统，包括本地存储EmptyDir,HostPath,网络存储N...

一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text files 注：以下所有测试文件均可从本仓库的resources 目录进行下载 1.2 读数据...

一、 数据准备 本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创建员工和部门的 Datafame，并注册为临时视图，代码如下： ```plain text val spark = SparkSession.builder().appName(“aggregations”).master(“local[2]”).getOrCreate() val empDF =...