Pod简介 名词解释 Pods 在Kubernetes中，最小的管理元素不是一个个独立的容器，而是Pod,Pod是最小的，管理，创建，计划的最小单元. 什么是Pod 一个Pod（就像一群鲸鱼，或者一个豌豆夹）相当于一个共享context的配置组，在同一个context下，应用可能还会有独立的cgroup隔离机制，一个Pod是一个容器环境下的”逻辑主机”，它可能包含一个或者多个紧密相连...

https://www.iocoder.cn/JUC/sike/happens-before/ 在上篇博客（《【死磕 Java 并发】—– 深入分析 volatile 的实现原理》）中，LZ 提到过由于存在线程本地内存和主内存的原因，再加上重排序，会导致多线程环境下存在可见性的问题。那么我们正确使用同步、锁的情况下，线程 A 修改了变量 a ，何时对线程 B 可见？ 我们无法就所有场景来...

一、简单聚合 1.1 数据准备 // 需要导入 spark sql 内置的函数包 import org.apache.spark.sql.functions._ val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate() val empDF = spark.rea...

Kubernetes核心概念之Volume存储数据卷详解 在Docker中就有数据卷的概念，当容器删除时，数据也一起会被删除，想要持久化使用数据，需要把主机上的目录挂载到Docker中去，在K8S中，数据卷是通过Pod实现持久化的，如果Pod删除，数据卷也会一起删除，k8s的数据卷是docker数据卷的扩展，K8S适配各种存储系统，包括本地存储EmptyDir,HostPath,网络存储N...

一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text files 注：以下所有测试文件均可从本仓库的resources 目录进行下载 1.2 读数据...

一、 数据准备 本文主要介绍 Spark SQL 的多表连接，需要预先准备测试数据。分别创建员工和部门的 Datafame，并注册为临时视图，代码如下： val spark = SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate() val empDF = spark.read.js...

一、Transformation spark 常用的 Transformation 算子如下表： Transformation 算子 Meaning（含义） map(func) 对原 RDD 中每个元素运用 func 函数，并生成新的 RDD filter(f...

单机版中我们用的是Guava Cache，但是这玩意存在集群的时候就凉了，所以我们还是要借助类似Redis、ZooKeeper 之类的中间件实现分布式锁。 本章目标 利用 自定义注解、Spring Aop、Redis Cache 实现分布式锁，你想锁表单锁表单，想锁接口锁接口…. 导入依赖 org.springframework.boot spring-boot-starter-we...

1.实现EmbeddedServletContainerCustomizer接口，并把实现的类纳入到Spring容器中管理 @Component public class MyEmbeddedServletContainerCustomizer implements EmbeddedServletContainerCustomizer { public void customize...

重复提交 字面意思就是提交了很多次，这种情况一般都是前端给你挖的坑…. 前段时间在开发中遇到一个这样的问题；前端小哥哥调用接口的时候存在 循环调用 的问题，正常情况下发送一个请求添加一条数据，结果变成了同一时刻并发的发送了 N 个请求，服务端瞬间懵逼的插入了 N 条一模一样的数据，前端小哥哥也不知道问题在哪里（恩…坑就这样挖好了，反正不填坑，气死你） 这时候咋办呢；后端干呗，反正脏活累活...