本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2731 「小明哥」，谢谢！ import 标签解析完毕了，我们一起来看看 Spring 中最复杂也是最重要的标签 bean 标签的解析过程。 1. processBeanDefinition 在方法 #parseDefaultElement(…) 方法中，如果...

介绍 JUC包中的并发List只有CopyOnWriteArrayList。CopyOnWriteArrayList是一个线程安全的ArrayList，使用了写时复制策略，对其进行的修改操作都是在底层的一个复制的数组上进行的。 源码解析 初始化 CopyOnWriteArrayList内部包含一个array： /** The array, accessed only via get...

Kafka direct和receiver Receiver Approach Receiver是使用kafka的high level的consumer API来实现的。Receiver从kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据 然而这种方式很可能会丢失数据，如果要启用高可靠机制，让数据零丢失，就...

k8s是什么 Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 Kubernetes 特点 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 容器优势总结： 快速创建/部署...

对于开发人员而言，了解性能测试的指标、分类及工具，有助于我们编写出性能更优的程序。此外，掌握性能测试技能也会为你的职业履历增添亮点。 本文将结合我的实际项目经验和从测试团队获取的知识，并参考相关技术书籍，为你提供一份详尽的性能测试入门指南。 一、不同角色如何看待网站性能 1.1 用户视角 用户最关心的是网站的响应速度。例如，从点击淘宝主页到内容完全加载，或提交订单后系统返回结果所需的...

一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ```plain text ./bin/spark-submit –class \ # 应用程序主入口类 --master \ # 集群的 Master Url --deploy-mode \ # 部署模式 ...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2724 「小明哥」，谢谢！ 在博客 【死磕 Spring】—— IoC 之注册 BeanDefinitions 中分析到，Spring 中有两种解析 Bean 的方式： 如果根节点或者子节点采用默认命名空间的话，则调用 默认 #parseDefaultEl...

一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数...

一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器 ：用来对信息进行聚合，主要用于累计计数等场景； 广播变量 ：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期： ...

Docker 作为目前最火的轻量级容器技术，有很多令人称道的功能，如 Docker 的镜像管理。然而，Docker 同样有着很多不完善的地方，网络方面就是 Docker 比较薄弱的部分。因此，我们有必要深入了解 Docker 的网络知识，以满足更高的网络需求。本文首先介绍了 Docker 自身的 4 种网络工作方式，然后通过 3 个样例 —— 将 Docker 容器配置到本地网络环境中、单主...