区别 这两个接口说白了都是 Spring 在初始化 Bean 时对外暴露的扩展点，因为 Spring 框架提供的功能不一定能够满足我们所有的需求，有的时候我们需要对其进行扩展，那么这两个接口就是用来做扩展功能的。 其实不用看源码，单纯从字面上看，大家应该也能理解个差不多： BeanFactoryPostProcessor 是针对 BeanFactory 的处理器。 Bean...

一、Spark SQL简介 Spark SQL 是 Spark 中的一个子模块，主要用于操作结构化数据。它具有以下特点： 能够将 SQL 查询与 Spark 程序无缝混合，允许您使用 SQL 或 DataFrame API 对结构化数据进行查询； 支持多种开发语言； 支持多达上百种的外部数据源，包括 Hive，Avro，Parquet，ORC，JSON 和 JDBC 等； ...

Deployment Kubernetes Deployment Deployment为Pod和Replica Set（升级版的 Replication Controller）提供声明式更新。 你只需要在 Deployment 中描述您想要的目标状态是什么，Deployment controller 就会帮您将 Pod 和ReplicaSet 的实际状态改变到您的目标状态。您可以定义一...

一、创建DataFrame和Dataset 1.1 创建DataFrame Spark 中所有功能的入口点是 SparkSession，可以使用 SparkSession.builder() 创建。创建后应用程序就可以从现有 RDD，Hive 表或 Spark 数据源创建 DataFrame。示例如下： ```plain text val spark = SparkSession.bu...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2731 「小明哥」，谢谢！ import 标签解析完毕了，我们一起来看看 Spring 中最复杂也是最重要的标签 bean 标签的解析过程。 1. processBeanDefinition 在方法 #parseDefaultElement(…) 方法中，如果...

介绍 JUC包中的并发List只有CopyOnWriteArrayList。CopyOnWriteArrayList是一个线程安全的ArrayList，使用了写时复制策略，对其进行的修改操作都是在底层的一个复制的数组上进行的。 源码解析 初始化 CopyOnWriteArrayList内部包含一个array： /** The array, accessed only via get...

Kafka direct和receiver Receiver Approach Receiver是使用kafka的high level的consumer API来实现的。Receiver从kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据 然而这种方式很可能会丢失数据，如果要启用高可靠机制，让数据零丢失，就...

k8s是什么 Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 Kubernetes 特点 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 容器优势总结： 快速创建/部署...

对于开发人员而言，了解性能测试的指标、分类及工具，有助于我们编写出性能更优的程序。此外，掌握性能测试技能也会为你的职业履历增添亮点。 本文将结合我的实际项目经验和从测试团队获取的知识，并参考相关技术书籍，为你提供一份详尽的性能测试入门指南。 一、不同角色如何看待网站性能 1.1 用户视角 用户最关心的是网站的响应速度。例如，从点击淘宝主页到内容完全加载，或提交订单后系统返回结果所需的...

一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ```plain text ./bin/spark-submit –class \ # 应用程序主入口类 --master \ # 集群的 Master Url --deploy-mode \ # 部署模式 ...