Deployment Kubernetes Deployment Deployment为Pod和Replica Set（升级版的 Replication Controller）提供声明式更新。 你只需要在 Deployment 中描述您想要的目标状态是什么，Deployment controller 就会帮您将 Pod 和ReplicaSet 的实际状态改变到您的目标状态。您可以定义一...

一、创建DataFrame和Dataset 1.1 创建DataFrame Spark 中所有功能的入口点是 SparkSession，可以使用 SparkSession.builder() 创建。创建后应用程序就可以从现有 RDD，Hive 表或 Spark 数据源创建 DataFrame。示例如下： ```plain text val spark = SparkSession.bu...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2731 「小明哥」，谢谢！ import 标签解析完毕了，我们一起来看看 Spring 中最复杂也是最重要的标签 bean 标签的解析过程。 1. processBeanDefinition 在方法 #parseDefaultElement(…) 方法中，如果...

介绍 JUC包中的并发List只有CopyOnWriteArrayList。CopyOnWriteArrayList是一个线程安全的ArrayList，使用了写时复制策略，对其进行的修改操作都是在底层的一个复制的数组上进行的。 源码解析 初始化 CopyOnWriteArrayList内部包含一个array： /** The array, accessed only via get...

Kafka direct和receiver Receiver Approach Receiver是使用kafka的high level的consumer API来实现的。Receiver从kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据 然而这种方式很可能会丢失数据，如果要启用高可靠机制，让数据零丢失，就...

k8s是什么 Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。 Kubernetes 特点 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud） 可扩展: 模块化, 插件化, 可挂载, 可组合 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展 容器优势总结： 快速创建/部署...

对于开发人员而言，了解性能测试的指标、分类及工具，有助于我们编写出性能更优的程序。此外，掌握性能测试技能也会为你的职业履历增添亮点。 本文将结合我的实际项目经验和从测试团队获取的知识，并参考相关技术书籍，为你提供一份详尽的性能测试入门指南。 一、不同角色如何看待网站性能 1.1 用户视角 用户最关心的是网站的响应速度。例如，从点击淘宝主页到内容完全加载，或提交订单后系统返回结果所需的...

一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ```plain text ./bin/spark-submit –class \ # 应用程序主入口类 --master \ # 集群的 Master Url --deploy-mode \ # 部署模式 ...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2724 「小明哥」，谢谢！ 在博客 【死磕 Spring】—— IoC 之注册 BeanDefinitions 中分析到，Spring 中有两种解析 Bean 的方式： 如果根节点或者子节点采用默认命名空间的话，则调用 默认 #parseDefaultEl...

一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数...