packagecom.chinasofti.util;importjava.security.MessageDigest;/** * 16进制 MD5加密 * */publicclassMd5Util { publicstaticString encode(Stringstr) { Stringmd5str=""; try{ MessageDigestmd= MessageDige...

生成excel: //创建workbook对象Workbook wb =newHSSFWorkbook();FileOutputStream fileOut =null;try{ //创建sheet Sheet sheet = wb.createSheet("sheet0"); Row row0 = sheet.createRow(0);//创建一行 Cell cell0 ...

区别 这两个接口说白了都是 Spring 在初始化 Bean 时对外暴露的扩展点，因为 Spring 框架提供的功能不一定能够满足我们所有的需求，有的时候我们需要对其进行扩展，那么这两个接口就是用来做扩展功能的。 其实不用看源码，单纯从字面上看，大家应该也能理解个差不多： BeanFactoryPostProcessor 是针对 BeanFactory 的处理器。 Bean...

一、Spark SQL简介 Spark SQL 是 Spark 中的一个子模块，主要用于操作结构化数据。它具有以下特点： 能够将 SQL 查询与 Spark 程序无缝混合，允许您使用 SQL 或 DataFrame API 对结构化数据进行查询； 支持多种开发语言； 支持多达上百种的外部数据源，包括 Hive，Avro，Parquet，ORC，JSON 和 JDBC 等； ...

一、创建DataFrame和Dataset 1.1 创建DataFrame Spark 中所有功能的入口点是 SparkSession，可以使用 SparkSession.builder() 创建。创建后应用程序就可以从现有 RDD，Hive 表或 Spark 数据源创建 DataFrame。示例如下： ```plain text val spark = SparkSession.bu...

对于开发人员而言，了解性能测试的指标、分类及工具，有助于我们编写出性能更优的程序。此外，掌握性能测试技能也会为你的职业履历增添亮点。 本文将结合我的实际项目经验和从测试团队获取的知识，并参考相关技术书籍，为你提供一份详尽的性能测试入门指南。 一、不同角色如何看待网站性能 1.1 用户视角 用户最关心的是网站的响应速度。例如，从点击淘宝主页到内容完全加载，或提交订单后系统返回结果所需的...

一、作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下： ```plain text ./bin/spark-submit –class \ # 应用程序主入口类 --master \ # 集群的 Master Url --deploy-mode \ # 部署模式 ...

一、RDD简介 RDD 全称为 Resilient Distributed Datasets，是 Spark 最基本的数据抽象，它是只读的、分区记录的集合，支持并行操作，可以由外部数据集或其他 RDD 转换而来，它具有以下特性： 一个 RDD 由一个或者多个分区（Partitions）组成。对于 RDD 来说，每个分区会被一个计算任务所处理，用户可以在创建 RDD 时指定其分区个数...

一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器 ：用来对信息进行聚合，主要用于累计计数等场景； 广播变量 ：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期： ...

一、集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署 Worker 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Master 服务外，还在 hadoop002 和 hadoop003 上分别部署备用的 Master 服务，Master 服务由 Zookeeper 集群进行协调管理，如果主 Master 不可用，则备用 Master 会成为新的主...