一、安装Spark 1.1 下载并解压 官方下载地址：http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： ```plain text tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz ### 1.2 配置环境变量 ```plain text ...

一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapReduce 的批处理计算，Spark 可以带来上百倍的性能提升，因此它成为继 MapReduce 之后，最为广泛使用的分布式计算框架。 二、特点 Apache Spark 具有以下特点： ...

127.0.0.1 之本机网络通信过程知多少 ?！ 原创张彦飞allen开发内功修炼2021-05-27 08:28 收录于话题#开发内功修炼之网络篇30个 大家好，我是飞哥！ 我们拆解完了 Linux 网络包的接收过程，也搞定了网络包的发送过程。内核收发网络包整体流程就算是摸清楚了。 正在飞哥对这两篇文章洋洋得意的时候，收到了一位读者的发来的提问：“飞哥， 127.0.0.1 本...

本文旨在全面介绍高可用系统设计的核心概念、原则与实践方法，内容涵盖高可用的定义、导致系统不可用的常见原因，以及提升系统可用性的多种策略，如超时重试、冗余设计、限流、熔断等。 一、什么是高可用？ 高可用 (High Availability) 描述的是一个系统在绝大部分时间都处于可用状态，能够持续提供服务。一个高可用系统即使在面临硬件故障、软件升级或流量冲击时，其核心服务依然在线。 通常...

一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下： 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中，具有以下特点： 支持时间区间 、row 区间 、改变表名称 、改变列族名称 、以及是否 Copy 已被删除的数据等功能； 执行命令前，需...

一、基本命令 打开 Hbase Shell： ```plain text hbase shell ### 1.1 获取帮助 ```plain text # 获取帮助 help # 获取命令的详细信息 help 'status' 1.2 查看服务器状态 ```plain text status ### 1.3 查看版本信息 ```plain text version 二、...

一、简述 在使用 HBase 时，如果你的数据量达到了数十亿行或数百万列，此时能否在查询中返回大量数据将受制于网络的带宽，即便网络状况允许，但是客户端的计算处理也未必能够满足要求。在这种情况下，协处理器（Coprocessors）应运而生。它允许你将业务计算代码放入在 RegionServer 的协处理器中，将处理好的数据再返回给客户端，这可以极大地降低需要传输的数据量，从而获得性能上的提...

分布式事务的解决方案 在分布式系统、微服务架构大行其道的今天，服务间互相调用出现失败已经成为常态。如何处理异常，如何保证数据一致性，成为微服务设计过程中，绕不开的一个难题。在不同的业务场景下，解决方案会有所差异，常见的方式有： 阻塞式重试； 2PC、3PC 传统事务； 使用队列，后台异步处理； TCC 补偿事务； 本地消息表（异步确保）； MQ 事务。 本文...

Maven 命令小记 使用maven构建项目 一：构建java项目 1.1创建JavaProject ```plain text 1、使用mvn archetype:generate命令，如下所示 mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=myapp -DarchetypeArtifactId=m...

一、Phoenix简介 Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。Phoenix 的理念是 we put sql SQL back in NOSQL...