BASE定理 CAP是分布式系统设计理论，BASE是CAP理论中AP方案的延伸，对于C我们采用的方式和策略就是保证最终一致性； eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结，在ACM上发表文章提出BASE理论，BASE理论是对CAP理论的延伸，核心思想是即使无法做到强一致性（StrongConsistency，CAP的一致性就是强一致性），但应用可以采用适合...

一、视图 1.1 简介 Hive 中的视图和 RDBMS 中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象，没有关联的存储 (Hive 3.0.0 引入的物化视图除外)，当查询引用视图时，Hive 可以将视图的定义与查询结合起来，例如将查询中的过滤器推送到视图中。 1.2 创建视图 ```plain text CREATE V...

一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 ```plain text – 建表语句 CREATE TABLE emp( empno INT, – 员工表编号 ename STRING, – 员工姓名 job STR...

一、加载文件数据到表 1.1 语法 ```plain text LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 …)] - LOCAL 关键字代表从本地文件系统加载文件，省略则代表从 HDFS 上加载文件： - 从本...

一、Database 1.1 查看数据列表 ```plain text show databases;  ### 1.2 使用数据库 ```plain text USE da...

漫画 | 看进程小 P 讲述它的网络性能故事！ 原创张彦飞allen开发内功修炼2021-04-22 08:28 收录于话题 #开发内功修炼之网络篇30个 #漫画谈技术1个 大家好，我是飞哥！今天给大家带来的是一个漫画故事！ 01 大家好，我是一个进程，我的名字的小 P。我和很多其它小伙伴一样，都由老大操作系统创建和管理。 要问我是怎么来的，嘘小点声，不能让那帮应用开发们听见...

JNDI详解

一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设计可以极大提高查询速度和性能。 这里说明一下分区表并 Hive 独有的概念，...

漫画 | 花了七天时间测试，我彻底搞明白了 TCP 的这些内存开销! 原创张彦飞allen开发内功修炼2021-01-12 08:08 收录于话题#开发内功修炼之网络篇30个 点击上方蓝字”开发内功修炼“，关注并设为星标 飞哥的硬核文章将第一时间送达~~~ 实际中 TCP 连接上肯定是要进行数据的收发的，而且还会有 TIME_WAIT 等其它状态。在这些复杂情况下，一条连接占用多大...

Master-Worker模式 Master-Worker模式是常用的并行计算模式。 它的核心思想是系统由两类进程协作工作：Master进程和Worker进程。 Master进程负责接收和分配任务，Worker负责处理子任务。当各个Worker子进程处理完成后，会将结果返回给Master，由Master做归纳和总结。 其好处是能将一个大任务分解若干个小任务，并行执行，从而提高系统的吞...