JNDI详解

一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的分区设计可以极大提高查询速度和性能。 这里说明一下分区表并 Hive 独有的概念，...

漫画 | 花了七天时间测试，我彻底搞明白了 TCP 的这些内存开销! 原创张彦飞allen开发内功修炼2021-01-12 08:08 收录于话题#开发内功修炼之网络篇30个 点击上方蓝字”开发内功修炼“，关注并设为星标 飞哥的硬核文章将第一时间送达~~~ 实际中 TCP 连接上肯定是要进行数据的收发的，而且还会有 TIME_WAIT 等其它状态。在这些复杂情况下，一条连接占用多大...

Master-Worker模式 Master-Worker模式是常用的并行计算模式。 它的核心思想是系统由两类进程协作工作：Master进程和Worker进程。 Master进程负责接收和分配任务，Worker负责处理子任务。当各个Worker子进程处理完成后，会将结果返回给Master，由Master做归纳和总结。 其好处是能将一个大任务分解若干个小任务，并行执行，从而提高系统的吞...

一、Hive CLI 1.1 Help 使用 hive -H 或者 hive –help 命令可以查看所有命令的帮助，显示如下： ```plain text usage: hive -d,–define <key=value> Variable subsitution to apply to hive ...

一、简介 Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 特点： 简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql 但是不了解 Java 编程的人也能很好地进行大数据分析； 灵活性高，...

类图结构 如图所示，Executors是个工具类，用来提供不同特性的线程池。ThreadPoolExecutor中的ctl是一个原子变量，用来记录线程池状态和线程池中的线程个数，类似于ReentrantReadWriteLock中使用一个变量来保存两种信息。 以下为与ctl相关的变量与函数： private final AtomicInteger ctl = new AtomicI...

一、安装Hive 1.1 下载并解压 下载所需版本的 Hive，这里我下载版本为 cdh5.15.2。下载地址：http://archive.cloudera.com/cdh5/cdh/5/ ```plain text 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz ### 1.2 配置环境变量 ```plain text # vim /...

常用调优工具 阿里巴巴Arthas详解 官方文档：https://alibaba.github.io/arthas Arthas使用 GC日志详解 对于java应用我们可以通过一些配置把程序运行过程中的gc日志全部打印出来，然后分析gc日志得到关键性指标，分析GC原因，调优JVM参数 打印GC日志的方法，在JVM参数里增加参数，%t表示时间 plain text 1 ‐Xlog...

总阅读量:7472次 摘要: 原创出处http://cmsblogs.com/?p=2188「小明哥」欢迎转载，保留摘要，谢谢！ 作为「小明哥」的忠实读者，「老艿艿」略作修改，记录在理解过程中，参考的资料。 此篇博客所有源码均来自 JDK 1.8 在上篇博客《【死磕 Java 并发】—– J.U.C 之 AQS：AQS 简介》中提到，AQS 内部维护着一个 FIFO 队列，该队列...