Spark Streaming 整合 Flume
一、简介 Apache Flume 是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based Approach) 中,Spark Streaming 程序需要对某台服务器的某个端口进...
一、简介 Apache Flume 是一个分布式,高可用的数据收集系统,可以从不同的数据源收集数据,经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。 二、推送式方法 在推送式方法 (Flume-style Push-based Approach) 中,Spark Streaming 程序需要对某台服务器的某个端口进...
本文整合了 ThreadLocal的底层原理 与 threadlocal 两篇笔记。 1. ThreadLocal 是什么 ThreadLocal 提供”线程本地变量”能力:同一个 ThreadLocal 对象,在不同线程里读到的是各自独立的数据副本。 它的目标不是线程共享,而是线程隔离。 2. 底层结构 很多同学容易误解为:ThreadLocal -> Map<Thr...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=TODO 「小明哥」,谢谢! 作为「小明哥」的忠实读者,「老艿艿」略作修改,记录在理解过程中,参考的资料。 在分析自定义标签的解析之前,我们有必要了解自定义标签的使用。 1. 使用自定义标签 扩展 Spring 自定义标签配置一般需要以下几个步骤: 创...
一、流处理 1.1 静态数据处理 在流处理之前,数据通常存储在数据库,文件系统或其他形式的存储系统中。应用程序根据需要查询数据或计算数据。这就是传统的静态数据处理架构。Hadoop 采用 HDFS 进行数据存储,采用 MapReduce 进行数据查询或分析,这就是典型的静态数据处理架构。 1.2 流处理 而流处理则是直接对运动中的数据的处理,在接收数据时直接计算数据。 大多数数...
应用层 网络层 数据链路层 物理层 计算机网络-思维导图 计算机网络-概述-思维导图 计算机网络技术知识总结 计算机网络考研知识点 计算机网络重要知识点
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2754 「小明哥」,谢谢! 作为「小明哥」的忠实读者,「老艿艿」略作修改,记录在理解过程中,参考的资料。 前面四篇文章都是分析 Bean 默认标签的解析过程,包括 基本属性、六个子元素(meta、lookup-method、replaced-method、con...
LockSupport工具类 LockSupport是创建锁和其他同步类的基础。 LockSupport类与每个使用它的线程都会关联一个许可证,默认情况下调用LockSupport类的方法的线程是不持有许可证的。 下面介绍LockSupport类中的几个主要函数。 1. void park() 如果park方法拿到了与LockSupport关联的许可证,则调用LockSupport...
Replication Controller Kubernetes Replication Controller 注意:建议使用Deployment 配置 ReplicaSet (简称RS)方法来控制副本数。 ReplicationController(简称RC)是确保用户定义的Pod副本数保持不变。 ReplicationController 工作原理 在用户定义范围内,如果po...
ReplicaSet Kubernetes Replica Sets ReplicaSet(RS)是Replication Controller(RC)的升级版本。ReplicaSet 和 Replication Controller之间的唯一区别是对选择器的支持。ReplicaSet支持labels user guide中描述的set-based选择器要求, 而Replication ...
本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=2754 「小明哥」,谢谢! 作为「小明哥」的忠实读者,「老艿艿」略作修改,记录在理解过程中,参考的资料。 上篇博客 《【死磕 Spring】—— IoC 之解析 标签:meta、lookup-method、replace-method》 分析了 meta、looku...