一、背景 先说一下，为什么要使用 Flume + Kafka？ 以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特性，能很好地抗住峰值...

一、Flume简介 Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。 二、Flume架构和基本概念 下图为 Flume 的基本架构图...

系统需要对用户输入的文本进行敏感词过滤如色情、政治、暴力相关的词汇。 敏感词过滤用的使用比较多的 Trie 树算法 和 DFA 算法。 算法实现 Trie 树 Trie 树 也称为字典树、单词查找树，哈系树的一种变种，通常被用于字符串匹配，用来解决在一组字符串集合中快速查找某个字符串的问题。像浏览器搜索的关键词提示一般就是基于 Trie 树来做的。 假如我们的敏感词库中有以下敏...

https://www.iocoder.cn/JUC/sike/ReentrantLock/ 1. 简介 ReentrantLock，可重入锁，是一种递归无阻塞的同步机制。它可以等同于 synchronized 的使用，但是 ReentrantLock 提供了比 synchronized 更强大、灵活的锁机制，可以减少死锁发生的概率。 API 介绍如下： 一个可重入的互斥锁定 Loc...

Future,FutureTask,ExecutorService… 用上FutureTask任务获取结果老少皆宜, 就是CPU有消耗. FutureTask也可以做闭锁(实现了Future的语义, 表示一种抽象的可计算的结果). 通过把Callable作为一个属性, 进而把它自己作为一个执行器去继承Runnable, FutureTask实际上就是一个支持取消行为的异步任务执行器....

面试官：谈谈 PostgreSQL 与 MySQL 的区别 都属于开放源码的一员，性能和功能都在高速地提高和增强。MySQL AB的人们和PostgreSQL的开发者们都在尽可能地把各自的数据库改得越来越好，所以对于任何商业数据库使用其中的任何一个都不能算是错误的选择。 PostgreSQL : 免费 原则: 对于一个数据库，稳定性和速度并不能代表一切。对于一个成熟的数据库，稳定性肯定...

pom.xml节点说明 pom.xml文件的节点元素说明： pom文件的顶级节点 object model版本，对Maven2和Maven3来说，只能是4.0.0 项目创建组织的标识符，一般是域名的倒写 定义了项目在所属组织的标识符下的唯一标识，一个组织下可以有多个项目 当前项目的版本，SNAPSHOT，表示是快照版本，在开发中 打包的方式，有jar、war、ear等 项目的...

25 张图，一万字，拆解 Linux 网络包发送过程 原创张彦飞allen开发内功修炼2021-05-12 08:28 收录于话题#开发内功修炼之网络篇30个 大家好，我是飞哥! 半年前我以源码的方式描述了网络包的接收过程。之后不断有粉丝提醒我还没聊发送过程呢。好，安排！ 在开始今天的文章之前，我先来请大家思考几个小问题。 问1：我们在查看内核发送数据消耗的 CPU 时，是...

Disruptor Disruptor 术语说明： RingBuffer： 被看做Disruptor最主要的组件，然而从3.0开始RingBuffer 仅仅负责存储和更新在Disruptor中流通的数据。对一些特殊的使用场景能够被用户（使用其他数据结构）完全替代 Sequence：Disruptor 使用 Sequence 来表示一个特殊组件处理的序号，和 Disruptor 一...

日期 周一 周二 周三 周四 周五 周六 周日 上午9:00 - 12:00   第一外国语-科技英语翻译与写作（非全）数据仓库与数据挖掘 数据仓库与数据挖掘 第一外国语-综合英语第一外国语-科技英语翻译与写作（非全）...