Storm 和流处理简介
一、Storm 1.1 简介 Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持水平横向扩展; 具有高容错性,通过 ACK 机制每个消息都不丢失; 处理速度非常快,每个节点每秒能处理超过一百万个 tuples ; 易于设置和操作...
一、Storm 1.1 简介 Storm 是一个开源的分布式实时计算框架,可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析,在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点: 支持水平横向扩展; 具有高容错性,通过 ACK 机制每个消息都不丢失; 处理速度非常快,每个节点每秒能处理超过一百万个 tuples ; 易于设置和操作...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 前置阅读文章: 《精尽 Dubbo 源码分析 —— 注册中心(一)之抽象 API》 《精尽 Dubbo 源码分析 —— 注册中心(二)之 Zookeeper》 我们先来看下 《Dubbo 用户指南 —— Redis 注册中心》 文档,内容如下: 基于 Redis 实现的注册中心。 流程 使用 Redi...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 前置阅读文章: 《精尽 Dubbo 源码分析 —— Zookeeper 客户端》 《精尽 Dubbo 源码分析 —— 注册中心(一)之抽象 API》 在《注册中心(一)之抽象 API》 中,我们分享的那是相当抽象。因此,在本文中,我们会分享 Dubbo 使用 Zookeeper 作为注册中心的代码,同时也会分享...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 在 《精尽 Dubbo 源码分析 —— 项目结构一览》「3.5 dubbo-registry」 中,对 dubbo-registry注册中心这个大模块做了大体的介绍。那么从本文开始,分享注册中心的代码实现。 本文分享 dubbo-registry-api 模块,注册中心的抽象 API ,类结构如下图: 类图 整体比较...
一、集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus 服务外,还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Zookeeper 集群进行协调管理,如果主 Nimbus 不可用,则备用 Nimbus 会成为新的主...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 在 dubbo-remoting-zookeeper 模块,实现了 Dubbo 对 Zookeeper 客户端的封装。在该模块中,抽象了通用的 Zookeeper Client API 接口,实现了两种 Zookeeper Client 库的接入: 基于 Apache Curator 实现。 ```plain te...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 在 《精尽 Dubbo 源码分析 —— 服务引用(一)之本地引用(Injvm)》 一文中,我们已经分享了本地引用服务。在本文中,我们来分享远程引用服务。在 Dubbo 中提供多种协议( Protocol ) 的实现,大体流程一致,本文以 Dubbo Protocol 为例子,这也是 Dubbo 的默认协议。 如果不熟悉该协议...
1. 安装环境要求 you need to install Storm’s dependencies on Nimbus and the worker machines. These are: Java 7+ (Apache Storm 1.x is tested through travis ci against both java 7 and java 8 JDKs) Py...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 Dubbo 服务引用,和 Dubbo 服务暴露一样,也有两种方式: 本地引用,JVM 本地调用。配置如下: ```plain text plain // 推荐 // 不推荐使用,准备废弃 --- - 远程暴露,网络远程通信。配置如下: ```plain text plain <dubbo:servi...
本文基于 Dubbo 2.6.1 版本,望知悉。 1. 概述 在 《精尽 Dubbo 源码分析 —— 服务暴露(一)之本地暴露(Injvm)》 一文中,我们已经分享了本地暴露服务。在本文中,我们来分享远程暴露服务。在 Dubbo 中提供多种协议( Protocol ) 的实现,大体流程一致,本文以 Dubbo Protocol 为例子,这也是 Dubbo 的默认协议。 如果不熟悉该协议...