前言 Spring batch 是一个 方便使用的、较健全的、批处理框架。 为什么说是方便使用的，因为这是基于Spring的一个框架，接入简单、易理解、流程分明。 为什么说是较健全的， 因为它提供了往常我们在对大批量数据进行处理时需要考虑到的日志跟踪、事务粒度调配、可控执行、失败机制、重试机制、数据读写等。 正文 那么回到文章，我们该篇文章将会带来给大家的是什么？（结合实例讲解那是...

Dubbo的可扩展机制SPI源码解析 Dubbo SPI 架构图 Demo ExtensionLoaderextensionLoader=ExtensionLoader.getExtensionLoader(Protocol.class); Protocolhttp=extensionLoader.getExtension(“dubbo”); System.out.printl...

一、Storm核心概念 1.1 Topologies（拓扑） 一个完整的 Storm 流处理程序被称为 Storm topology(拓扑)。它是一个是由 Spouts 和 Bolts 通过 Stream 连接起来的有向无环图，Storm 会保持每个提交到集群的 topology 持续地运行，从而处理源源不断的数据流，直到你将其主动杀死 (kill) 为止。 1.2 Streams...

Dubbo简介 什么是RPC 在分布式计算，远程过程调用（英语：Remote Procedure Call，缩写为 RPC）是一个计算机通信协议。该协议允许运行于一台计算机的程序调用另一个地址空间（通常为一个开放网络的一台计算机）的子程序，而程序员就像调用本地程序一样，无需额外地为这个交互作用编程（无需关注细节）。RPC是一种服务器-客户端（Client/Server）模式，经典实现是一...

一、简介 在将 Storm Topology 提交到服务器集群运行时，需要先将项目进行打包。本文主要对比分析各种打包方式，并将打包过程中需要注意的事项进行说明。主要打包方式有以下三种： 第一种：不加任何插件，直接使用 mvn package 打包； 第二种：使用 maven-assembly-plugin 插件进行打包； 第三种：使用 maven-shade-plugin ...

一、Storm 1.1 简介 Storm 是一个开源的分布式实时计算框架，可以以简单、可靠的方式进行大数据流的处理。通常用于实时分析，在线机器学习、持续计算、分布式 RPC、ETL 等场景。Storm 具有以下特点： 支持水平横向扩展； 具有高容错性，通过 ACK 机制每个消息都不丢失； 处理速度非常快，每个节点每秒能处理超过一百万个 tuples ； 易于设置和操作...

本文基于 Dubbo 2.6.1 版本，望知悉。 1. 概述 前置阅读文章： 《精尽 Dubbo 源码分析 —— 注册中心（一）之抽象 API》 《精尽 Dubbo 源码分析 —— 注册中心（二）之 Zookeeper》 我们先来看下 《Dubbo 用户指南 —— Redis 注册中心》 文档，内容如下： 基于 Redis 实现的注册中心。 流程 使用 Redi...

本文基于 Dubbo 2.6.1 版本，望知悉。 1. 概述 前置阅读文章： 《精尽 Dubbo 源码分析 —— Zookeeper 客户端》 《精尽 Dubbo 源码分析 —— 注册中心（一）之抽象 API》 在《注册中心（一）之抽象 API》 中，我们分享的那是相当抽象。因此，在本文中，我们会分享 Dubbo 使用 Zookeeper 作为注册中心的代码，同时也会分享...

本文基于 Dubbo 2.6.1 版本，望知悉。 1. 概述 在 《精尽 Dubbo 源码分析 —— 项目结构一览》「3.5 dubbo-registry」 中，对 dubbo-registry注册中心这个大模块做了大体的介绍。那么从本文开始，分享注册中心的代码实现。 本文分享 dubbo-registry-api 模块，注册中心的抽象 API ，类结构如下图： 类图 整体比较...

一、集群规划 这里搭建一个 3 节点的 Storm 集群：三台主机上均部署 Supervisor 和 LogViewer 服务。同时为了保证高可用，除了在 hadoop001 上部署主 Nimbus 服务外，还在 hadoop002 上部署备用的 Nimbus 服务。Nimbus 服务由 Zookeeper 集群进行协调管理，如果主 Nimbus 不可用，则备用 Nimbus 会成为新的主...