应用层 应用层 应用层 协议基于客户端-服务器(两个进程)方式 域名系统 域名系统概述 DNS: 分布式域名系统 采用C-S方式 域名...

一、 简介 想要使用 HDFS API，需要导入依赖 hadoop-client。如果是 CDH 版本的 Hadoop，还需要额外指明其仓库地址： <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....

一、MapReduce概述 Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行处理大规模的数据集。 MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由 map 以并行的方式处理，框架对 map 的输出进行排序，然后输入到 reduce 中。MapReduce 框架专门用于 <key，v...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=todo 「小明哥」，谢谢！ 作为「小明哥」的忠实读者，「老艿艿」略作修改，记录在理解过程中，参考的资料。 1. createBeanInstance 这篇我们关注创建 bean 过程中的第一个步骤：实例化 bean，对应的方法为 #createBeanInst...

一、集群规划 这里搭建一个 3 节点的 Hadoop 集群，其中三台主机均部署 DataNode 和 NodeManager 服务，但只有 hadoop001 上部署 NameNode 和 ResourceManager 服务。 二、前置条件 Hadoop 的运行依赖 JDK，需要预先安装。其安装步骤单独整理至： Linux 下 JDK 的安装 三、配置免密登录 3....

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=todo 「小明哥」，谢谢！ 作为「小明哥」的忠实读者，「老艿艿」略作修改，记录在理解过程中，参考的资料。 1. createBean 抽象方法 在上篇博客 《【死磕 Spring】—— IoC 之加载 Bean：分析各 scope 的 Bean 创建》 中，有...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=todo 「小明哥」，谢谢！ 作为「小明哥」的忠实读者，「老艿艿」略作修改，记录在理解过程中，参考的资料。 在 Spring 中存在着不同的 scope，默认是 singleton ，还有 prototype、request 等等其他的 scope 。他们的初始化...

网络层 网络层 网络层提供的两种服务 虚电路服务 数据报服务 网际协议IP IP协议配套使用的协议 地址解析协议ARP 网际控制报文协议ICM...

本文主要基于 Spring 5.0.6.RELEASE 摘要: 原创出处 http://cmsblogs.com/?p=todo 「小明哥」，谢谢！ 作为「小明哥」的忠实读者，「老艿艿」略作修改，记录在理解过程中，参考的资料。 如果从单例缓存中没有获取到单例 Bean 对象，则说明两种两种情况： 该 Bean 的 scope 不是 singleton 该 Bean 的 ...

一、前置条件 Hadoop 的运行依赖 JDK，需要预先安装，安装步骤见： Linux 下 JDK 的安装 二、配置免密登录 Hadoop 组件之间需要基于 SSH 进行通讯。 2.1 配置映射 配置 ip 地址和主机名映射： vim /etc/hosts # 文件末尾增加 192.168.43.202 hadoop001 2.2 生成公私钥 执行下面命令行生成...