Spencer Blog

失うこと 割り切れぬこと 割り切れぬこと 叶わないこと 信じぬくこと

MapReduce（二）基本程序框架

Basic Framework of MR

一. WordCount Driver public class WordCountDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); // 如果打包在集群上跑 不需要设置 // conf.set("...

Posted by Spencer on January 23, 2017

MapReduce（一）运行流程

Progress of MR

说明：本文介绍MapReduce架构和运行流程都建立在yarn上，即mapreduce.framework.name属性为yarn。 一. MR程序运行流程 客户端向ResourceManager申请提交application ResourceManager返回资源提交路径以及applicationID 客户端将作业资源复制到HDFS上 客户端通过RPC调用Re...

Posted by Spencer on January 21, 2017

Hadoop RPC API

Basic Use of RPC API

一. 简述 本文使用Hadoop的RPC框架简略模拟了HDFS客户端向NameNode查询元数据的过程 项目结构如下 二. 代码实现 通信协议 public interface ClientNamenodeProtocol { // 定义协议版本号 public static final long versionID = 1L; // 定义通信接口 ...

Posted by Spencer on January 21, 2017

HDFS（二）Java API

HDFS Java API

一. 基本操作 连接HDFS时，需要将Hadoop配置文件夹下的core-site.xml和hdfs-site.xml拷贝到工程的src目录下 连接/关闭HDFS public class HDFSClientDemo { private Configuration conf = null; private FileSystem fs = null;...

Posted by Spencer on January 15, 2017

HDFS（一）工作机制

HDFS Concepts

一. HDFS的概念 NameNode NameNode负责管理整个文件系统的元数据，接受客户端的读写请求，收集DataNode汇报的Block列表信息 NameNode基于内存存储，不会和磁盘发生交换 NameNode的持久化通过fsimage和edits完成 DataNode DataNode负...

Posted by Spencer on January 14, 2017

分布式高可用Hadoop集群搭建

Install and Set Up a 4-Node Hadoop Cluster

一. 版本说明及集群规划 版本 虚拟机版本：Parallels Desktop 13 ssh远程登录：iTerm 操作系统：CentOS 7 JDK 版本：jdk8u-151 Hadoop版本：2.6.5 Zookeeper版本：3.4.6 集群规划 ...

Posted by Spencer on January 8, 2017

FEATURED TAGS
Hadoop HDFS MapReduce Flume Hive Zookeeper Spark
ABOUT ME

その中でただ前だけを見てる
10年後の私へ
今は幸せでしょうか
それとも悲しみで