hadoop 笔记

Hbase

--Nosql数据库，key-value

--最大化利用内存

HDFS

--hadoop distribute file system 分布式文件系统

--最大化利用磁盘

MapReduce

--编程模型，主要用来做数据分析

--最大化利用cpu

nameNode和dataNode

1.HDFS集群有两类节点，并以管理者-工作者模式运行，即一个nameNode（管理者）和多个dataNode（工作者。）nameNode管理文件系统的命名控件，他维护着文件系统树及整棵树内所在的文件和目录。如果nameNode毁坏，文件系统上所有的文件将会丢失，对nameNode容错实现两种机制，Hadoop通过配置nameNode在多个文件系统上保存元数据的持久状态，这些写操作是实时同步的，将持久状态写入本地磁盘，同时，写入一个远程的挂载的网络文件系统（NFS）