Facebook的Hadoop应用与故障转移方案
我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。 Facebook Hadoop集群内目前的HDFS物理磁盘空间承载超过100PB的数据（分布在不同数据中心的100多个集群）。由于HDFS存储着Hadoop应用需 …
NameNode
Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。 知其然，知其所以然。要想深入学习和理解Hadoop的核心机制，还要从MapReduce和HDFS的原理入手。 MapReduce的“大事化小” 作为Goog …