Facebook的Hadoop应用与故障转移方案
我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。 Facebook Hadoop集群内目前的HDFS物理磁盘空间承载超过100PB的数据（分布在不同数据中心的100多个集群）。由于HDFS存储着Hadoop应用需 …
Hadoop
Hadoop核心机制详细解析
Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。 知其然，知其所以然。要想深入学习和理解Hadoop的核心机制，还要从MapReduce和HDFS的原理入手。 MapReduce的“大事化小” 作为Goog …
了解关于Hadoop的12个事实
现如今，Apache Hadoop已经无人不知无人不晓。当年雅虎搜索工程师Doug Cutting开发出这个用以创建分布式计算机环境的开源软件库，并以自己儿子的大象玩偶为其命名的时候，谁能想到它有一天会占据“大数据”技术的头把交椅呢。 虽然Hadoop伴随大数据一同火爆起来，但相信还是有许多用户对于它不甚了解。在上周名的TDWI解决方案峰会中， TDWI研究主任兼行业分析师Philip Russo …
Hadoop，有所为而有所不为
但是尽管Hadoop颇具吸引力，想了解Hadoop能够为企业扮演什么角色、如何最有效地部署它，仍要面临一条很陡的学习曲线。换句话说，学起来很费劲。只有明白了Hadoop的有所为而有所不为，你才能更清楚地了解如何才能最有效地把它部署到你自己的数据中心或云环境。然后，才可以为部署的Hadoop落实最佳实践。 使用大数据技术有着强烈的吸引力，而如今没有比Apache Hadoop更诱人的大数据技术了，这 …
IT企业利用云计算平台Hadoop的10种方式
如果你是世界上广大Hadoop用户的一员，你肯定知道Google曾经靠着分布式计算技术（Hadoop），在搜索引擎和广告方面取得了举世瞩目的成就。现在的Hadoop不仅是当年的老二Yahoo的专用产品了，从Hadoop长长的用户名单中，可以看到Facebook, 可以看到Linkedin，可以看到Amazon，可以看到EMC, eBay，Tweeter，IBM, Microsoft, Apple, …
Hadoop体系的强大工具组合
HDFS和MapReduce只是打造Hadoop平台最基本的核心套件，在Apache基金会的网站中还有其他的相关开源套件，共同组成了一个Hadoop体系（Hadoop Ecosystem）。 透过这些相关方案的延伸，开发人员就算不懂Java，也可以用特定Script语言来撰写Hadoop上的MapReduce程序，甚至可以用SQL语法来查询HDFS上的资料。这些周边方案可说是大幅强化Hadoop功 …