hadoop的核心是分布式文件系统hdfs和mapreduce。hdfs为海量的数据提供了存储,而mapreduce则为海量的数据提供了计算。
hadoop是一个由apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop实现了一个分布式文件系统(hadoop distributed file system),其中一个组件是hdfs。hdfs有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。
hdfs放宽了(relax)posix的要求,可以以流的形式访问(streaming access)文件系统中的数据。
hadoop的框架最核心的设计就是:hdfs和mapreduce。hdfs为海量的数据提供了存储,而mapreduce则为海量的数据提供了计算。
hadoop 由许多元素构成。其最底部是 hadoop distributed file system(hdfs),它存储 hadoop 集群中所有存储节点上的文件。hdfs的上一层是mapreduce 引擎,该引擎由 jobtrackers 和 tasktrackers 组成。通过对hadoop分布式计算平台最核心的分布式文件系统hdfs、mapreduce处理过程,以及数据仓库工具hive和分布式数据库hbase的介绍,基本涵盖了hadoop分布式平台的所有技术核心。
更多相关知识,请访问:php中文网!