Hadoop 大数据集群环境搭建配置

2020-03-06 16:26:19 | 编辑

hadoop集群环境有很多种搭建方式,包括原生组件或者商业组件,又或伪集群和集群方式,之前也整理过很完整的教程,这里分类贴出来。对于商业版本我也研究过hdP和cdh的区别,参考:Ambari和CDH介绍与对比

 

1.使用Hadoop原生组件搭建集群

使用原生组件有利于你学习了解各组件配置的含义和工作流程,建议初学者使用

参考:linux hadoop spark环境搭建

参考:hive on spark集群环境搭建

 

2.使用Cloudera CDH搭建集群

cdh是最流行的hadoop集群商业版,正式环境可以使用,商业版对hadoop各组件有一定优化,而且管理起来更方便,基础的管理是免费,高级功能是收费的。

参考:CDH集群离线安装与使用详细步骤

 

3.使用ambari hdp搭建集群

这也是一个常用的商业版hadoop群集,而且是开源免费的,功能也很齐全,后来hortonworks和Cloudera两个公司完成合并。

参考:Apache Ambari 编译安装与使用方法