目录

1.安装配置Maven
2.下载编译ambari源码
3.配置安装ambari
4.安装ambari agent
5.使用Ambari在线建立hdp集群
6.Ambari离线安装HDP
7.ambari集群维护

研究下Ambari ，到时候看一下和cdh 到底有啥区别，记录一下安装和使用的方法。我选择的ambari 2.6.2 ，我的linux有centos 6和centos7，我担心版本高了我的系统不支持。

很有必要看一下官方文档http://ambari.apache.org/，有各个版本的安装方法。我就是参考了ambari 2.6.2的官方文档:

https://cwiki.apache.org/confluence/display/AMBARI/Installation+Guide+for+Ambari+2.6.2。

https://docs.cloudera.com/HDPDocuments/

再搭建集群时，肯定要做的就是：时间同步，关闭防火墙，免密登录，安装jdk,配置hosts,这些肯定是要做的，之前很多帖子提到了，这里省略一下。

1.安装配置Maven

参考：linux安装maven及配置环境变量

参考：maven 阿里云 国内镜像仓库配置

最好配置maven的国内镜像速度会快很多

2.下载编译ambari源码

这个过程比较简单，但可能会有点慢

wget http://www.apache.org/dist/ambari/ambari-2.6.2/apache-ambari-2.6.2-src.tar.gz //如果下载得慢建议使用国内镜像
tar xfvz apache-ambari-2.6.2-src.tar.gz
cd apache-ambari-2.6.2-src
mvn versions:set -DnewVersion=2.6.2.0.0 //就是指定一下版本让子版本和父版本一致
 
pushd ambari-metrics //切换目录
mvn versions:set -DnewVersion=2.6.2.0.0 
popd

如果这个过程有错，官方文档有介绍 jms, jmxri, jmxtools有关的错误。

安装rmp源

mvn -B clean install rpm:rpm -DnewVersion=2.6.2.0.0 -DbuildNumber=631319b00937a8d04667d93714241d2a0cb17275 -DskipTests -Dpython.ver="python >= 2.6"

问题1：如果出现rpmbuild: command not found错误导致编译失败，就需要先安装rpmbuild

sudo yum install rpm-build

问题2：然后我又遇到了Invalid cookie header: "Set-Cookie: has_recent_activity=1; path=/; expires=Tue, 03 Sep 2019 03:03:40 -0000". Invalid 'expires' attribute卡死不动的问题

我就装了一下http服务，因为我有看到访问本地请求

#yum -y install httpd
#service httpd restart
#chkconfig httpd on

安装完成就可以打开80端口了。
 

问题3：重新执行上面的mvn install...遇到新的错误：

[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.4:install-node-and-yarn (install node and yarn) on project ambari-web: Could not extract the Yarn archive: Could not extract archive: '/root/.m2/repository/com/github/eirslett/yarn/0.23.2/yarn-0.23.2./yarn-v0.23.2.tar.gz': EOFException -> [Help 1]

#cd /root/.m2/repository/com/github/eirslett/yarn/0.23.2/yarn-0.23.2./
#tar xzvf yarn-v0.23.2.tar.gz

stdin: unexpected end of file
tar: 归档文件中异常的 EOF
tar: 归档文件中异常的 EOF
tar: Error is not recoverable: exiting now

真是这个包有问题，重新下载

#cd /root/.m2/repository/com/github/eirslett/yarn/0.23.2/yarn-0.23.2./
#wget https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz

问题5：更坑的问题来了

bower bootstrap#3.1.1                                ECMDERR Failed to execute "git ls-remote --tags --heads https://github.com/twbs/bootstrap.git", exit code of #128

Additional error details:
error:  while accessing https://github.com/twbs/bootstrap.git/info/refs

fatal: HTTP request failed
[ERROR] Command execution failed.
org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1)
	at org.apache.commons.exec.DefaultExecutor.executeInternal(DefaultExecutor.java:404)

访问githup失败，编译包还得访问githup,感觉坑越来越深

去执行一下上面错误中的git命令

#git ls-remote --tags --heads https://github.com/twbs/bootstrap.git
error:  while accessing https://github.com/twbs/bootstrap.git/info/refs

fatal: HTTP request failed

果然是访问不了

这个也好解决，先执行

git config --global url."git://github.com/twbs/bootstrap.git".insteadOf "https://github.com/twbs/bootstrap.git"

然后继续试一下上面的git命令

#git ls-remote --tags --heads https://github.com/twbs/bootstrap.git
df9e5eed4f7de948a5d19f0e48403ca409ae59d0	refs/heads/docs-dark-mode
a23da988116f3f053009797f91bb5f655977f25c	refs/heads/form-check-gradients
03a14fb2e54d3af4c9dacfd55f7296e0bb0698d8	refs/heads/gh-pages
c0e1a6b40fbde736b9f0aac0e23c2fb4f07fe8a7	refs/heads/jo-auto-pos-toast
70777138f9368a93817f12f6eee672f58deba06a	refs/heads/jo-docs-thanks-page

居然可以访问了，难道我得一个一个来设置，不是的，下面命令可以全部设置

git config --global url."git://github.com/".insteadOf "https://github.com/"

这样就可以了，继续重新编译

问题6：psutil/_psutil_linux.c:12:20: 错误：Python.h：没有那个文件或目录

psutils-compile:
     [exec] psutil/_psutil_linux.c:12:20: 错误：Python.h：没有那个文件或目录
     [exec] In file included from psutil/_psutil_linux.c:23:
     [exec] psutil/_psutil_linux.h:11: 错误：expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token
     [exec] psutil/_psutil_linux.h:12: 错误：expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token
     [exec] psutil/_psutil_linux.h:13: 错误：expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token
     [exec] psutil/_psutil_linux.h:14: 错误：expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token
     [exec] psutil/_psutil_linux.h:18: 错误：expected ‘=’, ‘,’, ‘;’, ‘asm’ or ‘__attribute__’ before ‘*’ token

解决方法是安装python-devel，这是Python的头文件和静态库包

sudo yum install python-devel.x86_64

终于：build成功,这个过程很长，也很慢

3.配置安装ambari

安装

和官方文档的步骤一样，我的是centos,其他系统参考上面官方文档。

cd apache-ambari-2.6.2-src/ambari-server/target/rpm/ambari-server/RPMS/x86_64
yum install ambari-server*.rpm

配置

ambari-server setup

根据提示一直按n,中间有要输入数据库配置我选的mysql,安装mysql参考linux centos yum安装mysql。

注意使用PostgreSQL以外的数据库需要先把数据库驱动放到/usr/share/java

然后在 /etc/ambari-server/conf/ambari.properties 添加配置

server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.25.jar

然后把/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql导入到你指定的mysql数据库。

启动

ambari-server start

访问http://master123:8080,输入admin/admin登录

终于是安装成功了，下面再看看怎么使用

8080端口容易被占用冲突，所以我要修改一下端口

vi /etc/ambari-server/conf/ambari.properties

添加

client.api.port=9080

重启

ambari-server stop
ambari-server start

4.安装ambari agent

把/opt/hdp/apache-ambari-2.6.2-src/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.6.2.0-0.x86_64.rpm复制到各个子节点

并运行

yum install ambari-agent*.rpm

配置hostname为你的主机名

vi /etc/ambari-agent/conf/ambari-agent.ini

hostname=msater123

启动agent

ambari-agent start

5.使用Ambari在线建立hdp集群

下面一步确认主机，各个服务的系统版本要一致，有centos6又有centos7是不会成功的。而且要事先各节点装好ambari-agent.才会注册成功！

下一步选择要安装的组件

下一步配置master就按默认的吧。

下一步配置子节点和客户端，根据自己需要选择

下一步详细参数配置，这个就需要花很多时间了，注意自己的磁盘内存和cpu.先默认后面应该可以改存储路径的吧。

一直点next,然后等待安装完成。

最后一步可能失败，因为那么多组件，不一定能下载下来，我就是安装失败，下面转到离线安装hdp

6.Ambari离线安装HDP

6.1 下载hdp安装包

wget http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos6-rpm.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos6/HDP-UTILS-1.1.0.22-centos6.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos6/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos6-gpl.tar.gz

注意下载的版本和你上面选择的版本对应：

6.2离线安装hdp

上面安装过http服务，把下载的包放入到/var/www/html。然后分别解压

tar xzvf HDP-2.6.5.0-centos6-rpm.tar.gz
tar xzvf  HDP-UTILS-1.1.0.22-centos6.tar.gz
tar xzvf HDP-GPL-2.6.5.0-centos6-gpl.tar.gz

Ambari选择本地安装源,填入解压后的最里面的根目录

点击下一步，输入主机名并选择私钥文件,接下来的步骤上面有介绍

另外hive的元数据库，一般都是自己指定现成的数据库，就需要先配置driver,直接运行命令就可以：

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.25.jar

下面直接讲最后一步。

6.3解决集群组件安装失败

最后一步install失败

一个个来看

安装问题1：Infra Solr Instance Install

具体信息：

Execution of '/usr/bin/yum -d 0 -e 0 -y install ambari-infra-solr-client' returned 1. Error: Nothing to do

安装这个包失败，自己执行一下

yum install ambari-infra-solr-client

提示信息：

No package ambari-infra-solr-client available.
Error: Nothing to do

还记得之前是自己编译的ambari，这个包在/opt/hdp/apache-ambari-2.6.2-src/ambari-logsearch/ambari-logsearch-solr-client/target/rpm/ambari-logsearch-solr-client/RPMS/noarch/ambari-logsearch-solr-client-2.6.2.0-0.noarch.rpm就有

各个节点手动安装一下源

rpm -ivh ambari-logsearch-solr-client-2.6.2.0-0.noarch.rpm

继续retry 还是不可以，我看到官方有提这个bug,而且提问者刚好也用我这个方式试过。好吧，不选这个了。

安装问题2：Metrics Collector Install

Execution of '/usr/bin/yum -d 0 -e 0 -y install ambari-metrics-collector' returned 1. Error: Nothing to do

这个包真的就在这里编译好了apache-ambari-2.6.2-src/ambari-metrics/ambari-metrics-timelineservice/target/rpm/ambari-metrics-collector/RPMS/noarch，名字都一样，上面问题名字有点区别。

发到各节点执行一下：

yum install ambari-metrics-collector-2.6.2.0-0.noarch.rpm

安装问题3：ambari-metrics-monitor

Execution of '/usr/bin/yum -d 0 -e 0 -y install ambari-metrics-monitor' returned 1. Error: Nothing to do

居然没有找到这个包，我想重新编译一下再看，不过这个真的很坑，文档太简单，问题又多。

我觉得编译的包里面有这些包，只是名字不同而已，这是兼容性导致的，我懒得管，先回去 去掉ambari的组件，以后再解决。

后来我研究了一下这些包没有的问题，我按照下面的方法重新编译了一下就可以了
1.cd 到源码ambari根目录下，执行：mvn -B clean install package rpm:rpm -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true -Preplaceurl
2.cd 到源码ambari-metrics/目录下，执行：mvn package -Dbuild-rpm -DskipTests（有时编译不了，执行完mvn install -DskipTests再执行此命令）

然后就找到了ambari-metrics-monitor安装包

ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-2.6.2.0-0.x86_64.rpm

最后：我把所有需要安装的包拷贝在一起 以方便在其他机器上安装。

其他的包没有都参考此方式，ambari-logsearch也要执行此操作。

参考：https://blog.csdn.net/zhouyuanlinli/article/details/78051485

最后安装成功：

7.ambari集群维护

一般没启动成的在界面上点击一下重启就可以。

启动问题1：我的hive没有启动成功

看一下日志：

File "/usr/lib/ambari-agent/lib/resource_management/core/logger.py", line 105, in filter_text
    text = text.replace(unprotected_string, protected_string)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 325: ordinal not in range(128)

在这个logger文件加入下面代码就可以了：

import sys  
reload(sys)
sys.setdefaultencoding('utf8')

注意在你指定安装hive metastore的那台服务器去修该。

最后全部重启一下，全部成功了