hdfs错误AccessControlException: Permission denied

hadoop | 2019-09-13 10:02:39

出现异常：

spark on yarn时出现下面的错误

19/09/06 15:47:45 ERROR SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/root/.sparkStaging/application_1567749013546_0003":hdfs:hdfs:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:325)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:246)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1917)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4185)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1109)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:645)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)

异常原因：

这是由于hdfs权限导致的

解决方法：

使用参数禁用权限验证

<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

登录后即可回复登录 | 注册

hdfs错误accesscontrolexception permission denied hdfs namenode和datanode hdfs federation联合 namenodes/namespaces 配置 hadoop hdfs 高可用 ha mysql 拒绝访问错误的原因 mysql 使用bdb表时可能出现的错误使用mysql程序时的常见错误 php datetime 获取警告和错误信息 php 错误处理预定义常量 php 错误处理范例 php 错误处理函数获取最后发生的错误 php 错误处理函数发送错误信息到某个地方 php 错误处理函数设置应该报告何种 php 错误 php postgresql 函数得到某连接的最后一条错误信息 php postgresql 函数获得查询结果的错误信息 php 从 php 4 移植到 php 5 错误报告 php mongocursorexception 遇到该错误的服务器的 hostname php yaf application 获取最后产生的错误的错误代码 php yaf dispatcher 设置错误处理函数 docker容器挂载目录 Permission denied