hdfs错误AccessControlException: Permission denied

hadoop | 2019-09-13 10:02:39

出现异常：

spark on yarn时出现下面的错误

19/09/06 15:47:45 ERROR SparkContext: Error initializing SparkContext.
org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/root/.sparkStaging/application_1567749013546_0003":hdfs:hdfs:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:353)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:325)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:246)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1950)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1934)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1917)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:4185)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1109)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:645)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:640)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2351)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2347)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2347)

异常原因：

这是由于hdfs权限导致的

解决方法：

使用参数禁用权限验证

<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

登录后即可回复登录 | 注册

hadoop hdfs block丢失导致自动进入安全模式safe mode will be turned off automatically dubbo错误java.lang.classnotfoundexception org.apache.log4j.logger hadoop错误no route to host from localhost.localdomain/127.0.0.1 to hadoopmaster 9000 mysql解决错误the total number of locks exceeds the lock table size hdfs警告unable to load native hadoop library for you platform hadoop hdfs 修改副本备份数量 hdfs错误accesscontrolexception permission denied mysql 设置错误消息语言 mysql myodbc错误代码 mysql 输入密码时出现密码错误 php curl 函数返回字符串描述的错误代码 php curl 函数返回共享 curl 句柄的最后一次错误号 php curl 函数返回错误号对应的错误消息 php fann 函数设置错误记录保存的位置。php fann 函数设置训练期间使用的错误函数。php 错误处理函数 trigger error 的别名 php xml 解析器函数获取 xml 解析器的错误字符串 php 错误处理错误处理函数 php 预定义变量前一个错误信息 docker容器挂载目录 Permission denied