解决spark读取数据库tikv乱码

spark | 2020-10-29 16:29:48

1.问题

遇到在cdh 的spark集群上使用tispark读取数据乱码，我本地调试不乱码，我在另外一个自己搭的集群上测试也不乱码，就是在cdh的这个集群上乱码

我就怀疑是这个cdh搭建的集群编码有问题

2.解决

百度了整天都没解决，后来没办法强上谷歌了一眼就发现解决方法

在spark-defaults.conf添加配置

spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

 

登录后即可回复 登录 | 注册
    
  • houyong
    houyong

    之前也在代码中试过获取编码Charset.defaultCharset()或System.getProperty("file.encoding"),其实这个java的方法并不能代表集群环境

相关文章
spark读取phoenix hbase table表数据到dataframe的三种方式比较spark 读取phoenix hbase table表到 dataframe的方式spark map操作实现join案例代码java解析读取html文件的方法spark读写数据库大表分区性能优化spark java读写mysql数据库spark jdbc分区并发读取 mysql 大表spark读取hbase到rdd并转换为dataset 案例spark jdbc分区读取数据到rdd的方式spark streaming 读取kafka案例代码spark读取kafka数据 createstream和createdirectstream的区别php 文件系统函数 读取文件（可安全用于二进制文件）php oci8 函数 使用一个持久连接连到 oracle 数据库php imagick 从二进制字符串里读取图片php mongodb 登录到数据库php 数据库扩展 数据库抽象层spark读取mongodb解析拆分嵌套数据的几种方式spark读取mongoDB分片分区的方式解决spark读取数据库tikv乱码spark读取zip压缩文件中的json文本
关注编程学问公众号