解决spark读取数据库tikv乱码

2020-10-29 16:29:48 | 编辑

1.问题

遇到在cdh 的spark集群上使用tispark读取数据乱码,我本地调试不乱码,我在另外一个自己搭的集群上测试也不乱码,就是在cdh的这个集群上乱码

我就怀疑是这个cdh搭建的集群编码有问题

2.解决

百度了整天都没解决,后来没办法强上谷歌了一眼就发现解决方法

在spark-defaults.conf添加配置

spark.driver.extraJavaOptions=-Dfile.encoding=utf-8
spark.executor.extraJavaOptions=-Dfile.encoding=utf-8

 

登录后即可回复 登录 | 注册
    
  • houyong
    houyong

    之前也在代码中试过获取编码Charset.defaultCharset()或System.getProperty("file.encoding"),其实这个java的方法并不能代表集群环境

关注编程学问公众号