spark dataset写入hive表

spark | 2019-09-13 10:02:39

sparksession默认支持hive可以直接操作hive,就像操作一个普通数据库差不多,要把dataset rdd dataframe写入hive中也很简单。

dataset.write.saveAsTable("table_name")

就是这么简单。

在之前的版本,有另一种过时的方法。

先注册临时表,然后把临时表的数据写入hive

dataset.registerTempTable("quest_score_tmp");

spark.sql("create table XXX as select * from table1")



登录后即可回复 登录 | 注册
    
关注编程学问公众号