sparksession默认支持hive可以直接操作hive,就像操作一个普通数据库差不多,要把dataset rdd dataframe写入hive中也很简单。
dataset.write.saveAsTable("table_name")
就是这么简单。
在之前的版本,有另一种过时的方法。
先注册临时表,然后把临时表的数据写入hive
dataset.registerTempTable("quest_score_tmp");
spark.sql("create table XXX as select * from table1")