spark scala map转 rdd 转 dataframe

spark | 2020-11-06 17:06:52

spark scala map转 rdd 然后转 dataframe的方法，主要用到seq的toDF方法

    var subjectScoreLevelDetail:Seq[Map[String,String]]=Seq(Map("subjectId"->"001","excellent"->"90","good"->"80","pass"->"60"),Map("subjectId"->"002","excellent"->"90","good"->"80","pass"->"60"))

    var s=subjectScoreLevelDetail.map(kv=>{(kv.get("subjectId"),kv.get("excellent").get.toDouble,kv.get("good").get.toDouble,kv.get("pass").get.toDouble)})

    var dataframe=s.toDF("subjectId","excellent","good","pass")
    dataframe.show

登录后即可回复登录 | 注册

spark读取phoenix hbase table表数据到dataframe的三种方式比较 spark 读取phoenix hbase table表到 dataframe的方式 spark map操作实现join案例代码 spark dataframe数据集计算案例聚合分组排序统计合并 scala spark withcolumn when 计算添加新列 spark rdd zipwithindex 与 zipwithuniqueid 详解 spark rdd转dataframe构造字段信息元数据 scala集合的foreach和map flatmap方法区别介绍 spark rdd写入数据到hbase nullpointerexception异常 spark读取hbase到rdd并转换为dataset 案例 spark异常java.lang.nosuchmethoderror scala.predef$.refarrayops spark rdd 遍历分区输出分区内容 spark jdbc分区读取数据到rdd的方式 spark map side join详解 spark scala中 = 符号的使用场景 scala map 使用方法 php map creates a new map using a callable to determine which pairs to include scala java map转 scala map spark scala map转 rdd 转 dataframe Spark如何删除rdd checkpoint