spark sql累积求和 accumulative sum

spark | 2021-05-13 09:44:47

累积求和之前都会用map一个个累加，后来有用map求和的方式spark自定义函数udf案例。居然还有纯sql的方式。我是没想到这样也可以呀

根据salary分别计算各个role的移动累加值：

val cumSum = sampleData.withColumn("cumulativeSum", sum(sampleData("Salary"))
             .over( Window.partitionBy("Role").orderBy("Salary")))

求和的同时根据salary排序就能得到累加值

scala> cumSum.show
+------+---------+------+-------------+                                         
|  Name|     Role|Salary|cumulativeSum|
+------+---------+------+-------------+
| simon|Developer| 98000|        98000|
|  mark|Developer|108000|       206000|
| henry|Developer|110000|       316000|
|   bob|Developer|125000|       441000|
|  eric|Developer|144000|       585000|
| peter|Developer|185000|       770000|
|   jon|   Tester| 65000|        65000|
|  carl|   Tester| 70000|       135000|
|carlos|   Tester| 75000|       210000|
| roman|   Tester| 82000|       292000|
+------+---------+------+-------------+

登录后即可回复登录 | 注册

spark读取phoenix hbase table表数据到dataframe的三种方式比较 hive on spark环境搭建官方源码编译方式 spark submit 性能参数优化配置 spark jdbc分区并发读取 mysql 大表 spark sql判断一个字段是否包含另一个字段的字符串 spark sql concat ws collect set collect list 字段值拼接 spark sql 实现 group concat分组拼接列值 spark读取hbase到rdd并转换为dataset 案例如何解决spark hive 权限不够的问题 spark sql内置日期时间函数如何解决spark大量连续计算卡死的问题？mysql 用于预处理语句的sql语法 php dbx 函数 escape a string so it can safely be used in an sql statement php mssql 函数 send ms sql query php mysql xdevapi session execute sql query spark scala map转 rdd 转 dataframe spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别 spark sql字段类型MapType和ArrayType spark sql累积求和 accumulative sum Spark如何删除rdd checkpoint