spark sql累积求和 accumulative sum

spark | 2021-05-13 09:44:47

累积求和之前都会用map一个个累加，后来有用map求和的方式spark自定义函数udf案例。居然还有纯sql的方式。我是没想到这样也可以呀

根据salary分别计算各个role的移动累加值：

val cumSum = sampleData.withColumn("cumulativeSum", sum(sampleData("Salary"))
             .over( Window.partitionBy("Role").orderBy("Salary")))

求和的同时根据salary排序就能得到累加值

scala> cumSum.show
+------+---------+------+-------------+                                         
|  Name|     Role|Salary|cumulativeSum|
+------+---------+------+-------------+
| simon|Developer| 98000|        98000|
|  mark|Developer|108000|       206000|
| henry|Developer|110000|       316000|
|   bob|Developer|125000|       441000|
|  eric|Developer|144000|       585000|
| peter|Developer|185000|       770000|
|   jon|   Tester| 65000|        65000|
|  carl|   Tester| 70000|       135000|
|carlos|   Tester| 75000|       210000|
| roman|   Tester| 82000|       292000|
+------+---------+------+-------------+

登录后即可回复登录 | 注册

spark on hive 异常 `hivefileformat` doesn t match `parquetfileformat`spark操作mongodb异常 cannot cast bsonvalue spark rdd zipwithindex 与 zipwithuniqueid 详解 spark sql判断一个字段是否包含另一个字段的字符串 spark sql concat ws collect set collect list 字段值拼接 spark sql 实现 group concat分组拼接列值解决spark yarn noclassdeffounderror clientconfig spark sql内置日期时间函数 spark hive 异常 could not connect to meta store using any of the uris provided mysql 在sql语句中使用collate php cubrid mysql 兼容性函数 escape special characters in a string for use in an sql statement php maxdb 函数 prepare an sql statement for execution php postgresql 函数将关联的数组值转换为适合 sql 语句的格式。php mysqlnduhconnection escapes special characters in a string for use in an sql statement taking into account the current charset of the connection php pdo 驱动 microsoft sql server functions pdo sqlsrv spark读取mongoDB分片分区的方式 spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别 spark sql字段类型MapType和ArrayType 已有spark集群集成使用tispark案例 spark sql累积求和 accumulative sum