Spark SQL 实现 group_concat分组拼接列值_编程学问网

Spark SQL 实现 group_concat分组拼接列值

spark | 2020-03-06 16:25:47

在mysql中有group_concat，可以分组将各组的某列的值拼接到一个字段中去，而spark sql却没有这样的函数，但也有强大的函数来支持

1.新建测试表

+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
| Justin| 20|
|      LI| 20|
+-------+---+

2.sql的实现方式

代码：

sqlContext.sql("select concat_ws(',',collect_set(name)) as names from people group by age").show()

返回值

+---------+---+
|   names|age|
+---------+---+
|LI,Justin| 20|
|   Justin| 19|
|  Michael| 29|
|    Andy| 30|

3.编码的实现方式

df.groupBy("age").agg(concat_ws(",",collect_set("name")).as("names"))

返回值

+---------+---+
|   names|age|
+---------+---+
|LI,Justin| 20|
|   Justin| 19|
|  Michael| 29|
|    Andy| 30|

具体函数详解参考spark sql concat_ws() collect_set() collect_list() 字段值拼接

登录后即可回复登录 | 注册

相关文章

spark streaming 并发实现多线程并行处理任务 spark map操作实现join案例代码 spark dataset 实现自增id序列号的方法 java jdbc通过spark连接hive 异常required field client protocol is unset spark dataframe数据集计算案例聚合分组排序统计合并 spark sql判断一个字段是否包含另一个字段的字符串 mysql中concat 、concat ws 和 group concat 字段拼接的用法 spark sql concat ws collect set collect list 字段值拼接 spark sql 实现 group concat分组拼接列值 spark实现 join 操作的方式 spark sql内置日期时间函数 spring+kafka 注解实现多个group消费者组 php eio 函数 cancels a request group php mongocollection performs an operation similar to sql s group by command php solrcollapsefunction selects the group heads by the max value of a numeric field or function query php solrquery returns the group.offset value php ui controls group construct a new group spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别 spark sql字段类型MapType和ArrayType spark sql累积求和 accumulative sum

关注编程学问公众号