Spark SQL 实现 group_concat分组拼接列值_编程学问网

Spark SQL 实现 group_concat分组拼接列值

spark | 2020-03-06 16:25:47

在mysql中有group_concat，可以分组将各组的某列的值拼接到一个字段中去，而spark sql却没有这样的函数，但也有强大的函数来支持

1.新建测试表

+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
| Justin| 20|
|      LI| 20|
+-------+---+

2.sql的实现方式

代码：

sqlContext.sql("select concat_ws(',',collect_set(name)) as names from people group by age").show()

返回值

+---------+---+
|   names|age|
+---------+---+
|LI,Justin| 20|
|   Justin| 19|
|  Michael| 29|
|    Andy| 30|

3.编码的实现方式

df.groupBy("age").agg(concat_ws(",",collect_set("name")).as("names"))

返回值

+---------+---+
|   names|age|
+---------+---+
|LI,Justin| 20|
|   Justin| 19|
|  Michael| 29|
|    Andy| 30|

具体函数详解参考spark sql concat_ws() collect_set() collect_list() 字段值拼接

登录后即可回复登录 | 注册

相关文章

spark streaming 并发实现多线程并行处理任务 spark map操作实现join案例代码 spark dataset 实现自增id序列号的方法 spark操作hive orc transactional事务表异常 spark dataframe数据集计算案例聚合分组排序统计合并 spark sql判断一个字段是否包含另一个字段的字符串 mysql中concat 、concat ws 和 group concat 字段拼接的用法 spark sql concat ws collect set collect list 字段值拼接 spark sql 实现 group concat分组拼接列值 spark实现 join 操作的方式 spark sql内置日期时间函数 spring+kafka 注解实现多个group消费者组 php ui control group arrangement php intltimezone get the number of ids in the equivalency group that includes the given id php mongocollection performs an operation similar to sql s group by command php solrquery returns the group.limit value php sphinxclient set attribute name for per group distinct values count calculations spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别 spark sql字段类型MapType和ArrayType spark sql累积求和 accumulative sum

关注编程学问公众号