spark自定义函数udf案例_编程学问网

spark自定义函数udf案例

spark | 2021-05-13 09:28:26

1.定义udf

// 累加 map 中所有 key 小于 maxKey 的项
  def accumulateMapValues(map: Map[String, Double], maxKey: String): Double = map.filter(kv => maxKey >= kv._1).values.sum

2.注册给api使用

def accumulateMapValuesUdf: UserDefinedFunction = udf(accumulateMapValues _)

df.withColumn("value_map", map_from_entries(collect_list(struct($"name", $"count")).over(Window.partitionBy("project_id"))))
//累计人数
.withColumn("accumulate", accumulateMapValuesUdf($"value_map", $"level"))

3.注册给spark sql 使用

SPARK.udf.register("sumWithMap", accumulateMapValues _)

SPARK.sql("select sunWithMap(value_map,level) from view")

登录后即可回复登录 | 注册

相关文章

spark row number rank dense rank percent rank排序排名函数解析 spark sql内置日期时间函数 php 函数 returns the php representation of a bson value php mqseries 函数 mqseries mqput1 php msession 函数 call an escape function within the msession personality plugin php msql 函数 close msql connection php msql 函数 set field offset php msql 函数 open persistent msql connection php mssql 函数 fetch row as object php mssql 函数 open persistent ms sql connection php mysql 函数丢弃（删除）一个 mysql 数据库 php mysql 函数释放结果内存 php mysql 函数转义 sql 语句中使用的字符串中的特殊字符，并考虑到连接的当前字符集 php 别名和过时的 mysqli 函数开启从主机读取 php 别名和过时的 mysqli 函数在主/从机制中强制在从机上执行一个查询 php mysqlnd ms 函数 rolls back a distributed/xa transaction among mysql servers php sqlite 函数 register an aggregating udf for use in sql statements php sqlite 函数 decode binary data passed as parameters to an udf php sqlite 函数 encode binary data before returning it from an udf spark自定义函数udf案例

关注编程学问公众号