Distinct window functions are not supported: count(distinct _w0# ) windowspecdefinition
spark 开窗 使用 countDistinct异常 Distinct window functions are not supported: count(distinct _w0# ) wind
Spark如何删除rdd checkpoint
spark设置checkpoint路径 spark.sparkContext().setCheckpointDir("hdfs://nameservice1/xx/xx"); 最终会把rdd的数
spark sql累积求和 accumulative sum
累积求和之前 都会用map一个个累加，后来有用map求和的方式spark自定义函数udf案例。居然还有纯sql的方式。我是没想到这样也可以呀 根据salary分别计算各个role的移动累加值：
spark自定义函数udf案例
1.定义udf // 累加 map 中所有 key 小于 maxKey 的项 def accumulateMapValues(map: Map[String, Double], maxKey:
hive增加、修改、删除字段
1.增加字段 alter table table_name add columns (column_1 string,column_2 int) --字段column_1,column_2将添加在原
spark解决OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes
1.分析 spark 异常java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all
Hive on Spark性能调优
转一篇很实在得Spark性能调优。 之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）
java 系统常量Const最优设计方法
每个项目设计常量类五花八门，所以再次强调最优得设计方式。 public interface Const{ //单个 String APP_NAME=""; //一组 enum DAY
分布式定时任务管理Elastic-Job介绍
Elastic-Job介绍 elastic-job是当当开源的一款非常好用的作业框架，在这之前，我们开发定时任务一般都是使用quartz或者spring-task（ScheduledExecutor
spark运行异常Failed writing driver logs to dfs
运行spark出现下面异常 21/04/25 09:28:55 ERROR logging.DriverLogger$DfsAsyncWriter: Failed writing driver l
spark多线程并发执行job
spark中具体的action算子对应一个job,通常无论rdd依赖关系如何，我们都是串行执行job,我们也可以把没有相互依赖关系的计算，使用多线程并发计算，这样速度快很多，就像一个stage的时间是
数据仓库如何分层
DW ：data warehouse 翻译成数据仓库 使用hive作为数据仓库中的数据存储一般都是首选，数据仓库分层是指计算和存储共同的分层。 1.为什么要分层 为了不同的业务 ，也为了解耦
spark读取zip压缩文件中的json文本
spark读取zip压缩文件中的json文本案例代码 private val scoreFileSchema: StructType = StructType( Array(
spark mongo Cannot cast null into a StringType
1.问题场景 df.write .format("com.mongodb.spark.sql") .mode("overwrite") .option("uri
Mongo的Invalid BSON field name $gte
1.异常原因 使用spark插入数据到Mongo遇到这个问题，属性名不能包含 {.}点 和 {$}符号。但是mongo本身是支持点和美元符号的，这是mongo-java-driver的问题。 断点
maven shade assembly插件打包区别
今天遇到一个问题，maven项目里面配置的使用assembly插件打包，我在项目中使用同包名类名的方式覆盖依赖jar中的类，但就是自己项目的类打包不进去，改为shade就i一下就可以了，所以我想研究s
