Thingsboard 打包异常Failed to execute goal org.thingsboard:gradle-maven-plugin
打包Thingsboard遇到以下错误 [ERROR] Failed to execute goal org.thingsboard:gradle-maven-plugin:1.0.10:invo
kafka查看监控消费情况
kafka监控，查看消费情况 就可以了，有不断的消费说明状态正常的 1.查看所有消费者组 kafka-consumer-groups.sh --bootstrap-server 192.168.1.
Distinct window functions are not supported: count(distinct _w0# ) windowspecdefinition
spark 开窗 使用 countDistinct异常 Distinct window functions are not supported: count(distinct _w0# ) wind
Spark如何删除rdd checkpoint
spark设置checkpoint路径 spark.sparkContext().setCheckpointDir("hdfs://nameservice1/xx/xx"); 最终会把rdd的数
spark sql累积求和 accumulative sum
累积求和之前 都会用map一个个累加，后来有用map求和的方式spark自定义函数udf案例。居然还有纯sql的方式。我是没想到这样也可以呀 根据salary分别计算各个role的移动累加值：
spark自定义函数udf案例
1.定义udf // 累加 map 中所有 key 小于 maxKey 的项 def accumulateMapValues(map: Map[String, Double], maxKey:
hive增加、修改、删除字段
1.增加字段 alter table table_name add columns (column_1 string,column_2 int) --字段column_1,column_2将添加在原
spark解决OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes
1.分析 spark 异常java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all
Hive on Spark性能调优
转一篇很实在得Spark性能调优。 之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）
java 系统常量Const最优设计方法
每个项目设计常量类五花八门，所以再次强调最优得设计方式。 public interface Const{ //单个 String APP_NAME=""; //一组 enum DAY
分布式定时任务管理Elastic-Job介绍
Elastic-Job介绍 elastic-job是当当开源的一款非常好用的作业框架，在这之前，我们开发定时任务一般都是使用quartz或者spring-task（ScheduledExecutor
spark运行异常Failed writing driver logs to dfs
运行spark出现下面异常 21/04/25 09:28:55 ERROR logging.DriverLogger$DfsAsyncWriter: Failed writing driver l
spark多线程并发执行job
spark中具体的action算子对应一个job,通常无论rdd依赖关系如何，我们都是串行执行job,我们也可以把没有相互依赖关系的计算，使用多线程并发计算，这样速度快很多，就像一个stage的时间是
数据仓库如何分层
DW ：data warehouse 翻译成数据仓库 使用hive作为数据仓库中的数据存储一般都是首选，数据仓库分层是指计算和存储共同的分层。 1.为什么要分层 为了不同的业务 ，也为了解耦
spark读取zip压缩文件中的json文本
spark读取zip压缩文件中的json文本案例代码 private val scoreFileSchema: StructType = StructType( Array(
spark mongo Cannot cast null into a StringType
1.问题场景 df.write .format("com.mongodb.spark.sql") .mode("overwrite") .option("uri
