hive增加、修改、删除字段
1.增加字段 alter table table_name add columns (column_1 string,column_2 int) --字段column_1,column_2将添加在原
spark解决OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes
1.分析 spark 异常java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all
Hive on Spark性能调优
转一篇很实在得Spark性能调优。 之前在Hive on Spark跑TPCx-BB测试时，100g的数据量要跑十几个小时，一看CPU和内存的监控，发现POWER_TEST阶段（依次执行30个查询）
java 系统常量Const最优设计方法
每个项目设计常量类五花八门，所以再次强调最优得设计方式。 public interface Const{ //单个 String APP_NAME=""; //一组 enum DAY
分布式定时任务管理Elastic-Job介绍
Elastic-Job介绍 elastic-job是当当开源的一款非常好用的作业框架，在这之前，我们开发定时任务一般都是使用quartz或者spring-task（ScheduledExecutor
spark运行异常Failed writing driver logs to dfs
运行spark出现下面异常 21/04/25 09:28:55 ERROR logging.DriverLogger$DfsAsyncWriter: Failed writing driver l
spark多线程并发执行job
spark中具体的action算子对应一个job,通常无论rdd依赖关系如何，我们都是串行执行job,我们也可以把没有相互依赖关系的计算，使用多线程并发计算，这样速度快很多，就像一个stage的时间是
数据仓库如何分层
DW ：data warehouse 翻译成数据仓库 使用hive作为数据仓库中的数据存储一般都是首选，数据仓库分层是指计算和存储共同的分层。 1.为什么要分层 为了不同的业务 ，也为了解耦
spark读取zip压缩文件中的json文本
spark读取zip压缩文件中的json文本案例代码 private val scoreFileSchema: StructType = StructType( Array(
spark mongo Cannot cast null into a StringType
1.问题场景 df.write .format("com.mongodb.spark.sql") .mode("overwrite") .option("uri
Mongo的Invalid BSON field name $gte
1.异常原因 使用spark插入数据到Mongo遇到这个问题，属性名不能包含 {.}点 和 {$}符号。但是mongo本身是支持点和美元符号的，这是mongo-java-driver的问题。 断点
maven shade assembly插件打包区别
今天遇到一个问题，maven项目里面配置的使用assembly插件打包，我在项目中使用同包名类名的方式覆盖依赖jar中的类，但就是自己项目的类打包不进去，改为shade就i一下就可以了，所以我想研究s
已有spark集群集成使用tispark案例
spark已有集群集成使用tispark操作tidb案例 spark和tidb的集群方式有两种，一种是完全分离，一种是spark节点和tikv节点对应安装在一起，在官方看来这会加快数据加载时间（但效
spark写入mongo 按多维度提取分层json
spark的rdd是一个二维表，二维表可以直接写入mongo，但mongo可以更灵活方便，可以存储分层结构的json类型数据。 比如rdd二维表： [ {student:"张三",subject
spark pivot透视操作（转横表）
1.什么是pivot透视操作 通常pivot透视操作成为转横表操作 假如有原始表originalTable: 我需要得到透视表pivotTable1: 甚至我还可以进行一次透视
