spark提交任务失败Address already in use: Service 'SparkUI' failed
问题 spark提交任务失败出现下面异常 java.net.BindException: Address already in use: Service 'SparkUI' failed aft
Spark配置jobhistory日志定时清理
之前一篇文章《spark on yarn日志配置及webUI界面日志查看》详细说明了spark日志怎么配置怎么查看，无论选择存储在哪里，时间一长，大量的任务日志会占用大量的空间，所以我们要定时清理，只
spark解决No implicits found for parameter evidence$6: Encoder
dataset、dataframe调用map会生成新的rdd,此时就需要指定rdd各个字段的类型，如果不指定就会报异常：No implicits found for parameter evidenc
spark broadcast广播变量详解
为什么需要broadcast类型变量 ,它有哪些优点? spark中怎样创建和使用broadcast类型变量 ? spark中的具体实现 1. 为什么需要broadcast类型变量 ? 各个
spark AnalysisException: Resolved attribute(s) field missing from field
1.问题 spark 使用dataframe join的时候出现下面异常 User class threw exception: org.apache.spark.sql.AnalysisExc
scala java map转 scala map
1.scala java map转 scala map import scala.collection.JavaConverters._ var questObj:scala.collection
解决java使用Runtime.exec执行linux命令失败
java执行Linux命令很简单，适用这行代码就可以Runtime.getRuntime().exec(cmd)，但是今天遇到了执行不成功的问题。 1.问题 例如xshell上了执行成功关闭red
Java list stream().filter()按条件过滤查找对象
利用Java8新特性，使用stream().filter()来过滤一个List对象，查找符合条件的对象集合。 1.list里面的学生对象 public class StudentInfo imp
java线程阻塞LockSupport.park()和Thread.sleep()、Object.wait()的区别
在java语言中，可以通过3种方式让线程进入休眠状态，分别是Thread.sleep()、Object.wait()、LockSupport.park()方法。这三种方法的表现和原理都各有不同. 1
java 实现WebSocketClient客户端
java 实现WebSocketClient客户端案例，向websocket服务端发送消息监听消息，并实现发送马上接受返回值即时调用的方式 1.java 代码 public class MyWe
linux输出重定向
一般命令的输出都会显示在终端中，有些时候需要将一些命令的执行结果想要保存到文件中进行后续的分析/统计，则这时候需要使用到的输出重定向技术。比如我们需要指定日志文件的输出位置。 标准覆盖输出 >
Scala中Array和WrappedArray 的区别
我接触到WrappedArray 是spark读取mongoDB,collection读取成dataset[Row]类型，子集就是一个WrappedArray[Row]类型。那Array和Wrappe
spark读取mongoDB分片分区的方式
分片读取数据是解决性能防止数据倾斜最有效的方式。spark读取mongoDB分片的方式也有很多种，当然也要考虑mongoDB集群本身的分片方式。 1.spark 读取mongoDB分片的语法 v
spark读取mongodb解析拆分嵌套数据的几种方式
spark读取mysql再计算，很简单，因为mysql是个二维表，读取后直接用sql查询计算就可以。但mongodb是树形的json文档接口，读取之后需要解析成二维关系表才能进行计算分析。 sp
script 标签中的async和defer 脚本异步并行加载
script标签用于加载脚本与执行脚本，在前端开发中可以说是非常重要的标签了。直接使用script脚本的话，html会按照顺序来加载并执行脚本，在脚本加载&执行的过程中，会阻塞后续的DOM渲染
