编程学问
  • 文章
  • 问题
  • 读书
  • 关于
  • 登录

数据仓库如何分层

DW :data warehouse 翻译成数据仓库 使用hive作为数据仓库中的数据存储一般都是首选,数据仓库分层是指计算和存储共同的分层。 1.为什么要分层 为了不同的业务 ,也为了解耦

spark读取zip压缩文件中的json文本

https://blog.csdn.net/GCR8949/article/details/80155064

数据库索引原理

spark mongo Cannot cast null into a StringType

1.问题场景 df.write .format("com.mongodb.spark.sql") .mode("overwrite") .option("uri

Mongo的Invalid BSON field name $gte

maven shade assembly插件打包区别

今天遇到一个问题,maven项目里面配置的使用assembly插件打包,我在项目中使用同包名类名的方式覆盖依赖jar中的类,但就是自己项目的类打包不进去,改为shade就i一下就可以了,所以我想研究s

已有spark集群集成使用tispark案例

spark已有集群集成使用tispark操作tidb案例 spark和tidb的集群方式有两种,一种是完全分离,一种是spark节点和tikv节点对应安装在一起,在官方看来这会加快数据加载时间(但效

spark写入mongo 按多维度提取分层json

spark的rdd是一个二维表,二维表可以直接写入mongo,但mongo可以更灵活方便,可以存储分层结构的json类型数据。 比如 def toJsonRdd(df:DataFra

mongo常用查询命令持续笔记

mongoDb常用查询命令持续学习笔记 1.group分组统计 db.getCollection('full_score').aggregate([     {"$group" : {_id:"

linux常用命令持续笔记

#进入docker命令行 docker exec -it CONTAINER_ID sh #退出docker命令行 Ctrl+p+q # 查看有哪些进程连接了指定的端口 [root@loc

spark sql字段类型MapType和ArrayType

1.ArrayType 之前使用spark读取mongo解决嵌套数据有用到ArrayType的案例 读取mongo嵌套 val schema = StructType( A

spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别

为了测试先初始化student和score这两个dataframe var score = Seq( ("student1", "001", "quest1",10), ("student

spark集群大量端口占用-BindException: Address already in use

1.异常信息 之前提交spark任务都很正常,但是最近老是执行spark任务失败:BindException: Address already in use spark ui 显示 异常信息

kafka彻底删除topic

1.查看topic命令 ./bin/kafka-topics --zookeeper 【zookeeper server】 --list 查看所有topic 2.Kafka 删除top

linux设置环境变量的文件位置和区别

1.linux环境变量起因 之所以要研究记录一下,是因为今天在/etc/profile配置java环境变量了,再次登录,环境变量就不起效了,必须再次source /etc/profile。那么lin

google guava LoadingCache本地缓存使用方法

1.需求场景 如果你要做跨系统全局缓存,高可用又性能高,存储量还大当然有memcache,redis首选,其次要求没那么高还有oscache,ehcache也可以单机使用。 但是如果只想单机简单快

spark hive Can not create the managed table('`xxx`'). The associated location('xxx') already exists

异常信息: spark计算写hive表时出现异常 Exception in thread "main" org.apache.spark.sql.AnalysisException: Can n

spark scala map转 rdd 转 dataframe

spark scala map转 rdd 然后转 dataframe的方法,主要用到seq的toDF方法 var subjectScoreLevelDetail:Seq[Map[Strin

解决spark读取数据库tikv乱码

1.问题 遇到在cdh 的spark集群上使用tispark读取数据乱码,我本地调试不乱码,我在另外一个自己搭的集群上测试也不乱码,就是在cdh的这个集群上乱码 我就怀疑是这个cdh搭建的

docker pull 指定镜像源

1.docker查看镜像源 cat /etc/docker/daemon.json 2.docker拉取镜像 docker pull houyong/centos7:v1 3.do

最新教程
spark详细介绍Scala中的Any、Nothing、Null、Nil、UnitScala MUTABLE和IMMUTABLE集合数学文章收藏Spark 教程Hadoop MapReduce 运行原理和机制Hadoop MapReduce IDEA上应用开发配置Hadoop MapReduce 编程模型HDFS FileSystem Shell文件系统操作命令手册Hadoop MapReduce 教程Hadoop YARN 资源调度器Hadoop YARN 资源管理系统Java HDFS文件系统 读取写入删除Hadoop HDFS 高可用(HA)HDFS Federation联合 Namenodes/Namespaces 配置HDFS namenode和datanodeHadoop HDFS 分布式文件系统Hadoop 大数据集群环境搭建配置Hadoop 教程Scala 函数式编程scala Actor多线程编程使用注意事项Scala Actor 多线程并发编程案例Scala Actor 线程安全Scala 创建使用Actor 多线程Scala Actor与java并发编程的区别
热点文章
PHP Session 函数 关闭会话PHP 安装/配置 安装hadoop异常There are 0 datanode(s) running and no node(s) are excludedspark sql判断一个字段是否包含另一个字段的字符串《Scala实用指南》PDF电子书教程下载Java操作Chrome浏览器的API库-cdp4jPHP filePro 函数 Gets the width of a fieldhbase regionserver挂掉All datanodes DatanodeInfoWithStorage[x,DISK] are bad. Abortingjava 实现WebSocketClient客户端解决IntelliJ IDEA破解问题 key is invalid如何解决Kafka 异常 No resolvable bootstrap urls given in bootstrap.serversUnicode码对应的勾号、叉号、圈号、点号等特殊符号PHP 异常 The RuntimeException classPHP 安装/配置 需求PHP DB++ 函数 Free exclusive lock on relationPHP Cairo 预定义常量PHP OpenSSL 函数 释放证书资源PHP MCVE 函数 Start a new transactionPHP xdiff 简介PHP PDF 函数 Create new PDF filespring事务配置多个目录包多个切点execution的方法PHP ReflectionMethod 返回一个动态建立的方法调用接口,译者注:可以使用这个返回值直接调用非公开方法。PHP Trader 函数 MomentumPHP DB++ 函数 Give up write lock on relationPHP pthreads 预定义常量
理解CPU编程原理(cpu如何执行代码)
理解CPU编程原理(cpu如何执行代码)
eureka server 开启 spring security 安全认证
eureka server 开启 spring security 安全认证
spring cloud oauth2 微服务 统一认证授权 框架搭建
spring cloud oauth2 微服务 统一认证授权 框架搭建
javasparklinuxhadoopspringextjsmysqlscalahivejavascriptredishbasekafkajquerymavenmybatisspringBootwebphoenixspringCloudideastrutswindowshtmlgitphpreactyarnnginxmongoDBdockerpythonhibernatezookeeperdubbonetworkcachesqlmongodatabase
学习教程
Scala 教程Hadoop 教程经典文献收藏Spark 教程
开发手册
jQuery API 开发手册 jQuery 3 API 在线中文手册 CSS 参考手册 ExtJs 中文开发手册 jQuery EasyUI API 中文手册 PHP 中文开发手册 Linux 命令手册 Mysql 参考手册 Ajax 参考手册 Redis命令参考手册
编程学问网 湘ICP备20001732号