编程学问
  • 文章
  • 问题
  • 读书
  • 关于
  • 登录

mongo导出查询结果到csv

var rows=db.getCollection('rank').find({project:"430000-6a6409b8abc243828ed0d584cb710fa

mongo 查询

mongo group by db.getCollection('full_score').aggregate([ {"$group" : {_id:&q

linux常用命令

#进入docker命令行 docker exec -it CONTAINER_ID sh #退出docker命令行 Ctrl+p+q # 查看有哪些进程连接了指定的端口 [root@loc

spark sql字段类型MapType和ArrayType

1.ArrayType 之前使用spark读取mongo解决嵌套数据有用到ArrayType的案例 读取mongo嵌套 val schema = StructType( A

spark sql join表链接 left leftjoin leftouter leftsemi leftanti区别

为了测试先初始化student和score这两个dataframe var score = Seq( ("student1", "001", "quest1",10), ("student

spark集群大量端口占用-BindException: Address already in use

1.异常信息 之前提交spark任务都很正常,但是最近老是执行spark任务失败:BindException: Address already in use spark ui 显示 异常信息

kafka彻底删除topic

1.查看topic命令 ./bin/kafka-topics --zookeeper 【zookeeper server】 --list 查看所有topic 2.Kafka 删除top

linux设置环境变量的文件位置和区别

1.linux环境变量起因 之所以要研究记录一下,是因为今天在/etc/profile配置java环境变量了,再次登录,环境变量就不起效了,必须再次source /etc/profile。那么lin

google guava LoadingCache本地缓存使用方法

1.需求场景 如果你要做跨系统全局缓存,高可用又性能高,存储量还大当然有memcache,redis首选,其次要求没那么高还有oscache,ehcache也可以单机使用。 但是如果只想单机简单快

spark hive Can not create the managed table('`xxx`'). The associated location('xxx') already exists

异常信息: spark计算写hive表时出现异常 Exception in thread "main" org.apache.spark.sql.AnalysisException: Can n

spark scala map转 rdd 转 dataframe

spark scala map转 rdd 然后转 dataframe的方法,主要用到seq的toDF方法 var subjectScoreLevelDetail:Seq[Map[Strin

解决spark读取数据库tikv乱码

1.问题 遇到在cdh 的spark集群上使用tispark读取数据乱码,我本地调试不乱码,我在另外一个自己搭的集群上测试也不乱码,就是在cdh的这个集群上乱码 我就怀疑是这个cdh搭建的

docker pull 指定镜像源

1.docker查看镜像源 cat /etc/docker/daemon.json 2.docker拉取镜像 docker pull houyong/centos7:v1 3.do

R语言引擎读取mysql并进行计算分析

1.安装R环境 下载地址,下载后安装-选择生成桌面快捷图标-会生成R x64 和32位的图标。 2.编写代码 打开安装的R编辑器,这个默认编辑器不是很好用,R studio好用些,可以继续安装这

cdh 安装异常JDBC driver cannot be found

出错原因: 安装cdh所有需要使用mysql的地方都出错包括hive等 JDBC driver cannot be found. Unable to find the JDBC database

cdh安装异常bad incoming host name

1.案发现场 cloudera manager安装过程中,主机安装agent后,cloudera manager界面无法显示主机,查看server的日志报错如下: ERROR avro-servl

vue搭建项目入门教程-hello world

在windows搭建vue脚手架开发环境,并编写hello world入门教程。 1.下载安装nodejs Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境。

POI XWPFTable设置word表格固定列宽

POI XWPFTable设置表格固定列宽,列宽度不随内容改变。 默认情况下word表格列宽是随内容变动的,除非设置固定列宽。 下面看一下使用poi在代码里面怎么设置: 1.设置表格列宽

TCP协议端口状态说明

用netstat查看linux端口状态是日常操作,但真的知道端口各种状态的含义吗? 了解TCP协议端口的连接状态,对排除和定位网络或系统故障会有很大帮助,因此了解一下是有必要的: 一、LISTEN

spark配置日志级别的方式

因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了,看起来比较乱,比较烦,抓不住重点,

最新教程
spark详细介绍Scala中的Any、Nothing、Null、Nil、UnitScala MUTABLE和IMMUTABLE集合数学文章收藏Spark 教程Hadoop MapReduce 运行原理和机制Hadoop MapReduce IDEA上应用开发配置Hadoop MapReduce 编程模型HDFS FileSystem Shell文件系统操作命令手册Hadoop MapReduce 教程Hadoop YARN 资源调度器Hadoop YARN 资源管理系统Java HDFS文件系统 读取写入删除Hadoop HDFS 高可用(HA)HDFS Federation联合 Namenodes/Namespaces 配置HDFS namenode和datanodeHadoop HDFS 分布式文件系统Hadoop 大数据集群环境搭建配置Hadoop 教程Scala 函数式编程scala Actor多线程编程使用注意事项Scala Actor 多线程并发编程案例Scala Actor 线程安全Scala 创建使用Actor 多线程Scala Actor与java并发编程的区别
热点文章
jackson objectMapper json字符串、对象bean、map、数组list互相转换java数字不足位数自动补零的方法ckeditor 图片文件上传php回调代码kafka 异常 Exception thrown when sending a message with key='null' phoenix异常MutationState size is bigger than maximum allowed number of bytesUnicode码对应的勾号、叉号、圈号、点号等特殊符号spring boot mongodb 多数据源 自动下划线转驼峰PHP COM 函数 Returns the type of a variant objectPOI XWPFTable设置word表格固定列宽Nginx介绍之nginx特性详解PHP FDF FDF 函数PHP FDF 函数 Sets version number for a FDF filePHP FDF 函数 Sets a submit form action of a fieldspark读取mongoDB分片分区的方式hive表支持修改和删除操作Java操作Chrome浏览器的API库-cdp4jXMLHTTPRequest setRequestHeader 设置指定请求头PHP DateTime 以 Unix 时间戳的方式设置 DateTime 对象PHP 中文手册fastjson配置SerializerFeature.WriteBigDecimalAsPlain无效PHP 附录 从PHP 5.6.x 移植到 PHP 7.0.xDruid数据库连接池异常connection holder is nulljacob异常ComFailException: Can't map name to dispidPHP SVN 函数 Return true if props are different, false otherwisespring controller通过map自动获取所有请求参数的方法
理解CPU编程原理(cpu如何执行代码)
理解CPU编程原理(cpu如何执行代码)
eureka server 开启 spring security 安全认证
eureka server 开启 spring security 安全认证
spring cloud oauth2 微服务 统一认证授权 框架搭建
spring cloud oauth2 微服务 统一认证授权 框架搭建
javasparklinuxhadoopspringextjsscalamysqlhivejavascriptredishbasekafkajqueryspringBootmavenmybatiswebphoenixspringCloudstrutswindowsideagitphphtmlreactyarnnginxmongoDBdockerpythonzookeeperdubbonetworkcachehibernatedatabasetomcatcss
学习教程
Scala 教程Hadoop 教程经典文献收藏Spark 教程
开发手册
jQuery API 开发手册 jQuery 3 API 在线中文手册 CSS 参考手册 ExtJs 中文开发手册 jQuery EasyUI API 中文手册 PHP 中文开发手册 Linux 命令手册 Mysql 参考手册 Ajax 参考手册 Redis命令参考手册
编程学问网 湘ICP备20001732号