阿里云分析型数据库MySQL集群版使用和性能测试

mysql | 2019-10-18 14:28:21

mysql不能做大数据分析？不要被无知限制了想象，今天就来学习一下阿里云分析型数据库MySQL版。阿里云分析型数据库MySQL版是云端托管的大规模并行处理（MPP）的PB级数据仓库。

1.购买试用

阿里云分析型数据库MySQL版可以首月1元试用，选择最大的可试用配置购买

根据你选择的区域，点击阿里云VPC控制台创建私有网络后，再来刷新选择专有网络。

原价六万多，首次购买就只要1元。

然后就可以到控制台-AnalyticDB 控制台查看到购买的产品，要等好一会才能创建成功！

2.创建用户设置白名单

在AnalyticDB 控制台-点击集群id-点击账号管理，添加账号，然后切换到-服务账号授权全部授权

在AnalyticDB 控制台-点击集群id-点击数据安全，添加白名单

要设置是你设备的外网IP

linux查看外网IP:curl icanhazip.com

window直接在百度搜索IP就会出来自己的IP

3.管理数据库

在集群管理界面点击登录数据库，填写上面设置的用户进入到数据库管理界面

在这里可以创建数据库表等管理

4.外网工具连接mysql

使用上面创建的高权限账号可以通过外网访问集群，也可以登录到数据库管理后台用sql创建用户

CREATE USER if not exists 'test' IDENTIFIED BY 'test@123456';
GRANT ALL ON *.* TO 'test'@'%';

在集群信息中点击开启外网

mysql命令行登录mysql:

mysql -hurl -P3306 -uusername -ppassword

5.spark测试mysql集群

5.1直接写入我的2亿数据的大表

   var spark = SparkSession.builder().appName("SparkEngineApp")
      .config("spark.some.config.option", "some-value")
      .enableHiveSupport()
      .getOrCreate()

    var ds=spark.table("datacenter.qsm")

    val prop = new java.util.Properties
    prop.setProperty("user", "test")
    prop.setProperty("password", "test")
    ds.write.mode("append").jdbc("jdbc:mysql://am-xxxxxx.ads.aliyuncs.com:3306/test", "test", prop)

spark-submit --num-executors 5 --executor-cores 10 --deploy-mode cluster  --class SparkTestMain  hdfs://hadoopMaster:9000/tmp/engine/sparkTest-1.0.jar

第十分钟的时候：count数据量：1000000，在阿里云的集群监控信息里面显示：集群连接数46，写入tps 1700,很慢