控制台
实名认证
中国站
登录
- 计算
- 网络
- 存储与CDN
-
数据库
-
云数据库 RDS MySQL
- 产品概述
- 产品定价
- 快速入门
- 操作手册
- 案例实践
- API文档
-
常见问题
- 如何访问MySQL实例？
- MySQL实例的安全性如何？
- 如何向MySQL实例中导入数据？
- 如何向MySQL实例中导出数据？
- 如何创建新用户并授予权限?
- QPS是如何统计的？
- 什么是内存溢出?
- 默认的最大连接数是多少？
- 如何查看数据库运行状态?
- 如何查看MySQL实例的SlowLog?
- 如何修改MySQL实例的配置参数？
- 如何安装和卸载插件？
- 如何使用MySQL-Proxy使MySQL实例可以通过外网访问？
- 何查看MySQL实例的各项监控指标？
- 是否可以查看云数据库运行状态？
- 默认的配置是针对哪种存储引擎优化的？
- 如何在云主机上搭建云数据库从库并进行主从同步呢？
- 如何正确设置字符集？
- 如何查询MySQL实例的客户端和服务器端版本
- 相关协议
- 云数据库 RDS PostgreSQL
- 云数据库 Redis
- 云数据库 MongoDB
- 分布式数据库 InDDB
- 云数据库 Memcache
-
云数据库 RDS MySQL
- 安全
- 人工智能
-
大数据
- ES服务 Elasticsearch
- 数据仓库 DW
- 托管Hadoop
- 管理和监控
-
API
-
对象存储OSS
- 创建Bucket-CreateBucket
- 获取Bucket信息-DescribeBucket
- 更改Bucket属性-UpdateBucket
- 删除Bucket-DeleteBucket
- 前缀列表查询 – PrefixFileList
- 上传文件 – PutFile
- 表单上传 – PostFile
- 秒传文件-UploadHit
- 下载文件-GetFile
- 查询文件基本信息-HEADFile
- 删除文件 – DeleteFile
- 初始化分片 – InitiateMultipartUpload
- 上传分片 – UploadPart
- 完成分片 – FinishMultipartUpload
- 放弃分片 – AbortMultipartUpload
- 查看配额状态-GetUFileQuota
- 查询配额支付价格-GetUFileQuotaPrice
- 查看配额使用报表-GetUFileReport
- 获取配额信息-GetUFileQuotaInfo
- 获取已上传成功的分片列表-GetMultiUploadPart
- 更新令牌-UpdateUFileToken
- 删除令牌-DeleteUFileToken
- 获取令牌信息-DescribeUFileToken
- OSS 错误码列表
- 操作文件的Meta信息 – OpMeta
- API文档综述
-
弹性公网IP EIP
- 1、申请弹性IP-AllocateEIP
- 2、获取弹性IP信息-DescribeEIP
- 3、更新弹性IP属性-UpdateEIPAttribute
- 4、释放弹性IP-ReleaseEIP
- 5、绑定弹性IP-BindEIP
- 6、解绑弹性IP-UnBindEIP
- 7、调整弹性IP带宽-ModifyEIPBandwidth
- 8. 修改弹性IP出口权重-ModifyEIPWeight
- 9. 获取弹性IP价格-GetEIPPrice
- 10. 获取弹性IP带宽改动价格-GetEIPUpgradePrice
- 11. 获取弹性IP计费方式-GetEIPPayMode
- 12. 设置弹性IP计费方式-SetEIPPayMode
- 13. 申请内网虚拟IP-AllocateVIP
- 14. 获取内网虚拟IP信息-DescribeVIP
- 15. 释放内网虚拟IP- ReleaseVIP
- 16. 创建带宽包-CreateBandwidthPackage
- 17. 获取带宽包信息-DescribeBandwidthPackage
- 18. 删除带宽包-DeleteBandwidthPackage
- 19. 开通共享带宽-AllocateShareBandwidth
- 20. 获取共享带宽信息-DescribeShareBandwidth
- 21. 调整共享带宽-ResizeShareBandwidth
- 22. 关闭共享带宽-ReleaseShareBandwidth
- 23. 将EIP加入共享带宽-AssociateEIPWithShareBandwidth
- 24. 将EIP移出共享带宽-DisassociateEIPWithShareBandwidth
- 25. 获取带宽用量-DescribeBandwidthUsage
- 26. 更新防火墙属性-UpdateFirewallAttribute
- 27. 获取防火墙信息-DescribeFirewall
- 28. 应用防火墙-GrantFirewall
- 29. 错误码
-
云服务器ECS
- 1、获取VNC登录信息-GetUHostInstanceVncInfo
- 2、启动云服务器-StartUHostInstance
- 3、重启云服务器-RebootUHostInstance
- 4、关闭云服务器-StopUHostInstance
- 5、获取云服务器业务组列表-DescribeUHostTags
- 6、字段规范
- 7、删除云服务器-TerminateUHostInstance
- 8、重置云服务器密码-ResetUHostInstancePassword
- 9、修改云服务器业务组-ModifyUHostInstanceTag
- 10、修改云服务器名-ModifyUHostInstanceName
- 11、获取挂载磁盘的升级价格-GetAttachedDiskUpgradePrice
- 12、修改云服务器配置-ResizeUHostInstance
- 13、获取升级配置价格-GetUHostUpgradePrice
- 14、创建云服务器-CreateUHostInstance
- 15、移除硬件隔离组-LeaveIsolationGroup
- 16、创建硬件隔离组-CreateIsolationGroup
- 17、删除自制镜像-TerminateCustomImage
- 18、创建自制镜像-CreateCustomImage
- 19、导入镜像-ImportCustomImage
- 20、修改云服务器备注-ModifyUHostInstanceRemark
- 21、修改挂载的磁盘大小-ResizeAttachedDisk
- 22、模拟服务器掉电-PoweroffUHostInstance
- 23、重装系统-ReinstallUHostInstance
- 24、获取镜像列表-DescribeImage
- 25、获取云服务器价格-GetUHostInstancePrice
- 26、获取云服务器信息-DescribeUHostInstance
- 27、普通机型开启CDP-UpgradeToArkUHostInstance
-
对象存储OSS
- 用户提醒
- 服务等级协议(SLA)
- 企业上云常见问题
- 其他协议
- 云市场
- 开发者
- 账户管理
-
2.1 Spark-submit
最通用的spark任务提交方式，通过spark-submit可以提交spark任务。spark-submit具体使用可以通过spark-submit --help查看。
示例
● Example：spark-submit提交示例程序中计算pi的任务
spark-submit --master yarn --deploy-mode client --num-executors 2 --
executor-cores 1 --executor-memory 1G
$SPARK_HOME/examples/src/main/python/pi.py 100
更多关于提交任务的操作请参考：
https://spark.apache.org/docs/1.6.0/submitting-applications.html
在集群外部机器提交任务
● 配置环境请参考第1节。
● hdfs只能使用本地用户名（whoami显示的这个名字）来当做hdfs的用户名，所以需要在hdfs上面加入本地用户名对目标文件的权限。Spark客户端提交的任务会默认使用 /user/[username]这个目录。所以需要在hdfs上面建立相应的用户根目录。
测试命令：
[hadoop@10-10-116-236 bin]$ pwd/root/testsparkclient/spark/bin[hadoop@10-10-116-236 bin]$ ./spark-submit --classorg.apache.spark.examples.SparkPi --master yarn --deploy-modecluster ../lib/spark-examples*.jar 10查看运行结果:
屏幕打印final status: SUCCEEDED 代表执行成功。
这个例子的输出结果是使用标准输出打印的:System.out.println("Pi is roughly " + 4.0 * count / n)
所以只有client模式会打印到屏幕上，yarn模式需要去log中查看：
hdfs://Ucluster/var/log/Hadoop-yarn/apps/hadoop/logs/applicationid。
2.2 Spark-shell
spark-shell是Spark提供的可通过scala语言快速实现任务执行的方式。
示例
● 启动spark-shell客户端
spark-shell ● 构造一个HiveContext
scala> val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc); ● 创建表格src
scala> sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT,value
STRING)")
● 从本地文件加载数据
scala> sqlContext.sql("LOAD DATA LOCAL INPATH'/home/hadoop/spark/examples/src/main/resources/kv1.txt' INTO TABLE src")● 表格操作，显示表src数据
scala> sqlContext.sql("FROM src SELECT key,value").collect().foreach(println);2.3 Spark-sql
spark-sql是Spark提供的一种用SQL的方式处理结构化数据的组件，它提供了一个叫做DataFrames的可编程抽象数据模型，并且可被视为一个分布式的SQL查询引擎，它支持大部分常用的Hive SQL。
示例
● 启动spark-sql客户端
spark-sql ● 执行sql查询
spark-sql> select * from src; 2.4 Spark-Hive
使用Spark Hive的时候需要在SPARK_HOME/conf下面配置hive-site.xml。通过spark-shell操作Hive table。
我们可以通过spark-shell --help查看spark-shell的相关用法。
For-example:
spark-shell --master yarn --deploy-mode client --num-executors 3
我们采用yarn client模式启动spark-shell，并且设置executor的个数为3
spark-shell启动后我们即可进行相关的操作:
● 构造一个HiveContext
● 创建表格src
● 加载数据
● 表格操作
通过spark-sql操作Hive table
我们可以通过spark-sql --help查看spark-sql的相关用法。
For-example：
spark-sql --master yarn --deploy-mode client --num-executors 3
我们采用yarn client模式启动spark-sql，并且设置executor的个数为3
spark-sql启动之后我们就可以使用Hive的表格进行相关操作。
2.5 Spark-ThriftServer
通过Thrift JDBC/ODBC server的方式操作hive表
示例
● 启动spark-thriftserver Master1节点上hadoop用户下执行
/home/hadoop/spark/sbin/start-thriftserver.sh --hiveconfhive.server2.thrift.port=10000 --hiveconfhive.server2.thrift.bind.host=`hostname` --supervise● beeline的方式连接thrift接口
beeline> !connect jdbc:hive2://uhadoop-******-master1:10000/default; 注解：此处用户名密码传空即可
执行sql
0: jdbc:hive2://uhadoop-*****-master1:10000/> show tables;0: jdbc:hive2://uhadoop-*****-master1:10000/> select * from src;