UCloud优刻得一站式智能大数据平台USDP免费版操作部署指南
扫描二维码,手机下载APP
近日UCloud全新发布了针对私有化部署场景下的免费版USDP,免费版USDP支持HDFS、Kudu、ES 全生态,助力企业提升大数据开发、运维效率,快速构建大数据业务的分析处理能力。关于免费版USDP的部署操作如下文演示。
环境准备
用户进行如下简单步骤,即可利用 USDP 实现大数据业务、数据仓库等相关业务建设,简单有效。

1.1 最低配置
在大数据生产环境中,几乎不可能使用伪分布式的单机部署模式,因此 USDP 智能大数据平台所支持的最小部署模式为 3 个节点,每个节点的配置情况,需要根据用户业务的使用情况而定,例如:每个节点上部署 10 个服务、组件与部署 20 个服务、组件所消耗的 CPU、内存资源必然不同。按照最低运行标准,USDP 给出如下最低参考配置:
| 节点序号 | CPU | 内存 | 系统盘 | 数据盘 | 系统 |
| 节点1 | 4 核+ | 8 GB+ | 80 GB+ | 500 GB+ | CentOS 7.2 – 7.6 |
| 节点2 | 4 核+ | 8 GB+ | 80 GB+ | 500 GB+ | CentOS 7.2 – 7.6 |
| 节点3 | 4 核+ | 8 GB+ | 80 GB+ | 500 GB+ | CentOS 7.2 – 7.6 |
注意:上述节点可以是物理节点、也可以是虚拟节点。
1.2 下载资源与系统环境准备
节点配置完成后,用户即可开始下载对应的内容,进行部署前的准备工作了。
1、资源下载地址如下:
•US3:https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz
•百度网盘
链接:https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw 提取码:spp9
2、资源说明
USDP 的下载内容主要分为如下 3 种类型:
| 类型序号 | 安装包名称 | 安装包说明 | 放置目录 |
| 1 | usdp-01-master-privatization-free-1.0.0.0.tar.gz | USDP 主程序与大数据服务资源包 | /opt/usdp-srv/ |
| 2 | httpd-rpms.tar.gz 、mirror.tgz | USDP 离线 yum 基础源资源包 | /data |
| 3 | epel.tgz | USDP 离线 yum 扩展源资源包 | /data |
其中压缩包 usdp-01-master-privatization-free-1.0.0.0.tar.gz 解压后,得到如下目录:
| 序号 | 目录 | 目录说明 |
| 1 | agent | USDP 分布式客户端程序 |
| 2 | bin | USDP 程序启停脚本 |
| 3 | config | USDP 程序配置文件 |
| 4 | jmx_exporter | 进程监控指标采集程序 |
| 5 | recommend | 大数据服务部署预置模板 |
| 6 | repair | 部署前环境初始化脚本与资源包 |
| 7 | repository | 大数据服务资源包 |
| 8 | scripts | USDP 相关程序脚本 |
| 9 | server | USDP 分布式管理端程序 |
| 10 | sql | USDP 元数据信息初始化 SQL |
| 11 | templated | 大数据服务配置模板 |
| 12 | verify | 证书存放路径 |
| 13 | versions | USDP 大数据资源包版本信息 |
部署说明
在开始部署之前,请选择在准备部署 USDP 服务端的节点上通过 root 命令执行如下操作。
2.1 环境初始化
本篇主要介绍如何通过 USDP 自动初始化脚本完成集群环境配置,如果用户想要自己完成环境初始化工作,可以参考附录中的内容,手动安装依赖。
2.1.1 首次全量修复
1. 环境初始化模块目录说明
环境初始化模块的子目录如下:
| repair 初始化模块子目录 | 说明 |
| bin | 单个修复模块脚本所在目录,无需手动管理; |
| config | 一键修复脚本所需配置文件目录,需要用户手动修改; |
| packages | 修复过程中安装 USDP 所需依赖压缩包存放目录; |
| sbin | 一键修复主脚本所在目录,无需手动管理; |
2. 修改配置文件
repair 修复模块子目录 config 下存放修复脚本所需配置文件,如下所示。
| 环境初始化模块配置文件 | 说明 |
| repair.properties | 主要配置私有化 yum 源安装节点信息、namp 安装节点信息、mysql 数据库安装节点信息、修复机器总数,以及修复模块日志存放位置。用户根据需要自行修改相关配置项; |
| repair-host-info.properties | 节点全量修复,需要配置此文件,具体配置所有节点内网 Ip、密码、端口号以及主机名; |
| repair-host-info-add.properties | 集群新增节点时,需要配置此文件,具体配置新增节点内网 Ip、密码、端口号以及主机名; |
首次全量初始化环境所需修改配置文件如下所示。
•repair.properties
示例如下: # Set the YUM source host IP yum.repo.host.ip=127.0.0.1(need to change) #The Host information for installing the NMAP service namp.server.ip=127.0.0.1(need to change) namp.server.port=22 namp.server.password=your-node-root-password(need to change) # The Host information for installing the NTP service(Master) ntp.master.ip=127.0.0.1(need to change) # Install MySQL machine node information mysql.ip=127.0.0.1(need to change) mysql.host.ssh.port=22 mysql.host.ssh.password=your-mysql-password(need to change) # Set the MYSQL database login password mysql.password=ucloud.cn1qaz!QAZ(need to change) # The total number of machines needed to be repaired. repair.host.num=n(The total number of machines needed to be repaired ) # The total number of added machines needed to be repaired. repair.add.host.num=m(The total number of added machines needed to be repaired) # Common Settings. repair.log.dir=./log
上述代码解释如下:
| 具体配置项 | 说明 |
| yum.repo.host.ip | 填写未来即将部署 私有化yum 源 的节点的内网 IP(即执行 repair 脚本的节点 ip ); |
| namp.server.ip | 填写未来即将部署 USDP 管理端 的节点的内网 IP; |
| namp.server.port | 填写未来即将部署 USDP 管理端 的节点 SSH 端口号,默认22; |
| namp.server.password | 填写未来即将部署 USDP 管理端 的节点的密码; |
| ntp.master.ip | 选择某个节点作为 NTP 时间同步master 服务器,填写内网 IP; |
| mysql.ip | 选择某个节点作为 MySQL 服务器,填写内网 IP; |
| mysql.host.ssh.port | 设置 MySQL 所在节点的 SSH 端口号,默认 22; |
| mysql.host.ssh.password | 设置 MySQL 的 所在节点的密码; |
| mysql.password | 设置数据库登录密码; |
| repair.host.num | 设置修复机器数量; |
| repair.add.host.num | 新增节点时需要配置此项,全量修复时无需修改; |
| repair.log.dir | 设置环境初始化日志存放位置; |
•repair-host-info.properties
示例如下: # 1.Please provide the information of hosts needed to be repaired in the format specified below # 2.usdp.ip.i(eg:i=1,2,3.....): # 3.usdp.password.i: # 4.usdp.ssh.port.i: # 5.usdp.ssh.port.hostname.i: usdp.ip.1=127.0.0.1(need to change) usdp.password.1=your-node-root-password(need to change) usdp.ssh.port.1=22 usdp.ip.2=127.0.0.1(need to change) usdp.password.2=your-node-root-password(need to change) usdp.ssh.port.2=22 usdp.ssh.port.hostname.2=your-node-hostname(need to change) usdp.ip.3=127.0.0.1(need to change) usdp.password.3=your-node-root-password(need to change) usdp.ssh.port.3=22 usdp.ssh.port.hostname.3=your-node-hostname(need to change)
上述代码解释如下:
| 具体配置项 | 说明 |
| usdp.ip.i | USDP 集群安装节点内网 Ip;(i 表示1-n 的取值,n 为集群机器总数); |
| usdp.password.i | USDP 集群安装节点密码; |
| usdp.ssh.port.i | USDP 集群安装节点端口号,默认 22; |
| usdp.ssh.port.hostname.i | USDP 集群安装节点主机名; |
3. 执行初始化脚本
完成上述步骤后,执行如下命令即可开始一键初始化任务。
cd /opt/usdp-srv/usdp/repair/sbin bash repair.sh initAll source /etc/profile
初始化过程为完全离线的方式,等待一段时间后,即可将所有对应节点的环境准备完毕。
4. 为 USDP 配置 MySQL 数据库
修改/opt/usdp-srv/usdp/config/application-server.yml文件,找到 datasource 配置片段,修改前如下:
datasource: type: com.zaxxer.hikari.HikariDataSource # driver-class-name: org.gjt.mm.mysql.Driver driver-class-name: com.p6spy.engine.spy.P6SpyDriver url: jdbc:p6spy:mysql://udp01:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false username: root password: 1qaz!QAZ
根据之前设置的 mysql 的安装所在节点主机名以及数据库登录密码,修改url 中的对应udp01及 password 的值,修改后如下:
datasource: type: com.zaxxer.hikari.HikariDataSource # driver-class-name: org.gjt.mm.mysql.Driver driver-class-name: com.p6spy.engine.spy.P6SpyDriver url: jdbc:p6spy:mysql://pusdp_master1:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false username: root password: ucloud.cn
2.1.2 集群新增节点初始化步骤
当集群部署完毕后,如需要新增节点,同样需要准备好部署环境,对于新增节点环境初始化, USDP 也提供一键式修复,需要做如下步骤:
•配置 repair-host-info-add.properties 文件
与4.1节中的全量修复类似, 修改 repair-host-info-add.properties 文件,具体示例如下:
# 1.Please provide the information of added hosts needed to be repaired in the format specified below # 2.usdp.ip.i(eg:i=1,2,3.....): # 3.usdp.password.i: # 4.usdp.ssh.port.i: # 5.usdp.ssh.port.hostname.i: usdp.ip.1=127.0.0.1(need to change) usdp.password.1=your-node-root-password(need to change) usdp.ssh.port.1=22 usdp.ssh.port.hostname.1=your-node-hostname(need to change) usdp.ip.2=127.0.0.1(need to change) usdp.password.2=your-node-root-password(need to change) usdp.ssh.port.2=22 usdp.ssh.port.hostname.2=your-node-hostname(need to change) usdp.ip.3=127.0.0.1(need to change) usdp.password.3=your-node-root-password(need to change) usdp.ssh.port.3=22 usdp.ssh.port.hostname.3=your-node-hostname(need to change)
•执行新增节点初始化脚本
修改完上述配置文件,即可进入 sbin 目录执行如下修复命令
光盘刻录大师官方免费版v8.0
金山词霸2009专业版
有道云笔记官方版v4.12.0
永中Office2013个人版v7.1
Office Visio 2016官方版
Adobe Photoshop CS6精简破解版
photoshop7.0官方迷你版
搜狗输入法2018官方最新版
office2018激活工具最新版