软件下载中心_绿色免费软件,手机游戏|软件下载,到超人软件站

当前位置:首页 > 游戏资讯 > 服务器

UCloud优刻得一站式智能大数据平台USDP免费版操作部署指南

我要评论
分享到:
百度识图手机版app免费下载
类别:休闲娱乐大小:下载:8次
立即下载

扫描二维码,手机下载APP

近日UCloud全新发布了针对私有化部署场景下的免费版USDP,免费版USDP支持HDFS、Kudu、ES 全生态,助力企业提升大数据开发、运维效率,快速构建大数据业务的分析处理能力。关于免费版USDP的部署操作如下文演示。

环境准备

用户进行如下简单步骤,即可利用 USDP 实现大数据业务、数据仓库等相关业务建设,简单有效。

1.1 最低配置

在大数据生产环境中,几乎不可能使用伪分布式的单机部署模式,因此 USDP 智能大数据平台所支持的最小部署模式为 3 个节点,每个节点的配置情况,需要根据用户业务的使用情况而定,例如:每个节点上部署 10 个服务、组件与部署 20 个服务、组件所消耗的 CPU、内存资源必然不同。按照最低运行标准,USDP 给出如下最低参考配置:

节点序号CPU内存系统盘数据盘系统
节点14 核+8 GB+80 GB+500 GB+CentOS 7.2 – 7.6
节点24 核+8 GB+80 GB+500 GB+CentOS 7.2 – 7.6
节点34 核+8 GB+80 GB+500 GB+CentOS 7.2 – 7.6

注意:上述节点可以是物理节点、也可以是虚拟节点。

1.2 下载资源与系统环境准备

节点配置完成后,用户即可开始下载对应的内容,进行部署前的准备工作了。

1、资源下载地址如下:

•US3:https://s3-cn-bj.ufileos.com/jungle111111/usdp-1.0.0.0/install/usdp-free-1.0.0.tar.gz

•百度网盘

链接:https://pan.baidu.com/s/1mlic-9ZbK4are52zh1mKfw 提取码:spp9

2、资源说明

USDP 的下载内容主要分为如下 3 种类型:

类型序号安装包名称安装包说明放置目录
1usdp-01-master-privatization-free-1.0.0.0.tar.gzUSDP 主程序与大数据服务资源包/opt/usdp-srv/
2httpd-rpms.tar.gz 、mirror.tgzUSDP 离线 yum 基础源资源包/data
3epel.tgzUSDP 离线 yum 扩展源资源包/data

其中压缩包 usdp-01-master-privatization-free-1.0.0.0.tar.gz 解压后,得到如下目录:

序号目录目录说明
1agentUSDP 分布式客户端程序
2binUSDP 程序启停脚本
3configUSDP 程序配置文件
4jmx_exporter进程监控指标采集程序
5recommend大数据服务部署预置模板
6repair部署前环境初始化脚本与资源包
7repository大数据服务资源包
8scriptsUSDP 相关程序脚本
9serverUSDP 分布式管理端程序
10sqlUSDP 元数据信息初始化 SQL
11templated大数据服务配置模板
12verify证书存放路径
13versionsUSDP 大数据资源包版本信息

部署说明

在开始部署之前,请选择在准备部署 USDP 服务端的节点上通过 root 命令执行如下操作。

2.1 环境初始化

本篇主要介绍如何通过 USDP 自动初始化脚本完成集群环境配置,如果用户想要自己完成环境初始化工作,可以参考附录中的内容,手动安装依赖。

2.1.1 首次全量修复

1. 环境初始化模块目录说明

环境初始化模块的子目录如下:

repair 初始化模块子目录说明
bin单个修复模块脚本所在目录,无需手动管理;
config一键修复脚本所需配置文件目录,需要用户手动修改;
packages修复过程中安装 USDP 所需依赖压缩包存放目录;
sbin一键修复主脚本所在目录,无需手动管理;

2. 修改配置文件

repair 修复模块子目录 config 下存放修复脚本所需配置文件,如下所示。

环境初始化模块配置文件说明
repair.properties主要配置私有化 yum 源安装节点信息、namp 安装节点信息、mysql 数据库安装节点信息、修复机器总数,以及修复模块日志存放位置。用户根据需要自行修改相关配置项;
repair-host-info.properties节点全量修复,需要配置此文件,具体配置所有节点内网 Ip、密码、端口号以及主机名;
repair-host-info-add.properties集群新增节点时,需要配置此文件,具体配置新增节点内网 Ip、密码、端口号以及主机名;

首次全量初始化环境所需修改配置文件如下所示。

•repair.properties

示例如下:
# Set the YUM source host IP
yum.repo.host.ip=127.0.0.1(need to change)
#The Host information for installing the NMAP service
namp.server.ip=127.0.0.1(need to change)
namp.server.port=22
namp.server.password=your-node-root-password(need to change)
# The Host information for installing the NTP service(Master)
ntp.master.ip=127.0.0.1(need to change)
# Install MySQL machine node information
mysql.ip=127.0.0.1(need to change)
mysql.host.ssh.port=22
mysql.host.ssh.password=your-mysql-password(need to change)
# Set the MYSQL database login password
mysql.password=ucloud.cn1qaz!QAZ(need to change)
# The total number of machines needed to be repaired.
repair.host.num=n(The total number of machines needed to be repaired )
# The total number of added machines needed to be repaired.
repair.add.host.num=m(The total number of added machines needed to be repaired)
# Common Settings.
repair.log.dir=./log

上述代码解释如下:

            具体配置项            说明
            yum.repo.host.ip            填写未来即将部署 私有化yum 源 的节点的内网 IP(即执行 repair 脚本的节点 ip );
            namp.server.ip            填写未来即将部署 USDP 管理端 的节点的内网 IP;
            namp.server.port            填写未来即将部署 USDP 管理端 的节点 SSH 端口号,默认22;
            namp.server.password            填写未来即将部署 USDP 管理端 的节点的密码;
            ntp.master.ip            选择某个节点作为 NTP 时间同步master 服务器,填写内网 IP;
            mysql.ip            选择某个节点作为 MySQL 服务器,填写内网 IP;
            mysql.host.ssh.port            设置 MySQL 所在节点的 SSH 端口号,默认 22;
            mysql.host.ssh.password            设置 MySQL 的 所在节点的密码;
            mysql.password            设置数据库登录密码;
            repair.host.num            设置修复机器数量;
            repair.add.host.num            新增节点时需要配置此项,全量修复时无需修改;
            repair.log.dir            设置环境初始化日志存放位置;

•repair-host-info.properties

示例如下:
# 1.Please provide the information of hosts needed to be repaired in the format specified below
# 2.usdp.ip.i(eg:i=1,2,3.....):
# 3.usdp.password.i:
# 4.usdp.ssh.port.i:
# 5.usdp.ssh.port.hostname.i:
usdp.ip.1=127.0.0.1(need to change)
usdp.password.1=your-node-root-password(need to change)
usdp.ssh.port.1=22

usdp.ip.2=127.0.0.1(need to change)
usdp.password.2=your-node-root-password(need to change)
usdp.ssh.port.2=22
usdp.ssh.port.hostname.2=your-node-hostname(need to change)
usdp.ip.3=127.0.0.1(need to change)
usdp.password.3=your-node-root-password(need to change)
usdp.ssh.port.3=22
usdp.ssh.port.hostname.3=your-node-hostname(need to change)

上述代码解释如下:

具体配置项说明
usdp.ip.iUSDP 集群安装节点内网 Ip;(i 表示1-n 的取值,n 为集群机器总数);
usdp.password.iUSDP 集群安装节点密码;
usdp.ssh.port.iUSDP 集群安装节点端口号,默认 22;
usdp.ssh.port.hostname.iUSDP 集群安装节点主机名;

3. 执行初始化脚本

完成上述步骤后,执行如下命令即可开始一键初始化任务。

cd /opt/usdp-srv/usdp/repair/sbin
bash repair.sh initAll
source /etc/profile

初始化过程为完全离线的方式,等待一段时间后,即可将所有对应节点的环境准备完毕。

4. 为 USDP 配置 MySQL 数据库

修改/opt/usdp-srv/usdp/config/application-server.yml文件,找到 datasource 配置片段,修改前如下:

datasource:
    type: com.zaxxer.hikari.HikariDataSource
    #    driver-class-name: org.gjt.mm.mysql.Driver
    driver-class-name: com.p6spy.engine.spy.P6SpyDriver
    url: jdbc:p6spy:mysql://udp01:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false
    username: root
    password: 1qaz!QAZ

根据之前设置的 mysql 的安装所在节点主机名以及数据库登录密码,修改url 中的对应udp01及 password 的值,修改后如下:

datasource:
    type: com.zaxxer.hikari.HikariDataSource
    #    driver-class-name: org.gjt.mm.mysql.Driver
    driver-class-name: com.p6spy.engine.spy.P6SpyDriver
    url: jdbc:p6spy:mysql://pusdp_master1:3306/db_udp?useUnicode=true&characterEncoding=utf-8&useSSL=false
    username: root
    password: ucloud.cn

2.1.2 集群新增节点初始化步骤

当集群部署完毕后,如需要新增节点,同样需要准备好部署环境,对于新增节点环境初始化, USDP 也提供一键式修复,需要做如下步骤:

•配置 repair-host-info-add.properties 文件

与4.1节中的全量修复类似, 修改 repair-host-info-add.properties 文件,具体示例如下:

# 1.Please provide the information of added hosts needed to be repaired in the format specified below
# 2.usdp.ip.i(eg:i=1,2,3.....):
# 3.usdp.password.i:
# 4.usdp.ssh.port.i:
# 5.usdp.ssh.port.hostname.i:
usdp.ip.1=127.0.0.1(need to change)
usdp.password.1=your-node-root-password(need to change)
usdp.ssh.port.1=22
usdp.ssh.port.hostname.1=your-node-hostname(need to change)

usdp.ip.2=127.0.0.1(need to change)
usdp.password.2=your-node-root-password(need to change)
usdp.ssh.port.2=22
usdp.ssh.port.hostname.2=your-node-hostname(need to change)


usdp.ip.3=127.0.0.1(need to change)
usdp.password.3=your-node-root-password(need to change)
usdp.ssh.port.3=22
usdp.ssh.port.hostname.3=your-node-hostname(need to change)

•执行新增节点初始化脚本

修改完上述配置文件,即可进入 sbin 目录执行如下修复命令


展开更多

上一篇: 咖啡主机:美国Cera大带宽VPS上线,月付低至13元,280Mbps带宽

下一篇: SpinServers Chia币矿机套餐:269美元/月,2*e5-2690v4(28C/56T)/32gDDR4/23T SSD/10Gbps带宽