作者老赵·2018-10-31 17:25

系统工程师·某保险

某银行数据仓库存储升级改造项目实施文档

字数 11348阅读 4617评论 9赞 13

# 1方案概述
## 1.1方案介绍
xx银行现有的数据仓库存储运行了3年，随着数据的大幅增长，该设备无论在性能还是容量上均日益无法满足未来业务的支撑。根据规划后续还有数据仓库容量增长较大，届时所需要的存储空间有效容量将达到80TB。现有的传统机械式磁盘阵列已无法满足上述系统对其IO的要求，因此此次更换的存储设备须为支持SAN的全闪存介质设计。

本期项目针对xx银行对于数仓数据存储的升级需求提供具有在线压缩功能的高速全闪存存储设备，帮助xx银行提升数仓数据存储性能。
## 1.2 实施环境及目标
系统实施环境：
![fqt0luc2rxl](/home/attachment/201810/31/938931_154096930551160.png)

项目目标：集成部署IBM V9000存储，并将数仓存储EMC-VNX5500设备的数据迁移到IBM V9000，保障数据零丢失并缩短停机时间。

# 2实施规划
## 2.1设备安装规划
在安装 FlashSystem™ V9000 之前，物理环境必须满足某些需求。这包括验证是否有足够的空间可用，以及电源和环境条件的需求是否得到满足。

输入电压需求
表 1. 输入电压需求
![emmxdn4ncr7](/home/attachment/201810/31/938931_154096938911658.png)

每个组件的最大电源需求
表 2. 功耗
![ks034a1ioaa](/home/attachment/201810/31/938931_154096944511203.png)

尺寸和重量
表 3. 尺寸和重量
![zd0etedgy6o](/home/attachment/201810/31/938931_154096949019668.png)

**一般准则**
在为系统设计机架时，请使用硬件位置图表来记录系统的物理位置。

完成硬件位置图表中的信息后，请考虑以下需求：
确保机架不会上重下轻。查看机架随附的准则。务必将较重的组件放在机架的底部。

填写针对位于机架中的所有其他单元的行，包括以太网集线器和光纤通道交换机。 集线器和交换机通常都是一个 EIA 单元的高度，但请和您的供应者核实。

应该从机架底部开始安装组件。要改善对最底层组件的访问，在填写工作表时，请在地面以上预留 1U 或 2U 机架空间。

**FlashSystem V9000 构建块的机架准则**
该系统由两个 (2U) AC3 控制机柜和一个 (2U) AE3 存储机柜组成。这三个机柜组成了 6U 构建块 (BB)，三个组件之间没有空间。这三个组件由 6U 挡板覆盖，如下图所示：
图 1. FlashSystem V9000 构建块
![s12swz1qbgf](/home/attachment/201810/31/938931_154096967292394.png)

•			 1  AC3 控制机柜 (2U)
•			 2  AE3 存储机柜 (2U)
•			 3  AC3 控制机柜 (2U)
建议在机架下半区安装此配置。
机架硬件位置图表
使用下表输入 FlashSystem™ V9000 组件的目标位置。
表 1. 机架硬件位置图表   机柜编号：SB04

![b5b2kbc6d5b](/home/attachment/201810/31/938931_154096974163656.png)
![fs4v148c38j](/home/attachment/201810/31/938931_154096979728089.png)

## 2.2 V9000命名规划
V9000命名规划如下：
数据中心的V9000群集名称为：cluster_10.172.3.210。
节点名称：V9000_node1,V9000_node2

## 2.3 SAN交换机实施规划
### 2.3.1光纤交换机端口规划原则
本期配置的IBM V9000与SAN交换机连接共采用4个16Gb FC接口，其中每台SAN交换机连接2个端口，其中每个V9000控制器与每个交换机共连接1个端口。
每台服务器与每台交换机至少连接一个端口。
### 2.3.2光纤交换机端口规划
根据2.3.1中描述，端口连接规划如下：
数据中心SAN交换机1端口：
![z6p9vi1983](/home/attachment/201810/31/938931_154096999639940.png)

数据中心SAN交换机2端口：
![c7mkrdq2poh](/home/attachment/201810/31/938931_154097010211296.png)
### 2.3.3 SAN交换机Zone规划原则
要将 FlashSystem V9000 安装到将在安装期间使用的现有 SAN，您必须先确保设置交换机分区以使新连接与 SAN 的活动部分隔离。

您还应根据高可用性需求评估 SAN 的设计，通过执行以下步骤确保适用性：
1、	为每个主机指定主机总线适配器 (HBA)。
2、	定义性能需求。
3、	确定总存储容量。
4、	确定每个主机的存储容量。
5、	确定主机 LUN 大小。
6、	确定主机与 AC3 控制机柜之间所需的端口总数和带宽。
7、	确定您的 SAN 是否有足够的端口连接所有主机和 FlashSystem V9000。

IBM FlashSystem V9000与SAN交换机连接的Zone配置原则：
1、	V9000的所有连接到SAN交换机的端口组成一个大Zone，用于V9000控制器之间的通信。
2、	V9000的连接到SAN交换机的端口和所连接到V9000的服务器的每个端口都单独配置一个Zone。
### 2.3.4 SAN交换机Zone 规划
  SAN配置表：
DC-SS1-MDS9513-1
![8n5bx44rpax](/home/attachment/201810/31/938931_154097090834081.png)
![f7pfd5bc2k](/home/attachment/201810/31/938931_154097094365056.png)

DC-SS1-MDS9513-2
![xwmb65tzsec](/home/attachment/201810/31/938931_154097099515379.png)
![h6ifepucft8](/home/attachment/201810/31/938931_154097110654894.png)

## 2.4 V9000存储规划
当前V9000配置了8块5.7T闪存盘，裸容量为：45.6T，做完RAID后实际可用容量为31.2T。进行初始化配置后，创建存储池pool0，容量31.2T，压缩后预计可用容量为60T。

由于本次数据迁移是利用V9000的数据迁移功能实现，在迁移数据的时候会保持原有的lun结构，所以原有VNX5500上的150个lun会被迁移至v9000。由于V9000的磁盘性能都一样，以后在数据库增加容量的时候可以采用容量大的卷以便于管理，建议每个卷的大小为200G。

V9000存储容量规划如下：
![v7gomacal4](/home/attachment/201810/31/938931_154097115397658.png)

### 2.4.1 V9000微码版本规划
本期配置的V9000存储推荐采用V7.7.1微码版本，该版本支持本期采用的最新控制器9846-AC3。
详细信息如下：
https://public.dhe.ibm.com/storage/san/sanvc/release_notes/V9000_771_releasenotes.html

### 2.4.2 V9000网络规划
需要记录 AC3 控制机柜的管理地址信息值以及 AE2 存储机柜的服务地址值。
注：
1、	AE2 存储机柜和两个 AC3 控制机柜必须全都物理连接到管理网络，即使它们共享一个集群地址也如此。
2、	可以使用 IPv4 和 IPv6 地址。
表 1. AC3 控制机柜 IP 地址

![0negzhawnws](/home/attachment/201810/31/938931_154097121591487.png)
表 2. AE2 存储机柜所需的服务 IP 地址

![yczj8btuddn](/home/attachment/201810/31/938931_154097125329131.png)

V9000所需TCP／IP端口与服务如下：
![bbixwhhhlpi](/home/attachment/201810/31/938931_154097148648147.png)

# 3 SAN交换机实施
参考SAN交换机规划进行配置；配置时建议在业务非繁忙时期进行；
SAN交换机配置步骤如下：（以portzone为例）
1.创建别名；
2.创建zone；
3.加入zone 配置；
4.保存和激活配置

# 4.V9000存储虚拟化实施
## 4.1 V9000内部连接
下图显示了混合有 FC 和 10 Gb 以太网主机连接的固定构建块内 AC3 控制机柜中的适配器位置。

图 1. 使用 16 Gbps FC 和 10 Gb 以太网主机连接的 AC3 控制机柜中的适配器位置
![qx5ykcjuk](/home/attachment/201810/31/938931_154097155424618.png)

•	 1  未使用
•	 2  可选的 SAS 适配器
•	 3  16 Gbps FC 适配器（必需）
•	 4  16 Gbps FC 适配器（必需）
•	 5  压缩适配器
•	 6  10 Gb 以太网适配器，针对主机连接
•	 7  16 Gbps FC 适配器，针对主机连接
•	 8  压缩适配器

下图显示了两个 AC3 控制机柜与 AE2 存储机柜之间的电缆连接。

•	该图显示了从各组件后部面板观察到的端口。例如，每个 AC3 控制机柜的图都显示插槽 3、4 和 7 中适配卡上的 16 Gbps FC 端口以及插槽 6 中的 10 Gb 以太网主机适配器。
•	在图中的每个 AC3 和 AE2 机柜上，通过数字标识每个端口。数字显示该端口的目标。例如，在上方的 AC3 控制机柜上，标注为“3”的端口连接到 AE2 存储机柜上标注为“3”的端口。

图 2. 具有混合主机连接的固定构建块的电缆连接
![0rtppt8ekc](/home/attachment/201810/31/938931_154097161491245.png)

表 1. 具有混合主机连接的固定构建块图注
![05cijrq1wkwc](/home/attachment/201810/31/938931_154097165410852.png)

## 4.2 V9000初始化配置
通过笔记本连接到V9000的T口，打开笔记本网络的DHCP，打开firefox连接192.168.0.1，使用管理 GUI 来完成以下高级任务：

•	从管理 GUI 中，选择并创建新密码。
•	通过输入 NTP 服务器的 IP 地址，或通过手动输入日期和时间来配置日期和时间。
•	配置许可功能。

对于外部虚拟化，基本 5639-RB7 许可证授权 FlashSystem™ V9000（机器类型 9846/9848）执行所有许可功能，例如虚拟化、FlashCopy、全局和高速镜像以及实时压缩。任何不是 FlashSystem V9000 的已连接存储器都需要外部虚拟化许可证，该许可证基于“每容量单位”的度量。因为子容量许可功能适用，所以 FlashCopy、远程镜像或实时压缩许可证的数量并不总是需要等于外部虚拟化许可证的数量。

根据规划设置好IP地址：10.172.3.210，用户名：superuser，密码：password，第一次登录后进入配置向导，根据提示进行初始化配置：
点击下一步：
![cb26r77vmvf](/home/attachment/201810/31/938931_154097172397055.png)

选择第一个节点，点击下一步：
![pckfn2ummbt](/home/attachment/201810/31/938931_154097176231742.png)

输入V9000的管理IP：10.172.3.210，点击下一步：
![le8lsffjky](/home/attachment/201810/31/938931_154097179485731.png)

点击下一步：
![l17bwwxj9u](/home/attachment/201810/31/938931_154097188530075.png)

点击完成：
![wnw97t7ri2g](/home/attachment/201810/31/938931_154097192587764.png)

完成V9000初始化:
![c43eb7jjf6](/home/attachment/201810/31/938931_154097195938247.png)
![b39vtrhi1k7](/home/attachment/201810/31/938931_154097198510811.png)
![uj4n8yg1z7n](/home/attachment/201810/31/938931_154097200796562.png)

打开firefox输入https://10.172.3.210，第一次登录系统，会进入配置向导，点击下一步：
![q6x0033n5xj](/home/attachment/201810/31/938931_154097204610103.png)

输入V9000集群名称，点击下一步：
![wzkn3hgswxs](/home/attachment/201810/31/938931_154097208560881.png)

输入虚拟化容量，点击下一步：
![cxzatlnkq55](/home/attachment/201810/31/938931_154097211131700.png)

点击下一步：
![sivfd692gk](/home/attachment/201810/31/938931_154097214385710.png)

输入相关客户信息，点击下一步：
![fau9u7hpvy4](/home/attachment/201810/31/938931_154097220965572.png)

输入联系人信息，点击下一步：
![isjjftby6f](/home/attachment/201810/31/938931_154097224675408.png)
![3txg2e1jzxt](/home/attachment/201810/31/938931_154097230314929.png)

点击完成：
![du6niemhsq](/home/attachment/201810/31/938931_154097232911020.png)

进入V9000管理界面：
![c0txez4o59t](/home/attachment/201810/31/938931_154097236093225.png)

往集群添加存储柜，点击下一步：
![6sxxpsrrx6](/home/attachment/201810/31/938931_154097239515282.png)

V9000会自动发现以连接的存储柜：
![1c6hpsjxyh2](/home/attachment/201810/31/938931_154097344727543.png)
![snvax3dz3t](/home/attachment/201810/31/938931_154097348362230.png)
![hhj3l2ov3er](/home/attachment/201810/31/938931_154097350949127.png)

自动进入阵列初始化：
![k4mtcce7q5c](/home/attachment/201810/31/938931_154097492753470.png)
![lxbtkf5yh3](/home/attachment/201810/31/938931_154097497176383.png)
![v7wbb354jeo](/home/attachment/201810/31/938931_154097502252485.png)
![dgsscbu6nb7](/home/attachment/201810/31/938931_154097504225735.png)

## 4.3 数据迁移实施步骤
![auxiqz4cpm](/home/attachment/201810/31/938931_154097520357942.png)
![j0i6akziz4g](/home/attachment/201810/31/938931_154097518468476.png)
![30r5gh1i2rs](/home/attachment/201810/31/938931_154097524854229.png)
![h9dvedfm9m](/home/attachment/201810/31/938931_154097527927716.png)
![wyyzq0f5yo9](/home/attachment/201810/31/938931_154097531180405.png)
![g5rvv6bq8fu](/home/attachment/201810/31/938931_154097537140670.png)
![i9ujibw83f](/home/attachment/201810/31/938931_154097542159744.png)
![klx9nye4w1](/home/attachment/201810/31/938931_154097551636803.png)
![62v6ni3l1ss](/home/attachment/201810/31/938931_154097557862973.png)
![mo1epc3szf](/home/attachment/201810/31/938931_154097562387272.png)
![8lerkc81m6v](/home/attachment/201810/31/938931_154097564928754.png)
![yqlpmhagipi](/home/attachment/201810/31/938931_154097568625857.png)
![j5e30xozk0j](/home/attachment/201810/31/938931_154097588833103.png)

![dvmohgkr1k7](/home/attachment/201810/31/938931_154097594518934.png)
![0b7ymnr98h5a](/home/attachment/201810/31/938931_154097597162145.png)
![aat8og36kru](/home/attachment/201810/31/938931_154097600234453.png)

# 5、V9000常用维护命令

## 5.1创建压缩卷
选择Pools → Volumes by Pool，进入卷管理的窗口：

![se491p2ifle](/home/attachment/201810/31/938931_154097605387160.png)

点击Creat Volumes，弹出以下创建卷的窗口：
![tg9qji5oms](/home/attachment/201810/31/938931_154097611040009.png)

可以根据需要选择不同类型的卷，包括传统卷、精简配置卷（Thin-Provisio），镜像卷、精简镜像卷和压缩卷。点击所需要卷类型的图标，弹出以下窗口：
![4ix32sgcw49](/home/attachment/201810/31/938931_154097614585752.png)

输入相应的所需LUN的数量、容量、名称等信息，点击create，完成卷创建。
![ojf7ykrksce](/home/attachment/201810/31/938931_154097619259232.png)

## 5.2创建主机
选择Hosts > Hosts，进入以下窗口：
![1o8unte1uu3h](/home/attachment/201810/31/938931_154097625838272.png)

点击Add host，弹出以下窗口：
![0obw9bdkcpv](/home/attachment/201810/31/938931_154097628525637.png)

输入主机名称，选择主机对应的端口号，点击Add Port to List，可以加入多次，然后点击Add host，完成主机添加。

## 5.3映射卷给主机
选择Pools → Volumes by Pool，进入卷管理的窗口：
![1315n7iawndm](/home/attachment/201810/31/938931_154097632164570.png)

点击Action> Map to Host，弹出以下界面选择主机名称，并点击Map Volumes，完成主机映射。
![f2yftm26rqt](/home/attachment/201810/31/938931_154097636050448.png)

## 5.4 aix下V9000多路径命令
在aix系统下查看V9000多路径常用命令：
1、	多路径状态查看
# sddpcm_get_config -Av

2、停止对应lun路径（路径分别是2、3、5、7，这里是路径停止路径7）
pcmpath set devic
pcmpath set device 2 path 7 offline
pcmpath set device 3 path 7 offline
pcmpath set device 4 path 7 offline
pcmpath set device 5 path 7 offline

3、查看对应端口
pcmpath query port

4、启用对应lun路径
pcmpath set device 2 path 7 online
pcmpath set device 3 path 7 online
pcmpath set device 4 path 7 online

5、清除error
p750lpar1:/# pcmpath clear device 3 count error
Success: error counter reset
其他常用命令
pcmpath: 显示和管理 SDDPCM 设备。
pcmpath query adapter: 显示适配器配置
pcmpath query version: 显示 SDDPCM 的版本
pcmpath query device: 显示 SDDPCM 设备（pcmpath query device 44 仅显示此设备）
pcmpath query essmap: 显示完整概述
pcmpath set device algorithm: 动态更改路径选择算法
pcmpath set device hc_mode: 动态更改路径运行状况检查模式
pcmpath set device hc_interval: 动态更改路径运行状况检查时间间隔
pcmpath set device Mpath N online/offline: 动态启用（联机）或禁用（脱机）路径
pcmpath set adapter N online/offline: 动态启用（联机）或禁用（脱机）适配器（SDDPCM 保留设备的最后一个路径，并且如果该设备正在使用最后一个路径，则会失败）
pcmquerypr: 读取并清除暂存的保留和注册密钥
pcmquerypr -vh /dev/hdisk30: 查询并显示暂存的保留（-V 详细模式以及详细信息）
pcmquerypr -rh /dev/hdisk30: 释放暂存保留（如果设备被当前主机保留）
pcmquerypr -ch /dev/hdisk30: 删除暂存保留并清除所有保留密钥注册
pcmquerypr -ph /dev/hdisk30: 删除暂存保留（如果设备被其他主机保留）
pcmgenprkey: 设置或清除所有 SDDPCM 多路径 I/O (MPIO) 设备的 PR_key_value Object Data Manager (ODM) 属性

## 5.5 开启和关闭V9000
要开启或关闭 系统的电源，请按给定顺序完成此过程中的步骤。
打开 FlashSystem V9000 构建块的电源
开启光纤通道和以太网交换机的电源。

要开启 AE2 存储机柜的电源，请将两根电源线连接到存储机柜上的两个电源接口。 等待电源指示灯 (LED) 点亮，闪烁，然后一直点亮。该过程可能最多需要 10 分钟。

要开启每个 AC3 控制机柜的电源，请按电源控制按钮。因为该按钮是凹陷的，所以您可能需要一个尖头设备（如螺丝刀）以按下电源控制按钮。
关闭系统前

要卸下系统的所有输入电源（例如，必须关闭机房电源以便进行维护），必须先关闭系统，然后再卸下电源。关闭系统会使系统中的所有节点将数据存储到内部驱动器中，然后进入待机状态。待机状态下，无法再访问系统提供的卷。

如果在关闭节点电源前未关闭系统，那么节点会检测断电情况并继续依靠电池来运行，直至将内存中保留的所有数据保存至内部驱动器。

在对机柜恢复输入电源时，节点中的电池会重新充电。但是，只有在电池具有足够的电量来支持在意外断电时保存节点上的所有数据时，节点才允许进行任何 I/O 活动。如果电池已放电，这一过程可能需要长达两小时，因为节点是依靠电池来运行的。在卸下电池输入电源前请关闭系统，以防止电池电量泄露并可以在恢复输入电源时恢复 I/O 活动。

关闭 V9000 构建块的电源
要关闭系统电源，请完成以下步骤：
停止主机。

要关闭 FlashSystem™ V9000 构建块，请从 管理 GUI 中的“系统”视图中， 右键单击任一 AC3 或 AE2 机柜，并长按鼠标按键 2 秒钟。松开鼠标右键并选择关闭系统电源。 提供确认代码后，完整的 FlashSystem V9000 解决方案将开始执行电源关闭过程。
（可选）关闭光纤通道交换机和以太网交换机。

数据仓库 v9000

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！