前 言
随着新应用新服务的不断推出，作为硬件平台的基础，服务器的需求量、维护量迅速增加，原来管理模式已跟不上要求，服务器的整合迫在眉睫。
北京服装学院网络中心经过一个多月的虚拟化测试，更好的了解了VMware的虚拟架构，体验了VMware服务器虚拟架构软件实现x86平台服务器的虚拟化整合、高可用性及业务连续性等完善可行的解决方案。对x86服务器虚拟化整合过程中所涉及到的相关技术进行验证，以检验VMware虚拟架构解决方案的可行性、可靠性及稳定性。
本方案设计主要通过虚拟化技术来实现服务器资源的整合，提高服务器硬件资源利用率并简化管理和降低总体拥有成本。在此基础之上，给出了如何在虚拟环境下保证业务的可持续性运行的解决方案。
1 当前服务器硬件平台现状和面临的问题
1.1 当前服务器硬件平台现状
随着服务的扩展，服务质量要求的提高，应用服务不断增多；并且随着新的应用系统的上线，将会有更多服务器及存储容量的扩展需求。
由于受操作系统版本不同、软件开发平台不同、应用不同、不同公司开发、相互之间协调、兼容等因素制约，目前这些已经部署和将来新增加的应用系统都需要单独配置服务器，使得服务器数量直线增加。
1.2 面临的问题
目前的服务器主要面临以下问题
1）服务器的利用率低。现在机房内运行的大部分机器的利用率都非常低，由于一台服务器只能有一个操作系统，受系统和软件开发平台的限制，CPU、内存、硬盘空间的资源利用率不超过15%，大量的系统资源被闲置。
2）可管理性差。首先是可用性低，几乎每个应用服务器都是单机，如果哪台服务器出现故障，相对应的业务也将中断。其次是系统维护、升级和扩容时需要停机进行，也将造成应用中断，其中包括一些重要业务系统，一旦中断服务影响很大。
3）兼容性差。系统和应用迁移到其他服务器，需要和旧系统兼容的系统。新的软件包括操作系统和应用软件无法运行在老的硬件平台，而老的代码有时候也很难移植到新的硬件平台上。例如：由于各种资源数据库不同公司分别开发，需要的运行的软硬平台很多时候不能保证兼容。为节省时间、物力和保持系统部署的顺利，只能用增加服务器单独部署的方法来解决。
4）服务器和存储购置成本高，维护成本递增，也不得不考虑。随着应用的不断增加，服务器数量也跟着增加，每年要支出高额购置费用不说，还有部分服务器已经过保修期，部件逐渐进入老化期，维护、维修预算费用也逐年增加。
2 方案设计
2.1 总体方案介绍
根据的网络中心的应用、服务和数据库等实际情况，我们建议方案部署针对不同的业务采取不同的架构方案：
对于核心的核心或无法虚拟化的系统仍旧采用物理机上面直接运行原有操作系统和数据库的方式，为了保证服务器及应用的可靠性，建议采用独立的双机集群的方式来保证在出现计划外和计划内停机的情况下，使业务仍能够提供。
对于众多应用服务器，建议采用VMware服务器虚拟化技术，将上述部分应用服务整合到2台2路4核或8核的物理机上，实现物理服务器的虚拟化。整合参考主机的整体运算能力建议以8:1左右。
为保障虚拟化平台的业务在出现计划外和计划内停机的情况下能够持续运行，同时建议采用集群的方式。
在数据存储方面，除了考虑像传统方式一样将数据库数据放在SAN存储阵列上外，同时将虚拟架构套件生产出来的虚拟机的封装文件都存放在在SAN存储阵列上。通过共享的SAN存储架构，可以最大化的发挥虚拟架构的优势，进行在线地迁移正在运行的虚拟机(VMware VMotion)，进行动态的资源管理(VMware DRS)和集中的基于虚拟机快照技术的Lan Free的整合备份(VMware VCB)等，而且为以后的容灾提供扩展性和打下基础。
硬件系统：
Ø 原有服务器2台（两台Dell 服务器2路4核32G内存,4张千兆网卡）
Ø 虚拟化整合后空闲出来的服务器作为备份管理服务器1台(DELL R900 4路4核16G内存,4张千兆网卡)
Ø 虚拟化整合后空闲出来的服务器作为vCENTER管理服务器1台(DELL R900 4路4核16G内存,4张千兆网卡)
Ø 共享存储阵列1台(利用现有存储阵列)
Ø 网络交换机等硬件设备(利用现有硬件设备)
虚拟化平台配置:
Ø 1个专用的 vCenter 实例
Ø 1个应用生产集群（2节点，每节点即为一台物理服务器）
Ø 1个专有的集群连接IP SAN存储阵列
2.2 方案构成详细说明
针对上面的拓扑图，详细说明如下：
2.2.1 虚拟架构主体部分配置说明
本方案的主体部分是2台安装了VMware vSphere 5软件的Esxi Server服务器。
VMware vSphere 5是VMware虚拟架构套件的基础组成部分，是动态、自我优化的 IT 基础结构的基础。 VMware vSphere 5是一个强健、经过生产验证的虚拟层，它直接安装在物理服务器的裸机上，将物理服务器上的处理器、内存、存储器和网络资源抽象到多个虚拟机中。 通过跨大量虚拟机共享硬件资源提高了硬件利用率并大大降低了资金和运营成本。 通过高级资源管理、高可用性和安全功能提高了服务级别 -- 对于资源密集型的应用程序也不例外。
根据统计，对于传统的服务器应用方式，通常服务器的平均利用率在5-15%之间，而采用虚拟架构整合后，服务器的平均利用率可达到60%-80%。我们完全可以通过在2台高配置的2路4-8核服务器上创建6-14个虚拟服务器的方式，来完成传统方式需要6-14台的低配置服务器才能完成的工作，用户在降低成本的同时，还大大减少了环境的复杂性，降低了对机房环境的需求，同时具有更灵活稳定的管理特性。
采用VMware虚拟架构相比于传统单台服务器部署单一应用方式的另外一个好处是，可以充分满足不同应用对系统资源的不同要求，比如有的应用只需要一个3.0 GHz CPU，512MB的内存就可以很好的运行，而有的高访问率、高吞吐量的应用则需要2个甚至是4个双核的CPU，8GB的内存才能保证稳定的运行，在传统方式下，往往不可能针对每一种应用来采购服务器，而是用一种或几种标准配置的服务器来统一采购，这样，势必会造成某些应用资源富裕，而另一些应用面临资源紧张的情况，且应用之间不能互相调配资源。采用虚拟架构后，由于每个虚拟机所需使用的系统资源都是由虚拟架构软件统一调配，这种调配可以在虚拟机运行过程中在线的发挥作用，使得任何一个应用都可以有充分保证的资源来稳定运行，同时，该应用在此时用不到的资源又可以被其他更需要资源的应用临时借用过去，最大限度的提高了整体系统的资源利用率。
每一台虚拟服务器都可以利用VMware 虚拟对称式多重处理 (SMP)技术，通过使单个虚拟机能够同时使用多个物理处理器，增强了虚拟机性能。作为一项独特的 VMware 功能，Virtual SMP 支持虚拟化需要多处理器和密集资源的企业应用程序（如数据库、资源和信息管理等）。
2.2.2 SAN集中存储实现虚拟服务器的文件共享
方案中，我们建议采用SAN集中存储方式，这样可以将每个虚拟机的文件系统创建在共享的SAN集中存储阵列上，VMware VMFS 虚拟机文件系统，是一种高性能的群集文件系统，允许多个ESXi Server 安装同时访问同一虚拟机存储。支持通过VMware vCenter、VMware VMotion技术、VMware DRS 提供的基于虚拟化的分布式基础结构服务。由于VMware的虚拟架构系统中的虚拟机实际上是被封装成了一个档案文件和若干相关环境配置文件，通过将这些文件放在SAN存储阵列上的VMFS文件系统中，可以让不同服务器上的虚拟机都可以访问到该文件，从而消除了单点故障。
2.2.3 虚拟架构环境的集中管理、自动化及优化运行
为了对服务器虚拟架构进行有效的管理和监控，方案中建议配置一台独立的Windows 2008服务器来做为VMware vSphere 5套件中的vCenter服务器，vCenter服务器为 IT 环境提供了集中化管理、操作自动化、资源优化和高可用性。基于虚拟化的分布式服务为数据中心提供了前所未有的响应能力、可维护性、效率和可靠性级别。
vCenter Server附属产品提供了资源优化和高可用性特征。
使用VMware DRS将可用资源与预定义的业务优先事务协调起来，同时使用VMware分布式资源调度程序优化劳动力密集型和资源密集型操作。在资源池内，负载分配规则设定一次，永远有效，自动执行，并能够热添加CPU/内存等更多的资源避免业务繁忙时段的过载。
使用 VMotion迁移运行中的虚拟机和执行无中断的IT环境维护。
Storage VMotion 对异构存储阵列执行的操作与 VMotion 对物理服务器执行的操作相同。Storage VMotion 可以将虚拟机磁盘文件从一个共享存储位置重新分配到另一个共享存储位置，并具有与 VMotion 相同的优势：零停机，连续的服务可用性和全面的事务完整性。这些优势适用于在许多情景中管理存储容量和性能。其中包括从一个存储阵列迁移到另一个存储阵列，或将虚拟机磁盘文件移动到位于光纤通道阵列上经过性能优化的LUN。Storage VMotion 的无中断特性意味着可以更积极地管理和平衡存储容量，以及减少I/O性能问题。
使用 VMware HA 实现经济高效、独立于硬件和操作系统的应用程序可用性。
使用分布式电源管理 (DPM)，在确保服务级别的同时，最大限度降低了数据中心服务器的耗电量。
Ø 当整个群集需要资源减少时，整合所有负载到少数几台服务器上
Ø 将不需要的服务器置于备用模式
Ø 当负载增加时，DPM自动将处于备用状态的服务器唤醒
利用 Update Manager 和 DRS 无中断地升级 Hypervisor。大批量地升级 Hypervisor并且不影响任何应用的运行，虽然 Hypervisor会重启，但确保虚拟机永不停机。
vStorage Thin Provisioning可让用户分配比实际购买的容量更多的存储容量，从而获得更高的存储利用率。过去，应用程序管理员在评估和设定容量需求时，需要将未来不断增长的容量需求考虑在内。这样过量部署容量常常导致空间闲置，这与在服务器空间中过量部署 RAM 的问题类似。Thin Provisioning 使管理员只需管理可用存储空间的利用率。有了 Thin Provisioning，虚拟机可访问比实际占用空间更多的存储空间。
Fault Tolerance (FT)提供了关键任务应用在虚拟机上7*24不停机运行的高可靠性。
Ø 在不同的主机上同步运行相同的虚拟机
Ø 出现硬件故障时，所有虚拟机均可实现零停机时间、零数据损失故障切换
Ø 零停机时间、零数据损失
Ø 无需复杂的群集或专用硬件
Ø 所有应用程序和操作系统通用的单一机制
vApp—自我描述的应用系统可实现自动化 SLA 管理，是将现有的或新的应用程序打包成自我描述实体以便于在不同地点进行快速地、具有相同服务水平的应用部署。
VMsafe API—用于虚拟机的所有虚拟硬件组件的API。
Ø CPU/内存检查
检查虚拟机或其应用程序使用的特定内存页
Ø 了解 CPU 状态
通过 CPU 和内存页的资源分配强制执行策略
Ø 网络连接
查看主机上的所有 IO 流量
能够截取、查看、修改和复制来自一台主机上的任何或所有虚拟机的 IO 流量
能够提供嵌入式保护或被动保护
Ø 存储设备
能够装入和读取虚拟磁盘 (VMDK)
检查对存储设备的 IO 读取/写入
对于设备具有透明特点，对于 ESXi Storage 堆栈具有嵌入特点
综上所述，vCenter Server提供了管理任意规模的虚拟IT环境所需的最高级别的简便性、效率、安全性和可靠性。如下图所示：
2.2.4 平台网络设计
本方案中虚拟化平台网络包含业务应用网络，管理网络和VMotion心跳网络。其中业务应用网络包含对外业务应用和内部业务应用。根据最佳实践，网络架构设计如下：
Ø 管理网络（HA心跳互联网络），vMotion在线迁移网络，虚拟机提供服务的网络各自独立。
Ø 对于每一个虚拟交换机vSwitch配置至少两个上行链路物理网络端口。
Ø 对于多网口的冗余配置将遵循在不同PCI插槽间的物理网卡之间配置。
Ø 对于物理交换网络也相应的进行冗余设置，避免单点故障。
Ø 采用千兆以太网交换网络，避免网络瓶颈。
Ø 对于吞吐量和高并发网络带宽使用要求的，通过在虚拟机网络vSwitch或vPortGroup上通过对多块1GbE端口捆绑负载均衡实现。
虚拟化架构中的关键虚拟网络连接组件是虚拟交换机。可以为一个虚拟机配置一个或多个虚拟以太网适配器。使用虚拟交换机，无需额外的硬件，同一VMware ESXi服务器上的虚拟机即可使用物理交换机上所使用的相同协议进行彼此通信。虚拟交换机还支持与来自其他供应商（如 Cisco）的标准 VLAN 实施兼容的 VLAN。本方案中，每台ESXi服务器规划的虚拟交换机配置如下：
|
虚拟交换机 |
功能说明 |
物理网口数 |
|
vSwitch 0 |
对外业务应用网络 |
1 |
|
vSwitch 1 |
内部业务应用网络 |
1 |
|
vSwitch 2 |
管理控制台，HA心跳互联网络 VMotion网络 |
2 |
对于虚拟交换机的双端口冗余，通过在vSwitch交换机层面配置双网卡的负载均衡或主备切换策略，负载均衡策略可以基于虚拟机源地址活目标地址IP哈希值，也可以设置为基于MAC地址哈希值。
对于虚拟机应用的网络，为了确保虚拟机在执行了vMotion迁移到另一物理主机保持其原有的VLAN状态，根据实际需要在虚拟交换机端口启用802.1q的VLAN标记（VST）方式；采用此方式的可以确保迁移主机可以保留原有的网络配置如网关等，并且在网络设置中启用通知物理交换机功能，该功能可以确保迁移主机通过反向ARP通知物理交换机虚拟机端口的更改，确保新的用户会话可以被正确建立。
对于虚拟机存储，采用IPSAN网络，通过虚拟机vmkernel包含的PSA多路径模块进行存储路径汇聚及故障策略选择。
ESXi主机网络连接配置示意图：
2.2.5 负载均衡高可用环境构建
本方案针对网络中心虚拟化环境的构建，充分考虑提高所有VMware虚拟化环境的可用性设计，利用SAN网络和磁盘阵列构建共享存储及VMware高可用集群环境；在网络层面和存储层面分别利用了VMware vSphere内置的网络冗余和存储多路径控制确保高可用；在服务器高可用性上，方案推荐的企业增强版内置了VMware DRS HA和vMotion等功能可以应对本地站点多种虚拟机应用计划内和计划外意外停机的问题。
VMware HA提供了简单易用、高效、高可用的虚拟机应用运行环境。在物理机发生故障时，可以被集群中的其他物理节点侦测到并且自动在备用物理机或其他有空闲资源的物理机启动故障节点在线的虚拟机，启动模式可以是自动或手动。此外，如果虚拟机操作系统故障也可以被VMware HA侦测到并尝试重启该虚拟机，最大限度保持虚拟机应用的可用性。
利用VMware DRS动态资源调配可以收集各物理主机和虚拟机资源（CPU、内存等）使用情况，并且提供虚拟机最佳放置策略，可以自动或手动进行虚拟机的在线迁移功能满足最佳负载平衡需求。利用DRS建立资源池，可以最大限度的保证xxxx虚拟化环境的核心应用，例如针对办公系统的SQL数据库设置高优先级别，确保其在资源池中CPU、内存等资源的配比保持最优。同时，可以构建DRS HA集群在确保负载平衡的同时满足高可用的要求。
对于需要对虚拟机所在物理机运行环境进行升级维护时，可以采用VMware VMotion技术在线将该物理机运行的虚拟机通过网络迁移到其他物理主机，并且确保迁移过程中对虚拟机应用没有影响；迁移后所有与客户端的会话连接不会中断，目前千兆网络vSphere可以同时并发迁移4个虚拟主机。
2.2.6 资源池规划设计
通过资源池可以委派对主机（或群集）资源的控制权，在使用资源池划分群集内的所有资源时，其优势非常明显。可以创建多个资源池作为主机或群集的直接子级，并对它们进行配置。然后便可向其他个人或组织委派对资源池的控制权。使用资源池具有下列优点:
Ø 灵活的层次结构组织
根据需要添加、移除或重组资源池，或者更改资源分配。
资源池之间相互隔离，资源池内部相互共享，系统管理员可向部门级管理员提供一个资源池。某部门资源池内部的资源分配变化不会对其他不相关的资源池造成不公平的影响。
Ø 访问控制和委派
系统管理员使资源池可供部门级管理员使用后，该管理员可以在当前的份额、预留和限制设置向该资源池授予的资源范围内进行所有的虚拟机创建和管理操作。委派通常结合权限设置一起执行。
Ø 资源与硬件的分离
如果使用的是已启用 DRS 的群集，则所有主机的资源始终会分配给群集。这意味着管理员可以独立于提供资源的实际主机来进行资源管理。如果将三台2GB主机替换为两台 3GB 主机，则无需对资源分配进行更改。这一分离实现了聚合计算能力而非单个个主机。
Ø 管理运行多层服务的各组虚拟机
为资源池中的多层服务进行虚拟机分组。无需对每个虚拟机进行资源设置，而是可以通过更改该组虚拟机所属资源池的设置来控制对这些虚拟机的总体资源分配。
虚拟化平台资源池分配资源的示意图如下：
如图所示，资源池内部是计算资源和内存资源、Datastore提供存储资源、端口组提供网络资源，本方案中涉及的2台服务器集群是一个大资源池，从中可以分配不同的资源池以对应不同行业用户群，通过设定资源池的预留、限制和共享值来实现资源池的资源划分、资源隔离以及资源的过载，提高整个系统的利用率。
Datastore代表存储资源，可以对多个业务系统划分多个Datastore，但是从存储资源利用的角度出发，初期采用多个业务系统共享一个Datastore的方式。
2.3 方案的优势
1）大大降低硬件成本
通过服务器初步整合，我们将8-14台服务器成功整合到2台服务器和存储设备里，以期明显地提高每个物理服务器及其CPU的资源利用率。对腾出的服务器可用作补充后期应用开发和服务器虚拟化，从而减少了物理服务器的扩充数量，大大地降低硬件成本。
2）提高运维效率和服务水平
(1)由于虚拟构架可使虚拟机具有动态可迁移性，不需要像以前那样，一遇到硬件故障或维护需要数天/周的变更管理准备和1 ～3小时维护时间，现在可以进行快速的维护和升级，不用担心某台服务器出现问题，会影响到整个应用平台。同时依托VMware虚拟化产品对各个厂商优良的兼容性和持续的技术创新，不再担心旧系统的兼容性，维护和升级等一系列问题。
(2)现在新应用部署速度加快，实际工作中，一遇到新应用使用新服务器进行部署和测试，可在虚拟机里进行，大大降低了服务器重建和应用加载时间，提高了管理和工作效率。
(3)由于将所有服务器作为大的资源统一进行管理，并按需进行资源调配，旧硬件和操作系统的投资得到了保护，也不再担心旧系统的兼容性，维护和升级等一系列问题。
(4)为将来的集中网络存储提供可能
由于整合后物理服务器数量减少，对由于成本或者其他原因未整合的服务器群没有接入到存储网络( iSCSi和NAS)的服务器，以后可以考虑接入到存储网络, 这样可以充分利用网络存储的优势，将这些分散的数据集中管理备份，为这些服务器和应用，以及今后的容灾奠定基础。同时，通过虚拟机的特有功能和网络存储的有效结合， 提高了这些应用的可用性、移动性和灵活性。