灾备系统确保业务高连续性

摘要： 中国移动山东公司(以下简称“山东移动”)为保障业务连续性、提高用户体验，在2009年完成了三中心的容灾系统建设。日前，记者采访了中国移动山东公司账务中心崔可升副主任，在给记者介绍山东移动的三中心灾备系统的过程中，崔主任给出的这样一组数据给记者留下

　　中国移动山东公司（以下简称“山东移动”）为保障业务连续性、提高用户体验，在2009年完成了三中心的容灾系统建设。日前，记者采访了中国移动山东公司账务中心崔可升副主任，在给记者介绍山东移动的三中心灾备系统的过程中，崔主任给出的这样一组数据给记者留下了深刻的印象：

　　山东移动目前拥有用户5000多万；系统的规模、逻辑主机数量已经接近500台；系统的数据量4PB；在每年1-2亿的IT投入中，有2/3的投入是用于保证数据安全性和业务连续性的。

　　确保“三无产品”万无一失

　　如此大的用户规模和数据量，如何保证BOSS系统的业务连续性万无一失，成为了山东移动面临的首要挑战。崔主任说：“山东移动的领导曾经将BOSS系统的重要性形象的总结为‘三无产品’，三无是指：无可替代、无与伦比、无以复加。一句话，移动公司BOSS系统介于网络侧和用户侧，BOSS系统的计费数据来源于网络侧，用户通过BOSS系统进行产品订购等业务办理，并查询服务使用情况。，所以它处的环节是非常非常重要的。比如你的电话无意中被停机了，或者充了值迟迟不能打出电话，用户满意度会大大降低。”BOSS系统的安全性关系到山东5000多万用户的用户体验，也是企业的重中之重，为了降低风险，确保BOSS系统有备无患，万无一失，山东移动在业务连续性方面的建设也一直在不断的进步。

　　在2002年到2003年，山东移动实现了全省BOSS系统大集中。随着系统和数据的集中完成，也增加了系统的风险，为了保证业务的连续性，山东移动建设了一些简单的应急系统。应急系统的构建是在2004年完成的。山东移动在其他的存储设备上建立一个空间，做一个BCV（业务连续性卷），把数据复制到另一份，这些数据可以提供备份恢复的功能，这就是简单的容灾系统。

　　2005年山东移动的主备级容灾系统上线了。建设主备级备份系统的契机是山东移动建设了一个新中心。新中心建成后，山东移动把所有的业务迁到新的中心里面去；然后把原有的老的系统进行了一个改造，做成一个主备级的容灾系统。但是，主备级容灾系统也存在着一些问题，首先是对于现有系统在出现容灾的情况下，到底能不能完成任务?因为主备中心间的系统设备容量和能力不同，所以对于容灾的安全性存在着一定的疑问。另外一方面，在主备级容灾的过程中，新建的机房，需要人员值守等等一些成本，一年、两年，可能几年计算机设备更新比较快，4、5年一个周期设备就折旧差不多了，这样大量的设备不能得到应用，对于山东移动来说也是一个很大的浪费。反观生产中心，可能在有需要业务高峰期的时候有限资源分配不够，另外一个中心却有资源限制，主备中心间的资源无法平衡，也就带来了一个矛盾的问题。

　　07年开始，在原来主备级容灾的基础上，山东移动实行了双中心容灾方式，双中心容灾方式解决了备用中心容灾达不到充分发挥的问题。当然用双中心的容灾方式，对管理来说是更加增加了复杂度，技术实现方面也提出了很多很高的要求。

　　目前，山东移动用户量越来越多，而两个中心每个中心承载的业务也是非常大，考虑降低风险的方式，于是山东移动建立了第三个物理中心。原则上每一个中心承载的用户数不超过一定数量（如2000万户），这样的话相当于把风险分散在多个中心，这是山东移动设计三中心系统的核心思想。新建中心在空间、电影等配套环境等比较充足，山东移动现在基本上1对2的关系——一个中心承担了全省1/2的量，另外两个中心各承担1/4的量，这是从生产角度来看。与此同时，三中心还互相之间还承担了备份的任务。目前三个中心的业务已经完全上线了，运行非常好。这三个中心就任何一个中心出问题，其他两个中心都能把业务接过来，这样整个服务质量、整个客户的满意度大大提升了。

　　高性能与ROI的平衡

　　在移动行业内，有一个衡量信息化成本的有效指标，就是根据发展一位新的用户，移动所需的费用的多少。在山东移动，发展一个新用户所需的BOSS系统投资费用不到其他省份的二分之一，如何实现如此高的ROI，崔主任为我们介绍了山东移动的高效之道：

　　首先，信赖高端产品。山东移动现在所有的主机全是高端的IBM Power 595，存储实际上也是虚拟的，当然是从我们规划来看。我们存储目前IBM现在也是占了绝大部分，采用IBM也是最高端的DS8300，这款产品非常不错，包括我们的BOSS系统、经营分析系统，都采用大量的IBM存储系统。选择高端的机器是因为它的安全性提高了，我们就是用IBM最高端的机器，它的性能很好，安全性很好，这是一个方面。

　　另外，山东把IBM的虚拟技术发挥的淋漓尽致，我们全部买的都是大的设备，然后就像切蛋糕一样，切成一小块一小块的，因为这个切都是动态的切，根据业务发展情况可以动态调整，IBM虚拟技术发挥了非常重要的作用。这就是IBM所提倡的动态架构，这也是为什么山东移动在ROI方面比兄弟省份有如此大的优势之所在。实际上，山东移动的依托于IBM虚拟技术的动态资源调整架构，是目前概念比较热的“云计算”落地的典型案例。

　　最后，是选择合作伙伴，我觉得IBM的技术给我们提供了很好的平台，没有好的技术，可能很多思想就实现不了。系统架构的设计以及它的控制，包括对开发管理，以及对架构的拆分等等，我觉得这个方面也是需要我们有一些技术或者需要一些经验来做。这方面有两方面：一是IBM有很好的技术给我们提供平台，另外一方面我们积累了很好的经验，这两者也是缺一不可的。

　　一切从客户的角度出发

　　山东移动的容灾系统的建设不是一蹴而就的，而是在技术不断的摸索中，不断的进步的。从最初的应急系统到目前的三中心动态备份系统，山东移动在业务连续性方面的建设历程也具有广泛的借鉴意义。

　　崔主任总结到：“业务连续性是一个系统工程，不单纯只是容灾的项目，怎么样保证BOSS系统长时间稳定运行，涉及方方面面的事情，实际上我们在05年与IBM开展合作的时候，除容灾方面的建设咨询外，IBM还承担我们的机房设计、机房装修工作。我们和IBM合作，我觉得最主要的是看到了IBM在这个行业内的经验，对于我们可以提供一些借鉴意义，少走一些弯路。”

　　对于容灾系统来说，除了项目的搭建以外，演练也是非常重要的。山东移动对于灾备演练也是非常的重视，比如首先进行一些桌面演练，一次不行两次演练。保证在流程方面是畅通的，然后进行真实的演练，在演练中发现存在的问题，每一次演练都给山东移动带来了很多的收获。目前，山东移动每年都要进行灾备演练。

　　山东移动三中心系统的建设也离不开公司领导的高瞻远瞩，崔主任这样说：“作为公司领导层，始终站在客户角度来考虑，就是要求提供运行安全使用方便的BOSS系统，提高客户满意度。公司领导在投资、人员等方面给予了大力支持。至于你内部采用什么样的容灾备份、容灾机制等等，那是技术细节方面的事情，是我们建设维护部门需要也应该做好的，当然压力也很大。”一切从客户体验出发，一切为了业务连续性，唯有如此，才是山东移动长远发展之道。

(编辑：)

()