数据中心的“小故障”不容忽视

数据中心是很多复杂的高度相互关联的系统，需要许多不同的子系统功能都维持正常，才能确保设施可以提供服务。不幸的是，往往一个看似微小的错误往往会导致整个系统瘫痪。最近，维基百科的宕机是因为数据中心的光纤被意外切断，Twitter之前在奥运会期间的中断，是由于数据中心主系统和备份系统同时出现故障。
    从中我们可以吸取的教训是，不仅仅是飓风、地震、公共设施中断、恶意攻击会造成数据中心宕机。任何事情，包括一个相对较小的网卡故障，也可能会破坏您的数据中心。
    因此，我们对待较小的程序中断也需要像大型故障一样慎重。在这两种情况下，最关键的是做好充分的准备，以减少业务损失。以下有一些建议。
    把安全作为首要任务。通常数据中心宕机是由一些很烦人的，但是对人身安全无害的事件所引起。但是当出现危险情况时（比如裸露的电导体），必须确保安全第一。不要以人民币的名义让您的员工处在危险中。另一方面，当然，你也要知道什么时候是过度保护了，避免一些不必要的安全措施。关键是要找到正确的平衡点，在尽量减少人员伤害的同时降低安全措施的成本。
    未雨绸缪。这也许是最重要的一步。如果等到中断发生了，才制定行动计划，那你已经处在劣势了。提前确定应该联系谁（应该谁在现场）。制定流程来确认和解决这个问题。一份服务提供商的名单是需要准备的，因为你可能需要联系他们以寻求帮助，比如冷却装置等系统出现故障。也许最重要的是，有条有理地整理所有这些信息，方便让需要它的人能及时获取。通过提前规划，你可以更迅速地让数据中心和业务再次运行。
    备份您的数据。对于大多数人来说，在大部分的时间里，保险费是讨厌的费用，看起来没有任何回报。但是，当灾难袭来时，购买的保险就派上了用场。备份你的重要数据也是一样的道理。在你没有丢失数据之前，这似乎是在浪费时间。但是你必须定期在正常运作期间进行备份，否则当中断已经发生时，就来不及了。
    部署数据中心基础设施管理/监控（DCIM）解决方案。迅速解决宕机事故的关键是搞清楚问题出在哪里。手电筒和万用表可能不会奏效，你需要（最好）能集中访问您系统的信息和状态，以发现故障区域。一个DCIM解决方案可以在宕机事故发生之前，帮助确定这些麻烦的区域。
    跟踪您的数据中心服务的使用率。高峰使用时间对系统会造成压力，而这可能是发现潜在问题的最佳时间。你应该在这段时间内为宕机做好最佳准备。这时最有可能发生断路器翻转或者冷却装置失效。这也是客户最需要你的时候。
    结论
    小故障和大故障都要做同样的准备。小故障可能对业务产生比较小的影响，但是仍然必须解决掉它，以免它以滚雪球的形式造成更大的问题。小故障可能是大问题的征兆。