数据中心

数据中心概述

数据中心是所有企业网络的核心,依靠它才能传输、访问和存储所有信息。在这里,线缆将企业局域网 (LAN) 连接到支持所有应用、处理和通信的交换机、服务器、存储区域网 (SAN)、以及其他活动设备。它也是 LAN 连接到服务提供商网络并访问因特网和设施外的其他网络的地方。

 

本页内容

 

什么是数据中心布线?

数据中心布线将企业局域网 (LAN) 连接到支持所有应用、事务和通信的交换机、服务器、存储区域网 (SAN) 以及其他活动设备。LAN 通过其连接到服务提供商网络,以及访问互联网和设施外的其他网络。

 

数据中心布线标准

ANSI/TIA-942、ISO/IEC 24764 和 ANSI/BICSI 002 等标准为数据中心的设计和部署提供了最起码的建议,其中涉及通道和空间、主干和水平布线、冗余和可用性、线缆管理以及环境考虑因素等方面。

这些标准还概述了数据中心的特定功能区域:
 

  • • 接入机房 (ER): ER 有时称为接入设施,位于数据中心的内部或外部。这是服务进入数据中心的入口,提供分界点,以便服务提供商网络和主干线缆连接到园区环境中的其他建筑物。
     
  • • 主分布区 (MDA): 作为中心分布点,MDA 中放置着用于连接到 LAN、SAN 和数据中心其他区域的核心交换机和路由器,也是整个设施的电信机房 (TR) 所在的区域。
     
  • • 水平分布区 (HDA): HDA 是用于将设备分布区 (EDA) 中的服务器连接到 MDA 中的核心交换机的分布点。在这里,来自 MDA 的光纤主干上行线缆在交叉连接架构或互连架构中的光纤配线架上端接,从而连接汇聚交换机和接入交换机。虽然大多数数据中心都至少有一个 HDA,但在架顶式 (ToR) 架构中,接入交换机直接连接到同一个机柜中的服务器,因此不需要有 HDA。
     
  • • 设备分布区 (EDA): 这是服务器所在的区域。这些服务器通过在铜缆或光纤配线架上端接的水平线缆连接到 HDA 中的交换机,或直接连接到同一个机柜中的 ToR 交换机。
     
  • • 中间分布区 (IDA): 这些空间可有可无,有时称为中间分配器,常见于有多个楼层或机房的大型数据中心,这些数据中心通过汇聚交换机把来自 MDA 的光纤链路分布到各个 HDA 和 EDA。
     
  • • 地区分布区 (ZDA): 这些空间可有可无,企业数据中心通常没有这些空间。ZDA 中没有活动设备,但在采用水平布线时可作为 HDA 和 EDA 之间的集合点,以便于未来进行扩展和重新配置。

下图来自 TIA-942 数据中心标准,显示了与主干线缆(蓝色)和水平线缆(红色)连接的各种空间。

 

数据中心面临的重大挑战

数据中心是企业运营的关键,有不断增加的任务关键设备。为了保证可靠性和性能,有多个关键因素和挑战需要考虑,以满足当前和未来的需求。我们先来看几个比较重要的。

 

增长和可扩展性

随着信息和应用的持续增长,数据中心不断扩展容量,以容纳更多的活动设备和链路。与此同时,还需要为设备提供高带宽、低延迟的数据传输。设计良好的数据中心应能够充分利用空间以支持增长和可扩展性——确保布线通道可管理,提高效率,并保护整体性能、可靠性和弹性。

随着企业在数据驱动的世界中竞争,越来越多的云和托管数据中心不断涌现。这些数据中心为部署新系统和服务提供了更快捷的途径,使企业可以迅速应对不断变化的需求并扩展容量,而无需升级内部的企业数据中心。许多企业倾向于使用混合 IT 方法,将部分 IT 资源放在内部或安全的托管数据中心(特别是企业需要掌控的数据),而其他资源则保存在云中。云资源使用软件即服务 (SaaS),托管数据中心则通常提供基础设施即服务 (IaaS)。

 

冗余和可用性

数据中心可靠性主要取决于可用性(正常运行时间)和冗余(重复)。

冗余需要使用重复的组件(例如设备、链路、电源和通道),从而保证任何一个组件出现故障时数据中心仍能正常运行。冗余通常以“N 系统”来定义,其中“N”是数据中心正常运行所需的基本组件数量。

  • ○ N+1 冗余表示运行的组件数量比所需数量多一个。
  • ○ 2N 冗余表示运行的组件数量是所需数量的两倍。
  • ○ 2N+1 冗余是两倍加一。

Uptime Institute 的层级倡导为各种级别的数据中心可用性使用 N 级。BICSI 002 可用性分类系统也引用了 N 级。

 

功率、散热和效率

现在,考虑到高级数据中心计算所需的电力成本居高不下,能耗已经成为数据中心面临的重大挑战。数据中心经理要通过保证效率降低运营成本,他们经常使用 Green Grid 电力使用效率 (PUE) 指标来确保设备高效地使用进入数据中心的电力。

随着可持续发展成为越来越受关注的议题,Green Grid 现在还推出了碳使用效率 (CUE) 指标,用于确定数据中心消耗的每单位 IT 能量所产生的温室气体 (GHG) 排放量。Green Grid 还有水资源使用效率 (WUE) 指标,用于测量数据中心用水量(水冷散热、加湿等)与 IT 设备能耗之比。

散热是为了保持可接受的设备工作温度,并防止出现可能会影响设备使用寿命和可靠性的热点。美国采暖、制冷与空调工程师学会 (ASHRAE) 建议的数据中心工作温度范围为 18° 至 27° C(64° 至 81°F)。散热会影响效率,占了数据中心总能耗的 30% 至 50%。

  • ○ 避免传入的冷空气和排出的热空气混合有助于提高回风温度,从而提高数据中心散热系统的效率,避免过度配置耗电的空调设备。
  • ○ 在数据中心使用热通道/冷通道配置是避免冷热空气混合的方式之一。它采用如下机柜排列方式:在设备前侧优化进入的冷空气,在设备后侧优化热排气并进入冷却回风系统。

随着处理能力提高,产生的热量越来越多,某些数据中心需要更有效的方式来避免冷热空气混合。

  • ○ 无源限制系统可完全隔离冷热通道,使用顶板将冷通道与数据中心的其他部分隔离(“冷通道限制”),或使用垂直板隔离热通道并将热排气返回高架回风室(“热通道限制”)。限制系统也可以是有源系统,使用风扇将热空气从机柜抽出到热通道。
  • ○ 某些具有极高功率密度的高性能计算环境(例如超大规模数据中心)转为使用液冷解决方案,以实现效果更好的热传导。这些解决方案的组成部分包括:后门热交换器 - 用于冷却经过设备机柜后部的充液型盘管的热排气;液浸系统 - 使用通过冷却水回路循环的冷却液包围设备;散热板或直达晶片式散热系统 - 冷却液被泵送到小型散热板,这些散热板则直接连接到设备内部会产生热量的组件,例如 CPU。

 

数据中心的布线考虑因素

无论数据中心、切换拓扑和应用的规模和类型如何,底层布线基础设施对于确保可靠的高带宽链路至关重要,而这样的链路是连接各个功能区域的数据中心设备所必需的。在数据中心布线方面,需要考虑几个因素。

 

线缆管理

如果通道和机柜中的线缆拥塞、管理不善,会妨碍冷空气到设备入口或热空气到排气系统的正常循环,还会导致线缆损坏,妨碍扩展,还会使常规的搬动、增添和改动变得困难很多。
  • ○ 使用高架高密度线缆是可防止地板下通道出现线缆拥塞问题的一个策略,从而确保冷空气顺畅循环。
  • ○ 在机柜中,水平和垂直线缆管理解决方案有助于正确连接和整理设备内部及周围的线缆,以保持适当的气流量。
  • ○ 铜缆比光纤更粗大,可能会阻挡更多气流,对此的解决方案是,使用直径更小的铜缆跳线
  • ○ 水平和垂直线缆管理是保持适当的弯曲半径和应力释放程度的关键。如果超过线缆的弯曲半径,并且线缆受到压力,可能会导致性能下降或链路故障。

 

线缆测试

在数据中心的各个功能区域(通过主干布线或水平布线连接),有适用于不同应用的各种布线介质,这些布线介质都需要经过测试。
  • ○ ER、MDA 和 HDA 之间的主干布线链路几乎总是单模和多模光纤。
  • ○ HDA 和 EDA 之间的水平布线(交换机和服务器之间的链路)是 6A 类或更高规格的铜缆连接或多模光纤。
  • ○ 如果 EDA 使用 ToR 配置,则这些连接通常使用 SFP+ 或 SFP28 Twinax 直连线缆 (DAC)。测试 SFP/QSFP 模块涉及验证电力供应是否正常。若想深入了解数据中心的各个功能区域通常需要测试什么,请下载我们的免费白皮书《数据中心 - 测试的位置和内容?》

 

光纤损耗预算

插入损耗是指信号在线缆链路上前行时损失的能量(衰减)以及任何连接点(例如连接器和接头)造成的损耗。插入损耗不但是铜缆系统的性能参数,也是光纤系统的主要性能参数。

工业标准规定了光纤应用正常运行允许的插入损耗量,而且 40GBASE-SR4 和 100GBASE-SR4 等较高速度的应用有更严格的插入损耗要求。

数据中心根据功能区域之间的距离和路径上的连接点的数量决定光纤损耗预算,以保证损耗预算在要求的范围内。准确确定光纤损耗预算需要了解特定供应商的线缆和连接方法的插入损耗值。

基本光纤测试(1 层认证)使用光纤损耗测试套件 (OLTS)(以分贝 (dB) 为单位)测量整条光纤链路的插入损耗。1 层认证几乎是所有线缆制造商提供系统保修的必需认证。部分制造商可能还要求使用光时域反射计 (OTDR) 的 2 层认证,该认证可提供与具体连接点和线缆损耗相关的信息。先使用 OTDR,再使用 OLTS,这种做法是完整的测试策略,可分析整条链路,并确保最准确的插入损耗测试。

光纤插入损耗预算对光纤端面清洁度也有非常严格的要求,因为光纤端面污染是数据中心中光纤相关问题和测试失败的主要原因。即使光纤端面上的极小颗粒也会造成影响性能的损耗和反射。因此,清洁和检查成为数据中心光纤端接的关键步骤。

 

MPO 布线和连接

数据中心普遍采用多纤芯插拔 (MPO) 布线和连接。一些高带宽多模和单模光纤应用使用光学器件通过多条光纤发送和接收数据,这些应用需要 MPO。双工应用通常也会部署 MPO,用于进行配线架之间的干线布线,以节省空间和材料。

建议使用 MPO 光纤测试仪测试 MPO 布线链路,这样可以节省时间,消除复杂性,并提高准确性。

要使数据中心链路正常工作,必须确保它们的极性正确,这样链路一端的发射信号才能与另一端的相应接收器匹配。如果采用的是 MPO 连接,确保正确的光纤极性可能会更加复杂,因为多条发送和接收光纤必须对应得当。MPO 测试仪能够检查极性是否正确,有助于消除极性错误。

 

继续学习