网络设计结构化与10GE网络设计要素

随着云计算、大数据等的大量应用、信息化持续快速发展，全球数据中心建设步伐明显加快，其总量已超过300万个，耗电量占全球总耗电量的1.1%～1.5%，根据工信部披露的信息，我国数据中心总量已超过40万个，年耗电量超过全社会用电量的1.5%，在我国大多数数据中心的PUE仍普遍大于2.2，而美国数据中心平均PUE已达1.9，先进数据中心PUE已达到1.2以下，与国际先进水平相比有较大差距。

因此，节能是数据中心必须考虑的重要问题。根据《国家绿色数据中心试点工作方案》的要求，预计到2017年，我国围绕重点领域将创建百个绿色数据中心试点，试点数据中心能效平均提高8%以上。

作为无源部件的综合布线系统与数据中心节能有什么关系呢?如何规划综合布线系统才能帮助数据中心的降低PUE值?

1、网络设计结构化

(ASHRAE)技术委员会9.9(简称TC9.9)统计报告显示，数据中心用电量分布大致可分为服务器用电占比46%，空调制冷耗电量占31%(我国数据中心这一比例可能达到50%)，UPS损耗占8%、照明4%以及其他11%。空调制冷系统占数据中心总耗电量近三分之一，是影响机房能耗的关键指标。因此提高空调制冷系统的效率，可以有效降低数据中心的PUE值。

网络采用结构化布线方式后，在服务器端口与接入层交换机之间采用水平缆线+配线架进行布线，接入交换机与核心/汇聚交换机之间采用主干光缆+配线架进行连接，通过配线架跳线分别跳接至交换机端口和设备端口。相比于以前的点到点网络架构，结构化布线可以大大节省缆线，尤其是主干缆线以及跳线的数量，从而节省了大量的线槽及桥架等空间，这些空间的节省将有利于冷风的流通，进而提高空调系统的制冷效率。据相关数据统计，良好的综合布线网络架构将降低2～3%的数据中心耗用电量。

数据中心能耗已成为一个全球关注的社会话题，数据中心建设在未来的几年内将会依然保持稳定的增长速度，同时，老的数据中心也面临升级或搬迁的需求，这通常意味着对电力等能源的需求进一步增加，如何在维持数据中心随业务需求升级的同时，尽可能降低能耗对数据中心相关行业都是一个严峻的考验，数据中心综合布线系统虽然仅作为一个物理层无源设备，其本身通常没有功耗的问题(仅在采用智能基础设施管理系统时，可能有少量耗电设备)，但是综合布线设计及产品选型将有助于用户降低能耗，提升PUE性能。

2、10GE网络设计要素

随着虚拟化技术的发展，结合新的网络设计，如FABRIC，LEAF-SPINE等架构的提出，数据中心内部端口传输速率逐步提升。根据DELL’ORO 于2014的报告，数据中心内服务器端口传输速度将逐步从1GE向10GE过度，同时，从2014年开始，40GE的需求开始出现，并预计在2年内提出新的25GE和50GE的新需求，预计于2016～2017年间，10GE将替代1GE成为服务器端口速率的主流选择。

表1 常用10GE端口PHY的传输功率

目前的数据中心架构中，10GE传输大部分采用的是SFP+ 互连传输，直到2012年，随着第三代40nm的芯片发布后，10GBASE-T的功耗才从6W下降到4W左右。10GBASE-T端口在布线与设备成本方面比SFP+的方案有优势，但因为PHY功率和交换设备内的散热问题，其功耗较SFP+方案之间还有差距。

10GBase-T的初衷在于在100m信道范围内支持10G传输，但是根据大量已建数据中心的链路长度数据分析表明，数据中心内传输链路长度有80%集中在50m左右，更有70%为30m之内。在10GBase-T刚提出时，因为要满足信道100m时达到10W的功率，就存在外部串扰的问题。因此，IEEE在推出10Gbase-T之后，又补充了针对短距离低能耗的传输模式(Short Reach Mode，也称10GBASE-T SRM30)，旨在数据中心较短链路情况下，在保持接收端信号水平不变时，降低发射端的功率以减小线外串扰的影响。与此同时，减小发射端功率也实现了能耗的下降，以此模式传输的10GBase-T将节省近1W功率。当传输距离进一步减少到10m时，功率进一步降到1.5W左右。10m的距离可以满足基本所有的TOR下行应用，同时，在上走线环境下，10m可以支持相邻2个机柜的距离。在采用10m短链路架构的情况下，由于交换设备对散热的需求降低，因此在设备设计时，可以在风扇与散热部分有额外的空间。

从以上信息可推知，在设计数据中心架构时，若大部分传输链路设计在30m时，即可使得10GBASE-T端口的传输功率有较大的降低。因此可以在设计机房的机柜排列时，尽量将布线链路的长度控制在30m内。30m的传输距离基本可覆盖符合TIA 942和ISO/IEC 24704规定的EOR和MOR网络架构中机列的长度，并且采用了柜内与柜间互连的方式。10GBASE-T SRM10可以提供与SFP+相当的互通方式，使线对串扰和缆间串扰指标达到标准的要求，也可有利于降低10GBASE-T的功率。

于是，可以看到与数据中心传输相关的10GBASE-T的两种传输模式：

10GBASE-T SR30 ：30m传输功率3～4W，适用于EOR/MOR架构。

10GBASE-T SR10：10m传输功率1.5W，适用于TOR架构。

(1)TOR架构

TOR架构会产生设置于机柜内顶部交换机的端口闲置问题，而且交换机较少的端口使用又不能降低多少交换设备的功率。因此通过增加端口的利用率同样能够起到节能的作用。由此可知，EOR/MOR架构通常会比TOR架构有更好的端口利用率。这样高密度配线模块(2U下联96端口)支持的TOR架构被提出来。2U交换设备因共享了风扇，背板等资源，在利用率上比2台1U交换设备有了更好的提升。

(2)40GBASE-T网络应用

40GE以太网的布线系统，目前可选的解决方案通常为QSFP+，不过针对4对对绞电缆的40G传输方案已在紧密筹划中，预计2016年相关标准可以成型，同年有产品可以问世。与10GBASE-T相仿，40GBASE-T也会考虑不同的传输长度与功率之间的联系，针对TOR和EOR/MOR架构提出了2种传输模型：

40GBASE-T SR30：30m传输功率6～9W，适用于EOR/MOR架构

40GBASE-T SR10：10m传输功率1～2W，适用于TOR架构

40GBASE-T相关标准还在草案阶段，所提及的名称与相关参数及资料均引自IEEE网站资料。

可见，当40GBASE-T在10m链路长度下已基本与10GBASE-T SR10的功率水平相仿，这是40GBASE-T制定过程中吸取了10GBASE-T教训，无疑在未来可以给用户提供了TOR交换机选择时一个强有力的选项。现在QSFP+的功率水平在3.5～4W左右，TOR架构下DAC的功率水平约1.5W，从40GBASE-T的目标功率水平来看，完全可以替代现有的QSFP+和DAC互连方案，作为TOR接入的方式，而随着芯片技术的发展，相信该功率水平还有进一步改善的空间。当引入对绞电缆独有的EEE节能以太网方案时，可预见有更进一步节省的空间。

(3)避免布线产品更新带来的浪费

布线对于节能和绿色的贡献除了在选用合适的传输介质降低功耗外，还可以从制造原材料的角度考虑。当采用CAT 5E或CAT 6产品作为介质时，在面临10G及40G升级时，就需要重新布线。同样，采用OM1/OM2光缆时，在支持10GE传输时，距离限制相当明显。在重新布线过程中，会产生大量原材料浪费以及对保持运维的持续工作带来很大影响。因此，数据中心前期规划时，应重点考虑未来几年传输需求，选择相应的布线信道。

(4)高性能传输协议

当从传输设备的单位能耗作为考量时，不难发现采用高等级传输时，单位端口传输能耗是明显降低的，如1GE传输功率通常在0.5～1W/端口，而10GE传输功率已降到0.5～1.5W/端口，10GE的每单位Bit传输功率将大幅小于1GE每单位BIT传输功率，同样对40GE和100GE也是如此。

在40GE标准制定过程中，IEEE已确认同时引入25GE的速率，这个看似“倒退”的传输协议实际是对功率和设备传输优化的一个有利支持。25GE将采用单通道25G传输，相比40GE传输采用的4X10G或2X20G通道，25GE传输可以获得128 I/O的3.2T设备背板100%利用率，而4X10G通道的40GE在同样128 I/O 3.2T设备背板上只能达到47.5%的利用率，2X20G则为85%。

(5)DCIM对节能的作用

DCIM概念的提出，希望将原先数据中心内的两大方面：基础设施，如供电，暖通，以及IT设备，如服务器，交换机，存储和布线的管理统筹到一个平台上，实现数据中心整体节能和管理。此概念有别于简单地将楼宇自动化管理系统融入数据中心，而是从整体高度来实现统一管理。

因此，DCIM所实现的不仅是基础设施的节能减排，还应该是针对需求实现网络管理及优化，通过即将成为标准的AIM系统，对端口利用率实行实时监控及数据分析，减少数据中心内大量存在的被占用，但是未被使用的僵尸端口的数量。据统计，每个未利用的端口所产生的额外的费用(设备、电力，人力)接近USD100/年(行业调查数据)。因此，合理有效的对端口的管理，将为数据中心节能乃至数据中心运维产生正面的影响。

注：全文内容摘自《数据中心综合布线系统应用技术》一书。该书由中国勘察设计协会工程智能设计分会副秘书长张宜老师，携布线行业各企业及一线的专业人士共同撰写。其从综合布线的发展背景到市场现状，以数据中心综合布线系统为中心，围绕布线结构框架设计、线缆选用、施工等等重要环节，均进行详细的分类和阐述。