2数据中心以太网技术介绍
数据中心以太网(DataCenterEthernet,简称DCE),是对当前以太网技术标准高性能方面的增强,可以为下一代数据中心提供网络架构。需要特别指出的是,数据中心以太网在网络结构可扩展性、可操作性以及传输灵活性方面对以太网做了重点扩展,目标是实现一个稳定的、无损的(Lossless)传输层面。
为了满足上述要求,一些新技术特点比如从光纤通道到以太网的映射、“无损的”以太网和冗余路径和故障切换等必须进行改进和提升以满足FCoE等数据中心技术的需要。主要增强的技术见表1。
2.1从光纤通道FC到以太网的映射
从OSI模型上来看,进行从光纤通道到以太网的映射,要用到以太网中的IEEE802.3层和FCoE映射层来取代光纤通道协议模型中的FC-0和FC-1层,其他均无变化,见图1。另外需要注意的是,一个以太网帧最长为1518字节。而一个典型的光纤通道帧最长为2112字节。见图2,由于FC帧要大于以太网帧,因此在以太网上打包光纤帧时需要进行分段发送,然后在接收方进行重组。这会导致更多的处理开销,阻碍FCoE端到端传输的流畅性。从数据帧的类型区分商,FC和FCP协议会封装在以太帧中以以太类型0x8906标识,FIP协议和FC类似,也会封装在以太帧中,但以太帧类型以0x8914标识。
要解决以太网和光纤通道各自传输帧大小之间的差异。必须要一个更大的以太网帧来平衡光纤通道和以太网帧大小上的差异。有一个称为"巨型帧"的实质标准,尽管不是正式的IEEE标准,但它允许以太网帧在长度上达到9k字节。在使用"巨型帧"时需要注意,所有以太网交换机和终端设备必须支持一个公共的"巨型帧"格式。因为在正常情况下,以太网交换机是会对巨型帧进行丢弃处理的。
最大的巨型帧(9K字节)可以实现在一个以太网帧下封装四个光纤通道帧。但是这会使光纤通道连接层恢复以及应用802.3x暂停指令的缓冲流量控制变得更加复杂。仍如图2所示,一个巨型以太网帧内封装一个完整的光纤通道帧,头信息为12个字节(目的MAC地址和源MAC地址各6个),但MAC地址是存储透明的,并且只能用于从源到目的地帧的交换。以FCoE帧中保留了存储事务中需要的光纤通道寻址,所以需要从FCID(FibreChannelID)到以太网MAC地址映射的方法。
可以选择一个与地址解析协议(ARP)相类似的协议来实现FCID到MAC的地址映射。例如,在第三层IP环境下,地址解析协议用于从上层IP网络地址到第二层硬件MAC地址映射。FCoE头信息为2个字节,包括版本、SOF,EOF等控制信息等。此外,光纤通道使用一些较为熟知的地址来获得存储服务(例如通过SNS发现设备机制)。FCoE要求有相应的功能性来完成从熟知的地址到对应MAC地址的映射。
在传统光纤通道中,HBA或存储端口在连接到以太网交换机时会接收FCID。FCoE设备无法确保通用以太网交换机提供专门的存储服务,所以必须依靠可用于FCoE交换机内部的域控制器和存储服务引擎来提供光纤通道登陆、寻址和其它高级服务。这些技术的需要就为太网、光纤通道和FCoE存储服务融合为一体提供保障。
2.2无损的以太网
FCoE发展过程中所遇到的第一个挑战是将通过本地光纤通道的Buffer-to-bufferCredits特性所实现的流控制机制得以延续。虽然以太网交换机没有相对应的缓冲到缓冲机制,但以太网标准可以通过支持MAC控制帧来调节流入的信息量。IEEE802.3x流量控制标准是基于暂停帧流量控制技术的。这个技术会使得发送者后面的传输内容延迟一段特定的时间再发送,如果接收设备在这段时间过去之前清除缓冲,那么它会重新发送暂停帧,同时将终止时间归零。这使发送者可以重新传送直至接收到另一个暂停帧。
因为FCoE机制必须支持存储数据的读写,所以所有网络存储路径下的终端设备和以太网交换机必须支持双向IEEE802.3x流控制。尽管这样的效果可能不如Buffer-to-bufferCredits机制那么理想,但是IEEE802.3x暂停帧可以提供对应的功能性,来调节存储流量并防止阻塞和缓冲区溢出引起的丢帧。
对于存储事务来说,这有助于增强流控机制的服务层级质量,使得最关键的任务的数据流在可能发生阻塞的情况下获得最高优先权。需要指出的是,以太网上常用的802.3x流量控制能够对控制报文和数据报文同时“暂停”,但是基于流量控制的802.1Qbb 可以对特定优先级数据流进行转发控制。图3是一个运行Ixia IxExplorer FCoE测试功能时,启用以太网中的流量控制与802.1Qbb流量控制时对FCoE流量的影响。
2.3冗余路径和故障切换
光纤通道高可用性的特点主要是得益于其可提供的主机与目标设备之间冗余路径的Flat或CORE/EDGE拓扑网络。从主路径到辅路径的主机总线适配卡、链路、交换机端口、交换机或存储端口,其中任何一点发生故障就会引发整个网络的故障。在某些情况下,这两条路径都是动态的并且兼备高性能和可用性。光纤通道架构中的光纤最短路径优先协议用来决定光纤交换机间传输的非常好的路径,其判断基于交换机的链路带宽与流量负荷。
以太网基础体系必须为FCoE提供相应的耐障碍性来保证存储访问的畅通无阻。当多以太网交换机通过交换机内链路(例如以完全网路拓扑)连接时,IEEE802.1D快速生成树协议在网络上建立主路径,避免帧的发送形成无止境的环形回路。交换机之间的动态桥接端口处于推进状态,非动态失效切换桥接端口处于阻塞状态。但由于阻塞的连接不能用于数据的传输,所以网路中的阻塞连接都表示未利用和闲置的资源。快速生成树通过网桥协议数据单元来监控所有桥接端口的情况,如果连接、桥接端口或交换失效的话,快速生成树协议启动必要的失效切换桥接端口,在网络上建立选择路径。
此外,IEEE802.1s多生成树协议(MultipleSpanning Tree Protocol,MSTP)和IEEE 802.1Q-2003虚拟LAN(VLAN)技术定义了另外的增强以太网路径切换的机制。与光纤通道的硬分区技术相类似,VLAN 标记可实现多达4096个群集节点组共存于一个公共的以太网基础体系内。在多业务传输平台上对生成树的增强可以使每个VLAN组中有一个单独的生成树。因此,一个虚拟局域网阻塞模式下的桥接端口可以调节成另一个虚拟局域网的转发模式,并且实现对所有网络互连性更充分的利用。
即使有多业务传输设备的增强,已使用的网络连接仍不可避免地导致了快速生成树协议对转发和阻塞状态的依赖。越来越多复杂的第三层路由协议,例如开放最短路径优先协议(OpenShortestPathFirst,OSPF),在跳跃计数、带宽、延迟时间和其他测量标准的基础上选择末端节点之间的非常好的路径,并且实现多路径上的负载均衡。即时串流传输协议(RSTP)作为第二层协议无法支持这样的附加功能性而保持向后兼容。需要设法找到将负载均衡、多点接入(例如一个节点有接入同一以太网网段的两条动态链路)、多播技术和广播技术引入第二层以太网的方法。