数据中心测试方法研究

donga

执行综述  
无论是从规模、速度，还是复杂性方面，今天的数据中心都在日益提高。虚拟化、以太网光
纤通道和40/100Gbps以太网等新技术都将着眼于帮助各类机构将多种流量类型 - 数据、存储、
视频和语音 - 汇聚在单一的融合核心中。  

在这一领域中，流传着一句古老的格言：“无法测量便无法管理”，因此对这些新技术的验证和
性能评估都是实施这些新技术的最初步骤。在一个数据中心环境中，这意味着不仅要对每一
项技术进行测试，确定其自身的合理性，还要确保每一项技术与数据中心中其它新旧组件协
同运作的可能。简而言之，关键的问题是：随着数据中心的发展，怎样才能验证所有的组件
都能作为一个连贯的整体正常运行？  

本白皮书的目标是帮助网络专业人员理解数据中心验证和性能基准测试中涉及的各类问题。
在对基本测试概念和业界标准测试方法进行综合审查后，本文件逐个讨论了各种新型数据中
心技术，并详尽说明了每种技术面临的主要测试挑战。

本白皮书在最后介绍了数据中心的“全局测试”，这种端对端的方法将帮助各类机构加强对新技
术的信心，使数据中心能够在未来变得规模更大、成本效率更高。

测试基础知识  
在实现新技术带来的数据中心大发展之前，了解一些基本的测试概念是很有意义的。这些概
念将在本文后面的部分中帮助读者理解一些新兴的数据中心技术。  

合理的基准测试必须满足四项基本标准：它必须是可重复的、可再现的、有压力的，和有意
义的。

可重复性意味着，在同一测试中的同一测试平台上进行多次反复后，所产生的结果应当是相
似的。很明显，如果每次反复的结果都有巨大的差异，则这样的测试将毫无用处。  

可再现性与可重复性类似，但它指的是同一测试可以不同的测试平台上运行。对于许多机构
来说，通常的作法是让不同的地点的小组在同一系列的基准测试中开展协作。例如，在圣荷
塞、北京和班加罗尔工作的测试工程师如果使用的是相同的测试仪器和被测系统（SUT），
并且执行相同的程序，便应当在测试中取得相似的测量结果。

另外，在基准测试中实现可再现性一直都是一个遥不可及的目标。当不同地点的测试工程师
取得不同的测量结果时，第一个步骤应当是验证所有的地点是否在测试仪器和被测设备两方
面采用了相同的软件和硬件版本，并且执行了相同的测试流程。

只有当基准测试能够找出系统性能的极限时，这样的测试才是有压力的。例如，吞吐量测试
的目的就是找出某种设备转发流量的最高速率。在压力测试中，目标是在成功的反复（设备
无丢帧）后找出失败的反复（设备丢帧）；这便是系统性能的极限。

在对压力测试的结果进行审查时，我们常会听到此类基准测试不能代表“真实”的条件等说法。
这些抱怨忽略的是，每一个网络都有自己对真实性的定义，而这正是一个关键的要点。压力
测试的目标要找出的是系统极限，而非真实性的定义。  

在基准测试中，取得有意义的结果集是最终的目标，但也是最难实现的目标。对联网设备进
行的测试会产生数据巨大的数据，但并不是所有这些数据都有手头的任务有直接关联。  

例如，在对时延分别为10微秒和100微秒的两台路由器进行的测试中。如果被测路由器部署
在跨大陆连接的两端，而且数十微秒或更高的时延是由光速传播时延造成的，那么两者时延
相差90微秒就根本不具有意义。  
在另一方面，如果这些路由器都部署在同一数据中心内且相距一米，而且传送的是及时性要
求极高的财务信息，且每秒的时延都会造成上百万美元的损失，那么时延增加10倍有意义就
显得非常重要。关键的问题在于，测量本身没有实际价值。真正使测量有意义的是，这些测
量结果如何用于被测的实际案例。  

除这些原则外，网络设备基准测试中的另外一项有益规则是，不要假定被测系统的正确行为。
特别是在评估新型网络硬件和软件时，错误的实施往往会导致无法得出最优的测试结果。被
测系统也可能无法正确报告其状态，因此测试仪器有必要提供多外部可以观察到的系统性能
验证（或其它）能力。  

多年来，测试工程师已经将这些规则和其它有益的测试技术归纳为一系列业界标准的测试文
档，并由Internet工程任务组（IETF）作为征求意见文件（RFC）。与数据中心设备测试关系
最紧密的RFC如下：  


  RFC 1242和2544分别描述了路由器测试的术语和方法。这些都是网络设备测量的基础文
件，而且许多其它测试RFC所提及的概念均源自这些RFC。  

  RFC 2285和2889分析表示的是以太网交换机测试的术语和方法。这些RFC还介绍了数据
中心测试中关键的基本流量模式，这些都将在本段后面的内容中加以讨论。  

  RFC 2432和3918分别提供了IP组播测试的术语和方法。组播测试属于对数据中心设备的
任意评估，尤其是我们将其看作视频和三重播放服务的通用传输模式时。这些文件还描
述了混合单播和组播流量的测试。  

  RFC 2647和3511分别描述了防火墙性能测量的术语和方法。这些文件引入了良好吞吐量
的概念，在测量防火墙（或任何第4层/第7层设备的性能）的可容忍丢失TCP流量时，这
一概念远比普通的吞吐量标准更有意义。  

  其它一些RFC也可以在数据中心设备的性能评估中发挥作用。RFC 5180是对RFC 2544
的扩展，补充了具体针对IPv6的测试。RFC 4814推荐了测试中使用的伪随机流量模式。
这种模式与许多测试仪器生成的人造和静态模式不同，并且为SONET/SDH连接中位和字
节填充导致的开销提供了计算方程。RFC 4689描述了网络层服务质量（QoS）机制测试
中用到的术语。该基准工作组正在审查其它一些测试文档，所有这些文档目前仍处于草
案阶段。


如上所述，RFC 2285和2889讨论了与数据中心设备测试有关的流量模式。RFC 2285定义了
两种“流量取向”和三种“流量分布”。

所谓流量取向，指的是单向和双向流量。在单向测试模式中，一个测试接口将提供指向另外
一个接口的流量。在双向模式中，每个接收接口也是一个发送接口。  

该RFC提到的三种流量分布是“非网格型”、“部分网格型”和“全网格型”。  

在所下所示的非网格型模式中，测试仪器上的每一对发送和接收端口是相互排斥的。这种流
量可能为单向（如接口1和3）或双向（如接口2和4）。一些测试仪器将其称为“端口对”模式：   


部分网格型的分布有时也被称为“骨干网”模式，在该模式中，有一系列的测试接口可以为不同
的系列接口提供流量，但不会向自己的任何系列接口提供流量。同样，流量可能是单向（接
口1）或双向（接口2、3和4）：  

在全网格模式中，所有的测试接口都会向其它的测试接口提供流量。在该模式下，所有的流
量均为单向；只有在下图中，每个测试接口都向所有其它接口发送和接收流量时，其流量看
起来才是双向的。全网格式模式能够将多数压力集中于交换机或路由器结构中，因此是测试
这些设备的首选流量分布方法。

这些图示只使用了最简单的流量分布。在每个测试接口中，可以生成数以千计的独特流量流，
其流量分布也有可能不尽相同。这些复杂的模式可用于评估服务质量（QoS）机制，包括确
定以太网光纤通道（FCoE）流量的优先级。这部分内容将在本文后面的部分中加以讨论。  

RFC 2285引入了数据中心基准测试中可能用到的另外一个概念：这一概念区分了目的负载和
提供的负载。正如其名称所示，目的负载是测试仪希望提供的流量速率。  

然而，由于802.1Qbb优先级流量控制等拥塞控制机制，测试仪表将要实际使用的传输速率可
能会有所不同。后者为提供的负载。在某些情况下，提供的负载可能会低于目的的负载，因
为按照拥塞控制机制，发送测试接口将成为整个过程中的瓶颈。

这些基本测试概念都将在数据中心设备基准测试中发挥作用。该文档的剩余部分将讨论如何
将这些概念应用在数据中心内的新技术上：虚拟化、以太网光纤通道，以及40和100Gbps以
太网。