本文档提供实用的LAN仿真(LANE)网络设计指南。这些指南将帮助您设计高性能、可扩展且高可用性的LANE网络。本文档重点介绍思科设备,但集成第三方产品时可应用相同的概念。
有关文档规则的详细信息,请参阅 Cisco 技术提示规则。
本文档的读者应了解LANE网络的基本操作和配置。
本文档重点介绍以太网LANE配置。
本文档中的信息都是基于特定实验室环境中的设备创建的。本文档中使用的所有设备最初均采用原始(默认)配置。如果您是在真实网络上操作,请确保您在使用任何命令前已经了解其潜在影响。
各种LANE服务器及其要求如下。
ATM版本1.0的LAN仿真规范 要求每个LAN仿真客户端(LEC)在LAN仿真配置服务器(LECS)启动时建立到LAN仿真配置服务器(LECS)的虚电路(VC)。然后,LEC请求其相应LAN仿真服务器(LES)的ATM地址。 一旦LEC具有其ATM LES地址,LEC和LECS之间的VC将被删除,LEC不再尝试与LECS通信。当环境稳定且所有LEC都已启动且运行时,LECS将处于空闲状态。
当LEC加入模拟LAN(ELAN)时,每个LEC会单独联系LECS。但是,当LANE网络发生灾难(例如,主LECS发生故障时)时,所有客户端都会发生故障。
注意:使用快速简单服务器冗余协议(FSSRP)时,这是例外。
由于所有LEC都同时关闭,因此它们将同时联系备用LECS。因此,托管LECS时,您需要一台设备:
可以处理流程级突发流量。
可以同时接受来自LEC的几乎所有来电设置。
以其稳定而着称。如果LECS关闭,则整个网络将关闭(同样,除FSSRP外)。 因此,不建议将LECS放在运行实验软件版本的设备上。
每个LEC将维护一条到ELAN的LES的双向VC(如果使用FSSRP,则可能不止一个ELAN)。 在典型的高负载环境中,许多LAN仿真地址解析协议(LE_ARP)请求将发送到LES。在思科设备上实施LES非常简单。所有传入的LE_ARP帧将转发到控制分发虚拟通道连接(VCC)。
您无法实施从控制直接到控制分发的简单硬件信元复制,因为某些帧(如加入请求)必须通过LES过程进行分析。因此,可充当良好LES的设备是:
具有强大的CPU,并且可以在短时间内接受大量呼叫设置。当许多客户端同时加入ELAN时,这是必要的,但对LECS而言,这一点并不重要,因为只有ELAN中的LEC必须加入。
具有强大的分段和重组(SAR)硬件支持。由于所有传入信元都必须重组为帧,因此,如果大量连接请求同时到达,则必须非常快地重组。
请记住,在思科的实施中,LES、广播和未知服务器(BUS)过程是组合的(即,您不能将ELAN-1的LES放在一台设备上,而将ELAN-1的BUS放在另一台设备上)。
另一件需要牢记的事是,可能存在先发制人的行为。如果启用抢占,优先级最高的LES/BUS(根据LANE数据库)将始终接管主LES/BUS责任。换句话说,如果主LES/BUS发生故障,ELAN的所有LEC都将关闭并重新连接到备用LES/BUS。如果配置了抢占,则如果主LES/BUS再次打开,所有LEC将再次关闭,并以最高优先级重新连接到LES/BUS。在LANE模块软件版本3.2.8及更高版本以及Cisco IOS®软件版本11.3(4)及更高版本中,可以打开和关闭抢占功能。可按照配置LAN仿真文档中的说明配置抢占功能。
BUS的工作与LES的工作非常相似。每个LEC都需要向总线发送一个组播。LEC将其所有组播、广播或未知流量发送给它。总线具有到ELAN中所有LEC的点对多点VCC。BUS不必详细检查帧。换句话说,组播发送上的每个传入帧都可以被盲目转发到组播转发。
一种好的总线设备:
对从发送到传出组播转发的传入组播的帧副本提供硬件支持。如果您有“智能”硬件,则可在重新组装之前完成此复制操作。这意味着在组播发送上传入的信元在组播转发上转发。这样每帧可节省一个分段和重组。
如果总线没有硬件支持,则需要强大的CPU。
必须能够同时处理大量呼叫设置,但限制比LECS低。
设备 | 总线吞吐量(Kpps) |
---|---|
Catalyst 6K LANE/MPOA模块(OC-12) | 600 |
Catalyst 5K LANE/MPOA模块(OC-12) | 600 |
Catalyst 5K LANE/MPOA模块(OC-3) | 166 |
Catalyst 5K LANE模块(OC-3) | 122 |
RSP4 - VIP-2-50+PA-A1 | 92 |
RSP4 - VIP-2-500+PA-A3 | 84 |
RSP4 - VIP-2-40+PA-A3 | 78 |
RSP4 - VIP-2-40+PA-A1 | 77 |
4700 | 40 |
LS1010 | 30 |
本节介绍用于运行LEC、LECS、LES和BUS的最常见思科设备的功能。这些设备包括Cisco LANE模块、Lightstream 1010、Catalyst 8510MSR和8540MSR以及7500/RSP。将其功能与上述要求进行比较。
Catalyst 5000和6000的所有LANE模块的架构大致基于以下高级视图:
分段和重组由硬件执行。SAR芯片有些智能,可以直接将重组后的帧转发到Catalyst的帧总线(Catalyst背板)。 对于控制帧,SAR芯片可将帧转发到LANE模块的CPU。控制帧是必须分析的任何帧(例如,临时本地管理接口(ILMI)、信令和发往LES的帧),通过指定的VC进入LANE模块。
SAR芯片还可以将组播发送的信元重新定向到组播转发(即,组播、广播和来自LEC的未知信元)。 单元格不会重组为帧。其实施简便,可获得非常好的BUS性能。
一旦在内容可寻址存储器(CAM)表中创建了“数据直接”和条目,重组后的帧将直接发送到帧总线,并用正确的虚拟LAN(VLAN)ID进行标记。LANE模块可以很好地实现LEC,因为一旦建立了“数据直接”,CPU就不再参与。
LS1010和Catalyst 8510MSR不支持SAR硬件。因此,这些设备在实施LES/BUS功能时选择不佳。但是,它们适合LECS(请参阅下面的设计示例2)。
8540MSR确实支持SAR。它还配备功能强大的Risc 5000处理器。8540MSR不建议支持LES/BUS,原因有二:
对于64字节数据包,总线性能约为50Kpps,远低于任何LANE模块。这是因为总线没有硬件加速。
如果8540MSR与ATM和以太网卡一起使用,则CPU可主要用于与以太网线卡通信。在这种情况下,8540MSR的CPU不应用作LES。
ELAN间路由最常用的路由器是Cisco 7500平台(路由交换模块(RSM)和Cisco 7200也广泛使用)。 端口适配器包含SAR硬件芯片。路由/交换处理器(RSP)(例如RSP4)具有足够的CPU功率,可以非常快速地处理传入帧;因此,它们是LES的好选择。但是,总线性能低于LANE模块。
LANE主要用于大型和关键网络。因此,冗余是必需的。简单服务器冗余协议(SSRP)是使用最广泛的冗余协议。如果软件是最新的,则FSSRP是首选协议(请参阅指南11)。
假设我们有一个相当大的网络,例如100个VLAN/ELAN和100个催化剂,每个都带有双上行链路LANE模块。这意味着在每个LANE模块上,我们可能需要每个ELAN一个LEC,在本例中为10,000个LEC。此外,我们假设使用IP,并且设计包括每个VLAN的安全C类(254个IP主机地址,254个MAC地址)。
在此设计中,选择了一个LANE模块来运行100台LES/BUS服务器。同时,主LECS位于同一LANE模块上。下图说明了这一点:
在LANE模块上创建LEC时,所有LEC在配置后立即启动。在操作过程中,LES进程可能会过载,LANE模块将耗尽内存。下面的设计2解决了这两个问题。
此网络中的主要问题是出现主要问题时。假设托管LECS、LES或BUS的LANE模块变得不可达。例如,如果catalyst 1的LANE模块出现故障,可能会发生这种情况。您可以看到发生了冗余,但冗余时间(即主LECS、LES或BUS故障与最后一个LEC重新运行之间的时间)可能会持续两小时!好的设计可能会使这个数字减少到几十秒,或者在大型网络中几分钟。
问题在于与加入ELAN的LEC相关的信令。如果每个LEC必须联系LECS,它几乎同时接收10,000个呼叫建立(100个LANE模块,每个模块有100个LEC)。LANE模块设计为在帧总线和信元链路之间有效桥接,但不能每秒处理大量呼叫建立。LANE模块的CPU功能不足,无法处理此数量的呼叫设置。以下输出说明了LANE网络中约1600个LEC的冗余时间(仅显示show processes cpu命令的一部分):
ATM#show processes cpu CPU utilization for five seconds: 99%/0%; one minute: 98%; five minutes: 69% PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process <snip> 7 13396 207 64714 16.55% 10.85% 3.77% 0 ATM ILMI Input 8 13600 188 72340 13.45% 10.54% 3.72% 0 ILMI Process <snip> 35 107892 553 195103 68.94% 55.34% 26.72% 0 ATMSIG Input 36 34408 1125 30584 12.29% 9.45% 6.63% 0 ATMSIG Output <snip>
如您所见,由于传入信令活动,LANE模块已过度使用。两个小时的冗余时间是什么?答案在于超时的概念。信令规范明确提到,如果设备在发送“呼叫建立”的指定时间后未收到“连接”消息,则必须重新开始。LANE规范要求LEC必须返回其初始状态,然后重新开始。这意味着,如果LEC能够联系LECS并连接到LECS,则其到LES的呼叫设置可能会超时,并且会返回到尝试联系LECS的初始状态!从LES和从/到BUS的连接也可能发生这种情况。
根据上述说明,以下是一些基本的设计建议:
尝试将LES/BUS分布到不同ELAN上,以便高效实施。理想情况下,每个LANE模块上有一个主LES/BUS,下一个主LES/BUS备份第一个。实际上,这将生成一个非常长的LECS数据库。经验表明,每个LANE模块10台LES/BUS服务器似乎是一个安全的数字。
尝试不要将LECS放在与其他重要LES/BUS服务器相同的位置。另外,尝试将LECS放在具有足够CPU功率的设备上,以便其能够有效处理信令信息。LECS应位于路由器(建议使用Cisco 7200或7500,最好不使用LES/BUS)或ATM交换机上。
假设每个VLAN使用IP和一个C类范围,则大约250个MAC地址是LES占空的好数字。对于LANE模块上的10 LES,这意味着一个LANE模块的CPU,最多2500个MAC地址。请记住,没有固定和官方数字,但这是一个安全而保守的估计。另一方面,LANE模块上有200个LES/BUS,每个ELAN包含1000个终端站,只要该站实际上保持空闲状态就是安全的(有关详细信息,请参阅指南3)。
在此设计中,我们将LECS放在ATM交换机上。我们将LES/BUS分布到不同的LANE模块上。任何LANE模块上都看不到高进程CPU值,并且冗余正常。
下面介绍的准则仅是基于生产LANE网络部署的实用建议。虽然存在超出建议的成功网络示例,但在超出这些指南之前,必须充分了解这些网络对网络的影响。
如果计划使用LANE上的热备用路由器协议(HSRP),请确保升级到最新版本并已阅读“在LANE上实施HSRP”。
将LANE总线分配到具有最高总线吞吐量的设备上,并在此对设备中的其他进程的影响最小。
LANE总线负责将从ELAN成员收到的所有广播、组播和未知目的单播帧转发给ELAN的所有成员。由于LANE使用ATM适配层5(AAL5),该层不允许来自不同协议数据单元(PDU)的信元交织,因此总线在转发之前必须对帧进行序列化。这要求总线重组接收的帧,逐个分段每个帧,然后转发信元。对重组和分段每个帧的要求极大地限制了总线的转发吞吐量,这极大地影响了ELAN的可扩展性。IP组播应用的激增进一步加剧了这一任务。请记住,只有LANE模块才能接收组播发送的信元,并在组播转发时转发这些信元。此操作无需重组即可完成。
跨多个模块和设备分发LANE服务。
我们在上面说,每个ELAN对应一个C类IP网络(大约250个用户)的10个LES/BUS是安全和保守的;但是,每个模块有10-60个LES/BUS对的成功LANE网络确实存在。这稍微取决于模块,但检查设计时始终需要检查CPU利用率(使用show processes cpu命令)和最低可用内存(使用show memory命令)。 当然,这应该在网络使用率峰值期间执行,因为LES的整体CPU使用率与LE_ARP过程直接相关。
在LANE环境中,通常会看到LES/BUS对位于支持整个LANE网络的单个设备上。这不仅表示单点故障,而且会限制每个ELAN内的BUS性能。
跨多个平台分布LANE服务在多ELAN环境中提供了更大的可扩展性,以及更高的系统可用性和更高的聚合BUS性能(例如,随着为BUS支持配置了更多设备和接口,网络中的聚合BUS性能会增加)。 从设计角度来说,Catalyst 5000和6000 ATM模块可以专用于LES和BUS服务,以实现最大总线容量。
了解BUS的容量,并估计每个ELAN中预期的广播或组播流量量,您可以计算可应用于给定接口的LES/BUS对数。您还可以测量总线的容量。
但是,估算每个ELAN的广播或组播流量量则更具挑战性。估算每个ELAN的广播或组播流量量的一种方法是测量现有网络中的此流量。可以将网络分析器或远程监控(RMON)探测设备插入现有LAN中,以测量广播和组播流量的大小。另一种方法是查询“ifOutMulticastPkts”和“ifOutBroadcastPkts”mib对象。首先检查IOS/平台是否支持它们。
或者,在某种程度上,可以通过计算路由协议广播消耗的带宽来计算广播或组播流量的量。对于网际网络分组交换(IPX)、路由信息协议(RIP)和服务通告协议(SAP),如果已知IPX路由和SAP的数量,可以准确确定带宽消耗。对于IP和所使用的特定路由协议,情况也是如此。
额外的总线容量预留空间应用于:
在建立数据直接虚电路时支持单播流量,直到接收LEC确认清空数据包。
在一天中不同时间使用的按需IP组播应用(应在整体组播卷中考虑这些应用)。
当协议运行且处于收敛状态(即,在开放最短路径优先(OSPF)拓扑更改期间交换的链路状态通告(LSA))时,额外的路由流量。
大量地址解析协议(ARP)请求,尤其是在工作站首次登录LAN和网络服务器的早晨。
使用任何可用方法,目标是准确描述每个ELAN上将存在的广播和组播流量。遗憾的是,由于各种原因,网络设计人员很少能获得此信息。面对这种情况,可以采用一些一般的保守原则。建议为每个ELAN有250个用户且运行更常见应用的典型网络分配至少10 Kpps的总线容量。表1列出了每个接口建议的最大LES/BUS对数。
这些编号应与指南#4结合使用,该指南将接口上配置的所有LES/BUS对所服务的LEC数量限制为250个。此外,应根据每个ELAN中实际用户数调整这些数字,同时特别注意ELAN上将运行的任何广播或组播应用。
将LES/BUS对服务的LEC总数限制为最多250个。在初始化期间和网络故障后,为使LANE客户端加入其ELAN,他们必须建立多个连接并向其LANE服务组件发出请求。由于支持LANE服务的设备具有处理连接和请求的有限速率,因此建议在接口服务上配置的LES/BUS对最多250个LANE客户端。例如,接口可以配置10个LES/BUS对,每个对为25个LEC提供服务,该接口总共为250个LEC提供服务。这将确保及时初始化和故障恢复。
将给定ELAN的LES/BUS放在靠近任何主要广播或组播流量源的位置。
在LANE环境中,特别是使用组播应用(即IP/TV)时,最好将总线放置在尽可能靠近已知组播源的位置。由于组播流量必须首先发送到BUS,BUS又将流量转发到所有客户端,因此,将BUS置于离组播源很近的位置可以节省两次通过ATM主干的流量。
这样,LANE网络可以扩展到更大的规模。此外,由于组播流量将两次通过传输链路,因此总线不应与支持组播源的LEC位于同一接口上。
如果您将LANE视为支持组播环境的网络技术,请谨慎。虽然LANE确实支持组播流量,但它却非常低效。LANE只是将组播流量泛洪到ELAN中的所有客户端,而不管它们是否属于组播组。过多的组播流量会显着降低工作站的性能(如指南#6所述),而泛洪行为会浪费主干带宽。
如果网络仅传输IP数据包,将给定ELAN中的终端系统数限制为500或更少。下表2根据协议生成的广播量提供一些基本建议。同样,如果您不完全确定需要什么协议,请记住我们过去提供的250个终端站建议。
根据定义,ELAN代表广播域。因此,在ELAN中,所有广播和组播数据包都泛洪到ELAN的所有成员。工作站必须处理收到的每个广播和组播数据包,以确定它是否受到关注。处理“无趣”广播数据包浪费了工作站CPU周期。当广播活动级别变得很高(相对于工作站的处理能力)时,它们会受到严重影响并无法执行其预定任务。
终端系统、应用和使用的协议的数量决定了ELAN内的广播级别。测试表明,在没有广播密集型应用的情况下,可安全配置在单个ELAN中的终端系统的数量从200到500不等,具体取决于协议组合。
表 2:基于协议混合的每个ELAN建议的最大终端系统数协议类型 | 终端系统数量 |
---|---|
IP | 500 |
IPX | 300 |
AppleTalk | 200 |
混合 | 200 |
计算网络VC使用率,确保其在ATM设备的容量内。
ATM交换机和边缘设备支持的虚电路数量有限。在设计ATM网络时,必须确保不超出设备的VC容量。这在LANE网络中尤为重要,因为LANE并不以其VC效率而着称。在网络设计阶段,您应计算主干以及每个边缘设备的预期VC使用率。主干的VC使用量与网络中预期的VC总数相对应。应将此数量与ATM交换机支持的VC数量进行比较。
由于并非所有虚电路都通过给定的交换机,因此此数字为上限。必须考虑主干的实际拓扑和流量模式,以确定是否会超过ATM交换机的VC容量。
同样,应计算每个边缘设备的VC使用率。这与将在边缘设备的给定接口上终止的VC数量有关。然后,必须将此数字与接口的VC容量进行比较。
以下公式可用于计算网络的VC使用率。这些公式假设使用Cisco LANE服务和客户端,并应用于SSRP和FSSRP。当存在时,会指出两种协议之间VC使用的差异。
a. LEC-LANE Service VCs: SSRP: 4 (#LEC_per_ELAN)(#ELAN) FSSRP: 4 (#LEC_per_ELAN)(#LES/BUS_per_ELAN)(#ELAN) b. LECS-LES Control VCs: (#LES/BUS_per_ELAN)(#ELAN) c. LECS-LECS Control VCs: (#LECS)(#LECS - 1) / 2 d. LEC-LEC Data Direct VCs: If mesh_factor < 1.0: (#LEC_per_ELAN) [(#LEC_per_ELAN)(mesh_factor)/2](#ELAN) If mesh_factor = 1.0: (recommended in most designs) (#LEC_per_ELAN) [((#LEC_per_ELAN) - 1)/2](#ELAN) where: mesh_factor = fraction of LECs within an ELAN communicating a given time. (When determining the fraction of LECs within an ELAN communicating at a given time, the data direct timeout period must be considered. Even a brief conversation between two LECs will cause a data direct connection to be maintained for the timeout period. Therefore, unless the traffic patterns are very clearly understood, a mesh_factor = 1.0 is highly recommended). Backbone VC Usage = a + b + c + d
a. LEC-LANE Service VCs: SSRP: (#active_LES/BUS_on_interface) (2 * #LEC_per_ELAN + 2) FSSRP: (#LES/BUS_on_interface) (2 * #LEC_per_ELAN + 2) b. LECS-LES Control VC's: (#LES/BUS_on_interface) c. LECS-LECS Control VCs (#LECS - 1) d. LEC-LEC Data Direct VCs: (#LEC)[(#LEC_per_ELAN)(#LEC_per_ELAN)(mesh_factor)/2] Interface VC usage = a + b + c + d
计算VC使用率后,使用表3将结果与相关设备的VC容量进行比较。
表 3:ELAN间路由 — 各种思科设备的VC容量设备 | 虚电路预算 |
---|---|
Catalyst 8540 MSR | 25.6万 |
Catalyst 8510 MSR/LS1010 | 16 MB动态随机访问内存(DRAM)= 4k |
32 MB DRAM = 16k | |
64 MB DRAM = 32k | |
思科7500/7200 ATM豪华型 | 4k |
思科7500/7200 ATM Lite | 2000 |
Catalyst 6K - LANE/MPOA OC-12 | 4k |
Catalyst 5K - LANE/MPOA OC-12 | 4k |
Catalyst 5K - LANE/MPOA OC-3 | 4k |
Catalyst 5K - LANE OC-3 | 4k |
Catalyst 2900 XL - LANE OC-3 | 1000 |
如果要将不同的园区ATM网络与永久虚拟路径(PVP)链接起来,请始终在站点之间“路由”,而不是允许本地ELAN跨越不同的园区ATM网络。
通过估算所需的ELAN间路由量来评估所需的路由器容量。
给定LANE网络所需的路由容量大小各不相同。因此,在网络设计过程中必须估计路由容量。确定所需容量后,可使用以下转发吞吐量表确定所需的路由器和路由器接口数量:
表 4:各种思科设备的ELAN间路由容量设备 | 思科快速转发(CEF)分布式(Kpps) | 思科快速转发(CEF)转发(Kpps) |
---|---|---|
RSP4/VIP2-50 ATM PA-A3 | 118 | 101 |
RSP4/VIP2-50 ATM PA-A1 | 91 | 91 |
RSP4/VIP2-40 ATM PA-A3 | 83 | 60 |
RSP4/VIP2-40 ATM PA-A1 | 66 | 66 |
虽然“单臂”路由器配置在LANE设计中很流行,但这通常无法提供足够的路由容量。相反,需要多个接口和/或多个路由器。上表中列出的CEF转发速率采用单臂路由器配置。要达到这些速率,路由器的中央处理器利用率接近100%。相反,分布式转发速率是使用驻留在通用接口处理器(VIP)上的处理器实现的,基本上不影响集中式路由器处理器。因此,路由器中可以安装多个ATM接口,从而获得更高的聚合吞吐量。
为至少两个不同的ATM交换机提供双归属ATM边缘设备以实现冗余。
在LANE网络中,支持边缘设备的ATM交换机可能是连接到主干的单点故障。Catalyst 6K和5K提供OC-12/OC-3双物理子层(PHY)上行链路模块,用于冗余连接到下游ATM交换机。双宿主LANE模块提供“光纤分布式数据接口(FDDI)类”双PHY功能。此双PHY上行链路模块提供主ATM接口和辅助ATM接口。如果主接口失去与ATM交换机的链路连接,模块会自动将连接切换到辅助接口。
强烈建议网络设计人员利用LANE模块上的双PHY接口,并为核心中的两台不同ATM交换机提供双宿上行链路。这将保护边缘设备免受单台ATM交换机故障的影响。
除非VC预算有限制,否则请使用FSSRP。
由于LANE网络中的各种LANE服务组件是单点故障,因此生产网络应设计冗余。思科支持两种LANE服务冗余方案:简单服务器冗余协议(SSRP)和快速SSRP(FSSRP)。
FSSRP是大多数情况下推荐的冗余方案。它几乎可以立即进行故障切换,而不会丢失数据,即使在大型网络中也是如此。另一方面,SSRP会在故障切换期间导致丢失,而且大型网络中的恢复时间可能相当长(有时为几分钟)。
有一种情况是建议使用SSRP而不是FSSRP:当网络受VC限制时。与SSRP不同,FSSRP LEC维护到冗余LES/BUS对的备份连接。与每个ELAN总共4个LES/BUS对相比,最多可配置3个备用LES/BUS对。FSSRP下网络将体验到的VC使用增加可使用以下公式计算:
4 (#LEC_per_ELAN) (#LES/BUS_per_ELAN - 1) (#ELAN)
因此,如果网络达到其VC容量,建议在FSSRP上使用SSRP。如果使用FSSRP,则应减少冗余LES/BUS组件的数量。在大多数情况下,每个ELAN总共有两对LES/BUS对,在VC使用和消除单点故障之间提供可接受的平衡。