WAAS — 排除过载情况故障
章节：排除过载情况故障
本文介绍如何排除过载情况。
主要文章
了解WAAS架构和流量
初步WAAS故障排除
故障排除优化
应用加速故障排除
排除CIFS AO故障
排除HTTP AO故障
排除EPM AO故障
排除MAPI AO故障
排除NFS AO故障
SSL AO故障排除
视频AO故障排除
排除通用AO故障
排除过载情况故障
排除WCCP故障
AppNav故障排除
排除磁盘和硬件故障
串行内联集群故障排除
vWAAS故障排除
排除WAAS Express故障
排除NAM集成故障
目录
概述
Cisco WAAS网络应根据客户要求优化一定数量的TCP连接。根据WAE的型号，SSL和CIFS应用加速器可能存在其他连接限制。当超过整体连接限制或特定应用加速器连接限制时，设备会过载。在这种情况下，进入设备的流量超出其处理能力，因此流量可能无法按预期优化（过载流量通过未优化的流量）。
如何监控TFO流和过载条件
当WAAS加速器设备过载时，您通常会看到以下Central Manager警报：由于最大连接数(nnn)，进入过载状态。 编号nnn是WAE自上次重新启动以来过载的次数。
设备还记录与以下类似的系统日志错误消息：Sysmon: %WAAS-SYSMON-3-445015:检测到故障：TFO加速器过载（连接限制）
您可以在CLI中使用show命令来确定允许的连接数和实际连接数，并收集更多信息。
检查TCP连接限制
第一个有用的命令是show tfo detail，它可以告诉您设备可以处理多少个优化TFO连接，如下所示：
wae-7341# show tfo detail Policy Engine Config Item Value ------------------------- ----- State Registered Default Action Use Policy Connection Limit 12000 <-----Maximum number of TFO optimized connections Effective Limit 11988 Keepalive timeout 3.0 seconds
连接限制值告诉您，此WAAS设备可支持12000个TFO优化连接。
如果MAPI AO保留了某些连接，则有效限制可能低于连接限制。保留的连接从连接限制中减去，以获得有效限制。
检查优化的TCP连接
要了解设备上的TCP流，可以使用show statistics connection命令(在版本4.1.1中，使用show statistics connection all命令)。 此命令显示当前处理的TFO/DRE/LZ流、直通流和由特定应用程序加速器处理的流。此命令的示例如下：
wae# show statistics connection Current Active Optimized Flows: 5 Current Active Optimized TCP Plus Flows: 5 Current Active Optimized TCP Only Flows: 0 Current Active Optimized TCP Preposition Flows: 0 Current Active Auto-Discovery Flows: 0 Current Reserved Flows: 12 <---------- Added in 4.1.5 Current Active Pass-Through Flows: 0 Historical Flows: 143 D:DRE,L:LZ,T:TCP Optimization, A:AOIM,C:CIFS,E:EPM,G:GENERIC,H:HTTP,M:MAPI,N:NFS,S:SSL,V:VIDEO ConnID Source IP:Port Dest IP:Port PeerID Accel 92917 10.86.232.131:41197 70.70.7.11:3268 00:1a:64:69:19:fc TDL 92918 10.86.232.131:41198 70.70.7.11:3268 00:1a:64:69:19:fc TDL 92921 10.86.232.131:41216 70.70.7.11:3268 00:1a:64:69:19:fc TDL 94458 10.86.232.131:45354 70.70.7.11:1026 00:1a:64:69:19:fc TDL 36883 10.86.232.136:1857 10.86.232.131:1026 00:1a:64:69:19:fc TDL
从输出（当前活动优化流）的第一行，您可以看到设备当前有五个活动优化流。从第二个计数器（当前活动优化的TCP Plus流）中，您可以看到，所有这些流量都是通过TFO/DRE/LZ优化（TFO Plus表示除TFO外还使用DRE和/或LZ优化）处理的。 第三个计数器(Current Active Optimized TCP Only Flows)显示仅由TFO优化的流。
另一个有用的计数器是当前活动自动发现流，显示尚未完全设置为成为优化流或直通流的流。要完全设置，连接必须看到SYN、SYN ACK、ACK握手，这在处理过载情况时非常有用。Current Active Pass-Through Flows计数器显示设备已确定为直通或设备未看到SYN、SYN ACK、ACK设置的连接。这些流不会计为优化流。对于直通流，设备应能处理其额定流量的10倍优化流。
当前保留流计数器显示为MAPI加速器保留的连接数。有关保留MAPI连接及其对设备过载的影响的详细信息，请参阅MAPI应用加速器保留连接对过载的影响部分。
以下三个计数器之和告诉您WAE设备与其连接限制的距离：
- 当前活动优化流
- 当前活动自动发现流
- 当前保留流（仅在4.1.5及更高版本中提供）
如果此总和等于或大于连接限制，则设备处于过载状态。
有关五个优化流的详细信息显示在计数器下表中。
您可以使用另一个命令查看设备上当前TFO流的数量，即show statistics tfo detail命令。输出中最有用的两个计数器是“活动连接数”，在“策略引擎统计”下的“活动连接数”如下：
wae# show statistics tfo detail
Total number of connections : 22915
No. of active connections : 3 <-----Current optimized connections
No. of pending (to be accepted) connections : 0
No. of bypass connections : 113
No. of normal closed conns : 19124
No. of reset connections : 3788
Socket write failure : 2520
Socket read failure : 0
WAN socket close while waiting to write : 1
AO socket close while waiting to write : 86
WAN socket error close while waiting to read : 0
AO socket error close while waiting to read : 80
DRE decode failure : 0
DRE encode failure : 0
Connection init failure : 0
WAN socket unexpected close while waiting to read : 1048
Exceeded maximum number of supported connections : 0
Buffer allocation or manipulation failed : 0
Peer received reset from end host : 53
DRE connection state out of sync : 0
Memory allocation failed for buffer heads : 0
Unoptimized packet received on optimized side : 0
Data buffer usages:
Used size: 0 B, B-size: 0 B, B-num: 0
Cloned size: 54584 B, B-size: 73472 B, B-num: 111
Buffer Control:
Encode size: 0 B, slow: 0, stop: 0
Decode size: 0 B, slow: 0, stop: 0
AckQ Control:
Total: 0, Current: 0
Scheduler:
Queue Size: IO: 0, Semi-IO: 0, Non-IO: 0
Total Jobs: IO: 219110, Semi-IO: 186629, Non-IO: 49227
Policy Engine Statistics
-------------------------
Session timeouts: 0, Total timeouts: 0
Last keepalive received 00.0 Secs ago
Last registration occurred 8:03:54:38.7 Days:Hours:Mins:Secs ago
Hits: 52125, Update Released: 17945
Active Connections: 3, Completed Connections: 37257 <-----Active Connections
Drops: 0
Rejected Connection Counts Due To: (Total: 12)
Not Registered : 12, Keepalive Timeout : 0
No License : 0, Load Level : 0
Connection Limit : 0, Rate Limit : 0 <-----Connection Limit
Minimum TFO : 0, Resource Manager : 0
Global Config : 0, Server-Side : 0
DM Deny : 0, No DM Accept : 0
Auto-Discovery Statistics
-------------------------
Total Connections queued for accept: 22907
Connections queuing failures: 0
Socket pairs queued for accept: 0
Socket pairs queuing failures: 0
AO discovery successful: 0
AO discovery failure: 0
在某些情况下，两个计数器会不同，原因是“否”。“of active connections”显示由TFO、TFO/DRE、TFO/DRE/LZ和TFO/DRE/LZ和应用加速器优化的所有当前流。策略引擎统计信息下的“活动连接”包括上述状态的所有流以及仅由TFO和应用加速器优化的连接。这种情况意味着TCP流已进入并匹配应用加速器分类器，但SYN、SYN ACK、ACK握手尚未完成。
在许多TFO过载情况下，如果问题仍然存在，您可以查看这些命令并确定优化流量的数量是否在硬件的优化TCP连接额定数量附近。如果是，则可以查看流详细信息并查看所有流的使用情况，以确定此流量是否合法并过载设备或是病毒、安全扫描程序或网络上发生的其他情况。
策略引擎统计信息下的“连接限制”计数器报告由于WAE已超出其优化TCP连接额定数而拒绝和通过的连接数。如果此计数器较高，则意味着WAE经常获得的连接数超出其处理能力。
如果优化连接数不接近优化TCP连接额定数，并且您仍然收到过载警报，则您应查看show statistics connection命令的当前活动自动发现流，或show statistics tfo detail命令的Policy Engine Statistics下的“Active Connections”。在某些情况下，优化连接的数量可能非常低，但策略引擎统计信息下的活动连接数量大致等于硬件的优化流额定数量。这种情况意味着有许多流与分类器匹配，但它们并未完全建立。当TCP SYN与分类器匹配时，它将保留优化连接。在TCP握手完成并开始优化之前，此连接不会出现在优化TCP连接计数中。如果设备确定流不应优化，则会从策略引擎统计信息下的活动连接计数中删除该流。
要进一步排除发生TFO过载且策略引擎统计信息活动连接似乎正在用尽设备上所有优化的TCP连接的情况，请使用show statistics accelerator detail命令。在此命令的输出中，查看每个应用程序加速器的策略引擎统计信息下的活动连接，以确定哪个应用程序加速器正在接收这些未完全建立的连接。接下来，使用show statistics filtering命令查看这些流可能处于什么状态，该命令为您提供设备上的过滤元组数，如下所示：
wae# show statistics filtering Number of filtering tuples: 18 Number of filtering tuple collisions: 0 Packets dropped due to filtering tuple collisions: 0 Number of transparent packets locally delivered: 965106 Number of transparent packets dropped: 0 Packets dropped due to ttl expiry: 0 Packets dropped due to bad route: 10 Syn packets dropped with our own id in the options: 0 Syn-Ack packets dropped with our own id in the options: 0 Internal client syn packets dropped: 0 Syn packets received and dropped on estab. conn: 0 Syn-Ack packets received and dropped on estab. conn: 0 Syn packets dropped due to peer connection alive: 525 Syn-Ack packets dropped due to peer connection alive: 0 Packets recvd on in progress conn. and not handled: 0 Packets dropped due to peer connection alive: 1614 Packets dropped due to invalid TCP flags: 0 Packets dropped by FB packet input notifier: 0 Packets dropped by FB packet output notifier: 0 Number of errors by FB tuple create notifier: 0 Number of errors by FB tuple delete notifier: 0 Dropped WCCP GRE packets due to invalid WCCP service: 0 Dropped WCCP L2 packets due to invalid WCCP service: 0 Number of deleted tuple refresh events: 0 Number of times valid tuples found on refresh list: 0
过滤元组数是设备上优化、通过、FIN WAIT状态、设置状态等的流数。每个已建立的流都显示为两个元组，每个元组对应流的每一端，因此您在此输出中看到的数量可能比您在其他命令中看到的流量数量大得多。
要获取有关过滤列表中流的详细信息，可以使用show filtering list命令，如下所示：
wae# show filtering list
E: Established, S: Syn, A: Ack, F: Fin, R: Reset
s: sent, r: received, O: Options, P: Passthrough
B: Bypass, L: Last Ack, W: Time Wait, D: Done
T: Timedout, C: Closed
Local-IP:Port Remote-IP:Port Tuple(Mate) State
10.86.232.82:23 10.86.232.134:41784 0xbc1ae980(0x0 ) E
10.86.232.131:58775 70.70.7.11:3268 0x570b2900(0x570b2b80) EW
70.70.7.11:3268 10.86.232.131:58775 0x570b2b80(0x570b2900) EDL
70.70.7.11:3268 10.86.232.131:57920 0x570b2d80(0x570b2800) E
10.86.232.131:57920 70.70.7.11:3268 0x570b2800(0x570b2d80) E
10.86.232.82:23 161.44.67.102:4752 0xbc1aee00(0x0 ) E
10.86.232.131:58787 70.70.7.11:1026 0x570b2080(0x570b2e80) EW
70.70.7.11:1026 10.86.232.131:58787 0x570b2e80(0x570b2080) EDL
10.86.232.131:48698 70.70.7.11:1026 0x570b2f00(0x570b2880) PE
10.86.232.131:58774 70.70.7.11:389 0x570b2300(0x570b2180) EW
70.70.7.11:389 10.86.232.131:58774 0x570b2180(0x570b2300) EDL
10.86.232.131:58728 70.70.7.11:1026 0x570b2380(0x570b2a00) E
10.86.232.131:58784 70.70.7.11:1026 0x570b2e00(0x570b2980) EW
70.70.7.11:1026 10.86.232.131:58784 0x570b2980(0x570b2e00) EDL
70.70.7.11:1026 10.86.232.131:48698 0x570b2880(0x570b2f00) PE
10.86.232.131:58790 70.70.7.11:3268 0x570b2100(0x570b2c80) EW
70.70.7.11:3268 10.86.232.131:58790 0x570b2c80(0x570b2100) EDL
如果show statistics accelerator all命令显示哪个应用加速器正在使用所有优化的TFO连接，则可以根据该端口或流量进行过滤。例如，如果要过滤端口80流量，请使用show filtering list | I :80命令。
查看“状态”列中的图例。如果流处于SYN状态，您可能会看到许多状态为S的流。如果WAE已发送回SYN ACK并设置了选项，您可能会看到状态SAsO。此指示可能帮助您确定流的状态，从那里，您可以确定是否存在路由问题、病毒或WAE不释放连接的问题。您可能需要跟踪来准确确定流中发生了什么，但以上命令应该让您了解要查找什么。
MAPI应用加速器保留连接对过载的影响
通常，TFO过载可能由MAPI应用加速器保留连接引起，因此，了解MAPI应用加速器如何保留连接的过程很有帮助。
MAPI应用加速器保留TFO连接，以确保它有足够的连接可供使用，以加速客户端将建立到Exchange服务器的所有当前和未来连接。MAPI客户端进行多个连接是正常的。如果客户端通过MAPI应用加速器进行初始连接，但MAPI应用加速器中的后续连接失败，则存在客户端连接可能失败的风险。
为避免这些潜在连接故障，MAPI应用加速器会按如下方式保留连接资源：
- 在开始任何客户端连接之前，它会保留10个连接作为预期新连接的缓冲区。
- 对于到服务器的每个客户端连接，它为该客户端 — 服务器对保留三个TFO连接，其中一个将用作第一个连接的活动连接。如果同一客户端与同一服务器进行第二或第三次连接，则这些连接会从保留的连接池中处理。如果客户端仅与服务器建立单个连接，则这两个保留连接将未使用并保留在保留池中。如果客户端与另一台服务器建立连接，则再次为该客户端 — 服务器对保留三个新连接。
所有这些保留连接都旨在提高性能并降低由于无法通过MAPI应用加速器进行额外连接而导致客户端连接失败的可能性。
当当前活动优化流+当前活动自动发现流+当前保留流大于设备的固定连接限制时，会发生过载。一般而言，新连接将通过。但是，某些新的MAPI连接可能仍会优化。当设备处于过载点时，如果客户端向其已连接的MAPI服务器发出额外请求，则使用保留的连接。但是，如果保留的连接不足（例如，如果客户端与同一MAPI服务器进行第四次连接，而WAE已处于过载状态），则可能会发生转义连接条件，这可能导致错误行为，例如客户端接收同一单封邮件的多个重复副本。
如果系统未将连接转发到MAPI应用加速器，您应看到“PT Rjct Resources”或“PT in progress”，具体取决于连接上是否存在活动。如果连接被转发到MAPI应用程序加速器，然后保留失败，则连接将标有加速器的"G"，而不是"M"(在show statistics connection optimized mapi命令输出中)。 有关此命令的示例，请参阅文章MAPI AO故障排除。
如果您经常遇到过载情况，了解Outlook客户端如何进行连接（有多少个连接到多少台Exchange服务器）非常重要。 当Outlook在客户端上运行时，在任务栏上右键单击系统托盘中的Outlook图标时，按住Ctrl键。选择Connection Status以显示Outlook客户端已连接到的服务器列表。从中，您可以看到客户端正在建立多少个连接，以及与多少个不同的Exchange服务器。如果客户端正在连接多个不同的服务器，则调查整合邮件的方法将很有帮助，因此用户只能打开与单个Exchange服务器的MAPI连接，并使用与该服务器的多个连接。
调查是否有其他应用可能正在进行MAPI连接，也很有用。
超载情况的解决方案
检查优化的连接是否合法。在许多情况下，网络中遇到的拒绝服务(DoS)攻击可能导致WAE尝试优化连接。如果是，请在网络中采用DoS保护机制主动关闭连接。
如果连接合法，则位置中部署的WAE规模过小，可能需要升级，或者可以部署额外的WAE来提高该站点的可扩展性。
反馈