WAAS - 오버로드 조건 트러블슈팅
장:오버로드 조건 트러블슈팅
이 문서에서는 과부하 조건을 해결하는 방법에 대해 설명합니다.
주요 기사
WAAS 아키텍처 및 트래픽 흐름 이해
예비 WAAS 문제 해결
문제 해결 최적화
애플리케이션 가속화 문제 해결
CIFS AO 문제 해결
HTTP AO 문제 해결
EPM AO 문제 해결
MAPI AO 문제 해결
NFS AO 문제 해결
SSL AO 문제 해결
비디오 AO 문제 해결
일반 AO 문제 해결
오버로드 조건 트러블슈팅
WCCP 문제 해결
AppNav 문제 해결
디스크 및 하드웨어 문제 해결
직렬 인라인 클러스터 문제 해결
vWAAS 문제 해결
WAAS Express 문제 해결
NAM 통합 문제 해결
목차
개요
Cisco WAAS 네트워크는 고객 요구 사항에 따라 특정 수의 TCP 연결을 최적화하도록 설계되었을 것입니다.WAE 모델에 따라 SSL 및 CIFS 애플리케이션 가속기에 대한 추가 연결 제한이 있을 수 있습니다.전체 연결 제한 또는 특정 애플리케이션 가속기 연결 제한을 초과하면 디바이스가 오버로드됩니다.이러한 상황에서 더 많은 트래픽이 처리할 수 있는 트래픽보다 디바이스에 유입되고 있으므로 트래픽이 예상대로 최적화되지 않을 수 있습니다(오버로드된 트래픽은 최적화되지 않은 상태로 통과됨).
TFO 플로우 및 오버로드 조건을 모니터링하는 방법
WAAS 가속기 장치가 오버로드되면 일반적으로 다음과 같은 Central Manager 경보가 표시됩니다.최대 연결 수(nnn)로 인해 오버로드 상태를 시작합니다. number nnn은 마지막 재부팅 이후 WAE가 과부화된 횟수입니다.
디바이스에서는 다음과 유사한 syslog 오류 메시지도 기록합니다.Sysmon: %WAAS-SYSMON-3-445015:발견된 결함:TFO 가속기가 오버로드되었습니다(연결 제한).
CLI에서 다양한 show 명령을 사용하여 허용 및 실제 연결 수를 확인하고 추가 정보를 수집할 수 있습니다.
TCP 연결 제한 확인
첫 번째 유용한 명령은 show tfo detail로, 디바이스에서 처리할 수 있는 최적화된 TFO 연결의 수를 다음과 같이 알려줍니다.
wae-7341# show tfo detail Policy Engine Config Item Value ------------------------- ----- State Registered Default Action Use Policy Connection Limit 12000 <-----Maximum number of TFO optimized connections Effective Limit 11988 Keepalive timeout 3.0 seconds
Connection Limit(연결 제한) 값은 이 WAAS 장치가 12000 TFO 최적화 연결을 지원할 수 있음을 알려줍니다.
MAPI AO에서 일부 연결을 예약한 경우 유효 한도가 연결 제한보다 낮을 수 있습니다.예약된 연결은 Connection Limit(연결 제한)에서 Effective Limit(유효 제한)을 얻기 위해 제외됩니다.
최적화된 TCP 연결 확인
디바이스의 TCP 플로우를 이해하려면 show statistics connection 명령(버전 4.1.1에서 show statistics connection all 명령을 사용합니다. 이 명령은 현재 처리된 TFO/DRE/LZ 흐름, 통과 흐름 및 특정 애플리케이션 가속기에서 처리 중인 흐름을 표시합니다.이 명령의 예는 다음과 같습니다.
wae# show statistics connection Current Active Optimized Flows: 5 Current Active Optimized TCP Plus Flows: 5 Current Active Optimized TCP Only Flows: 0 Current Active Optimized TCP Preposition Flows: 0 Current Active Auto-Discovery Flows: 0 Current Reserved Flows: 12 <---------- Added in 4.1.5 Current Active Pass-Through Flows: 0 Historical Flows: 143 D:DRE,L:LZ,T:TCP Optimization, A:AOIM,C:CIFS,E:EPM,G:GENERIC,H:HTTP,M:MAPI,N:NFS,S:SSL,V:VIDEO ConnID Source IP:Port Dest IP:Port PeerID Accel 92917 10.86.232.131:41197 70.70.7.11:3268 00:1a:64:69:19:fc TDL 92918 10.86.232.131:41198 70.70.7.11:3268 00:1a:64:69:19:fc TDL 92921 10.86.232.131:41216 70.70.7.11:3268 00:1a:64:69:19:fc TDL 94458 10.86.232.131:45354 70.70.7.11:1026 00:1a:64:69:19:fc TDL 36883 10.86.232.136:1857 10.86.232.131:1026 00:1a:64:69:19:fc TDL
출력의 첫 번째 줄(현재 활성 최적화 흐름)에서 디바이스에 현재 5개의 활성 최적화 플로우가 있음을 확인할 수 있습니다.두 번째 카운터(현재 활성 최적화 TCP Plus Flows)에서 TFO/DRE/LZ 최적화(TFO Plus는 TFO 외에 DRE 및/또는 LZ 최적화가 사용되고 있음을 의미합니다)를 통해 모든 프로세스가 처리되고 있음을 확인할 수 있습니다. 세 번째 카운터(Current Active Optimized TCP Only Flows)는 TFO로만 최적화된 흐름을 표시합니다.
또 다른 유용한 카운터는 Current Active Auto-Discovery Flows입니다. 이 흐름은 최적화된 흐름 또는 통과 플로우가 되도록 완전히 설정되지 않은 흐름을 표시합니다.완전히 설정하려면 연결에 오버로드 조건을 처리할 때 참고할 수 있는 SYN, SYN ACK, ACK 핸드셰이크가 표시되어야 합니다.Current Active Pass-Through Flows(현재 활성 패스스루 흐름) 카운터는 디바이스가 패스스루 상태이거나 디바이스에서 SYN, SYN ACK, ACK 설정을 보지 못한 연결을 표시합니다.이러한 플로우는 최적화된 플로우로 계산되지 않습니다.패스스루 플로우의 경우, 디바이스는 등급이 지정된 최적화된 플로우의 최대 10배까지 처리할 수 있어야 합니다.
Current Reserved Flows 카운터는 MAPI 가속기에 예약된 연결 수를 표시합니다.예약된 MAPI 연결 및 장치 오버로드에 미치는 영향에 대한 자세한 내용은 MAPI Application Accelerator 예약 연결 과부하 영향 섹션을 참조하십시오.
다음 3개의 카운터의 합계는 WAE 장치가 연결 제한에 얼마나 근접하는지 알려줍니다.
- 현재 활성 최적화된 흐름
- 현재 활성 자동 검색 흐름
- 현재 예약된 플로우(4.1.5 이상에서만 사용 가능)
이 합계가 연결 제한보다 크거나 같으면 디바이스가 오버로드 상태에 있습니다.
5개의 최적화된 흐름에 대한 세부 정보는 카운터 아래의 테이블에 표시됩니다.
디바이스에서 현재 TFO 흐름 수를 확인하는 데 사용할 수 있는 또 다른 명령은 show statistics tfo detail 명령입니다.출력에서 가장 유용한 카운터 중 두 가지는 다음과 같이 "No. of active connections(활성 연결 수 없음)"이며 Policy Engine Statistics(정책 엔진 통계) 아래에서 "Active connections(활성 연결)"입니다.
wae# show statistics tfo detail
Total number of connections : 22915
No. of active connections : 3 <-----Current optimized connections
No. of pending (to be accepted) connections : 0
No. of bypass connections : 113
No. of normal closed conns : 19124
No. of reset connections : 3788
Socket write failure : 2520
Socket read failure : 0
WAN socket close while waiting to write : 1
AO socket close while waiting to write : 86
WAN socket error close while waiting to read : 0
AO socket error close while waiting to read : 80
DRE decode failure : 0
DRE encode failure : 0
Connection init failure : 0
WAN socket unexpected close while waiting to read : 1048
Exceeded maximum number of supported connections : 0
Buffer allocation or manipulation failed : 0
Peer received reset from end host : 53
DRE connection state out of sync : 0
Memory allocation failed for buffer heads : 0
Unoptimized packet received on optimized side : 0
Data buffer usages:
Used size: 0 B, B-size: 0 B, B-num: 0
Cloned size: 54584 B, B-size: 73472 B, B-num: 111
Buffer Control:
Encode size: 0 B, slow: 0, stop: 0
Decode size: 0 B, slow: 0, stop: 0
AckQ Control:
Total: 0, Current: 0
Scheduler:
Queue Size: IO: 0, Semi-IO: 0, Non-IO: 0
Total Jobs: IO: 219110, Semi-IO: 186629, Non-IO: 49227
Policy Engine Statistics
-------------------------
Session timeouts: 0, Total timeouts: 0
Last keepalive received 00.0 Secs ago
Last registration occurred 8:03:54:38.7 Days:Hours:Mins:Secs ago
Hits: 52125, Update Released: 17945
Active Connections: 3, Completed Connections: 37257 <-----Active Connections
Drops: 0
Rejected Connection Counts Due To: (Total: 12)
Not Registered : 12, Keepalive Timeout : 0
No License : 0, Load Level : 0
Connection Limit : 0, Rate Limit : 0 <-----Connection Limit
Minimum TFO : 0, Resource Manager : 0
Global Config : 0, Server-Side : 0
DM Deny : 0, No DM Accept : 0
Auto-Discovery Statistics
-------------------------
Total Connections queued for accept: 22907
Connections queuing failures: 0
Socket pairs queued for accept: 0
Socket pairs queuing failures: 0
AO discovery successful: 0
AO discovery failure: 0
경우에 따라 두 카운터가 다르며 이유는 "아니요"입니다.of active connections"는 TFO, TFO/DRE, TFO/DRE/LZ, TFO/DRE/LZ 및 애플리케이션 가속기에 의해 최적화된 모든 현재 흐름을 표시합니다.정책 엔진 통계의 "활성 연결"에는 위의 상태의 모든 플로우와 TFO 및 애플리케이션 가속기에 의해서만 최적화된 연결이 포함됩니다.이 상황은 TCP 흐름이 들어오고 애플리케이션 가속기 분류자와 일치했지만 SYN, SYN ACK, ACK 핸드셰이크가 완료되지 않았음을 의미합니다.
많은 TFO 오버로드 사례에서 문제가 계속 발생하는 경우 이러한 명령을 살펴보고 최적화된 흐름 수가 하드웨어에 대해 최적화된 TCP 연결의 정격 수에 따라 발생하는지 확인할 수 있습니다.그렇다면 플로우 세부사항을 보고 모든 플로우를 사용 중인 항목을 확인하여 이 트래픽이 합법적이고 디바이스를 오버로드하는지 또는 바이러스, 보안 스캐너 또는 네트워크에서 발생하는 다른 어떤 것인지 확인할 수 있습니다.
정책 엔진 통계 아래의 "Connection Limit" 카운터는 WAE가 정격 수의 최적화된 TCP 연결 수를 초과했기 때문에 거부 및 통과한 연결 수를 보고합니다.이 카운터가 높으면 WAE가 처리할 수 있는 것보다 더 많은 연결을 받는 경우가 많습니다.
최적화된 연결 수가 정격 된 최적화된 TCP 연결 수에 미치지 않고 오버로드 경보가 계속 발생하는 경우 show statistics connection 명령 또는 show statistics for detail 명령의 Policy Engine Statistics 아래에서 "Active Connections"에서 Current active auto-discovery 흐름을 확인해야 합니다.경우에 따라 최적화된 연결 수는 매우 적을 수 있지만 Policy Engine Statistics의 Active Connections는 하드웨어에 대해 최적화된 정격 플로우 수와 거의 같습니다.이러한 상황은 분류자와 일치하는 플로우가 많지만 완전히 설정되지 않았음을 의미합니다.TCP SYN이 분류자와 일치하면 최적화된 연결을 예약합니다.이 연결은 TCP 핸드셰이크가 완료되고 최적화가 시작될 때까지 최적화된 TCP 연결 수에 나타나지 않습니다.디바이스에서 플로우를 최적화하지 않아야 한다고 판단할 경우, Policy Engine Statistics(정책 엔진 통계) 아래의 활성 연결 수에서 해당 플로우가 제거됩니다.
TFO 오버로드가 발생하고 Policy Engine Statistics Active Connections(정책 엔진 통계 활성 연결)가 디바이스에서 최적화된 모든 TCP 연결을 사용하는 것처럼 보이는 경우 문제를 더 자세히 해결하려면 show statistics accelerator detail 명령을 사용합니다.이 명령의 출력에서 각 응용 프로그램 가속기의 Policy Engine Statistics 아래에서 Active Connections를 확인하여 완전히 설정되지 않은 연결을 수신하는 응용 프로그램 가속기를 확인합니다.다음으로, 디바이스에서 필터링 튜플 수를 제공하는 show statistics filtering 명령을 사용하여 이러한 플로우가 어떤 상태로 표시되는지 확인합니다.
wae# show statistics filtering Number of filtering tuples: 18 Number of filtering tuple collisions: 0 Packets dropped due to filtering tuple collisions: 0 Number of transparent packets locally delivered: 965106 Number of transparent packets dropped: 0 Packets dropped due to ttl expiry: 0 Packets dropped due to bad route: 10 Syn packets dropped with our own id in the options: 0 Syn-Ack packets dropped with our own id in the options: 0 Internal client syn packets dropped: 0 Syn packets received and dropped on estab. conn: 0 Syn-Ack packets received and dropped on estab. conn: 0 Syn packets dropped due to peer connection alive: 525 Syn-Ack packets dropped due to peer connection alive: 0 Packets recvd on in progress conn. and not handled: 0 Packets dropped due to peer connection alive: 1614 Packets dropped due to invalid TCP flags: 0 Packets dropped by FB packet input notifier: 0 Packets dropped by FB packet output notifier: 0 Number of errors by FB tuple create notifier: 0 Number of errors by FB tuple delete notifier: 0 Dropped WCCP GRE packets due to invalid WCCP service: 0 Dropped WCCP L2 packets due to invalid WCCP service: 0 Number of deleted tuple refresh events: 0 Number of times valid tuples found on refresh list: 0
필터링 튜플의 수는 디바이스에서 최적화된 흐름 수(통과 중, FIN WAIT 상태, 설정 상태 등)입니다.설정된 각 흐름은 흐름의 각 면에 대해 하나씩 두 개의 튜플로 나타나므로 이 출력에 표시되는 숫자가 다른 명령에서 보는 흐름 수보다 훨씬 클 수 있습니다.
필터링 목록의 플로우에 대한 자세한 내용을 보려면 다음과 같이 show filtering list 명령을 사용할 수 있습니다.
wae# show filtering list
E: Established, S: Syn, A: Ack, F: Fin, R: Reset
s: sent, r: received, O: Options, P: Passthrough
B: Bypass, L: Last Ack, W: Time Wait, D: Done
T: Timedout, C: Closed
Local-IP:Port Remote-IP:Port Tuple(Mate) State
10.86.232.82:23 10.86.232.134:41784 0xbc1ae980(0x0 ) E
10.86.232.131:58775 70.70.7.11:3268 0x570b2900(0x570b2b80) EW
70.70.7.11:3268 10.86.232.131:58775 0x570b2b80(0x570b2900) EDL
70.70.7.11:3268 10.86.232.131:57920 0x570b2d80(0x570b2800) E
10.86.232.131:57920 70.70.7.11:3268 0x570b2800(0x570b2d80) E
10.86.232.82:23 161.44.67.102:4752 0xbc1aee00(0x0 ) E
10.86.232.131:58787 70.70.7.11:1026 0x570b2080(0x570b2e80) EW
70.70.7.11:1026 10.86.232.131:58787 0x570b2e80(0x570b2080) EDL
10.86.232.131:48698 70.70.7.11:1026 0x570b2f00(0x570b2880) PE
10.86.232.131:58774 70.70.7.11:389 0x570b2300(0x570b2180) EW
70.70.7.11:389 10.86.232.131:58774 0x570b2180(0x570b2300) EDL
10.86.232.131:58728 70.70.7.11:1026 0x570b2380(0x570b2a00) E
10.86.232.131:58784 70.70.7.11:1026 0x570b2e00(0x570b2980) EW
70.70.7.11:1026 10.86.232.131:58784 0x570b2980(0x570b2e00) EDL
70.70.7.11:1026 10.86.232.131:48698 0x570b2880(0x570b2f00) PE
10.86.232.131:58790 70.70.7.11:3268 0x570b2100(0x570b2c80) EW
70.70.7.11:3268 10.86.232.131:58790 0x570b2c80(0x570b2100) EDL
show statistics accelerator all 명령이 최적화된 모든 TFO 연결을 모두 사용 중인 애플리케이션 가속기를 표시하는 경우 해당 포트 또는 트래픽에서 필터링할 수 있습니다.예를 들어 포트 80 트래픽에서 필터링하려면 show filtering 목록을 사용합니다 | I:80 명령
State 열의 범례를 확인합니다.플로우가 SYN 상태인 경우 S 상태의 플로우가 많이 표시될 수 있습니다. WAE가 옵션 세트와 함께 SYN ACK를 다시 전송한 경우 상태 SAsO가 표시될 수 있습니다.이 표시는 흐름의 상태를 확인하는 데 도움이 될 수 있으며, 여기에서 연결을 해제하지 않는 WAE에 라우팅 문제, 바이러스 또는 문제가 있는지 확인할 수 있습니다.플로우에 대한 상황을 정확하게 확인하기 위해 추적이 필요할 수 있지만 위의 명령을 통해 어떤 것을 찾아야 하는지 알 수 있습니다.
오버로드에 대한 MAPI 응용 프로그램 가속기 예약 연결 영향
TFO 오버로드는 MAPI 응용 프로그램 가속기 예약 연결로 인해 발생할 수 있으므로 MAPI 응용 프로그램 가속기에서 연결을 예약하는 프로세스를 이해하는 것이 좋습니다.
MAPI 응용 프로그램 가속기는 TFO 연결을 확보하여 클라이언트가 Exchange 서버에 연결할 현재 및 미래의 모든 연결을 가속화할 수 있도록 충분한 연결을 제공합니다.MAPI 클라이언트가 여러 연결을 만드는 것은 정상입니다.클라이언트가 MAPI 응용 프로그램 가속기를 통해 초기 연결을 하지만 후속 연결이 MAPI 응용 프로그램 가속기에서 실패할 경우 클라이언트의 연결이 실패할 수 있습니다.
이러한 잠재적인 연결 오류를 방지하기 위해 MAPI 응용 프로그램 가속기는 다음과 같이 연결 리소스를 예약합니다.
- 클라이언트 연결이 시작되기 전에 예상되는 새 연결을 위한 버퍼로 10개의 연결을 자체적으로 예약합니다.
- 서버에 대한 각 클라이언트 연결에 대해 해당 클라이언트-서버 쌍에 대해 3개의 TFO 연결을 예약하며 3개 중 하나가 이 첫 번째 연결에 대한 활성 연결로 사용됩니다.동일한 클라이언트가 동일한 서버에 두 번째 또는 세 번째 연결을 만들 경우 해당 클라이언트는 예약된 연결 풀에서 처리됩니다.클라이언트가 서버에 단일 연결만 할 경우, 예약된 두 연결은 사용되지 않고 예약된 풀에 유지됩니다.클라이언트가 다른 서버에 연결하는 경우 해당 클라이언트-서버 쌍에 대해 3개의 새 연결이 다시 예약됩니다.
이러한 모든 예약된 연결은 성능을 향상시키고 MAPI 응용 프로그램 가속기를 통해 추가 연결을 할 수 없으므로 클라이언트 연결이 실패할 가능성을 줄이도록 설계되었습니다.
현재 활성 최적화 흐름 + 현재 활성 자동 검색 흐름 + 현재 예약 흐름이 디바이스의 고정 연결 제한보다 클 때 오버로드가 발생합니다.일반적으로 새 연결이 통과됩니다.그러나 일부 새로운 MAPI 연결은 여전히 최적화되어 있을 수 있습니다.디바이스가 오버로드 지점에 있는 경우 클라이언트가 이미 연결된 MAPI 서버에 추가 요청을 하면 예약된 연결이 사용됩니다.그러나 예약된 연결이 충분하지 않은 경우(예: 클라이언트가 동일한 MAPI 서버에 네 번째 연결을 하고 WAE가 이미 오버로드되어 있는 경우) 이스케이프된 연결 조건이 발생할 수 있으며, 이로 인해 동일한 단일 메일 메시지의 여러 중복 복사본을 받는 클라이언트와 같은 잘못된 동작이 발생할 수 있습니다.
시스템이 MAPI 응용 프로그램 가속기에 연결을 전달하지 않은 경우 연결에 활동이 있는지 여부에 따라 "PT Rjct Resources" 또는 "PT in progress"가 표시됩니다.연결이 MAPI 응용 프로그램 가속기로 전달된 후 예약에 실패하면 연결에는 "M" 대신 가속기에 대한 "G"가 표시됩니다(show statistics connection optimized mapi 명령 출력). 이 명령의 예는 MAPI AO 문제 해결 문서를 참조하십시오.
과부하 상태가 자주 발생하는 경우 Outlook 클라이언트에서 연결을 만드는 방법을 이해하는 것이 중요합니다(Exchange 서버 수에 대한 연결 수). 클라이언트에서 Outlook이 실행 중인 경우 Ctrl 키를 누른 채 작업 표시줄의 시스템 트레이에서 Outlook 아이콘을 마우스 오른쪽 단추로 클릭합니다.연결 상태를 선택하여 Outlook 클라이언트가 연결된 서버 목록을 표시합니다.그 결과 클라이언트에서 만드는 연결 수와 Exchange 서버의 수를 확인할 수 있습니다.클라이언트가 여러 서버에 연결하는 경우, 사용자가 단일 Exchange 서버에 대한 MAPI 연결만 열고 해당 서버에 대한 여러 연결을 사용하도록 메일을 통합하는 방법을 조사하는 것이 좋습니다.
MAPI 연결을 만드는 다른 응용 프로그램이 있는지 여부를 조사하는 것도 유용합니다.
과부하 조건을 위한 솔루션
최적화된 연결을 검사하여 합법적인 연결인지 확인합니다.대부분의 경우 네트워크에서 발생한 DoS(Denial of Service) 공격으로 인해 WAE가 연결을 최적화하려고 시도할 수 있습니다.그렇다면 네트워크에 DoS 보호 메커니즘을 적용하여 연결을 사전에 닫습니다.
연결이 합법적인 경우, 위치에 구축된 WAE의 크기가 너무 작아 업그레이드해야 할 수도 있고, 해당 사이트 내의 확장성을 높이기 위해 추가 WAE를 구축할 수도 있습니다.
피드백