Solución de problemas en la cola de latidos AMQP

Introducción

Este documento describe el procedimiento para resolver problemas de cómo limpiar la cola de latidos del protocolo de Message Queue Server avanzado (AMQP)

Colaboró con Aswathi Surendran, Gustavo Bell Ingenieros del TAC de Cisco.

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

• Interfaz Linux
• Entornos de máquinas virtuales
• Conejo 

Componentes Utilizados

La información que contiene este documento se basa en estas versiones de software:

• CloudCenter versión 4.3.x a 4.6.x
• Buss de mensajes de CloudCenter (RabbitMQ_Server)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

 Antecedentes

  El tamaño del subproceso activo del conjunto es 64, donde los subprocesos enviados que corresponden a los trabajos eran más de 3000 y se rechazarán, ya que el código no puede manejar más de 64 subprocesos a la vez, por lo que esperará a que se complete la tarea anterior y se ejecute la otra.

Se rechazarán todas las tareas que sean mayores de lo que puede consumir un grupo de subprocesos ejecutado. 

Problema

el error filecliqr-connection.log localizado en /usr/local/tomcatgua/logs/ report:

Caused by: org.springframework.core.task.TaskRejectedException: Executor [java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413]] did not accept task: org.springframework.aop.interceptor.AsyncExecutionInterceptor$1@6b0517b3 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:284) 
at org.springframework.aop.interceptor.AsyncExecutionAspectSupport.doSubmit(AsyncExecutionAspectSupport.java:186) 
at org.springframework.aop.interceptor.AsyncExecutionInterceptor.invoke(AsyncExecutionInterceptor.java:123) 
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) 
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:208) 
at com.sun.proxy.$Proxy84.processMessage(Unknown Source) 
at com.osmosix.commons.messaging.listeners.impl.DefaultNodeMessageListener.handleMessage(DefaultNodeMessageListener.java:35) 
at sun.reflect.GeneratedMethodAccessor78.invoke(Unknown Source) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:497) 
at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:269) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:383) 
... 12 more 
Caused by: java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@3911a213 rejected from java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413] 
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047) 
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823) 
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369) 
at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:134) 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:281) 
... 23 more 
2016-10-19 02:32:32,205 INFO annotation.RequestMappingHandlerMapping [localhost-startStop-1] - Mapped "{[/image/service/dltargetlocal],methods=[POST]}" onto public java.util.Map<java.lang.String, ?> com.osmosix.gateway.image.transform.ImageTransformController.downloadToTargetLocal(com.osmosix.commons.image.transform.DownloadImageFileRequest) 
2016-10-19 02:32:32,206 WARN listener.ConditionalRejectingErrorHandler [SimpleAsyncTaskExecutor-1] - Execution of Rabbit message listener failed. 
org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException: Listener method 'handleMessage' threw exception 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:391) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.onMessage(MessageListenerAdapter.java:294) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:757) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:680) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$001(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$1.invokeListener(SimpleMessageListenerContainer.java:183) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.invokeListener(SimpleMessageListenerContainer.java:1352) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:661) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:1096) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:1080) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$800(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1197) 
at java.lang.Thread.run(Thread.java:745)

Resolución

Paso 1.  Inicie sesión en el servidor RabbitMQ a través de SSH.

Paso 2. Cambiar al usuario raíz.

# sudo -i

Paso 3. Habilite el complemento de administración.

# rabbitmq-plugins enable rabbitmq_management​ 

Paso 4. Habilite el acceso al comando rabbitmqadmin.  

# chmod +x `find /var/lib/rabbitmq/ -name "rabbitmqadmin"`
# ln -s `find /var/lib/rabbitmq/ -name "rabbitmqadmin"` /usr/sbin

Paso 5. Se puede acceder a RabbitMQ a través de la GUI.

http://
     
     
       :15672 (username=cliqr password=cliqr) 
     

Nota: Reemplace RabbitMQ_Server_IP en la configuración con su dirección de servidor RabbitMQ

Navegar por la ficha Colas para ver los detalles

or

CLI:

# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list queues
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list exchanges
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list channels

Paso 6. Para eliminar la cola de latidos del gateway.

#rabbitmqadmin -V /cliqr delete queue name=cliqr.gateway.heartbeat.queue --username=cliqr --password=cliqr

Paso 7.  Reinicie el servicio tomcat en RabbitServer.

#/etc/init.d/tomcatgua stop
#/etc/init.d/tomcatgua start

  

Nota: Si falta cliqr.gateway.Hearbeat.queue, reinicie el servicio tomcat de CCO siguiendo los siguientes pasos:

Paso 8.  Inicie sesión en el servidor CCO a través de SSH.

Paso 9. Cambiar al usuario raíz.

# sudo -i

Paso 10. Reinicie el servidor Tomcat.

#/etc/init.d/tomcat stop
#/etc/init.d/tomcat start