Dépannage du nettoyage de la file d'attente Heartbeats AMQP

Introduction

Ce document décrit la procédure de dépannage pour nettoyer la file d'attente de pulsations AMQP (Advance Message Queuing Protocol)

Aswathi Surendran, Ingénieurs TAC Cisco Gustavo Bell.

Conditions préalables

Conditions requises

Cisco vous recommande de prendre connaissance des rubriques suivantes :

• Interface Linux
• Environnements de machines virtuelles
• Lapin 

Components Used

Les informations contenues dans ce document sont basées sur les versions de logiciel suivantes :

• CloudCenter version 4.3.x à 4.6.x
• Messages de messages de CloudCenter occupés (serveur RabbitMQ_Server)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. If your network is live, make sure that you understand the potential impact of any command.

 Informations générales

  La taille de thread active du pool est de 64 lorsque les threads soumis correspondant aux travaux étaient plus de 3000 qui seront rejetés car le code ne peut pas gérer plus de 64 threads à un moment donné, il attendra que la tâche précédente soit terminée et exécute l'autre tâche.

Toute tâche supérieure à ce qu'un pool de threads exécuté peut consommer sera rejetée. 

Problème

le fichier liqr-connection.log se trouve dans /usr/local/tomcatgua/logs/ report error :

Caused by: org.springframework.core.task.TaskRejectedException: Executor [java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413]] did not accept task: org.springframework.aop.interceptor.AsyncExecutionInterceptor$1@6b0517b3 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:284) 
at org.springframework.aop.interceptor.AsyncExecutionAspectSupport.doSubmit(AsyncExecutionAspectSupport.java:186) 
at org.springframework.aop.interceptor.AsyncExecutionInterceptor.invoke(AsyncExecutionInterceptor.java:123) 
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) 
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:208) 
at com.sun.proxy.$Proxy84.processMessage(Unknown Source) 
at com.osmosix.commons.messaging.listeners.impl.DefaultNodeMessageListener.handleMessage(DefaultNodeMessageListener.java:35) 
at sun.reflect.GeneratedMethodAccessor78.invoke(Unknown Source) 
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
at java.lang.reflect.Method.invoke(Method.java:497) 
at org.springframework.util.MethodInvoker.invoke(MethodInvoker.java:269) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:383) 
... 12 more 
Caused by: java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.FutureTask@3911a213 rejected from java.util.concurrent.ThreadPoolExecutor@6737f4fb[Running, pool size = 64, active threads = 64, queued tasks = 3000, completed tasks = 413] 
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2047) 
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:823) 
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1369) 
at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:134) 
at org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor.submit(ThreadPoolTaskExecutor.java:281) 
... 23 more 
2016-10-19 02:32:32,205 INFO annotation.RequestMappingHandlerMapping [localhost-startStop-1] - Mapped "{[/image/service/dltargetlocal],methods=[POST]}" onto public java.util.Map<java.lang.String, ?> com.osmosix.gateway.image.transform.ImageTransformController.downloadToTargetLocal(com.osmosix.commons.image.transform.DownloadImageFileRequest) 
2016-10-19 02:32:32,206 WARN listener.ConditionalRejectingErrorHandler [SimpleAsyncTaskExecutor-1] - Execution of Rabbit message listener failed. 
org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException: Listener method 'handleMessage' threw exception 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.invokeListenerMethod(MessageListenerAdapter.java:391) 
at org.springframework.amqp.rabbit.listener.adapter.MessageListenerAdapter.onMessage(MessageListenerAdapter.java:294) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.doInvokeListener(AbstractMessageListenerContainer.java:757) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.invokeListener(AbstractMessageListenerContainer.java:680) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$001(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$1.invokeListener(SimpleMessageListenerContainer.java:183) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.invokeListener(SimpleMessageListenerContainer.java:1352) 
at org.springframework.amqp.rabbit.listener.AbstractMessageListenerContainer.executeListener(AbstractMessageListenerContainer.java:661) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.doReceiveAndExecute(SimpleMessageListenerContainer.java:1096) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.receiveAndExecute(SimpleMessageListenerContainer.java:1080) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer.access$800(SimpleMessageListenerContainer.java:93) 
at org.springframework.amqp.rabbit.listener.SimpleMessageListenerContainer$AsyncMessageProcessingConsumer.run(SimpleMessageListenerContainer.java:1197) 
at java.lang.Thread.run(Thread.java:745)

Résolution

Étape 1.  Connectez-vous au serveur RabbitMQ via SSH.

Étape 2. Basculer vers l'utilisateur racine.

# sudo -i

Étape 3. Activez le plug-in de gestion.

# rabbitmq-plugins enable rabbitmq_management​ 

Étape 4. Activez l'accès à la commande rabbitmqadmin.  

# chmod +x `find /var/lib/rabbitmq/ -name "rabbitmqadmin"`
# ln -s `find /var/lib/rabbitmq/ -name "rabbitmqadmin"` /usr/sbin

Étape 5. RabbitMQ est accessible via l'interface utilisateur graphique.

http://
     
     
       :15672 (username=cliqr password=cliqr) 
     

Note: Remplacez RabbitMQ_Server_IP dans la configuration par votre adresse de serveur RabbitMQ

Naviguer dans l'onglet Files d'attente pour afficher les détails

ou

CLI :

# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list queues
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list exchanges
# rabbitmqadmin -V /cliqr -u cliqr -p cliqr list channels

Étape 6. Pour supprimer la file d'attente de pulsation de la passerelle.

#rabbitmqadmin -V /cliqr delete queue name=cliqr.gateway.heartbeat.queue --username=cliqr --password=cliqr

Étape 7.  Redémarrez le service Tomcat dans RabbitServer.

#/etc/init.d/tomcatgua stop
#/etc/init.d/tomcatgua start

  

Remarque : Si cliqr.gateway.heartbeat.queue est manquant, redémarrez le service CCO tomcat en procédant comme suit :

Étape 8.  Connectez-vous au serveur CCO via SSH.

Étape 9. Basculer vers l'utilisateur racine.

# sudo -i

Étape 10. Redémarrez le serveur Tomcat.

#/etc/init.d/tomcat stop
#/etc/init.d/tomcat start