Aller au contenu principal
Version: Any 26

Files d'attente

Any peut exécuter des traitements lourds de façon asynchrone. Le FileSystem Importer, les SyncAPI, les intégrations, les demandes d'exécutions de méthode asynchrone déposent des messages sur des files d'attente et des consumers les dépilent pour les exécuter. Les files sont portées par ActiveMQ en on-premise et par SQS dans le cloud.

Configuration​

Les files sont déclarées dans le champ queues de la messagerie du settings.json : la section mdb-messaging pour ActiveMQ (on-premise), la section aws-messaging pour SQS (cloud).

{
"mdb-messaging": {
"jms_server_address": "tcp://localhost:61616",
"queues": [
{ "name": "input", "queue": "input", "balancing": 1 },
{ "name": "methods", "queue": "methods", "balancing": 1 },
{
"name": "highprioritymethods",
"queue": "methods",
"balancing": 1,
"match": ["MassUpdateMethod", "SynchronizeRoomMethod"]
},
{ "name": "maintenance", "queue": "maintenance_methods", "balancing": 1 },
{ "name": "output", "queue": "output" },
{ "name": "pdf_request", "queue": "pdf_request" }
]
}
}

Chaque entrée décrit une file :

  • name : nom physique de la file sur le broker. C'est aussi l'identifiant auquel les consumers sont rattachés.
  • queue : type de la file, qui détermine son rôle (voir Types de file).
  • balancing : nombre de consumers qui dépilent la file en parallèle (voir Nombre de consumers). À défaut, 2.
  • match : liste de méthodes routées vers cette file (voir Files dédiées à des méthodes).

Files par défaut​

namequeue (type)RôleDépilée au démarrage
inputinputMessages de synchronisation entrantsSelon la configuration du module Synchronisation
methodsmethodsExécution des méthodes standardOui
highprioritymethodsmethodsMéthodes de masse isolées de la file methodsOui
maintenancemaintenance_methodsMéthodes exécutées en mode maintenanceEn mode maintenance uniquement
outputoutputMessages de synchronisation sortantsNon, elle est dépilée par le destinataire
pdf_requestpdf_requestDemandes de génération de PDF et de vignettesOui

Types de file​

Le champ queue fixe le rôle de la file :

  • input : messages de synchronisation entrants à importer.
  • output : messages de synchronisation sortants poussés vers un référentiel distant.
  • methods : exécution asynchrone des méthodes.
  • maintenance_methods : méthodes exécutées lorsque Any est en mode maintenance.
  • pdf_request : demandes de génération de PDF et de vignettes.
  • bulk_import : import en masse.

Files dédiées à des méthodes​

Par défaut, toutes les méthodes passent par la file de type methods. Une méthode volumineuse occupe alors les consumers et retarde les autres méthodes tant qu'elle s'exécute.

Le champ match route certaines méthodes vers une file dédiée, servie par ses propres consumers. Any fournit la file highprioritymethods pour isoler les méthodes de masse :

{
"name": "highprioritymethods",
"queue": "methods",
"balancing": 3,
"match": ["MassUpdateMethod", "SynchronizeRoomMethod"]
}

Au dépôt d'un message, Any cherche parmi les files du type visé celle dont le match contient le nom de la méthode. Une file correspond, le message y est déposé, sinon il part sur la file par défaut du type, celle qui n'a pas de match. Les consumers de la file dédiée traitent donc ces méthodes indépendamment de la file methods générale.

Pour dédier d'autres méthodes, ajouter une entrée du même type methods avec un name distinct et la liste des méthodes dans match. La file par défaut du type doit rester déclarée, c'est l'entrée sans match. Le nom d'une méthode correspond à sa classe, par exemple MassUpdateMethod.

Files de maintenance​

Le mode maintenance change la file qui reçoit les méthodes. Tant qu'il est actif, Any dépose les méthodes sur une file de type maintenance_methods au lieu de la file methods, et le Messaging Server arrête les consumers de la file methods pour démarrer ceux de la file de maintenance. À la sortie du mode maintenance, l'opération est inversée.

La file maintenance fournie par défaut sert ce rôle :

{ "name": "maintenance", "queue": "maintenance_methods", "balancing": 1 }

Sans file de type maintenance_methods déclarée, aucune méthode ne s'exécute pendant la maintenance : les messages restent en attente jusqu'à la sortie du mode. Le champ match s'applique aussi à ce type : ajouter une entrée maintenance_methods avec un name distinct et une liste match isole certaines méthodes de maintenance sur leurs propres consumers, comme la file highprioritymethods le fait pour les méthodes standard.

Nombre de consumers​

Le champ balancing fixe le nombre de consumers rattachés à une file, donc le nombre de messages traités en parallèle. Augmenter cette valeur accélère le dépilement, au prix d'une charge accrue sur le serveur, MongoDB et Elasticsearch. À défaut, Any démarre 2 consumers.

{ "name": "methods", "queue": "methods", "balancing": 5 }

La modification prend effet au redémarrage du Messaging Server ou de l'application qui héberge les consumers.

Configuration multi-serveur​

La webapp Any ne dépile traite aucun message de la file d'attente, elle se contente de poster des messages. Le dépilement des messages se fait exclusivement par le MessagingServer. Il est possible de multiplier les instances de MessagingServer pour augmenter le nombre de consumers. Chaque instance peut avoir un paramètrage des files d'attente différent.en ajustant les entrées queues et leur balancing dans chaque settings.json. La file output n'est jamais dépilée automatiquement, et la file input l'est selon la configuration du module Synchronisation.

L'installation de ces composants est décrite dans Installation du Messaging Server. Le mode maintenance et l'actualisation des messages en attente sont traités dans Maintenance.