Virtual Agent le 18/01/2021

Rapport d’incident

Instance: https://bots-virtual-agent-enriched.smartly.ai/
Début d’incident: 10h50 (UTC +1) 
Fin d’incident: 16h32 (UTC +1) 

Description

Plusieurs composants, dont l’API de Virtual Agent étaient perturbés voir inaccessibles pour certains.

Composants impactés

L’ensemble des composants était perturbé avec notamment les composants:

  • API
  • Builder
  • Conversations
  • Datasets
  • Analytics
  • Les intégrations (Webchat, Messenger,… )

Cause identifiée

Notre investigation montre que le serveur web (NGINX) n’était plus en capacité à répondre à toutes les requêtes reçues sur la durée de l’incident car le nombre maximum de connexions simultannées était atteint.

Action curative

Dans un premier temps, nous avons désactivé temporairement, avec l’accord des clients concernés, certains bots à l’origine du pic d’activité, le temps d’investiguer et de mettre en place les solutions nécessaires.

Action préventive

  • A court terme: Nous travaillons actuellement à optimiser la configuration NGINX de nos serveurs de manière à pouvoir gérer des flux beaucoup plus importants, notamment en termes de connections TCP concurentes. Ce correctif a été déployé le 26/01/2021 dans la version 2.17.0
  • A moyen terme: Nous axons également nos efforts pour renforcer l’aspect scalabilité automatisée de la solution afin de mieux gérer les montéees en charges futures.

L’équipe Smartly.AI s’excuse pour la gêne occasionnée,
et se tient à votre disposition pour toute information complémentaire via ce formulaire de contact.

🠔 Retour