DoorDash développe une nouvelle plateforme de session avec Flink pour améliorer la rapidité de livraison des notifications

Chen Yang et Fan Zhang de l’équipe d’ingénierie de DoorDash ont récemment développé une plate-forme de session en mémoire avec Apache Flink qui identifie les activités et les sessions des utilisateurs en temps réel. Le nouveau système illustré par le diagramme ci-dessous a résolu l’un des nombreux défis auxquels DoorDash était auparavant confronté : identifier le moment où un utilisateur avait véritablement abandonné son panier plutôt que de simplement rechercher plus d’articles ou différents marchands. Cette distinction était cruciale pour envoyer des notifications d’abandon de panier opportunes et pertinentes. Les méthodes traditionnelles, telles que le traitement par lots, étaient non seulement gourmandes en ressources, mais également décalées, rendant la détection en temps réel presque impossible.

Flux de données de détection de session en temps réel, conçu par l’équipe d’ingénierie de DoorDash.

La nouvelle plate-forme de mise en session est construite avec un travail Flink volumineux et avec état pour surveiller les sessions utilisateur via les événements des clients mobiles et Web en mémoire. Cette approche leur a permis de traiter le flux d’événements d’activité des utilisateurs sans « avoir à charger des quantités massives de données du stockage froid vers la mémoire avant le traitement », évitant ainsi « des coûts de calcul et une latence énormes » ainsi que « la détection de périodes d’inactivité dans des délais courts. , [in order to] envoyer des notifications à des moments plus opportuns. ” La nouvelle plate-forme n’est pas sans défis. Étant donné que Flink traite tous les événements en mémoire en temps réel, il doit conserver tous les événements de session utilisateur jusqu’à la fin de la session. Compte tenu de l’échelle actuelle de DoorDash et de chaque session client dure environ une heure, l’état local du vol peut atteindre des centaines de gigaoctets à tout moment.

L’adoption par DoorDash d’Apache Flink pour la détection de session en temps réel et l’envoi de notifications marque une avancée significative dans l’amélioration de l’engagement des utilisateurs et des taux de conversion. La nouvelle conception a aidé DoorDash à améliorer considérablement la rapidité et la précision de la transmission des notifications, ce qui a entraîné un taux d’envoi à l’ouverture 40 % plus élevé. Ce succès a déjà conduit à une nouvelle série d’expérimentations avec la plateforme, notamment l’ajout de promotions aux notifications d’abandon de panier et le contrôle de la fréquence des notifications d’abandon de panier.