Utiliser les groupes témoins dans les campagnes One-shot
Qu’est-ce qu’un « Groupe témoin » ?
Un Groupe témoin est un sous-ensemble de contacts sélectionnés aléatoirement dans l’audience d’une campagne, qui est exclu de l’envoi du message pour cette campagne spécifique.
L’objectif est de comparer le comportement des contacts exposés à la campagne avec celui de contacts similaires qui ne l’ont pas reçue. Cette comparaison permet de mesurer l’impact incrémental de la campagne.
Autrement dit, le Groupe témoin aide à répondre à la question :
« Que s’est-il passé grâce à cette campagne ? »
plutôt qu’à :
« Quel chiffre d’affaires est associé à cette campagne ? »
1. Comment fonctionne un Groupe témoin ?
Une campagne avec Groupe témoin est composée de deux populations :
Groupe exposé
Contacts ciblés par la campagne après exclusion du Groupe témoin.
Cela inclut l’ensemble de l’audience ciblée par la campagne, y compris les contacts en blocklist, injoignables ou non délivrables.
Groupe témoin
Contacts exclus volontairement de l’envoi.
Ils sont sélectionnés de manière totalement aléatoire parmi l’audience de la campagne afin de garantir une comparaison fiable et non biaisée.
2. Quand utiliser un Groupe témoin ?
Cas d’usage recommandés
Mesurer le lift incrémental d’une campagne promotionnelle.
Évaluer l’impact réel d’une action CRM.
Répondre à des enjeux d’attribution auprès des équipes Finance ou Direction.
Valider une stratégie dans une approche « test & learn » avant un déploiement à grande échelle.
Cas d’usage moins adaptés
Audiences de petite taille, pour lesquelles les résultats peuvent manquer de significativité statistique.
Contextes où la pression marketing ne permet pas d’exclure une partie de l’audience.
3. Définir l’audience
L’estimation d’audience affichée dans le builder et le Groupe témoin ne sont pas corrélés.
L’estimation d’audience retire les contacts en blocklist ainsi que les contacts injoignables.
Le Groupe témoin, lui, est calculé à partir de l’audience totale, qui inclut :
les contacts joignables ;
les contacts injoignables ;
les contacts en blocklist.
4. Comprendre les statistiques
Les statistiques de campagne reflètent uniquement les performances du Groupe exposé.
Les contacts appartenant au Groupe témoin sont exclus des indicateurs classiques tels que :
taux d’ouverture ;
taux de clic ;
taux de conversion ;
performance globale de campagne.
Ces données sont visibles dans le Campaign Performance Dashboard (CPD).
Analyse du Groupe témoin
L’analyse du Groupe témoin est disponible dans un onglet spécifique.
Elle compare les résultats obtenus par le Groupe exposé et le Groupe témoin afin d’estimer l’impact incrémental de la campagne.
5. Comprendre les métriques
Métrique | Définition | Formule |
|---|---|---|
Audience totale | Toutes les personnes qui auraient pu recevoir votre campagne. | Il s’agit de la même valeur que l’audience totale dans l’onglet Statistiques (qui inclut les contacts injoignables, les contacts en blocklist et le Groupe témoin). |
Groupe exposé | Toutes les personnes ciblées (audience totale moins Groupe témoin). | Groupe exposé = audience totale - Groupe témoin |
Groupe témoin | Un échantillon aléatoire exclu de l’envoi de la campagne (défini en % ou en nombre spécifique). | Groupe témoin = % ou volume de l’audience totale |
Acheteurs | Nombre de personnes ayant effectivement effectué un achat dans chaque groupe (unique). | Somme de tous les acheteurs uniques |
Taux de conversion | Nombre d’acheteurs uniques rapporté au nombre total de contacts. | Acheteurs ÷ Contacts × 100 |
Intervalle de confiance | Indique la plage dans laquelle l’effet réel de votre campagne se situe probablement, car le test repose uniquement sur un échantillon d’utilisateurs. | Prend en compte les conversions et les contacts. |
Panier moyen | Montant moyen dépensé par commande. | Chiffre d’affaires total ÷ Nombre total de commandes |
Chiffre d’affaires | Montant total dépensé par chaque groupe. | Somme de tous les total_price des commandes |
RPM | Chiffre d’affaires généré pour 1 000 messages envoyés. Pour le Groupe témoin, il s’agit du chiffre d’affaires qui aurait eu lieu de toute façon. | Chiffre d’affaires ÷ Contacts × 1 000 |
Conversions incrémentales | Conversions supplémentaires générées par le Groupe exposé par rapport au Groupe témoin. | (Conversion du Groupe exposé - Conversion du Groupe témoin) ÷ Conversion du Groupe témoin |
Chiffre d’affaires incrémental | Le chiffre d’affaires incrémental estime l’impact de la campagne sur le chiffre d’affaires en comparant le Groupe exposé au Groupe témoin. Il prend en compte l’impact sur la conversion + l’impact sur le panier moyen. | Groupe exposé × (RPM du Groupe exposé - RPM du Groupe témoin) ÷ 1 000 |
6. Interpréter les résultats
Résultats significatifs
Si les intervalles de confiance du Groupe exposé et du Groupe témoin ne se chevauchent pas, la campagne a eu un impact statistiquement significatif.
Résultats non significatifs
Si les intervalles de confiance se chevauchent, les résultats sont considérés comme non concluants.
Lorsque le Groupe témoin performe mieux
Si le Groupe témoin obtient de meilleurs résultats que le Groupe exposé, cela peut indiquer :
que la campagne n'a pas eu l'effet attendu ;
que d'autres facteurs externes ont influencé les résultats.
7. FAQ
Q : Le Groupe témoin cesse-t-il de recevoir toutes les communications marketing ?
R : Non. Les contacts du Groupe témoin sont uniquement exclus de la campagne concernée. Ils peuvent continuer à recevoir d’autres campagnes marketing.
Q : Puis-je sélectionner manuellement les contacts inclus dans le Groupe témoin ?
R : Non. Afin de garantir des résultats fiables et non biaisés, les contacts sont sélectionnés aléatoirement par le système. Vous pouvez uniquement définir la taille du Groupe témoin en pourcentage ou en nombre de contacts.
Q : Puis-je ajuster la période d’observation pour mesurer les résultats ?
R : Oui. La période d’observation est configurable. Par défaut, elle est définie à 7 jours, mais elle peut être étendue jusqu’à 30 jours, même après l’envoi de la campagne.
Q : Puis-je utiliser les Groupes témoins dans les campagnes automatisées ?
R : Non. Les Groupes témoins sont actuellement disponibles uniquement pour les campagnes one-shot. Les campagnes automatisées ne sont pas prises en charge en raison des contraintes liées à l’analyse statistique.