Conseils pour tester la pertinence des API

Avant de commencer

  • Elle doit être examinée en même temps que les conseils de la CMA sur les tests: note sur les tests (novembre 2022), Conseils pour les tests (juin 2023) et Consignes supplémentaires pour les tests (octobre 2023).
  • L'objectif de ce document est de fournir aux acteurs du marché des conseils sur les cas d'utilisation, la configuration, la structure des tests, les objectifs et les bonnes pratiques d'évaluation de l'API Pertinence.

Principes de conception d'expériences

Assurez-vous que les groupes de test et de contrôle sont bien définis, et qu'ils mesurent les mêmes variables.

Attribution aléatoire et attribution des utilisateurs

  • Si vous n'utilisez pas uniquement des groupes de test gérés par Chrome (par exemple, si vous effectuez le test sur un autre trafic), assurez-vous que la répartition des utilisateurs entre le test et le groupe de contrôle est aléatoire et non biaisée. Quelle que soit la configuration des groupes de test, évaluez les caractéristiques des groupes de test et de contrôle pour vous assurer qu'ils sont comparables. Consultez la Section 15.
  • Assurez-vous que les caractéristiques utilisateur des groupes de test et de contrôle sont identiques (par exemple, utilisez des données géographiques similaires dans les groupes de test et de contrôle). Consultez la section 28.
  • Selon la conception de test suggérée par la CMA, incluez trois groupes de test: Traitement (API PS et autres signaux) + Contrôle 1 (pas de 3 PC + autres signaux) + Contrôle 2 (pas de 3 PC + aucune API PS + autres signaux). Voir les sections 10 à 14.
  • Assurez-vous que votre configuration exploite au mieux les étiquettes de test gérées par Chrome.
  • Gardez à l'esprit que Chrome prévoit d'exclure certaines instances de Chrome de ces groupes de test pour des raisons juridiques, d'expérience utilisateur et / ou techniques. y compris Chrome Enterprise, entre autres. Ces exclusions seront identiques pour les modes A et B, et donc pour le contrôle 1, le contrôle 2 et le traitement. Par conséquent, vous ne devez pas comparer les métriques obtenues avec des groupes de test à celles obtenues en dehors de ces groupes.

Alignement de la configuration entre les groupes de test et de contrôle

  • Assurez-vous que les groupes de test et de contrôle utilisent une configuration de campagne comparable, y compris un inventaire, des formats d'annonces, des types de campagnes et des paramètres de campagne similaires. Consultez la section 28.
  • Par exemple: assurez-vous que des types de conversions similaires sont mesurés à l'aide de la même période d'attribution et de la même logique d'attribution, que les campagnes ciblent des audiences similaires, des groupes de centres d'intérêt et des zones géographiques, et utilisent des contenus publicitaires et des formats d'annonces similaires. Consultez la section 28.
  • Idéalement, la DSP peut gérer la création de rapports et n'a pas besoin de s'appuyer sur une entreprise tierce susceptible d'ajouter une couche d'attribution supplémentaire. Si le client de la DSP fait appel à une entreprise tierce pour effectuer l'attribution, ce tiers doit être inclus dans les plans d'intégration/de test, ainsi que dans les groupes de test et de contrôle.
  • Assurez-vous que chaque campagne gérée par une DSP participante a des chances égales de participer aux enchères dans les groupes de traitement et de contrôle, et que le comportement d'enchères de chaque groupe n'est pas affecté par la présence des autres groupes. Consultez la Section 25.

Collecte et évaluation des métriques

  • Avant d'évaluer les résultats, assurez-vous que la différence entre les résultats entre le groupe de test et le groupe de contrôle est statistiquement pertinente. Consultez la Section 25.
  • Pour toutes les métriques, assurez-vous d'évaluer les anomalies. La logique d'attribution single-touch est très sujette à des anomalies, ce qui peut, par inadvertance, avoir un impact considérable sur les résultats dans un sens ou dans l'autre, en particulier pour les métriques sur les ventes ou le retour sur les dépenses publicitaires (ROAS). Voir: Annexe.Tableau 2.
  • Si vous utilisez des méthodes autres que des applications tierces pour mesurer les conversions (décoration des liens, données first party ou autres données contextuelles, par exemple), assurez-vous qu'elles sont utilisées à la fois dans les groupes de test et de contrôle. Consultez les Sections 13 et 14.
  • Envisagez d'utiliser deux groupes de test différents, l'un pour mesurer les API de pertinence et l'autre pour mesurer l'API Attribution Reporting. Cela évite les tests à plusieurs variables et facilite la compréhension de la cause de vos observations. Pour en savoir plus, consultez le Guide des tests de mesure et le tableau présentant les méthodes de mesure recommandées par groupe de test.
Traitement par rapport au groupe de contrôle 1
Compare l'état final proposé à l'état actuel. 		Traitement par rapport au groupe de contrôle 2
Comparaison de l'état final proposé sans API PS. 		Contrôle 2 et Contrôle 1
Compare la mesure des conversions avec et sans 3PC, sans aucune API PS.
Méthodologie de mesure Pour éviter les tests à plusieurs variables, utilisez les données ARA et autres données pour mesurer les métriques basées sur les conversions pour les deux groupes. Pour éviter les tests à plusieurs variables, utilisez uniquement des données autres que des conversions tierces afin de mesurer les métriques basées sur les conversions pour les deux groupes. Pour éviter les tests à plusieurs variables, utilisez uniquement des données autres que des conversions tierces afin de mesurer les métriques basées sur les conversions pour les deux groupes.

Instructions relatives à la mise en œuvre

Cette section fournit des conseils sur les cas d'utilisation courants des API de pertinence, ainsi que sur les configurations minimales ou optimales pour configurer les API. Il est important de comprendre quels cas d'utilisation sont importants pour votre entreprise et de vous assurer que votre configuration respecte les conditions minimales requises avant de passer à la section de configuration du test.

Cas d'utilisation

Nous avons listé quelques cas d'utilisation courants concernant la pertinence des annonces. Notez que les cas d'utilisation peuvent nécessiter l'utilisation de plusieurs API de pertinence, en fonction des besoins de chaque acteur du marché.

Prospection ou notoriété de la marque

  • Minimal
    • Utilisez sémantiquement les signaux de Topics en tant que segments d'audience.
    • Utilisez l'API Protected Audience pour créer des segments d'audience en ajoutant les visiteurs d'une page Web à un groupe de centres d'intérêt représentant la catégorie contextuelle de ce site.
  • Optimal
    • Utilisez Topics avec d'autres signaux privés et durables tels que les données first party et contextuelles en tant que caractéristiques des modèles de machine learning afin de déduire les segments d'audience correspondant aux utilisateurs.
    • Utilisez l'API Protected Audience pour créer des segments d'audience en ajoutant les visiteurs d'une page Web à un groupe de centres d'intérêt en fonction de données first party, d'activités d'utilisateurs spécifiques, de thèmes ou d'autres signaux contextuels.
    • Utilisez l'API Protected Audience pour créer des segments d'audience propriétaires pouvant être proposés pour l'extension d'audience afin d'élargir la couverture des campagnes des annonceurs.

Remarketing

  • Utiliser l'API Protected Audience afin de créer des segments de remarketing personnalisés pour un site en créant des groupes de centres d'intérêt en fonction de l'activité des utilisateurs.

Configuration

API Topics

  • Minimum
    • La technologie publicitaire (DSP) utilise des thèmes comme signaux lors de la sélection des annonces, conformément aux consignes publiées sous Maximiser la pertinence des annonces sans cookies tiers. Notez que ces signaux Topics peuvent provenir de la DSP qui appelle elle-même l'API Topics, de ses signaux de traitement Topics fournis par une SSP partenaire, ou les deux.
    • (SSP) La technologie publicitaire collabore avec un pourcentage de ses éditeurs pour inclure les thèmes renvoyés par l'API Topics dans le flux d'enchères, conformément à la spécification ORTB 2.x. La technologie publicitaire doit donc travailler avec les sites pour mettre à niveau et déployer toutes les bibliothèques requises (telles que les dépendances d'enchères d'en-tête) afin de pouvoir appeler l'API Topics sur ces sites.
    • (SSP) La technologie publicitaire appelle l'API Topics sur tout le trafic où elle peut être utilisée par la technologie publicitaire. En raison de l'exigence de filtrage par appelant, l'API doit être appelée pendant au moins trois semaines pour garantir une disponibilité maximale. Pour ce faire, il est approprié de commencer à appeler l'API Topics avant même que les DSP partenaires soient prêts à utiliser le signal.
  • Optimal
    • (DSP) : appelez l'API Topics lors des étapes importantes du parcours consommateur, lorsque l'API est disponible pour utilisation par la technologie publicitaire. Utilisez ces données pour l'entraînement ML, par exemple en associant les thèmes aux données first party et d'attribution pertinentes.
    • (DSP) Explorer et introduire des fonctionnalités basées sur des sujets dans les modèles de ciblage de ML afin d'améliorer la segmentation de l'audience. Exécutez l'inférence du modèle au moment du ciblage pour élargir les thèmes d'utilisateurs potentiels. Mettre en correspondance les thèmes déduits avec les campagnes de l'annonceur ciblant ces segments d'audience.
    • (DSP) Explorez et introduisez des fonctionnalités basées sur des thèmes dans les modèles d'enchères de ML afin d'améliorer les modèles de taux de clics (CTR) et de taux de conversion (CVR) prévus.

Protected Audience

  • La technologie publicitaire (DSP) implémente toutes les dépendances côté client pour participer aux enchères basées sur l'API Protected Audience.
    • Cela inclut les dépendances essentielles à l'API Protected Audience (comme le JavaScript de la logique d'enchères), ainsi que les modules d'intégration et les points de terminaison de reporting.
  • (DSP) Technologie publicitaire prête à participer aux enchères facturables basées sur l'API Protected Audience aux 1er et 2e trimestre 2024.
    • Pour cela, la technologie publicitaire doit identifier les partenaires et les sites de test SSP et se coordonner avec eux pour s'aligner sur les objectifs, les handshakes d'intégration et les délais d'exécution des tests de bout en bout.
  • La technologie publicitaire (DSP) utilise un serveur clés-valeurs pour récupérer des signaux en temps réel afin de générer des enchères.
    • Pour cela, la technologie publicitaire doit identifier les principaux cas d'utilisation nécessitant des signaux en temps réel (par exemple, arrêter les campagnes qui ont dépensé l'intégralité de leur budget) et intégrer ces signaux en temps réel dans le JavaScript de leur logique d'enchères.
  • La technologie publicitaire (DSP) applique une approche globale des performances dans les enchères Protected Audience.
    • D'une manière générale, cette approche de haut niveau comprend trois aspects: la mesure des performances, l'analyse des données et l'affinage itératif de la mise en œuvre pour améliorer les performances.
  • (SSP) AdTech prête à participer aux enchères Protected Audience facturables du premier au deuxième trimestre 2024.
    • Cela inclut l'implémentation et le déploiement des dépendances essentielles à l'API Protected Audience (comme le JavaScript de la logique de décision), ainsi que des modules d'intégration ou d'orchestration, des adaptateurs (comme les dépendances d'enchères d'en-tête) et des points de terminaison de création de rapports.
  • (SSP) La technologie publicitaire utilise un serveur clé-valeur pour récupérer des signaux en temps réel pour évaluer les annonces.
    • Pour cela, la technologie publicitaire doit identifier les principaux cas d'utilisation qui nécessitent des signaux en temps réel (par exemple, répondre aux exigences de qualité des annonces), et intégrer ces signaux en temps réel dans le code JavaScript de leur logique de décision.
  • (SSP) La technologie publicitaire applique une approche globale de la gestion des exigences en termes d'évolutivité et de volume de trafic pour les déploiements en production.
    • La technologie publicitaire devra alors se coordonner avec ses partenaires de test DSP pour identifier leur intention de participer à des enchères et à des signaux sources spécifiques basés sur l'API Protected Audience.

Objectifs de l'évaluation et configuration du test proposée

Pour cette évaluation, nous vous recommandons d'utiliser les libellés pour les tests gérés par Chrome.

Configuration du test proposée

  • Utilisez la conception de test suggérée par la CMA, composée de trois groupes : (voir les sections 10 à 14)
    • Contrôle 1: trafic en mode A, contrôle_1.* groupes (3 PC + API Privacy Sandbox + autres signaux)
    • Commande 2: groupe de contrôle 2 du mode B (pas de 3PC + pas d'API Privacy Sandbox + d'autres signaux).
    • Traitement: mode B traitement_1.* groupes (pas de 3PC, avec les API Privacy Sandbox + autres signaux)
  • Nous sommes conscients que les acteurs du marché utilisent d'autres signaux que les cookies tiers pour attribuer des annonces aux demandes d'annonces, comme les données first party des éditeurs et les informations contextuelles. Dans la mesure où ces signaux ne sont pas affectés par les modifications proposées (l'abandon des cookies tiers et le lancement des API Privacy Sandbox), ils doivent être conservés dans les groupes de contrôle et de traitement.
  • Notez que certains 3PC peuvent encore être disponibles sur certains sites. Les testeurs ne doivent pas utiliser ces trois PV pour des cas d'utilisation pertinents dans les groupes de contrôle 2 ou de traitement. Ces produits tiers sont conçus pour résoudre les problèmes qui ne sont pas liés aux annonces.
  • Notez que les API Privacy Sandbox seront disponibles dans le groupe de contrôle 1, mais comme indiqué dans les conseils de la CMA sur les tests du secteur, les participants aux tests ne doivent pas utiliser l'API Topics ni lancer d'enchères Protected Audience pour ce trafic.
  • Consultez la section sur les tests gérés par Chrome pour obtenir les étiquettes, les tailles et les caractéristiques de chaque groupe.

Méthodologie proposée pour la métrique

  • Nous ne proposons pas de méthodologie spécifique pour collecter ou calculer les métriques. Toutefois, nous encourageons vivement les testeurs à faire preuve de transparence concernant cette méthodologie. Cela permettra aux personnes qui analysent les résultats des tests (c'est-à-dire aux organismes de réglementation) fournis par différentes entreprises d'être informées des écarts et de prendre des décisions sur la façon de comparer les résultats.
  • Nous sommes conscients que la collecte de certaines métriques peut nécessiter l'utilisation du service d'agrégation privée, que certains testeurs n'intègrent peut-être pas encore au moment des tests.
  • Dans la mesure du possible, les participants ont pu générer des rapports sur les métriques liées aux activités d'enchères et à l'intérêt généré par celles-ci (par exemple, le nombre d'enchères ayant participé aux enchères ou la valeur moyenne des enchères).
Groupe de test Traitement Commande 2 Commande 1
Mode Trafic Mode B (3PCD) Mode B' (3PCD + PA + suppression de thèmes) Status Quo (sans 3PCD)
Pertinence API appliquée PA + Thèmes + signaux de contexte Signaux de contexte uniquement Signaux basés sur les cookies + signaux de contexte

Objectif 1 - (DSP) Mesure de l'impact des 3PCD sur la publicité ciblée par centres d'intérêt

Métriques

Incluez les métriques clés demandées par la CMA et, lorsque cela est possible, envisagez d'inclure d'autres métriques qui pourraient être utiles, telles que:

  • Nombre moyen de thèmes reçus: nombre de thèmes reçus dans les demandes d'enchères. Il s'agit d'une mesure de la couverture de l'API Topic.
  • Temps passé moyen: temps moyen passé pendant lequel au moins 50% des pixels de l'annonce étaient présents dans la fenêtre d'affichage des utilisateurs, après le début de l'affichage de l'annonce. Il mesure l'engagement avec l'annonce.
  • Clics par impression (ou taux de clics): nombre moyen de clics par impression. Mesure de la pertinence de l'annonce.
  • Clics par euro: nombre moyen de clics par euro. Il s'agit d'une mesure de la qualité des annonces reçues par les annonceurs.
  • Conversions par euro: nombre moyen de conversions par euro. Il s'agit d'une mesure de la qualité des annonces reçues par les annonceurs.
  • Taux de conversion: nombre moyen de conversions enregistrées par clic, indiqué en pourcentage. Il s'agit d'une mesure de la qualité du trafic perçu par les annonceurs.
  • Nombre total de réponses aux enchères uniques: nombre total de réponses aux enchères envoyées par la DSP. Il s'agit d'un indicateur de la demande pour les services de technologies publicitaires individuelles.
  • Utilisateurs uniques: nombre d'utilisateurs uniques touchés par l'annonce de l'annonceur. Il s'agit d'une mesure de l'audience.
  • Taux de lecture complète d'une vidéo: durée moyenne pendant laquelle au moins 50% des pixels de l'annonce étaient présents dans la fenêtre d'affichage des utilisateurs sur toute la durée de l'annonce vidéo, après le rendu et la lecture de la vidéo. Il mesure l'engagement avec l'annonce.

Suggestions de points d'analyse

  • Les annonceurs sont-ils en mesure de toucher leur audience cible, à la bonne échelle ?
  • Quel est l'impact de ces modifications sur l'engagement et les interactions avec les annonces ?
  • Dans quelle mesure les annonceurs affectent-ils la qualité de leurs annonces ?
  • L'annonceur peut-il diffuser des annonces de manière rentable ? En d'autres termes, sont-elles en mesure d'acquérir de nouveaux clients à un taux inférieur à la valeur générée par ces clients sur une période raisonnable ?
  • Existe-t-il des mises en garde importantes dont il faut tenir compte lors de l'évaluation des résultats de l'expérience d'un participant au marché ?
  • Comment les résultats se comparent-ils aux tests précédents effectués par le participant au marché, le cas échéant ?
  • Quels sont les obstacles potentiels qui peuvent affecter les performances ? À l'inverse, quels sont les facteurs qui améliorent les performances ?

Objectif 2 - (DSP) Mesurer l'impact des 3PCD sur le remarketing

Métriques

Incluez les métriques clés demandées par la CMA et, lorsque cela est possible, envisagez d'inclure d'autres métriques qui pourraient être utiles, telles que:

  • Temps passé moyen: temps moyen passé pendant lequel au moins 50% des pixels de l'annonce étaient présents dans la fenêtre d'affichage des utilisateurs, après le début de l'affichage de l'annonce. Il mesure l'engagement avec l'annonce.
  • Clics par impression (ou taux de clics): nombre moyen de clics par impression. Mesure de la pertinence de l'annonce.
  • Clics par euro: nombre moyen de clics par euro. Il s'agit d'une mesure de la qualité des annonces reçues par les annonceurs.
  • Conversions par euro: nombre moyen de conversions par euro. Il s'agit d'une mesure de la qualité des annonces reçues par les annonceurs.
  • Taux de conversion: nombre moyen de conversions enregistrées par clic, indiqué en pourcentage. Il s'agit d'une mesure de la qualité du trafic perçu par les annonceurs.
  • Nombre total de réponses aux enchères uniques: nombre total de réponses aux enchères envoyées par la DSP. Il s'agit d'un indicateur de la demande pour les services de technologies publicitaires individuelles.
  • Utilisateurs uniques: nombre d'utilisateurs uniques touchés par l'annonce de l'annonceur. Il s'agit d'une mesure de l'audience.
  • Taux de lecture complète d'une vidéo: durée moyenne pendant laquelle au moins 50% des pixels de l'annonce étaient présents dans la fenêtre d'affichage des utilisateurs sur toute la durée de l'annonce vidéo, après le rendu et la lecture de la vidéo. Il mesure l'engagement avec l'annonce.

Suggestions de points d'analyse

  • Les annonceurs sont-ils en mesure de toucher leur audience cible, à la bonne échelle ?
  • Quel est l'impact de ces modifications sur l'engagement et les interactions avec les annonces ?
  • Dans quelle mesure les annonceurs affectent-ils la qualité de leurs annonces ?
  • L'annonceur peut-il diffuser des annonces de manière rentable ? En d'autres termes, sont-elles en mesure d'acquérir de nouveaux clients à un taux inférieur à la valeur générée par ces clients sur une période raisonnable ?
  • Existe-t-il des mises en garde importantes dont il faut tenir compte lors de l'évaluation des résultats de l'expérience d'un participant au marché ?
  • Comment les résultats se comparent-ils aux tests précédents effectués par le participant au marché, le cas échéant ?
  • Quels sont les obstacles potentiels qui peuvent affecter les performances ? À l'inverse, quels sont les facteurs qui améliorent les performances ?

Objectif 3 : (SSP) Mesurer l'impact des 3PCD sur les enchères non facilitées par l'API Protected Audience

Métriques

Incluez les métriques clés demandées par la CMA, ainsi que d'autres métriques pouvant être utiles, telles que:

  • % de variation des dépenses planifiées pour les campagnes: les annonceurs dépensent le budget des campagnes. Mesure de la technologie publicitaire et de la part des revenus des éditeurs.
  • Nombre moyen de thèmes envoyés: nombre moyen de thèmes envoyés dans les demandes d'enchères. Il s'agit d'une mesure de la couverture de l'API Topic.
  • Latence des enchères: durée moyenne d'une enchère. Pour les SSP, cette valeur est mesurée depuis la première exécution du code côté client de la SSP jusqu'au moment où la SSP sélectionne une enchère et l'envoie à l'ad server. Pour les ad servers, mesuré de l'exécution du tag d'emplacement publicitaire à l'affichage de l'annonce. Il s'agit d'une mesure de la rapidité d'exécution des enchères.
  • Revenu par impression: revenu moyen généré par impression. Mesure des revenus de l'éditeur.
  • Nombre total de demandes d'enchères uniques: nombre total de demandes d'enchères uniques envoyées par la SSP. Il s'agit d'un indicateur de la demande pour les services de technologies publicitaires individuelles.

Suggestions de points d'analyse

  • Comment les changements de latence affectent-ils la capacité d'une SSP à exécuter une mise aux enchères ? Quel est leur impact sur la latence des pages de l'éditeur ?
  • Quel est l'impact de la latence sur les revenus des éditeurs ? En fonction du nombre de thèmes envoyés dans les demandes d'enchères ?
  • Quel est l'impact sur la demande pour les services de technologie publicitaire des SSP ?
  • Les SSP sont-elles en mesure de générer des rapports sur les KPI liés aux enchères qui sont importants pour les activités de l'éditeur ? Pour leurs propres activités ?
  • Existe-t-il des mises en garde importantes dont il faut tenir compte lors de l'évaluation des résultats de l'expérience d'un participant au marché ?
  • Comment les résultats se comparent-ils aux tests précédents effectués par le participant au marché, le cas échéant ?
  • Quels sont les obstacles potentiels qui peuvent affecter les performances ? À l'inverse, quels sont les facteurs qui améliorent les performances ?

Objectif 4 : (SSP) Déterminer l'efficacité des enchères de l'API Protected Audience

Métriques

Incluez les métriques clés demandées par la CMA, ainsi que d'autres métriques pouvant être utiles, telles que:

  • Latence des enchères: durée moyenne d'une enchère. Pour les SSP, cette valeur est mesurée depuis la première exécution du code côté client de la SSP jusqu'à la déclaration du résultat. Pour les ad servers, mesuré de l'exécution du tag d'emplacement publicitaire à l'affichage de l'annonce. Il s'agit d'une mesure de la rapidité d'exécution des enchères.
  • Revenu par impression: revenu moyen généré par impression. Mesure des revenus de l'éditeur.
  • Taux de remplissage: le taux de remplissage mesure le pourcentage de demandes d'enchères qu'une SSP a rempli avec des annonces. Pour effectuer le calcul, divisez le nombre total d'impressions d'annonces par le nombre total de demandes d'enchères provenant d'une SSP.
  • Délai d'expiration : pourcentage des enchères qui ne se terminent pas, car les délais d'expiration peuvent être configurés par la SSP.
  • Nombre total de demandes d'enchères uniques: nombre total de demandes d'enchères uniques envoyées par la SSP. Il s'agit d'un indicateur de la demande pour les services de technologies publicitaires individuelles.

Suggestions de points d'analyse

  • Comment les changements de latence affectent-ils la capacité d'une SSP à exécuter une mise aux enchères ? Quel est leur impact sur la latence des pages de l'éditeur ?
  • Comment les délais d'inactivité ont-ils affecté la capacité des DSP à enchérir ?
  • Quel est l'impact de la latence sur les revenus des éditeurs ? En fonction du nombre de thèmes envoyés dans les demandes d'enchères ?
  • Quel est l'impact sur la demande pour les services de technologie publicitaire des SSP ?
  • Les SSP sont-elles en mesure de générer des rapports sur les KPI liés aux enchères qui sont importants pour les activités de l'éditeur ? Pour leurs propres activités ?
  • Existe-t-il des mises en garde importantes dont il faut tenir compte lors de l'évaluation des résultats de l'expérience d'un participant au marché ?
  • Comment les résultats se comparent-ils aux tests précédents effectués par le participant au marché, le cas échéant ?
  • Quels sont les obstacles potentiels qui peuvent affecter les performances ? À l'inverse, quels sont les facteurs qui améliorent les performances ?