L’évaluation d’une campagne de publicité sociale est, à mes yeux, une partie essentielle de toute campagne. Mais plusieurs personnes jugent qu’il s’agit d’une activité trop complexe, trop longue ou trop coûteuse. Même s’il y a plusieurs façons d’évaluer une campagne, je présenterai ici un instrument pratique et relativement simple - maintes fois utilisé dans ma pratique - qui permet de mener une évaluation même avec des contraintes de temps ou de budget.
Déterminer l’efficacité d’une campagne de publicité sociale … en théorie
La recherche scientifique portant sur l’efficacité des campagnes sociales est généralement réalisée dans le cadre universitaire. Les chercheurs y disposent de plusieurs mois – même de quelques années – pour choisir ou concevoir les instruments de mesure appropriés à la mesure de changements de comportement.
Ce genre de recherche se préoccupe généralement des comportements du public visé par une campagne. Leur principal objectif consiste généralement à déterminer si l’incidence des comportements ciblés a été modifiée après que les personnes aient été exposées à la campagne. Si le changement souhaité (qui a été identifié et quantifié au début de la campagne étudiée) peut être observé, les chercheurs peuvent alors conclure au succès de la campagne.
Cette approche évaluative est logique et difficile à contester. On s’y préoccupe du résultat final, dont la mesure constitue le plus important défi. Quand une campagne rencontre les objectifs formulés par ses promoteurs, on la dit alors efficace et, dans le cas contraire, on la juge inefficace (Silk, Atkin et Salmon, 2011).
Parmi les faiblesses potentielles de cette démarche, notons que les chercheurs doivent pouvoir confirmer que les personnes dont ils observent les comportements ont effectivement été exposées à la campagne. Le détail est moins anodin qu’il n’y paraît : H. Hyman a déjà mentionné la facilité avec laquelle cet élément est oublié dans l’évaluation de campagnes. Dans sa biographie – véritable portrait de la naissance des techniques de sondage en Amérique du Nord -, le chercheur décrit un de ses premiers mandats d’évaluation en reconnaissant que : « Such audits thaught me the cautionary principles often neglected in evaluation research: that there may be a great difference between a program on paper and a program in reality, that its actual nature must be checked, and that lack of effects often may be explained simply by low output rather than by subtle factors within the audience.» (Hyman et O’Gorman, 1991, p.29)
Une autre faiblesse importante de ce type de mesure, où le succès repose sur l’observation d’un comportement, tient à sa vision simpliste de ce qui constitue la réussite d’une campagne. Hornik et Yanovitzky (2003) considèrent plutôt que « the way that campaigns affect behavior is often complex, and if that complexity is not reflected in the evaluation design, many of the effects may go undetected » (p.222). Ces chercheurs jugent simpliste un modèle reposant sur la perception que l’exposition à une campagne génère chez la personne exposée de nouvelles cognitions, et que ces dernières produisent ensuite des modifications de comportement à courte échéance. Ils contestent l’idée que c’est le modèle sur lequel on doit articuler la mesure d’efficacité d’une campagne. Selon eux, les effets des campagnes émergent «through social or institutional paths as well as through individual learning; they may require substantial levels of exposure achieved through multiple channels over time; they may take time to accumulate enough change to be detectable; they may produce effects on specific or on generalized outcomes; they may be expected to affect some members of the audience but not others» (p.222).
On pourrait donc évaluer les campagnes à partir d’indicateurs autres que la mesure du comportement des individus. D’ailleurs, les campagnes les plus efficaces seraient les « big messy programs » utilisant synergiquement différentes stratégies de communication (messages dans les médias, communications interpersonnelles, advocacy auprès des acteurs publics) pour produire un changement (Abroms et Maibach, 2008). Dans cette optique, les campagnes les moins susceptibles de produire un changement de comportement - toujours selon Abroms et Maibach - sont celles qui cherchent uniquement à changer les personnes , sans considérer les facteurs externes à l’individu (la communauté où il vit).
Les différents types d’objectifs
Quel que soit l’angle sous lequel les promoteurs abordent leur action, l’efficacité d’une campagne est toujours liée à l’atteinte de ses objectifs. Le choix des objectifs est le principal déterminant du succès de chaque campagne.
Selon Silk, Atkin et Salmon (2011) les objectifs d’une campagne peuvent se situer dans différentes sphères, allant de l’individu à la société dans son ensemble.
- Les campagnes ciblant des modifications à l’échelle individuelle se concentrent sur les connaissances (prise de conscience, reconnaissance, mémorisation), les attitudes (émotion, inclinaison, préférences, opinions) ou les comportements (choix personnels, observations comportementales en situation expérimentale, comportements répétés en milieu naturel).
- Les changements se situant au niveau de la société en général reposent plutôt sur des transformations observables à l’échelle de la population.
Silk et ses collègues notent que plusieurs promoteurs de campagnes, soucieux de démontrer la réussite de leurs campagnes, en arrivent à proposer des objectifs ou des cibles de campagne qui sont déjà atteints: « It is little wonder, therefore, that prescriptions for improving campaign effectiveness frequently have suggested that campaign planners set readily attained goals and objectives» (p.216). Si la qualité de telles campagnes ne s’en trouve pas améliorée, le promoteur pourra est cependant assuré de pouvoir conclure qu’elles étaient efficaces .
Des objectifs comme « persuader la population que le condom protège du sida » ou « faire en sorte que les femmes considèrent le cancer du sein comme un risque pour leur santé » sont d’excellents exemples de ces cibles qui permettront à toute campagne de conclure au succès.
Le piège de la généralisation
Un des obstacles importants à l’évaluation de l’efficacité des campagnes est la généralisation de certains résultats à l’ensemble des campagnes.
Chaque campagne peut être efficace ou inefficace. Les campagnes étant toutes différentes (même celles qui utilisent les mêmes stratégies et la même création pour parler des mêmes thèmes ont souvent une diffusion différente) on ne peut généraliser.
Il est donc simpliste de postuler que toutes les campagnes sont efficaces et que leur évaluation est inutile. Ou de croire l’inverse.
Le simple fait que les critères servant à juger de l’efficacité varient devrait inciter à la prudence. Une campagne qu’on considère efficace par rapport à certains critères pourrait tout aussi bien être jugée inefficace si d’autres critères sont employés. Une affiche en langue étrangère, comme celle ci-contre, pourrait retenir l’attention et obtenir une forte notoriété chez un certain public qui, pourtant, ne comprend rien au texte qui l’accompagne. Si l’objectif évalué est la notoriété, on pourra conclure au succès. Si c’est l’adhésion au message véhiculé, ce sera un échec.
Le choix des objectifs et la nature de l’évaluation sont donc des facteurs importants à considérer quand on souhaite comparer les résultats de différentes campagnes : un fossé peut séparer deux campagnes qui seraient toutes deux considérées comme « efficaces ».
Par exemple, la métaanalyse de Werb et ses collaborateurs (2011) a déterminé que les publicités télédiffusées en prévention de l’usage de drogues étaient peu efficaces. L’affirmation repose sur le constat qu’on n’est pas en mesure de déterminer si elles ont pu réduire la consommation de drogues ou l’intention de le faire. Par contre, une recension de publications scientifiques d’Abroms et Maibach (2008) révélait que la plupart des articles recensés concluaient que les campagnes médiatiques (incluant celles traitant de toxicomanie) permettaient d’influencer les comportements de la population en matière de santé – mais que les changements observables étaient d’envergure modeste. L’étude de Johnson et ses collègues (2010) propose une autre piste : l’efficacité d’une campagne à modifier les comportements liés à la santé varie selon les caractéristiques de la personne exposée et celles de l’intervention (pas uniquement publicitaire) qui est faite. Une même campagne pourrait être efficace pour certains groupes et pas pour d’autres. Complexe, non ? …
La réalité des praticiens
Hors des institutions universitaires, les promoteurs de campagnes sont confrontés à une réalité différente : celle des échéanciers imposés.
Concrètement, les organismes qui font des campagnes sociales considèrent ces activités comme des activités de communication ponctuelles, limitées à quelques semaines dans une année. La plupart des organisations avec lesquelles j’ai travaillé considère même leurs campagnes récurrentes, annuelles et traitant de la même thématique année après année, comme des campagnes autonomes, isolées et « autoportantes ». Il est révélateur qu’on parle généralement dans le milieu de « la campagne de 2015 », « la campagne de 1990 », etc.
La chose s’explique partiellement par le fonctionnement organisationnel qui évolue dans un cadre financier de douze mois, celui de l’exercice financier. Pour les organismes bénéficiant de subventions, ce cadre est imposé par la période pour laquelle la subvention est accordée … dictant le moment de la production du bilan final d’une campagne. Pour les organisations gérant un budget autonome, le cadre de l’année financière se termine lors de la rédaction du rapport annuel, un bilan où doit figurer le résultat des investissements publicitaires.
Selon les organisations, la nature des évaluations d’une campagne peut varier. Certaines petites organisations, moins aguerries à la publicité, peuvent se satisfaire du simple fait que leur campagne ait été diffusée. C’est parfois le cas de campagnes produites par des associations ou des regroupements où l’on devine souvent que la campagne est surtout destinée à plaire aux membres qui seront heureux de voir leurs préoccupations véhiculées dans les médias. Dans un tel cas, le nombre de visiteurs sur un site web, le nombre de messages diffusés à la télé, le nombre d’affiches imprimées constituent souvent les données présentés dans le rapport d’évaluation. Ce genre de campagne sociale exige que les décideurs aient été exposés à la campagne. L’observateur constatera que peu importe l’ampleur réelle de la diffusion, si les décideurs ou le conseil d’administration estiment que l’exposition était importante, ils seront satisfaits.
Permettez-moi une brève anecdote. À mes débuts dans l’univers de la publicité sociale, j’ai travaillé à la promotion d’un service gratuit d’aide téléphonique. L’organisme possédait un budget de campagne famélique, octroyé par une maigre subvention. Le service étant soutenu sans garantie de renouvellement du financement, la promotion de la campagne posait donc d’importants risques.
Un collègue et moi avons donc choisi de faire une campagne d’affichage dans les espaces publics très ciblée. À dessein, nous avons choisi de cibler en priorité les décideurs responsables du soutien financier à l’organisation. L’affichage sur des panneaux disposés sur le trajet routier quotidien emprunté par les décideurs (entre leur domicile et leur lieu de travail) a été choisi. Les emplacements d’affichage ont été approuvés un à un (ce qui n’est pas une technique publicitaire habituelle). Au moment du renouvellement du financement du service téléphonique, nous avons pu constater que la stratégie avait produit les résultats attendus : le compte-rendu de la réunion des décideurs relatait que ceux-ci jugeaient que le service était bien connu, qu’il était fortement implanté dans la communauté et que l’importance de sa présence méritait qu’il bénéficie d’un financement important et soutenu.
Cette stratégie de ciblage des décideurs était destinée à produire un résultat impossible à révéler ouvertement. Mais le résultat, indirectement, a fait en sorte que plusieurs personnes ont bénéficié d’un service d’aide gratuit et efficace, rejoignant l’objectif officiel présumé de la campagne initiale: accroître le nombre d’utilisateurs d’un service d’aide gratuit et anonyme.
Je mentionne cette anecdote pour illustrer l’importance de la subjectivité dans les évaluations de campagnes. C’est pour s’éloigner de ce risque que des mesures rigoureuses et objectives doivent être effectuées pour évaluer des campagnes. Même celles intuitivement perçues comme étant réussies.
Dans les paragraphes qui suivent, nous postulerons que les modifications comportementales sont le but commun de toutes les campagnes sociales. Même si des exceptions sont possibles, cette hypothèse demeure vraisemblable.
On ne fait pas une campagne pour des raisons telles que « obtenir un million de clics sur une bannière web » ou « distribuer un million d’affiches par publipostage ». Il s’agit des instruments utilisés pour atteindre l’objectif, pas de l’objectif en soi. ces indicateurs font partie de l’évaluation de processus, qui sera abordée ailleurs sur pubsociale.com.
Dans la pratique, comment évaluer des modifications comportementales, avec de si courts délais ?
Les modifications comportementales qu’on attend des campagnes de publicité sociales peuvent souvent prendre 2 à 5 ans avant de se manifester. On ne peut réalistement croire que, quelques semaines après une campagne, des milliers de personnes aient changé un comportement donné. De tels phénomènes exigent plusieurs mois – et des efforts soutenus - avant de pouvoir être observés à l’échelle d’une population.
Alors comment déterminer, quelques mois après une campagne, son éventuel succès ?
Tout simplement en faisant reposer l’efficacité sur un critère différent de la mesure du comportement.
De toute manière, pour pouvoir déduire qu’un éventuel changement est attribuable à une campagne, il faudrait relever le défi d’exclure les autres facteurs impliqués dans la modification observée. On parle de « validité interne » d’une évaluation de campagne lorsqu’on vérifie si les résultats colligés sont bel et bien attribuables à une campagne. Si, par exemple, le prix des cigarettes a augmenté au cours des derniers mois, une mesure d’efficacité devra en tenir compte au moment on elle considérera la réduction du nombre de fumeurs.
Pour contourner ces difficultés, tout en demeurant cohérent avec l’intention à long terme de modifier un comportement, je suggère aux praticiens d’utiliser les facteurs précurseurs du changement de comportement comme indicateurs à mesurer. Si on ne peut mesurer le changement, on peut toujours mesurer la présence des éléments qui lui sont nécessaires. En fonction des ressources disponibles, on pourra alors examiner la présence d’un, deux ou trois précurseurs du changement qui permettront de juger de la vraisemblance de voir ultérieurement apparaître un changement des comportements.
Un modèle pratique d’évaluation : le schéma de MacDonald
Même si plusieurs modèles théoriques s’intéressent à la persuasion, je vojus propose un modèle présenté par MacDonald il y a déjà plusieurs années. L’instrument, dont la structure évoque la théorie de la hiérarchisation des effets (bien connue dans les théories de la communication publicitaire) convient bien aux pratiques de publicité sociale même si les auteurs’ont conçu pour des communications en promotion de la santé.
Sommairement, ces derniers sont partis du fait que, pour pouvoir produire un changement de comportement observable, une communication doit minimalement satisfaire à une succession d’étapes. Pour qu’une campagne puisse produire un effet, le public ciblé devra interpréter et comprendre correctement le message ; il devra ensuite y croire et être convaincu de sa pertinence ; il devra ensuite juger de ce qu’il lui en coûte et de ce qu’il gagnerait en effectuant les changements recommandés. Finalement, avant de faire un changement, il devra déterminer s’il possède l’énergie et les moyens requis pour procéder à un changement (par exemple, si on lui suggère de varier leur alimentation, une personne avec de faibles revenus pourrait être incapable de changer ses habitudes).
Dans sa publication, MacDonald et ses collaborateurs proposent des seuils à atteindre qui permettraient de produire une modification de comportement observable chez près de 3% du public cible.
Pour atteindre un résultat, les chercheurs ont postulé que :
· 30% du public cible avait porté attention à la campagne ;
· 85% du groupe précédent avait compris le message ;
· 31% de ce 85% y accordaient de la crédibilité et songeaient à effectuer un changement ;
· 40% de ce dernier groupe bénéficiaient des ressources et de l’environnement permettant de le faire.
Selon les chercheurs, si ces seuils sont atteints, « the result (quite creditable if employing the criteria of commercial advertising) — a 3% behaviour change». Le tableau qui ci-dessus illustre la grille d’évaluation proposée.
Les pourcentages utilisés par MacDonald et ses collègues ne sont pas arbitraires et découlent d’études antérieures. Mais, bien entendu, chaque promoteur peut identifier des objectifs quantitatifs différents à chaque étape. Dans mon travail de praticien en évaluation de campagnes sociales, les données de MacDonald se sont toutefois avérées réalistes et raisonnables.
Concrètement, l’instrument permet de postuler qu’une campagne qui retiendrait l’attention de 3% du public cible n’a pas vraiment de possibilité de produire un jour un effet observable. De même, une campagne qui retient l’attention de 95% du public cible, si moins de 5% de ce groupe y décode le message voulu, ne sera pas plus efficace. La situation est loin d’être théorique. Puntoni et ses collaborateurs (2010) ont déjà abordé les problèmes liés à la polysémie des créations publicitaires, ces situations où le même message publicitaire peut donner lieu à différentes interprétations. Dans pareil cas, à partir de l’instrument de MacDonald, on peut présumer que même la forte notoriété d’une campagne (pourtant considérée comme un indicateur de succès dans différentes actions publicitaires) ne suffira pas à produire le résultat attendu.
À titre d’exemple, considérons l’affiche ci-contre où figure le slogan « Les maladies transmissibles sexuellement et par le sang se propagent plus que jamais ». Quel est le message ? Est-ce une incitation à se protéger avec un condom ? En demeurant fidèle ? À éviter le partage des seringues ? À se faire dépister ? Comment évaluer l’efficacité d’une campagne qui peut être interprétée de plusieurs façons ?
En résumé
Pour les praticiens, l’outil présenté sur cette page est à la fois simple, concret et facile à utiliser. Sans prétendre à la perfection, il compose avec la difficulté de mesurer des changements de comportement qui exigent plusieurs années avant d’être mesurables. Il permet d’objectiver le jugement sur l’efficacité ou l’inefficacité des campagnes sociales en s’appuyant sur des données théoriques valables.
Sources mentionnées
Abroms, L. C., & Maibach, E. W. (2008). The effectiveness of mass communication to change public behavior. Annual Review of Public Health, 29(1), 219-234.
Hornik, R., & Yanovitzky, I. (2003). Using theory to design evaluations of communication campaigns: The case of the National Youth Anti-Drug Media Campaign. Communication Theory, 13(2), 204-224.
Hyman, H. H., O'Gorman, H. J., & Singer, E. (1991). Taking society's measure : a personal history of survey research. New York: Russell Sage Foundation.
Johnson, B. T., Scott-Sheldon, L. A. J., & Carey, M. P. (2010). Meta-Synthesis of Health Behavior Change Meta-Analyses. American Journal of Public Health, AJPH.2008.155200.
Macdonald, G., Veen, C., & Tones, K. (1996). Evidence for success in health promotion: suggestions for improvement. Health Education Research, 11(3), 367-376.
Puntoni, S., Schroeder, J. E., & Ritson, M. (2010). Meaning matters. Journal of Advertising, 39(2), 51-64.
Silk, K. J., Atkin, C. K., & Salmon, C. T. (2011). Developing effective media campaigns for health promotion. In T. L. Thompson, R. Parrott, & J. F. Nussbaum (Eds.), The Routledge Handbook of Health Communication (2nd ed., pp. 203-219). New York: Routledge.
Werb, D., Mills, E. J., DeBeck, K., Kerr, T., Montaner, J. S. G., & Wood, E. (2011). The effectiveness of anti-illicit-drug public-service announcements: a systematic review and meta-analysis. Journal of Epidemiology and Community Health, 65(10), 834-840.