Évaluer la médiation culturelle de la musique.
Le travail en commun du sens

Sylvie Pébrier

PDF | CITATION | AUTEURE

Résumé

L’évaluation des actions de médiation est guettée par l’écueil hagiographique et par l’horizon objectiviste de la mesure de ses effets. Elle gagne à être pensée, moins comme une opération de contrôle ou de vérification de l’adéquation entre des objectifs et des résultats, que comme un espace de production de la valeur. L’article commence par une réflexion sur les enjeux de l’évaluation et la façon dont l’évaluation de la médiation interroge les pratiques d’évaluation. Il se poursuit par la présentation de cinq études menées ces dernières années en France sur la médiation culturelle de la musique en contexte scolaire depuis différentes institutions musicales (opéra, orchestre, etc.). Il en ressort que l’évaluation des effets des dispositifs de médiation est d’autant plus féconde que la méthode adoptée est à la fois continue, participative et récursive. Avec cette triade méthodologique, l’évaluation de la médiation devient un outil de la médiation et un espace de travail en commun du sens.

Mots clés : éducation artistique et culturelle ; évaluation ; médiation ; méthodologie ; musique classique.

Abstract

The evaluation of mediation actions is facing the hagiographic pitfall and the objectivist horizon of measuring its effects. It is best understood less as a control or verification operation of the adequacy between objectives and results than as a space for the production of value. The article begins with a reflection on evaluation issues and how the evaluation of mediation questions evaluation practices. It continues with the presentation of five studies carried out in recent years in France on the cultural mediation of music in a school context from different musical institutions (opera, orchestra, etc.). It appears that the evaluation of the mediation schemes’ effects is all the more fruitful as the method adopted is at the same time continuous, participative and recursive. With this methodological trio, the evaluation of mediation becomes a mediation tool and a common workspace of meaning.

Keywords: artistic and cultural education; classical music; evaluation; mediation; methodology.

 

Cinq études menées ces dernières années en France ont été retenues pour présenter des manières d’évaluer la médiation culturelle de la musique en contexte scolaire depuis différentes institutions musicales et selon différentes modalités de recherche. Leur examen sera précédé d’une réflexion sur les enjeux de l’évaluation et la façon dont l’évaluation de la médiation interroge les pratiques d’évaluation. Il sera suivi d’un élargissement théorique convoquant les questions qui touchent à l’efficience et aux droits culturels. Dans ce croisement entre une approche empirique à partir des pratiques et une approche théorique sur les enjeux, il ressort que lorsque la méthodologie adoptée pour l’évaluation est à la fois continue, participative et récursive, elle devient, au-delà même de la mesure des résultats de la médiation, un des outils de celle-ci. Cette triade méthodologique de l’évaluation, dans la mesure où elle relance la réflexion sur les objectifs, s’avère être le cadre dans lequel peut s’opérer le travail en commun du sens.

 

Mesurer, apprécier, interroger la valeur

Il existe une abondante littérature consacrée à l’évaluation, qu’il s’agisse de textes de théorisation ou de préconisations d’ordre pratique (Bouniol et Vial 1997). Deux champs en sont particulièrement friands : l’éducation (Ardoino et Berger 1986 et 1989) et les politiques publiques (Bozio 2014). Elle peut se décliner en études soit qualitatives (sur le ressenti des bénéficiaires…), soit quantitatives (analyse d’impact, analyse coût-bénéfice…) sur une variété de critères et des évaluations ex ante (Blanchet et al. 2016) ou ex post et des approches économétriques ou politiques (Viveret 1989).

Dans le champ culturel français, les résultats de l’évaluation ont fait l’objet d’analyses et de débats réguliers, dont les plus récents ayant donné lieu à publication se sont déroulés à Paris lors des 7^e Journées d’économie de la culture et de la communication (Nicolas et Gergaud 2016). L’évaluation des institutions et des équipes musicales a fait l’objet de réflexions au sein du service de l’inspection de la création artistique du ministère de la Culture sur le cadre méthodologique (Guide actualisé en 2017) et sur la déontologie (Charte de 2005). L’évaluation de la politique du spectacle vivant (musique, danse, théâtre) a donné lieu à un rapport (Loiseau 2014). De manière globale, on assiste à une généralisation de la mesure de la performance. Si l’on resserre la focale sur l’évaluation de la médiation de la musique, les travaux francophones disponibles sont peu nombreux (Jacob 2012, Lauret 2017).

Repartons de l’étymologie pour approcher par étapes d’une définition de l’évaluation de la médiation culturelle de la musique. Si l’on en croit les dictionnaires, la première mention du verbe « esvaluer » remonte à 1366¹Arch. hospitalières de Béthune, 56, H. Loriquet dans R. Hist. litt. Fr. t. 12, p. 145, cité par Pierrel 2012 ; jusqu’alors le terme employé était « avaluer ».. Comme l’indique son préfixe, c’est l’opération qui consiste à extraire la valeur de quelque chose. Les verbes employés pour qualifier cette opération dessinent deux modalités : déterminer ou fixer la valeur, qui lui donne une couleur objective, celle de la mesure ; l’apprécier ou l’estimer, qui introduit une dose de subjectivité²Voir la définition du Larousse : « Déterminer, fixer, apprécier la valeur, le prix de quelque chose, d’un bien, etc. » et « Déterminer approximativement la durée, la quantité, le nombre, l’importance de quelque chose » ; voir également la définition du Littré (2008) : « Estimer la valeur, le prix d’une chose ».. Entre ces deux modalités, c’est tout l’écart entre une mesure à exécuter et un jugement à élaborer.

Dans le champ des politiques publiques, une première question surgit pour préciser ces premières ébauches de définition : « par rapport à quoi » les actions sont-elles évaluées ? Existe-t-il un critère préalable ? Si oui, l’évaluation se trouve cantonnée à une opération de contrôle, le contrôle de l’adéquation entre les résultats et les objectifs, avec la dimension gestionnaire du contrôle de l’utilisation des moyens dévolus. Dans ce cas, l’évaluation va être focalisée sur des questions de méthode et de technique.

Si au contraire la référence est évolutive ou complexe, alors la question de la valeur revient au centre et l’évaluation se présente comme le résultat d’une double interrogation portant non seulement sur les résultats, mais aussi sur les objectifs. C’est la dimension critique de l’évaluation. Dans la mesure où le choix des buts ne relève pas de la science, les interroger redonne sa dimension politique à l’évaluation. Dans le jeu des allers et retours entre questionnement des réalisations et questionnement des objectifs apparaît également une dimension récursive de l’évaluation, qui fait de l’évaluation non plus seulement un outil de contrôle des politiques publiques, mais un outil d’orientation des choix politiques.

Une deuxième question, qui fait souvent défaut dans les définitions de l’évaluation, est pourtant de taille ! « Qui » évalue ? Bien sûr, s’il s’agit d’une simple mesure des résultats, la délégation de l’évaluation à des personnes ayant la compétence technique pour le faire ne pose pas de problème, dès lors qu’à cette compétence se joignent les garanties de transparence et d’indépendance du travail d’évaluation. Si en revanche, il s’agit d’une évaluation critique ou récursive, la compétence technique ne suffit pas et il convient alors d’aménager un pluralisme des regards. C’est la position de Patrick Viveret (1989, p. 15-16) : « On ne saurait sans danger oublier qu’avant d’être un ensemble de techniques, l’évaluation est un acte politique […] l’organisation pluraliste de la demande et de l’offre d’évaluation est une condition de son développement et de sa qualité démocratique³Voir notamment le chapitre 1 : « L’évaluation de l’action publique : un enjeu démocratique ». ».

 

La complexité féconde de la médiation

Dans l’évaluation de la médiation culturelle de l’art, ces questions se posent de façon particulièrement forte. Une première raison tient à la diversité des formes de médiation, qui confronte l’évaluation quantitative à des limites de comparabilité et donc d’agrégation de résultats⁴La formalisation du parcours d’éducation artistique et culturelle entre les ministères de la Culture et de l’Éducation nationale tente de réduire cette difficulté en établissant une référence commune pouvant faire l’objet de mesures. Voir la circulaire interministérielle n° 2013-073 du 3-5-2013 MEN/DGESCO et l’arrêté du 1-7-2015 MENESR/DGESCO B3-4. Mais cela reste difficile à appréhender de manière quantitative, comme le montre l’enquête récente conduite par le Département des études, de la prospective et des statistiques du ministère de la Culture (Ayoub et al. 2019) et la Direction de l’évaluation, de la prospective et de la performance du ministère de … Continue reading. Pour les pratiques collectives instrumentales, il s’avère impossible de comparer les travaux d’évaluation qualitatifs existants en raison de la variabilité de la taille des groupes, du volume horaire hebdomadaire et du nombre d’années dévolues à chacun des programmes (Lauret 2017)⁵Jean-Marc Lauret cite notamment l’Étude d’impact des Orchestres à l’École, réalisée par Adrian Hille avec le soutien de l’Institut Montaigne en 2010, l’étude menée en 2015 sous l’égide de l’inspection académique de Mayenne et l’ouvrage collectif d’Andrea Creech et al. (Sistema global, 2016). Dans son article, Lauret pointe la nécessité de mettre en cohérence les objectifs affichés et les méthodes adoptées et s’interroge sur les conditions d’une généralisation pour tous en constatant les fortes distorsions des coûts par enfant selon les dispositifs..

La difficulté la plus intéressante est celle qui résulte de la complexité intrinsèque des dispositifs de médiation, et ce, pour deux raisons principales. Pour évaluer des actions ou des programmes institutionnels de médiation culturelle de l’art, il n’est en effet pas possible de traiter séparément la question des critères de jugement de la question de savoir « qui » juge. Parce qu’elles associent plusieurs parties prenantes, parce que ces parties prenantes appartiennent à des mondes professionnels différents, les actions de médiation sont un creuset dans lequel les attentes s’expriment différemment selon l’environnement dans lequel a lieu la rencontre : monde éducatif, monde socio-éducatif, monde du handicap, monde hospitalier, monde carcéral… L’évaluation de la médiation se déploie au croisement des attentes de chacun de ces mondes et le travail va consister à formuler ce qui peut être commun dans les objectifs et la place de chacun dans la mise en œuvre des actions.

Par ailleurs, il n’est pas non plus possible d’isoler le seul temps d’un bilan ex post. L’évaluation se trouve déployée dans les différents temps des actions. Dans le temps de leur conception, dans le ou les temps de leur réalisation et enfin dans le temps du bilan critique. Avec l’évaluation de la médiation apparaît la nécessité de passer de la seule évaluation a posteriori par un·e spécialiste à une évaluation partagée et continue. Dans cette perspective, l’évaluation se constitue comme outil de la médiation.

 

Musique et médiation

La pratique de la musique, qu’elle prenne la forme de l’écoute, du chant, du jeu instrumental ou de l’invention (composition, mixage, arrangement) fait l’objet d’une médiation dès lors qu’elle se produit dans un dispositif qui permet la rencontre d’univers différents. C’est le contexte qui différencie la médiation de l’apprentissage, comme celui proposé dans les conservatoires, où la pratique s’inscrit dans un cursus et sera évaluée sur la base des étapes d’un parcours technique et expressif mesurable. Les critères techniques et expressifs qui sous-tendent l’évaluation artistique des enseignements de conservatoire n’ont pas de sens dans un contexte de médiation. L’enjeu est ailleurs, et la musique est ici convoquée comme médium d’une rencontre qui vise à la fois une expérience sensible individuelle et collective et un partage culturel, social et institutionnel. Souvent la médiation est définie à partir d’une typologie des actions, selon la place qu’y prend la parole (visite, présentation…) ou la pratique (atelier, …) dans des espaces physiques ou numériques… fort intéressante, mais qui est de peu d’utilité pour évaluer si elle n’est pas articulée aux objectifs de ces actions. D’où l’expression adoptée ici de « médiation culturelle de la musique », qui situe la musique non pas tant comme la finalité de la médiation que comme le moyen d’une rencontre pour faire culture ensemble. À ce titre, ce que la « qualité » musicale vient attester sans doute dans l’expérience sensible d’un contexte de médiation, c’est l’accordage, à travers la découverte d’un espace et de modalités expressives, entre le surgissement de singularités et le sentiment de faire partie d’un collectif⁶Voir plus loin les analyses de la psychologue et psychanalyste Isabelle Orrado, dans l’étude commandée par la Direction générale de la création artistique (DGCA) et coordonnée par Angélique Gozlan. Dans son étude des ateliers de médiation théâtre au Centre dramatique national (CDN) de Nice, elle qualifie ce moment de saisie collective laissant place aux singularités, de « passage du groupe à la troupe ».. La fonction culturelle de la médiation de la musique passe par ce double saisissement. Loin des enjeux de maîtrise technique, l’écoute, au sens le plus fort de disponibilité à l’inconnu de l’autre et/ou de soi, devient la condition de la qualité, d’une part de l’expérience, et d’autre part de la réalisation sonore ou musicale. Le réagencement des valeurs qui s’opère dans l’évaluation de la médiation pourrait à son tour questionner les fondements d’une évaluation artistique ou pédagogique dans les contextes d’évaluation plus courants de la création, la diffusion ou l’enseignement dans les conservatoires.

La présentation de cinq études récentes permet de présenter différentes modalités de réflexion sur l’évaluation de la médiation culturelle de la musique. La première permet d’observer la manière dont des lieux de création et de diffusion musicale en musique classique et en musiques actuelles envisagent l’évaluation d’un panel de 23 actions de médiation. Il en ressort, sans entrer dans la description des actions, que la pratique de l’évaluation y est pour le moment tâtonnante. La deuxième étude qui porte sur l’évaluation qualitative par l’Institut français de l’Éducation d’une opération en milieu scolaire, menée par l’Opéra de Lyon, montre l’importance de construire une culture commune des objectifs. La troisième étude, confiée à des chercheur·e·s en psychologie, a été menée en transversalité artistique (musique, danse, théâtre et arts plastiques) dans les champs scolaires et périscolaires. L’apport de cette étude concerne les conditions de réalisation des actions de médiation autour des effets du dispositif (relatifs à l’institution) et du cadre (relatifs à l’expérience). La quatrième étude, portée par la Fondation Carasso, a été retenue moins pour son objet – les conservatoires – que pour la visée de l’évaluation – leur impact social et citoyen –, pour la méthode participative employée pour définir les enjeux de l’évaluation et pour le kit d’évaluation de l’impact des projets artistiques à vocation sociale qui en résulte. La cinquième étude, conduite par l’Opéra de Paris dans le contexte scolaire et avec un cadre méthodologique d’évaluation non participatif, met en regard un volet quantitatif et un volet d’entretiens, constate la présence d’écarts entre les deux et finalement questionne la pertinence d’une méthode chiffrée ayant engagé de lourds moyens.

 

Une approche tâtonnante de l’évaluation

Dans la vie des lieux de musique, l’évaluation de la médiation, sans doute du fait de son caractère relativement récent, complexe et sensible, n’est pas pour le moment une pratique aisée.

La Direction générale de la création artistique du ministère de la Culture a mené une étude sur les enjeux de 23 actions de médiation conduites dans 19 lieux labellisés de la musique (Courant et Pébrier 2017) portés par des Centres nationaux de création musicale (2 actions), des Opéras (6 actions), des orchestres (7 actions) et des Scènes de musiques actuelles (8 actions). Les partenaires de ces actions étaient principalement le monde scolaire et universitaire (50 %), le monde culturel (conservatoires et autres établissements culturels, 16 %), le monde social (11 %) et plus marginalement le monde carcéral (4 %) et celui de la santé (2 %), auxquels s’ajoutent les propositions individuelles (2 %) et les programmes mixtes (15 %).Cette étude montre en effet que l’évaluation est peu pratiquée : peu de bilans par action, ni quantitatif, ni qualitatif, ni budgétaire, moins encore de réflexion prospective où l’analyse des fragilités permette de faire évoluer la proposition de médiation culturelle⁷Les quelques établissements qui réalisent des bilans pour l’ensemble des actions de médiation ont mis au point un format qui permet de les présenter tous sur le même modèle et d’agréger les données. C’est le cas du Cargö ou de l’Orchestre de chambre de Paris. La trame des fiches du Cargö est la suivante : définition, objectifs, intervenants (dans une acception complète), étapes, bilan quantitatif (personnes, volume horaire et budget), bilan qualitatif (points forts et problématiques). En ce qui concerne les participants, les éléments du bilan sont plus descriptifs que véritablement évaluatifs. L’orchestre de chambre de Paris a adopté une fiche type en trois … Continue reading.

Dans les cas où l’action a fait l’objet d’une évaluation, celle-ci s’appuie sur les témoignages des personnes qui ont pris part à cette action. La présentation de témoignages est bien entendu une dimension forte de l’évaluation de l’action, dans la mesure où elle donne la parole aux acteurs, mais elle gagnerait à être accompagnée d’une réflexion sur la méthode⁸« Une réflexion serait nécessaire d’une part sur la méthode de recueil de ces témoignages et sur leur tri éventuel, d’autre part sur l’analyse qui pourrait les accompagner. Pour le moment les fiches qui ont inclus des témoignages : témoignages d’artistes, témoignages de partenaires (par ex. un conseiller d’insertion et de probation), les livrent de manière brute, sans commentaire pour les contextualiser quant au rôle de la personne qui témoigne ou quant aux objectifs définis en amont » (Courant et Pébrier 2017, p. 18). et sur les enjeux, notamment en termes institutionnels, expérientiels, sociaux et esthétiques.

Un premier tâtonnement apparaît dans une tendance hagiographique de l’évaluation. La frontière est souvent poreuse entre communication et évaluation. La présence d’un questionnement sur la mise en œuvre, les fins et la méthode est rare. De plus l’évaluation des effets des actions de médiation est orientée quasi exclusivement du côté des « destinataires » : enfants, adolescents, adultes, patients, détenus, migrants… Les effets pour les artistes sont rarement mentionnés⁹Et leur formulation est peu en lien avec le ressenti des artistes eux-mêmes : l’action a donné aux artistes « l’occasion de travailler avec des publics auxquels ils n’étaient pas habitués et donc de remettre en question leurs modes de transmission » ou encore « la concertation pour la création du spectacle de restitution les a également confrontés aux enjeux de la production collective » (ibid., p. 21). et l’évaluation ne dit rien de l’effet pour l’établissement en termes de positionnement, de capacité d’innovation et de coopération d’un point de vue culturel ou territorial. D’ailleurs elle est rarement partagée avec les partenaires¹⁰Trois établissements ont pris en compte l’évaluation des partenaires. Le moulin de Brainans fait, dans leur bilan, une distinction entre évaluation pour la Scène nationale de musiques actuelles (SMAC) et évaluation pour les établissements partenaires et esquisse une trame : réunion de débriefing, questionnaire adressé aux jeunes, pistes pour l’avenir, sans toutefois procéder à une analyse des réponses au questionnaire. De son côté, l’Orchestre de Lyon a transmis le compte rendu d’une réunion de bilan, d’où il ressort un positionnement clair de l’ensemble des participants du dispositif et une logique d’évaluation partagée. Y est rappelé que les objectifs … Continue reading, et parfois même est déléguée à des expert.es du champ scientifique. Ce flottement de l’évaluation peut être lu comme le fruit de l’instabilité des objectifs des actions de médiation et de leur statut dans le projet des établissements.

Un deuxième tâtonnement tient à la difficulté à déplier la question du « comment ? », beaucoup d’établissements rapportant comme évaluation la simple liste des objectifs¹¹Sous l’intitulé évaluation, certaines structures listent une série d’objectifs. D’autres parlent de « points forts » sans que l’on puisse clairement savoir s’il s’agit d’objectifs ou d’évaluation. Il est sans doute inévitable que le flou qui pèse souvent sur les objectifs rejaillisse sur l’évaluation. Il faut reconnaître que l’absence de réflexion sur la délimitation et la complémentarité des politiques publiques, entre enseignement (qu’il soit général ou spécialisé), médiation (sous les formes de l’éducation artistique et culturelle, mais aussi sous des formes interculturelles) et pratique en amateur participe à ce flou. Enfin, la confusion … Continue reading. Lorsqu’un établissement met au crédit de son action qu’elle « a fait se rencontrer des personnes issues de plusieurs catégories sociales », on peut se demander si la valeur porte sur la rencontre en tant que telle ou sur la « façon » dont la rencontre s’est déroulée et ce que les uns et les autres en ont retiré. Parler du comment, c’est mettre l’expérience au centre. En effet, la « valeur » d’une action de médiation se mesure-t-elle au nombre de personnes concernées ? À la capacité à faire un geste en réponse à une consigne ? Dès lors qu’on pose que la médiation se distingue de l’enseignement et ne peut être ramenée à un pré-enseignement, alors il importe de ne pas se cantonner à la nature de l’acte artistique proposé, mais de se centrer sur l’expérience des participant·e·s et de ce qui en résulte.

Le troisième tâtonnement tient aux impensés sociaux ou esthétiques présents dans les discours de certains établissements. Un impensé, spécifique au champ musical, qui sous-tend la distinction entre « pédagogie » et « médiation »¹²Voir l’intitulé du cahier publié par la Fédération des ensembles vocaux et instrumentaux spécialisés (FEVIS) en 2017 pour présenter les résultats de l’enquête menée auprès de ses membres « Médiation et actions pédagogiques ».. L’action pédagogique s’articulerait au cadre scolaire (degré élémentaire, collège, lycée), universitaire ou aux conservatoires, tandis que les actions de médiation concerneraient le champ social, hôpital, prison, migration inclus. Force est de constater qu’une valeur distincte est attribuée dans les deux cas. La pédagogie se voit accordée une valeur supérieure à la médiation : comme si la pédagogie incarnait la noblesse de la transmission, tandis que la médiation serait attachée aux valeurs de solidarité¹³Pour décrypter les effets des valeurs accolées à la médiation, la réflexion du British Council est intéressante. Il a distingué à propos du handicap trois modalités de rencontre avec l’art qui ont aussi correspondu à trois étapes successives dans la prise de conscience des enjeux publics : celle de l’action charitable, puis celle des droits culturels et enfin celle qui reconnaît la contribution des personnes en situation de handicap, en tant qu’artistes, à la cause artistique en général.. Des impensés esthétiques aussi. Le premier concerne la question de l’écriture musicale, le second l’écoute. Quand on lit que l’action « a aboli la mise à distance du musical, de la technique, par le jeu collectif et l’inventivité¹⁴Un orchestre participatif, projet mené avec des amateurs de tous âgés de la Ville de Gonnesse par La Muse en Circuit, 2015-2017, Centres nationaux de création musicale, actions culturelles significatives, documents remis dans le cadre de l’étude déjà citée de Courant et Pébrier 2017. », l’axiome implicite est que l’écriture et la technique sont des obstacles à la musique. La question peut être intéressante, mais n’est pas univoque, car l’écriture peut aussi être un mode d’accès à une forme d’expérience musicale. Dans le cas présenté, cet axiome n’était pas nécessaire pour se demander ce que le jeu collectif et l’inventivité produisent comme effets. L’implicite valeur de l’immédiateté est également perceptible dans les propos sur l’écoute : le projet a permis de « repenser la relation du musicien et de l’auditeur… Il évite la frontalité pour créer une intimité et une écoute immersive¹⁵Ibid., p. 6. ». Clarifier l’implicite permet d’enrichir l’évaluation. Dans ce cas, cela permettrait de s’interroger sur les avantages ou les inconvénients attendus de la frontalité, ou encore les avantages ou inconvénients d’une écoute immersive. Les travaux du sociologue Emmanuel Pedler (2003) sur l’opéra montrent notamment que l’expérience de la voix peut aussi être source d’angoisse et valident le besoin de médiation.

Voyons si d’autres études peuvent offrir des points d’ancrage pour faire de l’évaluation de la médiation un espace de travail en commun sur le sens des actions et plus largement des projets des équipes et des lieux. Les études présentées maintenant ont expérimenté des manières d’évaluer les actions de médiation. Au-delà des différences de démarches liées aux disciplines auxquelles elles se rattachent, nous tenterons de mettre en relief les points saillants de convergence ou de frottements en lien avec les enjeux généraux de l’évaluation énoncés précédemment.

 

Opéra à l’école, 2011-2014 : construire une culture commune des objectifs

L’Opéra national de Lyon a expérimenté une évaluation partagée du projet « Opéra à l’école » conduit sur trois années scolaires, de 2011 à 2014, par trois artistes en résidence (un musicien-compositeur, une comédienne-conteuse, un plasticien) dans un territoire inscrit en Contrat urbain de cohésion sociale, à Vénissieux¹⁶Ce projet a été conduit avec l’école Anatole France et le collège Elsa Triolet et concernait 24 classes du CE2 à la 5^e ; il comprenait des ateliers hebdomadaires de pratique artistique (musique, théâtre, danse, arts plastiques) et des activités de découverte (rencontres avec des artistes et techniciens, venues à des spectacles et des répétitions…).. Le montage du projet a été exemplaire à plus d’un titre¹⁷Du fait de son portage par les responsables (rectorat, collectivités, direction de l’opéra) et du fait de la volonté de prendre en compte les parents. et notamment du fait des modalités de l’évaluation du projet pensées ab initio, l’équipe évaluatrice étant intégrée à la co-construction du projet (Maire Sandoz et Martin-Dametto 2015). Ces modalités, élaborées dans une logique participative, ont impliqué l’ensemble des acteurs du projet et se sont déployées dans la temporalité double d’une évaluation concomitante et d’une évaluation a posteriori. Les différentes étapes de l’évaluation, au rythme de deux par an, ont permis de faire évoluer le projet¹⁸L’équipe qui anime l’évaluation réunit l’Institut français de l’éducation qui est une structure nationale de recherche et l’École normale supérieure de Lyon. Ce partenariat a permis de bénéficier de compétences pour faire de ce projet un laboratoire d’expérimentation et en partager les résultats à travers une publication et un documentaire d’anthropologie filmée.. L’évaluation continue est ainsi apparue comme un outil permettant l’accompagnement réflexif des acteur·rice·s du projet, leur permettant d’ajuster leurs manières de faire et dans ce même mouvement de mieux intégrer la complexité des objectifs visés depuis les différentes places professionnelles et institutionnelles des participants. Le rapport a eu le mérite de ne pas masquer les tensions qui se sont manifestées à l’occasion du projet, tensions qui portaient pour l’essentiel sur des enjeux d’altérité – reconnaissance professionnelle, question de l’autorité :

L’étude sur trois ans montre assez bien que ce qui est vécu comme une remise en cause des compétences des uns relève souvent d’une méconnaissance de la culture professionnelle ou des contraintes de métier de l’autre. Les sphères d’activités de chacun, les logiques de métier, donnent raison à tous. Seuls des espaces d’échanges et de régulation permettant de communiquer, de partager ses inquiétudes, de travailler ensemble, artistes et enseignants, peuvent permettre de dépasser le stade des préjugés et des représentations au service d’une collaboration efficiente. (Ibid., p. 122)¹⁹Voir également la séquence vidéo associée, par Christian Lallier, chercheur associé au projet « des artistes à l’école » ; il a réalisé un documentaire d’anthropologie filmée, L’élève de l’opéra sous forme de dvd, qui comprend deux volets : un documentaire qui organise les traces du projet autour des relations entre art et école en six axes thématiques et un volet composé de 12 modules conçus comme des outils en vue de la formation des acteurs de la médiation. Voir également Stéphanie Petiteau, responsable du pôle de développement culturel au moment du projet, lors d’une table-ronde dans le colloque « Apprendre par l’art » de 2014 (voir à … Continue reading

Dans ce projet, l’évaluation a eu des effets critiques et heuristiques. Critiques, car le projet a questionné les modes d’évaluation des élèves par les enseignant.es (appréciation et/ou note, évaluation individuelle et/ou collective) et plus globalement fonctionné comme révélateur de questions sur l’école et sur l’art. Heuristiques, car l’évaluation a révélé chemin faisant que les pratiques pédagogiques des enseignant.es pouvaient s’ouvrir à de nouvelles formes : davantage d’oralité, de liberté corporelle y compris dans l’organisation spatiale de la salle de classe… L’évaluation, en relevant ces effets sur le cadre et les environnements professionnels des différentes parties prenantes, a apporté une réponse décalée par rapport aux objectifs énoncés à l’origine, qui étaient à la fois d’ordre scolaire, personnel et culturel²⁰On peut regrouper les objectifs énoncés autour de trois catégories : des objectifs d’ordre scolaire (explorer de nouvelles pistes d’apprentissage pour lutter contre l’échec scolaire lié aux déterminismes sociaux), d’ordre personnel (favoriser le développement personnel de l’élève à travers la pratique artistique) et d’ordre culturel (contribuer à la transmission des valeurs culturelles et professionnelles de l’opéra).. Laisser ouverte la possibilité de ces écarts est sans doute le gage de la fécondité de l’évaluation.

Comme dans l’étude qui va maintenant être présentée, l’étude conduite par l’IFE montre que la présence des évaluateur·rice·s aux côtés des artistes et des partenaires représente un élément facilitateur de la conduite du projet. Elle contribue au travail de sens qui est nécessaire pour constituer une culture commune des objectifs. Il apparaît à travers ces expériences que l’accompagnement, qu’on l’appelle évaluatif, réflexif ou compréhensif, est un des leviers de la réussite d’un projet.

 

L’étude commandée par la DGCA, 2016-2017 : la fonction du dispositif institutionnel et le cadre de l’expérience

Une recherche qualitative a été commandée en 2016 par la Direction générale de la création artistique (DGCA) du ministère de la Culture à une équipe de chercheurs en psychologie clinique sur les effets des actions de médiation culturelle auprès d’enfants et d’adolescents durant le temps scolaire et périscolaire Il ressort quelques points communs dans la conduite de l’évaluation avec l’étude précédente, indépendamment des différences de champ disciplinaire des chercheurs, d’un côté en sciences de l’éducation et anthropologie, de l’autre en psychologie clinique d’orientation psychanalytique.

Le premier volet de la recherche (Gozlan 2017) s’est appuyé sur une observation in situ des actions de médiation avec la présence de binômes de recherche à chacun des ateliers. Plutôt que l’observation du résultat final qui aurait focalisé l’attention sur la qualité artistique, l’observation continue de l’ensemble du processus était nécessaire pour repérer les enjeux psychiques de la médiation du point de vue subjectif et groupal. Composée de neuf personnes, l’équipe de recherche était en lien avec une équipe d’inspectrices dans la définition de la méthode, l’observation et la relecture des analyses, d’où un premier niveau de croisement des regards, du vocabulaire et plus largement des références professionnelles. La dimension participative de la recherche était également présente dans le second volet de la recherche (Gozlan 2018a), cette fois en impliquant les enfants et les adolescent·e·s ayant participé à ces mêmes ateliers, les entretiens ayant pour objectif de recueillir les traces de cette expérience un an après l’avoir vécue. La participation rétrospective des jeunes à l’évaluation des actions de médiation avait pour objectif de compléter l’évaluation, en confortant ou en infirmant certains points de l’évaluation experte.

Le travail a consisté à repérer au fil des ateliers ce que la rencontre avec la pratique artistique produisait comme effets. Des situations aisées, d’autres plus difficiles, conduisant à un surgissement fécond ou bien restant irrésolues… L’évaluation a également produit une montée en généralité théorique, où les notions de dispositifs et de cadre sont apparues comme jouant un rôle central.

Le terme de dispositif a été employé au sens de structure qui permet la mise en relation et l’interactivité de divers éléments : des personnes, des institutions, des matières artistiques et scolaires, toutes jouant un rôle pour initier la rencontre avec l’objet artistique. La recherche est ainsi passée de l’évaluation des effets à la définition de critères pour que la rencontre produise des effets bénéfiques et a ainsi contribué à la clarification des objectifs méthodologiques :

Quatre invariants sont apparus comme déterminants dans la réussite des actions de médiation culturelle : le partenariat entre les diverses structures participantes au projet (co-construction et co-réalisation du projet), l’expérience sur plusieurs années de ces projets et de leur mise en place (co-évaluation et ajustement du projet), l’articulation des places et rôles de chacun, l’importance de la dimension sensible au regard d’une pédagogie directive et normative. (Gozlan 2018b, p. 2)

Si la notion de dispositif permet de qualifier la dimension complexe du projet et de positionner l’évaluation à l’échelle institutionnelle, la notion de cadre se situe au niveau des ateliers, où il remplit « trois fonctions essentielles pour les enfants et les adolescents : une fonction de réassurance, une fonction de mise en sens et une fonction stabilisatrice de l’expérience » (ibid.). Pour qualifier le type d’expérience de la médiation, Isabelle Orrado envisage deux lectures possibles du cadre : d’un côté une conception du cadre comme conformité, un cadre dans lequel il s’agirait de faire entrer l’enfant.

Transmettre son savoir à un enfant qui ne sait pas, permet au pédagogue de rendre conforme l’individu à ce qu’on attend de lui. Il s’agira là de ce que nous nommerons une pédagogie de conformité, un « répétez tous en chœur ». (Orrado, citée dans Gozlan 2017, p. 207-208)

De l’autre côté, une pratique artistique qui invite les participant.es à se tenir devant le cadre, envisagé cette fois comme une ouverture. Dans ce cas, la pratique artistique permet « de rencontrer ce point d’intime propre à chacun et toujours étranger à soi-même : “jouez chacun à votre rythme, cela donnera une fréquence à laquelle la troupe résonnera”²¹« C’est ici que les alternances entre moments de désorganisations et moments rythmés vont prendre tout leur sens car la fonction du cadre va s’inscrire dans ce battement : “si la part d’incomplétude du cadre est assumée dans son énonciation même, alors les sujets peuvent s’emparer de cette zone informe, non déterminée, pour construire (au sens freudien) leur propre dispositif […]” (Vinot, 2014, p. 213) » ; voir Isabelle Orrado, « Quelques éléments théoriques sur le cadre », dans Gozlan 2017, p. 208. Elle renvoie à Frédéric Vinot (2014), « Médiation et pulsion. Qu’est-ce qu’un dispositif ? ». » (ibid., p. 208).

En installant ces points d’appui théoriques que sont les notions de dispositifs et de cadre, l’étude a permis d’affiner les enjeux des actions de médiation, non plus seulement du point de vue des réalisations artistiques et d’une qualité qui serait observable en soi, mais du côté de l’expérience sensible. Ce que le regard de psychologues clinicien·ne·s, rompu·e·s à l’observation fine des mécanismes psychiques, apporte, c’est l’attention à ce qui favorise le développement de la subjectivité individuelle, et en découvrant la part d’étrangeté qui est en soi, permet de mieux se relier aux autres et de s’inscrire dans une dimension culturelle. La focale ici aussi a été déplacée de la qualification des résultats à un questionnement des objectifs et à des propositions quant aux conditions de possibilité de ces objectifs reformulés.

 

L’évaluation comme médiation

De l’observation d’un dispositif de médiation, il ressort que chaque intervenant·e a un rôle et une fonction bien spécifiques, et que tou·te·s sont indispensables au fonctionnement de l’expérience d’ouverture créative, l’artiste bien évidemment, mais aussi le ou la médiateur·rice culturel·le et les enseignant·e·s²²« L’artiste a une fonction de sensibilisation du public à la démarche artistique, il propose une expérience unique qui bouscule les enfants-adolescents dans leurs représentations du quotidien et du monde. […] Les médiateurs culturels ont une fonction de passeur entre l’institution culturelle et l’établissement scolaire, entre l’artiste et les enfants, entre les enseignants et l’artiste, impliquant un rôle de communication, d’organisation, de ressource primordiale pour le déroulement optimal de l’activité. C’est véritablement au cœur de ces actions que la fonction du médiateur prend tout son sens : par cette position d’entre-deux, ils contribuent à la … Continue reading. La qualité du dispositif de médiation dépend de l’articulation des mondes artistique, scolaire et aussi familial :

Les intervenants qu’ils soient artistes, médiateurs, enseignants ont cette fonction de liant […].
La disponibilité de l’artiste ou du médiateur à l’autre, à son style, à ses difficultés et à ses trouvailles, ainsi que la possibilité de pouvoir improviser une réponse artistique à partir de cela est sans doute un des leviers essentiels de l’efficacité de la médiation culturelle. (Gozlan 2018b, p. 3-4)

La qualité attendue de l’artiste c’est de se rendre disponible à ce contexte, de faire preuve de souplesse et d’adaptabilité et de considérer ces différentes situations comme des enjeux de création.

Comme l’évaluation du projet lyonnais, la recherche conduite par les psychologues s’est construite dans un feuilletage des regards²³Les conditions de la participation des enseignants auraient pu être travaillées davantage afin de leur donner des espaces de paroles et de contribution construits.. Comme à Lyon, la présence régulière de l’évaluation a permis des ajustements importants des actions. L’importance de la coopération de l’ensemble des parties prenantes n’est pas seulement utile pour l’organisation du projet, elle est nécessaire pour construire un environnement relationnel favorable, elle permet de prendre en charge certains éprouvés négatifs vécus par les jeunes dans leur rencontre avec l’art, elle favorise l’élaboration d’un récit qui fasse sens. Le travail d’ajustement interpersonnel est aussi un travail d’ajustement interinstitutionnel qui, même s’il peut paraître chronophage, est essentiel pour une bonne médiation. Dans ce contexte, pour jouer son rôle d’intermédiaire entre monde interne et externe, la qualité principale de l’objet musical c’est sa malléabilité, sa capacité à prendre forme, à prendre des formes²⁴À cet endroit, l’évaluation de la médiation culturelle de la musique interroge la tradition formaliste qui aborde l’œuvre du côté de la structure plutôt que de la métamorphose issue de ses usages..

On le constate avec ces deux études, lorsque l’évaluation endosse ces trois qualificatifs : continue, participative et récursive, qui semblent former une triade, elle devient, au-delà de la mesure des résultats de la médiation, un des outils de celle-ci dans le mouvement même par lequel elle relance la réflexion sur les objectifs.

 

La Fondation Carrasso, 2015-2016 : visées et méthodologie de l’évaluation

Dans son travail sur les écoles de musique en tant qu’écoles de la citoyenneté, la Fondation Carasso a associé le cabinet de conseil Nuova Vista à sa démarche d’évaluation de l’impact social associant les 33 porteurs de projets soutenus par la fondation. De cette démarche partagée est issue un kit d’évaluation de l’impact des projets artistiques à vocation sociale²⁵Voir Fondation Daniel et Nina Carasso, Résonances, écoles de musique, écoles de citoyenneté, séminaire du 26 mars 2018. : ce kit est composé de la « Boussole » qui répertorie quatre impacts clés et 19 indicateurs qui permettent de les évaluer, ainsi que du « Catalogue d’impact », qui compte 170 indicateurs complémentaires, à disposition des porteurs de projets s’ils souhaitent enrichir la Boussole. S’y ajoutent des outils de collecte des données à mobiliser (questionnaires, échelles d’évaluation, entretiens individuels et collectifs) et enfin quelques bonnes pratiques issues des enseignements tirés des deux années d’expérimentation avec les porteurs de projet. Ce kit constitue un document de référence qui réussit le pari difficile de la simplicité tout en déplaçant les représentations courantes. Il apporte une contribution précieuse à la définition des visées et des méthodologies d’évaluation de la médiation.

La dimension participative y est centrale avec l’association de l’ensemble des parties prenantes. Comme dans la méthodologie des droits culturels développée par Païdeïa²⁶Païdeïa, en lien avec l’association des départements de France, a développé une méthode qui comporte trois étapes : la collecte et l’analyse de cas d’école, l’établissement de cartes d’interactions culturelles et l’identification d’indicateurs de connexions qui correspondent à des facteurs de réussite des projets et des dispositifs. C’est une méthode globale qui concerne l’évaluation de l’ensemble des politiques publiques au regard des droits culturels, mais dont la trame peut être transposée aux institutions culturelles., un des premiers bénéfices de cette méthodologie est interne. Le travail du sens au sein de la ou des structures porteuses du projet, s’il ne va pas de soi au début, conduit à une meilleure appropriation des objectifs, à une conscience plus forte du rôle de chacun·e et à une motivation renforcée. L’arrière-plan humaniste de la démarche s’exprime dans l’éditorial de la Boussole : « Quels meilleurs regards que ceux d’hommes et de femmes sur le terrain, pour saisir les changements créés par l’éducation et les pratiques artistiques et montrer leur contribution à l’épanouissement personnel et la construction d’une dynamique citoyenne ? » (Fondation Daniel et Nina Carasso 2018a, p. 2).

La dimension continue est affirmée comme nécessaire : « Il est important de calibrer le pilotage de la démarche : il doit être intégré au projet dès sa conception » (ibid., p. 16). La Boussole recommande d’anticiper l’évaluation, afin que les objectifs de l’évaluation, le périmètre, les temporalités, les parties prenantes fassent l’objet d’une discussion ouverte et constructive où se partagent les différentes attentes. Cet amont de l’évaluation est également un moment en soi de travail du sens, un moment où l’enjeu est de s’accorder. Enfin, les dimensions participatives et continues de l’évaluation sont aussi liées à la dimension récursive. En s’intéressant à la vocation sociale des projets de médiation, la méthodologie déplace la focale souvent placée sur les apprentissages pour la situer sur le développement des capabilités et renforce ce faisant la conscience d’un droit pour tous²⁷En déclinant ce qui soutient la valorisation de l’art comme outil de citoyenneté, sont mentionnés les quatre points suivants : participer à une reconnaissance de la pratique artistique comme un élément indispensable à tout un chacun ; valoriser et encourager la vocation citoyenne des artistes ; faire prendre conscience que l’ambition artistique n’est pas forcément une question d’élite ; rendre le citoyen habitant acteur des projets culturels, éducatifs et artistiques. Voir Fondation Daniel et Nina Carasso 2018c, p. 28..

La récursivité apparaît alors comme doublement importante, car elle permet de consolider les objectifs et car elle crée une dynamique autour des conditions de possibilité de réalisation de ces objectifs. Elle est enfin l’occasion de questionner les pratiques et de susciter leur évolution.

 

L’évaluation comme travail d’accordage

Créer l’espace d’une interrogation commune sur les objectifs devient la posture du professionnel de l’évaluation qui n’est pas tant chargé de déclarer la valeur des actions que de faire en sorte que cette valeur s’élabore en commun. Dans ce commun des acteur·rice·s et des destinataires se joue beaucoup plus que la publication de résultats. Ce qui est en jeu, c’est un accordage professionnel, social, culturel entre les attentes, valeurs et identités des différentes parties prenantes. C’est un travail de chaque instant, de l’amont de l’évaluation à sa restitution. Produire une objectivation des résultats qui accueille la parole de tou·te·s et favorise un tissage en commun, c’est bien sûr utile pour optimiser le pilotage des projets, mais c’est surtout envisager l’évaluation comme médiation, c’est affirmer une dimension performative de l’évaluation dès lors qu’elle se positionne comme travail en commun du sens.

Les pratiques d’évaluation de la médiation sont dans un moment expérimental. Dans les exemples présentés précédemment se dégagent des lignes de force qui témoignent d’un tournant où le référentiel des sciences « dures » fondé sur le paradigme de l’objectivité semble céder le pas à une évaluation où la subjectivité n’est plus rejetée, mais au contraire valorisée dès lors qu’elle s’élabore. Pour ce faire les outils de l’approche psychanalytique sont la neutralité bienveillante, l’auto-observation et l’écoute flottante²⁸Le clinicien favorise également l’auto-observation, afin d’analyser les effets contre-transférentiels à l’œuvre chez lui. Ceci est un indicateur de mise en sens des éprouvés lors des ateliers. En effet, dans le référentiel donné, l’observation se fait à partir de la subjectivité de l’observateur. Albert Ciccone (2013) parle d’observation du contre-transfert, afin d’éviter toute entrave à la capacité d’écoute (cité par Gozlan 2017, p. 22)., tandis que ceux de l’approche collective pragmatique reposent sur la confrontation des regards.

Pour situer en quoi ces démarches se démarquent d’approches plus traditionnelles, nous prendrons un seul exemple où la production chiffrée, si elle est remarquablement encadrée d’un point de vue scientifique, produit peu d’effets dynamiques sur les acteurs, sur les objectifs et sur les leviers d’optimisation des résultats.

 

Dix mois d’école et d’opéra, 2003-2018 : quali versus quanti

Commandée par l’Opéra national de Paris, l’étude sur l’impact du dispositif d’éducation artistique et culturelle « Dix mois d’école et d’opéra » (DMEO) a été conduite sous la direction du sociologue Philippe Coulangeon²⁹Étude réalisée dans le cadre d’un partenariat de recherche entre l’Observatoire Sociologique du Changement, Sciences Po – CNRS et l’Opéra national de Paris.. Composée d’une étude quantitative portant sur plus d’un millier d’élèves de 2003 à 2018 sur le territoire d’Île-de-France, elle a cherché à mesurer la relation entre la participation à DMEO, les notes au Diplôme national du brevet et au contrôle continu ainsi que les décisions d’orientation en fin de troisième³⁰Elle concerne 1111 élèves de 51 classes de collège issus de trois académies (Paris, Versailles, Créteil). Le programme englobe également des initiatives menées dans des lycées – en particulier des lycées d’enseignement professionnel – et des écoles primaires.. La méthodologie de cette étude est imposante et s’appuie sur la collaboration des services de la Direction de l’évaluation, de la prospective et de la performance (DEPP) du ministère de l’Éducation nationale, avec laquelle une convention d’accès aux données du Fichier anonymisé pour les études et la recherche (FAERE) a été signée en juillet 2015³¹La base de données enregistre les trajectoires scolaires, les résultats aux examens et les caractéristiques sociales de l’ensemble des élèves scolarisés sur le territoire national.. La rigueur scientifique se manifeste également dans une vigilance méthodologique à l’égard des différents biais, qui a conduit les chercheurs à utiliser la méthode d’analyse contrefactuelle avec un groupe contrôle soigneusement constitué par la technique d’appariement par score de propension³²Pour la description de cette technique, voir annexe 2 du rapport DMEO..

Cette étude permet d’établir plusieurs résultats très satisfaisants. Tout d’abord l’analyse de l’échantillon confirme la surreprésentation des élèves issu·e·s des classes populaires (employés ou ouvriers) et de parents inactifs ou chômeurs. Le programme DMEO touche donc bien la population visée, à savoir un public scolaire socialement défavorisé. L’étude montre également l’augmentation globale des notes au brevet et au contrôle continu pour les élèves ayant participé au programme DMEO³³Avec des variations : l’absence d’effets significatifs pour les élèves ayant participé au programme en 6^e et 5^e, des effets plus prononcés pour les élèves ayant participé en 5^e et 4^e et en 4^e et 3^e. De plus un effet significatif et sensiblement prononcé est relevé sur la moyenne générale au contrôle continu pour les garçons, qui semblent tirer davantage parti de leur participation au programme.. La différenciation des effets selon le milieu social des élèves, mesurée par la catégorie socioprofessionnelle du ou de la responsable légal·e, est très nette. En effet, l’impact de la participation au programme apparaît plus prononcé et plus significatif pour les élèves de parents employés ou ouvriers que pour les élèves de parents cadres ou issus des professions intermédiaires. Cet impact valide la dimension redistributive du programme, prioritairement ciblé sur des élèves issus de ces catégories, et constitue à ce titre un des enseignements majeurs de cette évaluation. Enfin, l’élève qui a participé à DMEO a plus de probabilité de s’orienter vers une seconde générale et technologique qu’un·e élève apparié·e non participant au programme³⁴Selon le modèle contrôlant l’effet des notes obtenues au brevet sur l’orientation, on augmente de 3 points de pourcentage la probabilité de se diriger vers une seconde générale et technologique..

Au travail quantitatif s’est joint un travail qualitatif à travers huit entretiens avec des élèves ayant participé au programme en 2009-2010³⁵Le nombre limité d’entretiens « illustre la difficulté à identifier et mobiliser d’anciens élèves du programme appartenant à l’époque concernée à la même classe » (Coulangeon 2018, p. 18)., complété par le dépouillement des Carnets d’Opéra et le Journal de DMEO réalisé en fin d’année scolaire, à destination des publics, qui consigne des témoignages de participant·e·s, élèves et enseignant·e·s. Cette partie de l’étude fait apparaître sur une échelle réduite, quelques discordances dans la réception du programme. Les sentiments d’émerveillement de la visite, de soulagement par rapport aux contraintes scolaires que représente la sortie de classe à Paris (Coulangeon 2018, p. 38), côtoient des sentiments d’intimidation, de distance sociale, parfois même de résistance au projet (ibid., p. 42), et pour certains élèves qui adhèrent au programme, des conflits de loyauté par rapport à leur environnement familial ou amical.

Plusieurs limites de l’étude sont soulignées par les rédacteur·rice·s. D’un côté, disent-ils, « l’impact de DMEO ne saurait être strictement circonscrit au domaine des effets chiffrables et mesurables » (ibid., p. 121). D’un autre côté, le statut des sources de l’étude qualitative est

pour des raisons différentes, relativement fragile. Nous les avons principalement exploitées ici dans le but de contextualiser et d’éclairer les résultats de l’analyse statistique des effets du programme sur les résultats scolaires présentée dans la section suivante. Le travail sur archives et à partir des entretiens rétrospectifs ne saurait remplacer l’enquête de terrain qui n’est par définition pas réalisable a posteriori. (Ibid., p. 135)

En déclarant que l’évaluation de l’impact excède l’approche chiffrée et que l’évaluation qualitative optimale est celle de terrain, car elle est contemporaine des actions, les rédacteur·rice·s invitent à considérer des manières d’évaluer autres et implicitement à interroger un investissement dans des méthodologies hypercomplexes pour une réponse incomplète, d’autant qu’ils remarquent que le lien entre le programme DMEO et les résultats scolaires qui est l’objet de l’étude quantitative, apparaît peu dans les entretiens. Reste la limite qui tient au portage institutionnel de l’étude, qui apparaît dans la postface rédigée par la responsable de la médiation à l’Opéra national de Paris qui est visiblement orientée par des enjeux de communication.

Après avoir mis en comparaison les trois dimensions de continuité, de participation et de récursivité dans quelques études, il est intéressant de revenir sur ce qui peut fonder d’un point de vue théorique l’importance de la participation au cœur de l’évaluation de la médiation.

 

Intelligence collective et « empowerment evaluation »

Pour fonder la légitimité de l’évaluation partagée, les travaux sur l’intelligence collective apportent de précieux enseignements. Largement valorisée, l’intelligence collective a fait l’objet de nombreux travaux, allant du potentiel du cyberespace dans une perspective anthropologique (Lévy 1994) à la contribution au vivant (Cristol et Joly 2017). De son côté, Émile Servan-Schreiber (2018) s’intéresse aux conditions permettant d’optimiser le fonctionnement de l’intelligence collective. L’important n’est pas tant la qualité des neurones des personnes qui composent un groupe que la qualité de la communication au sein du groupe. La réponse à une question posée à un groupe sera d’autant meilleure que la répartition de la parole sera équilibrée et que le groupe préfèrera la confrontation des points de vue à la conformité et prouvera par là sa capacité à exprimer les différences et à associer l’ensemble des parties prenantes à la réflexion³⁶Voir également son intervention dans la rencontre autour de l’humanisme numérique, Nancy, septembre 2016, à 01:07:40.. Les entreprises les plus innovantes ne sont pas celles qui dépensent le plus d’argent, mais celles qui impliquent le plus les salarié·e·s dans l’effort d’idéation. Un troisième facteur décisif de réussite est la composition du groupe, sa diversité sociale et culturelle ainsi que la proportion de femmes présentes dans le groupe. Les chercheur·e·s lient ce constat à la capacité des femmes à répartir équitablement le temps de parole et à leur sensibilité sociale³⁷La place des femmes dans l’encadrement est également un facteur de réussite : une étude comparant l’évolution des entreprises du cac 40 sur 10 ans avec celle des entreprises du CAC 40 ayant au moins 35 % d’encadrement féminin sur la même période, montre des résultats de – 4 % pour les premières et de + 60 % pour les secondes.. Ainsi, les résultats de l’intelligence collective amènent-ils à questionner les pratiques de l’évaluation individuelle par des experts et à repenser le positionnement de ceux-ci au milieu et en accompagnement de collectifs composés sur un principe de diversité.

Les écrits sur l’évaluation partagée et participative sont de plus en plus nourris (Jacob et Ouvrard 2009³⁸Ces chercheur·e·s de l’Université Laval, au Canada, travaillent sur trois axes principaux : l’évaluation participative, la gestion de la performance et l’éthique de l’action publique., Ridde 2006, Monnier et Baron 2003³⁹Gabrielle Baron a été chargée de mission à la communauté urbaine de Nantes et Éric Monnier est le directeur général d’Euréval., Carton 2006⁴⁰Luc Carton est inspecteur général au ministère de la Communauté française de Belgique, philosophe, directeur de recherche à la Fondation Travail-Université dans les années 1980 et 1990 ; il coordonne des programmes de recherche portant notamment sur l’évaluation des politiques publiques.). Ils montrent que plus le processus repose sur l’implication des participant·e·s, moins l’intervenant·e dirige le processus, et plus on a de chance d’obtenir les effets escomptés. Ce sont les conditions d’une évaluation qui développe les capacités de chacun·e, d’une « empowerment evaluation » (Miller et Campbell 2006).

On rejoint ici la différence évoquée initialement entre des procédures qui « s »’appliquent et un cadre pensé comme un espace destiné à favoriser des interrelations et des confrontations. D’un côté une approche technicienne, réglementaire, qui comporte le risque d’une clôture sur soi et d’une déresponsabilisation, de l’autre un cadre ouvert où se développe une dynamique commune.

Si la recherche de l’efficience conduit à considérer l’évaluation partagée, bâtie sur la diversité et l’équilibre du collectif, comme la condition de son succès, l’évaluation partagée se fonde également sur les évolutions législatives récentes qui mettent la participation au centre des droits culturels (Fetterman et Wandersman 2005). Dans cette approche, le processus évaluatif gagne à la fois en fiabilité des résultats, en renforcement de la capacité des acteurs et en meilleure appropriation des résultats de l’évaluation.

 

L’évaluation dans le référentiel des droits culturels

Les droits culturels ont été introduits dans le droit français dans un contexte marqué ces dernières années par une évolution profonde des pratiques d’évaluation des politiques publiques aussi bien en interne de la fonction publique d’État et territoriale, qu’en externe dans la relation posée avec les acteur·rice·s sectoriel·le·s, les citoyen·ne·s, voire les populations. La démarche des droits culturels au regard de l’évaluation conduit à revisiter les pratiques d’évaluation dans plusieurs dimensions : les « objets » évalués, la valeur recherchée, la relation aux personnes, la place de l’évaluateur·rice/expert·e et la méthode. Les droits culturels sont aussi une méthode d’observation et de fabrication de la valeur, du côté d’une élaboration commune. Le déplacement qui s’opère est celui d’un accès du plus grand nombre à l’élaboration de la valeur.

Dans les travaux d’évaluation mis en place par Païdeïa⁴¹Voir la nbp 26., la participation part des équipes des projets et des lieux. Cette participation à l’observation est nécessaire, non pas tant pour favoriser la collecte des données que parce qu’elle induit un mouvement d’interrogation et donc de transformation favorable au développement et à la qualité des projets. Le processus d’observation permet de montrer comment s’opèrent des enrichissements, voire des acquis en termes d’expériences, de savoirs, de capacités, etc., et de repérer ce qui, dans la présence d’autres acteur·rice·s et dans les interactions qui se développent entre elles et eux, y contribue plus ou moins. La valeur est envisagée de façon globale, par rapport au projet bien sûr, mais aussi par rapport à ses interconnexions avec le territoire⁴²La dimension des interconnexions est encore sous-évaluée dans les évaluations des politiques culturelles. Faire place dans la valeur aux interconnexions sur un territoire, c’est à la fois valoriser et favoriser l’intensité et la richesse des liens résultant des projets. C’est une évaluation qui prend en compte l’ensemble des acteurs, au-delà de la différenciation entre amateurs et professionnels, entre structures labellisées ou non, dans une approche non plus seulement descendante implicitement présente dans la notion d’accès à la culture, mais dans une approche également latérale, où la valeur dépend des contributions réciproques. Les schémas initiés sur le … Continue reading.

Le fait de donner la parole aux personnes, qu’elles soient usager·ère·s ou non des structures culturelles, dans le cadre de l’évaluation reste toutefois rare, difficile à mettre en œuvre et peu pratiqué dans le champ culturel. L’avis du Conseil économique, social et environnemental (CESE) de novembre 2017 sur la démocratie culturelle préconise une représentation des associations dans les organes de gouvernance des lieux.

Par ailleurs, à l’occasion d’un travail sur la cohésion sociale, le Conseil de l’Europe a élaboré en 2005 un guide méthodologique où se trouvent des propositions d’évaluation par domaine de vie. Celles-ci sont rapportées aux droits de l’homme parmi lesquels sont mentionnés les droits culturels, après le droit à l’éducation et à l’information. Les indicateurs proposés pour la culture témoignent de l’opportunité offerte par les droits culturels de pousser plus loin l’ambition des politiques publiques. Si l’accès à la culture et le développement du niveau culturel des personnes restent un objectif important, les politiques publiques se fixent pour objectif également de veiller à ce que les conditions des interactions entre les différentes expressions culturelles, le développement des capabilités des personnes dans toutes les étapes et dimensions de la vie, les conditions de participation, la prise en compte des plus vulnérables… soient réunies. C’est l’enjeu d’une culture vue du côté non plus seulement des objets artistiques, mais aussi comme lien.

 

Difficulté méthodologique, atout politique

On l’a vu, l’évaluation de la médiation culturelle se heurte à des obstacles pour réaliser une mesure des actions, du fait de son caractère multiforme et du fait qu’elle ne peut s’extraire de son ancrage dans la vie commune et des débats qui la traversent, ce d’autant plus qu’elle prétend être une des modalités régulatrices de la vie sociale.

Cette difficulté méthodologique se retourne en atout politique. Puisque l’expertise ne peut être portée par un seul regard, fut-il scientifique, le croisement des regards des participant·e·s, artistes, médiateur·rice·s, enseignant·e·s, parents, responsables culturels et politiques est nécessaire. Ce croisement appelle une méthodologie continue, participative et récursive, où l’évaluation devient un outil au service de la médiation. Ce croisement présente des avantages importants. Par la dynamique d’altérité, il produit des effets de déplacement et d’interrogation des pratiques de chacun. Il relance les pédagogies comme les processus de création, modifie le regard que portent les partenaires sur leurs « publics »… Il met au travail le sens des actions, les places, responsabilités et légitimités.

Comme toute évaluation, mais de manière amplifiée, le lieu de l’évaluation de la médiation est politique. Par l’espace et la dynamique qu’elle suscite, quand elle est aménagée dans la perspective d’un travail en commun du sens, elle pourrait bien être le laboratoire dans lequel se pensent les conditions d’une évaluation démocratique du champ culturel.

 

Bibliographie

Ardoino, Jacques, et Guy Berger (1986), « L’évaluation comme interprétation », Pour, n^o 107, p. 120-127.

Ardoino, Jacques, et Guy Berger (1989), « Fondements de l’évaluation et démarche critique », AECSE, n^o 6, p. 3-11, http://reseaueval.org/wp-content/uploads/2013/04/4.-Ardoino-berger.pdf, consulté le 25 août 2020.

Ayoub, Anissa, et al. (2019), « Trois élèves sur quatre touchés par une action ou un projet d’éducation artistique et culturelle », Culture Chiffres, n^o 3, ministère de la Culture, ministère de l’Éducation, p. 1-16, https://www.culture.gouv.fr/Sites-thematiques/Etudes-et-statistiques/Publications/Collections-de-synthese/Culture-chiffres-2007-2020/Trois-eleves-sur-quatre-touches-par-une-action-ou-un-projet-d-education-artistique-et-culturelle-CC-2019-3, consulté le 1^er septembre 2020.

Blanchet, Didier, et al. (2016), « Évaluation des politiques publiques, ex post et ex ante. L’apport de la microsimulation – Introduction », Revue économique, vol. 67, n^o 4, p. 685-696, https://www.cairn.info/revue-economique-2016-4-page-685.htm, consulté le 1^er septembre 2020.

Bozio, Antoine (2014), « L’évaluation des politiques publiques. Enjeux, méthodes et institutions », Revue française d’économie, vol. XXIX, n^o 4, p. 59-85, https://www.cairn.info/revue-francaise-d-economie-2014-4-page-59.htm, consulté le 25 août 2020.

Bouniol, Jean-Jacques, et Michel Vial (1997), Les modèles de l’évaluation. Textes fondateurs et commentaires, Bruxelles, De Boeck Université.

Carton, Luc (2006), « Vers une évaluation “partagée” des contrats-programmes des centres culturels », Astrac en vrac, n^o 41, p. 18-22.

Ciccone, Albert (2013), L’observation clinique, Paris, Dunod.

Conseil de l’Europe (2005), Élaboration concertée des indicateurs de la cohésion sociale. Guide méthodologique, Strasbourg, Éditions du Conseil de l’Europe, https://www.coe.int/t/dg3/socialpolicies/socialcohesiondev/source/GUIDE_fr.pdf, consulté le 25 août 2020.

Coulangeon, Philippe (dir.) (2018), Enquête sur l’impact du dispositif d’éducation artistique et culturelle Dix Mois d’École et d’Opéra, Observatoire Sociologique du Changement, Sciences Po – CNRS, Opéra national de Paris, https://www.operadeparis.fr/academie/education-artistique/dix-mois-decole-et-dopera/enquete-sur-limpact-de-dix-mois-decole-et-dopera, consulté le 25 août 2020.

Courant, Louise, et Sylvie Pébrier (2017), Étude des enjeux des actions de médiation dans les établissements labellisés de la musique, DGCA.

Creech, Andrea, et al. (2016), El Sistema and Sistema-Inspried Programmes. A Literature Review of Research Evaluation and Critical Debates, rapport, 2^e éd., Sistema global, https://sistemaglobal.org/literature-review/full/, consulté le 25 août 2020.

Cristol, Denis, et Cécile Joly (2017), Management et intelligence collective. 60 méthodes et exercices. Des pratiques pour apprendre ensemble, Paris, ESF.

Fetterman, David M., et Abraham Wandersman, Abraham (2005), Empowerment Evaluation Principles in Practice, New York, Guilford Publications.

FEVIS (2017), Enquête nationale 2017. Médiation et actions pédagogiques, cahier, https://www.fevis.com/wp-content/uploads/2017/10/Cahier-Mediation-et-Numerique.pdf, consulté le 25 août 2020.

Fondation Daniel et Nina Carasso (2018a), La Boussole de l’Art Citoyen. Le catalogue d’impact, https://www.fondationcarasso.org/wp-content/uploads/2019/02/La-Boussole-de-lArt-Citoyen-catalogue-impact-WEB.pdf, consulté le 25 août 2020.

Fondation Daniel et Nina Carasso (2018b), La Boussole de l’Art Citoyen. Renforcer l’impact de votre projet, grâce à l’évaluation, https://www.fondationcarasso.org/wp-content/uploads/2019/02/La-Boussole-de-lArt-Citoyen-WEB.pdf, consulté le 25 août 2020.

Fondation Daniel et Nina Carasso (2018c), Résonances, écoles de musique, écoles de citoyenneté, actes du séminaire du 26 mars 2018, Philharmonie de Paris, https://www.fondationcarasso.org/wp-content/uploads/2019/03/FDNC-Se%CC%81minaire-Re%CC%81sonance-WEB-page-seule.pdf, consulté le 25 août 2020.

Fondation Total (2015), « Atelier 3 – Comment assurer la pérennité des projets et essaimer les bonnes pratiques ? », Colloque « Apprendre par l’art, un art d’apprendre », Opéra de Lyon, 15-16 octobre 2014, vidéo YouTube, 52:49, mise en ligne le 28 février 2015, https://youtu.be/fIxnYr6JXFs, consulté le 25 août 2020.

Gozlan, Angélique (2017), Étude des effets des actions de médiation culturelle sur les enfants et les adolescents, Université de Picardie et de Nice, ministère de la Culture, DGCA, volet 1, https://www.culture.gouv.fr/Espace-documentation/Documentation-scientifique-et-technique/Effets-des-actions-de-mediation-culturelle-sur-les-enfants-et-adolescents, consulté le 25 août 2020.

Gozlan, Angélique (2018a), Étude des effets des actions de médiation culturelle sur les enfants et les adolescents, Université de Picardie et de Nice, ministère de la Culture, DGCA, volet 2, https://www.culture.gouv.fr/Espace-documentation/Documentation-scientifique-et-technique/Effets-des-actions-de-mediation-culturelle-sur-les-enfants-et-adolescents, consulté le 25 août 2020.

Gozlan, Angélique (2018b), Étude des effets des actions de médiation culturelle sur les enfants et les adolescents, Université de Picardie et de Nice, ministère de la Culture, DGCA, synthèse, https://www.culture.gouv.fr/Espace-documentation/Documentation-scientifique-et-technique/Effets-des-actions-de-mediation-culturelle-sur-les-enfants-et-adolescents, consulté le 25 août 2020.

Hille, Adrian (2010), Étude d’impact des Orchestres à l’École, https://www.institutmontaigne.org/ressources/pdfs/orderfile/etude_orchestres_adrian_hille.pdf, consulté le 25 août 2020.

Jacob, Steve, et Laurence Ouvrard (2009), « L’évaluation participative, avantages et difficultés d’une pratique innovante », Cahiers de la performance et de l’évaluation, n^o 1 (automne), http://numerique.banq.qc.ca/patrimoine/details/52327/2009461, consulté le 25 août 2020.

Jacob, Louis (2012), « Les leçons de l’évaluation », dans Jean-Marie Lafortune (dir.), La médiation culturelle. Le sens des mots et l’essence de pratiques, Montréal, PUQ, p. 79-101.

Lallier, Christian (2017), L’élève de l’Opéra, anthropologie filmée réalisée avec Mélodie Tabita, http://www.c-lallier-anthropologie-filmee.com/l_eleve_de_l_opera2.html, consulté le 25 août 2020.

Lauret, Jean-Marc (2017), « L’évaluation des politiques d’éducation artistique et culturelle, approche critique et prospective », Quaderni, n^o 92, p. 85-95, http://journals.openedition.org/quaderni/1042, consulté le 25 août 2020.

Lauret, Jean-Marc (2018), « Les pratiques collectives d’apprentissage de la musique », dans Éric Fourreau (dir.), L’éducation artistique dans le monde, Toulouse, Éditions de l’attribut, version longue.

Lévy, Pierre (1994), L’intelligence collective. Pour une anthropologie du cyberespace, Paris, La découverte.

Loiseau, Alain (2014), Évaluation de la politique en faveur du spectacle vivant. Diagnostic, Ministère de la Culture et de la Communication, Direction générale de la création artistique, https://www.culture.gouv.fr/Espace-documentation/Rapports/Evaluation-de-la-politique-en-faveur-du-spectacle-vivant-diagnostic, consulté le 25 août 2020.

Maire Sandoz, Marie-Odile, et Sylvie Martin-Dametto (2015), « L’opéra aux Minguettes ». Rapport d’étude 2011-2014, Centre Alain Savary, IFE, ENS Lyon, http://centre-alain-savary.ens-lyon.fr/CAS/et-encore/art-et-ecole/lopera-a-lecole/lopera-aux-minguettes, consulté le 25 août 2020.

Martel, Marie-Claire (2018), Vers la démocratie culturelle. Mandature 2015-2020, séance du 15 novembre 2017, Paris, Les éditions des Journaux officiels, https://www.lecese.fr/sites/default/files/pdf/Avis/2017/2017_22_democratie_culturelle.pdf, consulté le 25 août 2020.

Métropole Grand Nancy (2016), « Moments d’invention 2016 – plénière du jeudi 29/09/2016 », « Moments d’invention 2016. Rencontre sur l’humanisme numérique », Nancy, 29-30 septembre 2016, vidéo YouTube, 02:24:59, mise en ligne le 28 septembre 2016, https://youtu.be/0YVIOQd1wps, consulté le 25 août 2020.

Miller, Robin Lin, et Rebecca Campbell (2006), « Taking Stock of Empowerment Evaluation, an Empirical Review », American Journal of Evaluation, vol. 27, n^o 3 (1^er septembre), p. 296-319, https://journals.sagepub.com/doi/10.1177/109821400602700303, consulté le 25 août 2020.

Ministère de la Culture (s.d.), « SOLIMA », https://www.culture.gouv.fr/Sites-thematiques/Musique/SOLIMA, consulté le 25 août 2020.

Ministère de la Culture (2005), Charte de déontologie, DMDTS, Service de l’inspection et de l’évaluation.

Ministère de la Culture et de la Communication (2017), Guide des méthodes et des procédures de l’Inspection de la création artistique, DGCA, Service de l’inspection de la création artistique.

Monnier, Éric, et Gabrielle Baron (2003), « Une approche pluraliste et participative. Coproduire l’évaluation avec la société civile », Revue « Informations sociales », n^o 110 (septembre), https://www.sqep.ca/app/uploads/2019/04/publication_90.pdf, consulté le 25 août 2020.

Nicolas, Yann, et Olivier Gergaud (2016), Évaluer les politiques publiques de la culture, Ministère de la Culture – DEPS, https://www.culture.gouv.fr/Sites-thematiques/Etudes-et-statistiques/Publications/Collections-d-ouvrages/Questions-de-culture-2000-2018/Evaluer-les-politiques-publiques-de-la-culture, consulté le 25 août 2020.

Pedler, Emmanuel (2003), Entendre l’opéra. Une sociologie du théâtre lyrique, Paris, L’Harmattan.

Pierrel, Jean-Marie (dir.) (2012), « Évaluer », dans Central National de Ressources Textuelles et Lexicales (CNRTL), https://www.cnrtl.fr/etymologie/%C3%A9valuer, consulté le 25 août 2020.

Pronovost, Marc, et Catherine Harrisson-Boisvert (2015), Guide sur l’évaluation de projets en médiation culturelle, Montréal, Culture pour tous, https://www.culturepourtous.ca/professionnels-de-la-culture/mediation-culturelle/wp-content/uploads/sites/6/2015/09/Guide_Evaluation_projets_CPT_mai2015.pdf, consulté le 25 août 2020.

Ridde, Valéry (2006), « Suggestions d’améliorations d’un cadre conceptuel de l’évaluation participative », The Canadian Journal of Program Evaluation, vol. 21, n^o 2, p. 1-12, https://evaluationcanada.ca/system/files/cjpe-entries/21-2-001.pdf, consulté le 25 août 2020.

Servan-Schreiber, Émile (2018), Supercollectif. La nouvelle puissance de nos intelligences, Paris, Fayard.

Vinot, Frédéric (2014), « Médiation et pulsion. Qu’est-ce qu’un dispositif ? », dans Frédéric Vinot et Jean-Michel Vivès (dir.), Les médiations thérapeutiques par l’art. Le Réel en jeu, Toulouse, Erès, p. 199-220.

Viveret, Patrick (1989), L’évaluation des politiques et des actions publiques. Rapport au Premier ministre, Paris, La Documentation française, https://www.vie-publique.fr/sites/default/files/rapport/pdf/124000503.pdf, consulté le 1^er septembre 2020.

 

---

PDF

RMO_vol.7.2_Pebrier

Attention : le logiciel Aperçu (preview) ne permet pas la lecture des fichiers sonores intégrés dans les fichiers pdf.

---

Citation

• Référence papier (pdf)

Sylvie Pébrier, « Évaluer la médiation culturelle de la musique. Le travail en commun du sens », Revue musicale OICRM, vol. 7, n^o 2, 2020, p. 1-22.

• Référence électronique

Sylvie Pébrier, « Évaluer la médiation culturelle de la musique. Le travail en commun du sens », Revue musicale OICRM, vol. 7, n^o 2, 2020, mis en ligne le 7 octobre 2020, https://revuemusicaleoicrm.org/rmo-vol7-n2/evaluer-la-mediation-culturelle/, consulté le…

---

Auteure

Sylvie Pébrier, Conservatoire national supérieur de musique et de danse de Paris (CNSMDP) / ministère de la Culture

Sylvie Pébrier est inspectrice de la musique au ministère de la Culture en France et enseignante au CNSMDP en histoire de la musique. Elle travaille sur les enjeux sensibles et politiques de l’expérience esthétique, l’interprétation, le mouvement de la musique ancienne, les politiques culturelles. Ses rapports et études portent sur les publics de la musique classique, la médiation culturelle de la musique (dans les lieux de création et de diffusion labellisés, dans la formation des musicien·ne·s). Elle est référente sur les questions touchant les droits culturels, les festivals, l’évaluation et la recherche.