Vous mettez en oeuvre une action dans le domaine social et/ou de la santé. Le financeur vous demande de l’évaluer. Est-ce une « catastrophe », une contrainte bureaucratique, ou bien une opportunité pour prendre du recul par rapport à cette action ? Ce document a pour but de vous aider à répondre à ces questions et de vous guider dans les 9 étapes de la réalisation d’une évaluation. Mais auparavant, il convient de s’entendre sur l’intérêt d’une évaluation et sur sa place dans la « méthodologie de projet ».

L’évaluation est aujourd’hui incontournable. Dès le dépôt d’un dossier de financement, il est demandé aux « porteurs de projet » comment ils vont évaluer leur action. Face à cette injonction, ils se posent souvent des questions sur l’intérêt qu’ils ont réellement à se lancer dans cet exercice. En voici les principales :

1. L’ÉVALUATION, UNE PERTE DE TEMPS ?
« Nous avons tant à faire avec la rédaction des projets et avec l’action elle-même… Nous n’aurons jamais le temps d’évaluer… Et puis ça ne sert à rien, nous savons bien que nos actions sont efficaces ! »
L’évaluation prend du temps, en effet, mais comment savoir ce qui se passe réellement pour les bénéficiaires sans leur demander ? Les intervenants ont leur ressenti de l’action, mais il est partiel, subjectif, et souvent ils ne le formalisent pas dans un document. Les autres (partenaires, financeurs) ne peuvent se construire une représentation suffisamment complète sur l’action s’il n’y a pas de véritable évaluation. De même, avant de reconduire une action, il est intéressant de se poser la question de son sens et des changements qu’elle a permis pour les bénéficiaires.

2. L’ÉVALUATION, UN EXERCICE BUREAUCRATIQUE ?
« Ecrire encore un rapport d’évaluation, ce n’est qu’un travail bureaucratique… On nous demande de faire de la paperasse au détriment de l’action ! »
L’évaluation n’est pas un travail déconnecté de l’action. C’est au contraire une façon de refermer la boucle du projet en revenant aux intentions de départ et aux objectifs visés. L’évaluation est un exercice « démocratique » qui permet de prendre du recul, avec tous les partenaires, par rapport à une action. Et le rapport est un outil de communication avec les partenaires, avec les financeurs et avec les bénéficiaires.

3. EVALUATION OU CONTRÔLE ?
« Rendre compte de l’utilisation de l’argent public, oui, bien sûr. Mais si nous évaluons, nous risquons de perdre nos financements… Au fond, les financeurs demandent des évaluations pour faire des économies ! »
Toute évaluation (en fait, toute information) peut être utilisée de façon perverse contre un organisme ou une personne. Mais si les financeurs demandent d’évaluer les actions, c’est qu’ils ont besoin de savoir comment les actions qu’ils financent se déroulent et quels effets elles produisent. Il est également important pour eux de savoir que les porteurs de projet analysent leurs actions et sont capables de les faire évoluer pour les améliorer.

4. EVALUER SOI-MÊME SES ACTIONS EST-IL VALIDE ?
« Nous ne pouvons pas évaluer nous-mêmes nos actions, on ne peut pas être juge et partie… Il faudrait un évaluateur extérieur à notre association, mais c’est au-delà de nos moyens ! »
L’évaluation utilise des méthodes scientifiques d’enquête, qui sont appliquées à l’action. Une évaluation faite par les acteurs eux-mêmes est valide quand elle croise la perception (subjective) de différents groupes (par exemple, les acteurs et les bénéficiaires) et quand elle utilise des moyens d’enquête qui laissent les bénéficiaires libres de leur réponse (questionnaire par exemple).

5. FAUT-IL ÉVALUER SES ACTIONS TOUS LES ANS ?
« Même si nous avions les moyens, cela n’aurait pas de sens dans une action pluriannuelle de faire une enquête chaque année pour savoir si les objectifs sont atteints… Pourtant, le financeur nous demande chaque année une évaluation ! »
L’évaluation doit en effet être dimensionnée en fonction de l’action et des questions qui se posent. Un simple « rapport d’activités » ou « bilan », qui ne fait que décrire le déroulement de l’action, n’est pas suffisant. Il faut aussi une appréciation critique (en positif et négatif) sur l’action pour qu’il devienne un rapport d’évaluation. Quelques indicateurs peuvent suffire pour montrer que les activités se sont déroulées comme prévu et qu’elles ont atteint leur public. Mais quand il y a une décision particulière à prendre, un problème de mise en oeuvre, ou un besoin d’approfondir, l’évaluation doit être plus développée pour y répondre.

QUELQUES CONSEILS POUR BIEN METTRE L’EVALUATION SUR LES RAILS
- Prévoir l’évaluation dès la conception de l’action. Dans le dossier de financement, il faut prévoir de façon aussi précise que possible les changements attendus chez les bénéficiaires (les objectifs) et prévoir du temps pour recueillir des informations auprès des bénéficiaires et/ou des partenaires (par exemple, un temps d’animation orienté sur l’évaluation, un questionnaire, des entretiens…). En fonction du déroulement de l’action, on définira plus précisément les questions à poser et les méthodes de recueil de ces informations.
- L’évaluation est à construire « sur mesure », en fonction de l’action et des questions qui se posent à un moment donné. Il n’y a pas d’évaluation « clés en mains » avec des indicateurs prêts à l’emploi. Chaque action a ses objectifs, son public, ses acteurs, son contexte local. C’est en élaborant l’évaluation qu’on décidera de réutiliser des indicateurs et outils déjà existants parce qu’ils seront pertinents.
- Une évaluation participative et négociée implique les acteurs (intervenants, partenaires, financeurs), qui se mettent d’accord sur le sens donné à l’évaluation, et qui définissent les questions posées à l’évaluation et les méthodes à utiliser. C’est la meilleure configuration pour donner à l’évaluation sa fonction « démocratique » (le partage des points de vue), son rôle de valorisation des succès de l’action et son rôle de moteur du changement pour améliorer les points faibles.
- Dimensionner l’évaluation en fonction de l’action. Une action longue et suivie avec le même public peut faire l’objet d’une évaluation plus approfondie qu’une action ponctuelle. Mais quelle que soit l’action, il est légitime de se poser la question de ses effets.
- L’évaluation s’organise comme une action : elle se planifie (avec des objectifs qui sont les questions posées), elle se réalise et… elle produit ses effets (elle contribue à la prise de décision et à l’information).

LA VIE D’UNE ACTION ET LA PLACE DE L’EVALUATION

La « méthodologie de projet » s’intéresse à la planification, à la réalisation et à l’évaluation d’une action, quel que soit son domaine. Elle propose une approche systématique de l’action, pour éviter que l’évaluation soit menée de façon implicite, avec un risque important de ne pas s’entendre avec les partenaires, de ne pas être pertinent auprès du public et de ne pas être compris des financeurs. Voici les étapes de la vie d’une action, illustrées par un exemple.

1. AU COMMENCEMENT EST LE DIAGNOSTIC…

Au préalable de toute action, il est nécessaire de faire le point sur la situation que l’on observe : il s’agit de faire un diagnostic de situation et de dégager le(s) problème(s) prioritaire(s) au(x) quel(s) on souhaite répondre.

Exemple : Les usagers de drogue par voie intraveineuse (UDI) sont de moins en moins concernés par les infections à VIH (virus du sida), sans doute grâce aux distributions de matériel d’injection stérile et à l’arrêt des pratiques les plus à risque (échange de seringue ou d’aiguille). Par contre, ils sont très nombreux à être infectés par le virus de l’hépatite C (VHC) et par celui de l’hépatite B (VHB). La transmission de ces virus continue du fait du partage du matériel de préparation (filtre, cuiller). Il y a également d’autres risques infectieux locaux (abcès) ou généraux (septicémies, etc.) du fait de la réutilisation de matériel. Les UDI s’approvisionnent en seringues en grande majorité en les achetant en pharmacie.

2. LE CAP À SUIVRE : LES OBJECTIFS

C’est le temps de la planification qui consiste à définir les objectifs, c’est-à-dire les changements attendus auprès des bénéficiaires :
- L’objectif général, ou objectif de santé (ou social) est celui qui donne le sens de l’action. Il s’exprime en termes de santé ou de situation sociale et décrit la diminution du problème prioritaire.
- Les objectifs spécifiques sont les effets directement attendus de l’action. Ils concernent les publics touchés par l’action et peuvent s’intéresser à leurs connaissances, opinions, compétences, capacités, comportements…

Exemple : L’objectif de santé (objectif général) est de diminuer les nouveaux cas d’infections, notamment à VHC et VHB, chez les usagers de drogue par voie intraveineuse (UDI). L’objectif spécifique de l’action est de réduire la prise de risque infectieux chez les UDI par l’utilisation systématique de kits de préparation et d’injection stériles.

3. LA PROGRAMMATION : QUELLES ACTIVITÉS ET QUELLES RESSOURCES PRÉVOIR

Les objectifs montrent l’intention. Il s’agit maintenant de prévoir les activités qui vont concrètement permettre de les atteindre :
- quelles activités mettre en place ?
- pour quels groupes cibles ?
- avec quels acteurs (en interne, ou avec des partenaires) et quelles ressources en argent, outils, matériels ?

Exemple : Les activités consistent d’abord à recruter des pharmacies volontaires pour mettre en place avec les UDI qui le souhaitent un protocole d’échange de kits d’injection. En échange des kits utilisés, le pharmacien leur remettra gratuitement de nouveaux kits. Les kits usagés seront éliminés dans un conteneur sécurisé et l’association de réduction des risques les évacuera et approvisionnera la pharmacie en kits et conteneurs neufs.

4. ENFIN DE L’ACTION ! LA MISE EN OEUVRE ET LE PILOTAGE

La mise en oeuvre de l’action consiste à mobiliser les ressources humaines, matérielles et financières, puis à réaliser les activités avec les publics retenus, en gardant le cap sur les objectifs.
Le pilotage de l’action se fait grâce à l’évaluation du processus (flèches en pointillé rouge dans le schéma), qui s’intéresse à l’écart entre ce qui est prévu dans la programmation et ce qui est réellement mis en oeuvre sur le terrain :
- les ressources sont-elles mobilisées comme prévu ? Sinon pourquoi ?
- les activités sont-elles réalisées comme prévu ? Sinon pourquoi ?
- les groupes cibles sont-ils atteints comme prévu ? Sinon pourquoi ?

Exemple : L’action est mise en oeuvre par l’association grâce à un financement. Le comité de pilotage décide du recrutement d’autres pharmacies pour compenser les défections intervenues surtout en début d’action. Des outils de suivi de l’action sont mis en place pour approvisionner les kits et récupérer les conteneurs. Seuls 15 % des UDI ont préféré continuer à acheter leurs kits, les autres ont bien adhéré au système d’échange (taux de retour des kits de 80 %). La « fidélisation » est meilleure dans les pharmacies de quartier que dans les « 24h/24 ».

5. RETOUR AUX INTENTIONS : L’ÉVALUATION DE L’IMPACT (évaluation en fin d’action)

Ce dernier temps est celui de l’évaluation en fin d’action ou à la fin d’une de ses phases. Il s’agit de revenir aux intentions de départ, à la lumière de tout ce qui a été fait durant l’action. On distingue deux niveaux dans l’évaluation de l’impact d’une action (flèches en pointillé rouge dans le schéma) :
- L’évaluation des résultats, ou de l’efficacité de l’action, concerne l’atteinte des objectifs spécifiques. Rappelons qu’ils portent sur les effets directs de l’action. Autrement dit, ils lui sont totalement imputables.
- L’évaluation d’impact peut aussi porter sur l’objectif général, ou objectif de santé (ou social). Rappelons cependant que l’action n’a qu’un effet indirect sur l’objectif général et que son évolution ne peut être totalement imputée à l’action.
- Elle peut enfin porter sur d’autres effets prévus ou imprévus, souhaités ou négatifs.
L’évaluation d’impact permet de conclure sur la pertinence de l’action, c’est-à-dire sa capacité à faire évoluer une situation problématique. Elle donne ainsi des éléments pour voir comment poursuivre ou faire évoluer l’action.

Exemple : L’évaluation par questionnaire semble montrer une diminution de l’utilisation à plusieurs du matériel d’injection (l’objectif spécifique). Les données des pharmaciens vont aussi dans le sens d’une plus grande utilisation de matériel stérile par les UDI. Par contre, ils continuent de réutiliser leur matériel, la plupart s’injectant plusieurs fois par jour.
Les pharmaciens ont également été interrogés. Ils ne constatent pas d’effet de l’action sur le fonctionnement de leur officine : ni perturbation, ni afflux d’UDI, mais au contraire, meilleure relation avec certains du fait du support de l’échange de kits. Les réponses des UDI sont concordantes, l’action a donc contribué à améliorer les relations entre UDI et pharmaciens (impact).
Il n’a pas été possible de mesurer un éventuel impact sur les nouvelles infections par hépatites B ou C (l’objectif général).

Lire la suite