5.2 COMMENT FAIRE UNE ÉVALUATION?
COMMENT POUVEZ-VOUS
RECUEILLIR LES INFORMATIONS NÉCESSAIRES ?
Comme il
existe plusieurs formes d'évaluation pour juger des différents
aspects de votre projet, vous pouvez aussi utiliser différentes
approches pour recueillir les informations dont vous avez
besoin. Voici un survol rapide de quelques-unes des méthodes
d'évaluation les plus courantes et des principales informations
qu'elles permettent d'obtenir.
Entrevues individuelles avec des participants clés
(utilisées pour l'évaluation en cours d'exécution ainsi
que pour l'évaluation finale)
L'entrevue
individuelle est l'une des meilleures méthodes pour recueillir
une grande quantité d'informations détaillées lors de votre
évaluation. Elle vous permettra de comprendre les réactions
des personnes qui ont participé à vos activités, leur capacité
de se prendre en main, leur sentiment d'appartenance à la
communauté, leur bien-être, etc.
Les gens
ont souvent plus de facilité à exprimer leurs idées et leurs
opinions verbalement que par écrit. Par conséquent, vous
constaterez probablement que les entrevues individuelles
génèrent des informations plus nombreuses et plus détaillées
que les questionnaires ou les formulaires d'évaluation.
Pour
obtenir plus de renseignements sur les entrevues individuelles
avec les personnes clés, veuillez vous référer au Community
Tool Box, Chapitre 31, Section 8 : Interviews with key participants,
http://ctb.Isi.ukans.edu/ctb/c31/c31s8
ou aux autres ressources présentées à la fin de ce chapitre
Groupes de réflexion
(méthode utilisée pour l'évaluation en cours d'exécution ainsi que pour l'évaluation finale)
Un groupe
de réflexion est un petit groupe de discussion dirigé par
un animateur chevronné. Cette méthode est utilisée pour
sonder l'opinion des participants sur un sujet donné, dans
le but de mieux choisir les orientations futures.
Pendant
les rencontres, on cherche à créer une bonne ambiance pour
inciter les gens à parler en toute franchise. Par conséquent,
la composition du groupe est importante, tout comme la façon
dont les discussions seront menées. L'animateur encourage
les participants à exprimer leur opinion, à échanger avec
les autres et à répondre à leurs questions.
Puisque
les groupes de réflexion sont dirigés par un animateur et
que les échanges sont structurés, les participants n'hésitent
pas à s'exprimer. Cette méthode permet donc de recueillir
une grande quantité d'informations en un temps relativement
court. Pour de plus amples renseignements sur l'animation
d'un groupe de réflexion, veuillez consulter le Community
Tool Box, Chapitre 2, Section 4 : Conducting Focus Groups
http://ctb.lsi.ukans.edu/ctb/c2/c2s4
ou les autres ressources présentées à la fin de ce chapitre.
Les observations d'un participant
(méthode utilisée surtout pour l'évaluation en cours d'exécution)
Les observations
d'un participant vous permettent de recueillir des informations
sur le fonctionnement réel de votre projet, tel qu'il est
perçu par un observateur. Ce dernier reçoit une formation
lui fournissant les outils nécessaires pour bien décrire
la séance, sans négliger les détails (en distinguant les
détails importants de ceux qui sont insignifiants) et qui
le rend conscient
de la subjectivité de ses propres perceptions.
Les rapports
d'évaluation basés sur des observations devraient fournir
suffisamment d'informations pour que les lecteurs puissent
avoir une réponse aux trois questions suivantes : que s'est-il
passé, comment cela s'est-il passé, dans quelles circonstances?
|
L'évaluation
du projet «Inclusion» dépendait du travail
d'un «narrateur du centre». Dans chacun des centres,
on a choisi un membre de la communauté, généralement
un consommateur/survivant, et on lui a demandé d'apprendre
les techniques d'observation d'un participant afin de
pouvoir suivre et évaluer les étapes et les résultats
du projet.
Les
narrateurs des centres ont suivi une formation intensive
portant, entre autre, sur les méthodes qualitatives.
Au cours de cette formation, dispensée par le Bureau
national de l'ACSM 1,
ils ont découvert que leurs observations et leurs opinions
personnelles faisaient partie intégrante de l'évaluation
globale du projet.
En
utilisant les techniques d'observation faites par un
participant pour préparer le document sur l'élaboration
et l'implantation du projet, les narrateurs ont pu fournir
des informations permettant de saisir les nuances entre
les différentes démarches suivies dans chacun des centres.
|
Vers
le haut
Les livres de bord
(méthode utilisée surtout pour l'évaluation en cours d'exécution)
Les livres
de bord sont des comptes rendus écrits de vos activités.
On peut également les utiliser pour noter tous les changements
que votre projet a apporté au sein de la communauté,
tels que des politiques, des programmes ou des pratiques,
existant depuis peu, liés aux buts et à la mission de votre
groupe.
Un livre de bord contient habituellement les informations suivantes :
- le moment où l'activité a eu lieu;
- les raisons pour lesquelles elle a été importante;
- les résultats obtenus;
- les personnes qui y ont participé;
- les organismes qui ont fourni les ressources humaines et matérielles.
Les personnes
tenant les livres de bord représentent habituellement le
groupe. Elles devraient mettre à jour ce livre peu après
la présentation d'une activité, alors que les détails sont
encore présents dans leur esprit. Les livres de bord peuvent
être remis aux personnes chargées de compiler les informations
recueillies au cours de l'évaluation du projet.
Les questionnaires et les sondages
(méthode utilisée surtout pour l'évaluation finale)
Les questionnaires
et les sondages peuvent être utilisés lorsqu'on doit obtenir
des informations rapidement. Les renseignements ainsi obtenus
sont généralement moins détaillés que ceux tirés d'entrevues
individuelles, des groupes de réflexion et des observations
faites par un participant. Cependant, cette méthode peut
se révéler utile pour recueillir des données initiales et
mesurer le niveau de satisfaction des participants.
Dans
la section Outils, vous pourrez trouver un exemple de questionnaire
visant à évaluer la satisfaction des participants.
Données initiales
Les données
initiales vous donnent une image instantanée de votre communauté
au début de votre projet. En recueillant des données semblables
à plusieurs reprises pendant le déroulement de vos activités,
vous obtiendrez, en principe, un film en accéléré. Ceci
vous permettra de vérifier si des changements sont survenus
et vous aidera à déterminer s'ils sont le résultat de votre
travail.
Les données initiales peuvent inclure des paramètres mesurables, tels que le nombre de
partenaires ou de participants.
Les données
initiales ne sont pas indépendantes des autres méthodes.
En fait, elles devraient toujours être utilisées comme complément
d'information aux questionnaires et aux sondages. Dans certains
cas, il est également préférable d'en recueillir si votre
initiative est évalué par le biais d'entrevues individuelles
ou de groupes de réflexion.
Vers
le haut
COMMENT ÉVALUER VOTRE PROJET DE PROMOTION DE LA SANTÉ MENTALE?
UNE REVUE DES PRINCIPALES ÉTAPES.
Les trois
principales étapes pour préparer l'évaluation de votre projet
de promotion de la santé mentale sont les suivantes :
- définir clairement les buts et les objectifs de votre groupe;
- formuler les questions et choisir les méthodes d'évaluation;
- établir un plan pour recueillir les données relatives à l'évaluation.
1. Définir clairement les buts et les objectifs de votre groupe
La première
étape consiste toujours à définir clairement les buts et les
objectifs de votre groupe, il est ainsi plus facile de déterminer
quels sont les aspects de votre projet devant faire l'objet
d'une évaluation.
Si vous
avez suivi le modèle de planification décrit dans cette trousse,
vous avez probablement déjà franchi cette étape. Cependant,
ce serait un moment favorable pour réfléchir à nouveau à vos
objectifs et pour vous assurer qu'ils restent pertinents.
Si vous n'aviez pas défini vos buts et vos objectifs, il faudrait
que vous vous posiez maintenant les questions suivantes :
- Quelles sont les principaux buts visés?
- Quels moyens allons-nous utiliser pour y arriver?
Tout au
long de votre projet de promotion de la santé mentale, vous
devrez faire un suivi portant notamment sur les points suivants
:
- ce qui a été fait pour implanter votre projet;
- les activités organisées dans le cadre de votre projet ainsi que la démarche utilisée, en con-sidérant
les faits réels;
- les résultats de votre travail.
Vers
le haut
2. Formuler les questions et choisir les méthodes d'évaluation
Les questions
suivantes 2
peuvent servir de modèle pour formuler celles qui seront posées
lors de l'évaluation de votre projet de promotion de la santé
mentale.
Avons-nous fait ce que nous nous étions engagés à faire?
«QUOI?» (description des activités)
Les réponses
à cette question décrivent le travail accompli dans le cadre
de votre projet et expliquent en quoi il a contribué à l'atteinte
de vos buts et de vos objectifs. Vos objectifs vous fournissent
les critères nécessaires pour déterminer votre taux de réussite.
Qu'avons-nous appris de nos réussites et de nos échecs?
«POURQUOI?» (raisons qui expliquent votre réussite)
Les réponses
à cette question permettent de connaître l'opinion des gens
concernant les aspects de votre projet ayant bien fonctionné
et ceux qui ont posé problème. Elles vous donnent la possibilité
de prendre les mesures qui s'imposent pour améliorer votre
travail.
Notre travail a-t-il changé quelque chose?
«ET PUIS APRÈS?» (résultats)
Les réponses
permettent de savoir dans quelle mesure votre projet a réussi
à informer les gens et à les amener à modifier leur attitude
et leur comportement. Encore une fois, vos objectifs vous
fournissent les critères nécessaires pour mesurer les changements
survenant au cours ainsi qu'à la fin de votre projet.
Que pourrions-nous faire autrement?
«ET À
PARTIR DE MAINTENANT?» (l'avenir de ce projet et des suivants)
Cette question
porte sur les difficultés qui ont surgi en cours de route
et devenant souvent des occasions d'acquérir une expérience
et des connaissances importantes.
Comment
prévoyons-nous d'utiliser les résultats de l'évaluation pour
qu'ils soient une source de formation continue?
«ET ENSUITE?» (utilisation des résultats de l'évaluation)
Répondre
à cette question permet de savoir comment vous utiliserez
les résultats de l'évaluation pendant toutes vos activités
aussi bien qu'à la fin de votre projet. Vous devrez également
vous demander qui aura accès à ces résultats.
Si vous
examinez votre projet sous l'angle des cinq questions précédentes,
vous devriez être en mesure de concevoir efficacement vos
évaluations en cours et en fin d'exécution, pour obtenir les
informations dont vous aurez besoin. Votre réflexion vous
permettra également de choisir les méthodes convenant le mieux
au recueil d'informations nécessaires.
Vers
le haut
3.
Établir un plan pour recueillir les données relatives à l'évaluation
Le tableau
présenté dans les pages suivantes résume les différents points
à considérer lors de l'établissement d'un plan d'évaluation.
Il contient des détails sur les questions à poser, les méthodes
à employer ainsi que sur les échéances à respecter lors de
la collecte des données relatives à l'évaluation.
Vous pouvez utiliser ce tableau comme un guide qui vous aidera à établir, étape par étape, un plan
pour évaluer votre propre projet de promotion de la santé mentale
|
Principales
questions d'évaluation pour votre projet
|
Genre
d'informations requises pour répondre aux questions
|
Méthode utilisée pour
recueillir les informations
|
Quand recueillir les
informations
|
|
QUOI?
Avons-nous
fait ce que nous avions promis de faire?
- Quelles
activités furent entreprises et quel rôle ont-elles
joué dans
l'atteinte des buts et objectifs du projet?
- Quels
furent les principaux accomplissements du projet et
quelles ressources ont-ils nécessité?
- Les
objectifs ont-ils changé au cours du projet? Comment
et pourquoi ont-ils changé?
|
Description
des activités du projet :
- services
communautaires fournis - ateliers, publications, communications,
etc.
- mesures
prises au niveau communautaire - pour favoriser le
changement dans la communauté
- résultats
des processus de planification - objectifs écrits,
comités, plans d'action, etc.
- ressources
et biens communautaires identifiés et utilisés - subventions,
dons, ressources non financières, etc.
|
|
|
|
POURQUOI? Qu'avons- nous appris au sujet des approches
efficaces et non efficaces?
- Qui
participe?
- Le
groupe est-il diversifié?
- Les
participants restent-ils engagés?
- Pourquoi
les gens se joignent-ils à votre projet et pourquoi
le quittent- ils?
- Votre
projet répond-il d'une manière satisfaisante aux besoins
locaux selon les attentes des membres de la communauté?
- Quelles
stratégies ont ou n'ont pas bien fonctionné en vue
d'engager les membres de la communauté?
- Quelles
furent les meilleures/ moins bonnes stratégies pour
élargir la base de soutien communautaire?
- Quelles
stratégies et activités avez- vous changé? Pourquoi?
- Dans
quelle mesure les buts et objectifs de votre projet
étaient- ils réalistes et pertinents?
- Dans
quelles situations le processus de
planification s 'est-il avéré des plus
effectifs?
- Qu
'avez-vous appris au sujet du travail en équipe?
|
Évaluation
:
- les
gens qui participent - information relative à qui
participe, combien de fois, pourquoi les gens quittent-ils,
etc.
- couverture
médiatique - publicité accordée à votre initiative
|
- données
démographiques de base au sujet des participants,
p. Ex: âge, sexe, statut économique, origine ethnique,
incapacité, etc.
- entrevues des répondants
clés
- questionnaires et sondages
|
- au début, au cours et à la fin
|
|
ALORS?
Faire
ce travail nous a apporté quoi?
- Qu 'est- ce qui a changé en raison du
projet?
- Quelle
preuve existe que l'un ou l'autre de ces changements
est attribuable au projet?
- Quels autres facteurs hors du projet
pourraient avoir contribués à ces
changements?
- Les
participants furent-ils engagés dans le processus
de l 'initiative en entier, y compris définir le problème?
- Comment
la santé mentale des participants a-t-elle été valorisée
par le fait d 'avoir participé à l'initiative?
- Les
participants sont-ils satisfaits de leur expérience?
- La
participation à l'initiative a t-elle entraîné des
résultats négatifs?
- De
quelles manières le projet a-t-il contribué à augmenter
la participation communautaire et fortifier la capacité
communautaire?
- Quels nouveaux partenariats furent
établis au cours du projet?
- Quelle
était la nature de ces partenariats et quelle a été
leur contribution?
- Le
projet a-t-il fait l'objet de résultats négatifs quelconques?
|
Évaluation :
- changements
en matière de connaissances, aptitudes, attitudes,
comportements, politiques, pratiques, etc. observation
participante
|
Données
de référence recueillies à partir de :
- entrevues des répondants-
clés
- questionnaires et sondages
|
|
|
ALORS MAINTENANT?
Que pourrions- nous avoir fait différemment?
- Quelles
méthodes efficaces ce projet nous a-t-il appris en
matière d'atteintes des objectifs?
- De
quel autre soutien et quelles autres ressources avons-nous
besoin pour œuvrer plus efficacement à l'avenir?
- Que
faire pour élargir le réseau de personnes participant
au projet?
- Le
projet aurait-il pu être mieux planifié?
|
Évaluation :
- résultats
du processus de planification - plans d'action, plans
d'évaluation
|
- entrevues
des répondants-clés
- questionnaires et
sondages
|
|
|
PUIS ENSUITE? Comment comptons- nous utiliser les résultats
d'évaluation?
- De
quelle manière les résultats d'évaluation furent-ils
utilisés en permanence pour contribuer à la planification
et mise en œuvre du projet?
- De
quelle manière les résultats d'évaluation finaux seront-ils
documentés et diffusés?
- De
quelle manière les résultats d'évaluation seront-ils
utilisés pour donner regain à la planification de
projets?
|
Évaluation :
- résultats
du processus de planification - plans de diffusion
|
|
|
Vers
le haut
|
Le
plan d'évaluation du projet «Inclusion»
était basé sur les principaux buts du programme, et
avait été mis en place avant que le projet ne démarre.
On a utilisé différents moyens pour évaluer les résultats
obtenus dans chacun des centres et pour mesurer le succès
global du projet.
Ce
dernier a été évalué en fonction de résultats mesurables,
tels que :
- nombre
de partenariats établis au sein de la communauté;
- participation
des parties prenantes à la conception et à la mise
sur pied d'un plan d'action;
- l'intérêt
des participants est passé d'un modèle de service
qui prévalait par le passé, à
un modèle basé sur le processus.
Résultats
Les
indicateurs clés ont été évalués à l'aide d'un certain
nombre de méthodes utilisées avant et après le projet,
telles l'utilisation de questionnaires, la formation
de groupes de réflexion et l'organisation de réunions
d'évaluation finale dans chaque centre.
Processus
Afin
de s'assurer de l'efficacité du projet, un certain
nombre de mesures ont été prises. En outre,
l'évaluation des ateliers et du processus rédigée par
les participants et des réunions organisées par
ces derniers. De plus, un narrateur notait dans un carnet
de bord
les activités, les expériences et les leçons tirées,
à mesure que le projet avançait.
|
Vers
le haut
Résumé
|
