Evaluations that make a difference: evaluations stories around the world

Truth, naked and cold, had been turned away from every door in the village. 
Her nakedness frightened the people. When Parable found her, she
was huddled in a corner, shivering and hungry. Taking pity on her, Parable
gathered her up and took her home. There, she dressed Truth in Story,
warmed her, and sent her out again. Clothed in Story, Truth knocked again
at the villagers’ doors and was readily welcomed into the people’s houses.
They invited her to eat at their table and to warm herself by the fire.
 
Jewish Teaching Story (Annette Simmons)

What is the value of evaluation?  What factors contribute to making an evaluation more or less valuable? What are the benefits and how are they expressed or measured? How can they be described so that they make sense to citizens and to policy makers? Can stories provide a good way of communicating evaluation findings?

A group of evaluators from around the world received an EvalPartners Innovation Grant to collect stories that would help answer these questions.

The result was Evaluations that make a difference – a collection of eight evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs.

The first step was to define what was meant by evaluations that make a difference. Many evaluations have sound methodologies and, in some cases, get used to inform decisions and improve programs, organizations and policies (evaluation influence). However, this exploration went beyond that and looked at what evaluations can do to improve people’s lives (evaluation impact) and contributed to social betterment.

In addition to the eight stories about evaluations that have made a difference in people’s lives, this project teased out the “enabling factors” that contributed to their impact, highlighted for the benefit of evaluators and evaluation users who want to do more impactful evaluations.

1. Give voice to the voiceless – all voices need to be heard, but those without power often go unheard

2. Provide credible evidence based on excellent design and methodologies

3. Use a positive approach emphasizing strengths, opportunities, aspirations and results

4. Actively engage users & intended beneficiaries through a utilization-focused process that gets buy-in as the evaluation progresses

5. Embed evaluation within the programme right from the start, if possible, in order to have base-line information and to promote evaluative thinking

6. Sincerely care about the evaluation so that commissioners, users and evaluators are working together to ensure credible evidence

7. Champion the evaluation – evaluators need to work with commissioners and users to help them understand how the evaluation can contribute to making decisions

8. Focus on evaluation impact – from the beginning evaluators need to think about the potential effect of the evaluation on the program and program participants.

These factors were identified from the selected evaluation stories, which have been presented in this blog during the last months, both in English and French (and in Spanish in the blog Al Borde del Caos). Below you will find the eight evaluation stories:

#EvalStories 1:How an evaluation led to rapid change: Salvaging Sri Lanka’s small and medium businesses

#EvalStories 2: Tumekataa kula mavi tena! We refuse to eat shit! #Eval

#Eval Stories 3: Evaluation in action: The Milne Bay emergency phone service in Papua New Guinea

#Eval Stories 4: Positive Sisters: a transformative journey in the Netherlands

#EvalStories 5: Learning and earning: training that works in Kenya

#EvalStories 6: The power of community-owned data -a First Nations community in northern Manitoba, Canada.

#EvalStories 7: If you don’t ask, you won’t see it! The evaluation of a conditional cash transfer programme in Mexico

#EvalStories 8: Listening to the listeners – an #eval story in Nepal.

In addition to these blog posts, the stories and their process of selection and construction are being presented at events and conferences evaluation. The closest is in Maastricht (Netherlands), at the 12th Conference of the European Evaluation Society. If you are around, you are very welcome to join us there on September 29th, 10:00 – 11:30! 😉

#EvalStories 8: À l’écoute des auditeurs – Une évaluation au Népal. #eval

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

---

Peu avant l’aube, à l’arrêt de bus du village, Ashish attend Rama avec beaucoup d’anxiété. Aussitôt qu’il a repéré sa petite amie, tous les deux montent avec précaution à bord du bus en direction de la ville, discutant de leur avenir de couple. Toutefois, leur projet est contrecarré lorsqu’un officier de police interrompt leur voyage et commence à les interroger.

« Nous voulons juste nous marier », explique Ashish à l’officier. « Les parents de Rama l’obligeaient à épouser un étranger ».

« Nous n’avons rien fait de mal », ajoute Rama. L’officier de police prend la parole pendant que les deux adolescents, tous deux âgés de 16 ans, lui demandent de les laisser continuer le voyage.

« C’est un crime », dit-il. « Vous devez avoir au moins 20 ans pour vous marier. Le mariage des enfants est une infraction pénale – vos parents sont passibles de poursuites judiciaires s’ils vous obligent à vous marier jeunes et vous aussi, vous pouvez être poursuivis si vous vous mariez maintenant ».

Au Népal, l’âge légal pour le mariage est de 20 ans sans le consentement des parents et de 18 ans avec leur consentement.

Même si Rama et Ashish sont des personnages d’une fiction radiophonique hebdomadaire diffusée par plus de 40 chaînes de radio sur l’ensemble du territoire de cette république de la chaîne himalayenne, il n’en demeure pas moins que leur histoire est une représentation exacte de la dure réalité du mariage des enfants qui prévaut dans les villages reculés du pays. Selon les statistiques nationales, environ 3 filles sur 10 âgées de 15 à 19 ans sont actuellement mariées, et, parmi elles, 4 filles sur 10 se sont mariées avant l’âge de 18 ans.

Des fictions radiophoniques comme celle-ci ne sont que le reflet du caractère moral et de la culture et de la manière d’être de la société népalaise. Une émission en particulier, l’hebdomadaire appelé Saathi Sanga Man Ka Kura (SSMK), ce qui signifie « Causeries entre meilleurs amis », offre une assistance aux jeunes filles et garçons depuis 15 ans. SSMK éduque les jeunes sur des questions qui restent encore taboues dans une société népalaise conservatrice. Lancée en 2001 avec le soutien du Fonds des Nations unies pour l’enfance (UNICEF) et gérée depuis 10 ans par l’organisation à but non lucratif Equal Access Nepal, cette émission de 45 minutes est écoutée par plus de 7,2 millions d’auditeurs fidèles et reçoit plus de 1200 lettres et 2000 SMS (messages textes ou textos) chaque mois.

Recentrer la perspective

Avant l’introduction des médias électroniques, le théâtre de rue et les spectacles sur scène étaient très populaires au Népal. Le sketch mythologique ou parfois satirique interprété dans les dialectes locaux s’est notamment imposé dans les villages comme une forme de divertissement de premier rang.

Même si cette tendance semble avoir baissé dans les villes, Ghanshyam Kumar Mishra, un producteur de radio basé à Janakpur, une ville du district de Dhanusa dans le sud du Népal, affirme néanmoins que les sketchs en langues locales restent populaires dans les zones rurales du Népal et y sont même préférés. La majeure partie de la population de ces zones est constituée de paysans à faible revenu avec un niveau d’instruction très faible et ayant pour seule source d’information la radio, qui reste l’une des formes de divertissement les plus abordables. Par conséquent, les fictions radiophoniques restent, selon Mishra, l’un des meilleurs moyens pour informer le plus grand nombre.

En 2013, SSMK a mené une évaluation en utilisant l’approche de la recherche-action ethnographique pour examiner et évaluer sa part d’audience, ainsi que l’impact de son programme sur l’audience cible. Des évaluateurs communautaires des districts ruraux du Népal ont mené des sondages et des groupes de discussions avec les membres de la communauté et les parties prenantes.

L’un des principaux résultats obtenus de cette évaluation était la nécessité d’une émission radiophonique en langue locale.

Le sondage effectué dans le cadre du processus d’évaluation a exposé le conflit linguistique qui existait entre les auditeurs de SSMK; il manquait à la version de base de l’émission la capacité de saisir pleinement l’esprit des communautés locales En effet, le programme central étant produit en népali, les auditeurs des autres régions du pays, par exemple Dhanusa où le maïthili est la langue la plus parlée, se sentaient parfois déconnectés. Par ailleurs, les problèmes n’étant pas les mêmes dans toutes les régions, ce programme national, qui traitait des questions globales, a manqué d’aborder les problèmes propres aux communautés. L’équipe de SSMK a donc souhaité assurer une participation effective et substantielle des jeunes de tout le pays en lançant des versions de l’émission en langues locales, ce qui leur donnerait un sentiment d’appropriationⁱ comme l’a souligné Ayush Joshi, chargé de programme à Equal Access Nepal.

« Il était important de lancer une version locale pour garantir une viabilité à long terme de SSMK », a déclaré Joshi. « Les auditeurs réclamaient une émission diffusée dans une langue locale ».

Pour mieux équiper les jeunes des zones rurales avec la connaissance et les compétences dont ils avaient besoin pour participer à l’élaboration des politiques locales et nationales, SSMK a lancé des versions de l’émission en langues locales dans 15 districts marginalisés. Un autre objectif tout aussi important de ce lancement était de fournir aux jeunes des informations utiles, afin qu’ils soient capables de mieux prendre en main leur vie en appliquant ce qu’ils avaient appris.

Les émissions en langues locales sont adaptées à leurs différents auditeurs, avec des contenus personnalisés qui les aident à prendre davantage conscience des problèmes actuels de leurs communautés. En un bref laps de temps, affirme Mishra, les versions locales de SSMK ont réussi à mettre en lumière des problèmes comme le mariage et le travail des enfants, des pratiques qui sont acceptables sur le plan social dans de nombreuses communautés rurales. En plus du rôle primordial qu’ont joué les fictions radiophoniques en langues locales dans l’éducation des auditeurs, les segments comprenant les autorités locales et les parties prenantes ont eux aussi ouvert une voie de communication informelle pour le dialogue. Cela a également permis de responsabiliser les autorités sur cesproblèmes.

Sensibilisation à la question du travail des enfants

À Radio Mithila dans le district de Dhanusa, Sangi Sang Manat Baat est devenu un prolongement de SSMK. Le programme visait la population utilisant la langue maïthili et vivant dans les 90 Comités Villageois de Développement du district. Selon Mishra, une émission en népali n’a tout simplement pas d’effet sur les populations locales. Par contre, une émission en maïthili attire des auditeurs qui s’intéressent principalement aux problèmes qui sévissent dans leur région.

 « Lorsque vous utilisez leur langue locale pour communiquer avec eux, les auditeurs ont le sentiment d’être associés à l’émission », affirme Mishra. « En plus, il est plus aisé de leur faire comprendre le sujet abordé. Cependant, lorsque l’émission est diffusée uniquement en népali, ils peuvent penser que cela ne les concerne pas».

Dans les 26 épisodes de la version locale de SSMK, l’émission a abordé des questions propres à la région comme le mariage des enfants, les problèmes liés à la dot et les violences faites aux femmes.

Mishra a également souligné que, afin d’adapter les épisodes au contexte local, des experts et des agents de la force publique ont été ajoutés à l’équipe. Selon lui, cela ajoute de la crédibilité et rend l’émission plus fiable.

Il a par ailleurs précisé qu’après avoir écouté l’émission diffusée en maïthili sur le travail des enfants, les populations sont devenues assez hésitantes en ce qui concerne le recrutement des enfants. Cet épisode a également incité les autorités à au moins émettre des avertissements aux entreprises qui emploient les enfants. « Il faut du temps pour que ces pratiques cessent », précise Mishra. « Mais je suis convaincu que notre émission radiophonique a su ouvrir la voie pour ce dialogue indispensable. Cela équivaut à une petite révolution  ».

Changer d’attitude à l’égard des questions relatives aux femmes

Les évaluateurs de SSMK ont remarqué que les programmes locaux permettaient de présenter les problèmes communautaires avec plus de précision, et c’est justement ce que fait Manauda Ka Kura (une adaptation de SSMK) dans le district d’Accham.

Grâce à une fiction radiophonique, l’émission a, au moyen d’une approche informelle et émotionnelle, sensibilisé les populations sur le problème du mariage des enfants qui est une pratique très répandue dans le district.

Sarita, l’un des personnages, est contrainte au mariage à un jeune âge. Le rêve de poursuivre ses études lui est ôté et elle meurt des suites de complication de la grossesse. Par contre, Renuka, une amie de Sarita qui s’était opposée à son mariage, achève ses études et va même jusqu’à devenir infirmière.

« Ma fille ne me le pardonnera jamais », se fond plus tard en excuse le père de Sarita auprès de Renuka dont il avait rejeté la proposition d’attendre encore quelques années.

Manauda Ka Kura reçoit de nombreux avis et commentaires de la part de ses auditeurs, quelques-uns contiennent des excuses, mais la majorité d’entre eux sont élogieux pour les efforts de l’émission. Selon Bidhutma Auji, le producteur de l’émission à Radio Ramaroshan, les lettres et les SMS qu’ils reçoivent les motivent à continuer l’émission et les aident aussi à vérifier son impact.

La lettre suivante reçue par l’équipe de production de l’émission après un épisode sur le mariage des enfants illustre assez bien l’efficacité de Manauda Ka Kura. Une jeune fille de 16 ans écrit :

Mes parents qui sont très conservateurs m’obligeaient à me marier. Mais un jour, pendant que j’écoutais l’émission, les présentateurs parlaient des dangers du mariage des enfants. J’ai demandé à mes parents d’écouter l’émission avec moi et, après avoir écouté, ils se sont rendu compte des réalités du mariage des enfants pour la première fois. Ils ont alors décidé de ne plus m’obliger à me marier. L’émission en langue locale n’a pas seulement contribué à les sensibiliser, mais elle leur a aussi permis de mieux me comprendre.

Selon Auji, leur émission en langue acchameli a permis d’accroître les contacts et le niveau d’interaction avec les membres de la communauté. Elle a également facilité la dissémination de l’information sur les sujets les plus importants, qui plus est dans leur langue maternelle.

« Lorsque l’émission est diffusée en langue locale, les auditeurs ont le sentiment que c’est quelqu’un qu’ils connaissent et en qui ils ont confiance qui parle de leurs problèmes », a déclaré Auji. « Avec les membres de cette communauté, il est plus facile de communiquer en utilisant des mots et des métaphores en langue locale qu’en Nepali ».

Depuis bientôt trois ans, écouter SSMK et maintenant ses versions locales est devenu une activité courante pour la famille de Sagar Bhandari du village Mangalsen dans le district d’Accham. Chaque semaine, la famille prend place autour du poste de radio pour écouter l’émission.

Avec l’accroissement du taux de pénétration du téléphone mobile (cellulaire) et de l’internet, les jeunes disposent désormais de nouveaux modes d’accès à l’information. Comme le souligne Bhandari, un adolescent âgé de 18 ans, « les adolescents ont beaucoup de problèmes dont ils ne peuvent discuter avec leurs parents. Ceux-ci sont très souvent dissimulés aux parents. Mais, quand les parents écoutent une fiction radiophonique, cela leur permet de mieux comprendre les évènements que vivent leurs enfants ».

Il ressort des statistiques que la radio reste le mode de communication de masse le plus populaire chez les personnes âgées de 15 à 19 ans, et SSMK est l’émission radiophonique la plus écoutée dans cette tranche d’âge. Selon l’enquête nationale démographique et sanitaire de 2011, 58,5 % d’hommes et 49,7 % de femmes de la population interrogée écoutaient régulièrement SSMK.

En plus d’avoir permis de briser le silence entre les deux générations, l’évaluation de SSMK a également montré que les émissions en langues locales servaient également d’outil pour informer les adolescents sur leurs droits, notamment l’âge légal du mariage, l’utilisation des contraceptifs et les chartes sur le travail des enfants. Les émissions ont également permis d’initier des discussions entre les décideurs politiques locaux et les jeunes.

Dans les clubs et les réunions de village animés par les jeunes de la communauté, ces émissions ont permis d’entamer des échanges sur des sujets importants. Comme l’indique Bhandari :

« Dans notre club d’enfants mensuel, nous discutons des questions abordées dans les émissions radiophoniques. L’information n’est pas limitée à l’émission radiophonique enelle-même. Les fictions servent de tremplin. Une fois que les sujets sont présentés, les discussions et les échanges se poursuivent au travail, à l’école et à la maison.

Prem Bahadur Buda, responsable des droits de l’enfant dans le district d’Accham, a aussi souligné l’influence et l’impact des émissions radiophoniques en langues locales, notamment lorsque ces émissions atteignent des régions difficiles d’accès pour les médias traditionnels.

« Lorsqu’une émission est diffusée en langue locale, les auditeurs ont un sentiment d’appropriation – ils pensent que c’est une émission pour eux et par eux. Et ils ont raison ! »

Buda a également ajouté que les émissions en langues locales comme Manauda Ka Kura dans le district d’Acchameli produisent de bons résultats en ce qui concerne les projets réalisés par le gouvernement.

« Nos émissions [gouvernementales] ciblent des groupes spécifiques. Par conséquent, nous ne pouvons pas inclure tout le monde. Toutefois, des émissions comme SSMK sont destinées à tout le monde. Personne n’est exclu lorsqu’il s’agit de l’accès à l’information ».

Des jeunes comme Auji et Mishra pensent que l’éducation et l’accès à l’information constituent la clé pour changer les attitudes sociales. Dans les districts tels que ceux d’Accham et de Dhanusa, les jeunes sont à l’avant-garde de ce changement certes lent, mais significatif; ils aident à attirer l’attention des populations sur les problèmes et à stopper certaines conséquences négatives des pratiques antérieures grâce aux informations reçues en écoutant les émissions radiophoniques.

Des émissions comme Manauda Ka Kura et Sangi Sang Manak Baat se sont révélées particulièrement utiles dans la sensibilisation sur les problèmes propres à la communauté. Ce sont des émissions par la communauté et pour la communauté.

« Cette initiative a permis de renforcer le taux d’audience de SSMK dans plusieurs régions difficiles d’accès », a déclaré Joshi de Equal Access Nepal. « SSMK est en train de se bâtir de très bonnes relations non seulement parce qu’elle est une plateforme au service des populations et inclusive, mais aussi parce qu’elle est une émission qui est à l’écoute de ses auditeurs. »

Yvette Shirinian est chargée de développement commercial chez Equal Access.

Ayush Joshi était administrateur de programme au compte d’Equal Access Nepal.

Auteur du récit : Bibek Bhandari

#EvalStories 8: Listening to the listeners – an #eval story in Nepal.

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

---

Just before dawn Ashish nervously waits for Rama at the village bus stop. As soon as he spots his girlfriend, they cautiously board the bus toward the city planning their future as a couple. But their plans are thwarted when a police officer interrupts their journey and starts interrogating them.

‘We just want to get married,’ Ashish tells the officer. ‘Rama’s parents were forcing her to marry a stranger.’

‘We have done nothing wrong,’ Rama adds. The police officer then intervenes as the teenagers, both 16, request him to let them proceed.

‘It’s a crime,’ he says. ‘You need to be at least 20 years old to get married. Child marriage is a criminal offense – your parents can be prosecuted if they’re forcing you to marry young and you can be prosecuted too if you marry now.’

The legal age for marriage in Nepal is 20 years without parental consent and 18 years with consent.

While Rama and Ashish are fictional characters from a weekly radio drama aired on more than 40 stations across the Himalayan republic, their story paints an accurate picture of the crude reality of child marriage that prevails across the country’s remote villages. Nearly 3 of every 10 girls between 15 and 19 are presently married, and 4 of 10 are married before the age of 18, according to national statistics.

Radio dramas like this one reflect the ethos and pathos of Nepalese society. One programme in particular, a weekly called Saathi Sanga Man Ka Kura (SSMK), which means ‘Chatting with My Best Friend’, has been reaching out to young girls and boys for 15 years. SSMK educates young people about issues that are generally kept quiet in conservative Nepalese society. Started in 2001 with support from the United Nations Children’s Fund (UNICEF) and managed by Equal Access Nepal for the past decade, the 45-minute show has 7.2 million loyal listeners and receives more than 1,200 letters and 2,000 text messages each month.

Narrowing the focus

Before the introduction of the electronic media, street dramas and stage shows were popular throughout Nepal. Mostly mythological and sometimes satirical skits in local dialects emerged as a major form of entertainment in villages.

While this trend might have declined in cities, Ghanshyam Kumar Mishra, a radio producer from Nepal’s southern town of Janakpur in Dhanusa district, says dramas in local languages are still popular and preferred in Nepal’s rural pockets. Most people in these areas are low-income farmers with little educational backgrounds and no source of information other than radio, which is also one of
the cheapest forms of entertainment. Therefore radio dramas, according to Mishra, are one of the best media through which to inform the masses.

In 2013, SSMK conducted an evaluation using the Ethnographic Action Research method to assess and evaluate the listenership trend and impact of its programme on its target audience. Community-based evaluators in Nepal’s rural districts conducted surveys and focus group discussions with community members and stakeholders.

One of the major findings from the evaluation was the need for a local language radio show.

The survey during the evaluation process highlighted the language conflict among SSMK’s listeners; the central version show was not able to fully capture the spirit of local communities. With the central programme produced in Nepali language, listeners in other parts of the country such as Dhanusa where Maithali is widely spoken, sometimes felt disconnected. Also, the issues varied from region to region and a national programme, which addressed topics on a macro level, lacked discourse on community-specific problems. The SSMK team therefore wanted to ensure meaningful participation of youth from across the country by starting local versions of the programme, which would give them a sense of ownership, according to Ayush Joshi, senior programme officer at Equal Access Nepal.

‘It was important to start a local versionto sustain SSMK in the long run,’ Joshi says. ‘The listeners were demanding a programme in a local language.’

To better equip rural youth with the knowledge and skills they need to participate in local and national policy development, SSMK launched local versions of the show in 15 marginalised districts. Equally important, its purpose was to provide necessary knowledge to the young people so that they could control their lives by applying what they learned.

The local programmes are customised according to their listenership with tailor- made content that helps the audience connect with prevailing issues in their communities. In a short span, Mishra says SSMK’s local version has been effective in highlighting issues like child marriage and child labour, both of which are considered socially acceptable in many rural communities. While the local-language radio dramas have played a pivotalrole in educating the public, segments incorporating local authorities and stakeholders have opened up a non-formal communication channel for discussion. It has also helped in holding authorities accountable for these issues.

Raising awareness of child labour

At Radio Mithila in Dhanusa, Sangi Sang Manat Baat became an offshoot of SSMK. It was targeted at the Maithali-speaking people living in the district’s 90 Village Development Committees. A show in Nepali, according to Mishra, simply would not resonate with the locals. A Maithali programme, on the other hand, pulls in listeners primarily interested in the problems that dominate their region.

‘When you’re communicating with people in their own language, the audience feels associated with the show,’ Mishra says. ‘Itis also easier to make them understand the topic. When the programme is strictly in Nepali, they might just think that it is not meant for them.’

In the 26 episodes of SSMK’s local offshoot, the show raised area-specific issues such as child marriage, dowry-related problems, and violence against women.

Mishra says the team also incorporated experts and law enforcement officials from the community to make episodes relevant locally. He says it adds extra credibility and makes the show more trustworthy.

Upon listening to the show on child labour broadcasted in Maithali, Mishra says people have become fairly hesitant in recruiting children. This episode also prompted authorities to at least warn businesses that employed children. ‘It takes time for these practices to end,’ Mishra says. ‘But I’m sure our radio show has started that much-needed conversation. It’s a small revolution of sorts.’

Changing attitudes about women’s issues

SSMK’s evaluators note that local programmes help represent community problems more accurately, and Manauda Ka Kura, SSMK’s local adaptation, is doing just that in the far western district of Accham.

Through radio drama, using an informational and emotional approach, the show has drawn attention toward child marriage, which is highly prevalent in the district.

Sarita, one of the characters, is forcefully married at an early age. She is deprived of her will to study and dies of pregnancy complications. On the other hand, her friend Renuka, who was against Sarita’s wedding, finishes her school and pursues her education to become a nurse.

‘My daughter will never forgive me,’ Sarita’s father later apologises to Renuka for dismissing her idea to at least wait for a few years.

Manauda Ka Kura receives considerable feedback and comments from its listeners, a few apologetic but most applauding
the programme’s efforts. The letters and text messages, according to programme producer Bidhutma Auji at Radio Ramaroshan, motivate them to continue the show and also help them ascertain the show’s impact.

One of the letters the show received after the episode on child marriage summarises the scale of Manauda Ka Kura’s effectiveness. A 16-year old girl writes:

My parents who are very conservative were forcing me to get married. But one day when I was listening to the radio programme, the hosts were talking about the hazards of child marriage. I requested my parents to listen to the show, and after listening they became aware for the first time about the realities of child marriage. They then decided not to force me into marriage. The local language radio show not only helped educate them but also helped them to empathise with me.

Auji says that their show in Acchameli language has increased the engagement and interaction level with the community members. It has also made it easier to disseminate information on topics that matter the most in their native tongue.

‘When the programme is in a local language, listeners feel that someone they know and trust is talking about their issues,’ Auji says. ‘It’s easier to communicate using local words and metaphors that might be difficult to convey in Nepali.’

Connecting youth, the elderly, and policymakers

For almost three years, listening to SSMK and now its local version has become a regular affair for Sagar Bhandari’s family in Accham’s Mangalsen village. Every week, the family sits by the radio set in the living room and listens to the show.

With higher mobile and internet penetration, young people have alternative means of accessing information. Bhandari, 18, says ‘Adolescents have many problems they cannot talk with their parents. These issues are always hidden from the parents. But when their parents to listen to a radio drama, it helps them understand what their children are going through.’

But statistics show that radio is still the popular choice of mass communication for people aged 15–19, and SSMK is the most important radio show in that age group. According to the National Demographic and Health Survey 2011, 58.5% of men and 49.7% women in the surveyed population listen to SSMK regularly.

While the local programmes have broken the silence between the two generations, SSMK’s evaluation also showed that they act as a tool to teach the adolescents about their rights – the legal age of marriage, the use of contraceptives, and charters regarding child labour. The programmes have also helped to initiate discussions between local policymakers and youth.

In village clubs and meetings led by local youth from the community, these episodes help to start conversations on important topics. Bhandari says:

In our monthly Child Club meetings, we discuss the issues raised in the radio show. The information is not limited to the radio show itself. The dramas serve as catalysts. Once the topics are introduced, they are then discussed and shared continuously at the workplace, in schools, and at home.

Prem Bahadur Buda, Accham’s District Child Rights Officer, also stressed the influence and impact of radio shows in the local language, particularly when the shows reaching areas inaccessible by the mainstream media.

‘When the programme is in a local language, people feel a sense of ownership – they think it’s a programme for and by them. And they are right!’

Buda added that local language programmes like Manauda Ka Kura in Acchameli also yield positive results for government-run projects.

‘Our [government] programmes are only targeted at certain groups. So we cannot incorporate everyone. But programmes like SSMK are for everyone. No one is left out when it comes to accessing information.’

Youngsters like Auji and Mishra believe that education and access to information are the keys to changing social attitudes. In districts like Accham and Dhanusa, young people are in the forefront of this slow, yet significant, change – making people aware of the issues and helping prevent some of the negative aspects of past practices through the information they receive through radio programmes.

Shows like Manauda Ka Kura and Sangi Sang Manak Baat have proved relevant in raising community-specific issues. They are programmes by the community and for the community.

‘This has helped grow SSMK’s listener base in many hard-to-reach areas,’ says Joshi from Equal Access Nepal. ‘SSMK is building a strong rapport in rural communities as a people-centric and inclusive media platform that listens to its listeners.’

Yvette Shirinian is the Business Development Officer for EqualAccess.

Ayush Joshi was the Program Officer for EqualAccess Nepal.

Story writer: Bibek Bhandari

#EvalStories 7: If you don’t ask, you won’t see it! The evaluation of a conditional cash transfer programme in Mexico

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

---

If you don’t ask, you won’t see it!

Contemplating the indigenous women of the Sierra Tarahumara, a mountain area in the state of Chihuahua in northern Mexico, evokes bucolic scenes from the time of the Spanish conquest. These communities have maintained themselves for centuries far from cities, clustered in small villages and scattered family groups, cultivating a few seasonal crops and raising chickens, goats, and cattle. Almost all live in poverty, and in many cases they are semi-nomadic.

Access to the Sierra Tarahumara is difficult. Sometimes it takes several days to reach the settlements. It is therefore quite difficult to make contact with them to interview and select candidate families for the Programa de Desarrollo Humano Oportunidades (Human Development Opportunities Programme, hereafter referred to as Oportunidades). But the effort is well worth it because the programme is quite remarkable.

This programme, implemented in Mexico since 1997, aims at nothing less than breaking the seemingly endless cycle of poverty that typifies many rural communities. It does so by using a conditional cash transfer (CCT) approach, where families are provided with payments that are conditional upon undertaking certain activities, such as ensuring regular attendance of their children in school or obtaining certain health services. These incentives assist in the achievement of higher standards of education, health, and nutrition, and also provide necessary support to the people of the Sierra Tarahumara to undertake economic activities that enable them to increase their family income and quality of life.

The indigenous communities were among the intended beneficiaries of the programme since its inception, and they also participated in their evaluations from 1999 to 2006. But although these evaluations confirmed that indigenous people were effectively participating in the programme, it was unclear if they were achieving the stated objectives in terms of health, education, and ultimately, economic performance. According to Mercedes Gonzalez de la Rocha, anthropologist and head of the qualitative impact evaluation of Oportunidades, the absence of a clear focus on indigenous communities had left a blind spot in the programme’s knowledge base. Or as she puts it, If you don’t ask, you won’t see it!

This statement constituted a starting point for raising the influence of an ethnicity variable in the new qualitative evaluation to be conducted in 2008. By then, the programme had a decade of experience in implementation in Mexico, which allowed for a thorough evaluation. Evaluators designed a strategy for field work comprising 11 indigenous intercultural regions in the states of Chiapas, Chihuahua, Oaxaca, and Sonora. In each location, the programme’s coverage and operations were analysed. The evaluation identified the main obstacles to programme implementation with particular attention to the relationship between the extensionists (promotores) and the women representing the indigenous communities, the vocales.

What they found was quite unexpected: there were serious communication problems with language. Virtually none of the promotores and only a few of the vocales were bilingual. Although the programme had been operating since 1997 with more impact in indigenous areas than in non-indigenous areas (as had been documented by previous evaluations), the important problem of communication had not been sufficiently addressed. For instance, the evaluation found that young indigenous women – most of whom were bilingual, although their Spanish was often limited – did not accurately understand the Oportunidades employees and the technical information they provided. This situation was exacerbated in the case of elderly women, who spoke no Spanish at all. The promotores assigned to the region did their best to overcome the language barrier, but the results were unsatisfactory.

In some areas, the majority of indigenous women did not understand what the programme was for. They couldn’t understand what good it did to spend hours listening to medical specialists who spoke about issues they could barely comprehend. Sometimes the information that was being communicated conflicted with their traditional customs. For example, when indigenous women participated in training on the importance of a physical examination for possible breast cancer, it was clear that the idea of a stranger touching them in their private parts made them very uncomfortable. These women do not even undress in front of their husbands! Thus, a practice intended to save their lives was totally unacceptable for cultural reasons.

The evaluation found that although the programme’s coverage had improved in some indigenous areas, in the Sierra Tarahumara, a whopping 30% of the population remained outside the programme. It was clear that the lack of access to health services and education was brought about by the problem of monolingual families who could not benefit from the written and oral information conveyed by Oportunidades staff members to the women.

It was urgent to take measures to solve this serious problem, and Oportunidades did just that. The qualitative evaluation suggested that bilingual promotores be recruited from indigenous youth alumni so as to contribute to better communications and smoother operations in indigenous communities. This arrangement also led to a further positive impact by providing jobs and wages to the young in their own living space, allowing them to share the learning they had acquired right there in their own communities.

The then general coordinator of Oportunidades, Dr Salvador Escobedo, recalls:

We managed to make the change in rules of operation to include bilingual extensionists, and that was the first step. Then in parallel we ran a training programme with the National Institute of Indigenous Languages (INALI) in order to generate a mechanism to evaluate the indigenous youths we wanted to hire as extensionists who speak an indigenous language. We have sought to work with the 13 most spoken languages such as Tzotzil, Maya, and Totonac.

To do this, INALI began training a group of 15 young men and women with diplomas as trainers of social programmes in indigenous languages. They were the first to reach the remotest areas of the country to carry the voice of the programme to where it was most needed. Says Escobedo, ‘The project trained 350 promotores in order to achieve almost total coverage of the monolingual indigenous populations in Yucatan, Oaxaca, Chiapas, Jalisco, and the Sierra Tarahumara. By the time I left the programme, we had trained a total of 250 extensionists, and awaited evaluation on the success of this implementation.’

The process of bringing bilingual promotores into the programme unfolded steadily over the next 2 years. As their understanding increased about the importance of sending their children to school, feeding them properly, and learning how to use resources, indigenous women became increasingly willing to participate and interact with the promotores and with each other. In some areas they even formed groups for early child education. The role played by the qualitative evaluation with its remit to address the marginalisation caused by monolingualism was key to this transformation.

Another important aspect that was pointed out by the qualitative evaluation of 2008 concerned the inefficient (and even absurd) survey of each household to assess whether or not it was eligible for the programme. In the case of the communities of the Sierra Tarahumara, this was redundant because every household was unquestionably poor – not to mention the difficulty and cost of getting there just to conduct the survey.

Escobedo, who understood the realities of indigenous communities in Mexico, supported the proposals arising from the qualitative evaluation that were eventually endorsed by the president.

The first step was to convince Oportunidades collaborators such as government officials and international organisations like the Inter-American Development Bank and the World Bank of the need to change the rules for coverage in isolated areas. That involved a major challenge for the programme managers because, beyond being convinced of the real value of this recommendation, they needed to effect those changes without appearing to refute the spirit of Oportunidades, which was historically focused on the poor while requiring certain conditionalities of the beneficiaries such as health checks and school attendance.

In late 2011 and early 2012, a severe drought hit the Sierra Tarahumara. Rumours were rife about indigenous people committing suicide for lack of food, although these were subsequently found to be false. Dr Iliana Yaschine, former director of evaluation of the programme from 2002 to 2006, coordinated a study documenting the work of Oportunidades in the Sierra Tarahumara during the drought crisis, recalls:

That report was published in a Chihuahua newspaper and generated an immediate response from the federal government, which decided to intervene in various regions with the Secretary of Social Development. It was then that they communicated the decision that Oportunidades should intervene to solve the problem precisely in the area of the Sierra Tarahumara.

The important mobilisation and attention to the area made it possible to detect 8,000 families (40,000 indigenous people) who had been dropped from the programme because they had not fulfilled such co-responsibilities as sending children to school or attending health talks. The figure was worrisome, and returning these people to the programme would be difficult, if not impossible, given the rules of operation. Reaffirming this contention, Escobedo asserted:

The World Bank and Inter-American Development Bank opposed eliminating the requirement of the co-responsibilities in these areas, in part because they would undermine the programme, thus generating a new programme. That´s the reason why it could not be done overnight. It is sad and painful, but very real.

However, given the magnitude of the problem in the context of the severe drought affecting indigenous people in the Sierra Tarahumara, the situation was resolved after the intervention of the President Felipe Calderón himself, who ordered the immediate reinstatement of 8,000 families.

This was accomplished by integrating the reinstatement to the Food Support Program, a transfer programme that did not require the fulfillment of co-responsibilities that was also operated by Oportunidades. The indigenous promotores brought the good news to their communities, while a renewed training of bilingual extensionists was encouraged to address immediately the indigenous families.

In addition, the rules of the Oportunidades programme were changed to implement the strategy of full coverage (as it had been recommended by the qualitative evaluation). This allowed incorporating families into the programme from small and distant locations without undertaking a home survey. This change helped broaden the programme’s coverage and, in addition to the reincorporation of the families mentioned above, it made serving the entire indigenous population of the Sierra Tarahumara possible.

According to Yaschine:

Without the qualitative evaluation, it would have been impossible to make that change, even with the drought crisis. That is my perception. I observed the implementation of this decision in the field at a time of crisis. Special efforts were made to deploy support for the affected families, not at the household level but in the care centres where groceries were delivered. I remember what the qualitative evaluation said on this subject, and how that had prompted the changes during the crisis.

The findings and recommendations of the qualitative evaluation in the indigenous communities provided crucial information for decision making. Managers made changes that impacted the participants of the programme directly. In the case of the bilingual promotores, the evaluation noted a dimension of cultural adaptation that had been neglected in the original design of the programme, and once it was incorporated the benefits were obvious. As for the evaluation’s strategy of full coverage in the Sierra Tarahumara, the onset of drought favoured the implementation of a recommendation for the best care of indigenous communities.

The history of the qualitative evaluation shows the relevance of cultural sensitivity to the evaluation of social projects. In the words of Gonzalez de la Rocha:

If you don’t ask, you won’t see it!

———————

Co-authors Mercedes González de la Rocha and Agustín Escobar Latapí directed the qualitative external evaluation of the programme and made the recommendations that led to improvements in beneficiaries’ lives.

Iliana Yaschine was Director of Evalua on in the programme from 2002 to 2006.

Pablo Rodríguez-Bilella and Omar Zevallos helped shape the story.

Salvador Escobedo (Program Director at the time) provided helpful insight.

Photographs were taken by Agustín Escobar Latapí and Iliana Yaschine.

Note that the programme was originally called Progresa, then Oportunidades (the name in use when this story took place), then Prospera, the present name.

Website of the University of Texas that concentrates information on external evaluations of the Oportunidades programme.

Oportunidades / Progresa official website, with plenty of general information on it.

#EvalStories 7: Si vous ne posez pas de questions, vous n’aurez pas de réponses ! (Mexico)

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

---

Si vous ne posez pas de questions, vous n’aurez pas de réponses !

Contempler les femmes autochtones de la Sierra Tarahumara, une région montagneuse de l’état de Chihuahua dans le nord du Mexique, évoque des scènes bucoliques qui rappellent l’époque de la conquête espagnole. Ces communautés sont restées pendant des siècles loin des villes, regroupées en petits villages et en groupes familiaux dispersés, avec pour principale occupation la culture de produits saisonniers et l’élevage de poulets, de chèvres et de bovins. Presque tous les habitants de ces communautés vivent dans la pauvreté, et les populations sont pour la plupart semi-nomades.

L’accès à la Sierra Tarahumara est difficile. Parfois, il faut plusieurs jours pour atteindre les colonies. Il est donc assez difficile de prendre contact avec eux pour les interroger et sélectionner les familles pouvant participer au Programa de Desarrollo Humano Oportunidades (Programme des possibilités de développement humain, ci-après dénommé Oportunidades). Mais l’effort en vaut la peine parce que le programme est tout à fait remarquable.

Mis en œuvre au Mexique depuis 1997, ce programme a pour seul objectif de briser le cycle de pauvreté apparemment interminable qui caractérise de nombreuses communautés rurales. Il se déploie grâce à une approche de transferts conditionnels en espèces (TCE) qui consiste à octroyer des paiements à des familles à condition qu’elles s’acquittent de certaines obligations, notamment la scolarisation des enfants ou l’utilisation de certains services de santé. Ces incitations permettent d’atteindre des normes plus élevées en matière d’éducation, de santé et de nutrition. Elles fournissent également au peuple de la Sierra Tarahumara le soutien dont il a besoin pour entreprendre des activités économiques susceptibles d’accroître leur revenu familial et d’améliorer leur qualité de vie.

Les communautés autochtones sont restées les principaux bénéficiaires du programme depuis sont lancement ; elles ont également participé aux différentes évaluations du programme de 1999 à 2006. Cependant, même si ces évaluations ont confirmé que les populations autochtones participaient effectivement au programme, il était néanmoins difficile de savoir si elles parvenaient à atteindre les objectifs fixés en matière de santé, d’éducation et de performance économique. Selon Mercedes Gonzalez de la Rocha, anthropologue et responsable de l’évaluation de l’impact qualitatif du programme Oportunidades, l’absence d’une orientation claire sur les communautés autochtones a créé un angle mort dans la base de données du programme. Comme elle le dit si bien,si vous ne posez pas de questions, vous n’aurez pas de réponses !

Cette déclaration a constitué un point de départ pour prendre en compte l’influence d’une variable ethnique dans la nouvelle évaluation qualitative devant être réalisée en 2008. À ce moment-là, le programme s’appuyait sur une décennie d’expérience dans sa mise en œuvre au Mexique, ce qui a permis une évaluation approfondie. Les évaluateurs ont conçu une stratégie pour le travail de terrain comprenant 11 régions autochtones interculturelles dans les États de Chiapas, Chihuahua, Oaxaca et Sonora. La couverture et les opérations du programme ont été analysées dans chaque localité. L’évaluation a identifié les principaux obstacles à l’exécution du programme en portant une attention particulière à la relation entre les vulgarisateurs (les promotores) et les femmes représentant les communautés autochtones (les vocales).

Ce qu’ils ont découvert était tout à fait inattendu : il y avait de graves problèmes de communication liés à la langue. À l’exception de quelques vocales, presque tous les promotores n’étaient pas bilingues. Bien que l’exécution du programme soit en cours depuis 1997, notamment avec plus d’impact dans les régions autochtones que dans les zones non indigènes (comme cela avait été documenté par les évaluations précédentes), le problème important de la communication n’a pas été suffisamment abordé. Par exemple, l’évaluation a révélé que les jeunes femmes autochtones – dont la plupart étaient bilingues, bien que leur connaissance de l’espagnol fût souvent limitée – ne comprenaient pas exactement les employés du programme Oportunidades, ainsi que les informations techniques qu’ils fournissaient. Cette situation a été exacerbée dans le cas des femmes âgées qui ne s’exprimaient pas du tout en espagnol. Les promotores affectés à la région ont fait de leur mieux pour surmonter la barrière linguistique, mais les résultats étaient loin d’être satisfaisants.

Dans certaines régions, la majorité des femmes autochtones ne comprenait pas le but du programme. Elles se demandaient bien à quoi cela pouvait servir de passer des heures à écouter des médecins spécialistes qui parlaient des sujets qu’elles avaient de la peine à comprendre. Parfois, les informations qui étaient communiquées entraient en conflit avec leurs coutumes. Par exemple, lorsque les femmes autochtones participaient à une formation sur l’importance d’un examen physique pour le dépistage du cancer du sein, il était clair que l’idée qu’un étranger touche leurs parties intimes les mettait très mal à l’aise. Même devant leurs maris, ces femmes n’osent pas se déshabiller ! Ainsi, une pratique destinée à sauver leur vie était totalement inacceptable pour des raisons culturelles.
L’évaluation a révélé que, bien que la couverture du programme se fût améliorée dans certaines régions indigènes de la Sierra Tarahumara, 30 % de la population était restée en dehors du programme. Il était évident que les difficultés d’accès aux services de santé et à l’éducation étaient liées au problème des familles monolingues qui ne pouvaient pas tirer profit des informations écrites et orales transmises aux femmes par le personnel du programme Oportunidades.

Il était urgent de prendre des mesures pour résoudre ce grave problème, et Oportunidades n’a fait que cela. L’évaluation qualitative a suggéré que les promotores bilingues soient recrutés parmi les anciens élèves autochtones afin de contribuer à l’amélioration des communications et à faciliter les opérations au sein des communautés autochtones. Cette décision a par ailleurs eu une incidence positive sur la vie des jeunes en leur fournissant des emplois et des salaires dans leur propre espace de vie, leur permettant ainsi de partager les connaissances qu’ils avaient acquises avec les autres membres de leurs communautés.

À cet effet, le Dr Salvador Escobedo, à l’époque coordinateur général du programme Oportunidades, affirme :

Nous avions réussi à changer les règles de fonctionnement pour inclure les vulgarisateurs bilingues, et ce n’était que la première étape. En parallèle, nous exécutions un programme de formation avec l’Institut national des langues autochtones (INALI) afin de mettre sur pied un mécanisme permettant d’évaluer les jeunes autochtones que nous voulions embaucher comme vulgarisateurs s’exprimant en une langue autochtone. Nous nous sommes efforcés de travailler avec les 13 langues les plus parlées tels que le Tzotzil, le Maya et le Totonaque.

Pour ce faire, l’INALI a commencé à former un groupe de 15 jeunes hommes et femmes diplômés en tant que formateurs de programmes sociaux dans les langues autochtones. Ils furent les premiers à atteindre les zones les plus reculées du pays pour porter la voix du programme aux endroits où elle devait être le plus écoutée. Selon Escobedo, « Le projet a formé 350 promotores afin de parvenir à une couverture presque totale des populations autochtones monolingues de Yucatan, d’Oaxaca, de Chiapas, de Jalisco, et de la Sierra Tarahumara. Au moment où je quittais le programme, nous avions formé un total de 250 vulgarisateurs, et attendions une évaluation du succès de cette mise en œuvre ».

L’intégration des promotores bilingues dans le programme s’est déployée de façon constante sur les 2 années qui suivaient. À mesure qu’elles comprenaient davantage la nécessité d’envoyer leurs enfants à l’école, de les nourrir correctement, et d’apprendre à utiliser les ressources, les femmes autochtones sont devenues de plus en plus disposées à participer et à échanger non seulement avec les promotores, mais aussi entre elles. Dans certaines régions, elles sont allées jusqu’à former des groupes dédiés à l’éducation de la petite enfance. Le rôle joué par l’évaluation qualitative dans le cadre de la lutte contre la marginalisation causée par le monolinguisme est la clé de cette transformation.
Un autre aspect important qui a été souligné par l’évaluation qualitative de l’année 2008 concerne l’enquête inefficace (et même absurde) menée sur chaque ménage pour déterminer l’éligibilité au programme. Dans le cas des communautés de la Sierra Tarahumara, cela était superflu, car chaque ménage était incontestablement pauvre – sans parler des difficultés et des coûts liés à la réalisation de l’enquête.

Escobedo, qui comprenait les réalités des communautés autochtones du Mexique, a appuyé les propositions découlant de l’évaluation qualitative qui ont finalement été approuvées par le président.

La première étape consistait à convaincre les collaborateurs du programme Oportunidades – tels que les représentants du gouvernement et les organisations internationales comme la Banque interaméricaine de développement et la Banque mondiale – de la nécessité de changer les règles de couverture dans les zones isolées. Cela représentait un défi majeur pour les responsables du programme, car, au-delà d’être convaincu de la valeur réelle de cette recommandation, ils avaient besoin d’effectuer ces changements sans toutefois donner l’impression de rejeter l’esprit du programme Oportunidades, qui était historiquement axé sur les pauvres tout en posant des conditions aux bénéficiaires telles que les contrôles de santé et la scolarisation.

Fin 2011 et début 2012, une grave sécheresse frappa la Sierra Tarahumara. Les rumeurs allaient bon train sur les populations autochtones qui se suicidaient à cause du manque de nourriture, bien que cela se soit révélé faux par la suite. Le Dr Iliana Yaschine, ancien directeur de l’évaluation du programme de 2002 à 2006, et coordonnateur d’une étude documentant les activités du programme Oportunidades dans la Sierra Tarahumara au cours de la crise de la sécheresse, affirme à ce propos :

Ce rapport a été publié dans un journal de Chihuahua et a permis d’obtenir une réponse immédiate du gouvernement fédéral, qui a décidé d’intervenir dans différentes régions, sous la houlette du Secrétaire du Développement social. C’est alors qu’ils communiquèrent la décision selon laquelle le programme Oportunidades devait intervenir pour résoudre le problème précisément dans la région de la Sierra Tarahumara.

L’importante mobilisation et l’attention portée à la zone ont permis de détecter 8 000 familles (40 000 personnes indigènes) qui ont été exclues du programme parce qu’elles n’avaient pas rempli les obligations telles que la scolarisation des enfants ou la participation aux discussions sur la santé. Les chiffres étaient alarmants, et la réintégration de ces personnes dans le programme était difficile, voire impossible, compte tenu des règles de fonctionnement. Réaffirmant cette assertion, Escobedo déclara :

La Banque mondiale et la Banque interaméricaine de développement se sont opposées à l’élimination de l’exigence des co-responsabilités dans ces zones, en partie parce cela compromettrait la réalisation du programme, créant ainsi un nouveau programme. C’est la raison pour laquelle cela ne pouvait pas se faire du jour au lendemain. C’est triste et douloureux, mais c’est la réalité.

Cependant, étant donné l’ampleur du problème dans le contexte de la grave sécheresse qui touchait les populations autochtones de la Sierra Tarahumara, la situation a été résolue après l’intervention du Président Felipe Calderón lui-même, qui a ordonné la réintégration immédiate de 8 000 familles.

Pour ce faire, il a fallu rétablir le Programme de soutien alimentaire, un programme de transfert qui ne nécessitait pas le respect des exigences liées aux co-responsabilités comme c’était le cas avec le programme Oportunidades. Les promotores autochtones annoncèrent la bonne nouvelle à leurs communautés, tandis que la formation renouvelée de vulgarisateurs bilingues fut encouragée pour répondre immédiatement aux besoins des familles autochtones.

En outre, les règles du programme Oportunidades furent modifiées pour mettre en œuvre la stratégie de couverture complète (comme cela avait été recommandé par l’évaluation qualitative). Cela a permis d’intégrer des familles issues des localités de petite taille ou éloignées dans le programme, sans qu’une enquête des ménages ne soit menée. Ce changement a permis d’élargir la couverture du programme et, en plus de la réintégration des familles mentionnées ci-dessus, cela a permis de desservir l’ensemble de la population indigène de la Sierra Tarahumara.

Selon Yaschine :

Sans l’évaluation qualitative , il aurait été impossible de faire ce changement, même avec la crise de la sécheresse. Telle est ma perception. J’ai observé la mise en œuvre de cette décision sur le terrain en temps de crise. Des efforts particuliers ont été faits pour déployer un soutien aux familles touchées, non pas au niveau des ménages, mais dans les centres de soins où les produits étaient livrés. Je me souviens de ce que l’évaluation qualitative avait dit à ce sujet, et comment cela avait incité les changements pendant la crise.

Les conclusions et recommandations de l’évaluation qualitative dans les communautés autochtones avaient fourni des informations cruciales pour la prise de décision. Les responsables ont apporté des changements qui ont eu un impact direct sur les participants du programme. Pour ce qui est des promotores bilingues, l’évaluation a remarqué une dimension d’adaptation culturelle qui avait été négligée dans la conception initiale du programme, et une fois qu’elle a été incorporée, les avantages étaient évidents. S’agissant de la stratégie de l’évaluation consistant en une couverture complète de la Sierra Tarahumara, le début de la sécheresse a favorisé la mise en œuvre d’une recommandation pour une meilleure prise en charge des communautés.

L’histoire de l’évaluation qualitative montre la pertinence de la sensibilité culturelle dans l’évaluation des projets sociaux. Comme l’affirme Gonzalez de la Rocha :

Si vous ne posez pas de questions, vous n’aurez pas de réponses !

————-

Co-auteurs : Mercedes González de la Rocha et Agustín Escobar Latapí étaient à la tête de l’évalua on qualitative externe du programme et ont formulé des recommanda ons qui ont entraîné des changements dans la vie des béné ciaires.

Iliana Yaschine était la directrice de l’évaluation du programme de 2002 à 2006.

Pablo Rodríguez-bilella et Omar Zevallos ont contribué à l’élaboration du récit.

Salvador Escobedo (Directeur du programme à l’époque) a fourni des informa ons précieuses.

Les photos ont été prises par Agustín escobar latapí et Iliana Yaschine.

Il faut noter que le programme était initialement appelé Progresa, puis Oportunidades (l’appella on utilisée au moment de ce récit), et Prospera, l’appella on actuelle.

Site officiel du programme

Site Web de l’Université du Texas qui concentre des informations sur les évaluations externes du programme Oportunidades.

#EvalStories 6: La puissance des données communautaires (une communauté des Premières Nations du Nord du Manitoba, Canada)

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

---

Emily Chesne, une infirmière de santé publique de Changing River, ne veut pas s’attribuer le mérite des améliorations observées dans les services de santé prénatale dans sa communauté, bien qu’elle ait largement contribué à leur mise en œuvre. Pendant des années, les femmes autochtones étaient contraintes de parcourir de longues distances pour effectuer des examens prénatals. En plus, la tenue des documents relatifs aux soins de santé était bien loin des normes en la matière. Mais grâce à un projet pilote baptisé Garanties sur les délais d’attente pour les patients, et grâce à des personnes telles que Chesne qui prennent leur travail au sérieux, la situation a complètement changé pour le mieux.

Chesne, bien qu’elle se réjouisse de la réussite de son équipe dans la transformation des services de santé prénatale de sa communauté à travers le projet, minimise tout de même son rôle en tant qu’agent du changement. Elle considère sa participation à la collecte de données, au développement des outils,et aux activités d’élaboration des processus — toutes des composantes clés de l’initiative — comme faisant tout simplement partie de son travail qui est non seulement exigeant, mais la tient aussi très occupée. « Je suis une infirmière de santé communautaire » déclare-t-elle, « et ma détermination remonte à ma formation en soins infirmiers – chaque projet entamé doit être mené à son terme ».

Chesne a été accompagnée dans cette initiative révolutionnaire par un bon nombre de partenaires, notamment des collègues, des cadres de direction, des responsables communautaires et des chercheurs de Santé Canada. Les chercheurs étaient chargés de la coordination et de l’évaluation d’un ensemble de 19 études pilotes menées dans les communautés autochtones du Canada.

L’équipe de recherche comprenait le chef de projet, Judy Watson, un vétéran de la recherche et des programmes gouvernementaux en matière de santé qui est au service de Santé Canada depuis 30 ans,  Samir Khan, un chercheur en chef et principal point de contact de Chesne  et Stephanie Potter du Groupe Whetstone, évaluatrice principale du programme.

Grâce à la collaboration synergique avec ces chercheurs, Chesne et ses collègues, ainsi que les infirmières d’autres communautés autochtones participantes, ont pu utiliser les données recueillies dans le cadre de l’initiative pour rendre les services de santé plus accessibles et plus efficaces. Ces données étaient importantes . Chesne savait que si ses collaborateurs et elle entraient en possession d’informations de première main, ils pourraient ensemble offrir de meilleurs services pour la clientèle prénatale.

Les besoins de Changing River en matière de soins de santé maternelle et infantile sont pressants. D’une part, la population de la communauté est non seulement très jeune, avec un âge médian de seulement 21 ans, mais elle connaît également une croissance rapide. D’autre part, l’accès aux traitements est un problème majeur parce que la communauté est située à 3 heures du centre urbain le plus proche.

L’initiative, notamment sa forte composante d’évaluation, a permis de tirer des leçons qui allaient tout changer dans le quotidien des femmes enceintes de Changing River. Grâce à l’évaluation,Chesne et ses collaborateurs ont appris que l’absence des données s’expliquait par le fait que les femmes n’effectuaient pas les visites prénatales du troisième trimestre.

Et ce n’était pas difficile de comprendre pourquoi. Auparavant, les femmes se rendaient dans un hôpital situé à 45 kilomètres pour les consultations prénatales et l’accouchement. Toutefois, il y a quelque temps, cet hôpital n’a pas renouvelé sa licence pour la pratique des accouchements. Par conséquent, toutes les consultations du troisième trimestre et tous les accouchements étaient confiés à un hôpital situé à près de 80 km, soit presque le double de la distance.

Chesne savait que de nombreuses mères de la région étaient jeunes, pauvres et visiblement mal à l’aise dans des environnements peu familiers. Elle soupçonnait que ces circonstances réunies rendaient trop périlleuse la longue marche de 90 minutes vers l’hôpital. « Notre communauté compte beaucoup de jeunes mères. Elles sont timides et ne se sentent pas à l’aise en présence de professionnels ou de médecins. »

Mais jusqu’à ce que la collecte de données ne commence, l’équipe de santé communautaire n’avait aucun moyen de savoir si les femmes prenaient effectivement part aux consultations une fois transférées au plus grand hôpital. Grâce à leur participation à l’évaluation, les membres de l’équipe ont découvert que beaucoup de mères à risque se présentaient à l’accouchement sans avoir fait des consultations prénatales depuis plusieurs mois.

Faire usage des données à portée de main

Après avoir rassemblé toutes les données nécessaires, l’équipe a pris des mesures immédiates en mettant en œuvre des consultations médicales sur place pour les patientes nécessitant des soins prénatals. Chesne explique : « Nous avons entamé les négociations pour que l’un des médecins de l’hôpital obstétrique vienne à notre clinique. Avoir un médecin sur place est une expérience qui a plutôt bien marché. Cela a contribué à la collecte de données ».

L’amélioration des taux de visites prénatales au troisième trimestre a permis d’identifier plus de lacunes en ce qui concerne la prise en charge et les risques de santé encore inconnus chez les patientes. Un meilleur accès aux dossiers du médecin a permis à l’équipe de se rendre compte que de nombreuses patientes n’effectuaient pas d’analyse de sang, notamment le test de tolérance au glucose permettant de dépister le diabète gestationnel. « Nous essayons de mieux éduquer nos patientes en leur indiquant le type de tests dont elles ont besoin et pourquoi ils sont nécessaires », affirme Chesne.

L’amélioration de la conformité avec les tests a également permis de découvrir que les taux de diabète gestationnel étaient beaucoup plus élevés au sein de la communauté que personne ne l’aurait imaginé. Il s’agit là d’un problème de santé majeur qui, selon Chesne, pourrait avoir des répercussions à long terme. En rendant l’accès à un diagnostic précoce plus facile, on pourrait mieux identifier ces problèmes et y apporter des solutions.

L’équipe a continué d’exploiter les données de l’initiative afin d’entreprendre une refonte de la prise en charge sanitaire prénatale et postnatale dans la communauté, pavant ainsi la voie vers un avenir plus sain. Pour la première fois, les clientes étaient au centre des préoccupations de la clinique. Selon Chesne, « Désormais, les mères viennent et apprennent à effectuer leurs propres tests prénatals. Notre médecin organise des rencontres de groupe avec les clientes ainsi que des séances individuelles ».

« Nous avons appris que les choses ne se passaient pas tel que nous l’avions pensé. Grâce à ce projet, nous avons apporté des changements », renchérit-elle.

L’initiative a eu un effet immédiat et substantiel sur la vie des populations parce que sa coordination, assurée notamment par Watson, s’est axée principalement sur l’engagement communautaire. Les agents de santé de première ligne comme Chesne ont activement participé à l’évaluation, notamment en facilitant l’appropriation communautaire des données et en apportant les changements nécessaires. Une fois que ces changements ont été faits, la plupart des femmes de Changing River qui présentaient des risques de complication liés à la grossesse ont pu avoir accès aux diagnostics et aux traitements.

La communauté de Chesne n’était pas la seule à tirer profit des données de l’initiative. Watson se souvient d’une réunion tenue en 2009 avec les infirmières d’une communauté du Manitoba encore plus reculée et disposant de moins de ressources que la clinique de Changing River où travaille Chesne. À cette époque-là, la grippe porcine faisait des ravages et accablait la communauté. Watson se demandait si les infirmières auraient le temps ou la motivation pour poursuivre l’évaluation. Mais ses craintes se sont dissipées lorsque toutes les infirmières se sont présentées à la réunion.

Watson en fut émue : « Deux infirmières avaient leurs dossiers d’étude sous les bras – elles n’avaient même pas de porte-documents. L’une d’elles avait perdu un membre de sa famille, mais elles ont maintenu les dossiers d’étude en ordre en dépit des difficultés rencontrées. Elles tenaient absolument à garder le cap non seulement pour elles-mêmes, mais aussi pour nous et pour la communauté tout entière. C’est là toute l’importance que revêt la communauté pour elles– faire partie de cette équipe d’évaluation était quelque de chose de capital pour elles. Potter se souvient d’une autre communauté où les infirmières étaient capables d’utiliser ces données pour provoquer un changement. Elle était impressionnée par les changements effectués par un groupe d’infirmières au cours de l’évaluation. Au début, Potter les trouvait inquiets, comme si les choses s’étaient mal passées durant les recherches antérieures.

Toutefois, à la fin de l’initiative, les agents de santé ont démontré à Potter que même les personnes n’ayant pas une grande expérience en matière de recherche pouvaient faire en sorte que leurs communautés tirent le meilleur parti des données auxquelles elles avaient accès. Elle explique :

Elles n’avaient pas de bases de données informatiques, mais uniquement des morceaux de papier. À la fin du projet toutefois, elles avaient donné du sens à ces bouts de papier. Je n’oublierai jamais ce qu’elles ont dit à la fin : C’est bien les données. C’est ce qu’elles avaient appris. Elles pouvaient observer les tendances et faire des changements dans leurs communautés, sans avoir recours à des statistiques sophistiquées.

Autonomisation de la communauté à travers la collaboration des parties prenantes

À chaque niveau de participation, les parties prenantes décrivent l’Initiative sur les délais d’attente pour les patients comme un exemple particulièrement saisissant de programme communautaire financé par le gouvernement pour permettre aux agents de santé d’opérer des changements. Mais en quoi cette initiative est-elle différente des autres ?

Habituellement, les recherches en matière de santé dans les communautés autochtones sont caractérisées par une approche en cascade. Khan explique que de telles recherches sont généralement menées par des scientifiques extérieurs à la communauté. On demande rarement l’avis de la communauté. Selon Potter, « la dynamique historique entre le gouvernement fédéral et les communautés de Premières Nations n’a pas été positive. Il s’agit là du contexte général dans lequel tous ces travaux se déroulent, et c’est un fait indéniable. »

Toutefois, ce projet a favorisé un véritable esprit de collaboration. Selon Khan, « il est généralement difficile de réunir des personnes de différents secteurs autour d’une même table. Mais ce n’était pas le cas pour ce projet. » Watson partage cet avis. Pour elle, Santé Canada et son associé dans la coordination du projet, l’Assemblée des Premières Nations, sont restés de véritables partenaires depuis le début du projet jusqu’à sa fin. Watson et Khan conviennent qu’on peut en dire autant de l’équipe d’évaluation, soulignant qu’avec Potter et ses collaborateurs, elles ont pu établir un partenariat efficace, en s’appuyant sur leur expertise mutuelle pour s’échanger des informations. Pour Potter, cette initiative représente sa « pierre de touche ». En effet, elle a façonné son approche personnelle de l’évaluation en observant les travaux de Watson dans la mise en œuvre de la mission de Santé Canada qui consiste en l’autonomisation de la communauté , ainsi que sa volonté de prendre des risques. Potter a trouvé la collaboration avec Watson et son équipe innovante, informative et éducative parce qu’elles étaient « … très à l’aise, sans nécessairement savoir ce qui allait se produire. Elles ont autorisé les évaluateurs à poser les questions et à trouver des réponses. »

Questions et réponses (des deux parties)

Au niveau communautaire, les outils et les procédures de la collecte des données ont été affinés en fonction des résultats de l’évaluation et des avis directs des agents de première ligne. Watson et Khan ont trouvé que les communautés leur parlaient sans complexes pour poser des questions et fairedes suggestions. Selon Khan, ce feed-back était vital pour le succès de l’initiative : « Nous obtenions des données au fur et à mesure. Nous essayions de trouver des explications à Ottawa, mais avions la possibilité de poser les questions directement aux fournisseurs de données. Nous pouvions travailler ensemble pour trouver des réponses beaucoup plus rapidement et facilement. Nous obtenions des explications auprès des personnes qui avaient les réponses. »

Selon Khan, le plus important encore avec cette méthodologie est qu’elle a permis de démontrer comment le fait d’autonomiser les communautés prendre les commandes et de doter les chercheurs des meilleurs moyens possibles pour les soutenir, a révélé tout ce qui peut être réalisé avec les recherches financées par le gouvernement. Les rencontres de groupe en personne effectuées dans le cadre de l’évaluation avec les communautés participantes à la fin de la collecte des données ont été une expérience d’apprentissage particulièrement enrichissante pour Khan.

En plus d’avoir des informations de première main au sujet de leurs difficultés — voyage en hiver, remboursement des frais de voyage, rotation du personnel — il était essentiel pour nous d’obtenir de véritables explications sur les informations que nous recevions. La véritable innovation a été de déterminer comment faire pour que les communautés des Premières nations prennent les commandes, puis de trouver les moyens de les soutenir.

Par ailleurs, les infirmières qui recueillaient les données ont constaté que leur travail a été facilité par le soutien de l’équipe de recherche du programme. Selon Chesne :

Rencontrer et discuter avec les chercheurs, en particulier Khan, était une source d’inspiration qui poussait à s’améliorer. C’était un processus très long qui pouvait s’avérer frustrant. J’allais ensuite à des réunions ou j’assistais à des téléconférences, où on m’expliquait ce qui se passait et où on m’encourageait i à terminer le programme. Il est important de pouvoir bien communiquer pour être en mesure de parler aux personnes qui traitent les données.

Ce soutien reflète l’esprit de collaboration qui a marqué le projet sous la direction de Watson et la facilitation de l’équipe d’évaluation.

Renverser définitivement la tendance

L’évaluation de l’initiative Délais d’attente pour les patients a eu impact durable sur toutes les parties prenantes : les patients, les professionnels de santé communautaire, les chercheurs du gouvernement, et l’équipe d’évaluation. Watson, Khan et Potter conviennent toutes que l’évaluation a affecté la façon dont chaque partie prenante s’engagerait dans des recherches futures avec des communautés à risque.

Khan souligne que les leçons qu’elle a tirées de cette initiative, notamment l’importance d’aider les communautés à s’occuper de leur propre santé, ont contribué à façonner le reste de sa carrière.

Selon Potter, le projet lui a permis de comprendre qu’une évaluation réussie « … consiste à établir des relations et à travailler dans le sens du développement des communautés autochtones  : mené par la communauté, au rythme de la communauté. À qui appartient le projet ? À qui appartiennent les données ? Les personnes touchées doivent être au centre des préoccupations. Ce récit n’appartient pas au gouvernement uniquement ».

L’initiative Délai d’attente pour les patients est la preuve qu’une évaluation peut être un récit au sujet de tous les acteurs qui travaillent ensemble pour apporter des changements positifs dans le quotidien des individus et des communautés, à condition que les chercheurs libèrent la voie et laissent les communautés prendre les commandes.

 

Note: Les événements décrits dans ce récit sont vrais. Toutefois, à la demande des personnes ressources impliquées, les noms de personnes et de lieux ont été modifiés. Il est suffisant de préciser que les événements se sont déroulés dans une communauté des Premières Nations du Nord du Manitoba.

——–

Stephanie Potter, Principale évaluatrice, SP Consulting et Whetstone Group

Samir Khan, ancien Analyste principal de recherche, Santé des Premières nations et des Inuits, Santé Canada

Judy Watson, ancienne Chargée de projet, Santé des Premières nations et des Inuits, Santé Canada

Sara Pederson a réalisé les entretiens et a élaboré le récit de l’évaluation.

#EvalStories 6: The power of community-owned data -a First Nations community in northern Manitoba, Canada.

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

---

Emily Chesne, a public health nurse in Changing River, won’t take credit for the improvements in her community’s prenatal health services that she helped implement.For years, Aboriginal mothers have had to travel long distances for prenatal checkups. And on the health care side, record keeping was far from what it should be. But thanks to a pilot project called Patient Wait Times Guarantee and people like Chesne who take their jobs seriously, the situation has changed dramatically for the better.

While Chesne is satisfied with her team’s success in transforming her community’s prenatal health services through the project, she downplays her role as an agent of change. She views her participation in the data collection, tool development,

and process mapping activities – all key components of the initiative – as simply part of her busy and demanding job. ‘I’m a community health nurse,’ she says, ‘and this goes back to my nursing background – when you start a project you need to finish it.’

Chesne’s partners in this groundbreaking initiative included colleagues, managers, community leaders, and researchers from Health Canada. The researchers were responsible for coordinating and evaluating a total of 19 pilot studies in Aboriginal communities across Canada.

The research team included the project’s leader, Judy Watson, a 30-year veteran of government health programming and research with Health Canada; Samir Khan, a senior researcher and Chesne’s main point of contact; and Stephanie Potter of the Whetstone Group, the programme’s lead evaluator.

Through supportive collaboration with these researchers, Chesne and her colleagues, as well as the nurses in other participating Aboriginal communities, were able to use the data collected as part of the initiative to make health services more accessible and effective. The data were important. Chesne knew that if she and her colleagues could get their hands on first-hand information, they could develop better services for their prenatal clients.

Changing River’s maternal and child health care needs are pressing. For one thing,
the population of the community is very young, with a median age of just 21, and it’s growing quickly. For another, access to treatment is a major issue because the community is located 3 hours from the nearest urban centre.

The initiative – and importantly, its strong evaluation component– led to a realisation that would change the course of everything for the pregnant women of Changing River. Through the evaluation, Chesne and her colleagues learned that the reason data were lacking was because women were not attending their third trimester prenatal appointments.

It was not difficult to understand why. Previously, the women attended prenatal appointments and delivered their babies at a hospital 45 kilometers away. Recently, however, that hospital had not renewed its license to deliver babies. As a result, all third trimester appointments and deliveries were referred to a hospital a full 80 kilometers away – nearly twice as far.

Chesne knew that many local moms were young, impoverished, and uncomfortable in unfamiliar environments. She suspected that these circumstances made the 90-minute trek to the distant hospital too challenging. ‘We have a lot of young moms in our community. They are shy. They don’t feel comfortable with professionals, with doctors.’

But until data collection began, the community health team had no way of knowing if the women were attending their appointments once they were referred to the larger hospital. Through their involvement in the evaluation, they discovered that many at-risk mothers were showing up for delivery without having had prenatal care for several months.

Using the evidence at their fingertips

Armed with the evidence they needed, the team took immediate action by implementing on-site doctor visits for prenatal patients. Chesne: ‘We initiated getting one of the doctors from the delivering hospital to come to our clinic. Having the doctor here worked really well. It helped with gathering data.’

Improving third-trimester prenatal care rates led to the identification of more gaps in care and unrecognised health risks among the patients. Better access to the physician’s files helped the team realise that many prenatal patients were not getting their bloodwork done, including the glucose tolerance test for gestational diabetes. Says Chesne, ‘We’re trying to better educate our prenatals with what tests they need and why.’

Improving compliance with testing also led to the discovery that rates of gestational diabetes were much higher in the community than anyone realised. This is a serious health issue that, according to Chesne, could have long- term repercussions. By facilitating early diagnosis, such problems can be identified and remedied.

The team continued to use the initiative’s data to overhaul the community’s prenatal and postnatal health care, setting the stage for a healthier future. For the first time, the clinic was governed by a client-centred culture. According to Chesne, ‘Now moms come in and learn how to take some of their own prenatal tests. We have our doctor hold a sharing circle with clients as well as individual sessions.’

Chesne reflects, ‘We learned things weren’t happening that we thought were happening. Because of this project, we made changes.’

The initiative had an immediate and substantial effect on people’s lives because its leadership, especially Watson, chose to prioritise community engagement. Frontline health workers like Chesne were true collaborators in the evaluation, facilitating community ownership of the data and making needed changes. Without Once these changes had been made, many of Changing River’s women who had been at risk for pregnancy-related complications now had access to diagnosis and treatment.

Chesne’s community was not alone in taking ownership of the initiative’s data. Watson recalls a 2009 meeting with nurses from a Manitoba community even more remote and with fewer resources than Chesne’s clinic in Changing River. At the time, the swine flu crisis was raging and it was overwhelming the community. Watson wondered whether the nurses would have the time or motivation to continue with the evaluation. But her fears were allayed when the nurses all arrived for their meeting.

Watson was moved. ‘Two nurses had their study files under their arms – they didn’t even have briefcases. One nurse had lost a family member in the midst of all this, but they kept the study files organised in spite of the challenges. They really wanted to stay on track for themselves, for us, but also for the community. That’s how important the community is – counting and being part of the evaluation was so important to them.’ Potter recalls another community where nurses were able to use data to effect change. She was awed by the transformation of one group of nurses during the evaluation. At first, Potter found them apprehensive, as if things had gone poorly with past research.

By the end of the initiative, however, the health workers had shown Potter that even people without strong research backgrounds could ensure that their communities got the most out of the data to which they had access. She recalls:

They didn’t have computer databases, they only had pieces of paper. But by the end of the project, they made those pieces of paper mean something. I will always remember what they said at the end: Data is good. They learned that. They could see patterns and make changes in their communities even without sophisticated stats.

Community empowerment through stakeholder collaboration

 At every level of participation, stakeholders point to the Patient Wait Times Initiative as a particularly powerful example of government-funded community programming to empower frontline workers to effect change. But what made it different from other initiatives?

Traditionally, health research in Aboriginal communities has been characterised by a top-down approach. Khan explains that usually such research is undertaken by scientists from outside the community. Rarely is community feedback sought. According to Potter, ‘The historical dynamic between the federal government and First Nations communities has not been positive. That’s the big context that all this work happens in and we can’t pretend it doesn’t exist.’

This project, however, fostered a truly collaborative spirit. In Khan’s words, ‘It’s usually hard to get people from different areas to collaborate. But not on this project.’ Watson agrees. She characterises Health Canada and its collaborator in the leadership of the project, the Assembly of First Nations, as true partners from the beginning to the end. Watson and Khan agree that the same can be said of the evaluation team, emphasising that with Potter’s and her colleagues they were able to form a genuine partnership, leveraging each other to inform each other. Potter refers to the initiative as her ‘touchstone’. In fact, her own approach to evaluation has been molded by her observations of Watson’s work in enacting Health Canada’s mission of community empowerment and willingness to take risks. Potter found that working with Watson and her team was refreshing, informative, and educational because they were ‘…so comfortable not knowing necessarily what was going to happen. They gave permission for evaluators to ask questions and find the answers.’

Questions and answers – from both sides

At the community level, the data collection tools and procedures were refined based on the evaluation results and direct feedback from the frontline. Both Watson and Khan found that communities were very comfortable coming to them with questions and suggestions. According to Khan, this feedback was vital to the success of the initiative: ‘We were getting data all along the way. We were trying to come up with explanations in Ottawa, but we could ask questions directly of the people providing the data. We could work together to find the answers much more readily and easily. We were getting explanations from the people who had the answers.’

Even more important, for Khan, this methodology demonstrated how having communities lead, and researchers finding the best ways to support, showed what is possible in government-sponsored research. The evaluation’s face-to- face group meetings with participating communities at the end of data collection were a particularly powerful learning experience for Khan.

As important as it was to hear first-hand about their challenges – travelling in winter, getting reimbursed for travel, staff turnover – it was critical to get real explanations for what we were learning. The real innovation was figuring out how to have First Nation communities lead, and then finding ways to support them.

In turn, the nurses collecting data found that their work was facilitated by the support of the programme’s research team. According to Chesne:

Meeting and speaking with the researchers, especially Khan, inspired you to go back and do better. It was very time-consuming and could be frustrating. Then I’d go to meetings or do teleconferences, and they’d tell me what’s going on and inspire me to finish the programme. It’s important to have the communication to be able to talk to the people processing the data.

This support reflects the collaborative spirit that marked the project under Watson’s leadership and the evaluation team’s facilitation.

Turning it around – for good

The Patient Wait Times evaluation had a long-lasting impact on all the stakeholders: the patients, the community health professionals, the government researchers, and the evaluation team. Watson, Khan, and Potter all agree that the evaluation affected how each stakeholder engaged in future research with at-risk communities.

Khan emphasises that the lessons he took from this initiative, including the importance of helping communities to take ownership of their own health care, were instrumental in shaping the rest of his career.

In Potter’s words, the project helped her learn that successful evaluation ‘…is all about building relationships and working in that indigenous community development way: community-led, community-paced. Whose project is it? Whose data? There has to be room for the people who are affected. It’s not just the government’s story.’

The Patient Wait Times initiative illustrates that an evaluation can be a story about all stakeholders working together to make positive changes for both individuals and communities – provided the researchers get out of the way and have the communities take the lead.
Note: The events described in this story are true. However, at the request of the resource persons involved, the names of people and places have been changed. Suffice to say the events transpired in a First Nations community in northern Manitoba.

——–

Stephanie Potter, Lead Evaluator, SP Consulting and the Whetstone Group

Samir Khan, former Senior Research Analyst, First Nations Inuit Health Branch, Health Canada

Judy Watson, former Project Lead, First Nations Inuit Health Branch, Health Canada

Sara Pederson conducted interviews and crafted the evaluation story.

#EvalStories 5: Learning and earning: training that works in Kenya

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

---

 Like many countries, Kenya has an enormous population of unemployed young people. Depending on one’s perspective, this is either a ticking time bomb or an opportunity for affordable vocational training – relevant training that enables young people to get jobs, earn and save money, and move out of poverty.

The Community and Progress Youth Empowerment Institute (CAP YEI) opened its first training centre in Nairobi in 2011. In India, CAP had been successful in giving vulnerable youth a chance to acquire useful workplace skills through technical and vocational training. Now CAP was keen to learn how this approach could work in Kenya. Funded by The MasterCard Foundation as one of its Learn, Earn and Save initiatives, CAP YEI, in partnership with the University of Minnesota, evaluates its performance in both the short and the long term to make changes as it learns what works. The ongoing evaluations have helped to equip Kenyan participants with technical and psychological skills to get a job or to start their own business.

Douglas Moseti, CAP YEI Nairobi regional coordinator, has been with the programme since it began. ‘We target people between 18 and 25 years old who can demonstrate that they come from vulnerable backgrounds. Either they are orphans or they come from single-parent families or large families where a large number of people depend on a single breadwinner.’

Moseti knows what it means to need a leg up in life. He grew up poor and was forced to drop out of school several times when his mother could not pay his school fees. He finally finished high school, thanks to a lucky encounter at his church. But with a high school diploma, he could only find a job paying the equivalent of $1 a day. A 2-year vocational training course was out of his reach, at least for a time.

CAP YEI provides 3 months of training adapted to labour market demand. To determine which courses to offer, CAP YEI staff scan the local market, contacting companies and entrepreneurs to see what entry-level jobs are available. In its first centre in Nairobi – it now has nine there – they found that many hotels needed staff and security guards, and that construction firms need builders and electricians. As CAP YEI engages with potential employers to see what jobs they might have to offer their graduates, they also ask them to look at the proposed course content, to mentor CAP YEI trainees, and to offer them internships when they graduate from the programme.

Importantly, the training cycle doesn’t end with the classes as in most vocational training programmes. Rather, each cycle culminates when the graduates are placed in internships or jobs or are starting their own businesses. Moseti describes what happened with the first group of trainees.

There were 141 students in batch 1 and we were 6 staff who were very new. We were told that we’d get at least 80% of those 141 into employment opportunities. We didn’t hit the target for the first batch because the industry didn’t believe that a new employee could be trained in just 3 months, and we had no way to show potential employers that the trainees could do the work. But we did manage to place 67% of the trainees, including 5% who went to start their own businesses.

He then goes on to describe the evaluation that follows the placement of each graduating class.

Once a batch has completed everything, we review what we’ve finished before starting a new batch. Facilitators, the regional coordinator, and the programme director describe the whole process. We ask questions: Did we get the right people at the road shows? Did we give them the right skills? We look at student attendance at training and at work and ask: Was placement good? What course gave good placement? Where training does not lead to jobs, we change and get more industry people to help us, to tell us what’s missing and we supply that. In one centre where students had a hard time getting jobs in electrical and electronics, a new market scan was carried out and a curriculum was designed to offer training in building and construction. Elsewhere, garment manufacturing was replaced with training in security and management systems.

James Chepyegon, CAP YEI project manager, uses a management information system developed by CAP to collect data on course enrolments, on graduates per cohort, on the absorption rate of graduates into the job market, and on changes in students’ attitudes and lives after the training.

Students are surveyed before and after training to see how their attitudes have changed, how they made the transition to jobs, how they’ve created their own businesses, how their views of life have changed as a result of the training and employment, and how well they understand working relationships with employers.

This project data blends with the data collected annually by the University of Minnesota team that comes to Kenya to survey stakeholders, including participants and employers. Their data is compiled into a longitudinal study to see how the training changes the trajectory of participants’ livelihoods and lives. This impact evaluation is designed to emphasise learning in the monitoring, evaluation and learning portion of the programme to help CAP learn during implementation and respond to the needs of targeted youth.

One of the most striking findings of the evaluations has been the critical role of life skills in preparing young people for jobs. Professor Joan DeJaeghere, who leads the University of Minnesota team, cites her team’s annual on-site visits, surveys, and interviews with participants.

Year after year, CAP does life skills, a mix of engendering self-confidence, teaching students to be assertive, teaching them about job markets and how they work, where they are in the job market and what they can expect, and financial literacy. Youth say that the life skills training is what makes the difference. They say ‘I can get into something, start off, move to something new and manage finances.’

Dr Heidi Eschenbacher, another member of the team, confirms: ‘Our findings suggest that life skills combined with technical skills help youth to build up sufficient confidence to feel as though they can use their technical skills. In other words, they need life skills to build confidence to be efficacious in their technical skills.’

The life skills range from mentoring by successful business people, many of whom started out with little but managed to succeed, training in financial literacy, and training for young entrepreneurs looking to start their own businesses. Chepyegon confirms that the evaluations clearly show that the links between employers and life skills training work. ‘They are,’ he says, ‘the strongest point of success for CAP YEI in getting youth access opportunities.’

Their strength lies in part in the way
that the life skills module has changed in response to the evaluations of participants’ comments over time. Adds Chepyegon:

The entrepreneurship department got stronger, to better account for entrepreneurship activities from the time individual potential entrepreneurs were identified to helping them start up their small business, including the creation and registration of entrepreneurship groups and support for the success of their small businesses. Nearly 200 entrepreneurs are currently functioning well on a full- and part- time basis.

Moseti understands the confidence building that comes from having a mentor because he experienced it. He recalls:

A prominent person gave me electrical installation work at a very big building. As an electrical person God granted me favour with the boss. Whenever there was need for a driver and since I was qualified, I was the one to buy materials and run errands that required a driver. I became his point man on the construction site and ended up becoming the foreman of his building with both electrical and other construction responsibilities.

Moseti later joined his boss’ ICT firm, was promoted, and got a good raise.

Quite recently, Moseti was able to take the measure of the project’s success when he met with the first cohort of graduates in Nairobi. This cohort was the group followed by the University of Minnesota for its longitudinal study.

Seventy-eight of the 141 students came. All but one of them were working. I discovered that most of these young people (almost 40%) had moved into self-employment with big businesses. One lady had become an agent for large banks seeking to extend services to rural areas. She says that she’s earning 30,000 shillings per month from these mobile banking services, which include Mpesa, Equity Agent, and Cooperative Bank Agent. Another graduate imports clothes and shoes from Dubai and sells them in Kenya.

The learning and evaluation partnership at CAP YEI is working to help youth get ahead, while simultaneously learning what stands in their way. Reports Professor David Chapman, co-lead of the external evaluation:

There have been some surprises going into the fourth year of the 5-year field data collection. Where conventional wisdom might suggest that participants go through the training and then find or create a job, the reality is that they are multi-tasking to earn money. In their efforts to start their own businesses, these youths have trouble getting the necessary capital. That is slowly changing. Banks in Kenya have been in the forefront of youth bank products and have found that group lending programmes have a better repayment rate than they get with their more conventional customers.

CAP YEI, in response to this finding, has been pursuing a number of partnerships with financial service providers who are tracking key data points such as number of accounts opened, amount of funding released, average start-up capital, average earning post start-up, and average savings per client in order to make it easier for graduates to get the financial support they need to start their own businesses.

The ongoing programme improvement process is extremely helpful in assisting youths to get and keep good jobs, particularly in dynamic situations such as labour markets into which many youths are ready to enter.

———

Christopher Johnstone, Acacia Nikoi, and University of Minnesota research fellows conducted annual external evaluations of the project and presented data that helped refocus project programming and improve services for youth.

James Chepyegon, monitoring and evaluation executive, was responsible for conducting internal project monitoring, interpreting implications of M&E data, and building capacities of project staff .

Ashok Ankathi (project director at the time) provided programmatic evolutions influenced by evaluation.

Douglas Mose  (Nairobi regional coordinator at the  me) provided the context of the beneticiaries that helped shape the story.

Story writer: Deborah Glassman

 

 

#EvalStories 5: Apprentissage intégré à l’activité professionnelle : la formation qui fonctionne

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

---

Comme de nombreux pays, le Kenya compte une forte population de jeunes chômeurs. Selon le point de vue que l’on adopte, cela est soit une bombe à retardement soit une occasion de développer une formation professionnelle abordable : une formation adéquate qui permet aux jeunes de trouver un emploi, puis de gagner et d’économiser de l’argent afin de sortir de la pauvreté.

L’institut de l’autonomisation de la jeunesse pour le progrès et la communauté (Community and Progress Youth Empowerment Institute, CAP YEI) a ouvert son premier centre de formation à Nairobi en 2011. En Inde, le CAP avait permis de donner une chance aux jeunes vulnérables d’acquérir des compétences utiles en milieu professionnel grâce à la formation technique et professionnelle. Maintenant, le CAP était curieux de savoir comment pourrait fonctionner cette approche au Kenya. Financé par la Fondation MasterCard dans le cadre de l’une de ses initiatives baptisée « Apprendre, Travailler et Épargner », le CAP YEI, en partenariat avec l’Université du Minnesota, évalue ses performances à court et à long terme pour apporter des changements, à mesure qu’il est informé de ce qui fonctionne. Les évaluations en cours ont contribué à doter les participants kenyans de compétences techniques et psychologiques pour obtenir un emploi ou pour lancer leur propre entreprise.

Douglas Moseti, le coordinateur régional du CAP YEI, suit le programme depuis son lancement : « Nous ciblons les personnes âgées de 18 à 25 ans qui peuvent démontrer qu’elles sont issues de milieux défavorisés. Il s’agit notamment des orphelins ou des personnes venant de familles monoparentales ou de familles où un grand nombre de personnes dépendent d’un seul soutien de famille ».

Moseti sait ce que signifie avoir besoin d’un coup de pouce dans la vie. Il a grandi dans la pauvreté et a été contraint de quitter l’école plusieurs fois lorsque sa mère ne pouvait pas payer ses frais de scolarité. Il a finalement pu terminer ses études secondaires grâce à une rencontre fortuite dans son église.  Cependant, avec un diplôme d’études secondaires, il ne pouvait trouver qu’un emploi lui rapportant l’équivalent de 1 dollar par jour. À l’époque, il n’avait pas les moyens de se payer un cours de formation professionnelle de 2 ans.

Le CAP YEI offre 3 mois de formation adaptée à la demande du marché du travail. Pour déterminer les cours à offrir, le personnel du CAP YEI étudie le marché local tout en communiquant avec des entreprises et des entrepreneurs pour identifier les emplois de premier échelon disponibles. Dans son premier centre à Nairobi, qui en compte maintenant neuf, on a constaté que de nombreux hôtels avaient besoin de personnel et d’agents de sécurité, et que les entreprises de construction manquaient de constructeurs et d’électriciens. En collaborant avec les employeurs potentiels pour voir les emplois qu’ils pourraient offrir à leurs diplômés, le CAP YEI leur demande également d’examiner le contenu du cours proposé, d’encadrer les stagiaires du CAP YEI et de leur offrir des stages à la fin du programme.

Ce qui est important c’est que le cycle de formation ne se termine pas avec les cours comme dans la plupart des programmes de formation professionnelle. Au contraire, chaque cycle se termine lorsque les diplômés trouvent un stage, un emploi ou lancent leur propre entreprise. Moseti décrit ce qui s’est passé avec le premier groupe de stagiaires comme suit :

La première promotion comptait 141 élèves, et nous étions 6 employés nouvellement recrutés. On nous a dit qu’au moins 80 % des 141  stagiaires obtiendraient des opportunités d’emploi. Nous n’avons pas pu atteindre cet objectif pour la première promotion parce que l’industrie ne croyait pas qu’un nouvel employé pouvait être formé en seulement 3 mois. De plus, nous n’avions aucun moyen de montrer aux employeurs potentiels que les personnes formées avaient les compétences nécessaires. Toutefois, nous avons réussi à trouver un emploi à 67 % des stagiaires, y compris 5 % qui ont décidé de lancer leurs propres entreprises.

Il poursuit en décrivant l’évaluation qui a suivi le placement de chaque promotion sortante.

Au terme de la formation d’une promotion, nous passons en revue tout ce qui a été terminé avant de passer à la promotion suivante. Les animateurs, le coordonnateur régional et le directeur du programme décrivent l’ensemble du processus. Nous nous posons les questions suivantes : avons-nous formé les bonnes personnes ? Les avons-nous dotées des compétences requises ? Nous observons également l’assiduité des élèves lors de la formation et au travail et nous nous posons des questions supplémentaires : le placement était-il approprié ? Lequel des cours a permis d’obtenir un bon placement ? Lorsque la formation ne débouche pas sur des emplois, nous changeons de stratégie et nous nous rapprochons davantage des acteurs de l’industrie pour qu’ils nous aident à améliorer les programmes. Dans un centre où les étudiants avaient du mal à obtenir des emplois dans le domaine de l’électricité et de l’électronique, une nouvelle analyse de marché a été réalisée et un programme a été conçu pour offrir une formation dans le domaine du bâtiment et de la construction. Ailleurs, la fabrication de vêtements a été remplacée par une formation dans les systèmes de sécurité et de gestion.

James Chepyegon, chef de projet de CAP YEI, utilise un système de gestion de l’information mis au point par le CAP pour recueillir des données sur les taux d’inscriptions aux cours, le nombre de diplômés par promotion, le taux de recrutement des diplômés sur le marché du travail et les changements observés dans le comportement et la vie des élèves après la formation.

Les étudiants sont interrogés avant et après la formation pour voir comment leurs comportements ont changé, comment ils ont pu accéder à des emplois, comment ils ont créé leur propre entreprise, comment ils appréhendent la vie après la formation et après avoir trouvé un emploi, et comment ils perçoivent les relations professionnelles avec leurs employeurs.

Ces données de projet sont fusionnées avec les données recueillies chaque année par l’équipe de l’Université du Minnesota qui vient au Kenya pour enquêter sur les parties prenantes, y compris les participants et les employeurs. Leurs données sont compilées dans une étude longitudinale pour voir comment la formation modifie le mode de subsistance et la trajectoire de vie des participants. Cette évaluation de l’impact est conçue pour mettre l’accent sur l’apprentissage dans les volets suivi, évaluation et formation du programme afin de permettre au CAP de tirer des leçons lors de la mise en œuvre et de répondre aux besoins des jeunes ciblés.

L’une des conclusions les plus frappantes de ces évaluations était le rôle critique des compétences de base dans la préparation des jeunes pour l’emploi. Le professeur Joan Dejaeghere, qui dirige l’équipe de l’Université du Minnesota, décrit ci-dessous les visites sur le terrain, les enquêtes et les entretiens menés avec les participants chaque année par son équipe :

Année après année, le CAP enseigne les compétences de base, c’est à dire un mélange qui engendre la confiance en soi, apprend aux élèves à être assertifs, à connaître le marché du travail, son fonctionnement, la position qu’ils occupent sur ce marché , les attentes du marché à leur égard, ainsi que le domaine des finances . Les jeunes affirment que la formation aux compétences de base est ce qui fait la différence. « Je peux m’intégrer dans un métier, lancer une activité, passer à quelque chose de nouveau et gérer les finances. », disent-ils.

Le Dr Heidi Eschenbacher, un autre membre de l’équipe, confirme : « Nos résultats suggèrent que la combinaison des compétences de base et des compétences techniques aide les jeunes à acquérir une confiance suffisante pour leur donner l’impression qu’ils peuvent utiliser leurs compétences techniques. En d’autres termes, ils ont besoin des compétences de base pour avoir confiance en soi afin d’optimiser leurs compétences techniques ».

La formation aux compétences de base comprend le mentorat par des entrepreneurs prospères, qui sont pour la plupart partis de zéro, mais ont tout de même réussi, la formation en matière de finances et la formation des jeunes entrepreneurs qui cherchent à créer leur propre entreprise. Chepyegon confirme que les évaluations indiquent clairement que les liens entre les employeurs et les compétences de base fonctionnent. « Ils sont le moyen le plus efficace pour le CAP EIY d’obtenir des opportunités d’emploi pour les jeunes », affirme-t-il.

Leur force réside en partie dans la façon dont le module portant sur les compétences de base a changé en réponse aux évaluations des commentaires des participants au fil du temps. À ce propos, Chepyegon précise :

Le département de l’entrepreneuriat s’est renforcé afin de mieux prendre en compte les activités d’entrepreneuriat, cela à partir du moment où les entrepreneurs potentiels avaient été identifiés afin de les aider à démarrer leur petite entreprise, y compris la création et l’enregistrement des groupes d’entrepreneuriat et l’assistance pour la réussite de leurs petites entreprises. Près de 200 entrepreneurs sont actuellement opérationnels à temps plein et à temps partiel.

Pour avoir vécu cette situation, Moseti comprend très bien pourquoi avoir un mentor contribue à renforcer la confiance. Il raconte :

Une personnalité de haut rang m’avait confié les travaux d’installation électrique d’un très grand bâtiment. En ma qualité d’électricien, Dieu m’a accordé les faveurs du patron. Chaque fois qu’on avait besoin d’un chauffeur et comme j’avais les qualifications nécessaires, c’était moi qui allais acheter le matériel de travail et faire les courses. Je suis non seulement devenu son homme de main sur le site de construction, mais j’ai aussi fini par devenir le contremaître de son bâtiment et, en plus d’être en charge des travaux électriques, j’avais aussi d’autres responsabilités sur le chantier.

Plus tard, Moseti a rejoint l’entreprise de TIC de son patron, a été promuet a obtenu une bonne augmentation salariale.

Tout récemment, Moseti a pu prendre la mesure de la réussite du projet quand il a rencontré la première promotion de diplômés à Nairobi. Cette promotion avait été suivie par le groupe de l’Université du Minnesota dans le cadre de son étude longitudinale.

Soixante-dix-huit des 141 étudiants avaient fait le déplacement. À l’exception d’une seule personne, tous travaillaient. Je découvris que la plupart de ces jeunes (près de 40 %) avaient opté pour l’auto-emploi au service de grandes entreprises. Une dame était devenue un agent au service des grandes banques qui cherchent à étendre leurs activités dans les zones rurales. Elle a affirmé qu’elle gagnait 30 000 shillings par mois grâce à ces services bancaires mobiles qui comprennent Mpesa, Agent Equity, et Cooperative Bank Agent. Un autre diplômé importe des vêtements et des chaussures de Dubaï et les vend au Kenya.

Le partenariat d’apprentissage et d’évaluation à CAP YEI s’active à aider les jeunes à aller de l’avant, tout en acquérant les connaissances qui se présentent à eux. À cet effet, le professeur David Chapman, coresponsable de l’évaluation externe, déclare :

Il y a eu quelques surprises au cours de la quatrième année de la collecte de données qui a duré 5 ans. Alors que la sagesse populaire pourrait suggérer que les participants passent par la formation, puis trouvent ou créent un emploi, la réalité est qu’ils effectuent simultanément plusieurs tâches pour gagner de l’argent. Dans leurs efforts pour lancer leurs propres entreprises, ces jeunes ont du mal à obtenir le capital nécessaire. Mais cette situation change peu à peu. Les banques du Kenya ont été très actives produits bancaires destinés aux jeunes, et ont constaté que les programmes de prêts destinés aux groupes ont un meilleur taux de remboursement que ce qu’ils obtiennent avec leurs clients plus conventionnels.

En réponse à ces résultats, le CAP YEI s’efforce de coopérer avec des fournisseurs de services financiers qui assurent le suivi des points de données clés telles que le nombre de comptes ouverts, le montant du financement octroyé, le capital de démarrage moyen, la rémunération moyenne après démarrage et les économies moyennes par client, afin de permettre aux diplômés d’obtenir plus facilement le soutien financier dont ils ont besoin pour lancer leur propre affaire.

Le processus d’amélioration continue du programme est extrêmement utile pour aider les jeunes à obtenir de bons emplois et à les conserver, en particulier dans des situations dynamiques telles que celles des marchés de l’emploi dans lesquels beaucoup de jeunes sont prêts à se lancer.

—————–

Christopher Johnstone, Acacia Nikoi, et des chargés de recherche de l’Université du Minnesota ont effectué une évalua on annuelle externe du projet et ont présenté des données qui ont permis de réorienter les programmes du projet et d’améliorer les services offerts aux jeunes.

James Chepyegon, Chargé de suivi-évalua on, était responsable du suivi interne du projet, de l’interpréta on des implica ons des données de suivi-évalua on, et du renforcement des capacités du personnel du projet.

Ashok Ankathi (directeur du projet à l’époque) a effectué des améliora ons sur le programme, lesquelles étaient influencées par l’évalua on. Douglas Mose  (coordinateur régional à Nairobi à l’époque) a fourni le contexte social des bénéficiaires, ce qui a permis de mieux élaborer le récit.

Auteur du récit : Deborah Glassman

#EvalStories 4: Positive Sisters : Un parcours transformateur

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

---

 

Quand vous trouvez la bonne voie dans la vie, cela peut être contagieux. Inga ne s’en était pas rendu compte cependant. Pour elle, son action n’était que ce qu’il y avait de juste et elle était loin de se douter du nombre de personnes qui se trouveraient transformées à son contact. La clarté de ses objectifs l’a aussi aidée à mettre en place le soutien dont elle avait besoin.

Inga Mielitz est une pasteure protestante atypique qui travaille aux Pays-Bas avec les personnes touchées par le VIH. « Je suis gouine » (lesbienne), dit-t-elle avec une franchise sans complexe. Les personnes dont le premier contact avec elle s’est fait par voie téléphonique sont toujours surprises par ses cheveux décolorés courts et minutieusement taillés ainsi que par son assurance. « J’ai commencé ce travail en 1996 quand mes amis homosexuels, tous des hommes blancs, mouraient de cette maladie. Je me suis sentie responsable ».

Après avoir travaillé avec différentes organisations religieuses pendant quelques années, Inga eut le sentiment que les limites qui lui étaient posées et les attentes à son égard amenuisaient sa détermination. Elle éprouva donc le besoin de choisir son travail selon ce qu’elle jugeait important.

Ils ne voulaient pas entendre que la discrimination des personnes contaminées par le VIH trouvait ses racines dans la manière négative dont nos églises parlent de la sexualité ; ils n’ont pas apprécié mon esprit ouvert. Mais la vie est précieuse, et je voulais faire ce que je jugeais important pour moi, au lieu de faire ce que les autres attendent de moi. Je crois que Dieu veut que chaque être humain soit libre d’être qui il est, au lieu de prétendre être quelqu’un d’autre. Je souhaitais continuer le travail avec les personnes séropositives, mais je voulais le faire à ma manière. Lorsqu’elles sont mises ensemble, la sexualité et la foi mènent à quelque chose de plus grand que soi.

Quelque temps après, ShivA – l’abréviation de Spirituality, HIV, and AIDS (Spiritualité, VIH et SIDA) – voyait le jour. L’objectif de cette organisation néerlandaise est d’améliorer la qualité de vie des personnes séropositives et de celle de leurs proches par l’autonomisation et une assistance aux personnes en quête de sens et de spiritualité. L’idée était de fournir une réponse prompte aux personnes qui se demandent où trouver la force nécessaire pour continuer. Positive Sisters (Sœurs positives) est un programme de l’organisation ShivA qui soutient les personnes séropositives, notamment les femmes immigrées originaires d’Afrique et des Caraïbes. La plupart des femmes sont dirigées vers ShivA par les hôpitaux où elles sont allées pour être traitées.

Le don de l’évaluation

Après quatre années de travail avec les femmes originaires d’Afrique et des Caraïbes ainsi que deux années au sein du projet « Positive Sisters », et ayant recruté plus de 150 femmes et formé 18 « Positive Sisters », Inga a rencontré deux employés du cabinet d’évaluation Results in Health lors de la journée nationale du SIDA à Amsterdam. Impressionnés par l’histoire d’Inga et émus par l’impact apparent de ShivA, Aryanti Radyowijati et Maaike Esselink ont offert une évaluation gratuite utilisant la technique dite du « changement le plus significatif », à titre d’opportunité pour leur équipe d’acquérir de l’expérience dans cette méthodologie. Considérant le caractère émouvant des histoires et le petit nombre d’observations, la technique du changement le plus significatif serait parfaite.

L’équipe de Maaike a interrogé les femmes et organisé un atelier collaboratif dans lequel les différentes parties prenantes ont passé en revue les témoignages pour identifier ceux qu’ils jugeaient les plus porteurs de sens. L’équipe d’évaluation a ensuite procédé à l’analyse des données et préparé un rapport. Ses membres ont ensuite partagé les résultats et les recommandations. Inga espérait que cette évaluation les aiderait à obtenir du financement pour continuer le travail.

Lors d’un entretien, Liako, une Positive Sister originaire du Lesotho, a décrit sa première conversation avec Inga comme suit : « J’ai expliqué à Inga ce à quoi ressemble ma vie et comment je suis ouverte sur le sujet du VIH. Elle m’a répondu que : « Vive la Vie [l’un des premiers projets de ShivA destiné aux femmes afro-caribéennes] n’était pas pour toi ; ce programme est pour les femmes repliées sur elles-mêmes et qui ne connaissent pas d’autres femmes ».

Liako est une oratrice animée et affiche un large sourire. Ses mains et son corps se déplacent au rythme de ses mots pendant qu’elle parle. Sa peau foncée semble translucide. Elle dégage la positivité et la joie. Inga a proposé à Liako d’intégrer une formation de bénévoles de Positive Sisters qui venait d’être lancée. Liako s’est montrée enthousiaste, inspirée d’avoir trouvé en Inga une âme sœur, et impatiente d’aider d’autres personnes à mener des vies positives.

Après avoir passé 11 mois à ShivA comme Positive Sister, elle a rencontré Millie, une jeune femme âgée de 30 ans chez qui le VIH avait été récemment diagnostiqué. Sachant Liako séropositive, Millie s’attendait à voir une femme maigre et faible, et au visage crispé par la douleur.

Millie témoigne :

J’ai été étonnée qu’elle soit si belle. Cela m’a rassurée de parler avec elle ; elle m’a encouragée à aller de l’avant. Elle m’a expliqué comment elle avait compris, lorsqu’elle avait mon âge, que le VIH/SIDA ne devait pas l’empêcher de faire ce qu’elle voulait faire de sa vie, et que cela devait aussi être le cas pour moi. Je devais regarder en avant et continuer d’avancer… [Tu] as besoin d’un docteur ou d’une infirmière quand tu es malade, [mais tu as aussi] besoin de quelqu’un qui a éprouvé la même douleur, quelqu’un qui sait ce que tu peux ressentir dans ce type de situation. Sans Liako, je ne serais pas la personne que je suis aujourd’hui.

De toute évidence, faire partie de ShivA a eu un impact positif sur la vie de ces femmes. L’évaluation a fait de même, mais d’une autre manière.¹

Témoignages à effet boule de neige

Chacune des cinq femmes interrogées dans le cadre de cet article (deux Positive Sisters, une coordonnatrice de projet, une évaluatrice principale et une infirmière) s’est exprimée sur les différents aspects du processus d’évaluation, mais elles ont toutes souligné que celle-ci avait eu un impact positif sur leur vie et sur le projet de manière générale. Pendant les entretiens d’évaluation, les femmes ont partagé leur expérience avec le VIH/SIDA, ainsi que la façon dont elles avaient changé depuis qu’elles avaient intégré ShivA. Avant d’intégrer ShivA, Millie hésitait à parler de sa condition de personne séropositive ; elle reconnait aujourd’hui que le fait d’avoir participé à l’entretien a été une expérience extrêmement positive.

Chaque fois que des gens prennent la parole pour parler du VIH, ils parlent du nombre de personnes infectées dans le monde et des nombreuses personnes qui prennent des médicaments. La voix des personnes touchées par la maladie n’est jamais entendue. Cette évaluation a été la voix des personnes infectées … Le fait de participer à l’entretien m’a incitée à vouloir n’impliquer davantage. Je ne voulais plus me limiter à mon statut de patiente après une telle expérience. Le fait d’être interrogée m’a aidée à me sentir importante et à avoir le sentiment de faire partie de quelque chose de bien.

Après l’entretien, Millie a décidé de devenir une Positive Sister et elle est actuellement inscrite à l’université.

Pour Liako, le fait d’être interrogé l’a aidée à prendre davantage conscience de l’impact de son travail depuis son affiliation à ShivA : « L’évaluation a eu un fort impact sur moi. Cela a été pour moi un moment d’émerveillement. Nous faisons vraiment un travail formidable ! ».

L’équipe de Maaike a repris les entretiens sous forme de récits afin qu’ils puissent être lus au cours d’un atelier d’une demi-journée. L’objectif était d’identifier les témoignages qui avaient un caractère individuel et ceux qui représentaient une expérience commune.

Lia, l’infirmière, et Maaike, l’évaluatrice, ont décrit l’atelier collaboratif comme une expérience vivifiante. L’atmosphère créée par les Positive Sisters était telle qu’« on pouvait penser que le sol vibrait ». L’environnement était joyeux : de la bonne nourriture, des rires, de la musique. Les femmes ont discuté, ri ensemble et chanté de manière spontanée, malgré la profonde tristesse de leurs témoignages.

Lia se souvient d’une femme timide et sombre qu’elle a aidée. Elle s’est réjouie de voir cette femme se lever et partager son expérience pendant l’atelier d’évaluation :

Quand les Positive Sisters sont dans une salle, il y a de la vie ; j’ai vu des femmes développer leur autonomie. L’une des femmes s’est complètement métamorphosée devant moi quand elle s’est levée pour parler. Grâce à l’organisation Positive Sisters, les femmes trouvent un sens à leur vie. Chacun est en quête de sens, mais quand on apprend qu’on est séropositif, cette recherche s’intensifie.

Avec l’atelier collaboratif, les témoignages individuels ont commencé à fusionner pour devenir un témoignage collectif. S’adressant à Maaike après l’atelier, Inga a déclaré que : « C’est surprenant de voir que, en entendant le témoignage d’autres femmes, les femmes du projet peuvent désormais parler du projet en général».

Les témoignages ont évolué de récits individuels à témoignages de projet, puis à dialogue national. Selon Inga, l’évaluation a donné aux femmes originaires d’Afrique et des Caraïbes la capacité de s’exprimer sur une plateforme nationale : « Cela a eu un effet boule de neige. Une fois le processus lancé, il n’y avait rien pour l’arrêter. Les décideurs politiques contactent maintenant nos femmes pour qu’elles contribuent à leurs recherches, et il y a un groupe de femmes africaines participantes qui ne s’étaient jamais exprimées auparavant ».

Liako est aussi de cette opinion : « Nous avons mis en ligne de courtes vidéos. Elles sont mises sur Internet et présentées à des conférences sur le VIH. La mienne porte sur le fait de vivre avec un mari et une fille séronégatifs, en bonne santé. Cela fait que les gens s’intéressent à qui nous sommes et à ce que nous faisons ».

L’évaluation incite à l’action

À la suite de l’évaluation, Positive Sisters a été invité à animer un atelier lors d’un congrès national sur le SIDA. Comme le souligne Inga :

Plusieurs Positive Sisters sont devenues confiantes. Il y avait cette toute petite femme originaire d’Éthiopie. Elle était très tranquille, mais il y avait en elle une profonde force intérieure. Elle a organisé une cérémonie du café éthiopienne , assise sur une petite chaise basse toute seule. Elle a cependant levé la tête et participé. Sa voix n’était pas haute, mais son assurance était visible et tous les participants étaient attentifs à ce qu’elle disait parce qu’ils entendaient la voix d’une femme libre !

Même si la plupart des témoignages recueillis par Results in Health étaient positifs, ils ont aussi éclairé les endroits où des améliorations pourraient être apportées . L’une des remarques était qu’Inga en faisait trop. « Le projet repose trop sur mes épaules », reconnaît Inga. « Rien ne se passait en mon absence ». Toutefois, le fait d’avoir plus de coordonnatrices supposait plus d’investissement financier, et Inga savait que l’argent se faisait rare.

L’évaluation a suggéré qu’elle accepte un rôle de coordonnatrice pour faciliter les échanges entre les participantes (atteignant aujourd’hui plusieurs centaines) et les Positive Sisters (31 au total). Deux Positive Sisters se sont engagées à assumer bénévolement les fonctions de coordonnatrices, dont Liako qui, grâce au soutien de ShivA, exerce actuellement une vocation professionnelle de conseillère et de formatrice. Au moment de l’entretien avec Liako, ce nouveau rôle de coordination commençait tout juste pour elle. Elle explique : « L’évaluation m’a poussée à vouloir faire plus. Elle m’a donné le sentiment d’être importante, comme si je réalisais un rêve que j’ignorais même avoir. J’ai désormais le sentiment que je suis plus que je croyais être. Pour moi, le succès n’est pas d’être payée, c’est faire ce que j’aime ».

Pour ShivA, l’élargissement des rôles est aussi important vu le nombre croissant des personnes qui y sont référées. Lia, l’infirmière, a indiqué que son taux de recommandation est passé d’une femme sur trois à toutes les femmes diagnostiquées, grâce à l’évaluation. « Grâce à l’évaluation, je pose un regard plus professionnel sur les Positive Sisters. Après l’évaluation, j’ai parlé avec mes collègues et nous avons décidé de référer plus de personnes à Positive Sisters ».

Pour l’équipe d’évaluation, travailler avec Positive Sisters était une occasion de collaborer avec un client exemplaire. Inga était avide de connaissances et de rétroaction et prompte à appliquer les leçons apprises. Comme le souligne Maaike : « Inga était très intéressée d’en savoir plus sur le projet. Elle voulait vraiment en tirer des leçons et obtenir des résultats. Elle avait toujours du temps pour nous. »

L’une des principales préoccupations d’Inga au sujet de ShivA était, comme c’est le cas pour la plupart de projets communautaires, d’assurer un financement continu. Ainsi, lorsque les évaluateurs ont proposé un atelier regroupant plusieurs parties prenantes pour passer en revue les résultats et réfléchir sur des possibilités de financement pour avancer, Inga n’a pas hésité.

ShivA ne bénéficie certes pas encore d’un financement constant, mais cela est sur la bonne voie. L’effet boule de neige continue. Pendant l’atelier, plusieurs idées ont été émises sur les moyens d’amener les prestataires de soins à payer pour l’assistance que les participantes reçoivent de ShivA. Par exemple, une grande fondation soutenue par la famille royale des Pays-Bas s’est récemment engagée à aider ShivA à trouver le financement dont elle a besoin.

Le résultat le plus important de l’atelier a cependant été quelque chose d’intangible et de transformateur.

Pour reprendre les propres mots d’Inga :

C’était quelque chose de très spécial pour moi parce que je fais beaucoup de travail toute seule, mais cette fois je n’étais pas seule. Tout le monde essayait de trouver un avenir pour Positive Sisters. Grâce à l’évaluation, j’ai pu profiter de l’expérience de professionnels qui font aussi un travail de qualité. Ils pouvaient évaluer la qualité du travail que je faisais. Cela m’a procuré un élan de confiance en moi, une base solide sur laquelle me tenir. Je vois désormais comment porter ShivA plus loin et lui procurer un avenir meilleur.

————