#Eval Stories 4: Positive Sisters: a transformative journey in the Netherlands

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!


When you find the right direction in life it can be contagious. Inga didn’t realise it though. To her, she was doing what was right, but little did she know how many people would blossom from being in contact with her. Her clarity of purpose also helped build the support she needed.

Captura de pantalla 2016-05-12 a las 3.17.17 p.m.Inga Mielitz is an atypical Christian minister in the Netherlands who works with people affected by HIV. ‘I’m a dyke,’ she says with unabashed candour. Her razor-short bleached hair and assertive demeanour surprise people who first meet her over the phone. ‘I started doing this work in 1996 when my gay friends, all white men, were dying from the disease. I felt a sense of responsibility.’

After working with various religious organisations for a few years, Inga felt that the restrictions and expectations placed on her diluted her sense of purpose. She felt a need to choose her work based on what was important to her.

They didn’t want to hear that discrimination of people with HIV has its roots in the negative way our churches talk about sexuality; they didn’t like my openness. But life is precious, and I wanted to do what I consider important in my life instead of doing what others expect from me. I believe that God wants every person to be who they are instead of pretending to be someone else. I still wanted to work with HIV-positive people, but I wanted to do it my way. Put together, sexuality and faith make a connection to something bigger than oneself.

Shortly thereafter, ShivA – an abbreviation for Spirituality, HIV, and AIDS – was born. The aim of this Netherlands organisation was to improve the quality of life of HIV- positive people and their loved ones through empowerment and by supporting people seeking meaning and spirituality. The idea was to provide a ready response for people asking Where do I find the strength to go on? Positive Sisters is a ShivA programme that provides support for HIV- positive people, especially migrant African and Caribbean women. Most of the women are referred to ShivA by hospitals where they’ve gone for treatment.

The gift of evaluation

Captura de pantalla 2016-05-12 a las 3.17.36 p.m.After 4 years working with African and Caribbean women and 2 with the Positive Sisters project, having enroled more
than 150 women and trained 18 Positive Sisters, Inga met two staff members of an evaluation firm called Results in Health at National AIDS day in Amsterdam. Aryanti Radyowijati and Maaike Esselink, impressed by Inga’s story and touched by ShivA’s apparent impact, offered a pro-bono evaluation using the Most Significant Change technique, as an opportunity for their team to gain experience in that methodology. Given the powerful stories and small sample size, Most Significant Change would be perfect.

Maaike’s team interviewed the women and then facilitated a collaborative workshop where different stakeholders reviewed the stories to identify the ones that felt most meaningful to them. The evaluation team then analysed the data and compiled a report. Finally they shared results
and recommendations. Inga hoped the evaluation would help them secure funding going forward.

In an interview, Liako, a Positive Sister from Lesotho, shares her first conversation with Inga: ‘I explained to Inga how my life is and how open I am about HIV. Inga said, “Vive la Vie [one of ShivA’s early projects serving Afro-Caribbean women] is not for you, it’s for women who are closed and who don’t know other women.”

Liako is a lively speaker and wears a broad smile. Her hands and body move rhythmically with her words as she speaks. Her dark skin looks translucent. She exudes positivity and joy. Inga offered Liako her newly started Positive Sisters volunteer training. Liako was enthusiastic, inspired to find a kindred spirit in Inga, and eager to help support others to live positive lives.

After Liako had been a Positive Sister for ShivA for 11 months, she met a young woman named Millie, aged 30 and recently diagnosed with HIV. Knowing that Liako was HIV-positive, Millie expected a thin, weak woman, her face creased in pain.

Millie says:

I was shocked that she looked so beautiful. It was reassuring for me to talk with her; she motivated me to push forward. She told me how she found out when she was my age that HIV/AIDS shouldn’t stop her from doing whatever she wanted to do with her life, and neither should I. I should go on and do it… [You] need a doctor or a nurse when you’re sick, [but you also] need someone who has been through that pain, who knows what it feels like. Without Liako I would not be who I am today.

Clearly, being at ShivA had positive effects on the women’s lives. So did the evaluation, but in different ways.1

Captura de pantalla 2016-05-12 a las 3.17.51 p.m.Storytelling snowballs

Each of the five women interviewed for this article (two positive sisters, a project coordinator, a lead evaluator, and a referring nurse) spoke about different aspects of the evaluation process, but they all mentioned the positive impact it had on them and on the project as a whole. In the evaluation interviews, the women reflected on their experience with HIV/AIDS and how much they had changed since ShivA came into their lives. Millie had been quite shy about her HIV/AIDS status before ShivA, and now recognises that being interviewed was an extremely positive experience.

Whenever people talk about HIV they talk about how many people are infected in
the world and how many people are taking medication, but it’s never the voice of those who are affected by it. This evaluation was the voice of the people infected…. Being interviewed made me want to be involved more. I didn’t want to only be a patient after that. Being interviewed helped me feel important and part of something good.

After the interview, Millie decided to become a Positive Sister, and she is now enroled in university.

For Liako, being interviewed meant becoming more aware of the impact of her work since ShivA: ‘The evaluation had a big impact on me. It was a Wow! moment for me. We are really doing a great job.’

Maaike’s team prepared the interviews into stories so they could be read at a half-day workshop to see which stories were more individual and which represented shared experiences.

The nurse, Lia, and the evaluator, Maaike, described the collaborative workshop day as a lively experience. The atmosphere that Positive Sisters brought was one where ‘the floor felt like it was vibrating.’ The environment was joyful: good food, laughter, music. The women talked, laughed, and sang spontaneously despite the intense sadness of their stories.

Lia remembers a shy, somber woman she supported. At the evaluation workshop, she was pleased to see this woman stand up and share her perspective:

When Positive Sisters are in the room, it is alive; I saw women become empowered. One woman transformed in front of me when she got up to speak. With Positive Sisters, women are finding meaning in life. Everyone searches for meaning but when you are diagnosed with HIV, you face it more.

With the collaborative workshop, the individual stories started to blend into a collective story. After the workshop, Inga told Maaike, ‘It is amazing that the women from the project, by hearing other stories, can now talk about the project as a whole.’

The stories grew from individual narratives, to project stories, and finally to a national dialogue. Inga says that the evaluation empowered African and Caribbean women
to speak up on the national stage: ‘It was a snowballing process. Once it got started there was no stopping it. Policy makers are now contacting our women to contribute to their research, and there is a group of African women contributing who never spoke up before.

Liako agrees. ‘We did short videos online. They are being shown on the internet and at conferences on HIV. Mine is about having a husband and a daughter who are negative. Healthy. And people get interested in who we are and what we do.

Evaluation spurs action

Captura de pantalla 2016-05-12 a las 3.18.13 p.m.As a result of the evaluation, Positive Sisters was invited to deliver a workshop at a National AIDS conference. Inga says:

Many Positive Sisters became more confident. There was a very small woman from Ethiopia. She was very quiet but there was a deep inner power in her…. She did an Ethiopian coffee ceremony, sitting on that little low chair just by herself. But she raised her head and contributed. Her voice was not loud, but her confidence shone through and everyone paid attention to her because they were hearing the voice of a free woman!

Although most of the stories collected by Results in Health were positive, they also offered insights into where improvements could be made. One suggestion was that Inga was doing too much. ‘The project was leaning too strongly on me,’ Inga recognises. ‘If I wasn’t there, nothing happened.’ But having more coordinators meant investing more money and Inga knew money was tight.

The evaluation suggested she assume a coordinator role to help mediate interactions with participants (now numbering several hundred) and Positive Sisters (now 31). Two Positive Sisters offered to take on a coordinating role without pay, including Liako, who with ShivA’s help is now pursuing a professional vocation as a counselor and a coach. At the time Liako was interviewed, this new coordinating role had just begun. She explains: ‘The evaluation made me want to do more. It made me feel very important, like I’m fulfilling a dream I didn’t even know I had. I feel like I’m more than I thought I could be. For me, success is not getting paid – it’s doing what I love.’

For ShivA, expanding roles are also important given that referrals are increasing too. Lia, the nurse, says that the evaluation increased her referrals from one in three to all women diagnosed. ‘Because of the evaluation I have a more professional view of Positive Sisters. After the evaluation I talked with my colleagues and we decided we would refer more people to Positive Sisters.’

The evaluation team felt that working with Positive Sisters was an opportunity to work with an exemplary client. Inga was hungry for insights and feedback and quick to apply them. Maaike says, ‘Inga was extremely interested in learning about the project. She really wanted to learn from it and get results. She always made time for us.’

One of Inga’s primary concerns for ShivA is, as with most community projects, to ensure continued funding. So when the evaluators proposed a workshop with multiple stakeholders to look at results and think about funding opportunities going forward, Inga was on board.Captura de pantalla 2016-05-12 a las 3.18.27 p.m.

While steady funding for ShivA is not quite there yet, it is certainly on the way. The snowballing effect continues. At the workshop there were many ideas about how to get health providers to pay for the support participants get from ShivA. For example, a large foundation supported by the royal family of the Netherlands recently committed to help find the needed funding.

But the most important outcome from the workshop was something intangible and transformative.

In Inga’s own words:

It was very special to me because I do a lot of work alone and this time I was not alone. Everyone was trying to find a future for Positive Sisters. Through the evaluation, I was able to tap into the experience of professionals who also do good quality work. They could evaluate the quality of what I’m doing. It gave me a new surge of self-confidence, a stable ground to stand on. Now I can see how to make ShivA grow further and give it a brighter future.


We would like to credit the tellers of this story:

Inga Mielitz, ShivA Foundation

Liako Lekhooa-Oude Lansink and Millie, Positive Sisters

C. (Lia) Meerkerk, nurse practitioner

Maaike Esselink, Programme Oficer, Public Health,  and all respondents of the evaluation who made this evaluation so valuable.

Story writer: Rita Fierro

ShivA website: http://www.shiva-positief.nl/a-letter-to-you

Results in Health: http://www.resultsinhealth.org/

Positive Sisters: http://www.shiva-positief.nl/a-letter-to-you


Captura de pantalla 2016-05-12 a las 3.18.43 p.m.



Filed under Uncategorized

#EvalStories 3 – L’évaluation en action: Le service téléphonique d’urgence de la Baie de Milne

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français. 

Captura de pantalla 2016-04-28 a las 4.29.31 p.m.Pour les femmes enceintes vivant dans la nation à relief montagneux du Pacifique qu’est la Papouasie-Nouvelle-Guinée (communément appelée « PNG » par ses habitants), l’accouchement est un coup de chance. Si vos contractions ne durent pas longtemps et qu’il n’y a aucune complication, vous avez de la chance. Cependant, si la chance ne vous sourit pas et que vous avez des contractions difficiles, ou si le bébé reste coincé, ou encore si vous avez des saignements abondants, ils ne vous restent plus qu’à espérer que votre bébé et vous allez survivre. Et pourquoi : parce que vous vivez très très loin de l’hôpital le plus proche.

Pour les dizaines de milliers de femmes enceintes en travail recensées chaque année dans les villages reculés, les bébés naissent soit à la maison, soit à la clinique locale. Presque tous les 7 millions d’habitants que compte ce pays, le tiers étant les femmes en âge de procréer, vivent isolés des principaux centres de population. Les agents de santé ruraux font du mieux qu’ils peuvent, mais si une complication survient, ils ne sauront peut-être pas comment réagir.

La gravité de la situation s’illustre par le taux de mortalité liée à la maternité en Papouasie-Nouvelle-Guinée, l’un des taux les plus élevés du monde. Pour 100 000  naissances d’enfants vivants, 733 femmes meurent. À titre de comparaison, chez le voisin le plus proche du pays, c’est-à-dire l’Australie, le taux de mortalité n’est que de 6,8.

Le programme de ligne téléphonique d’urgence d’assistance à l’accouchement (« Childbirth Emergency Phone ») a été conçu pour pallier ce triste problème. En 2007, la Papouasie-Nouvelle-Guinée comptait seulement 50 000 lignes téléphoniques pour tout le pays, ce qui signifie une ligne pour 140 habitants. Sept années plus tard, 2,7 millions de personnes possédaient des téléphones mobiles, ce qui signifie un téléphone pour tous les 2,6 habitants.

Captura de pantalla 2016-04-28 a las 4.29.55 p.m.Il s’agissait là d’une avancée majeure. Pour la première fois, les agents de santé ruraux pouvaient parfaitement se connecter aux spécialistes dans les salles d’accouchement des grandes villes. Une précédente tentative de connecter les cliniques rurales aux principaux centres par la radio a rencontré un certain succès, mais cette méthode est devenue peu fiable quand les postes de radio n’étaient plus utilisables à cause des pannes et de l’absence de pièces de rechange et d’expertise pour la réparation. C’était un terrain inconnu pour la Papouasie-Nouvelle-Guinée. Les promesses autour de la technologie mobile peuvent-elles réellement vaincre la tyrannie de la distance ? Pour répondre à cette question, un projet pilote a été mis sur pied parallèlement à une évaluation rigoureuse.

L’idée du projet est née d’un médecin spécialiste de l’université de Papouasie-Nouvelle-Guinée en la personne de Glen Mola. Le professeur Mola était convaincu que le meilleur endroit pour réaliser et procéder à l’évaluation d’un projet pilote à durée limitée était la province de la baie de Milne, notamment parce que le taux de mortalité lié à la maternité y était encore plus élevé que la moyenne nationale. Étant donné que la province abrite la péninsule orientale montagneuse de l’île principale de la Papouasie-Nouvelle-Guinée, ainsi que plusieurs centaines d’îles isolées, les professionnels de la santé font face à un extrême enclavement.

Après avoir discuté avec Mola, le Dr Amanda Watson, une chercheuse Australienne, a mis en place le projet pilote à la salle d’accouchement de l’hôpital provincial d’Alotau dans la capitale provinciale en fin 2012. Avec l’aide de Billy Naidi, le chef de la direction de l’autorité sanitaire de la province, elle a installé un téléphone fixe dédié au projet au milieu de la salle d’accouchement toujours bondée, puis a transmis le numéro de téléphone gratuit aux agents de santé ruraux exerçant dans leurs régions isolées. Plus important encore, des panneaux solaires ont aussi été fournis pour recharger les téléphones mobiles. Il n’a pas fallu attendre longtemps pour que les premiers appels commencent à arriver. Les cas d’accouchement du siège, de saignements abondants, d’éclampsie, de grossesses extra-utérines, de placentas non décollés – toutes des conditions pouvant entrainer la mort si la bonne information n’est pas disponible au bon moment – pouvaient désormais être pris en charge, cela en répondant à des agents de santé isolés et stressés qui avait besoin d’aide pour la prise en charge des accouchements difficiles. Chaque mois, une moyenne de 17 appels était enregistrée, chacun d’eux portant sur des problèmes pouvant constituer un danger pour la vie.

Captura de pantalla 2016-04-28 a las 4.29.43 p.m.« Ce projet permet de sauver deux vies à la fois, celle de la mère et celle de l’enfant, et nous sommes très reconnaissants », a déclaré un agent de santé rural.

« Un jour, j’ai vu une mère mourir juste par ce qu’il n’y avait pas de communication », a ajouté un autre. « Aujourd’hui, je peux appeler de n’importe où gratuitement ».

Alice Siwawata, agent de vulgarisation sanitaire à Alotau, a reçu un bon nombre de ces appels. « C’était très difficile avant, notamment en ce qui concerne la communication », déclare-t-elle. « Aujourd’hui, lors des prises en charge des cas d’urgence, on a l’impression d’avoir un médecin accoucheur dans les cliniques rurales ».

Le gouvernement australien a réalisé une évaluation approfondie du projet pilote. « Ce n’est pas chose courante dans les projets de développement », a souligné Watson « Mais dans le cas de ce projet précis, une évaluation était importante. L’Australie tenait à documenter les leçons à tirer de cette évaluation.

Même si les premières réactions informelles étaient positives, Billy Naidi tenait néanmoins à voir des preuves concrètes attestant que les lignes téléphoniques d’urgence fonctionnaient correctement. Depuis que Watson lui avait présenté cette idée, il a manifesté de l’intérêt pour les perspectives au niveau sanitaire que pouvait offrir le développement rapide du réseau de téléphonie mobile en Papouasie-Nouvelle-Guinée. Le programme d’aide de l’Australie finançait le projet pilote, mais ces fonds allaient bientôt s’épuiser. (L’aide de l’Australie à la Papouasie-Nouvelle-Guinée, territoire anciennement sous administration australienne, compte encore aujourd’hui pour environ 13 % des recettes du pays.) Toutefois, pour qu’un tel projet bénéficie d’un financement durable de la part de l’autorité sanitaire provinciale dont Naidi est le chef, il avait besoin de preuves, des preuves que seule une évaluation détaillée était capable de lui fournir. Les résultats de l’évaluation lui donneraient les preuves nécessaires pour le financement du projet de ligne téléphonique. « Nous voulions voir ce qui avait été fait », a déclaré Naidi. Watson comprit le point de vue de Naidi et accepta de changer de rôles et de procéder à l’évaluation du projet qu’elle avait mis sur pied.

Captura de pantalla 2016-04-28 a las 4.30.15 p.m.Elle commença le processus dévaluation en recrutant un agent de terrain et évaluateur local en la personne de Gaius Sabumei qui avait une très bonne connaissance de la Baie de Milne. Pendant plusieurs mois, Sabumei voyagea d’un bout à l’autre de la province pour interroger les agents de santé ruraux, les femmes ayant récemment accouché et les chefs de villages dans les régions reculées, ainsi que le personnel de la salle d’accouchement de l’hôpital provincial d’Alotau où était placé le téléphone d’urgence. Il rentra de cette aventure dans la province avec 44 entretiens. Presque tous ces entretiens saluèrent les prouesses du projet pilote.

Un des agents de santé ruraux avait entendu parler du service de ligne téléphonique très peu de temps avant qu’une femme se soit présentée à lui avec un placenta non décollé. « Si ce projet n’avait pas existé et que je ne disposais d’aucun moyen de communication, nous aurions bien pu perdre cette mère parce qu’elle était déjà septicémique », a déclaré l’agent. « Désormais, je peux demander des conseils et aider les patients, peu importe le lieu ou l’heure ».

Presque toutes les personnes interrogées ont fourni des avis positifs. Et même quand quelques-unes d’entre elles avaient des critiques à formuler, elles reconnaissaient sans hésiter que les choses marchaient nettement mieux qu’avant. Par exemple, comme l’a déclaré un agent de la salle d’accouchement, « il est parfois frustrant de répondre à un appel d’urgence quand on est occupé à porter assistance à une femme en travail, mais cela fait partie de notre travail ». En dehors de cela, les critiques étaient plutôt rares. Un autre agent de la salle d’accouchement a indiqué que le projet a permis de nouer des liens entre les agents des métropoles et les régions rurales.

En outre, Watson a recherché la validation externe d’un professionnel de la santé exerçant dans une autre province. Le Dr Derick Bintol, un natif de la Papouasie-Nouvelle-Guinée, a écouté un échantillon d’appels téléphoniques enregistrés et a analysé les notes cliniques d’un échantillon de 68 appels.

L’évaluation a révélé que, malgré les difficultés liées à des pannes de réseau ou aux réticences à l’égard de l’assistance clinique dans certaines cultures des îles périphériques, la ligne téléphonique avait sauvé des vies. Le Dr Bintol écrit : « Les cas observés constituent la preuve solide que les vies des mères et des bébés ont été sauvées. On a aussi pu constater que les informations échangées au cours des appels téléphoniques étaient très instructives, notamment pour les agents de santé ruraux qui étaient susceptibles de rencontrer un problème similaire ultérieurement ». L’évaluation a également démontré que les conseils donnés au téléphone étaient utiles et appropriés dans la plupart de cas, et inappropriés (c’est-à-dire potentiellement dangereux) dans 16 % des cas. Ces résultats ont amené Watson et Sabumei à recommander une formation de suivi pour examiner les cas où de mauvais conseils avaient été donnés.

Captura de pantalla 2016-04-28 a las 4.30.26 p.m.Lorsque l’évaluation a été remise à Naidi, il a pris le temps de l’examiner soigneusement. « J’ avais trouvé cette idée intéressante depuis le début. J’étais très excité », a-t-il dit. En fait, il souhaitait surtout savoir si la ligne téléphonique avait fonctionné aussi bien que l’avaient suggéré les réactions informelles, et si la ligne téléphonique présentait de meilleurs résultats que le réseau radiophonique en difficulté. Même s’il est difficile d’estimer le nombre de vies qui avaient été sauvées, les résultats de l’évaluation clinique démontrent avec certitude que certaines femmes auraient bien pu mourir si elles n’avaient pas bénéficié de ce service, et que les agents de santé ruraux ont eu le sentiment d’être moins isolés grâce au projet. « Je voulais m’assurer que le projet était efficace. Nous en avons finalement été convaincus et nous nous sommes engagés à continuer le financement du projet. ».

Grâce à ce financement, l’avenir de la ligne téléphonique était assuré. Après deux cérémonies d’inauguration, l’une à Alotau et l’autre Port Moresby la capitale du pays, la ligne téléphonique d’urgence d’assistance à l’accouchement était enfin devenue une réalité non seulement constante, mais aussi durable.

Ce qui a davantage surpris Watson, ce sont les retombées inattendues de l’évaluation. Le rapport détaillé a attiré l’attention des médias nationaux et australiens sur le problème de la mortalité liée à la maternité. La presse écrite, la radio et la télévision ont tous fait des reportages sur les résultats de l’évaluation. « L’évaluation a permis aux populations de se faire une idée plus globale de l’utilité des lignes téléphoniques lors des prises en charge sanitaire », a-t-elle indiqué. Par exemple, dans la province montagneuse des Hautes-Terres occidentales, un projet plus vaste à été inauguré et y est opérationnel, notamment un centre d’appels dont le personnel est constitué d’infirmiers qualifiés qui répondent aux préoccupations du grand public sur des questions de santé.

Pour Billy Naidi, la portée de l’évaluation s’est davantage démontrée dans son efficacité à briser le très long retard qu’avait accusé la Papouasie-Nouvelle-Guinée dans l’utilisation des technologies modernes. « Grâce à ce numéro de téléphone, vous pouvez, même si vous êtes dans une région reculée et que vous faites face à une situation difficile, tenir une conversation proche comme si vous votre interlocuteur était avec vous dans la salle d’accouchement », a-t-il déclaré. « Après l’évaluation, nous débordions de joie!»


Le Service téléphonique d’urgence d’assistance à l’accouchement est un projet de l’Autorité sanitaire provinciale de la Baie de Milne. Sa mise en place et son évalua on ont été  financées par le gouvernement d’Australie.

Ce récit a été rédigé par Jessica Kenway et Doug Hendrie. Les versions initiales ont été révisées par Billy Naidi, Directeur général de l’Autorité sanitaire provinciale de la Baie de Milne, et Amanda Watson, Consultante en recherche sur les communications mobiles, Programme du secteur économique et public.

Les photos ont été prises par Rawena Russell et Amanda Watson.

Des renseignements supplémentaires sur le projet sont disponibles sur http://www.pngepsp.org/our-activities/mobile-4-development/maternal-hotline/maternal-hotline-overview.php

Captura de pantalla 2016-04-28 a las 4.30.40 p.m.



Filed under Uncategorized

#Eval Stories 3: Evaluation in action: The Milne Bay emergency phone service in Papua New Guinea

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!


Captura de pantalla 2016-04-28 a las 4.29.31 p.m.

For expectant mothers in the mountainous Pacific nation of Papua New Guinea (known popularly as PNG by its inhabitants), giving birth is an exercise in luck. If your labour is short, and you experience no complications, luck is in your favour. But if luck is against you, if your labour is difficult, if the baby is stuck, if you bleed too much – you can only hope that you and your baby will survive. Because you are very, very far from the nearest hospital.

For the tens of thousands of mothers who go into labour in remote villages each year, babies are born at home or at the local clinic. Almost all of the country’s population of 7 million, a third of whom are females of child-bearing age, are isolated from the major population centres. Rural health care workers do their best, but if something goes wrong, they may not know what to do.

The seriousness of the situation is illustrated by PNG’s maternal mortality rate, which is among the highest in the world. For every 100,000 live births, 733 women die. By comparison, in Australia – the country’s nearest neighbour – the death rate is only 6.8.

The Childbirth Emergency Phone programme was designed to tackle this grim problem. In 2007, PNG had only 50,000 phone lines for the entire country – one phone for every 140 persons. Seven years later, 2.7 million people had mobile phones – one for every 2.6 persons.

Captura de pantalla 2016-04-28 a las 4.29.55 p.m.This was real progress. It meant that for the first time rural health workers could be reliably connected to specialists in the labour wards of major towns. A previous initiative to link rural clinics to major centres via radio had achieved some success, but this became unreliable when the radios broke down because the parts and expertise to repair them were lacking. These were uncharted waters for PNG. Could the promise of mobile technology really transcend the tyranny of distance? To find out, a pilot project was paired with a rigorous evaluation.

The idea for the project began with a medical specialist at the University of Papua New Guinea named Glen Mola. Professor Mola believed that the best place to run and evaluate a time-limited pilot project would be Milne Bay Province, where the maternal mortality rate was even higher than the national average. Because the province constitutes the mountainous eastern peninsula of PNG’s main island, as well as hundreds of remote islands, health care workers faced the challenge of extreme isolation.

After discussion with Mola, Australian researcher Dr Amanda Watson set up the pilot project in the labour ward of the Alotau Provincial Hospital in the provincial capital in late 2012. She and Billy Naidi, the chief executive officer of the province’s health authority, set up a dedicated landline phone in the middle of the bustling labour ward and sent the toll-free number to rural health care workers in remote locations. Importantly, solar panels were also provided to recharge the mobile phones. Calls started coming in almost immediately. Reports of breach births, excessive bleeding, eclampsia, ectopic pregnancies, retained placentas – all potentially lethal without the right information at the right time – could now be addressed in response to isolated, stressed health workers who needed help in managing difficult deliveries. Each month, an average of 17 calls were being made – each concerning a potentially life-threatening issue.

This project is saving two lives, mother and child, and we are thankful,’ says one rural health worker.Captura de pantalla 2016-04-28 a las 4.29.43 p.m.

Once, I saw a mother die in front of me, simply because of lack of communication,’ says another. ‘Today, I can call anywhere, and it’s free.’

Alotau health extension officer Alice Siwawata fielded many of these calls. ‘It was very difficult previously, communications-wise,’ she says. ‘During emergencies now, it’s like having a labour ward doctor in the rural clinics.’

The Australian government made a comprehensive evaluation part of the pilot. ‘That’s not common in development work,’ says Watson. ‘But for this one, evaluation was very important. Australia wanted to know what could be taken from it.’

While the initial anecdotal feedback was positive, Billy Naidi needed some hard evidence that the emergency line was working. Ever since Watson had pitched the idea to him, he’d become interested in the health care possibilities opening up with the rapid expansion of PNG’s mobile phone network. Australia’s aid programme was funding the pilot project, but these funds would soon dry up. (Aid from Australia, PNG’s former colonial overseer, still accounts for around 13% of the nation’s revenues.) But for an initiative to become sustainably funded by the provincial health authority Naidi headed, he needed proof – proof that would come through a detailed evaluation of the pilot. With a thorough evaluation of the project in his pocket, he could justify taking over the funding of the phone line. ‘We wanted to see what has happened,’ says Naidi. Watson understood his position and agreed to switch roles and evaluate the project she’d set up.

Captura de pantalla 2016-04-28 a las 4.30.15 p.m.Watson began the evaluation process by hiring a local field officer and evaluator named Gaius Sabumei, who came to know Milne Bay Province well. For months, Sabumei travelled across the province, interviewing rural health workers, recent mothers and village leaders in remote areas, as well as the labour ward staff at Alotau Provincial Hospital where the phone line was based. He returned from his foray through the province with 44 interviews in his pocket. These interviews almost universally praised the pilot.

One rural worker heard of the free call service just before a woman presented with a retained placenta. ‘If this project was not here and I didn’t have any means to communicate, we could have lost this mother because she was already septicaemic,’ said the worker. ‘From anywhere, at any point, I can seek advice and help the patients.’

Almost all the interviews reflected positive responses. And even when a few of the respondents had something critical to say, they readily admitted that things were working better than before. For example, one labour ward staff member said ‘Answering an emergency call when you are busy attending to a mother in delivery is sometimes frustrating, but it’s part of our work.’ Beyond that, criticism was muted. Another labour ward member said that the initiative helped build relationships between the metropolitan staff and the rural areas.

In addition, Watson sought external validation from a health professional from a different province. Dr Derick Bintol, a PNG national, listened to a sample of recorded phone calls and analysed the clinical notes from a sample of 68 calls.

The evaluation found that despite the challenges of phone network downtime and distaste for seeking help from clinics amongst some cultures on outlying islands, the phone line had saved lives. Dr Bintol wrote: ‘There is very good evidence from the cases that lives of both mothers and babies have been saved. It was also evident that information exchanges in the phone calls were very educational, especially for the rural health staff who may encounter a similar problem in the next event.’ The evaluation also demonstrated that the advice given over the phone was useful and appropriate in most cases, and inappropriate (and thus potentially harmful) in 16% of the cases. This led Watson and Sabumei to recommend follow-up training to address the types of cases where bad advice had been given.

Captura de pantalla 2016-04-28 a las 4.30.26 p.m.When the evaluation was given to Naidi, he examined it carefully. ‘From the beginning, I liked the idea. I was excited,’ he says. What he wanted to know, though, was whether the line worked as well as the anecdotal feedback suggested, and whether the phone line was superior to the ailing radio network. While it was impossible to estimate how many lives had been saved, it was clear from the clinical evaluation that some women would have died without the service, and that rural health care workers felt the initiative reduced their isolation. ‘I wanted to know that it was effective. Eventually we were convinced, and we made a commitment to sustain it.’

And with that, the phone line’s future was secured. After two handover ceremonies, in Alotau and in the nation’s capital of Port Moresby, the Childbirth Emergency Phone line at last became an ongoing, sustainable reality.

What has surprised Watson has been the unexpected spin-offs from the evaluation. The lengthy report led to national and Australian media attention on maternal mortality. Newspapers, radio, and television all reported the evaluation’s findings. ‘The evaluation gave people ideas for the use of phone lines in health more broadly,’ she says. In the mountainous Western Highlands Province, for example, a broader scheme is now up and running – a call centre staffed by trained nurses who answer health questions from the general public.

For Billy Naidi, the value of the evaluation has also been demonstrated by proving the effectiveness of breaking down Papua New Guinea’s millennia-old isolation using modern technology. ‘With this phone number, you can be in a remote area, confronting a challenging situation, and you can be in an intimate conversation – as if you’re standing next to someone in the labour ward,’ he says. ‘After the evaluation, we were overwhelmingly happy!


The Childbirth Emergency Phone is a project of the Milne Bay Provincial Health Authority. Establishment and the evaluation were funded by the Government of Australia.

This story was writen by Jessica Kenway and Doug Hendrie. Drafts were reviewed by Billy Naidi, Chief Executive Officer of the Milne Bay Provincial Health Authority, and Amanda Watson, Mobile Communications Research Consultant, Economic and Public Sector Program.

Photographs were taken by Rawena Russell and Amanda Watson.

More information on the project is available at http://www.pngepsp.org/our-activities/mobile-4-development/maternal-hotline/maternal-hotline-overview.php.

Captura de pantalla 2016-04-28 a las 4.30.40 p.m.

Leave a comment

Filed under Uncategorized

#EvalStories 2: Tumekataa kula mavi tena! We refuse to eat shit! #Eval

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

Captura de pantalla 2016-04-16 a las 10.46.24 a.m.Of the world’s seven billion people, only 4.5 billion have access to toilets or latrines. The remaining 2.5 billion, most of whom live in rural areas, lack proper sanitation. And nothing spreads disease faster than open defecation. Indeed, Millennium Development Goal Number 7 is to halve the population of people living without adequate sanitation. Hence the idea for World Toilet Day, which takes place on 19 November each year.

Let us step back a few years to World Toilet Day in 2011. We’re in Murihi wa bibi, a village in the highlands of Kwale county along Kenya’s low-lying coastal strip.

Small children chase cockerels, which in a few hours will form part of the meal for the celebrations. Excitement is in the air. Why are the villagers of Murihi wa bibi celebrating? Quite simply, they are proud and exultant that there are no longer heaps of human excrement in the bushes. The community here, convinced that their age- old tradition of shitting in the bush can no longer be tolerated, has achieved a new level of freedom – freedom from disease.

The practice had to stop; there was no way it could continue. Not with such champions as Kingi Mapenzi, Peter Mwambaka, and Josephine Mbith, who went from household to household reminding residents of the need to stop eating shit, which is what happens in communities that practice open defecation in areas used for living and farming. Kingi and Mbith
are local community health workers while Mwambaka is the local government administrator. The three of them are typical of the network of local volunteers who work tirelessly to convince villagers to stop open defecation.

Captura de pantalla 2016-04-16 a las 10.46.43 a.m.Not that they are the first to do this. Sanitation has long been recognised as a serious health problem in Kenya. For years, dozens of local and international organisations have attacked the scourge of open defecation from a variety of directions. The results have been varied, but more often than not, the daunting task confronting these organisations put paid to their good intentions.

Realising that the task was simply beyond the reach of any single organization, a number of concerned individuals decided to pool their efforts – and more importantly, to position themselves as partners, not leaders, of the target communities. The idea was to lead from behind – to let the communities themselves guide the efforts to solve their common problem.

Ten of these concerned individuals decided to call themselves the Health Advocates Alliance. They registered as a legal entity with the government, but from the beginning the idea was to eschew branding and notoriety. The thinking was: If sanitation is going to work, it has to come about from the grass roots, not from outsiders. After all, villagers don’t care about the names of organisations. To emphasise the primary role of the community in this venture, the alliance adopted the term community-led total sanitation (CLTS) from a project in Bangladesh, where CLTS had proved successful in addressing open defecation.

The Alliance raises funds from a membership of 10 core individuals. These individuals are regular employees of various organisations and agencies. Although their expertise ranges from monitoring and evaluation to epidemiology, the common denominator is community health. Acting as individuals, each of the 10 members takes on remunerated consultancies from which they donate time and funding to Alliance activities. And since they work through and with community groups, the costs are minimal.

Captura de pantalla 2016-04-16 a las 10.47.03 a.m.It all started in 2007. An international NGO had triggered the project at Jaribuni village in Kilifi, a neighbouring county north of Mombasa. During the triggering session, a skilled facilitator, using various participatory methodologies, led the villagers to understand the terrible consequences of open defecation. The residents of Jaribuni collectively resolved to stop open defecation by building and using latrines in a time-bound campaign led by a local committee. They gave themselves 90 days to have everyone in the village using a latrine and the local monitoring committee went around documenting the progress. The village achieved open defecation free (ODF) status just 67 days after the triggering session. To showcase this achievement, the residents and volunteers organized a simple ceremony. They invited local health officials, who were extremely impressed by the simplicity of the approach – empowering communities to analyse their own sanitation profile and to make decisions based on the realisation that they were literally eating each other’s shit due to open defecation. And the cry went up: Tumekataa kula mavi tena! (‘We refuse to eat shit any longer!’ in Swahili).

As the CLTS movement spread across Kenya, especially the coastal region, communities remained at the forefront. It doesn’t work any other way. Passionate community workers like Kingi, Mbith, and Mwambaka, who tirelessly monitored the situation every day, provided the spark that ignited the process. But they knew that to achieve total sanitation the community had to truly embrace the idea. By explaining why ODF was necessary, they provided the spark. But once the engine was running with the community in the driver’s seat, their job was confined to monitoring.

Monitoring is essential if a triggered village is to attain ODF status. This is a lesson that CLTS practitioners in Kwale and Kilifi counties learned the hard way. Initially, they thought that a triggered village would automatically translate into ODF status. With time, the importance of monitoring – and monitoring committees – gained recognition. NGO workers designed monitoring tools that the committees could use to gauge progress and identify which households required special attention.

Through this process, female-headed households and households with very old people or people living with disabilities were identified. In many places, the monitoring committees mobilised young people to contribute labour by constructing toilets for households with occupants who lacked mobility. In cases where a household could not afford construction materials, the committee approached forest authorities with the progress data to show that these few households required special support to access such construction materials as logs. That they were successful in this endeavour is nothing less than astonishing. Never before had this government body granted permission to anyone to access timber. Such is the power of placing data in the hands of aggressive community members!

Captura de pantalla 2016-04-18 a las 7.14.51 p.m.Once a village attained ODF status, the residents, to show pride in their achievement, erected signposts proclaiming their achievement to the whole world and warning visitors that open defecation would not be tolerated in their turf.

Villages even started competing with one another. To outdo each other, they kept raising the bar. They said that the monitoring indicators put together by hygiene promotion experts was not comprehensive enough to truly stop residents from eating shit. They pointed out that merely building and using a latrine was inadequate. One community fabricated aperture covers to prevent flies from breeding within in the pits. Another community, to ensure the users did not forget to wash their hands after latrine use, introduced hand washing facilities with soap or ash next to the latrine. Rival villages insisted on assigning participants in the verification missions sent out to inspect communities for ODF status. They even visited the bushes previously used for open defecation to verify the absence of faeces. In one case, where all households in a Penda Nguo, a village in Kilifi county were found to have latrines, the sanitation and hygiene promotion experts had decided amongst themselves to confer OPF status on the village. But when a member of the committee from a rival village discovered a pile of fresh faeces in the bush, the committee was left powerless to act. The Penda Kula villagers eventually decided to put a public latrine and they were eventually declared ODF when no more signs of fresh faeces were found. These are not the actions of complacent people.

Without the active participation of communities in monitoring total sanitation, the hard work and dedication of health workers would result in nothing but tired bodies and disillusionment.

Captura de pantalla 2016-04-18 a las 7.15.17 p.m.Which brings us back to World Toilet Day 2011. A total of seven villages of Kwale county agreed to meet in Murihi wa bibi to celebrate their collective achievement. It was the first time that such a large number of villages would celebrate collectively. CLTS practitioners call it ‘strategic noise’. When a village – in this case seven villages – come together to formalise their refusal to eat shit, their neighbours have no option but to follow suit – to come and hear about the achievement and join in the strategic noise of celebration.

No less than the regional director of health is invited to witness their joy of saying no to unsanitary living. The strategic noise includes testimonials from villagers. Mzee Hamadi recalls how squatting out in the bush robbed him of his dignity. The fear of stepping on snakes at night and the nightmare of finding a dry spot in the grassy patch during the rainy season was too much for him. When the movement swept his village, he was more than glad to join and stop open defecation.

Captura de pantalla 2016-04-18 a las 7.15.32 p.m.His neighbour, Yusuf Ali, tells a different story. ‘At first,’ he said ‘I was not so glad. I didn’t see the importance of wasting effort and resources to build a house for shit.’ However, his wife noticed that their 2-year-old daughter Fatuma, who suffered chronic diarrhaea before Yusuf reluctantly built the family latrine, was now active and healthy. For the last 3 months, she informs the cheering gathering, Fatuma has not had diarrhaea. Even the health workers in the Mazumalume dispensary say they miss her because she no longer has to visit them. Siku hizi, twaenda hospitali kwa chanjo za kakake mdogo. (‘These days, we only visit the clinic for immunising Fatuma’s little brother.’)

The ceremony ends up with awarding of certificates to the ever-committed monitoring committee. Expressing his excitement, Kingi exclaims ‘Even my most troublesome set of villages are finally ODF!’

As a roving community health worker he knows his energy will be tested as he and his team plans to trigger Katangini, a village on the other side of the hill. But for now, he can relax and enjoy a sumptuous meal of pilau and chicken stew. Remember those cockerels?

Captura de pantalla 2016-04-16 a las 10.48.04 a.m.The revelry is well deserved. And what’s more? Unlike the last 2 years when Kingi had to travel to the next county, this year’s World Toilet Day celebration is happening right here in his village. What an honour, what a great way to put the finishing touches on a successful year – and to look forward to an even better one!


Redempta Muendo, Kwale County Public Health Officer; Haron Njiru, Programs Director, HEADS Alliance

Kingi Mapenzi, Peter Mwambaka, and Josephine Mbith: on the ground

Story writers: Njoroge Kamau and Eric McGaw

Captura de pantalla 2016-04-16 a las 10.48.22 a.m.

1 Comment

Filed under Uncategorized

#EvalStories 2: Tumekataa kula mavi tena! Nous refusons de manger de la merde ! #Eval

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français.

Captura de pantalla 2016-04-16 a las 10.48.22 a.m.Parmi les 7 milliards d’habitants que compte la planète, seulement 4,5 milliards ont accès à des toilettes ou à des latrines. Le reste – 2,5 milliards -, dont la plupart vivent dans les zones rurales, manquent d’assainissement adéquat. Et rien ne propage les maladies aussi vite que la défécation en plein air. En effet, l’objectif du Millénaire pour le développement numéro 7 est de réduire de moitié la population de personnes vivant sans installations sanitaires adéquates. D’où l’idée de la Journée mondiale des toilettes qui se tient le 19 novembre de chaque année.

Remontons quelques années en arrière à l’occasion de la Journée mondiale des toilettes de 2011. Nous sommes à Murihi wa bibi, un village situé dans les montagnes du comté de Kwale, le long de la bande côtière à basse altitude du Kenya.

Des petits enfants essayent d’attraper des coqs qui dans quelques heures feront partie du repas des célébrations. Il y a de l’excitation dans l’air. Pourquoi les villageois de Murihi wa bibi sont-ils en fête ? Ils sont tout simplement contents et manifestent leur joie parce qu’il n’y a plus de tas d’excréments humains dans les buissons. Convaincue que la vieille tradition, qui consistait à déféquer dans la brousse, ne peut plus être tolérée, cette communauté a atteint un nouveau degré de liberté : se mettre à l’abri de la maladie.

Cette pratique devait cesser ; elle ne pouvait plus continuer. Du moins, pas avec des champions comme Kingi Mapenzi, Peter Mwambaka et Josephine Mbith, qui sont passés d’un ménage à un autre pour sensibiliser les résidents sur la nécessité d’arrêter de manger de la merde, pratique qui se résume à ce qui suit : déféquer en plein air
dans les zones d’habitations et agricoles. Kingi et Mbith
sont des agents de santé communautaire locaux, tandis que Mwambaka est l’administrateur municipal. Tous les trois font partie du réseau de bénévoles locaux qui travaillent sans relâche pour convaincre les villageois d’arrêter de déféquer en plein air.

Toutefois, ils ne sont pas les premiers à entreprendre cette démarche. L’assainissement a longtemps été reconnu comme un grave problème de santé au Kenya. Pendant des années, des douzaines d’organisations locales et internationales se sont attaquées sur plusieurs fronts au fléau de la défécation en plein air. Les résultats ont été variables mais, le plus souvent, les difficultés auxquelles se sont heurtées ces organisations ont eu raison de leurs bonnes intentions.

Réalisant que la tâche était tout simplement au-delà de la portée d’une seule organisation, un certain nombre de personnes soucieuses ont décidé de mettre en commun leurs efforts et, surtout, de se positionner comme des partenaires des communautés cibles et non comme des dirigeants. L’idée était d’influencer dans l’ombre, en laissant les communautés guider elles-mêmes les initiatives visant à résoudre leur problème commun.Captura de pantalla 2016-04-16 a las 10.46.24 a.m.

Dix de ces personnes soucieuses ont décidé de se faire appeler la Health Advocates Alliance (Alliance pour les défenseurs de la santé). Elles se sont enregistrées en tant qu’entité juridique auprès du gouvernement, toutefois l’idée était depuis le début d’éviter toute image de marque et la notoriété. Le concept était le suivant : Pour résoudre les problèmes d’assainissement, les solutions doivent venir de l’interieur et non pas de l’extérieur. Après tout, les villageois ne se soucient pas des noms des organisations. Pour souligner le rôle primordial de la communauté dans cette entreprise, l’alliance a adopté le terme assainissement total piloté par la communauté (ATPC), inspiré d’un projet du Bangladesh où l’ATPC s’était avéré efficace dans la lutte contre la défécation en plein air.

L’Alliance collecte des fonds auprès de ses 10 principaux membres. Ces personnes sont des employés réguliers de diverses organisations et agences. Bien que leur expertise varie de l’évaluation et du suivi à l’épidémiologie, le dénominateur commun reste la santé communautaire. Agissant à titre individuel, chacun des 10 membres offre des services de conseil rémunérés qui leur permettent d’allouer du temps bénévole et du financement aux activités de l’Alliance. Et puisqu’ils travaillent par l’entremise de groupes communautaires, les coûts sont minimes.

Tout a commencé en 2007. Une ONG internationale avait lancé le projet dans le village Jaribuni à Kilifi, un comté voisin au nord de Mombasa. Au cours de la réunion de lancement, un animateur qualifié, utilisant diverses méthodologies participatives, a amené les villageois à saisir les conséquences néfastes de la défécation en plein air. Les résidents de Jaribuni ont unanimement décidé de mettre un frein à cette pratique par la construction et l’utilisation des latrines, cela dans le cadre d’une campagne à durée déterminée qui a été menée par un comité local. Ils se sont donnés 90 jours pour que tout le monde dans le village utilise des latrines et le comité local de suivi s’est chargé de documenter les progrès. Seulement 67 jours après la réunion de lancement, le village a atteint l’objectif Zéro défécation en plein air (Open Defecation Free, ODF). Pour mettre en valeur cette réalisation, les résidents et les bénévoles ont organisé une petite cérémonie. Ils ont invité les autorités sanitaires locales, qui ont été extrêmement impressionnées par la simplicité de l’approche basée sur l’autonomisation : permettre aux communautés d’analyser leur propre profil d’assainissement et ainsi prendre des décisions fondées sur le constat qu’ils mangeaient littéralement de la merde à cause de la défécation en plein air. Et tous crièrent à l’unisson : Tumekataa kula mavi tena! (« Nous refusons de manger de la merde ! » en swahili).

Captura de pantalla 2016-04-16 a las 10.46.43 a.m.À mesure que le mouvement ATPC se propageait à travers le Kenya, en particulier dans la région côtière, les communautés restaient à l’avant-garde de l’action. Ce n’est qu’ainsi que les choses fonctionnent. Des agents communautaires passionnés comme Kingi, Mbith et Mwambaka, qui effectuaient inlassablement un suivi des activités au quotidien, ont été l’étincelle qui a démarré le processus. Mais ils savaient que pour atteindre l’objectif d’assainissement total, la communauté devait véritablement adhérer à l’idée . En expliquant pourquoi l’objectif « Zéro défécation en plein air » était nécessaire, ils t fournissaient l’élément déclencheur. Mais une fois que le moteur s’était mis en marche avec la communauté aux commandes, leur travail était désormais restreint au suivi.

Le suivi est essentiel lorsqu’un village engagé vise l’objectif « Zéro défécation en plein air ». C’est une leçon que les pratiquants de l’ATPC dans les comtés de Kwale et Kilifi ont apprise à leurs dépens. Au début, ils pensaient que le simple fait qu’un village soit poussé à l’action lui conférait automatiquement le statut de « Zéro défécation en plein air ». Avec le temps, l’importance du suivi, et notamment les comités de suivi, a été reconnue. Les employés des ONG ont conçu des outils de suivi que les comités pourraient utiliser pour évaluer les progrès et identifier les ménages qui requièrent une attention particulière.

Grâce à ce processus, les ménages dirigées par les femmes et ceux avec des personnes très âgées ou des personnes vivant avec un handicap ont été identifiés. Dans de nombreux endroits, les comités de suivi ont mobilisé les jeunes pour qu’ils participent à la construction des toilettes pour les ménages abritant des personnes à faible mobilité. Pour les ménages qui n’avaient pas les moyens d’acheter des matériaux de construction, le comité a contacté des autorités forestières avec les données montrant le progrès pour montrer que ces quelques ménages avaient besoin d’un soutien spécial pour accéder à des matériaux de construction comme le bois. Les succès qu’ils ont engrangés dans cette entreprise sont tout simplement incroyables. Jamais auparavant ce corps du gouvernement n’avait accordé de permission à quiconque pour avoir accès au bois. Voilà le résultat obtenu lorsque des données sont confiées à des membres dynamiques de la communauté!

Une fois qu’un village obtenait le statut de « Zéro défécation en plein air », les résidents, pour manifester leur joie au regard de ce qu’il avait accompli, érigeaient des panneaux afin de brandir leur réalisation aux yeux du monde entier et de faire comprendre aux visiteurs que la défécation en plein air n’est plus tolérée sur leur territoire.

Captura de pantalla 2016-04-18 a las 7.08.53 p.m.Cela a même suscité une certaine concurrence entre les villages. Pour se surpasser les uns les autres, ils n’ont pas cessé de mettre la barre de plus en plus haute. Ils ont souligné que les indicateurs de suivi mis en place par des experts en matière de promotion de l’hygiène n’étaient pas assez complets pour empêcher véritablement les résidents de manger de la merde. De leur point de vue, la construction et l’utilisation de latrines seules étaient insuffisantes. Une communauté a fabriqué des couvercles pour empêcher les mouches de se reproduire dans les fosses. Une autre communauté a introduit des systèmes de lavage des mains avec du savon ou de la cendre à côté des latrines, pour s’assurer que les utilisateurs n’oublient pas de se laver les mains. Les villages rivaux ont insisté pour que des participants soient affectés dans les missions de vérification pour inspecter les communautés et s’assurer qu’elles obtiennent le statut « Zéro défécation en plein air ». Ils ont même visité les buissons précédemment utilisés pour la défécation en plein air pour s’assurer qu’ils étaient maintenant exempts de matières fécales. Dans un autre cas, où l’on a établi que tous les ménages de Penda Nguo, un village situé dans le comté de Kilifi, avaient des latrines, les experts en matière d’assainissement et de promotion de l’hygiène ont conjointement décidé de conférer un statut de « Zéro défécation en plein air » au village. Mais lorsqu’un membre de la commission d’un village rival a découvert un tas de matières fécales fraîches dans la brousse, le comité est resté impuissant face à cette situation. Les villageois de Penda Kula ont finalement décidé de mettre une latrine publique et leur village a finalement obtenu le statut de « Zéro défécation en plein air » lorsqu’aucun signe de matières fécales fraîches n’était plus visible. Des personnes complaisantes n’agiraient pas ainsi.

Sans la participation active des communautés dans le suivi de l’assainissement total, le travail acharné et le dévouement des agents de santé n’auraient abouti qu’à des corps épuisés et à la désillusion.

Captura de pantalla 2016-04-18 a las 7.08.38 p.m.Ce qui nous ramène à la Journée mondiale des toilettes de 2011. Au total, sept villages du comté de Kwale ont convenu de se rencontrer à Murihi wa bibi pour célébrer leur réussite collective. C’était la première fois qu’un si grand nombre de villages se réunissait pour organiser une telle célébration. Les agents de l’ATPC la décrivent comme étant un « bruit stratégique ». Quand un village, ou encore sept villages dans le cas présent, se réunissent pour officialiser leur refus de manger de la merde, leurs voisins n’ont d’autre choix que de faire de même : venir et entendre parler des réalisations et se joindre au bruit stratégique de célébration.

Captura de pantalla 2016-04-18 a las 7.15.55 p.m.Ils n’ont pas manqué d’inviter le directeur régional de la santé pour qu’il soit témoin de la joie qu’ils ont éprouvée à dire non aux conditions de vie insalubres. Le bruit stratégique comprend des témoignages de villageois. Mzee Hamadi se rappelle comment le fait de s’accroupir dans la brousse lui a volé sa dignité. Il n’en pouvait plus de la peur de marcher sur les serpents dans la nuit et de la difficulté à trouver un endroit sec dans l’herbe pendant la saison des pluies. Lorsque le mouvement s’est répandu dans son village, il était plus que ravi de le rejoindre et d’arrêter de déféquer en plein air.

Captura de pantalla 2016-04-16 a las 10.47.03 a.m.Son voisin, Yusuf Ali, raconte une tout autre histoire. « Au début », dit-il « je n’étais pas si heureux. Je ne voyais pas l’importance de gaspiller des efforts et des ressources pourconstruire une maison pour de la merde ». Cependant, sa femme a remarqué que Fatuma, leur fillette de 2 ans, qui souffrait de diarrhée chronique avant que Yusuf ne décide à contrecœur de construire la latrine familiale, était désormais active et en pleine santé. Depuis les 3 derniers mois, informe-t-elle l’assemblée enthousiaste, Fatuma n’a pas eu de diarrhée. Même les agents de santé du dispensaire de Mazumalume affirment qu’elle leur manque parce qu’elle ne les rend plus visite. Siku hizi, twaenda hospitali kwa chanjo za kakake mdogo. (« Aujourd’hui, nous ne nous rendons à la clinique que pour effectuer les vaccins du petit frère de Fatuma. »)

La cérémonie s’est achevée avec la remise de certificats au comité de suivi dont l’engagement est demeuré constant. Exprimant son enthousiasme, Kingi s’exclame : « Même mes villages les plus récalcitrants ont enfin le statut de « Zéro défécation en plein air » ! »

En sa qualité d’agent de santé communautaire itinérant, il sait que son énergie sera mise à rude épreuve alors que son équipe et lui entendent lancer le projet à Katangini, un village de l’autre côté de la colline. Mais pour l’instant, il peut se détendre et profiter d’un somptueux plat de pilaf et de ragoût de poulet. Vous rappelez-vous des coqs ?

Ce festin est bien mérité. Et quoi de plus ? Contrairement aux 2 dernières années où Kingi devait se rendre au comté voisin, la célébration de la Journée mondiale des toilettes de cette année se passe ici dans son village. Quel honneur, quelle excellente manière d’achever une année couronnée de succès, et d’espérer des lendemains encore meilleurs !
Captura de pantalla 2016-04-16 a las 10.48.04 a.m.


Redempta Muendo, Agent de santé publique du comté de Kwale

Haron Njiru, Directeur de programme, HEADS Alliance

Auteurs du récit : Njoroge Kamau et Eric McGaw

Leave a comment

Filed under Evaluation Stories, Evaluations that make a difference

#EvalStories 1:How an evaluation led to rapid change: Salvaging Sri Lanka’s small and medium businesses

Evaluations that make a difference is a collection of 8 evaluation stories from around the world which is one of the first pieces of systematic research looking at factors that contribute to high quality evaluations that are used by stakeholders to improve programs and improve people’s lives.  This initiative collected stories about evaluations that made a difference, not only from the perspective of the evaluators but also from the commissioners and users.  The stories in this collection tell powerful stories about the findings in the evaluations and the ways the evaluations contributed to the impact of the programs. You may access the report and all the stories here, in English, Spanish, and French.

In these weekly posts, we will be sharing each story… Comments are very welcome!!

Captura de pantalla 2016-03-16 a las 7.48.40 p.m.

Since the end of Sri Lanka’s long civil war in 2009, the nation’s economy has recovered at a startling rate. GDP growth now hovers between 6% and 8%. Peace has certainly brought dividends – tourism has rebounded, China has made large investments in infrastructure, and trains once again run the length of the pearlshaped island in the Indian Ocean, just off the southern coast of India.

But it’s not all good news. As peace returned, small and medium enterprises (SMEs) found to their chagrin that China, India, and Bangladesh had all but cornered the world’s export markets in mass manufacturing and textiles – at their expense. To add to their woes, the national government had paid little attention to the sector over the years. For the hundreds of business owners renting land in the 18 government-owned industrial estates managed by the Industrial Development Board (IDB), the economic boom seemed to have all but passed them by.

The list of complaints was long and detailed. Rents were out of control, with some more than doubling year after year. And even when rents were paid, there seemed to be no correlation to the quality of infrastructure. Roads were more potholes than asphalt, electricity was unreliable, and coordinated marketing simply lacked focus. Although the government was investing heavily in national infrastructure, smaller businesses appeared to have been overlooked. R.S. Balanathan, the managing director of handloom silk exporter Ko Lanka, says all the industries in the estates were undeveloped. ‘The roadways were bad, and the rents were very high,’ he says.

In 2013, the situation began to change. The Ministry of Traditional Industries and Small Enterprise Development commissioned a comprehensive evaluation of the sector in 2013. A team of independent evaluators led by Ajith Ekanayaka began travelling to each of the 18 estates across the country to examine the issues plaguing the sector and to suggest direct solutions. Ekanayaka made it clear that this evaluation would not be relegated to a filing cabinet but would be put to immediate use.

Captura de pantalla 2016-03-16 a las 7.48.22 p.m.For five months, the evaluators gathered their material, forming focus groups for industrial associations and interviewing managers and district officers. The three broad problems that came up again and again were decaying infrastructure, exorbitant rents, and expensive loans. Some had special concerns. Metal industrialists, for instance, could not lay their hands on raw materials because almost all scrap metal was being exported. The evaluation also found that some estates were being used to build housing by the owners of failed SMEs. The longterm weakness of the sector meant that employment for ethnic minorities and the rural poor – who provided much of the workforce in the estates – also suffered.

The evaluation report gave voice to longstanding grievances and recommended sweeping changes. What was needed, argued Ekanayaka, was direct intervention by the national government. The secretary of the small enterprise ministry, Velayuthan Sivagnanasothy, seized on the findings. He asserts:

The evaluation showed that the IDB was a mere rent collector and not improving the estates. With an evaluation like this, change would be far easier to generate. The evaluation process was a platform serving to carry the voices of the voiceless to the highest level of policy makers.

He took the evaluation to all relevant cabinet ministers to secure their support. With the cabinet on side, there was no way the issues raised by the evaluation could be ignored.

And so it came to pass. The ministry drafted a national policy on SME development, consulting widely and drawing on the expertise and advice of other ministries and agencies. But even before the policy could be adopted, change began to ripple outwards. The evaluation’s actionable recommendations had buy-in. Why?

Captura de pantalla 2016-03-16 a las 7.40.40 p.m.

Because policymakers had given frequent input through scoping sessions, and the evaluation was built on abroad, credible base of evidence and data as well as strong connections to stakeholders. According to Sivagnanasothy, a great deal has come from this single evaluation. He recalls:


When the rents went up, industrialists used to shout and cry: How can we afford it? We were able to convince the central government to cap rent increases at 7% annually. That’s a predictable environment, which is an enabling environment. Not only that, but the introduction of targeted loans with lower interest and longer grace periods meant that SMEs could now expand their operations more easily. In each of the estates, factory production is up, and with it, SME profits, leading to more jobs. It’s trickled down to the rural villages.

A tangible shift in attitude amongst IDB management towards the SMEs was confirmed by Ratnamalala, who praised the evaluation for what it revealed. ‘We expanded our service delivery and created a shift in mindsets of our officers to be more development oriented.’

The shift for the IDB was significant, with the agency undergoing a restructure in order to shift from a reactive to a proactive stance. The IDB now focuses on training, access to raw materials (such as previously scarce scrap metal), and access to credit. Not only that, but the rental income earmarked for infrastructure improvement around the estates was increased tenfold, from as little as 2–3% percent to 20–30% of the rent paid.

To address the problem of access to credit, the government rolled out a special scheme with concessionary rates to boost access. Joint marketing schemes were introduced to give potential buyers a streamlined way of examining the range and quality of products. Ailing SMEs can now gain access to a ‘nursing programme’ to bring them back to health, while the rules for gaining entry have been made more stringent to cut down on residential use of industrial estates. And the metal industries were given a lifeline at the expense of the scrap merchants, with a ban on the export of scrap. The amount injected into infrastructure upgrades immediately following the evaluation was 305 million Sri Lankan rupees (US$2.3 million), with more on the way. For IDB director general Ratnamalala, another benefit of the evaluation is simply being heard. ‘We have direct access to central government,’ he says. ‘Now, with these improvements, we will see growth in our industrial estates.’

Captura de pantalla 2016-03-16 a las 7.42.17 p.m.

On the ground, results of these rapid evaluation-led changes have been impressive. The voices of small and medium industrialists have been heard, and the lines of communication with government are open.

For silk exporter Balanathan, the result has been more cash in his pocket – and that means expansion into his key markets in Europe and the Middle East. From 100 employees in 2013, he now employs 130. ‘We have strong competition with China and Bangladesh,’ he says, ‘but these changes make us more competitive. Now, we have higher silk production than they do. We can beat them!’


Velayuthan Sivagnanasothy, Secretary, Ministry of Traditional Industries and Small Enterprise Development (sivagnanasothy@ hotmail.com) commissioned the evaluation of the SME Industrial Estate Programme and used the evaluation recommendations that led to policy changes and programmatic actions that made changes in people’s lives.

Ajith Ekanayake, Independent M&E Consultant, led the evaluation team.

Vaidehi Anushyanthan, Assistant Director, Ministry of Finance, cochaired the evaluation as focal point of the Government’s National Evaluation Department.

Story writers: Jessica Kenway and Doug Hendrie.

1 Comment

Filed under Uncategorized

#EvalStories 1: Récit d’une #évaluation ayant entraîné un changement rapide: sauver les petites et moyennes entreprises du Sri Lanka. #eval

Les évaluations qui font la différence est une collection de 8 histoires d’évaluation à travers le monde, qui est l’une des premiers aspects de recherche systématique des facteurs qui contribuent à des évaluations de qualité supérieure qui sont utilisées par les parties prenantes pour améliorer les programmes et la vie des personnes. Cette initiative recueille des histoires au sujet Les évaluations qui ont fait une différence, non seulement du point de vue des évaluateurs, mais aussi des commissionnaires et des utilisateurs. Les histoires dans cette collection présentent des études de cas très intéressantes à propos des résultats d’une évaluation et les procédés par lesquelles les évaluations ont contribué à l’impact des programmes. Le rapport contenant toutes les histoires avec études de cas est disponible ici, en Anglais, Espagnol et en Français.


Depuis 2009, date à laquelle s’est achevée la longue guerre civile qu’a connue le Sri Lanka, le rétablissement du pays se fait à un rythme impressionnant. Le PIB du payCaptura de pantalla 2016-03-16 a las 7.48.40 p.m.s varie aujourd’hui entre 6 et 8 %. La paix a sans aucun doute mené à de nombreux avantages : le tourisme a rebondi, la Chine a beaucoup investi dans les infrastructures, et les trains ont recommencé à circuler le long de cette île de l’Océan Indien, dont la forme ressemble à celle d’une perle, à proximité de la côte méridionale de l’Inde.

Toutefois, les nouvelles n’étaient pas toutes bonnes. Alors que revenait la paix, les petites et moyennes entreprises (PME) ont découvert, à leur plus grand désarroi que la Chine, l’Inde et le Bangladesh s’étaient accaparés, pendant les années de guerre, la plupart des marchés mondiaux de l’exportation, notamment ceux de la production de masse et du textile, cela à leurs dépends. Comme si cela ne suffisait pas, le gouvernement national n’a accordé que très peu d’attention au secteur des PME pendant des années. Pour les centaines d’entrepreneurs louant des terres dans les 18 zones industrielles appartenant au gouvernement et administrées par le Comité de développement industriel (« Industrial Development Board, IDB »), le boom économique semblait avoir profité à tout le monde sauf eux.

La liste des griefs formulés par les PME était longue et détaillée : les loyers augmentaient de manière démesurée, certains ayant même plus que doublé d’une année à l’autre. Et quand bien même ceux-ci étaient payés, la qualité des infrastructures semblait ne pas correspondre aux frais de location. En plus, les routes comptaient plus de nids de poule que d’asphalte, l’approvisionnement en électricité était peu fiable, et la stratégie coordonnée de commercialisation manquait d’orientation. Malgré les lourds investissements du gouvernement dans le secteur des infrastructures nationales, les PME semblaient avoir été négligées.

Selon R.S Balanathan, le directeur général de Ko Lanka, une société spécialisée dans l’exportation de la soie de fabrication artisanale, toutes les entreprises de la zone industrielle étaient sous-développées. « Les routes étaient en mauvais état et les loyers très élevés », a-t-il indiqué.

En 2013, la situation a commencé à changer lorsque le ministre de l’industrie artisanale et du développement des petites entreprises a commandé une évaluation complète du secteur. Une équipe d’évaluateurs indépendants, conduite par AjithEkanayaka, a commencé à travailler dans chacune des 18 zones industrielles du pays pour analyser les problèmes qui plombaient le secteur et suggérer des solutions concrètes. Ekanayakaa a clairement indiqué que cette évaluation n’allait pas dormir dans un tiroir, mais que ses résultats allaient être immédiatement appliqués.

Captura de pantalla 2016-03-16 a las 7.48.22 p.m.Pendant cinq mois, les évaluateurs ont rassemblé les données nécessaires, notamment en menant des groupes de discussion regroupant les associations industrielles et en menant des entretiens avec les directeurs et les responsables de district. Les trois principaux problèmes souvent discutés lors des discussions étaient la vétusté des infrastructures, le coût exorbitant des loyers et des prêts très coûteux. Certaines personnes interrogées avaient aussi des préoccupations particulières. Par exemple, les producteurs de métaux n’avaient pas accès aux matières premières parce que presque tous les débris métalliques étaient exportés. L’évaluation a également permis de constater que certains terrains des zones industrielles étaient utilisés pour la construction de logements par les propriétaires de PME en difficulté. Les difficultés prolongées que connaissait le secteur avaient également des répercussions négatives sur les possibilités d’emploi pour les minorités ethniques et les personnes démunies des zones rurales qui constituent la principale main-d’oeuvre des zones industrielles.

L’évaluation s’est fait l’écho des griefs de longue date et a recommandé des changements drastiques. Selon Ekanayaka, il était indispensable que le gouvernement central intervienne directement. Velayuthan Sivagnanasothy, le secrétaire du ministre des petites entreprises, s’est saisi des résultats. Il reconnait que :

L’évaluation a démontré que l’IDB se limitait uniquement à la collecte des loyers sans se préoccuper de l’entretien des zones industrielles. Avec une évaluation comme celle-ci, il sera plus facile de provoquer le changement. L’évaluation a servi de plateforme pour porter la « voix des sans voix » au plus haut niveau des décideurs politiques.

Il a présenté les résultats de l’évaluation à tous les ministres concernés pour obtenir leur soutien. Avec le soutien des ministres, il était désormais impossible d’ignorer les problèmes soulevés par l’évaluation.

Et le rêve devint réalité. Après avoir largement consulté les autres ministres et agences et s’appuyant sur leur expertise et leurs conseils, le ministre en charge des petites entreprises a élaboré une politique nationale sur le développement des PME. Cependant, des changements ont commencé à se faire ressentir bien avant l’adoption de la politique. Les recommandations concrètes de l’évaluation avaient commencé à porter fruit. Pourquoi ?

Captura de pantalla 2016-03-16 a las 7.40.40 p.m.D’une part parce que les décideurs politiques avaient régulièrement pu partager leurs points de vue pendant des séances de cadrage, et d’autre part parce que les résultats de l’évaluation étaient fondés sur un ensemble d’éléments et de données crédibles et variés, ainsi que sur des liens étroits avec les parties prenantes. Selon Sivagnanasothy, cette évaluation a, à elle seule, produit un grand nombre de résultats. Il se souvient :

Lorsque les loyers ont grimpé, les industriels ne cessaient de se plaindre et de se lamenter, ayant pour seule question : Comment allons nous y parvenir ? Nous avons pu convaincre les pouvoirs centraux de plafonner la hausse des loyers à 7 % par an. Il s’agit donc d’un environnement à la fois prévisible et propice. En plus, l’introduction des prêts ciblés avec de faibles taux d’intérêt et des délais de remboursement plus longs signifiait que les PME pouvaient désormais étendre leurs activités plus aisément. Dans chacune des zones industrielles, on observe désormais une hausse de la production en usine dont la conséquence est la croissance des profits pour les PME, ce qui se traduit par la création de nouveaux emplois. Il y a même eu des retombées sur les villages ruraux.

Ratnamalala a également confirmé un changement d’attitude de la direction de l’IDB à l’égard des PME, et a félicité l’évaluation pour les pistes d’amélioration qu’elle suggère d’explorer. « Nous avons élargi nos prestations de services et avons pu provoquer un changement de mentalité chez nos agents pour qu’ils adoptent une démarche plus axée sur le développement ».

Le changement qu’a connu l’IDB était important, notamment dans le sens où l’agence a subi une restructuration afin de passer d’une approche réactive à une attitude proactive. L’IDB se concentre désormais sur la formation, l’accès aux matières premières (par exemple les débris métalliques rares) et l’accès au crédit. En outre, les recettes tirées de la location et destinées à l’entretien des infrastructures dans les zones industrielles ont été décuplées, passant de 2-3 % à 20-30 % du loyer payé.

S’agissant de l’accès au crédit, le gouvernement a répondu au problème en déployant un plan spécial avec des taux préférentiels. Des plans de commercialisation conjointe ont été introduits pour proposer aux acheteurs potentiels une méthode rationalisée d’analyse de la gamme et de la qualité des produits. Les PME en difficulté peuvent désormais bénéficier d’un plan de sauvetage qui leur permet de se remettre sur pied, alors que les modalités d’accès ont été renforcées pour réduire l’utilisation des zones industrielles à des fins de logement. Par ailleurs, les entreprises métallurgiques ont reçu des bouées de sauvetage aux dépens des marchands de ferraille, avec une interdiction d’exporter cette dernière. Les montants injectés immédiatement après l’évaluation dans l’amélioration des infrastructures étaientà hauteur de 305 millions de roupies srilankaises (2,3 millions de dollars américains), et d’autres d’investissements sont planifiés.

Pour Ratnamalala, le directeur général de l’IDB, un autre avantage de l’évaluation est tout simplement d’avoir été écouté. « Nous avons un accès direct aux pouvoirs centraux », affirme-t-il. « Désormais, avec ces améliorations, nous verrons la croissance dans nos zones industrielles ».

Captura de pantalla 2016-03-16 a las 7.42.17 p.m.Sur le terrain, les résultats de ces changements rapides, induits par l’évaluation ont été impressionnants. Les doléances des industriels du secteur des PME ont été entendues, et les lignes de communication avec le gouvernement sont ouvertes.

Balanathan, un exportateur de soie, a indiqué que le résultat de l’évaluation s’est traduit chez lui par la hausse de ses recettes, ce qui signifie pour lui une expansion de ses activités dans les marchés clés d’Europe et du Moyen-Orient. De 100 employés en 2013, il est passé aujourd’hui à 130. « Nous faisons face à une forte concurrence exercée par la Chine et le Bangladesh », confie-t-il, « mais ces changements nous ont rendus plus compétitifs. Aujourd’hui, notre production de soie est supérieure à la leur. Oui, nous pouvons leur damer le pion ! »


Velayuthan Sivagnanasothy, Secrétaire, Ministère de l’industrie traditionnelle et du développement des petites entreprises (sivagnanasothy@hotmail.com). Il a ordonné l’évaluation du programme de la zone industrielle des PME et a utilisé les recommandations de l’évaluation, ce qui a conduit à un changement des politiques et à des actions sur le programme qui ont entraîné des changements dans la vie des populations.

Ajith Ekanayake, Consultant en suivi-évaluation, responsable de l’équipe d’évaluation.

Vaidehi Anushyanthan, Directeur adjoint, Ministère des finances, coprésident de l’évaluation en qualité de point focal du Département d’évaluation nationale du Gouvernement.

Auteurs des récits : Jessica Kenway et Doug Hendrie.

Leave a comment

Filed under Evaluation benefits, Evaluation Stories

“Evaluations that Make a Difference 2015” now available online

We are thrilled to announce that Evaluations that make a difference 2015 is now available online! The publication is available in English, French and Spanish at:  https://evaluationstories.wordpress.com/evaluation-story-publications/.

In addition to the 8 stories about evaluations that have made a difference in people’s lives, the publication teases out the “enabling factors” that contributed to their impact, highlighted for the benefit of evaluators and evaluation users who want to do more impactful evaluations.

We’re really proud of the publication and think it will be a useful resource to the evaluation community. The citation for the publication is: Evaluations that make a difference. (2015). Retrieved from https://evaluationstories.wordpress.com/evaluation-story-publications

1 Comment

Filed under Uncategorized

Preview of evaluation story submission #4

In the lead-up to EvalYear 2015 we will preview each of the 10 submissions selected from our International Call for Evaluations that Make a Difference. A different preview will be posted every few days and in random order.

Today’s submission is from Mexico and describes the impact of several qualitative evaluations of the program Progresa / Oportunidades.  This has been one of the pioneers of conditional cash transfer programs in Latin America.  In 2013 the program reached about one fifth of the total Mexican population. The goal of the program is to interrupt the intergenerational transmission of poverty through action in education, health and nutrition.

Qualitative evaluations of the program had an impact on operations and procedures that resulted in health and education benefits for the target population. Along with this, the evaluations impacted positively on the empowerment of women, income for the elderly, and the targeting of the indigenous population.

To learn more about how and why this evaluation ‘made a difference’ you can download the original submission (in Spanish) and read an addendum (in English or Spanish).

Historia de las evaluaciones de Oportunidades_Escobar_González_de la Rocha_Yaschine



All 10 submissions are currently being developed into engaging stories and will be published in English, Spanish and French during EvalYear 2015.

Leave a comment

Filed under Uncategorized

Preview of evaluation story submission #3

In the lead-up to EvalYear 2015 we will preview each of the 10 submissions selected from our International Call for Evaluations that Make a Difference. A different preview will be posted every few days and in random order.

Today’s submission is from Canada and describes the evaluation of the Patient Wait-times Guarantee project in a remote, First Nation (i.e. Aboriginal) community. The project aimed to involve the community in collecting local data to monitor wait times for prenatal care and diabetes. However, once the community was empowered to collect and interpret their own data, so much more was accomplished!

Through local data collection and participatory evaluation processes, First Nations communities involved in the project gained confidence and skills in asking questions and collecting, analyzing and interpreting data in order to understand and respond more effectively to the health needs of their population. In at least one community this resulted in earlier identification of gestational diabetes and pre-eclampsia with the potential to reduce morbidity and mortality among pregnant women and newborns.

Evaluation was incorporated into this project from the start. Also, from the start, the project was developed through an equal and respectful partnership between Health Canada and the Assembly of First Nations.

To learn more about how and why this evaluation ‘made a difference’ you can download the original submission: Patient-wait-time-guarantees-in-First-Nation-communities_Canada.

All 10 submissions are currently being developed into engaging stories and will be published in English, Spanish and French during EvalYear 2015.

Leave a comment

Filed under Uncategorized