7.5 Evaluation de la riposte


L’évaluation de l’intervention peut être exhaustive (analyse de chaque activité et stratégies) ou ciblée sur certaines activités et/ou stratégies.
Elle étudie différents aspects : efficacité, accessibilité, réactivité, sécurité et qualité, mobilisation des ressources.

Dès le début de l’intervention, définir les objectifs et les indicateurs, s’assurer que les outils permettant de collecter les données sont disponibles et que le personnel est formé à leur utilisation.

Certains indicateurs sont collectés en routine tout au long de l’épidémie. D’autres sont collectés lors de visites sur le terrain dans un échantillon d’établissements de soins ou sites de vaccination, selon une méthodologie et avec des outils spécifiques, établis dès le début de l’intervention. Les informations sont compilées et analysées en fin d’épidémie.

Un rapport final d’évaluation de l’intervention est rédigé et présenté au comité de gestion de l’épidémie. Il consiste en une analyse critique des interventions menées et formule des recommandations pour améliorer la prochaine riposte. Il se base sur les tableaux d’évaluation présentés ci-après.

7.5.1 Évaluation de la surveillance

IndicateursDonnées nécessairesSource/outils de collecteMéthodeCommentaires
Efficacité opérationnelle

Proportion
d’établissements disposant de la définition de cas

– Nombre d’établissements où la définition de cas est disponible
– Liste des établissements de soins par niveau

– Liste des établissements de soins
– Définition de cas présente dans l’établissement
– Grille de supervision/observation

Visite d’un échantillon d’établissement de soins

Faire particulièrement attention aux structures périphériques

Résultat attendu : 100%

Proportion
d’établissements
transmettant les fiches hebdomadaires de surveillance

– Nombre d’établissements qui envoient la fiche de surveillance chaque semaine
– Nombre total d’établissements de soins

– Formulaire de suivi hebdomadaire de réception des données de surveillance
– Liste des établissements de soins

Exhaustif, sur la durée de l’épidémie

Résultat attendu : 100%

Délai de transmission des fiches hebdomadaires de surveillance

– Date de transmission des fiches hebdomadaires de surveillance
– Délai d’acheminement des données de surveillance en jours

– Liste des établissements de soins
– Fiches hebdomadaires de surveillance
– Formulaire de suivi hebdomadaire de réception des données de surveillance

Exhaustif, sur la durée de l’épidémie

Résultat attendu :
1 semaine

Surveillance biologique

% des prélèvements
positifs

– Nombre de prélèvements réalisés par type d’examen demandé
– Nombre de prélèvements positifs

– Registre des examens biologiques
– Fiche de renseignements prélèvement biologique

Exhaustif, sur la durée de l’épidémie, sur les districts sentinelles


Délai de confirmation
biologique (délai entre l’identification des premiers cas et la
confirmation biologique)

– Date et localisation des premiers cas
– Date des premiers résultats positifs

– Formulaire de surveillance hebdomadaire
– Registre de laboratoire ou fiche de renseignements de prélèvement biologique

– Analyse des formulaires de surveillance hebdomadaire ou des registres des établissements de soins
– Analyse des registres de laboratoire

Résultat attendu :
1 à 2 semaines max.

Surveillance des MAPI

Existence d’une
surveillance des MAPI

– Système de surveillance existant

– Médecin chef de district, responsable de la surveillance

Interview

Incidence des MAPI
graves

– Nombre de MAPI par classe d’âge et lieu sur la période
– Nombre de personnes vaccinées au cours de la campagne

– Feuille de notification individuelle des MAPI rougeole
– Tableau de synthèse des MAPI
– Feuille de pointage de vaccination ou rapports d’activités des campagnes

– Exhaustif
– Période : durée de la campagne de vaccination et 30 jours après la fin de la campagne


Répartition des MAPI
graves par cause
(programmatique,
vaccins, coïncidence,
inconnu)

– Nombre total de MAPI graves par cause

– Feuille de notification individuelle des MAPI rougeole
– Tableau de synthèse des MAPI
– Liste et classification des causes de MAPI

– Exhaustif
– Période : durée de la campagne de vaccination et 30 jours après la fin de la campagne


7.5.2 Évaluation de la prise en charge des patients

IndicateursDonnées nécessairesSource/outils de collecteMéthodeCommentaires
Efficacité
Létalité déclarée

– Nombre de cas et de décès par unité administrative (région, district, etc.)
– Par établissements, par semaine et cumulée

– Fichier Excel de surveillance de la rougeole

Analyse du fichier Excel de surveillance de la rougeole

Facilement mesurable si le système de surveillance est efficace

Résultat attendu : < 5%

Létalité globale et
spécifique par âge, par structure
(hôpital, centre de santé)

– Nombre de cas et de décès enregistrés par âge, par établissement, pour la période épidémique

– Registre des cas de rougeole

– Calcul pour chaque hôpital
– Calcul sur un échantillon de centres de santé tirés au hasard

Élimine le biais dû à un système de surveillance non fiable

Résultats attendus :
– Centre de santé : < 5%
– Hôpital : < 15%

Accessibilité

Proportion
d’établissements
fonctionnels
approvisionnés en
traitement pendant
l’épidémie

– Nombre d’établissements approvisionnés par unité
administrative
– Liste et niveau des établissements existants par unité administrative

– Formulaire de dotation
– Fiche de stock
– Fichier Excel de suivi de la disponibilité en traitements

Analyse détaillée des feuilles de dotation et de la liste des établissements de santé

Vérifier que tous les établissements de soins sont fonctionnels

Résultat attendu : 100%

Proportion
d’établissements disposant du protocole de traitement

– Nombre d’établissements où le protocole est disponible
– Liste et niveau des établissements de soins

– Protocole présent dans l’établissement
– Grille de supervision/observation

Visite d’un échantillon d’établissements de soins

Protocole en langue nationale

Résultat attendu : 100%

Proportion
d’établissements qui ont eu une rupture de stock en traitements

– Rupture de stock constatée au niveau du district : date et durée
– Nombre d’établissements qui ont eu un stock à zéro
– Liste et niveau des établissements de soins

– Fiche de stock
– Formulaire de dotation
– Fichier Excel de suivi de la disponibilité en traitements
– Grille de supervision/observation

– Analyse détaillée des fiches de stock, formulaires de dotation et fichier de suivi de la disponibilité en traitements
ou
– Visite d’un échantillon d’établissements et vérification des fiches de stock

Analyse systématique au niveau du district

Résultat attendu :
aucune rupture

Réactivité

Délai d’approvisionnement
en traitements spécifiques
(délai entre la déclaration
des premiers cas et
approvisionnement en
traitement)

– Date à laquelle les premiers cas ont été rapportés
– Date d’arrivée des traitements spécifiques dans l'établissement

– Fichier Excel de surveillance des cas de rougeole
– Fiche de stock
– Formulaire de dotation
– Fichier Excel de suivi de la disponibilité en traitements

Analyse détaillée des :
– Fichiers Excel de surveillance des cas de rougeole
– Formulaires de dotation
– Fiches de stock
– Fichier Excel de suivi de la disponibilité en traitements

Faire spécialement attention aux structures périphériques

Résultat attendu :
1 à 2 semaines

Délai entre l’alerte au
niveau d’une aire de santé et l’approvisionnement en traitements spécifiques des structures du district
(hôpital, centre de santé)

– Liste des structures de santé approvisionnées et
date
– Pour chaque aire de santé : date de l’alerte épidémique

– Fichier Excel de surveillance des cas de rougeole
– Fiche de stock
– Formulaire de dotation
– Fichier Excel de suivi de la disponibilité en traitements

Analyse détaillée des :
– Fichiers Excel de surveillance des cas de rougeole
– Formulaires de dotation
– Fiches de stock
– Fichier Excel de suivi de la disponibilité en traitements

Faire spécialement attention aux structures périphériques

Résultat attendu :
1 semaine

Sécurité/Qualité

Proportion de cas traités selon le protocole recommandé

– Nombre de cas
– Nombre de cas traités selon le protocole
– Nombre de cas pour lesquels le protocole n’a pas été suivi

– Protocole recommandé
– Grille d’évaluation

Sur un échantillon de structures, analyse des :
– registres des cas
– fiches de traitements ou tout autre document indiquant le traitement reçu

Faire spécialement attention aux structures périphériques

Résultat attendu : 100%

Sécurité des injections

– Nombre d’établissements utilisant des conteneurs de sécurité
– Nombre d’hôpitaux disposant d’un incinérateur

– Grille d’évaluation

Visite d’un échantillon d’établissements et observation

Résultat attendu : 100%
Coût
Coût par patient traité

– Coût total du volet curatif de l’intervention
– Nombre de patients traités

– Factures
– Documents de comptabilité

Ces coûts comprennent : les médicaments, le matériel, les transports et le personnel

Nécessite une préparation avec le personnel de la comptabilité

7.5.3 Évaluation de la vaccination

IndicateursDonnées nécessairesSource/outils de collecteMéthodeCommentaires
Efficacité
Efficacité vaccinale

– Définition de cas
– Nombre total des cas
– Nombre de cas vaccinés et non vaccinés
– Couverture vaccinale

– Registre des cas de rougeole ou line listing
– Cartes de vaccination

Plusieurs méthodes :
– évaluation rapide
– enquête cas/témoin ou cohorte
Sur un ou plusieurs lieux sélectionnés

Réalisé par un épidémiologiste (voir Section 7.6)

Résultat attendu : > 80%

Nombre de cas évités par la vaccination

Fraction préventive

– Données démographiques
– Nombre total de cas par semaines
– Nombre de doses administrées par lieu
– Couverture vaccinale par lieu
– Dates des campagnes de vaccination

– Fichier Excel de surveillance des cas de rougeole
– Fichier Excel de synthèse de vaccination
– Rapport de vaccination du district
– Résultats des enquêtes de couverture vaccinale
– Planning des équipes

– Sur un échantillon de lieux
– Calcul séparé entre zone rurale et urbaine pour le district

Réalisé par un épidémiologiste

Accessibilité

Couverture vaccinale par classe d’âge, par lieu

– Nombre de doses administrées : total, par classe d’âge, par lieu
– Données démographiques et population cible par classe d’âge, par lieu

– Fichier Excel synthèse des vaccinations rougeole
– Carte de vaccination (si enquête)

– Analyse des recueils de données
– Enquête de couverture vaccinale (sur carte de vaccination ou sur histoire)

Résultats attendus :
– zone urbaine : 100%
– zone rurale : 80% (selon les objectifs)

Proportion de sites qui n’ont pas eu de rupture de stock en vaccins ou SAB

– Date et durée des ruptures de stock au niveau du district
– Nombre de district qui ont eu une rupture de stock
– Liste des lieux et sites de vaccination

– Fiche de stock
– Formulaire de dotation
– Fichier Excel de suivi de l’approvisionnement en vaccins et matériel

– Analyse des documents
ou
– Visite d’un échantillon de districts et sites de vaccination et vérification des fiches de stock du district

En fin de campagne :
– Analyse systématique au niveau du district
– Faire spécialement attention aux activités périphériques

Résultat attendu : 100%

Réactivité

Délai entre l’alerte épidémique et le début et la fin de la campagne de vaccination
(quand l’épidémie est confirmée)

– Date de l’alerte
– Date de début et de fin de la campagne

– Fichier Excel de surveillance des cas de rougeole
– Fichier Excel de synthèse de vaccination
– Rapport d’intervention

– Exhaustif si possible
– Calcul du délai par lieu

Calculé en fin de campagne
Analyser séparément zone urbaines et rurales

Résultat attendu:
2 à 3 semaines (début de la campagne

Nombre de personnes vaccinées par jour et par
équipe

– Durée de la campagne : date par lieu (séparer zones urbaines et rurales)
– Nombre de doses administrées par lieu
– Nombre d’équipes par jour et par lieu

– Feuille de pointage
– Fichier Excel de synthèse de vaccination
– Rapport d’intervention
– Planning des équipes de vaccination

– Exhaustif si possible
ou
– Calculé sur un échantillon de lieux tirés au hasard

Analyser séparément zones urbaines et rurales

Résultats attendus :
– zone urbaine : 1000/jour
– zone rurale : variable selon le contexte

Sécurité/Qualité

Taux d’utilisation des vaccins

– Nombre de doses injectées
– Nombre de doses utilisées

– Fichier Excel de synthèse de vaccination
– Fiches de stock

Exhaustif tout au long de la campagne

Résultat attendu : ≥ 85%
(perte ≤ 15%)

Ratio des SAB utilisées / nombre de conteneurs de sécurité utilisés

– Nombre de SAB utilisées
– Nombre de conteneurs de sécurité utilisés

– Fichier Excel de synthèse de vaccination
– Fiche de stock
– Rapport d’activité des équipes
– Fichier de suivi de l’approvisionnement en vaccins et matériel

– Exhaustif
ou
– Sur échantillon de sites tirés au hasard

Le ratio ne doit pas être supérieur à la capacité maximale des boîtes utilisées

Résultats attendus :
– boîte 5 l : 100 SAB
– boîte 15 l : 400 SAB

Proportion de personnel s’étant piqué au cours de la campagne (AES)

– Nombre de personnes s’étant piquées au cours de la campagne
– Nombre total de personnel

– Formulaire de déclaration des AES
– Questionnaire spécifique

– Analyse exhaustive (si déclaration des AES mis en place)
ou
– Échantillon de personnel tiré au hasard (utilisation d’un questionnaire

Si utilisation du questionnaire, vérifier l’application de la procédure recommandée en cas d’AES

Proportion de réfrigérateurs possédant une feuille de surveillance de la T° à jour

– Nombre de réfrigérateurs utilisés pour la campagne
– Nombre de réfrigérateurs possédant une feuille de surveillance de la T° à jour

– Liste des réfrigérateurs utilisés pour stocker les vaccins
– Feuilles de surveillance de la T° des réfrigérateurs

– Sur un échantillon de lieux de stockage tirés au hasard
ou
– Lors des visites de supervision

– Au minimum, contrôler la chaîne de froid du district
– A contrôler pendant la campagne

Résultat attendu : 100%

Proportion des sites de vaccination ayant dispositif de collecte et d’élimination des déchets correcte

– Nombre total de sites
– Nombre total de sites ayant dispositif correct de collecte et d’élimination des déchets

– Grille d’observation

– Échantillon de sites
– Observation sur le terrain

Au cours de la campagne

Résultat attendu : 100%

Coût

Coût global de la campagne

– Montant total des dépenses

– Comptabilité des dépenses

Analyse des dépenses : vaccins, matériel d’injection, transport, personnel, chaîne de froid, logistique, etc.)


Coût d’une personne vaccinée

– Montant total des activités de vaccination (zones urbaines/rurales)
– Nombre total de doses administrées (zones urbaines/ rurales)

– Fichier Excel de synthèse de vaccination
– Rapport d’activité
– Rapport financier : total des dépenses pour la vaccination (zones urbaines/rurales)

Analyse des dépenses

Nécessite une préparation avec le personnel de la comptabilité
Analyser séparément zones urbaines et rurales

Coût par cas et décès évités

– Montant total des activités de vaccination
– Nombre de doses administrées
– Calcul cas évités

– Fichier Excel de surveillance des cas de rougeole
– Fichier Excel de synthèse de vaccination
– Rapport d’intervention

Analyse des dépensesAprès la campagne
Ressources

Ratio des SAB utilisées/ nombre de vaccins administrés

– Nombre de SAB utilisées
– Nombre de personnes vaccinées

– Fichier Excel de synthèse de vaccination
– Fiche de stock
– Rapport d’activité des équipes

– Global au niveau du district
– Sur un échantillon de sites tirés au hasard

Résultat attendu : le ratio ne doit pas être inférieur à 1

Proportion d’équipes avec un nombre de personnes adapté

– Nombre de personnes par équipe et qualification adaptée à la tâche

– Grille d’observation

– Sur un échantillon de sites tirés au hasard
ou
– Lors des visites de supervision

– Composition standard des équipes fixée en début de campagne (urbain et rural)
– Au cours de la campagne

Résultat attendu : 100%

7.5.4 Évaluation de la mobilisation sociale

IndicateursDonnées nécessairesSource/outils de collecteMéthodeCommentaires
Efficience/Efficacité opérationnelle

Proportion des motifs de non vaccination liés au manque d’information

– Nombre total de personnes non vaccinées
– Motif de non vaccination

Enquête de couverture vaccinale avec étude de motifs de non vaccination

Enquête de couverture vaccinale

Réalisée en fin de campagne

Résultat attendu : < 10%