7.5 Evaluation de la riposte | Guides médicaux MSF

Sommaire

L’évaluation de l’intervention peut être exhaustive (analyse de chaque activité et stratégies) ou ciblée sur certaines activités et/ou stratégies.

Elle étudie différents aspects : efficacité, accessibilité, réactivité, sécurité et qualité, mobilisation des ressources.

Dès le début de l’intervention, définir les objectifs et les indicateurs, s’assurer que les outils permettant de collecter les données sont disponibles et que le personnel est formé à leur utilisation.

Certains indicateurs sont collectés en routine tout au long de l’épidémie. D’autres sont collectés lors de visites sur le terrain dans un échantillon d’établissements de soins ou sites de vaccination, selon une méthodologie et avec des outils spécifiques, établis dès le début de l’intervention. Les informations sont compilées et analysées en fin d’épidémie.

Un rapport final d’évaluation de l’intervention est rédigé et présenté au comité de gestion de l’épidémie. Il consiste en une analyse critique des interventions menées et formule des recommandations pour améliorer la prochaine riposte. Il se base sur les tableaux d’évaluation présentés ci-après.

7.5.1 Évaluation de la surveillance

Indicateurs	Données nécessaires	Source/ outils de collecte	Méthode	Commentaires
Efficacité opérationnelle
Proportion d’établissements disposant de la définition de cas	Nombre d’établissements où la définition de cas est disponible Liste des établissements de soins par niveau	Liste des établissements de soins Définition de cas présente dans l’établissement Grille de supervision/ observation	Visite d’un échantillon d’établissement de soins	Faire particulièrement attention aux structures périphériques Résultat attendu : 100%
Proportion d’établissements transmettant les fiches hebdomadaires de surveillance	Nombre d’établissements qui envoient la fiche de surveillance chaque semaine Nombre total d’établissements de soins	Formulaire de suivi hebdomadaire de réception des données de surveillance Liste des établissements de soins	Exhaustif, sur la durée de l’épidémie	Résultat attendu : 100%
Délai de transmission des fiches hebdomadaires de surveillance	Date de transmission des fiches hebdomadaires de surveillance Délai d’acheminement des données de surveillance en jours	Liste des établissements de soins Fiches hebdomadaires de surveillance Formulaire de suivi hebdomadaire de réception des données de surveillance	Exhaustif, sur la durée de l’épidémie	Résultat attendu : 1 semaine
Surveillance biologique
% des prélèvements positifs	Nombre de prélèvements réalisés par type d’examen demandé Nombre de prélèvements positifs	Registre des examens biologiques Fiche de renseignements prélèvement biologique	Exhaustif, sur la durée de l’épidémie, sur les districts sentinelles
Délai de confirmation biologique (délai entre l’identification des premiers cas et la confirmation biologique)	Date et localisation des premiers cas Date des premiers résultats positifs	Formulaire de surveillance hebdomadaire Registre de laboratoire ou fiche de renseignements de prélèvement biologique	Analyse des formulaires de surveillance hebdomadaire ou des registres des établissements de soins Analyse des registres de laboratoire	Résultat attendu : 1 à 2 semaines max.
Surveillance des MAPI
Existence d’une surveillance des MAPI	Système de surveillance existant	Médecin chef de district, responsable de la surveillance	Interview
Incidence des MAPI graves	Nombre de MAPI par classe d’âge et lieu sur la période Nombre de personnes vaccinées au cours de la campagne	Feuille de notification individuelle des MAPI rougeole Tableau de synthèse des MAPI Feuille de pointage de vaccination ou rapports d’activités des campagnes	Exhaustif Période : durée de la campagne de vaccination et 30 jours après la fin de la campagne
Répartition des MAPI graves par cause (programmatique, vaccins, coïncidence, inconnu)	Nombre total de MAPI graves par cause	Feuille de notification individuelle des MAPI rougeole Tableau de synthèse des MAPI Liste et classification des causes de MAPI	Exhaustif Période : durée de la campagne de vaccination et 30 jours après la fin de la campagne

7.5.2 Évaluation de la prise en charge des patients

Indicateurs	Données nécessaires	Source/ outils de collecte	Méthode	Commentaires
Efficacité
Létalité déclarée	Nombre de cas et de décès par unité administrative (région, district, etc.) Par établissements, par semaine et cumulée	Fichier Excel de surveillance de la rougeole	Analyse du fichier Excel de surveillance de la rougeole	Facilement mesurable si le système de surveillance est efficace Résultat attendu : < 5%
Létalité globale et spécifique par âge, par structure (hôpital, centre de santé)	Nombre de cas et de décès enregistrés par âge, par établissement, pour la période épidémique	Registre des cas de rougeole	Calcul pour chaque hôpital Calcul sur un échantillon de centres de santé tirés au hasard	Élimine le biais dû à un système de surveillance non fiable Résultats attendus : Centre de santé : < 5% Hôpital : < 15%
Accessibilité
Proportion d’établissements fonctionnels approvisionnés en traitement pendant l’épidémie	Nombre d’établissements approvisionnés par unité administrative Liste et niveau des établissements existants par unité administrative	Formulaire de dotation Fiche de stock Fichier Excel de suivi de la disponibilité en traitements	Analyse détaillée des feuilles de dotation et de la liste des établissements de santé	Vérifier que tous les établissements de soins sont fonctionnels Résultat attendu : 100%
Proportion d’établissements disposant du protocole de traitement	Nombre d’établissements où le protocole est disponible Liste et niveau des établissements de soins	Protocole présent dans l’établissement Grille de supervision/observation	Visite d’un échantillon d’établissements de soins	Protocole en langue nationale Résultat attendu : 100%
Proportion d’établissements qui ont eu une rupture de stock en traitements	Rupture de stock constatée au niveau du district : date et durée Nombre d’établissements qui ont eu un stock à zéro Liste et niveau des établissements de soins	Fiche de stock Formulaire de dotation Fichier Excel de suivi de la disponibilité en traitements Grille de supervision/ observation	Analyse détaillée des fiches de stock, formulaires de dotation et fichier de suivi de la disponibilité en traitements ou Visite d’un échantillon d’établissements et vérification des fiches de stock	Analyse systématique au niveau du district Résultat attendu : aucune rupture
Réactivité
Délai d’approvisionnement en traitements spécifiques (délai entre la déclaration des premiers cas et approvisionnement en traitement)	Date à laquelle les premiers cas ont été rapportés Date d’arrivée des traitements spécifiques dans l'établissement	Fichier Excel de surveillance des cas de rougeole Fiche de stock Formulaire de dotation Fichier Excel de suivi de la disponibilité en traitements	Analyse détaillée des : Fichiers Excel de surveillance des cas de rougeole Formulaires de dotation Fiches de stock Fichier Excel de suivi de la disponibilité en traitements	Faire spécialement attention aux structures périphériques Résultat attendu : 1 à 2 semaines
Délai entre l’alerte au niveau d’une aire de santé et l’approvisionnement en traitements spécifiques des structures du district (hôpital, centre de santé)	Liste des structures de santé approvisionnées et date Pour chaque aire de santé : date de l’alerte épidémique	Fichier Excel de surveillance des cas de rougeole Fiche de stock Formulaire de dotation Fichier Excel de suivi de la disponibilité en traitements	Analyse détaillée des : Fichiers Excel de surveillance des cas de rougeole Formulaires de dotation Fiches de stock Fichier Excel de suivi de la disponibilité en traitements	Faire spécialement attention aux structures périphériques Résultat attendu : 1 semaine
Sécurité/Qualité
Proportion de cas traités selon le protocole recommandé	Nombre de cas traités Nombre de cas traités selon le protocole Nombre de cas pour lesquels le protocole n’a pas été suivi	Protocole recommandé Grille d’évaluation	Sur un échantillon de structures, analyse des : Registres des cas Fiches de traitements ou tout autre document indiquant le traitement reçu	Faire spécialement attention aux structures périphériques Résultat attendu : 100%
Sécurité des injections	Nombre d’établissements utilisant des conteneurs de sécurité Nombre d’hôpitaux disposant d’un incinérateur	Grille d’évaluation	Visite d’un échantillon d’établissements et observation	Résultat attendu : 100%
Coût
Coût par patient traité	Coût total du volet curatif de l’intervention Nombre de patients traités	Factures Documents de comptabilité	Ces coûts comprennent : les médicaments, le matériel, les transports et le personnel	Nécessite une préparation avec le personnel de la comptabilité

7.5.3 Évaluation de la vaccination

Indicateurs	Données nécessaires	Source/ outils de collecte	Méthode	Commentaires
Efficacité
Efficacité vaccinale	Définition de cas Nombre total des cas Nombre de cas vaccinés et non vaccinés Couverture vaccinale	Registre des cas de rougeole ou liste linéaire Cartes de vaccination	Plusieurs méthodes : Évaluation rapide Enquête cas/témoin ou cohorte Sur un ou plusieurs lieux sélectionnés	Réalisé par un épidémiologiste (voir Section 7.6) Résultat attendu : > 80%
Nombre de cas évités par la vaccination Fraction préventive	Données démographiques Nombre total de cas par semaines Nombre de doses administrées par lieu Couverture vaccinale par lieu Dates des campagnes de vaccination	Fichier Excel de surveillance des cas de rougeole Fichier Excel de synthèse de vaccination Rapport de vaccination du district Résultats des enquêtes de couverture vaccinale Planning des équipes	Sur un échantillon de lieux Calcul séparé entre zone rurale et urbaine pour le district	Réalisé par un épidémiologiste
Accessibilité
Couverture vaccinale par classe d’âge, par lieu	Nombre de doses administrées : total, par classe d’âge, par lieu Données démographiques et population cible par classe d’âge, par lieu	Fichier Excel synthèse des vaccinations rougeole Carte de vaccination (si enquête)	Analyse des recueils de données Enquête de couverture vaccinale (sur carte de vaccination ou sur histoire)	Résultats attendus : Zone urbaine : 100% Zone rurale : 80% (selon les objectifs)
Proportion de sites qui n’ont pas eu de rupture de stock en vaccins ou SAB	Date et durée des ruptures de stock au niveau du district Nombre de district qui ont eu une rupture de stock Liste des lieux et sites de vaccination	Fiche de stock Formulaire de dotation Fichier Excel de suivi de l’approvisionnement en vaccins et matériel	Analyse des documents ou Visite d’un échantillon de districts et sites de vaccination et vérification des fiches de stock du district	En fin de campagne : Analyse systématique au niveau du district Faire spécialement attention aux activités périphériques Résultat attendu : 100%
Réactivité
Délai entre l’alerte épidémique et le début et la fin de la campagne de vaccination (quand l’épidémie est confirmée)	Date de l’alerte Date de début et de fin de la campagne	Fichier Excel de surveillance des cas de rougeole Fichier Excel de synthèse de vaccination Rapport d’intervention	Exhaustif si possible Calcul du délai par lieu	Calculé en fin de campagne Analyser séparément zone urbaines et rurales Résultat attendu : 2 à 3 semaines (entre l’alerte et le début de la campagne)
Nombre de personnes vaccinées par jour et par équipe	Durée de la campagne : date par lieu (séparer zones urbaines et rurales) Nombre de doses administrées par lieu Nombre d’équipes par jour et par lieu	Feuille de pointage Fichier Excel de synthèse de vaccination Rapport d’intervention Planning des équipes de vaccination	Exhaustif si possible ou Calculé sur un échantillon de lieux tirés au hasard	Analyser séparément zones urbaines et rurales Résultats attendus : Zone urbaine : 1000/jour Zone rurale : variable selon le contexte
Sécurité/Qualité
Taux d’utilisation des vaccins	Nombre de doses injectées Nombre de doses utilisées	Fichier Excel de synthèse de vaccination Fiches de stock	Exhaustif tout au long de la campagne	Résultat attendu : ≥ 85% (perte ≤ 15%)
Ratio des SAB utilisées / nombre de conteneurs de sécurité utilisés	Nombre de SAB utilisées Nombre de conteneurs de sécurité utilisés	Fichier Excel de synthèse de vaccination Fiche de stock Rapport d’activité des équipes Fichier de suivi de l’approvisionnement en vaccins et matériel	Exhaustif ou Sur échantillon de sites tirés au hasard	Le ratio ne doit pas être supérieur à la capacité maximale des boîtes utilisées Résultats attendus : Boîte 5 L : 100 SAB Boîte 15 L : 400 SAB
Proportion de personnel s’étant piqué au cours de la campagne (AES)	Nombre de personnes s’étant piquées au cours de la campagne Nombre total de personnel	Formulaire de déclaration des AES Questionnaire spécifique	Analyse exhaustive (si déclaration des AES mis en place) ou Échantillon de personnel tiré au hasard (utilisation d’un questionnaire	Si utilisation du questionnaire, vérifier l’application de la procédure recommandée en cas d’AES
Proportion de réfrigérateurs possédant une feuille de surveillance de la T° à jour	Nombre de réfrigérateurs utilisés pour la campagne Nombre de réfrigérateurs possédant une feuille de surveillance de la T° à jour	Liste des réfrigérateurs utilisés pour stocker les vaccins Feuilles de surveillance de la T° des réfrigérateurs	Sur un échantillon de lieux de stockage tirés au hasard ou Lors des visites de supervision	Au minimum, contrôler la chaîne de froid du district A contrôler pendant la campagne Résultat attendu : 100%
Proportion des sites de vaccination ayant dispositif de collecte et d’élimination des déchets correcte	Nombre total de sites Nombre total de sites ayant dispositif correct de collecte et d’élimination des déchets	Grille d’observation	Échantillon de sites Observation sur le terrain	Au cours de la campagne Résultat attendu : 100%
Coût
Coût global de la campagne	Montant total des dépenses	Comptabilité des dépenses	Analyse des dépenses : vaccins, matériel d’injection, transport, personnel, chaîne de froid, logistique, etc.
Coût d’une personne vaccinée	Montant total des activités de vaccination (zones urbaines/rurales) Nombre total de doses administrées (zones urbaines/ rurales)	Fichier Excel de synthèse de vaccination Rapport d’activité Rapport financier : total des dépenses pour la vaccination (zones urbaines/ rurales)	Analyse des dépenses	Nécessite une préparation avec le personnel de la comptabilité Analyser séparément zones urbaines et rurales
Coût par cas et décès évités	Montant total des activités de vaccination Nombre de doses administrées Calcul cas et décès évités	Fichier Excel de surveillance des cas de rougeole Fichier Excel de synthèse de vaccination Rapport d’intervention	Analyse des dépenses	Après la campagne
Ressources
Ratio des SAB utilisées/ nombre de vaccins administrés	Nombre de SAB utilisées Nombre de personnes vaccinées	Fichier Excel de synthèse de vaccination Fiche de stock Rapport d’activité des équipes	Global au niveau du district Sur un échantillon de sites tirés au hasard	Résultat attendu : le ratio ne doit pas être inférieur à 1
Proportion d’équipes avec un nombre de personnes adapté	Nombre de personnes par équipe et qualification adaptée à la tâche	Grille d’observation	Sur un échantillon de sites tirés au hasard ou Lors des visites de supervision	Composition standard des équipes fixée en début de campagne (urbain et rural) Au cours de la campagne Résultat attendu : 100%

7.5.4 Évaluation de la mobilisation sociale

Indicateurs

Données nécessaires

Source/
outils de collecte

Méthode

Commentaires

Efficacité opérationnelle

Proportion des motifs de non-vaccination liés à un défaut d’information

Nombre total de personnes non vaccinées
Motif de non vaccination

Enquête de couverture vaccinale avec étude de motifs de non vaccination

Enquête de couverture vaccinale

Réalisée en fin de campagne

Résultat attendu
< 10%