Découvrez l’interview des animateur.ices du Groupe de Travail inter-plateformes « Évaluation des Dispositifs de Surveillance ».

La Plateforme ESV s’intéresse à divers projets réalisés dans le secteur de la santé des végétaux. Actuellement onze groupes de travail contribuent aux activités de la plateforme. Découvrez les activités sur le groupe de travail « Évaluation des Dispositifs de Surveillance » présenté par ses animateur.ices Julie Rivière enseignante-chercheuse à l’École nationale vétérinaire d’Alfort (EnvA) et responsable de l’unité de recherche Épidémiologie des maladies animales infectieuses à l’Anses et Jean-Philippe Amat responsable de l’unité Épidémiologie et Appui à la Surveillance à l’Anses de Lyon.

1. Pouvez-vous vous présenter en quelques mots ?
Julie Rivière : épidémiologiste et vétérinaire de formation, je suis enseignant-chercheur à l’École Nationale Vétérinaire d’Alfort en maladies réglementées, zoonoses et épidémiologie depuis 2013 et responsable de l’unité de recherche Épidémiologie des maladies animales infectieuses (EpiMAI, EnvA-USC Anses) depuis 2022.

Jean-Philippe Amat : épidémiologiste et vétérinaire de formation, je suis responsable de l’unité Épidémiologie et Appui à la Surveillance, au Laboratoire de Lyon à l’Anses depuis 2019.

2. En quoi consiste le Groupe de Suivi Évaluation des Dispositifs de Surveillance ?
Le groupe de suivi EDS est un groupe de travail pérenne inter-plateformes, associant les trois plateformes de surveillance en santé animale (ESA), santé végétale (ESV) et sécurité de la chaîne alimentaire (SCA), s’intéressant à l’évaluation de dispositifs de surveillance. Les travaux réalisés ont pour objectifs :
·    de diffuser la méthode d’évaluation Oasis et d’en faciliter l’utilisation opérationnelle, que ce soit en développant de nouveaux supports d’utilisation ou en participant à la formation de nouveaux évaluateurs par compagnonnage avec des évaluateurs « seniors » ;
·    de faire évoluer cette méthode d’évaluation en s’appuyant sur les évaluations précédemment réalisées et en y intégrant davantage l’évaluation des aspects économiques, collaboratifs ou sociologiques ;
·    de mettre en œuvre et de déployer l’outil d’évaluation des collaborations entre dispositifs de surveillance (méthode EcoSUR).
Il s’agit d’un groupe de travail pérenne et nous parlons donc d’un « groupe de suivi » (GS).

3. Pouvez-vous présenter vos principales missions dans ce projet ?
Ensemble nous assurons la co-animation du groupe plénier et la  bonne articulation entre le groupe plénier et les sous-groupes, en lien étroit avec les animateurs de ces sous-groupes (qui sont aussi pour la plupart membres du groupe plénier). Nous participons ainsi également aux réunions des sous-groupes sur des thématiques spécifiques.
Nous sommes aussi en charge de la communication sur les travaux du groupe (pages web des sites des 3 plateformes, newsletters internes, autres communications externes au besoin). Nous recherchons les personnes ressources pertinentes pour participer au grouper plénier et aux sous-groupes. Nous rendons compte des avancées du GS aux coordinateurs des trois plateformes, en cours d’année et via une réunion annuelle spécifique qui permet de rédiger le bilan d’activités et le programme de travail de l’année suivante.

4. A qui s’adresse ce GS ?
Les résultats du GS s’adressent aux évaluateurs de dispositifs de surveillance et aux gestionnaires de dispositifs désireux de réaliser une évaluation de leur dispositif, qui souhaitent comprendre quel type d’évaluation est adapté à leurs besoins et éventuellement qui ils peuvent solliciter pour conduire ce travail.

5. Pourquoi lancer ce GT Évaluation des Dispositifs de Surveillance ? Quel est le constat de départ ?
L’évaluation de la surveillance fait partie des missions des plateformes d’épidémiosurveillance, qui ont pour objectif d’apporter un appui méthodologique et opérationnel pour la conception, le déploiement, l’animation, la valorisation et l’évaluation de dispositifs de surveillance sanitaire (Art. L201-14 du CRPM).

L'expérience acquise dans le cadre de précédentes évaluations selon la méthode OASIS (méthode d’évaluation générique et semi-quantitative) a montré l’intérêt de l’exercice (retour très favorable des gestionnaires de dispositifs volontaires, proposition de recommandations), conduisant à une demande croissante d’évaluations. Cette méthode OASIS, développée dans le domaine de la santé animale, a ainsi pu être déclinée aux domaines de la sécurité sanitaire des aliments et de la santé végétale, dans lesquels le nombre d’évaluations reste toutefois plus faible. D’autres outils d’évaluation peuvent également être mobilisés ou développés selon les besoins, pour évaluer les collaborations, les coûts, l’acceptabilité ou des critères de performance précis (sensibilité, rapidité, représentativité…).

Toutefois, les ressources humaines restent limitées en termes de disponibilité et de compétences pour réaliser des évaluations. Il a ainsi été décidé par les comités de pilotage des plateformes, sur proposition de leurs équipes de coordination, de mettre en place un groupe pérenne, inter-plateformes, dédié à l’évaluation des dispositifs de surveillance. Les membres de ce groupe ont pour mission i) de déployer la méthode Oasis auprès des membres du groupe, ii) de faire évoluer les méthodes d’évaluation de dispositifs de surveillance, quel que soit le domaine concerné : santé animale, santé végétale et chaîne alimentaire. Le groupe permet de partager les expériences et également d’accompagner la montée en compétence d’experts dédiés à l’évaluation dans différents domaines. Il doit dresser à cet effet une liste de personnes-ressources (« vivier ») susceptibles de conduire des évaluations selon différentes méthodes. Enfin, une réflexion sera menée afin de conduire d’autres types d’évaluation, notamment dans le cadre de la surveillance intégrée, ce qui se traduira par la mise en œuvre et le déploiement d’un outil d’évaluation des collaborations entre dispositifs constituant un même système surveillance.

L’évaluation de dispositifs de surveillance ne concerne toutefois pas que les Plateformes d’Épidémiosurveillance : ainsi, les travaux réalisés dans ce GS sont publics et sont destinés à être utiles à la communauté scientifique au sens large.

6. De quelle manière le GS s’intègre dans la problématique de l’Évaluation des Dispositifs de Surveillance ?
L’évaluation d’un dispositif de surveillance est une étape nécessaire pour vérifier l’adéquation entre les objectifs assignés au dispositif de surveillance et les moyens mis en œuvre, et pour s’assurer de la qualité et de la fiabilité des informations produites, qui permettent aux gestionnaires d’identifier les mesures de lutte les plus pertinentes. L’évaluation conduit à la proposition d’un certain nombre de recommandations permettant l’amélioration du dispositif à plus ou moins court terme.

Le GS EDS a pour objectif, dans un premier temps, de renforcer et développer la méthode d’évaluation Oasis élaborée en 2011. C’est une méthode générique pouvant être appliquée à tout type de dispositif, dans n’importe quel domaine (santé animale, végétale, humaine, chaîne alimentaire...). Des développements méthodologiques sont actuellement en cours, à la fois concernant l’évolution du contenu préexistant de la méthode, mais aussi concernant le développement de certains aspects, comme par exemple l’intégration de l’évaluation d’aspects économiques ou collaboratifs. Le GS EDS a aussi pour objectif de promouvoir l’utilisation de cette méthode et de constituer un « vivier » de personnes-ressources pouvant réaliser des évaluations ou contribuer à la formation de nouveaux évaluateurs. Dans un second temps, le GS s’intéressera certainement à d’autres méthodes d’évaluation et/ou d’autres attributs d’évaluation.

7. Pouvez-vous donner des exemples d’actions qui seront réalisées grâce aux résultats du GS Évaluation des Dispositifs de Surveillance ?
Les travaux en cours et à venir du GS EDS et de ses sous-groupes permettront de :
–    Disposer d’une nouvelle version de l’outil Oasis sur l’application web, avec des parties permettant spécifiquement d’évaluer d’une part les aspects économiques et, d’autre part, les connexions / collaborations du dispositif évalué avec les autres dispositifs qui surveillent le(s) même(s) danger(s) sanitaire(s).
–    Revoir le vocabulaire pour qu’il soit bien compréhensible par tous les acteurs sanitaires, quel que soit le domaine, notamment en santé végétale et sécurité sanitaire des aliments.
–    Développer de nouvelles sorties graphiques pour faciliter la compréhension des résultats de l’évaluation par les gestionnaires de la surveillance, et pour leur permettre de mieux mesurer l’impact attendu des différentes recommandations, si possible au regard de l’investissement qu’elles nécessitent, afin d’éclairer leurs choix.
–    Revoir et mieux expliquer les pondérations appliquées pour certaines sorties graphiques.
–    Faire une enquête auprès des personnes ayant déjà utilisé la méthode Oasis pour avoir leur retour d’expérience et contribuer à son amélioration continue.

8. Quels sont les premiers résultats du GS Évaluation des Dispositifs de Surveillance à ce jour ?
Depuis son lancement fin 2020, le GS Évaluation des Dispositifs de Surveillance a contribué à l’élaboration d’un module d’autoformation en e-learning sur la méthode Oasis, permettant à des évaluateurs novices de découvrir les principes généraux de l’évaluation d’un dispositif de surveillance par la méthode Oasis et ses grandes étapes. Ce module de formation est disponible en accès libre depuis fin 2021, sur inscription, en français et en anglais (https://elearning-cazcom.net/elearning/course/view.php?id=7).
Une application web a également été développée en 2021, permettant de réaliser l’évaluation Oasis d’un dispositif de surveillance en ligne (et non plus uniquement avec les supports initiaux aux formats Word et Excel), en français ou en anglais, depuis la saisie des données sur le terrain, en passant par la notation des critères d’évaluation, jusqu’à la production et l’exportation de résultats sous forme graphique et des recommandations, pouvant être insérés dans un rapport d’évaluation. L’inscription et l’utilisation de ce site sont totalement gratuites (www.oasis-evaluation.com). Les utilisateurs peuvent décider de garder les résultats de l’évaluation confidentiels ou de les rendre publics.

9. Qui sont les acteurs de ce GT ?
Le groupe plénier comporte une petite vingtaine de membres ; en comptant les personnes participant aux sous-groupes thématiques, le collectif réunit près d’une trentaine d’experts. Ils sont issus de plusieurs organismes, permettant de croiser des cultures, des approches et des expérience différentes de l’épidémiosurveillance : Anses, Cirad, EnvA, FREDON France, INRAE, ONIRIS, ministère en charge de l’Agriculture (CGAAER, DGAL, DRAAF). Ces personnes ont des compétences diverses et couvrent ensemble les différents domaines sanitaires : animal, végétal et aliment.
Les sous-groupes ou groupes-projets (GP) travaillent sur des thématiques spécifiques définies lors des réunions plénières. En 2022, quatre GP sont en fonctionnement :
–    GP « surveillance intégrée », qui s’intéresse à l’évaluation des aspects collaboratifs et d’intégration de dispositifs au sein d’un même système de surveillance (le « système de surveillance » regroupant l’ensemble des « dispositifs de surveillance » travaillant sur une thématique similaire, par exemple le même danger sanitaire dans plusieurs filières) ;
–    GP « économie », qui vise à la prise en compte de manière plus précise des aspects économiques dans l’évaluation d’un dispositif de surveillance ;
–    GP « retour d’expériences et foire aux questions », qui a pour objectif d’identifier et de répondre aux questions les plus fréquentes et d’identifier les points d’évolution de la méthode à envisager, grâce à la réalisation de retours d’expériences auprès d’anciens évaluateurs et de responsables de dispositifs déjà évalués avec Oasis (plus d’une cinquantaine de dispositifs dans différents domaines sanitaires ont été évalués depuis 2011, au sein de plusieurs pays).
–    GP « vocabulaire » : il a pour objectif de vérifier et d’adapter, selon les besoins, la terminologie utilisée afin que la méthode soit la plus générique possible et soit encore plus facilement utilisée dans différents secteurs (santé animale dont faune sauvage, santé végétale, sécurité de la chaîne alimentaire…).
Un GP dédié à l’évolution de l’outil (sorties graphiques, coefficients...), et qui travaillerait en lien étroit avec les autres GP, devrait aussi voir le jour fin 2022.