Notre plan d’évaluation pour Lectŭrĭo+

Présentation

Ce plan d’évaluation est lié à notre plan de dissémination, et à notre calendrier de réalisation (dit « diagramme de Gantt »). Cette évaluation est précisément l’inventaire de nos résultats et l’évaluation de leur impact.

Nous n’avons pas su éviter un retard conséquent pour l’entrée en vigueur de ce plan d’évaluation. En effet, le plan d’évaluation n’était pas explicite dans la candidature, et la personne qui s’en était chargée a été défaillante. Quoi qu’il en soit, il nous fallait du temps pour produire les premiers résultats concrets du projet, qui sont les véritables repères pour notre évaluation. En outre, notre fonctionnement en espace de travail en ligne constituait en théorie une condition de suivi permanent pouvant différer le début du travail d’évaluation. Les deux rapports intermédiaires remis entretemps à l’Agence Erasmus+ (dates des rapports) ont été de véritables moments d’évaluation, et l’approbation de ces rapports qu’en ont faite les évaluateurs de l’Agence Erasmus+ a été précieuse.

Nos deux réunions transnationales a aussi été un moment d’évaluation dont font état les comptes rendus produits à cette occasion.

Néanmoins, la candidature contenait des éléments : des indicateurs, des méthodes.

Ce plan est effectif à compter de 1^er janvier 2019, bien que nous ayons enregistré de premiers résultats statistiques à partir du 1^er janvier 2018, mais ceux-ci sont peu significatifs. Nous devrons aller chercher des éléments d’évaluation au plus tôt dans la période contractuelle du projet et si possible dès le début.

Nous avons conscience du fait que l’impact représente les conséquences, planifiées et non planifiées, négatives et positives, de la mise en œuvre de notre projet, conséquence dont certaines ne se manifesteront qu’après la fin du projet.

« Évaluer » signifiera donc dans ce plan :

• décrire le déroulement du projet et de ses activités ;

• constater les progrès réalisés et les résultats obtenus par sa mise en œuvre, au moyen de données choisies, de leur analyse, et de leur synthèse ;

• porter un jugement de valeur sur les résultats constatés, en les comparant avec nos objectifs ;

• en retirer une meilleure compréhension du projet, et en dégager des leçons susceptibles de modifier des activités en cours pour les rendre plus appropriées.

Responsables

Nous avons :

• un coordonnateur dans chacun des établissements impliqués, par défaut, il est ce responsable mais il peut désigner quelqu’un d’autre dans son équipe ;

• un coordonnateur pour l’ensemble du projet qui va mutualiser l’ensemble des données et faire l’analyse, et qui est le responsable de la coordination.

Objet de l’évaluation

Elle se fait par rapport aux objectifs du projet.

Ce que nous voulons évaluer :

• l’efficacité des pages publiques pour communiquer sur les activités et les résultats du projet auprès de :

  • l’ensemble des établissements impliqués

  • la communauté éducative

  • les parents d’élèves

  • les acteurs du projet eux-mêmes

• l’accès et l’utilisation de nos productions :

  • nos ressources

  • nos formations

Nous devrons nous demander si nos actions sont conformes aux objectifs.

Il sera également utile de vérifier si les besoins qui nous ont conduits à présenter ce projet sont toujours réels.

Nos indicateurs et leur vérification

Les personnes et les institutions :

• Nombre d’acteurs du projet et leur mobilisation (statistiques, questionnaire)

• Nombre et liste de partenaires associés : état de leur participation

• Nouveaux partenaires associés pressentis, en faire la liste

• Nombre des écoles qui ont participé, liste et nature de la participation

Statistiques recueillies grâce au logiciel libre Matomo :

• Nombre de visites des pages publiques

• Nombre de consultations des ressources en ligne

• Nombre de téléchargements des ressources sous forme de fichiers PDF, EPUB

Il conviendra ensuite d’interpréter ces indicateurs, de prendre d’éventuelles décisions, et de les appliquer.

Expertise externe

Il y a lieu de désigner un expert et de lui demander un rapport. Il faut donc définir les buts du rapport dans un protocole et indiquer les dates de l’observation et de la remise du rapport, de façon à ce qu’il soit encore possible d’en tenir compte.

Suivi des coûts

• Remontée mensuelle des feuilles de temps et utilisation d’un outil de suivi pour la consommation des jours de travail par partenaire et par production intellectuelle.

• Coûts de l’évaluation pour la production de nos propres rapports d’évaluation : budget de gestion et mise en œuvre.

• Coût de l’évaluation externe : 1800 euros de coûts exceptionnels budgétés (25 % à la charge de l’Apicad).

Méthode et outils de recueil des données et de suivi

• Les rapports d’avancement produits en janvier 2019 et en novembre 2019.

• Des questionnaires : les questions sont en fonction du type d’impact recherché.

  • Un questionnaire final sur les acteurs du projet et l’évolution de leurs pratiques numériques pendant le projet, en juillet 2019 avec relances. Exemple d’impact : l’utilisation des contes en pédagogie a-t-elle changé quelque chose à vos pratiques ? Le plurilinguisme est-il devenu une pratique évidente ?

• Des enquêtes, des entretiens individuels ou collectifs : selon des guides d’entretiens. Entretiens avec des élèves ayant participé, des parents, des enseignants.

• Les observations : selon un guide d’observation par rapport à ce que nous souhaitons observer.

• Des statistiques : audience des pages publiques du projet, téléchargements, etc.

• Évaluation finale : recherche d’un expert pour une évaluation externe.

Rapports

Sont prévus :

- un rapport d’évaluation au 1^er mars 2019 considéré comme évaluation à mi-parcours, qui portera sur toute la période initiale ;

- un 2^e rapport au 30 novembre 2019 (+ 6 mois) ;

- un rapport d’expert externe.

Il incombe à l’équipe coordinatrice de produire les rapports sur la base de l’utilisation des outils consentis par les partenaires, qui sollicitent tous les membres de leur équipe, et d’obtenir du collectif la validation de ces rapports.

Contenu des rapports d’évaluation :

• un résumé de l’évaluation et un énoncé des principales recommandations ;

• le rappel des objectifs de l’évaluation ;

• les limites du travail d’évaluation (moyens, contraintes, restrictions) ;

• l’évaluation de l’impact du projet par rapport au but et à l’objectif final ;

• la synthèse des résultats obtenus (conclusions)

• les leçons tirées du projet et ce qui aurait pu être fait de façon différente ;

• les recommandations ;

• les prolongements possibles ;

• les annexes pertinentes (questionnaires utilisés, grilles d’analyse, plan d’évaluation, etc.).

Communication des résultats

Les résultats seront communiqués sur les pages publiques du projet et transmis à l’Agence Erasmus+.

Tableau synoptique pour l’évaluation

Dimensions principales	Dimensions secondaires	Éléments à observer	Collecte des données Méthodes et outils - Qui ? Quand ?		Analyse et synthèse des données et rapports Comment ? Qui ?
Fonctionnement général du projet	Espace de travail en ligne   Groupe de pilotage   Autres modes de communication   Rencontres présentielles	Pratiques numériques collectives   Réactivité   Efficacité   Complémentarité	Questionnaire     Proposition à valider par les partenaires	Coordination (juin 2019)   Coordination (mars 2019 et août 2019)	Bilans et compilations   Dégager des constats   Mise en forme   Discussion et validation	Coordination et partenariat (mars 2019 et août 2019)
Idées que nous voulons diffuser	Acteurs du projet   Établissements partenaires   Enseignants d’autres institutions   Parents d’élèves   Élèves	Nombre Évolution du nombre   Effectivité de l’engagement   Progrès de l’idée du plurilinguisme   Pratique/ressources   Apprentissage en famille	Statistiques     Listes     Enquêtes Sondages Entretiens Observations	Coordination (mars 2019 et août 2019)       Partenariat (mars 2019 et août 2019)
Matériel que nous voulons partager	Corpus de contes   Fichiers de livres numériques   Formations   Autres ressources	Visites   Téléchargements   Retours d’utilisation	Statistiques   Statistiques   Observations puis Synthèses	Coordination (mars 2019 et août 2019)   Partenariat (mars 2019 et août 2019)
Coûts de l’évaluation	Expertise externe 1800 (Coûts Excep.)   Gestion et mise en œuvre
Expertise externe			Protocole validé par le partenariat		Expert désigné
Communication des résultats de l’évaluation					Pages web publiques du projet

 Autres documents utiles : le plan de dissémination, le diagramme de Gantt, les rapports intermédiaires et leurs approbations, le texte de la candidature.