Plan d'évaluation

Notre plan d’évaluation pour Lectŭrĭo+

Présentation

Ce plan d’évaluation est lié à notre plan de dissémination, et à notre calendrier de réalisation (dit « diagramme de Gantt »). Cette évaluation est précisément l’inventaire de nos résultats et l’évaluation de leur impact.

Nous n’avons pas su éviter un retard conséquent pour l’entrée en vigueur de ce plan d’évaluation. En effet, le plan d’évaluation n’était pas explicite dans la candidature, et la personne qui s’en était chargée a été défaillante. Quoi qu’il en soit, il nous fallait du temps pour produire les premiers résultats concrets du projet, qui sont les véritables repères pour notre évaluation. En outre, notre fonctionnement en espace de travail en ligne constituait en théorie une condition de suivi permanent pouvant différer le début du travail d’évaluation. Les deux rapports intermédiaires remis entretemps à l’Agence Erasmus+ (dates des rapports) ont été de véritables moments d’évaluation, et l’approbation de ces rapports qu’en ont faite les évaluateurs de l’Agence Erasmus+ a été précieuse.

Nos deux réunions transnationales a aussi été un moment d’évaluation dont font état les comptes rendus produits à cette occasion.

Néanmoins, la candidature contenait des éléments : des indicateurs, des méthodes.

Ce plan est effectif à compter de 1er janvier 2019, bien que nous ayons enregistré de premiers résultats statistiques à partir du 1er janvier 2018, mais ceux-ci sont peu significatifs. Nous devrons aller chercher des éléments d’évaluation au plus tôt dans la période contractuelle du projet et si possible dès le début.

Nous avons conscience du fait que l’impact représente les conséquences, planifiées et non planifiées, négatives et positives, de la mise en œuvre de notre projet, conséquence dont certaines ne se manifesteront qu’après la fin du projet.

« Évaluer » signifiera donc dans ce plan :

  • décrire le déroulement du projet et de ses activités ;

  • constater les progrès réalisés et les résultats obtenus par sa mise en œuvre, au moyen de données choisies, de leur analyse, et de leur synthèse ;

  • porter un jugement de valeur sur les résultats constatés, en les comparant avec nos objectifs ;

  • en retirer une meilleure compréhension du projet, et en dégager des leçons susceptibles de modifier des activités en cours pour les rendre plus appropriées.

Responsables

Nous avons :

• un coordonnateur dans chacun des établissements impliqués, par défaut, il est ce responsable mais il peut désigner quelqu’un d’autre dans son équipe ;

• un coordonnateur pour l’ensemble du projet qui va mutualiser l’ensemble des données et faire l’analyse, et qui est le responsable de la coordination.

Objet de l’évaluation

Elle se fait par rapport aux objectifs du projet.

Ce que nous voulons évaluer :

  • l’efficacité des pages publiques pour communiquer sur les activités et les résultats du projet auprès de :

    • l’ensemble des établissements impliqués

    • la communauté éducative

    • les parents d’élèves

    • les acteurs du projet eux-mêmes

  • l’accès et l’utilisation de nos productions :

    • nos ressources

    • nos formations

Nous devrons nous demander si nos actions sont conformes aux objectifs.

Il sera également utile de vérifier si les besoins qui nous ont conduits à présenter ce projet sont toujours réels.

Nos indicateurs et leur vérification

Les personnes et les institutions :

  • Nombre d’acteurs du projet et leur mobilisation (statistiques, questionnaire)

  • Nombre et liste de partenaires associés : état de leur participation

  • Nouveaux partenaires associés pressentis, en faire la liste

  • Nombre des écoles qui ont participé, liste et nature de la participation

Statistiques recueillies grâce au logiciel libre Matomo :

  • Nombre de visites des pages publiques

  • Nombre de consultations des ressources en ligne

  • Nombre de téléchargements des ressources sous forme de fichiers PDF, EPUB

Il conviendra ensuite d’interpréter ces indicateurs, de prendre d’éventuelles décisions, et de les appliquer.

Expertise externe

Il y a lieu de désigner un expert et de lui demander un rapport. Il faut donc définir les buts du rapport dans un protocole et indiquer les dates de l’observation et de la remise du rapport, de façon à ce qu’il soit encore possible d’en tenir compte.

Suivi des coûts

  • Remontée mensuelle des feuilles de temps et utilisation d’un outil de suivi pour la consommation des jours de travail par partenaire et par production intellectuelle.

  • Coûts de l’évaluation pour la production de nos propres rapports d’évaluation : budget de gestion et mise en œuvre.

  • Coût de l’évaluation externe : 1800 euros de coûts exceptionnels budgétés (25 % à la charge de l’Apicad).

Méthode et outils de recueil des données et de suivi

  • Les rapports d’avancement produits en janvier 2019 et en août 2019.

  • Des questionnaires : les questions sont en fonction du type d’impact recherché.

    • Un questionnaire final sur les acteurs du projet et l’évolution de leurs pratiques numériques pendant le projet, en juillet 2019 avec relances. Exemple d’impact : l’utilisation des contes en pédagogie a-t-elle changé quelque chose à vos pratiques ? Le plurilinguisme est-il devenu une pratique évidente ?

  • Des enquêtes, des entretiens individuels ou collectifs : selon des guides d’entretiens. Entretiens avec des élèves ayant participé, des parents, des enseignants.

  • Les observations : selon un guide d’observation par rapport à ce que nous souhaitons observer.

  • Des statistiques : audience des pages publiques du projet, téléchargements, etc.

  • Évaluation finale : recherche d’un expert pour une évaluation externe.

Rapports

Sont prévus :

- un rapport d’évaluation au 1er mars 2019 considéré comme évaluation à mi-parcours, qui portera sur toute la période initiale ;

- un 2e rapport au 31 août 2019 (+ 6 mois) ;

- un rapport d’expert à la fin du projet.

Il incombe à l’équipe coordinatrice de produire les rapports sur la base de l’utilisation des outils consentis par les partenaires, qui sollicitent tous les membres de leur équipe, et d’obtenir du collectif la validation de ces rapports.

Contenu des rapports d’évaluation :

  • un résumé de l’évaluation et un énoncé des principales recommandations ;

  • le rappel des objectifs de l’évaluation ;

  • les limites du travail d’évaluation (moyens, contraintes, restrictions) ;

  • l’évaluation de l’impact du projet par rapport au but et à l’objectif final ;

  • la synthèse des résultats obtenus (conclusions)

  • les leçons tirées du projet et ce qui aurait pu être fait de façon différente ;

  • les recommandations ;

  • les prolongements possibles ;

  • les annexes pertinentes (questionnaires utilisés, grilles d’analyse, plan d’évaluation, etc.).

Communication des résultats

Les résultats seront communiqués sur les pages publiques du projet et transmis à l’Agence Erasmus+.

Tableau synoptique pour l’évaluation








Dimensions principales

Dimensions secondaires

Éléments à observer

Collecte des données

Méthodes et outils - Qui ? Quand ?

Analyse et synthèse des données et rapports

Comment ? Qui ?

 

Fonctionnement général du projet

Espace de travail en ligne

 

Groupe de pilotage

 

Autres modes de communication

 

Rencontres présentielles

Pratiques numériques collectives

 

Réactivité

 

Efficacité

 

Complémentarité

Questionnaire

 

 

Proposition à valider par les partenaires

Coordination

(juin 2019)

 

Coordination

(mars 2019 et août 2019)

 

Bilans et compilations

 

Dégager des constats

 

Mise en forme

 

Discussion et validation

 

 

Coordination et partenariat

(mars 2019 et août 2019)

Idées que nous voulons diffuser

Acteurs du projet

 

Établissements partenaires

 

Enseignants d’autres institutions

 

Parents d’élèves

 

Élèves

Nombre

Évolution du nombre

 

Effectivité de l’engagement

 

Progrès de l’idée du plurilinguisme

 

Pratique/ressources

 

Apprentissage en famille

Statistiques

 

 

Listes

 

 

Enquêtes

Sondages

Entretiens

Observations

 

 

Coordination

(mars 2019 et août 2019)

 

 

 

Partenariat

(mars 2019 et août 2019)

Matériel que nous voulons partager

Corpus de contes

 

Fichiers de livres numériques

 

Formations

 

Autres ressources

Visites

 

Téléchargements

 

Retours d’utilisation

Statistiques

 

Statistiques

 

Observations puis Synthèses

Coordination

(mars 2019 et août 2019)

 

Partenariat

(mars 2019 et août 2019)

Coûts de l’évaluation

Expertise externe 1800 (Coûts Excep.)

 

Gestion et mise en œuvre

Expertise externe

Protocole validé par le partenariat

Expert désigné

Communication des résultats de l’évaluation

Pages web publiques du projet

 Autres documents utiles : le plan de dissémination, le diagramme de Gantt, les rapports intermédiaires et leurs approbations, le texte de la candidature.


logo_lecturio eu flag erasmus+

Ce projet a été financé avec le soutien de la Commission européenne. Cette publication n'engage que son auteur et la Commission n'est pas responsable de l'usage qui pourrait être fait des informations qui y sont contenues.