Des pratiques d’évaluation de la formation perfectibles
La dernière étude publiée par Formaeva début septembre 2010 (1) revient sur les pratiques d’évaluation des formations par les entreprises françaises. Une évaluation qui n’est pas encore totalement intégrée au processus de formation et dont les différentes étapes de mise en œuvre gagneraient à être généralisées.
En matière d’évaluation de la formation, il y a les bons réflexes et les moins bons. En toute logique, les bons réflexes concernent les premiers niveaux d’évaluation (2). Ainsi, la dernière enquête de Formaeva sur la question révèle que la grande majorité des entreprises interrogées (plus de 98 %) évalue les réactions des formés (évaluation de niveau 1).
Sur ce point, 50 à 100 % des formations sont évaluées, de façon formelle ou informelle (3). Une évaluation qui intervient plutôt à chaud – pendant, juste après la formation ou deux jours après – à l’aide de questionnaires et de guides d’entretien. Les questionnaires comportent une majorité de questions fermées sur l’amont de la formation (inscription, implication du management), les conditions matérielles de la formation, la pertinence de la formation etc. L’objectif : repérer les besoins de formation complémentaires, identifier les points de satisfaction et d’insatisfaction, évaluer les compétences des formateurs occasionnels…
Une pratique en apparence plutôt maîtrisée. En apparence seulement, car dès cette étape, certains répondants reconnaissent que les résultats sont rapidement parcourus, pour être ensuite archivés, quand ils le sont…
Définir des objectifs pédagogiques
Le deuxième niveau d’évaluation porte, lui, sur l’apprentissage. Autrement dit : « Qu’ont appris les participants au cours de la formation ? », précisent les auteurs de l’étude. Ce type d’évaluation est effectué par plus de 82 % des sondés, de façon formelle (60 %) ou informelle (22,5 %). L’évaluation est formative (sur la pédagogie) et sommative (sur les acquis par le participant à l’issue de la formation). A ce niveau, 22 entreprises (sur les 52 qui se sont exprimées sur cette question) évaluent 100 % des formations. Pour les autres, l’évaluation ne porte que sur certains types de formation (diplômantes et/ou certifiantes, externes, professionnalisation etc.). Cette évaluation a souvent lieu pendant la formation ou juste après.
La palette des outils utilisés est large : questionnements oraux, portfolio pour le tutorat, entretiens (évaluation formative) ou encore autoévaluation, QCM, dossier de réflexion, mise en situation (évaluation sommative)…
A ce stade de l’évaluation, les auteurs notent l’importance de définir des objectifs pédagogiques en amont de la formation afin de pouvoir exploiter les résultats de l’évaluation. Ce qui n’est pas toujours le cas. D’autres confondent apprentissage et transfert – ou acquisition et utilisation.
Impliquer les formés
Le transfert des acquis concerne justement le troisième niveau d’apprentissage. Plus de 61 % des sondés pratiquent ce type d’évaluation, de façon formelle (36,3 %) ou informelle (25 %). Cette évaluation se fait via un questionnaire d’évaluation, une grille d’observation en situation de travail, l’analyse des rapports ou des résultats du formé, les entretiens individuels, collectifs et annuels d’évaluation. Cette évaluation est donc surtout réalisée à froid (plusieurs semaines -36,4 % - à plusieurs mois – 37,9 % - après la formation). Il s’agit ici d’évaluer la mise en application des acquis de la formation au poste de travail, de favoriser le transfert des acquis et, le cas échéant, d’améliorer la formation et d’en évaluer la pertinence. Ce type d’évaluation vise aussi à « impliquer les formés dans la mise en œuvre des acquis », expliquent-on chez Formaeva. C’est aussi une façon « d’insister sur le fait que la formation n’est qu’un moyen (et non la fin) et que des effets sont attendus sur le terrain ».
A ce stade, seules 5 organisations affirment évaluer 100 % des formations. Les auteurs rappellent que « l’évaluation du transfert des acquis (…) demeure l’un des parents pauvres de l’évaluation de la formation ». En cause : le manque de méthode, la difficulté à impliquer le management, voire même un refus de mise en œuvre via le responsable formation lui-même.
Isoler l’effet de la formation
C’est à partir du niveau 4 que les réelles difficultés commencent à apparaître. Pas moins de 65 % des entreprises interrogées reconnaissent ne pas pratiquer ce type d’évaluation destiné à évaluer l’impact des formations sur les résultats organisationnels (accroissement des ventes, diminution des accidents du travail…). Il s’agit donc clairement d’indiquer si les formations en question ont une valeur ajoutée pour l’entreprise. On ne positionne donc plus le curseur de l’évaluation sur le formé, mais sur l’entreprise. Parmi les indicateurs évoqués par l’enquête figurent les indicateurs de production, de sécurité, le chiffre d’affaires et les taux de vente croisée…
Ici aussi, si ces évaluations se font rares, c’est d’abord un problème de méthode. Les répondants soulignent « la difficulté à isoler l’effet de la formation ». Un autre témoigne : « Le manque de temps, des indicateurs inadéquats font que c’est un aspect "oublié" alors que je me rends compte que c’est le plus important. » Des difficultés méthodologiques nombreuses
En toute logique, le niveau 5, relatif à l’évaluation du fameux retour sur investissement (ROI) de la formation, est donc le moins pratiqué. A la question « Evaluez-vous le retour sur investissement des formations ? », 77,5 % répondent par la négative.
Pour les quelques entreprises qui pratiquent ce type d’évaluation, le ROI est calculé en comparant les bénéfices et les coûts de la formation.
Comme pour le niveau 4, les outils d’évaluation sont relativement proches et les difficultés méthodologiques nombreuses. Des difficultés qui amènent les auteurs à caractériser le ROI de la formation d’ « expression galvaudée ».
L’évaluation de la formation n’est pourtant pas un détail pour le responsable formation. Celle-ci doit lui permettre de légitimer sa position et, surtout, de lui donner de l’épaisseur. « Le fait de démontrer la responsabilité (même partielle) de la formation dans les résultats est aussi important dans une logique de marketing de la formation », notent les auteurs. Et d’ajouter : « Le responsable formation doit pouvoir exprimer certains résultats de la formation en termes monétaires (…), au risque sinon de voir] l’investissement qualifié de dépense-formation ». Toute la difficulté étant de trouver un juste milieu, pour ne pas tomber non plus dans la mise en œuvre systématique de « ratios de rentabilité », au détriment de la formation elle-même. Brice Ancelin
Crédits photo : Fotolia.com
Sur ce point, 50 à 100 % des formations sont évaluées, de façon formelle ou informelle (3). Une évaluation qui intervient plutôt à chaud – pendant, juste après la formation ou deux jours après – à l’aide de questionnaires et de guides d’entretien. Les questionnaires comportent une majorité de questions fermées sur l’amont de la formation (inscription, implication du management), les conditions matérielles de la formation, la pertinence de la formation etc. L’objectif : repérer les besoins de formation complémentaires, identifier les points de satisfaction et d’insatisfaction, évaluer les compétences des formateurs occasionnels…
Une pratique en apparence plutôt maîtrisée. En apparence seulement, car dès cette étape, certains répondants reconnaissent que les résultats sont rapidement parcourus, pour être ensuite archivés, quand ils le sont…
Définir des objectifs pédagogiques
Le deuxième niveau d’évaluation porte, lui, sur l’apprentissage. Autrement dit : « Qu’ont appris les participants au cours de la formation ? », précisent les auteurs de l’étude. Ce type d’évaluation est effectué par plus de 82 % des sondés, de façon formelle (60 %) ou informelle (22,5 %). L’évaluation est formative (sur la pédagogie) et sommative (sur les acquis par le participant à l’issue de la formation). A ce niveau, 22 entreprises (sur les 52 qui se sont exprimées sur cette question) évaluent 100 % des formations. Pour les autres, l’évaluation ne porte que sur certains types de formation (diplômantes et/ou certifiantes, externes, professionnalisation etc.). Cette évaluation a souvent lieu pendant la formation ou juste après.
La palette des outils utilisés est large : questionnements oraux, portfolio pour le tutorat, entretiens (évaluation formative) ou encore autoévaluation, QCM, dossier de réflexion, mise en situation (évaluation sommative)…
A ce stade de l’évaluation, les auteurs notent l’importance de définir des objectifs pédagogiques en amont de la formation afin de pouvoir exploiter les résultats de l’évaluation. Ce qui n’est pas toujours le cas. D’autres confondent apprentissage et transfert – ou acquisition et utilisation.
Impliquer les formés
Le transfert des acquis concerne justement le troisième niveau d’apprentissage. Plus de 61 % des sondés pratiquent ce type d’évaluation, de façon formelle (36,3 %) ou informelle (25 %). Cette évaluation se fait via un questionnaire d’évaluation, une grille d’observation en situation de travail, l’analyse des rapports ou des résultats du formé, les entretiens individuels, collectifs et annuels d’évaluation. Cette évaluation est donc surtout réalisée à froid (plusieurs semaines -36,4 % - à plusieurs mois – 37,9 % - après la formation). Il s’agit ici d’évaluer la mise en application des acquis de la formation au poste de travail, de favoriser le transfert des acquis et, le cas échéant, d’améliorer la formation et d’en évaluer la pertinence. Ce type d’évaluation vise aussi à « impliquer les formés dans la mise en œuvre des acquis », expliquent-on chez Formaeva. C’est aussi une façon « d’insister sur le fait que la formation n’est qu’un moyen (et non la fin) et que des effets sont attendus sur le terrain ».
A ce stade, seules 5 organisations affirment évaluer 100 % des formations. Les auteurs rappellent que « l’évaluation du transfert des acquis (…) demeure l’un des parents pauvres de l’évaluation de la formation ». En cause : le manque de méthode, la difficulté à impliquer le management, voire même un refus de mise en œuvre via le responsable formation lui-même.
Isoler l’effet de la formation
C’est à partir du niveau 4 que les réelles difficultés commencent à apparaître. Pas moins de 65 % des entreprises interrogées reconnaissent ne pas pratiquer ce type d’évaluation destiné à évaluer l’impact des formations sur les résultats organisationnels (accroissement des ventes, diminution des accidents du travail…). Il s’agit donc clairement d’indiquer si les formations en question ont une valeur ajoutée pour l’entreprise. On ne positionne donc plus le curseur de l’évaluation sur le formé, mais sur l’entreprise. Parmi les indicateurs évoqués par l’enquête figurent les indicateurs de production, de sécurité, le chiffre d’affaires et les taux de vente croisée…
Ici aussi, si ces évaluations se font rares, c’est d’abord un problème de méthode. Les répondants soulignent « la difficulté à isoler l’effet de la formation ». Un autre témoigne : « Le manque de temps, des indicateurs inadéquats font que c’est un aspect "oublié" alors que je me rends compte que c’est le plus important. » Des difficultés méthodologiques nombreuses
En toute logique, le niveau 5, relatif à l’évaluation du fameux retour sur investissement (ROI) de la formation, est donc le moins pratiqué. A la question « Evaluez-vous le retour sur investissement des formations ? », 77,5 % répondent par la négative.
Pour les quelques entreprises qui pratiquent ce type d’évaluation, le ROI est calculé en comparant les bénéfices et les coûts de la formation.
Comme pour le niveau 4, les outils d’évaluation sont relativement proches et les difficultés méthodologiques nombreuses. Des difficultés qui amènent les auteurs à caractériser le ROI de la formation d’ « expression galvaudée ».
L’évaluation de la formation n’est pourtant pas un détail pour le responsable formation. Celle-ci doit lui permettre de légitimer sa position et, surtout, de lui donner de l’épaisseur. « Le fait de démontrer la responsabilité (même partielle) de la formation dans les résultats est aussi important dans une logique de marketing de la formation », notent les auteurs. Et d’ajouter : « Le responsable formation doit pouvoir exprimer certains résultats de la formation en termes monétaires (…), au risque sinon de voir] l’investissement qualifié de dépense-formation ». Toute la difficulté étant de trouver un juste milieu, pour ne pas tomber non plus dans la mise en œuvre systématique de « ratios de rentabilité », au détriment de la formation elle-même. Brice Ancelin
Crédits photo : Fotolia.com
(1) Etude menée entre le 29 mars et le 31 mai 2010 par Formaeva. L’objectif majeur de l’étude était d’identifier les pratiques d’évaluation des formations des entreprises du point de vue du contenu, des méthodes et des objectifs. Sur les 160 participants à cette enquête 80 ont été retenus. Du fait de ce nombre de résultats relativement restreint, Formaeva ne prétend pas à une généralisation des résultats, mais entend plus mettre en lumière des pratiques d’entreprises. (2) Les questions posées s’articulent essentiellement autour du modèle d’évaluation des formations à quatre niveaux de Donald Kirkpatrick, augmenté du 5e niveau proposé par Jack Philips. Pour plus de détail, voir l’article publié sur FormaGuide : http://www.formaeva.com/files/documents/ressources/synthese-etude-formaeva-2010.pdfL’heure est à l’évaluation de la formation (3) L’évaluation formelle est une évaluation faite par toutes les personnes concernées à l’aide d’un outil d’évaluation (questionnaire, quiz etc.) L’évaluation informelle est menée par une personne qui recueille auprès de quelques autres personnes des informations parcellaires ou anecdotiques sur la formation. Voir la synthèse de l’étude : [ |
à lire également
- La recommandation sociale a-t-elle un sens en formation ? Par Stéphane Diebold
- Astre Académie, la nouvelle plate-forme de formation logistique
- Projet et certificat Voltaire, une certaine idée de l’orthographe…
- Réforme : les entreprises toujours dans le flou
- Évaluation de la formation : de la nécessité d’une stratégie
- Les parcours très pointus de la création d’entreprise
- Une mission d’information accrue pour les Opca
- Banque et assurance : l'efficacité et l'accompagnement
- La formation détruit-elle la vie privée ? Par Stéphane Diebold
- Langues: « Jusqu’en septembre, personne ne comprenait rien… »
- Du nécessaire esprit de finesse dans l’usage des données. Par Michel Diaz
- Comment préparer le nouvel entretien professionnel...
- Formations au management : les publics changent mais les fondamentaux restent
- La certification des formateurs - Interviewes
- Comment la formation lutte contre l’infobésité ? Par Stéphane Diebold
- Quand les MOOC viennent au présentiel… Par Michel Diaz
- L’Université d’hiver de la formation professionnelle 2016 : un lieu unique d’échange et de partage pour les Opca
- Formations de formateurs : la posture tout autant que le message
- Coaching : un métier d’expérience
- Le coaching, partie prenante de la formation. Par Stéphane Diebold
- Quelles formations pour quelle efficacité? Par Philippe Brami
- Formation 2016, place à l’efficacité
- Digital learning : vous avez dit « SMAC » ? Par Michel Diaz
- « Pour les entreprises, l’achat de formation n’est plus une obligation, mais un investissement »
- « Le CPF pourrait se trouver en péril »
RECHERCHER UNE FORMATION
Recherche guidée thématique
Recherche par thème :
- Accueil Physique et Téléphonique (96)
- Achat : Gestion Commerciale (13000)
- Achat à l'international (2)
- Acteurs et outils (542)
- Action Commerciale (2724)
- Agriculture-Agronomie (129)
- Agro-Alimentaire (1223)
- Approvisionnement (31)
- Architecture Générale (5204)
- Biologie (3)
- BTP - Architecture (1159)
- BTP : Bureau d'étude et Métré (4889)
- BTP : Chantier (Gros et Second Oeuvre) (2170)
- Bureautique (3872)
- Commercial - Marketing - Vente (10379)
- Commercial pour non commerciaux (6189)
- Communication (2544)
- Communication d'Entreprise (416)
- Communication Ecrite (3)
- Communication Orale (3)
- Communication Professionnelle (6326)
- Comptabilité des Sociétés (Normes Internationales, IAS IFRS, Consolidation ...) (5578)
- Comptabilité Générale (Bilan, Compte de Résultats) (4)
- Concours de la Fonction Publique (244)
- Conduite de réunion (2)
- Conflits - Violences - Malveillance (985)
- Contrôle de Gestion (2)
- Développement des Ressources (278)
- Développement Personnel (2)
- Devenir Manager - Être Manager (6)
- Droit Administratif (1622)
- Droit des Douanes (606)
- Droit des Sociétés (2398)
- Droit Social (77)
- Electricité (110)
- Electricité - Electrotechnique - Câblage (2)
- Fonction Achat (Responsable Achat, Assistant Achat (1)
- Formation à distance (E-learning, FOAD & TYCE...) (1)
- Gestion du Temps (4)
- Gestion Financière (6)
- Habilitation Chimique (1)
- Hygiène et HACCP (2)
- Indonésien (572)
- Logiciel de Bases de Données (Access...) (11718)
- Logiciel de Compta (Sage...) (2513)
- Logiciel de CRM (Relation Client...) (4000)
- Logistique (4638)
- Magasinage et Stock (1)
- Management - Direction (10316)
- Management Commercial (234)
- Management d'Equipe (1)
- Management de L'environnement (3)
- Management de l'Information (2)
- Management du Changement (1)
- Marketing des Services (946)
- Marketing Industriel (1220)
- Marketing stratégique (12)
- Mathématiques (102)
- Métiers du BTP (171)
- Négociation Commerciale (3)
- Nettoyage - Hygiène - Propreté (2)
- PAO (Photoshop, Illustrator, Indesign, Quark ...) (8)
- Prestations Animalières (1166)
- Prospection Commerciale (1)
- Relation client (2)
- Réseau : HelpDesk-Support-Maintenance (2)
- Réseau : SECURITE (2)
- Suite bureautique (MS Office, Open Office ...) (1)
- Techniques - Industrielles (2222)
- Techniques de production et de gestion (1)
- Techniques de vente (3)
- Topographie - Cartographie (1959)
- Transport : Management Marketing (3132)
- Utiliser Internet (IE, Firefox...) (1360)
- VAE (4)
- Web (Dreamweaver, Frontpage, Flash ...) (2)