La validité et la fiabilité sont deux concepts clés qui déterminent la qualité et l’utilité de vos pré-tests et post-tests. La validité fait référence à la mesure dans laquelle vos tests mesurent ce qu’ils sont censés mesurer, ou à la précision avec laquelle ils reflètent les objectifs d’apprentissage et le contenu de votre formation. La fiabilité fait référence à la cohérence et à la fiabilité de vos tests, ou à la probabilité qu’ils produisent les mêmes résultats dans des conditions similaires. Pour concevoir des pré-tests et des post-tests valides et fiables, vous devez les aligner sur vos objectifs d’entraînement, utiliser des questions claires et pertinentes et éviter les biais et les ambiguïtés.
The validity and reliability of the assessment tool are critical, which is what most people think about when evaluating a good instrument. What is equally important, which many organizations need to consider, is the internal validation of the tool. Is the assessment instrument measuring what needs to be measured to obtain reliable results? For example, a good valid, and reliable assessment may say someone would be good in sales, but selling what to whom? The same person who is good at selling n used cars might be good at selling funeral services. “What can I do to get you into this casket today?” might not be a right sales approach. To find out more about visit www.getbecksbooks.com or www.theassessmentcompany.com. 1-800-434-2630
Don't let validity and reliability get in the way of implementing a pre/post-knowledge check. The only way to increase validity and reliability is to use the tool and use your judgment to interpret the data. Remember, the pre/post-knowledge check isn't about assessing the performance of participants but how well your program is designed and it is transferring the desired knowledge.
Validity ensures that the test questions align with the learning objectives, such as evaluating understanding and application of active listening techniques. Reliability is vital to ensure consistent results, achieved by creating clear, unbiased test items, administering tests consistently, and providing clear instructions. By prioritizing validity and reliability, the tests accurately measure the intended learning outcomes and produce consistent results, enabling effective evaluation of the training program's impact.
L’une des premières étapes pour concevoir des pré-tests et des post-tests valides et fiables est de les aligner sur vos objectifs d’entraînement. Vos objectifs de formation doivent être spécifiques, mesurables, réalisables, pertinents et limités dans le temps (SMART), et ils doivent refléter les résultats et les comportements souhaités de vos stagiaires. En fonction de vos objectifs d’entraînement, vous pouvez définir les objectifs d’apprentissage et le contenu de votre formation, puis les utiliser comme guide pour créer vos pré-tests et post-tests. Vos pré-tests et post-tests doivent couvrir les mêmes sujets et compétences que votre formation, et ils doivent correspondre au niveau de difficulté et de complexité de votre formation.
It is essential to have clear and specific outcomes defined for your training program. Define what success looks like first. Then create your evaluation strategy based on outcomes before you build your program. Design not only how you will evaluate the effectiveness of your program but also how you will evaluate the performance of participants. Too often, we create our evaluation strategies based on the program we build rather than the outcomes we desire.
To align your tests with your training goals, it is also crucial to establish success measures for the program. For instance, if the goal is to introduce a new process within a team or organization, the pre-tests and post-tests should be able gauge participants' comprehension and their ability to apply the process in various scenarios. These tests should comprise of both knowledge-based and application-based questions.
Une autre étape importante pour concevoir des pré-tests et des post-tests valides et fiables est d’utiliser des questions claires et pertinentes. Vos questions doivent être faciles à comprendre, concises et axées sur les points clés de votre formation. Vous devriez éviter d’utiliser du jargon, de l’argot ou des termes vagues qui pourraient confondre ou induire vos stagiaires en erreur. Vous devez également éviter d’utiliser des questions trop faciles ou trop difficiles, ou qui ne sont pas liées à vos objectifs et à votre contenu de formation. Vous pouvez utiliser différents types de questions, telles que les questions à choix multiples, vrai/faux, à réponse courte ou basées sur des scénarios, en fonction de la nature et de l’objectif de votre formation.
Pre/Post-knowledge checks are about assessing the effectiveness of your program (not the performance of the participant). The questions need to be simple and straightforward and focus the participant on the desired knowledge the program is intended to transfer. They may not understand the questions in the pre-knowledge check. This should reflect in higher scores in the post-knowledge check. If you are building a "high-stakes" certification assessment or test to gauge the progress or qualifications of participants, you definitely need to take a different approach to construct questions. If you are not trained in test design you may want to engage someone who is when creating assessments and tools that focus on qualifying participants.
Anyone creating assessments in some app is putting their organization at risk. How would you know if your questions aren't interpreted differently by someone older, of a different gender, or perhaps a different cultural background? You can't unless you are conducting years of validation and reliability studies. The money you are "saving" from creating your own assessment will be used up in attorney fees.
La dernière étape pour concevoir des pré-tests et des post-tests valides et fiables est d’éviter les biais et les ambiguïtés. Le biais fait référence à tout facteur susceptible d’influencer ou de fausser les résultats de vos tests, comme les opinions personnelles, les stéréotypes ou les attentes. L’ambiguïté fait référence à tout facteur susceptible de créer de la confusion ou de l’incertitude dans vos tests, tel que des instructions peu claires, des doubles négatifs ou des options qui se chevauchent. Pour éviter les biais et les ambiguïtés, vous devez examiner attentivement vos tests et éliminer toute source potentielle d’erreur ou de malentendu. Vous devriez également tester vos tests avec un échantillon de stagiaires et recueillir des commentaires sur leur clarté, leur pertinence et leur difficulté.
En suivant ces étapes, vous pouvez concevoir des pré-tests et des post-tests valides et fiables pour votre programme de formation, et les utiliser pour évaluer les résultats d’apprentissage, les lacunes dans les connaissances et les changements de comportement de vos stagiaires. Les pré-tests et post-tests sont des outils précieux qui peuvent vous aider à améliorer l’efficacité et l’impact de votre formation, et démontrer votre valeur en tant que formateur d’employés.
The only way to avoid bias and ambiguity is to use a well-validated and reliable assessment tool backed by a reputable publisher. Also, the assessment should be under evergreen validity and Reliability studies. No longer can a publisher get away with revalidation every 5-7 years. Our culture and population are moving too fast. This is why the old DIY approach is dead or needs to be. You wouldn't do brain surgery what you learned on a YouTube video; the same holds true with trying to create your own assessment tool. That's the definition of "risky business."
It is also important to recognize that a single pre-test or post-test might not suffice to measure learning outcomes or assess knowledge and behavior changes. The complexity of the learning objectives or the magnitude of the expected shifts may require multiple post-tests to be conducted at regular intervals. This approach enables the identification of follow-up training needs or the necessity for refresher sessions when deemed necessary. By implementing these considerations, organizations can ensure a comprehensive evaluation of their training program's effectiveness and make informed decisions to optimize future initiatives.