Visualizing cognitive processes in medical education: Forward and backward reasoning in a digital family medicine assessment

Abstract

Background: When evaluating medical students, wouldn’t it be helpful to visualize and understand your students’ clinical reasoning (CR)? There are different types of CR for students to use in their multiple choice questions (MCQs). Whileforwardreasoningusesdatatogenerate a hypothesis, backward reasoning looks at possible prompts (answers) to generate a hypothesis. This study implements a new approach to visualizing CR during digital MCQ assessment. Furthermore, it examines the effect of feedback given during the learning process, also known as formative feedback, on the thought process. Methods: Quantitative and qualitative data were collected at the end of two consecutive year 5 end-of-semester Family Medicine exams in 2023. Both exams consisted of 60 MCQs and an additional research component also comprising MCQs. During the research component students digitally recorded their reasoning process while answering MCQs.Qualitative data were codedviathreeroundsofcoding,including two marking/coding parties. Results: This study was able to digitally visualize CR in a large cohort (n=210). On average, the exam questions were answered with 87% of CR. Forwardreasoningwasusedsignificantly moreoftenthanbackward reasoning(WS22/23p=0.006,SS23p<0.001).Highperformerswere significantly more likely to use forward reasoning and backward reason ing than low performers(p<0.01).FormativeFeedbackhadnosignificant influence on the choice of CR type(p=0.281).Follow-up questions might stimulate a change in CR behaviour;howeverfurtherresearchisneeded (p<0.001). Conclusion: This study illustrates an alternative method to visualize students’ cognitive processes on a large scale. This approach sheds light on the required cognitive processes. It may help educators to better understand what to focus on during curricular learning activities aimed at preparing for state exams. This method maybebeneficialasaquality criterion for MCQ questions, as it does not only rely on expert opinion or question metrics but illustrates students’ cognitive processes when answering MCQ.

Hintergrund: Wäre esbeiderBewertungvonMedizinstudierendennicht hilfreich, das klinische Denken (CR) Ihrer Studierenden zu visualisieren und zu verstehen? Es gibt verschiedene Arten von CR, die Studierende in ihren Multiple-Choice-Fragen (MCQs) verwenden können. Während beimVorwärtsdenken Daten zur Erstellung einer Hypothese verwendet werden, werdenbeimRückwärtsdenkenmöglicheHinweise(Antworten) zur Erstellung einer Hypothese herangezogen. Diese Studie implemen tiert einen neuen Ansatz zur Visualisierung von CR während der digitalen MCQ-Prüfung. Darüber hinaus untersucht sie die Auswirkungen von Feedback während des Lernprozesses, auch bekannt als formatives Feedback, auf den Denkprozess. Methoden: Quantitative und qualitative Daten von zwei Semesterab schlussprüfungen im Fach Allgemeinmedizin wurden am Ende des 5. Studienjahres im Jahr 2023 gesammelt. Beide Prüfungen bestanden aus60MCQsundeinem zusätzlichenForschungsteil,welcherebenfalls MCQsumfasste.WährenddesForschungsteilserfasstendieStudieren den ihren Denkprozess bei der Beantwortung der MCQs digital. Die qualitativen Daten wurden in drei Kodierungsrunden, darunter zwei Markierungs-/Kodierungspartys, kodiert. Ergebnisse: Diese Studie konnte CR in einer großen Kohorte (n=210) digital visualisieren. Im Durchschnitt wurden die Prüfungsfragen mit 87% CR beantwortet. Vorwärtsdenken wurde signifikant häufiger ver wendet als Rückwärtsdenken (WS 22/23 p=0,006, SS 23 p<0,001). Leistungsstarke Studierende verwendeten signifikant häufiger Vorwärts denken und Rückwärtsdenken als leistungsschwache Studierende (p<0,01). Formatives Feedback hatte keinen signifikanten Einfluss auf die Wahl der CR-Art (p=0,281). Folgefragen könnten eine Veränderung desCR-Verhaltens bewirken; jedoch sind weitere Untersuchungen erfor derlich (p<0,001). Schlussfolgerung: Diese Studie veranschaulicht eine alternative Metho de zur Visualisierung der kognitiven Prozesse von Studierenden in großemMaßstab.DieserAnsatzbeleuchtetdieerforderlichenkognitiven Prozesse. Er kannPädagogendabeihelfen,besserzuverstehen,worauf sie sich bei curricularen Lernaktivitäten zur Vorbereitung auf staatliche Prüfungen konzentrieren sollten. Diese Methode kann als Qualitätskri terium für MCQ-Fragen von Vorteil sein, da sie sich nicht nur auf Exper tenmeinungen oder Fragenmetrikenstützt, sondernauchdiekognitiven Prozesse der Studierenden bei der Beantwortung von MCQs veranschau licht.