Logo
DeutschClear Cookie - decide language by browser settings
Henninger, Michael and Mandl, Heinz (August 1998): Doing evaluation in a process-oriented way: Theoretical implications and methodological problems. (Research report No. 95). LMU Munich: Chair of Education and Educational Psychology, Internet, ISSN 1614-6336
Full text not available from 'Open Access LMU'.

Abstract

In evaluation, a frequently appearing problem is that student ratings are positively biased. To deal with this problem, we are concerned with evaluation which accompanies teaching at university during the term (process-oriented evaluation) and we want to find out which evalua-tion dimension is less susceptible to positive biases. As a theoretical basis for the process-oriented evaluation, an action regulation model has been applied which allows the description of the function of feedback. In this way to do evaluation, data collection implies several phases of measurement. Therefore, we assessed students' reaction to the course according to two evaluation dimensions: satisfaction and expectancy confirmation. Single-point measurement of satisfaction at the end of the term could lead to the methodological problem that student ratings are positively biased. In the literature, this phenomenon is explained by social desirability or grading leniency. To deal with this problem, we integrated the evaluation dimension expect-ancy confirmation which is considered to be less affected by such positive biases. Expectancy confirmation consists of two parts, subtractive expectancy confirmation (a two-point measure-ment) and subjective expectancy confirmation (a single-point measurement). As the first step of investigating our process-oriented evaluation, we focused on the methodological problem of positively biased student ratings and conducted a study concerning the impact of expectancy confirmation on controlling positively biased judgements of satisfaction. Results show that evaluation scores of satisfaction are higher than the scores of expectancy confirmation. Thus, expectancy confirmation can serve as additional feedback information for teachers to compare with positively biased evaluations. In the discussion, questions concerning further research on a process-oriented evaluation are outlined.

Abstract

Ein häufig auftretendes Problem bei der Evaluation von Lehrveranstaltungen besteht darin, daß Evaluationsergebnisse positiv verzerrt sein können. In der Literatur wird dieses Phänomen mit sozialer Erwünschtheit oder Urteilsmilde erklärt. Mit der Zielsetzung, solche Einflüsse zu reduzieren, wurde an der Universität München ein Ansatz entwickelt, bei dem eine Evaluationsdimension (Erwartungsbestätigung) integriert wird, von der angenommen wird, daß sie weniger der positiven Verzerrung unterliegt als das häufig verwendete Maß Zufriedenheit. Im Rahmen des Ansatzes werden zwei Formen von Erwartungsbestätigung erhoben: Subtraktive Erwartungsbestätigung (wird zu zwei Meßzeitpunkten erhoben) und subjektive Erwartungsbestätigung (einmalige Messung). Im Rahmen unseres Ansatzes erfolgt die Evaluation veranstaltungsbegleitend während des gesamten Semesters (prozeßorientierte Art der Evaluation). Als theoretischer Hintergrund für den Ansatz wird ein Handlungsregulationsmodell verwendet, das die Funktion von Rückmeldung im Handlungsprozeß beschreibt. Die Ergebnisse der durchgeführten Studie zeigen, daß die Einschätzung auf der Evaluationsdimension Zufriedenheit positiver ausfällt als die Einschätzung auf der Dimension Erwartungsbestätigung. Die Implikation dieses Ergebnisses für die Durchführung von Evaluationsstudien zur Verbesserung der Lehre wird diskutiert. Darüber hinaus werden weitere Forschungsfragen zur Untersuchung des prozeßorientieren Evaluationsansatzes erörtert.