Review Essay: Die Rollen- und Funktionsvielfalt von Evaluation im Kontext von E-Learning-Projekten

Abstract

Das Förderprogramm "Neue Medien in der Bildung – Bereich Hochschule" wird in mehreren Bänden mit jeweils unterschiedlichen Schwerpunkten gut dokumentiert. Der hier besprochene Band beschäftigt sich mit den Evaluationskonzepten und ersten Evaluationsergebnissen der beteiligten Projekte. Wenngleich dem Buch der Entstehungskontext als Tagungsband an manchen Stellen anzumerken ist, bietet es in vier Abschnitten "Zielrichtungen", "methodologische Aspekte", "Zukunftsperspektiven" sowie Kurzportraits von Teilprojekten einen reichhaltigen Überblick über im Kontext von E-Learning relevante Evaluationskonzepte aus den Bereichen Psychologie, Sozialwissenschaft und Qualitätssicherung. Die Beiträge umfassen sowohl konzeptionelle Arbeiten zu verschiedenen Evaluationsmodellen als auch Beschreibungen konkreter Evaluationsstudien. Dabei wird das Spannungsverhältnis zwischen den unterschiedlichen Anforderungen an Evaluation deutlich. Darüber hinaus erhält man auch einen Einblick in die Durchführung und Rezeption der behandelten E-Learning-Projekte.

The German initiative "New Media in Education—the Higher Education Sector" is well documented. The present volume describes the project's evaluation concepts and preliminary results. In four chapters about goals, methodology, and possible future directions of evaluation research as well as some presentations of e-learning projects, this book offers a rich overview of appropriate evaluation models from fields such as psychology, the social sciences and quality management. This compilation encompasses theoretical works on the concepts of evaluation as well as presentations of actual evaluation studies. The reader thus gains insight into the extent of the requests and expectations an evaluation team has to satisfy as well as the process of implementing e-learning in a university context. The articles in this book contain thought-provoking ideas like Sigmar-Olaf TERGAN's assertion that there is no automatic relationship between the quality of an e-learning program and students' learning outcomes. This could lead us to conclude that we have to put more emphasis on situational parameters and that we have to use methods that are capable of capturing the different perspectives of those involved. While many authors accentuate the need to triangulate data sources, methods, theories and observers, the empirical method used most often in the context of e-learning is surveys, if possible online. This difference leads to questions about the function evaluation studies fulfill for e-learning programs. Karin HAUBRICH's demand that e-learning programs must be allowed to fail seems especially important here in order to make evaluation appear less as a control instrument and more as a way to get reliable feedback and to provide a catalyst for new developments. After reading this book, one might have the impression—and one might ask why this is the case—that e-learning requires evaluation in greater depth than "traditional" forms of teaching. An argument put forward by Sascha SCHANZE points to the novelty of this approach. While this view is shared by other e-learning professionals, today's students often use computers from childhood on. They communicate regularly via e-mail and are used to searching for information on the Internet. The enduring novelty of e-learning thus cannot fully explain this situation. We may instead assume that this "need for evaluation" is rather a side effect of changes in the production mode of higher education. While "traditional" lectures often are, or at least could be, a one-person affair, e-learning represents a form of higher education in the age of a new division of labor—e-learning can only be delivered at a professional level when the production process is distributed over several specialized units, which of course requires a greater management effort. When considering this change in conjunction with prevalent ideas of collecting content or rather learning objects that are tagged with standardized metadata in shareable repositories, we might wonder whether the current impetus of implementing e-learning at university level will cumulate in the use of unified administration and communication platforms, or whether this journey continues towards a "codification" of higher education

La iniciativa alemana "Nuevos medios en educación. El nivel educativo superior" está suficientemente documentada. El presente volumen describe los conceptos de evaluación de proyectos y los resultados preeliminares. En cuatro capítulos que tratan los objetivos, la metodología, y las posibles direcciones futuras de la investigación en evaluación así como algunas presentaciones de proyectos de aprendizaje electrónico (e-learning), este libro aporta una rica visión de modelos de evaluación adecuados desde campos tales como la psicología, las ciencias sociales y el control de calidad. Esta compilación incluye trabajos teóricos sobre conceptos de evaluación así como presentaciones de estudios actuales sobre evaluación. El lector obtiene así una amplia comprensión de las peticiones y expectaciones que debe satisfacer un equipo de evaluación así como el proceso de implementación del aprendizaje electrónico en el contexto universitario. Los artículos de este libro contienen pensamientos provocadores como la afirmación de Sigmar-Olaf TERGAN de que no hay una relación automática entre la calidad de un programa de aprendizaje electrónico y los resultados de aprendizaje de los estudiantes. Lo que puede llevarnos a concluir que tenemos que poner más énfasis en los parámetros situacionales y utilizar métodos capaces de capturar las diferentes perspectivas de esa complejidad. Mientras muchos autores acentúan la necesidad de triangular fuentes de datos, métodos, teorías y observadores, el método empírico más utilizado en el contexto del aprendizaje electrónico es la encuesta, a menudo en línea. Esas diferencias remiten a cuestiones sobre la función que cumplen los estudios de evaluación en estos programas. Karin HAUBRICH demanda, en forma especialmente relevante, que los programas de aprendizaje electrónico deben tener fallas de manera tal que la evaluación aparezca menos como instrumento de control y más como una forma de intercambio y como un catalizador de nuevos desarrollos. Después de leer este libro, se podría tener una impresión – y podría preguntarse por qué esto es así – de que el aprendizaje electrónico requiere una evaluación en un mayor grado de profundidad que las formas "tradicionales" de enseñanza. Un argumento que propone Sascha SCHANZE apunta a lo novedoso de este enfoque. Mientras esta perspectiva es compartida por otros profesionales del aprendizaje electrónico, los actuales estudiantes suelen utilizar las computadoras desde la infancia. Se comunican regularmente a través de e-mail y las utilizan para buscar información en Internet. Así la estable novedad del aprendizaje electrónico no puede explicar plenamente esa situación. Mejor, podemos asumir que esa "necesidad de evaluación" es efecto colateral de los cambios en el modo de producción de la educación superior. Mientras que las clases "tradicionales" a menudo son, o al menos podrían ser, un asunto de una sola persona, el aprendizaje electrónico representa una forma de educación superior en la era de una nueva división del trabajo – el aprendizaje electrónico sólo puede ser presentado en un nivel profesional cuando los procesos de producción son distribuidos bajo varias unidades especializadas, lo que por supuesto requiere un mayor esfuerzo de gestión. Cuando consideramos este cambio conjuntamente con las ideas prevalecientes de reunir contenidos o de los objetos de aprendizaje que son etiquetados como metadatos estandarizados en repositorios compartimentados, podríamos preguntarnos si los actuales ímpetus de implantar aprendizaje electrónico en el nivel universitario derivarán hacia el uso de una administración unificada y plataformas de comunicación, o si este viaje continuará hacia una "codificación" de la educación superior.