Validität und schriftliche Sprachkompetenz

Abbildungs- und Tabellenverzeichnis

Abbildungsverzeichnis

Abb. 1: Überblick über die sieben Sprachenniveaus für Moderna språk im schwedischen Bildungssystem für die Grund- (Gr) und Gymnasialschule (Gy)

Abb. 2: Die Referenzniveaus des GER

Abb. 3: Komponenten der Sprachkompetenz nach Bachman und Palmer

Abb. 4: Komponenten der kommunikativen Sprachkompetenz des GER

Abb. 5: Darstellung einer Argumentationskette nach Kane

Abb. 6: Darstellung der Hauptkomponenten des soziokognitiven Rahmenmodells zur Testentwicklung und Testvalidierung nach Weir

Abb. 7: Ablaufschema des parallelen Forschungsdesigns

Abb. 8: Verteilung der Bewerterkommentare auf die Hauptkategorien, schwedische Bewertende bzw. GER-Bewertende im Vergleich, in Prozent angegeben

Abb. 9: Verteilung der Bewertungen über die Notenstufen (F-A) durch die Gruppe der Lehrkräfte und die zwei externen Bewertenden

Abb. 10: Ergebnisse der Multifacetten-Rasch-Analyse bei der Beurteilung fremdsprachlicher Leistungen durch die schwedischen Bewertenden

Abb. 11: Boxplot-Diagramm: Verteilung der Lernproduktionen auf die Fremdsprachenstufen nach Punktzahlen bei der GER-Bewertung

Tabellenverzeichnis

Tab. 1: Verteilung schwedischer Lernender am Gymnasium mit einer Abschlussnote im Fach Moderna språk nach gewählten Sprachen, Schuljahr 2019/2020

Tab. 2: Anzahl schwedischer Schülerinnen und Schüler mit einer Note im Fach Deutsch am Gymnasium, pro Kurs (1–7) und Schuljahr

Tab. 3: Zentrale Inhalt hinsichtlich Produktion und Interaktion in den schwedischen Bildungsstandards für Tyska 3, Tyska 4 und Tyska 5

Tab. 4: Mindestkriterien hinsichtlich Produktion und Interaktion in den schwedischen Bildungsstandards für Tyska 3, Tyska 4 und Tyska 5

Tab. 5: Deskriptoren der B1-Stufe des GER für die Globalskala

Tab. 6: Niveaustufenüberblick der Relation zwischen schwedischen Fremdsprachenstufen und den Referenzniveaus des GER

Tab. 7: GER-Skala des B1-Niveaus für schriftliche Produktion allgemein

Tab. 8: GER-Skala des B1-Niveaus für schriftliche Interaktion allgemein

Tab. 9: Struktur der Validitätsfacetten

Tab. 10: Modul Schreiben zur Prüfung Goethe-Zertifikat B1 im Überblick

Tab. 11: Verteilung der schriftlichen Schülerleistungen nach Kurs und Note

Tab. 12: Verteilung der 60 Schülerleistungen nach Kurs und Note nach dem Auswahlverfahren

Tab. 13: Überblick über die qualitativen bzw. quantitativen Auswertungsmethoden

Tab. 14: Hauptkategorien, Subkategorien und Ankerbeispiele des Kodierschemas

Tab. 15: Gesamtergebnis der beachteten Aspekte bei der Bewertung schriftlicher Kompetenz

Tab. 16: Verteilung der positiven, gemischten bzw. negativen Segmente pro Hauptkategorie

Tab. 17: Verteilung der Kommentare der schwedischen Bewertenden auf Aspekte der linguistischen Kompetenz

Tab. 18: Verteilung der Kommentare der GER-Bewertenden auf Aspekte der linguistischen Kompetenz

Tab. 19: Verteilung der negativen Bewerterkommentare der Gruppe der schwedischen Bewertenden auf sprachliche Korrekturen

Tab. 20: Verteilung der Bewerterkommentare der schwedischen Bewertenden auf die Verständlichkeit

Tab. 21: Verteilung der Bewerterkommentare der GER-Bewertenden auf die Verständlichkeit

Tab. 22: Verteilung der Bewerterkommentare der schwedischen Bewertenden auf die Aufgabenerfüllung

Tab. 23: Verteilung der Bewerterkommentare der GER-Bewertenden auf die Aufgabenerfüllung

Tab. 24: Verteilung der Bewerterkommentare der schwedischen Lehrkräfte bzw. der schwedischen externen Bewertenden auf die Aufgabenerfüllung

Tab. 25: Verteilung der Bewerterkommentare der schwedischen Bewertenden auf Angemessenheit

Tab. 26: Verteilung der Bewerterkommentare der GER-Bewertenden auf Angemessenheit

Tab. 27: Verteilung der Bewerterkommentare der schwedischen Bewertenden auf die Kategorien Gesamteindruck, kommunikative Strategien, Textfluss und Sonstiges

Tab. 28: Reihung der meistbeachteten Aspekte in den jeweiligen Bewerterurteilen der schwedischen Bewertenden bzw. der GER-Bewertenden

Tab. 29: Deskriptive Statistik hinsichtlich der schwedischen Bewertungen nach Fremdsprachenstufen

Tab. 30: Ergebnisse für Konsens- und Konsistenzmaße der schwedischen Bewertenden

Tab. 31: Kreuztabelle mit Bewertungen der Textproduktionen durch die Gruppe der Lehrkräfte und die/den externen schwedischen Bewertende/n 1

Tab. 32: Kreuztabelle mit Bewertungen der Textproduktionen durch die Gruppe der Lehrkräfte und die/den externen schwedischen Bewertende/n 2

Tab. 33: Kreuztabelle mit Bewertungen der Textproduktionen durch die externen schwedischen Bewertenden 1 und 2

Tab. 34: Infit- bzw. Outfitwerte der Multifacetten-Rasch-Analyse für die Bewertungen der schwedischen Bewertenden

Tab. 35: Deskriptive Statistik für die GER-Bewertungen nach Fremdsprachenstufe

Tab. 36: Verteilung der GER-Bewertungen hinsichtlich des Sprachniveaus B1

Tab. 37: Verteilung der Bewertungen nach den von den GER-Bewertenden ermittelten Punktzahlen auf die jeweiligen Fremdsprachenstufen

Tab. 38: Ergebnisse der Bewertungen und Niveauzuordnung für die Textproduktionen auf Tyska 5

Tab. 39: Verteilung der Textproduktionen eines erreichten B1-Niveaus auf die jeweiligen Fremdsprachenstufen nach der Benotung der schwedischen Lehrkräfte

Tab. 40: Korrelationen zwischen den Bewertungen der schwedischen Bewertenden und dem Gesamtergebnis der GER-Bewertung

Tab. 41: Korrelationen zwischen schwedischen Bewertungen und den GER-Bewertungen hinsichtlich einzelner Bewerteraspekte

Tab. 42: Hintergrundvariablen der Gruppe der schwedischen Lehrkräfte

Tab. 43: Hintergrundvariablen der externen schwedischen Bewertenden

Tab. 44: Hintergrundvariablen der GER-Bewertenden

Vorwort

Die vorliegende Publikation ist eine überarbeitete Fassung meiner Doktorarbeit, die im Fach Deutsch an der Universität Uppsala entstand. Zum Entstehen dieser Arbeit haben mehrere Personen auf unterschiedliche Weise beigetragen.

Mein besonderer Dank gilt meinem Betreuer Prof. Dr. Frank Thomas Grub (Uppsala) sowie meiner Zweitbetreuerin Prof. Gudrun Erickson (Göteborg), die meinen Forschungsprozess mit wertvollen Vorschlägen und großer Fachkompetenz engagiert unterstützt haben.

Prof. Dr. Monika Angela Budde (Vechta), Prof. Dr. Eva Breindl (Erlangen-Nürnberg) und Prof. Dr. Ute Bohnacker (Uppsala) haben frühere Versionen der Arbeit gelesen und konstruktive Kritik und Ratschläge gegeben. Dr. Andrea Meixner (Uppsala/Berlin) hat das Manuskript sorgfältig Korrektur gelesen. Bei den Schülerinnen und Schülern, Lehrkräften und Schulleitern an den teilnehmenden Schulen sowie bei den externen Bewertenden bedanke ich mich für ihre Kooperationsbereitschaft.

Für die finanzielle Unterstützung zweier Bewertender und die Bereitstellung eines Übungssatzes für Jugendliche (das Modul Schreiben des Goethe-Zertifikates B1) möchte ich dem Goethe-Institut meinen Dank aussprechen, besonders Dr. Katharina Buck (Stockholm/Kiew) und Stefanie Dengler (München). Nicht zuletzt ermöglichte das Institut für moderne Sprachen der Universität Uppsala durch seine finanzielle Unterstützung den Druck der vorliegenden Publikation.

Beim Peter Lang Verlag bedanke ich mich ganz herzlich für die freundliche Betreuung.

Der größte Dank geht an meine Familie: meinen Mann David, der mir in allen Promotionsphasen liebevoll und unterstützend mit klugen Ratschlägen zur Seite gestanden hat, sowie unsere beiden Kinder Erik und Hedvig dafür, dass Ihr mit eurer Lebensfreude und neugieriger Sicht auf die Welt zeigt, was im Leben wichtig ist.

Uppsala, im Dezember 2022

Maria Håkansson Ramberg

1. Einleitung

Spätestens im Zuge der Digitalisierung verlieren zahlreiche Staats-, Landes- und weitere Grenzen an Bedeutung. Dies führt zu neuen sprachlichen Herausforderungen und einem großen Bedarf an Sprachkompetenzen, sowohl in Englisch als auch in weiteren Sprachen. Gleichzeitig wird die Bedeutung fremdsprachlicher Kompetenzen in der heutigen Zeit auch in verschiedenen Richtlinien und sprachpolitischen Dokumenten betont (z. B. Europäische Union 2014; Skolverket 2018a; Council of Europe 2020). Wenn das Ziel der Europäischen Kommission, dass alle Menschen in Europa in zwei Fremdsprachen neben der eigenen kommunizieren können (vgl. European Council 2002), erreicht werden soll, ist ein auf kommunikative Kompetenzen ausgerichteter Fremdsprachenunterricht in den jeweiligen Bildungssystemen der europäischen Länder unabdingbar. Hierbei wird meist das im Jahr 2001 vom Europarat publizierte Dokument Gemeinsamer europäischer Referenzrahmen für Sprachen: lernen, lehren, beurteilen¹ (Europarat 2001, im Folgenden abgekürzt als GER oder Referenzrahmen) als Grundlage und Bezugspunkt für Sprachenlernen, Sprachunterricht und die Bewertung² von Sprachkompetenzen verwendet. Der GER verfolgt einen grundsätzlich handlungsorientierten Ansatz, wonach Menschen als sozial Handelnde angesehen werden, die kommunikative Aufgaben bewältigen können sollten. Der Referenzrahmen hat demnach ein kompetenzorientiertes Verständnis von Sprachverwendung, wobei insbesondere die kommunikative Sprachkompetenz hervorgehoben wird (vgl. Europarat 2001: 21).

Der kompetenzorientierte Fremdsprachenunterricht hat in den letzten Jahrzehnten zunehmend an Bedeutung gewonnen. Der kommunikative Ansatz, der sich bereits in den schwedischen Bildungsstandards für die Fremdsprachen aus den 80er Jahren zum Ausdruck kommt, hat in schwedischem Kontext eine lange Tradition. Anders als im Fall von Englisch begegnen schwedische ←17 | 18→Schülerinnen und Schüler aber den sog. modernen Sprachen (Moderna språk)³ fast ausschließlich in einem schulischen Kontext. Dies bedeutet, dass schwedische Lehrkräfte in diesem Schulfach eine tragende Rolle für die aktive Sprachverwendung und das Erlernen der Sprache haben. Schwedische Lehrkräfte haben zudem im Vergleich zu ihren Kolleginnen und Kollegen in vielen anderen Ländern eine größere Autonomie bei der Gestaltung des Unterrichts, tragen aber auch eine vergleichsweise hohe Verantwortung für die Bewertung von Kompetenzen der eigenen Schülerinnen und Schüler (vgl. Nusche et al. 2011). Angesichts dessen müssen schwedische Lehrkräfte nicht nur über die erforderlichen Fachkenntnisse verfügen, sondern auch eine Vertrautheit mit und ein Verständnis von Zielen, Methoden, Rahmenbedingungen und Prozessabläufen sowie ihren Konsequenzen hinsichtlich der Bewertung haben.

Die Bewertung sprachlicher Kompetenz gehört zu den zentralen Aufgaben der Lehrkräfte und ist eines der wichtigen Elemente, um die Qualität schulischer Bildung zu sichern, wie auch der Untertitel des GER zeigt. Eine valide und zuverlässige Bewertung ist aber eine Voraussetzung dafür, dass Testergebnisse mit Legitimität im und außerhalb des schulischen Kontextes verwendet werden können. Die Ergebnisse einer Bewertung der zweiten Fremdsprache im schwedischen System können auch im Hinblick auf den Zugang zu weiteren Studien oder bestimmten Berufsbranchen eine große Bedeutung für die Lernenden haben, sog. High-Stakes-Prüfungen⁴. Die Bewertung fremdsprachlicher Kompetenz in einem schwedischen Schulkontext erfolgt nach einem System mit Wissensanforderungen, wobei versucht wird, die Gesamtkompetenz der Schülerinnen und Schüler in einem Urteil zu erfassen. Diese geschieht häufig durch verschiedene Teiltests der sprachlichen Kompetenz, wie das Prüfen des Lese- und Hörverstehens sowie der mündlichen und schriftlichen Interaktion und Produktion. Bei einer Bewertung freier Sprachverwendung, d. h. mündlicher und schriftlicher Sprachkompetenz, ist allerdings schwer zu vermeiden, dass eine gewisse Subjektivität bei der Bewertung eine Rolle spielt.

Auch wenn sich aktuell ein erhöhtes Interesse an Bewertung und Fragen der Validität sowie Gleichwertigkeit im Bildungsbereich in Schweden abzeichnet, gibt es bislang verhältnismäßig wenige wissenschaftliche Arbeiten, die sich mit ←18 | 19→Fragestellungen hinsichtlich der Bewertung und der Validität in einer zweiten Fremdsprache befassen. Bisherige Untersuchungen sprachlicher Kompetenz, sowohl wissenschaftliche Studien (vgl. Erickson 2009; Skar 2013; Borger 2018) als auch von der Seite der schwedischen Schulbehörden (z. B. Skolinspektionen 2010; Skolverket⁵ 2020b), haben hauptsächlich die Bewertung von Lernendenproduktionen in Schwedisch (L1) und Englisch (L2) untersucht. Nicht zuletzt die Bewertung schriftlicher Kompetenz ist mit Fragen der Validität bzw. der Interpretation von deren Ergebnissen konfrontiert. Darüber hinaus ist der Bereich Fremdsprachendidaktik hinsichtlich der zweiten Fremdsprache, d. h. in anderen Sprachen als Englisch, in der Forschung ein etwas vernachlässigtes Thema (vgl. Cabau-Lampa 2007; Bardel et al. 2016) und dies gilt im schwedischen Kontext insbesondere für das Fach Deutsch.

Bei der Auseinandersetzung mit Validität ist von Relevanz, inwiefern in den Urteilen der jeweiligen Bewertenden ähnliche oder unterschiedliche Sprachkompetenzkonstrukte reflektiert werden. Inwiefern die Bewertenden ihre Aufmerksamkeit auf dieselben oder ähnliche Aspekte richten oder inwiefern Aspekte bei einer Bewertung von einzelnen Bewertenden mehr Gewicht enthalten, ist infolge dessen bei einer validen Bewertung von großer Bedeutung. In einem schwedischen Schulkontext gibt es aber wenige wissenschaftliche Arbeiten zu Validitätsaspekten im Hinblick darauf, wie Bewertende das zu messende Konstrukt⁶ konzeptualisieren und welche Aspekte sie bei einer Bewertung schriftlicher Kompetenz berücksichtigen (vgl. hierzu Borger 2018).

Die Bewerterübereinstimmung bei einer Bewertung, insbesondere zwischen Lehrkräften in den einzelnen Schulen und externen Bewertenden, hat die Aufmerksamkeit der schwedischen Schulbehörde (Skolverket) erregt und wird im schwedischen Schulkontext häufig diskutiert, insbesondere nach den in den Medien oft beachteten Zweitkorrekturen des schwedischen Schulinspektorats (z. B. Skolinspektionen 2010; 2018). Im Zentrum dieser Berichte steht die Bewerterübereinstimmung schwedischer Lehrkräfte, z. B. inwiefern Bewertende in ihren Bewertungen schriftlicher Leistungen zu möglichst ähnlichen Ergebnissen kommen. Eine hohe Reliabilität bedeutet jedoch nicht automatisch, ←19 | 20→dass gleichzeitig eine hohe Validität vorliegt (vgl. Lumley 2002; Koretz 2008). Ein angemessenes Maß an Reliabilität bei einer Bewertung ist dahingegen aber eine Voraussetzung für die Validität (z. B. Erickson & Sylvén 2013).