Jacek Rysiewicz

Czytanie na głos przez uczniów na lekcji języka obcego może być ważnym elementem praktyki dydaktycznej nauczyciela. Niestety, nauczyciele często niepoprawnie konceptualizują i operacjonalizują cele tej techniki, co prowadzi do bezrefleksyjnego stosowania jej na lekcjach i tym samym do zaprzepaszczenia korzyści, jakie może ona dać przy właściwym jej przeprowadzeniu. Niniejszy artykuł jest próbą omówienia tego problemu z pozycji refleksyjnego praktyka.

Rozporządzenie MENiS z dnia 20 lutego 2004 r. mówi, że: ‘Dla kandydatów do oddziałów dwujęzycznych w gimnazjach może być przeprowadzony sprawdzian uzdolnień kierunkowych”. Domniemać należy, że celem tych sprawdzianów jest diagnoza uzdolnionych językowo absolwentów szkół podstawowych i umożliwienie im kontynuacji nauki języków w profilowanych szkołach średnich. Praktyka okazała się diametralnie różna. Chałupniczo wytwarzane sprawdziany, odzwierciedlające potoczne przekonania o tym czym są uzdolnienia językowe nijak się mają do teorii językoznawczej z tego zakresu i są niczym innym jak testami biegłości języka polskiego. Ponieważ ta zależy od środowiska społeczno-ekonomicznego, w którym dziecko dorasta, wynika z tego, że testy te nie diagnozują uczniów pod kątem uzdolnień językowych lecz selekcjonują ich ze względu na status materialny rodziców, wykształcenie, miejsce zamieszkania i inne. Tym samym akt prawny RP zamiast być narzędziem realizacji polityki równych szans, stał się narzędziem selekcji do reglamentowanego dobra edukacyjnego. Zamiast diagnozować uczniów uzdolnionych językowo sprawdziany te selekcjonują uczniów o dobrze rozwiniętych kompetencjach języka ojczystego spośród bardziej uprzywilejowanych warstw społeczeństwa. Dlatego są szkodliwe społecznie.

According to the regulation of the Polish Ministry of Education from 20 February 2004 state secondary schools may administer foreign language aptitude tests to candidates seeking admission to bilingual programmes run within the national curriculum. The article is a critical appraisal of the effects this regulation had on the process of aptitude diagnosis, discusses the impact it had on the standards of aptitude testing, and demonstrates that closer links are needed between the legislator and applied linguists in drafting educational laws. Specifically, it is shown that the tools used in the recruitment process to bilingual schools are theoretically faulty, didactically inappropriate and socially harmful.

Tekst jest próbą wyjaśnienia ciekawego zjawiska 'skoczni' na wykresach rozkładu wyników maturalnych z różnych przedmiotów, poziomów i lat publikowanych corocznie przez CKE. Rozkład wyników niektórych egzaminów przedstawiany w formie histogramu wydaje się przeczyć zdrowemu rozsądkowi i zasadom statystyki. Jedynym rozsądnym i najbardziej prawdopodobnym wytłumaczeniem tego zjawiska jest stosowany przez CKE proceder 'skrobania punktów' abiturientom, których prace znalazły się 'pod kreską'.

Artykuł opisuje dwie symulacje przy użyciu egzaminu maturalnego z języka angielskiego na poziomie podstawowym z roku 2011. Symulacje przeprowadzono w celu sprawdzenia odporności egzaminu na zgadywanie. Po omówieniu ‘wyników’ autor udziela praktycznych rad przyszłym abiturientom jak zdać ten egzamin z obojętnie jakiego języka obcego. Sugestie dla decydentów z MENu jak uzdrowić sytuację kończą ten prowokacyjny tekst. UWAGA: po zmianach wprowadzonych do egzaminu od roku 2015 część obserwacji już nie aktualna.

"Artykuł stawia sobie dwa cele. Pierwszym z nich jest przybliżenie psychologom zagadnień związanych z naturą, strukturą i pomiarem uzdolnień do nauki języków obcych w kontekście wcześniejszych badań nad tym wymiarem. Drugim jest krytyczne omówienie dwóch testów uzdolnień językowych zaproponowanych przez polskich autorów: Kuliniak, 2002 i Wojtowicz, 2006. Analiza tych narzędzi została przeprowadzona na tle wcześniejszych dokonań w tym zakresie i w oparciu o obecny stan wiedzy o naturze akwizycji języków obcych oraz roli uzdolnień językowych w procesie dydaktyki języków obcych. Główne ostrze krytycznej oceny skupia się na sposobie, w jaki autorzy testów definiują uzdolnienia językowe, dokonują ich operacjonalizacji i przeprowadzają walidację swych narzędzi.

Słowa kluczowe: uzdolnienia językowe, testy uzdolnień językowych, trafność teoretyczna

CRITICAL APPRAISAL OF TWO POLISH FOREIGN LANGUAGE APTITUDE TESTS
The article sets itself two main aims. The first is to familiarize the psychologists not trained in linguistics, with the basic concepts and notions related to the problem of foreign language (FL) aptitude as a learner factor independent of other cognitive dimensions. The issues pertaining to the nature, structure and the measurement of FL aptitude are discussed in the context of earlier work done in the area. The article’s other aim consists in a critical evaluation of two FL aptitude tests proposed recently by Polish authors: Kuliniak, 2002 and Wojtowicz, 2006. The appraisal of the tools is done against the backdrop of FL aptitude tests constructed earlier, and against the current state of the art in foreign/second language research, and the role that FL aptitude plays both in the acquisition of an FL as well as in the FL didactics. The main criticism levelled against the two tests centres on the quality of the theorizing behind the definitions of the constructs, their operationalizations and the quality of the tests’ validation procedures.

Key words: foreign language aptitude, aptitude testing, construct validity of tests

This article reports a study in which ability/aptitude profiles of 13-year-old foreign language (FL) learners are identified. A multivariate statistical procedure of cluster analysis proved to be particularly useful in this respect. The aim of cluster analysis is to identify, within a sample studied, certain subgroups (clusters) of participants who share similar combinations of characteristics and who are different from other groups of participants. In the present study, the performance of 137 FL learners on 6 different ability/aptitude measures provided input data for the analysis. The data came from earlier research (Rysiewicz, 2004) in which 4 variables had been broadly analyzed as aptitude and 2 as intelligence dimensions. The results of nonhierarchical clustering (k-means clustering) revealed 3 distinct cognitive learner profiles that lent
themselves best to theoretical interpretation. Additionally, an external criterion variable was used to function as an independent indicator of the differences among the clusters (Alexander & Murphy, 1999). It was found that the identified learner types performed significantly differently on a second language proficiency criterion measure, which confirmed the validity of the 3-cluster solution.

Two Polish proposals of tests of foreign language learning ability (aptitude) are evaluated with respect to their potential to predict success in the learning of a foreign language versus the learning of other school subjects in the context of formal school instruction. This is done by examining correlations obtaining between the tests' results and various criterion measures (school grades) obtained from two groups of secondary school learners over a period of two and a half years.

Free access to the full copy of the article has expired - please search for it in the source cited above:


(Streszczenie)
Niniejszy artykuł stawia sobie następujące cele: przybliżenie czytelnikowi zagadnień związanych z pojęciem uzdolnień językowych, ich definicją i charakterystyką; wyjaśnienie nieporozumień dotyczących sposobów pomiaru uzdolnień językowych, oraz omówienie implikacji dydaktycznych pomiaru zdolności językowych w zależności od celów jemu stawianych.

(Fragment 1)
Praktyka badawcza (von Wittich, 1962; Gardner, Lambert, 1965; Boyle, 1987; Sasaki, 1996; Rysiewicz, 2004) pokazuje jednoznacznie, że poziom opanowania języka obcego jest w większym stopniu związany z konstruktem zdolności językowych niż z konstruktem inteligencji ogólnej mierzonym standardowymi testami inteligencji takimi jak Thurstone Primary Mental Abilities Test; Test Matryc Progresywnych Raven’a lub Wechsler Adult Intelligence Scale-Revised. Badania te wykazały, że testy inteligencji ogólnej i testy predyspozycji językowych w sposób odmienny wyjaśniają zmienność wyników (wariancję) w testach osiągnięć językowych, a wielkość współczynnika korelacji prostej (r) lub wielokrotnej (R) dla zmiennych: ‘inteligencja’ a ‘test językowy’ jest konsekwentnie niższa (r = 0.15 do 0.50) niż dla zmiennych: ‘predyspozycje’ a ‘test językowy’ (r = 0.30 do 0.70). Tak więc jednym z podstawowych faktów z zakresu badań nad zdolnościami językowymi, co do którego panuje całkowita zgoda wśród językoznawców stosowanych, jest to, że zdolności językowe są autonomicznym konstruktem kognitywnym i nie są tożsame z inteligencją ogólną, choć wykazują z nią pewną zbieżność.

(Fragment 2)
(...) od testów uzdolnień językowych oczekuje się przede wszystkim, że w wyniku diagnozy przeprowadzonej przy ich użyciu będzie możliwe określenie profilu uzdolnień uczących się, tak by w procesie dydaktycznym najpełniej wykorzystać ich zasoby kognitywne (por. Wesche, 1981; Skehan, 1986; Rysiewicz, 2008). Innymi słowy, narzędzia te powinny osiągnąć poziom wyjaśniający procesy akwizycji językowej (...), a nie tylko poziom predyktywny. Niestety, żadna propozycja testu uzdolnień językowych, która pojawiła się w Polsce w ciągu ostatnich dziesięciu lat, nie pozwala na taką diagnozę.

Fragment 3.
Brak rodzimego testu uzdolnień językowych (...) był, i w dalszym ciągu jest, powodem zastoju w badaniach nad tym wymiarem w Polsce. Podjęte nieliczne próby skonstruowania takich narzędzi nie zakończyły się powodzeniem z kilku powodów. Pierwszym (...) z nich jest stosunkowo słabe rozeznanie autorów w problematyce badań nad uzdolnieniami językowymi, co (...) doprowadziło do powstania propozycji testów o niejasnej podbudowie teoretycznej i małej wartości praktycznej. Przykładami takich narzędzi są Testy Predyspozycji Językowych (Kuliniak, 2002), Test Zdolności Językowych (Wojtowicz, 2006), testy rekrutacyjne do klas dwujęzycznych dla szkół średnich (opracowywane przez badaczy z Instytutu Lingwistyki Stosowanej UW), czy też na studia językowe (testy uzdolnień na anglistykę na UW). (...) Najprościej mówiąc, oznacza to, że rzeczone testy nie wykazują solidnych właściwości psychometrycznych (rzetelność i trafność), nie wspominając już zagadnień związanych z zachowaniem tzw., bezpieczeństwa testu (test security). (...) Wydaje się, że w przypadku omawianych testów fakt, że ukazały się one drukiem i, że powstały w środowisku akademickim jest jedynym i najważniejszym kryterium uwiarygodniającym te ‘narzędzia’ w oczach potencjalnych użytkowników. Niestety fakt ten w żaden sposób nie wpływa na rzeczywistą wartość tych testów jako narzędzi diagnostycznych i prognostycznych – po prostu, testy te nie są dobrymi testami uzdolnień językowych. Coś mierzą ale tak do końca nie wiadomo co to jest.

The paper looks at two most common two-dimensional (bivariate) and multi-dimensional (multivariate) tools of statistical analysis enabling a researcher to investigate the relationship between the measures/scales (tests) used with the hope of arriving at relevant interpretations of his findings from which he could extrapolate from a sample onto the whole population. Specifically, it will be demonstrated that using a simple, two-dimensional  correlation coefficient technique to seek predictive explanation in a complex interplay of independent variables onto a dependent variable is, at best, a misguided procedure. Rather, a technique capable of simultaneously handling an influence of independent variables onto a criterion, i.e., multiple regression, should be applied. The technique of multiple regression enables a researcher to gauge a unique contribution of each independent variable onto a dependent one, thus achieving a higher level of ‘joint’ prediction, which wouldn’t be possible if the variables were considered individually (using a simple correlation coefficient). The problem will be illustrated with examples of studies making use of the analyses discussed in the paper.

For quantitative research to be a reliable source of primary-data in second language acquisition (SLA) methodological rigour in positing and testing hypotheses about the nature of factors at play in foreign/second language learning is of paramount importance. Invalid and unreliable tools, irrelevant research questions and/or hypotheses, faulty research designs, and incorrectly used tools of data analysis all lead to erratic and undependable interpretations of the findings. The article is an attempt at a critical appraisal of selected aspects of quantitative research done in Poland over the last two or three years in the area of L2/FL language acquisition/learning. The reports have either been presented at conferences, published in professional journals or carried out in the course of MA and/or PhD dissertations.

A study is reported in which the interplay between two individual difference factors of FL aptitude and intelligence (verbal and non-verbal) on FL achievement of 7th grade junior secondary school pupils is investigated. Specifically, it is hypothesised that the abilities postulated as FL aptitude and intelligence will, on the one hand, emerge as two traits independent from FL proficiency and, on the other, will differentially predict success in FL learning as measured by achievement tests. Two measures of FL aptitude, one measure of intelligence (verbal and non-verbal) as well as the final language proficiency test were used to generate quantitative data for the study. The data was then analysed using two powerful multivariate statistical tools: factor analysis (to uncover the structure of general as well as specific cognitive abilities) and multiple regression (to isolate the best predictors of FL achievement from among the variables used in the study). The results of the study showed that second language proficiency is clearly independent from both intelligence and second language aptitude. The following factors proved to be among the best predictors of L2 learning success: size of native vocabulary, lexical processing ability, inductive language ability and memory for text.

The article discusses briefly the history of research on foreign language (FL) aptitude in the context of the recent revival of interest in this aspect of individual learner differences in Poland. Possible reasons for the absence of FL aptitude from research agendas in Poland are suggested and, finally, some myths and misunderstandings surrounding the concept and its role in FL learning are discussed.

This article sets itself two main aims. The first is to describe the rationale behind the decision to adapt for Polish learners the Modern Language Aptitude Test (MLAT) by Carroll and Sapon
(1959), rather than to develop a new measure. The reasons behind the decision are discussed in the context of the relevant individual differences (ID) research in Poland and the need for a reliable and theoretically valid measure of foreign language (FL) aptitude for L1 Polish is articulated.
The other aim is to describe the development, piloting and initial validation of the Polish MLAT-based adaptation of a new measure of FL aptitude. Two methods of test adaptation (translation and paraphrase) are discussed and justified with relation to the current project. It was decided that all four components of FL aptitude, as proposed by Carroll (1981), would be represented in the Polish adaptation of the MLAT. The piloting was done on approximately 200 secondary school learners aged 19, while the data for the initial validation study, in the form of second language (L2) English proficiency test results as well as simple measures of motivation, length of study, social background and others, came from ca. 250 subjects, aged 18–22.

In many studies investigating the relationship of working memory (WM) to higher order cognitive behaviours the index of WM used is based on the subjects’ efficiency to remember back, usually in the correct order, whatever to-be-remembered items (TBR) a given task uses. Those could be words, digits, letters or locations in a grid. Indexed as such WM construct loses much of the original suggestion of Baddeley and Hitch (1974) who redefined an earlier storage-only view of memory in terms of a system where storage of information and its processing happen simultaneously. In SL/FL research WM has been present at least since the first study by Daneman and Carpenter (1980) and was thought to ideally suit the processing demands facing a learner in a language learning situation. In much of this research, however, only a storage aspect of WM tasks was used thus missing an essential conceptualization of the construct as storage and concurrent processing. Thus, an index of (WM) that is used in this study is both storage (capacity) and processing (speed and accuracy) based. Processing time and processing accuracy scores obtained from three WM memory tasks: Ospan, Rspan and Symspan (Unsworth et al 2005, Unsworth et al 2009) were used together with a recall score from the tasks’ storage component to form a combined index of WM. It is believed that this index reflects more fully the nature of cognitive operations of processing and storage involved in WM. The main aims of the current study were to see: 1. how WM related to FL achievement measured by a variety of language tests; 2. to investigate the relationship between WM, 3. to see which of the two variables (WM or FL aptitude) were better predictors of FL learning success in advanced learners of English. A preliminary analysis of the results seems to be pointing towards quite strong independence of WM and FL aptitude as separate constructs showing no or little common variance, and little or negligent relationship between WM and all the components of FL achievement in the sample studied.

Wykład będzie traktował o predyspozycji do nauki języków obcych. Poruszone w nim będą następujące zagadnienia:
1. zdolności językowe (ZJ) w ujęciu potocznym a naukowym
2. czym są zdolności a czym umiejętności w sensie ogólnym
3. czy ZJ są niezależne od inteligencji
4. charakterystyka zdolności językowych
5. co składa się na ZJ (ich struktura)
6. czy ZJ można zmierzyć i po co to robić
7. jak interpretować wyniki rzetelnych testów uzdolnień językowych

Dlaczego warto być poliglotą i jak to osiągnąć?

Podczas wykładu postaramy się rzucić trochę światła na następujące zagadnienia związane z nauką języków obcych:
• Dlaczego warto uczyć się języków obcych? (jak język obcy wpływa na nasze myślenie i postrzeganie świata?)
• Dlaczego nauka języka obcego jest taka trudna, a ojczystego taka łatwa? (porównanie akwizycji języka ojczystego z uczeniem się języka obcego)
• Czy każdy człowiek może nauczyć się języka obcego? (różne drogi dojścia do opanowania języka obcego wynikiem różnic indywidualnych)
• Co to znaczy, że zna się język obcy? (charakterystyka celu [produktu] determinująca proces dochodzenia do niego; nauka języków diametralnie różna od nauki innych przedmiotów szkolnych)
• Jak najlepiej uczyć się języka obcego? (potrzeba diagnozy uzdolnień i kształtowania świadomości kierowania własnym procesem uczenia się)
Na większość pytań, niestety, nie udzielimy jednoznacznych odpowiedzi z tej prostej przyczyny, że nie ma takich odpowiedzi.

The role of learner factors such as motivation, learning styles, anxiety, learning strategies and aptitude in L2/FL learning has been extensively researched over the last two decades or so. The influence of cognitively and emotionally based individual differences (ID) among L2 learners on achievement in second language learning, both in formal and natural educational contexts, is invariably investigated using the quantitative methodology. The quantitative paradigm’s interest in ‘trends’ and ‘tendencies’, rather than in the individual and the variegated meanings carried by him, enables researchers to uncover patterns, generalizations and relationships between the characteristics describing people’s L2/FL learning behaviour.
The current paper discusses some aspects of ID research methodology in L2/FL learning. Most notably, it shows how the type of research questions asked and formulated hypotheses influences the choice of research design and data analysis techniques.  Three types of research questions most commonly asked in ID research are discussed and their implications for study design and data analysis demonstrated. This is done with reference to actual studies done for the purpose of MA or PhD theses, or reported in papers and/or articles published in professional journals.

Research on foreign language aptitude has shown that this learner characteristic is a relatively stable cognitive trait which is not modifiable by training. The stability of aptitude over long periods of an individual’s life and its non-permeability to training suggest that this individual difference is genetically determined rather than shaped by educational efforts, dependant on social background or gender. If so, then, as with any “natural” phenomena, one would expect language aptitude to be more or less equally distributed in the population, that is across the sexes, educational backgrounds, social milieus, and the like. By the same token, one would not expect this ability to show strong dependencies on either of the aforementioned factors. The present paper reports on a medium-scale study which investigates the relationship between, on the one hand, foreign language learning ability and, on the other, gender and the type of school (social context of language instruction). The main variable of FL aptitude is measured by TUNJO (Test Uzdolnień do Nauki Języków Obcych), a Polish adaptation of Modern Language Aptitude Test by Carroll and Sapon (1959). The results of the study seem to indicate that some aptitude components do show strong dependence on the variables studied, while others do not follow the pattern so neatly.