There is relatively little research on how well the CEFR and similar holistic scales work when they are used to rate L2 texts. Using both multifaceted Rasch analyses and qualitative data from rater comments and interviews, the ratings obtained by using a CEFR-based writing scale and the Finnish National Core Curriculum scale for L2 writing were examined to validate the rating process used in the study of the linguistic basis of the CEFR in L2 Finnish and English. More specifically, we explored the quality of the ratings and the rating scales across different tasks and across the two languages. The relationship of task peformance across the scales and languages was also examined. The kinds of analyses reported here are relevant to other SLA studies that use rating scales in their data gathering process.

Artikkelissa selvitetään aikuisten maahanmuuttajien kotoutumiskoulutuksessa saavuttamaa suomen kielen taitoa ja sitä, ennustaako koulutuksen alussa tehtävä lähtötason arviointi saavutettua kielitaitoa. Tutkimukseen osallistuneet maahanmuuttajat (N = 286) osallistuivat lähtötason arviointiin Testipisteessä. Sen jälkeen he suorittivat kotoutumiskoulutuksen opinnot peruspolun tai hitaan opintopolun mukaisesti muutamassa pääkaupunkiseudun oppilaitoksessa. Testipisteen mallin mukaisessa lähtötason arvioinnissa selvitetään maahanmuuttajan suomen kielen taitoa ja opiskeluvalmiuksia testeillä ja taustatietoja keräämällä. Niiden pohjalta maahanmuuttaja ohjataan sopivimmalle opintopolulle ja kielitaitomoduuliin. Havaitsimme, että vain osa maahanmuuttajista saavuttaa kotoutumiskoulutuksen tavoitteen, B1.1-tason kielitaidon kaikilla osa-alueilla. Puhumisessa 60 prosenttia peruspolun opiskelijoista ja vajaat 20 prosenttia hitaan polun opiskelijoista yltää tavoitetasolle. Valtaosa saavuttaa A2.2-tason. Ikä, sukupuoli, matematiikan osaaminen ja kielitaidon osa-alueen mukaan muut opiskeluvalmiuksia mittaavat testit ennustavat koulutuksessa saavutettua kielitaitoa. Tulokset viittaavat vahvasti siihen, että huomattava osa ei saavuta virallista kielitaitotavoitetta. Tarkempi kuva saavutuseroista ja niiden syistä edellyttää tutkimusta, jossa tieto kurssien sisällöistä ja työtavoista, opiskelijoiden työelämäharjoittelusta ja vapaa-ajan kielenkäytöstä yhdistyy oppimistulosten analyysiin.

No abstract

In this paper, we present a multidisciplinary study addressing fairness in the speaking test in a high-stakes language proficiency test in Finnish, National Certificates of Language Proficiency. The background of the research lies in studies on language assessment and (reversal) linguistic stereotyping and language attitudes. The focus L1 groups were Thai, Estonian, Finland Swedish, Arabic and Russian. Altogether 49 speech samples of test takers of these L1s were rated on a digital platform by 44 raters of the test system. The current paper reports on the sub-study that investigated whether the raters’ recognition of the test takers’ L1 affected their ratings and whether the effect differed across various assessment criteria.

No abstract