No abstract

The purposes of this paper are to (a) develop an adaptive system with the help of the graded response model of IRT, (b) test the system with a small group of L2 learners, (c) examine the feasibility of computerized dynamic assessment, and (d) propose a new set of scoring mechanisms. We developed a computer-based adaptive system that provides students with appropriate test items and a set of graduated prompts from implicit to explicit under the conditions of mediation. We found that the set of graduated prompts successfully guided students to the correct answer and provided rich diagnostic information needed for L2 English education. With the help of the graded response model of IRT, computerized dynamic assessment will become a more advanced and practical educational assessment tool in the field of L2 studies.

関西学院大学では，スーパーグローバル大学創成支援事業の採択を受け，全学規模の 英語教育に関する多くの施策が計画されている。2017 年度からは，全学規模の統一プレイ スメントテスト，習熟度別クラス編成，および到達度テストが導入される。こうした変化 は，英語教育の成果を学部横断的に検証可能にするのみならず，縦断的に英語力の推移を 観察可能にする。しかし，こうした変化にはデメリットもある。大きな問題は学部独自の 教育内容と各種統一テストの測定内容との齟齬である。各学部は専門性を活かした英語教 育を行っている。著者らの所属する理工学部もその 1 つである。この問題を解決するため に，理工学部では，到達度テストとしての利用が予定されている TOEIC ® IP テストを念頭 に，約 2,000 問のアイテムバンクを開発した。本稿では，開発したアイテムバンクの一部 を古典的テスト理論と項目反応理論で分析し，アイテムバンクを授業で活用するために開 発した Automated Test Maker について述べる。

近年， 外国語教育学の分野でも， 質的研究の裾野は広がりつつある。 質的研究は， 「研 究」という看板を掲げているのだから科学であるはずだ。 しかし， 質的研究が持つ「科学 性」について， 著者は明確な考えを持っていない。 また， 「質的研究は科学である」と聞 くと， 何ともいえない違和感を感じていた。 このままやり過ごすことはできたが， この違 和感を放置しておくと， 例えば将来， 運良く（悪く？）教え子ができて， 「質的研究をや りたい」などと言われたら， とても焦るだろう。 こんなことから， 質的研究については， いつかは自分の言葉で説明できるようにならなければ， という勝手な責務を感じていた。 また， 質的研究の発表を学会で見聞し， 発表者とフロアとのやり取りが噛み合わず， 拡散 する議論に研究の成果が回収されてしまうことを， とても残念に思っていた。 研究の向こ う側に多大な時間と労力を提供してくれた参加者がいることを思うと心が痛んだ。外国語教育メディア学会関西支部・メソドロジー研究部会（以下， メソ研）では， 著者 の勝手な焦燥感と， 質的研究が置かれている状況を改善していくために， 量的研究に加え， 質的研究についても活発な議論を重ねてきた。 その結果， 科学的論理性， および原則と要 件を踏まえることによって， 「質的研究は科学である」と明言できる段階にまで議論を深 めることができ，著者の焦燥感も解消された。本章は， メソ研で重ねられてきた議論の成果物である。 メソ研の成果物ではあるが， 本 章の内容に関する責任は， すべて著者自身にある。 質的研究を専門としない者が， また， 質的研究の論文を 1 つも書いたことがない者が，質的研究の科学性などと大きな看板を掲 げても， 失敗することは目に見えている。 しかし， メソ研を踏まえた現時点での到達点を 公開し， 皆様からのご批判を頂戴しながら， 今後の実りあるメソ研活動に役立てることが できればと，勝手ながら願っている。

本稿の目的は，ベイズ EAP 推定法とフィッシャー情報量について概説することである。 著者は，項目反応理論に関連して，ラッシュモデルの導出 (住, 2013)，各モデルの概説 (住, 2014)，PROX 法と同時最尤推定法 (住, 2015) についてこれまでまとめてきた。項目反応理 論は，テストの開発および結果の分析のみならず，適応型テスト (computer-adaptive testing) にも応用されている。適応型テストは，受験者能力を推定し，受験者能力にあった問題項 目を出題することを特徴とする。このとき，受験者能力の推定にはベイス EAP (expected a posteriori) 推定法が，問題項目の選択にはフィッシャー情報量が利用されることが多い。し かし，適応型テストに関連する論文では，紙面の都合から、各手法を使った事実や数式の みが記載されていることが多く，詳細な説明を得ることが難しい。また，項目反応理論に 関連する書籍では，数学的な知識が前提とされていることが多く，文系読者には理解が難 しい。加えて，数式の記述形式に書籍間で微妙な違いがあり，初学者の理解を妨げている。 本稿は著者が複数の関連書籍を通読し，その理解をまとめたものであるが，これから項目 反応理論を学ぶ読者の助けになれば幸いである。