VELC Testはここが違います!
間違えた原因の特定が容易
英語力の構成要素を細かく測定
VELC Test の他のテストとの一番の大きな違いは、英語力の構成要素をあえて細かく分けてていねいに測定することを理念としていることです。
例えば、従来のテストには、以下のような形式が見られました。
- やや長めの題材を読ませる(聞かせる)。
→その内容がどの程度分かったかを測るための多肢選択形式の質問を複数配置する。 - 現実のコミュニケーションで必要となるような場面を設定する。
→その設定の中で質問をし、答えを選ばせる。
上記のようなテストの場合、結果を次の学習に役立てようとしても、診断的な情報がほとんど得られず、どのような分野を補強すればよいかの指針を与えることは難しいようです。「長めの会話・アナウンス・ナレーションなどにおいて詳細が理解できる」という「能力」が「あまりない」と判定されたとしても、では何が足りないからその能力がないのか、どうすればその能力がつくのかは不明です。
このような問題形式は、解答が正しかった時でも誤っていた時でも、どうしてその解答が選べたのかが必ずしも明らかにはなりません。なぜなら、一つの解答を選ぶにいたるまでに複数の能力が関わり、複数のステップが踏まれるからです。正しい解答が選べなかった時に、どの段階で誤解が生じたのかが分かりません。
その点、VELC Testは、一つひとつの問題に関する英文題材の量が少ないため、正しい答えを選べた時、選べなかった時の原因がより簡単に特定できます。このため、結果に基づいて、より細かな診断情報を提供し、形成的評価に役立てることが可能になります。
解答時の理解度を正確に得点化
形式がシンプルであるがゆえの信頼性の高い選択肢
VELC Test と他のテストとのもう一つの違いは、問題形式として、テストのためにわざわざ作った正答選択肢を使用しないため、より信頼性のある測定が可能だということです。
通常のテストでは、本文に対して、その該当部分を別の表現で言い換えた選択肢を正答として設けることがほとんどです。このため、選択肢の作り方によって得点が左右される傾向がありました。つまり、本文は理解できたが選択肢が理解できなかったために正解できない、という場合、また逆に、本文は実は分からないのだが、選択肢にヒントがあって正解してしまう、という場合もあります。
この点、VELC Testは、問題形式として、
- 本文で言われた語はどれか(リスニングPart 2)
- 本文として次に続くものはどれか(リスニングPart 3)
- 本文を完成させるためにどこに語を補う必要があるか(リーディングPart 2)
- 本文の空所に入るものはどれか(リーディングPart 3) など、すべて「正解として選ぶのが本文そのものの一部」という形を採用しています。
正解が、本文の一部そのものですから、本文が理解できれば必ず正解でき、逆に、正解できたということは本文が理解できたということで、得点と本文理解の程度がより直接的に結びつくのです。
最も厳しい品質基準に基づいた開発
「ラッシュモデル」に基づいた開発
VELC Testは、
- 作成した問題を実際に日本の大学生に試行
- その結果に基づいて修正し、それをまた試行
- 最終的に信頼性のある結果を出すことが判明した問題項目だけを残し最終テストを構成
といった工程を経て作成していますが、それぞれの問題の評価・選定のために、「ラッシュモデル」に基づいた分析を行っています。
ラッシュモデル(Rasch model)とは
デンマーク人の数学者 Georg Raschが開発した数理モデルで、大きなくくりでは「項目応答理論」とよばれる理論のひとつです。「項目応答理論」に基づいた開発をしているテストは他にもありますが、多くの場合、ラッシュモデルではなく、その他のモデル(2パラメータモデル、あるいは3パラメータモデル)を採用しています。
ラッシュモデルはこのように敬遠されることも多いのですが、その理由は、ラッシュモデルが項目応答理論に基づくモデルのなかで、もっとも「厳しい」モデルだからです。つまり、実際に作成した問題のなかでも、ラッシュモデルに適合しない問題が多く出てしまうことの多い、「最も品質基準の厳しいモデル」だということです。
VELC Test は問題項目選定の基準として、この厳しいラッシュモデルを採用しています。実際にテストで出題されるのは、すべてこの「ラッシュ基準」をクリアした、弁別力のそろった粒ぞろいの問題 ばかりです。
では、他のテストでは敬遠されることの多い厳しいモデルを、なぜVELC Testでは採用できるのでしょうか。
それは問題形式と関係があります。VELC Test では、基本的に英語力を細かく分け、一つひとつの問題が細かく、独立した形で出題されます。一回のテストにはリスニング・リーディング合わせて120題(短縮版90題)ありますが、そのすべての問題が、一つひとつ独立した問題です。他のテストのように、例えば問題番号30〜34が、ひとつの同一の文章に関する問題で、35〜37は別の文章に関する問題、というように、ブロックで出題してません。ブロック出題をしますと、「ブロックの中の一つの問題は良問だが、別の問題の弁別力が低い時」「ブロックとブロックの難易度を調整する時」などは、大変対処が難しいという問題に直面することになりますが、VELC Testでは、その点、すべての問題の一つひとつを吟味し、それぞれがすべてラッシュ基準をクリアした良問であるという状態が実現できるのです。
またこのことは、VELC Test を新学期の始めと年度末に受験していただくような場合、毎回難易度が等しいテストを提供することが可能になっていることとも関係します。他のテストの場合は、全体として難易度が同じと言われていても、実際に受けてみるとそうでないような感覚がある場合もあるようです。一つひとつの項目がすべて独立しているVELC Testの場合は、一つひとつの項目に関して、難易度の非常に近い問題を組み合わせることが可能になり、リスニング、リーディングのセクション毎の難易度はもちろんのこと、そのなかのさらに細かいリスニングPart 1, 2, 3、リーディングPart 1,2,3ごとの難易度も、極めて精密なレベルで揃えることができます。そのため、経年的に受けていただいた時に、学生の英語力の変化をより正確に反映することができるのです。
信頼性と妥当性の検証報告
- 靜哲人・望月正道 (2012). 熟達度診断のためのVELC Test: 信頼性と妥当性を検証する.
- Shizuka, T. & Mochizuki, M. (2012). VELC Test for testing competency: Verification of reliability and validity.
- 靜哲人・望月正道(2014). 日本人大学生のための標準プレイスメント・テスト開発と妥当性の検証
- 靜哲人 (2015). VELC Test ® フォームAの選択肢特性分析.
- 靜哲人 (2015). Listening Section Part 2 の作問意図と項目特性.
- 熊澤孝昭 (2015). Reading Section Part 3の作問意図と項目特性.
- Kumazawa, T., Shizuka, T., Mochizuki, M., & Mizumoto, A.(2016). Validity argument for the VELC Test® score interpretations and uses.
- 靜哲人 (2020). VELC Test ® 2012-19年度実施データの分析と総括.
- 靜哲人(2020). VELC Test® OnlineとVELC Test® P&Pの等価性を検証する(その1)[口頭発表]
- 靜哲人(2020).VELC Test®スコアで新TOEIC® L&R Testスコアを予測する―式をアップデートする必要があるのか.
- 靜哲人(2021).VELC Test®スコアで新TOEIC® L&R Testスコアを予測する―式をアップデートする必要があるのか.
- 靜哲人 (2021) . VELC Test® のPP 120問版、Online 120問版、Online 90問版実施データの信頼性と受験者分離指数の比較. 日本言語テスト学会第24回全国研究大会(2021.9.4. オンライン開催)
- 靜哲人 (2022) .VELCTest®短縮版の信頼性および基準関連妥当性の検証 一項目数の漸減はテスト特性にどの程度影響を与えるか?一
- 靜哲人(2022). VELC Test® OnlineとVELC Test® P&Pの等価性を検証する
- 靜哲人(2023) . VELC Test® Onlineは90問版と120問版のどちらを選ぶべきか 〜プラス15分/30項目がプレイスメントに与える影響〜
PDF形式のファイルをご覧いただく場合には、Adobe Reader(無料)が必要です。
Adobe Readerをお持ちでない方は、バナーのリンク先からダウンロードしてください。