VELC Testはここが違います!

間違えた原因の特定が容易

英語力の構成要素を細かく測定

VELC Test の他のテストとの一番の大きな違いは、英語力の構成要素をあえて細かく分けてていねいに測定することを理念としていることです。

例えば、従来のテストには、以下のような形式が見られました。

  • やや長めの題材を読ませる(聞かせる)。
    →その内容がどの程度分かったかを測るための多肢選択形式の質問を複数配置する。
  • 現実のコミュニケーションで必要となるような場面を設定する。
    →その設定の中で質問をし、答えを選ばせる。

上記のようなテストの場合、結果を次の学習に役立てようとしても、診断的な情報がほとんど得られず、どのような分野を補強すればよいかの指針を与えることは難しいようです。「長めの会話・アナウンス・ナレーションなどにおいて詳細が理解できる」という「能力」が「あまりない」と判定されたとしても、では何が足りないからその能力がないのか、どうすればその能力がつくのかは不明です。

このような問題形式は、解答が正しかった時でも誤っていた時でも、どうしてその解答が選べたのかが必ずしも明らかにはなりません。なぜなら、一つの解答を選ぶにいたるまでに複数の能力が関わり、複数のステップが踏まれるからです。正しい解答が選べなかった時に、どの段階で誤解が生じたのかが分かりません。

その点、新しく開発したVELC Testは、一つひとつの問題に関する英文題材の量が少ないため、正しい答えを選べた時、選べなかった時の原因がより簡単に特定できます。このため、結果に基づいて、より細かな診断情報を提供し、形成的評価に役立てることが可能になります。

解答時の理解度を正確に得点化

形式がシンプルであるがゆえの信頼性の高い選択肢

VELC Test と他のテストとのもう一つの違いは、問題形式として、テストのためにわざわざ作った正答選択肢を使用しないため、より信頼性のある測定が可能だということです。

通常のテストでは、本文に対して、その該当部分を別の表現で言い換えた選択肢を正答として設けることがほとんどです。このため、選択肢の作り方によって得点が左右される傾向がありました。つまり、本文は理解できたが選択肢が理解できなかったために正解できない、という場合、また逆に、本文は実は分からないのだが、選択肢にヒントがあって正解してしまう、という場合もあります。

この点、VELC Testは、問題形式として、

  • 本文で言われた語はどれか(リスニングPart 2)
  • 本文として次に続くものはどれか(リスニングPart 3)
  • 本文を完成させるためにどこに語を補う必要があるか(リーディングPart 2)
  • 本文の空所に入るものはどれか(リーディングPart 3)
  • など、すべて「正解として選ぶのが本文そのものの一部」という形を採用しています。

正解が、本文の一部そのものですから、本文が理解できれば必ず正解でき、逆に、正解できたということは本文が理解できたということで、得点と本文理解の程度がより直接的に結びつくのです。

最も厳しい品質基準に基づいた開発

「ラッシュモデル」に基づいた開発

VELC Testは、

  1. 作成した問題を実際に日本の大学生に試行
  2. その結果に基づいて修正し、それをまた試行
  3. 最終的に信頼性のある結果を出すことが判明した問題項目だけを残し最終テストを構成

といった工程を経て作成していますが、それぞれの問題の評価・選定のために、「ラッシュモデル」に基づいた分析を行っています。

ラッシュモデル(Rasch model)とは

デンマーク人の数学者 Georg Raschが開発した数理モデルで、大きなくくりでは「項目応答理論」とよばれる理論のひとつです。「項目応答理論」に基づいた開発をしているテストは他にもありますが、多くの場合、ラッシュモデルではなく、その他のモデル(2パラメータモデル、あるいは3パラメータモデル)を採用しています。

ラッシュモデルはこのように敬遠されることも多いのですが、その理由は、ラッシュモデルが項目応答理論に基づくモデルのなかで、もっとも「厳しい」モデルだからです。つまり、実際に作成した問題のなかでも、ラッシュモデルに適合しない問題が多く出てしまうことの多い、「最も品質基準の厳しいモデル」だということです。

VELC Test は問題項目選定の基準として、この厳しいラッシュモデルを採用しています。実際にテストで出題されるのは、すべてこの「ラッシュ基準」をクリアした、弁別力のそろった粒ぞろいの問題 ばかりです。

では、他のテストでは敬遠されることの多い厳しいモデルを、なぜVELC Testでは採用できるのでしょうか。

それは問題形式と関係があります。VELC Test では、基本的に英語力を細かく分け、一つひとつの問題が細かく、独立した形で出題されます。一回のテストにはリスニング・リーディング合わせて120題ありますが、その120の問題のすべてが、一つひとつ独立した問題です。他のテストのように、例えば問題番号30〜34が、ひとつの同一の文章に関する問題で、35〜37は別の文章に関する問題、というように、ブロックで出題してません。ブロック出題をしますと、「ブロックの中の一つの問題は良問だが、別の問題の弁別力が低い時」「ブロックとブロックの難易度を調整する時」などは、大変対処が難しいという問題に直面することになりますが、VELC Testでは、その点、120の問題の一つひとつを吟味し、それぞれがすべてラッシュ基準をクリアした良問であるという状態が実現できるのです。

またこのことは、VELC Test を新学期の始めと年度末に受験していただくような場合、毎回難易度が等しいテストを提供することが可能になっていることとも関係します。他のテストの場合は、全体として難易度が同じと言われていても、実際に受けてみるとそうでないような感覚がある場合もあるようです。一つひとつの項目がすべて独立しているVELC Testの場合は、一つひとつの項目に関して、難易度の非常に近い問題を組み合わせることが可能になり、リスニング、リーディングのセクション毎の難易度はもちろんのこと、そのなかのさらに細かいリスニングPart 1, 2, 3、リーディングPart 1,2,3ごとの難易度も、極めて精密なレベルで揃えることができます。そのため、経年的に受けていただいた時に、学生の英語力の変化をより正確に反映することができるのです。

信頼性と妥当性の検証報告

PDF形式のファイルをご覧いただく場合には、Adobe Reader(無料)が必要です。
Adobe Readerをお持ちでない方は、バナーのリンク先からダウンロードしてください。