テスト全体像のデザイン

　まず行なったのは大学生に求められる英語力のコアの洗い出しと、それに応じたテストのグランドデザインの決定でした。プレイスメントや実力診断の目的で、１学期15回の貴重な授業時間を圧迫することなく実施するためには最長で70分程度のテストである必要があると思われます。その限られた時間の中で英語力のすべての技能・側面を一律にカバーするのは得策とは思えません。

　実施時間を一定にしたとき、カバーする「技能」「下位技能」の種類を増やせば増やすほど、ひとつの「技能」「下位技能」を測定するアイテム（問題）数は減ります。テスト得点の信頼性はアイテムの数の関数であることが知られていますので、その意味では、ひとつの種類の問題にある程度のアイテム数を配置することが必要です。

　また、すべての「下位技能」が日本国内で英語を学習する日本人大学生にとって同等に重要であるとは限りません。海外の◯◯の状況で□□と△△を行う、というオーセンティック（現実生活にある）な状況を設定しての英語力の測定は、そのauthenticity（現実に存在すること）ゆえに、日本で生活する多くの学生にとってかえって過度に限定的で、むしろunreal（彼らの現実からはかけ離れている）なものになる可能性があります。

　このような判断から、VELC Testでは、日本人大学生にとってもっとも必要と考えられるコアの英語力に的をしぼり、その部分を確実に測定することとしました。その結果、リスニングの語彙力、音声解析力、内容把握力、リーディングの語彙力、文法・構文力、内容把握力、という２セクション、６パートからなるデザインに決定したのです。

緊密に絡み合う６つのパート

　VELC Testの６つのパートは、いずれもシンプルですが、（リーディングセクションの語彙問題を除くと）今までにほとんど見られないユニークな問題形式となっています。どれも緻密な議論をへてたどり着いた、綿密な計算と明確な意図の具現化である最終形です。

　リスニングもリーディングもパート１は語彙問題ですが、このふたつのパートは語彙テスト分野の第一人者である望月正道先生が中心となり、すでに語彙サイズテストの定番ともいえる「望月テスト」に近いコンセプトで作成したものです。とくにパラレルな形式をリーディングとリスニングの両方に配置したことに特徴があります。語彙を文字から覚えることが多く、その音声イメージが正確でないことが珍しくない日本人大学生の特性に着目した結果です。

　次にリスニングのパート２は、短文のディクテーション（書き取り）をイメージして、それを多肢選択形式に応用したものです。物理的には切れ目のない音声連続を正しく単語に切り分ける「セグメンテーション」の能力が、日本人にとってのリスニングの第一の壁であり、その壁を超えてディクテーションに正解する能力は、英語リスニングの音声面（音と音のつながるリンキング、音が変化する同化や弱化・音が消える脱落など）に関わります。その部分の処理能力に焦点をあてたパートです。

　リーディングのパート２は、私が長年にわたり実践し、調査・研究してきたinvisible-gap filling test（いわゆる「どこから来たのテスト」）をベースにした文法問題です。一語がどこからか削除されているセンテンスを読み、どの部分にその語を戻せば正しい文が復元されるのか、を正しく見ぬける力は、非常にコアな文法力（syntaxの力）をメインにしながら、当然文脈のなかでの語彙力にも関わるとも言えます。

　最後にパート３は、リスニングもリーディングも、一種のクローズテストです。クローズテストはJohn W. Oller, Jr.らによって外国語教育の分野に導入された「余剰性圧縮テスト」の一種です。あるテキストから一部を削除し、その部分を正しく補えるかどうかによって、そのテキストをどの程度正確に理解できているかを測定するものですが、この形式は、狭い意味のリスニング力、リーディング力にとどまらず、語彙やイディオムや文法など、総合的な力に関わるものであることが知られています。とくにクローズをリスニングに応用したものは非常に珍しく、画期的な問題形式であると自負しています。

　このようにVELC Testは、緊密に関係しあう６つのパートで少しずつ別な角度から受験者の英語力にダイレクトに切り込みつつ、全体として「まとまった意味を聞きとる力、まとまった意味を読み取る力」という大学生にとって必要な英語力のコアな部分をきっちりと総合的に測定します。

大学生にふさわしいアカデミックな題材へのこだわり

　リスニングもリーディングも、ベースとなる素材はネイティブスピーカー・チームが新たに書き下ろしたものですが、その際、大学生のためのテストだということを意識して、文脈や特定の言語使用場面を必要とせずにそれだけで明瞭に理解できるよう、内容的に「完結」していて、かつ現実世界の事象に関するものであること、という条件を設定しました。つまり架空の人物Aさんが会社の同僚のBさんに対して何か言っている、といったその場限りの「フィクション」でなく、教育・健康・環境・経済・政治など、人文・自然・社会の幅広い分野にわたることがらに関する、完結型の「ノンフィクション」ステートメントを題材にしている、という意味です。いわば、理科・社会・保健体育・音楽などの「他教科」の教科書に出てくるような内容を英語で表現したもの、というイメージです。

問題作成のプロセス

　問題は、次のようなスパイラルな作業が繰り返すことで作成しました。アイテムの第一次ドラフトを作成し、推敲し、実際に大学生に受験してもらうというトライアルを実施し、その結果を項目分析にかけ、ラッシュモデル（次項を参照）の基準に合わないアイテムを除き、あるいは一つひとつの選択肢の選択状況にもとづいて選択肢を微調整し、またさらに新しいアイテムを作成し、もう一度トライアルにかけ、再び項目分析を行い、さらに推敲し、またトライアルにかけました。

　こうして最終的には、各パート内に易しいアイテムから難しいアイテムまでほぼ均等な難易度間隔で配置されている、等質な複数のフォームが完成したのです。各フォームとも、全体として構成するアイテムが難易度的に均等に配置されている（難しい・やや難しい・平均的な・やや易しい・易しいアイテムが、上から下までほぼ均等な間隔で存在する、という意味）テストになりました。このため、英語力の高い受験者・やや高い受験者・平均的な受験者・やや弱い受験者・弱い受験者のいずれにとっても、高い精度で能力を測定することが可能なテストとなっています。

ラッシュモデルへのこだわり

ラッシュモデルの項目特性曲線
出典：靜哲人『基礎から深く理解するラッシュモデル：項目応答理論とは似て非なる測定のパラダイム』（関西大学出版　2007）

　VELC Testは、私の承知する範囲では、ラッシュモデルを利用して開発されたわが国で唯一の大学生用英語熟達度テストです。ラッシュモデル（Rasch model）とはテストデータを分析し、その結果に客観性および普遍性をもたらすことのできる確率理論に基づく数理モデルですが、一般に「項目応答理論」と呼ばれるモデル群のひとつに分類されます。項目応答理論を利用しているテストは他にもあるのですが、それらはすべて、ラッシュモデルではない他のモデルを採用しているようです。では、なぜラッシュモデルは敬遠されがちなのでしょうか。それは、このモデルが他のモデルに比べて格段に「厳しい」モデルであるからです。モデルとしてテスト問題に求める水準が高く、このモデルに「適合」しない問題が出やすいという意味で、「厳しい」のです。VELC Testでは敢えてこのような厳しい「ラッシュ基準」を採用することで、作成せねばならない問題や、修正せねばならない問題の数は多くなりましたが、そのプロセスをクリアして最終的に残った問題は、すべてが高い水準に合致した「弁別力」のそろった「粒ぞろい」なものとなりました。

〈参考〉第２次トライアルテストの段階で、リスニングセクションの信頼性が、受験者特性信頼性（通常報告されるクロンバックα係数に当たるもの）が0.95、項目特性信頼性が0.99、リーディングセクションでは受験者特性信頼性が0.91、項目特性信頼性が0.99と非常に高い数値を記録しています。

段階型Can Do Statements

　あるテストでどの程度のスコアをあげる学習者が、英語を使って実際にどの程度のことができるか、を述べた文をCan Do Statementsと呼びます。Can Do Statementsを採用しているテストは他にもありますが、VELC TestのCan Do Statementsには他にはない大きな特長があります。それは、あることがらが単に「できる（can do）」「できない（cannot do）」ではなく、どの程度できるかを10段階で表示することができる、という点です。

　例えば、「あなたは英字新聞の概要を読み取ることができる（あるいはできない）」と言われたとします。しかし、「できる」と言っても読み取れていない部分もあり、逆に「できない」と言っても読み取れている部分もある、はずです。つまり、「□□ができる」と言っても「どの程度できるか」は人によって差があるわけです。この点VELC Testでは、「日本で出版された英語の新聞で国内ニュースを読んで、40％程度の内容が理解できるでしょう」など、ある特定の状況で「どの程度」理解に成功するかを、はっきりとした数値で表してフィードバックします。これにより学習者は、自分ができることがらについて、より明確なイメージを持つことができるのです。

〈参考〉この10段階の数値は、受験者の回答をラッシュモデルで分析することによって、それぞれの状況における理解の「成功確率」（1%〜99%）というものを算出し、それを10段階にまとめることによって決めています。具体的には、トライアルテスト実施時に、テストの各アイテムに解答してもらうと同時に、リスニングおよびリーディングの具体的な状況において、どの程度自分はタスクが遂行できる実感があるか、という質問紙調査を実施しました。例えば、学習者用に編纂された英英辞典（Longmanなど）の定義文を読んで「まったく、あるいはほとんど理解できない」か、「２〜３割しか、あるいはごく大雑把にしか理解できない」か、「おおよそ５割前後くらい理解できる」か「７〜８割が理解できる」か「ほとんど、あるいはすべて正確に理解できる」か、回答するものです。この回答データをテストの解答とともにラッシュモデルによって分析し、各リスニング状況、各リーディング状況の「難易度」を、テストアイテムの「難易度」、さらに受験者の「能力」と同一の次元に並べ、それをもとに、p = exp(B-D)/(1+exp(B-D))の式を利用して成功確率(p)を出しています。

細分型診断プロファイル（スキル別正答率）

　フィードバックにおけるもうひとつの大きな特長が、細分型診断プロファイルであるスキル別正答率の提示です。Can Do Statement は、「◯◯が△△％できるでしょう」という、いわば統合的、結果的なフィードバックです。自分の英語力で実際に何がどの程度できそうか、という目安になるものですが、反面、どうすれば実力を今より向上させられるか、についての診断的なアドバイスは得られません。それを与えるのがこのスキル別正答率とその数値に基づいた学習アドバイスです。

　「高校レベルの語彙力が関係する問題群」「大学上級レベルの語彙力が関係する問題群」「機能語が弱く発音されることに関係する問題群」「後置修飾の理解に関係する問題群」など、20以上にわたる項目について、それぞれ受験者の正答率と、全国の大学生の標準正答率（その時々の受験者集団に左右されない固定した基準値）を比較することができます。これにより、例えば「高校レベルの語彙に関してはおおむね平均的だが、大学初級レベルの語彙力がやや足りない」「代名詞の理解に関する問題は平均よりかなり優れているが、関係代名詞を含む問題は平均より低い」などの情報が得られます。これからはどのような面を補強していけばよいか、についてのヒントが得られるのです。

　この細分型診断を実現するために、VELC Testに正解するために必要な細分的知識・スキルの洗い出し作業を行いました。まず仮の細分カテゴリーと分類基準を決め、それに従って複数のメンバーで分類作業を行い、分類者間信頼性を確認し、カテゴリー枠と分類基準を修正し、再び複数人による分類作業を行い、また結果を確認し、さらに修正を行い、というサイクルを、最終的には全員の分類が一致するまで繰り返しました。このような作業を経て実現した細分スキルに関する診断フィードバックは従来のテストには類を見ません。一つひとつの項目が比較的小さいVELC Testだからこそ、可能なフィードバックであると言えます。

VELC Testを利用することでできること

　学生の皆さんはVELC Testを受けることで、まずリスニング、リーディング、また総合的にみて、自分が日本人大学生としてどのくらいのレベルにいるのか、という集団準拠的な情報が得られます。さらに詳しく、語彙力、文法・構文力、読解力、音声解析力などのそれぞれに関しての自分の位置付けを知ることができます。そして、もっと詳しい細分下位技能別に、自分がどの程度の能力があるのかがわかります。

　このように自分の「強いところ」と「弱いところ」が詳しくフィードバックされますので、今の英語力をワンランクアップさせるには、どのような分野の補強に力を注げばよいかもわかります。そのような補強の努力を一定期間続けたあとに、再度VELC Testを受験すれば、目標が達成されたかどうかが、また正確にフィードバックされます。このように、診断的情報を得ながら、自分の英語学習を導いてゆくガイド役として、VELC Testを活用していただければよいと思います。

スコアを受け取るだけの試験では
教員も学生も先に進む「手がかり」がつかめない

　学校関係者として関心があるのは、自分の学校（学部・学科）の学生の英語力が客観的に見て、どのレベルであるかということかと思います。それを知るために、客観的な尺度として様々な英語力評価試験を導入している大学や学校も少なくありません。

　実際、英語力評価試験を導入しますと、各学生の英語力の様子をある程度は把握できるのですが、残念ながら、学生が自らそこから先に進む「手がかり」がつかみにくいようです。つまり、「英語力が以前に比べて伸びているのか」「どの部分が伸びていて、どの部分が伸びていないのか」「どのような力が不足し、どのような勉強が必要なのか」といったことは、学生が試験を受けただけでは分からず、何のフィードバックも得られない、ということです。そこが、多くの英語力評価試験の問題点であると私たちは考えました。

　一方、教員にとってみれば、個々の学生の英語力を手軽に把握することは意外と難しく、試験実施団体から送られてくる得点一覧表を眺めるか、電子ファイル（CSVファイル）をExcelなどの表計算ソフトを用いて、自分で分析するしかありません。あるいは、過去の試験の結果と比較したいと思った場合は、受け取った生のデータを、自分で蓄積・分析すれば可能ではありますが、多忙な英語教員はなかなかそこまで手が回らず、結局「受けて終わり」の試験になってしまうのです。

学生個人の「英語力」を
経年的に可視化できる「英語力カルテ」の開発

　私たちがｅポートフォリオを考案・開発しましたのは、「受けて終わり」の試験から脱却し、「受けて、そこから何かを始められる」試験にしたいという思いからでした。

　まず英語力を客観的に分析し、目に見える形でフィードバックしなければなりません。そのためには、そのような機能を持たせた独自の試験開発が必要になり、VELC研究会によって、独自のテスト開発が行われ、大学生のための素晴らしいテストが生まれました。そして、その試験問題から得られる様々な情報を、わかりやすくフィードバックする手段として、「英語力カルテ」ともいえるVELC Test独自のｅポートフォリオを開発しました。

　ｅポートフォリオでは、学生は、結果をオンラインのスコアレポートとして閲覧でき、自分の英語力がどのような状態であるのかを、数字だけでなく視覚的にも把握できるようになっています。スコアは、レベル表示をグラフで示し、各パートのバランスをレーダーチャートでも見ることができます。英語力を数値だけでなく、視覚的に確認することができますので、今後の学習で強化すべきスキルを把握することができるようになりました。また、「大学生にとっての英語の使用状況」に特化した状況別Can Doリストも用意し、現在の英語力でどの程度のことができるのかも、パーセンテージで提示できるようにしました。VELC Testのｅポートフォリオは、iPhoneなどのスマートフォンでも閲覧できます。もちろん、セキュリティにも配慮しています。

　教員用のｅポートフォリオは、従来の英語力評価試験とは比較にならないほどの便利さを兼ね備えています。従来は結果を紙やCSVファイルで受け取り、処理が難しかったデータ処理も、VELC Testでは、各試験の詳細なデータをWeb上で簡単に把握できるようになりました。全国平均点との比較や、過年度の結果閲覧・比較などもWeb上で容易にできるようにしました。

　学生が受け取るスコアレポートを、先生も各学生のデータをクリックするだけで閲覧することができます。これにより、個々の学生へのフィードバックを先生も共有することができ、指導に役立てることができます。さらに、グループ単位、学校単位などで成績をファイルで取り出すことができますので、プレイスメント用のデータとして活用していただくことも可能です。

〈VELC研究会事務局注：受験結果をもとにした「クラス分けサービス」もございます。〉

　このようにして、VELC Testのｅポートフォリオは学生の「英語力」を個人別に、経年的に可視化し、指導や指導立案にも役立てることができるシステムになりました。このｅポートフォリオは、「英語教育に携わる現場」の発想から生まれたシステムです。カリキュラム立案や、学生個人への指導に活用していただくことで、一歩進んだ英語教育の機会が生まれることを願っています。お使いいただいた現場の皆さんのご意見を伺い、今後もより良いものに改良して参りたいと思います。