令和5年度 日本語教育能力検定試験 試験Ⅰ 問題5解説
問1 熟達度テスト
熟達度テストとは、日本語能力試験(JLPT)やBJTビジネス日本語能力テストなどの公的で出題範囲が広いテストのことです。学習者が学んだことをもとにして作問されているわけではなく、不特定多数の学習者の能力を図るため、学んだこととは必ずしも関係のない幅広い範囲から出題されるテストを指します。
選択肢1
熟達度テストでは特定のカリキュラムで学んだこととは関係なく問題を出題するので、その結果が教師の指導が適切だったかなどの検証には役立ちません。もっと分かりやすくいうと、教師が指導して、教師が指導内容に基づいてテスト(到達度テスト)を作り、そのテストの結果をもとにすれば教師の指導が適切だったかどうか分かります。でも教師が指導して、学生が教師の指導内容とは関係ないことが出題されるJLPTを受けに行ってJLPTの結果が出たとしても、その結果をもとに教師の指導が改善できるかといったら微妙。指導と熟達度テストには基本的に関係がないから。
選択肢2
「設定された学習内容について」ってのが間違い。何度も言ってますが熟達度テストは指導内容と関係ありません。
選択肢3
これが正しいです。特に「出題範囲があらかじめ指定されず」というところ。JLPTは何が出題されるか分かりません。だから幅広い能力を試すのに適しています。
選択肢4
JLPTのような熟達度テストはみんなに同じ試験をかますので、受験者の点数が全体のどのあたりに位置するのかが分かります。これは受験者集団に準拠したテストであり、基本的に相対評価に向いています。
ただし、熟達度テストもN1、N2合格などの目標に準拠してるとも考えられるので、その合格ボーダーラインに対する絶対評価も可能です。この選択肢は前件が間違い。
答えは3です。
問2 テストの細目表
あまり聞き馴染みがない「細目表」ですが問題文に説明がありますね。測定する能力などをまとめた表らしいです。つまりこんな感じか。
・口頭で最低限の返答ができる
・自分の意見を伝えられる
・相手に質問して自分の意見を言える
・交渉して妥協点を探れる
…
確かにこういう細目表があれば設問を作りやすくなります。
選択肢1
細目表を作っておいて教師間で共有すれば、教師たちは細目表をもとにして各々作問できます。基準となる細目表があるので作問のばらつきは少なくなるでしょう。この選択肢は適当。
選択肢2
細目表があればテストの全体像は確かに見えてくる。この選択肢は適当。
選択肢3
細目表を学習者に渡すこともできるんだ。確かにそうすれば学習者は何を勉強すればいいか一目で分かります。教師だけじゃなくて学習者にとっても役立つんですね。この選択肢は適当です。
選択肢4
ここでいう識別力とは、ある設問に正解してる人がテスト全体で高得点を取ってるか、ある設問に不正解だった人がテスト全体で低得点だったかなど、そのテストが持つ能力が高い人と低い人をちゃんと区別できる力のことです。識別力が高いと良いテストです。
テストの細目表は識別力を産出するデータになりません。識別力を計算するためにはみんなのテストの得点が必要です。その得点に対して統計処理を施します。この選択肢は間違い。
答えは4です。
問3 信頼性を損なう行為
テストの信頼性とは、「そのテストを用いて同一の受験者を測定した場合、どれだけ安定した結果が得られるか」(中村 2002: 99)のことです。何回もそのテストをやったら毎回点数が違うみたいなのは信頼性が低いテスト。安定して同じ結果を出せる信頼性の高いテストは良いテストです。
参考文献:中村洋一(2002)『テストで言語能力は測れるか―言語テストデータ分析入門』99頁.桐原書店
選択肢1
みんな知ってることで作問したらみんな平等でテスト結果も平等。ある人は知っててある人は知らないみたいな集団にテストをすると、知ってる人だけが有利でテスト結果は不平等。全員共有してる内容で出題するのは信頼性を高めます。
選択肢2
これはやっちゃいけないこと。学習者によって採点方法を変えたら毎回点数変わっちゃうから信頼性が下がります。これが答えです。
選択肢3
選択肢を増やしたり、出題数を増やしたりすると信頼性が高まることが知られています!
まぐれ当たりが減るからとかそういう理由かな。
選択肢4
採点方法を教師間で一致させようとすると採点結果も安定してきますから信頼性が高まります。
信頼性を損なうのは選択肢2。答えは2です。
問4 実用性や波及効果
テストの実用性とは、そのテストを作って、実施して、採点して… という一連の流れにおいて必要になる人的、時間的、金銭的コストが経済的であるかどうかのことです。
そして波及効果はテストが指導に与える影響のこと。例えば、口頭コミュニケーション能力を測る目的で行われる口頭試験を用意すると、教師はその試験に学習者が対応できるようにするため、授業でも口頭能力を伸ばす内容を扱うようになる傾向があります。またそのテストがあることを学習者に知らせることによって、学習者も口頭能力を意識した学習を行うようになったりします。
1 学習者の学習意欲は関係なくて、テスト自体が経済的かどうかのことを実用性と言います。
2 この記述は妥当性です。
3 これが答え。上述の口頭試験の内容と一致します。
4 言い方が逆。「授業目標がテストの出題範囲に合致している」だったら波及効果なんですけど。
答えは3です。
問5 S-P表
このような出題はめちゃくちゃ珍しいです! 出題者も気合入ってますよね。見た瞬間驚きました。
問題にあるこんな感じの表をS-P表と言います。これを見るだけ、計算なしで分かる情報は何かという問題です。
選択肢1
「相関関係」という言葉が出てきてます。つまり相関係数を算出して相関があるかどうかを見るってことなんですけど、これは統計処理が必要です。しかも結構めんどい計算。エクセルなら関数を入力すれば一発ですが、計算があることには間違いないです。この選択肢は間違い。
選択肢2
一番右の列を見れば成績上位群と成績下位群は分かりますけど、正答率が分からないんですよね。書いてあるのは正答数(得点)だけです。
学習者Oは10問中10問正解しているから「10/10=1」で正答率100%、学習者Iは10問中7問正解してるから「7/10=0.7」で正答率70%。問題が10問しかないからめちゃくちゃ計算しやすいけど、正答率を弾き出すにはやっぱり計算が必要です。この選択肢は間違い。
選択肢3
ここでいう「同一の特性」が何を指してるのか分からないんですけど… たぶん、「この問題は格助詞についての問題」「この問題は接続助詞についての問題」みたいなことじゃないかと思ってます。その問題が何を問う問題なのかはこの表からは分かりません。その情報を知るためには各問題の問題文を見ないといけない。この表は点数しか書いてないから分かりません。この選択肢は間違い。
選択肢4
これが答えです。
一番右の得点を見ると、10点だったのは一人、2点だったのも一人。これは明らかに全体の傾向から逸脱してます。一番下の正答者数を見ると、問1は18人も正解し、問4は2人しか正解できなかった。極端に簡単な問題と極端に難しい問題があることが分かります。全体の平均というか、だいたいの傾向から外れている学習者と問題はこの表を見れば分かります。これが答え。
答えは4です。
コメント
コメント一覧 (2件)
問題5 問1 について、少し手がかりになれば、、、
赤本第5版 p.257 に、目標基準準拠テストの説明として「ある受験者のできること(Can-do)や、能力の伸びを明らかにするテスト」と書かれています。
例えばTOEICテストや英検は熟達度テストだと思うのですが、スコアや級に照らしたCan-doリストがあり、また、複数回受験すれば能力の伸びを確認することができます。
つまり、選択肢4よりも3のほうがいいかなという気がしているのですが、いかがでしょうか。
参考になるかどうか…
「熟達度テスト」に関する過去問を調べました:
H21-I-6-(3):
JLPTによって受験者間の熟達度の比較が可能であると記述(穏当な主張)
H28-1-7-(2):
集団基準テストは目標に対する個人の到達度計測が目的ではないと記述(穏当)
この二つを合わせた命題は
「熟達度テストでは
目標に準拠した絶対評価は『目的ではない』が、
受験者集団に準拠した相対評価は可能」(きわめて穏当な主張)
となり、さらに、
H23-I-7-(2):
集団準拠テスト(JLPT)は尺度得点のためどの回を受験しても同能力なら同得点と記述(穏当)
…を加味すると、
R5-I-5-(1)選択肢4は
「熟達度テストでは目標に準拠した絶対評価はできない -> できる」(??)
(『目的ではない』もののやろうと思えば可能である)
…になるかもしれません。すると選択肢5は誤りとなります。自信ありません…ご意見を!
また、
「どの回」だけでなく、「どの難易度」でも等価になるそうです(水平・垂直等価)。
さらに、
尺度得点、得点等価、項目応答理論では補正にロジスティック曲線を用いますが、
これがダミー選択肢によく出てくる謎の「S字カーブ」の正体だそうです。
(研究社『日本語教育事典』p.342)。