潜在ランク理論
潜在ランク理論（せんざいランクりろん）、略称LRT (Latent Rank Theory) 、又は潜在ランク分析は、評価項目群への応答に基づいて、評価項目の特性を測定し、被験者の特性（認識能力、物理的能力、技術、知識、態度、人格特徴等）を段階的・順序的に評価する試験理論である[1]。また、学力を潜在ランク理論を用いて、段階的に評価する方法を、ニューラルテスト理論（NTT：Neural Test Theory）という。潜在ランク理論は、2007年のInternational Meeting of Psychometric Sociteで荘島宏二郎により発表された。
LRTでは、素点を用いて評価するCTT（古典的テスト理論）やIRT（項目反応理論）とは違い、被験者の特性を段階的に評価しているのが特徴である。学力などの被験者の特性を測定する試験・調査では、必然的に誤差が混入するため、測定値の差が実際の能力の差と一致しなく、解像度が高くないと考えられる。一方で、被験者や調査を分析する側は、その違いを過大に評価してしまう[2]。
そこで、尺度を段階的にすることで、測定値の差に実質的な意味を持たせ、被験者や調査の分析者に有意な情報をフィードバックすることができる。
LRTではIRT同様、評価項目の特性を測定することができるため、評価項目の適切さを吟味することができる。また、異なる被調査者が、異なる日時・場所で、異なる設問の調査を受けても結果を比較可能な尺度を構成できる。
概要
[編集]世界中の教育現場で、多くの受験者はCTTで学力を評価されている。例えば、100点満点のテストにおいて、65点と70点を2人の生徒の学力を考えたとき、この差を真の学力の差と断定するのは難しい。その理由は、誤差の影響や、テストを構成する問題数・配点に依る部分が大きく、また、各々の項目に対しての反応パターンが違うことが考えられるからである。それにも関わらず、現在では、テストの連続得点を、学力評価や入試選抜に用いている。
LRTでは、CTTとは違い、連続得点ではなく段階評価を行う。LRTでは、段階の違いによる能力が連続得点の違いより明瞭であり、説明が容易であることが特徴である。また、連続得点では能力の経時変化を追う際、一定の幅で得点が変動するため、実質的な能力が変化しなくても変化していると錯覚してしまう特徴がある。
LRTではIRTと同様、個々の項目への反応パターンを元に評価を行う。ある受験者がある項目に対してまぐれ当たりをしているか、など運の要素を排除し、受験者の真の能力を測ることができる理論である。また、LRTに基づくコンピュータ適応型テスト (Computerized Adaptive Testing) も開発されている[3]。このように、LRTはIRTとほぼ同じ利点を備えているのも特徴である。
LRTモデル
[編集]LRTでは、分析の目的に応じ、任意の潜在ランク（段階）数を設定することができる。ランク数が多ければ、集団をより細かく分析することができるが、潜在ランク（段階）ごとの差が不明瞭になるという特徴がある。LRTで得られる情報として、項目参照プロファイル、テスト参照プロファイル、ランク・メンバーシップ・プロファイル、ランク・メンバーシップ分布などがある。
項目参照プロファイル
[編集]項目参照プロファイル（item reference profile, IRP）は、各々の項目のランクごとの期待正答率を表している。IRTにおける項目特性曲線（item characteristic curve, ICC）に相当する。項目特性曲線とは違い、単調増加にならないことがある。各項目に対し、以下のパラメータが求められる。
- α：最も潜在ランク間で期待正答率の変化大きいランク数。aはその期待正答率の差を表す。
- β：期待正答率が0.5に最も近いランク数。bはその期待正答率を表す。
- γ：必ずしも単調増加しないIRPの単調増加性を表す。cはその期待正答率の減少量の総和を表す。
テスト参照プロファイル
[編集]
テスト参照プロファイル（test reference profile, TRP）は、項目参照プロファイルの総和であり、各潜在ランクの期待得点を表す。項目参照プロファイルとは違い、単調増加になることが多い。
ランク・メンバーシップ・プロファイル
[編集]ランク・メンバーシップ・プロファイル（rank membership profile, RMP）は、各受験者のそれぞれの潜在ランクに対する所属確率を表す。所属確率が最も高い潜在ランクに受験者が所属すると考えられる。
ランク・メンバーシップ分布
[編集]ランク・メンバーシップ分布（rank membership distribution, RMD）は、各被験者のランク・メンバーシップ・プロファイルの総和を表す。ランク・メンバーシップ分布は、母集団の特徴を表していると考えられる。
推定方法
[編集]受験者の離散的な回答から、項目参照プロファイルとランク・メンバーシップ・プロファイルを同時に推定する。推定には、自己組織化マップ（self-organizing map, SOM）や生成トポグラフィックマッピング（generative topographic mapping, GTM）のメカニズムを利用している[4]。IRTがロジスティック曲線へ適合するように推定しているのに対し、LRTはノンパラメトリックなのが特徴である。
Can-Do Statements
[編集]潜在ランク理論を用いた評価のフィードバック方法として、Can-Do Statementsがある。項目参照プロファイルを正答率順に並び替えることで、各ランクに所属する受験者のたちが、どのような項目群を理解し、どのような項目群が理解できていないかということを視覚的に調べることができる。各項目との関連を調べることで、各潜在ランクの学力進度・到達目標を考察することができる[5]。
LRTを使用している主な調査
[編集]出典
[編集]- ^ Reckase, Mark D. (2009). Multidimensional Item Response Theory. New York, NY: Springer New York. pp. 179-231. doi:10.1007/978-0-387-89976-3_7. ISBN 978-0-387-89975-6
- ^ 松宮功、荘島宏二郎「ニューラルテスト理論を利用して作成する教科テストの Can-do table」『第7回日本テスト学会抄録集』2009年、232-233頁。
- ^ van Buuren, Nikky; Eggen, Theo (2017-04-26). “Latent-Class-Based Item Selection for Computerized Adaptive Progress Tests”. Journal of Computerized Adaptive Testing 5 (2): 22-43. doi:10.7333/1704-0502022. ISSN 2165-6592.
- ^ Test PDF (2011-01-01). Test PDF. doi:10.2172/1025774.
- ^ Sugino, Naoki; Yamakawa, Kenichi; Ohba, Hiromasa; Shojima, Kojiro; Shimizu, Yuko; Nakano, Michiko. Perspectives on Individual Characteristics and Foreign Language Education. Berlin, Boston: DE GRUYTER. doi:10.1515/9781614510932.131. ISBN 978-1-61451-093-2
- ^ “杉並区「特定の課題に対する調査、意識・実態調査」報告書”. 杉並区公式ホームページ. 2020年6月5日閲覧。
- ^ “AIがテストデータを診断・分析、ワオ・コーポレーション×DNPが共同開発”. リセマム (2017年7月19日). 2020年6月5日閲覧。
外部リンク
[編集]- Latent Rank Theory - ウェイバックマシン（2008年9月14日アーカイブ分） - 大学入試センター 荘島宏二郎の解説
- neutet - ニューラルテスト理論分析ソフトウェア