算分理論 項目反應理論 - 日檢

因為前一篇逐家對台語文的心得文攏真溫柔無批評，實在真感心，
我擱想欲分享到底JLPT的分數是按怎計算的原理。
毋擱因為較複雜，我這擺會用華語分享。


JLPT是用項目反應理論去推算每個考生對分數的機率分布，
最高機率的分數就是我們最後拿到的分數。

懶人包：
1. JLPT的算法是不同時期考同一level的人可以比較。
2. 他的分數代表你的程度的最大機率的地方。
3. 粗心答錯/瞎猜猜對跟自己程度差異很大的題目影響不大。


我找了一下，關於項目反應理論解釋得還算完整又好懂的文章是這篇。
https://www.med.oita-u.ac.jp/mededuc/cbt/riron_about.pdf

以下的解釋主要也都跟文章內文一樣。

1. 題目有兩種屬性，分別是難易度跟鑑別度。
"難易度高"指的是程度好的人也答不對，就是越難。
"無鑑別度"指的是程度差的人有一定比例答對，但同時也有一定比例程度好的人答錯。

https://imgur.com/3yvL323
pdf中的圖1的3條線分別是3個題目，紅線就是比藍線難，但鑑別度一樣。
藍線跟綠線難易度一樣，但綠線沒有鑑別度。

x軸表示是考生的程度，y軸表示的是答對率。



2. 答對題數一樣的人，會因為答錯的題目不同而有不同的分數。
https://imgur.com/9nLbvMI
圖2就顯示有3位考生，而他們的答題模型對應出不同的機率分布。
考生ア跟考生イ一樣都答錯兩題，但他們的機率峰值處在不同的地方。
x軸是能力值，可以想成是分數，y值是尤度，應該可以想成是整體機率。

鐘型曲線的算法也很簡單，就把該考生的各答題的表現相乘即可。
以考生ア為例，他的答案是OXX(第一題答對，後兩題答錯)。
我們現在想知道他在能力值1的地方機率多少，那就對照圖1的曲線，
第一題就是項目A，第二題是項目B，第三題項目C。
那就是0.92*(1-0.79)*(1-0.5) = 0.1
(能力值1的人，答對第一題的機率是0.92，
答對第二題的機率是0.79，但因為考生答錯第二題，所以機率是0.21。
第三題同理)

用這個算法就能算出該考生的整體機率分布。


3. 考題的難易度，鑑別度的取得方式是考生的整體答題行為決定。
看文章的描述應該是有許多方法，不過大抵上都是算大家答對的題數來排大家的能力值，
然後用能力值去算題目的難易度、鑑別度。
有了第一次的難易度、鑑別度後，再用這組參數+上面提的算法去精算大家的程度，
再去fine tune題目的難易度、鑑別度。重覆算幾次。

但因為JLPT已經考了很多年了，有許多考古題，所以在新考試中摻入一些考古題，
可以更準確知道考生的程度(或是更少的運算資源??)，
再用這群考生的答題模式去推算新題目的參數。

這也是為什麼我前一篇文章說一定會有考古題，為了取得準確的參數。
而且這個考試理論上禁止母語人士參加，為了不要讓這個模型被母語者影響。


以上是pdf裡談的。

但其實實務上模型可以更複雜，可以參考這篇文章。
https://www.ptt.cc/bbs/JLPT/M.1562561086.A.595.html

4. 難易度離你程度越遠的題目，影響力越小。
(想成萬有引力滿直觀的...XD)

所以假設現在題目有20題，當中的19題的表現指出你是個強者，
結果剩下的1題超簡單，但你答錯了，對你的影響不大，很有可能在同一個級距。
反之你是廢物但猜對一題難題也一樣，影響不大。(你跟題目的距離很遠，沒啥反應)

真正影響大的是程度跟差不多的題目。
(你跟題目的距離很近，題目對這個程度的人反應很強。)



但其實JLPT的官方網站只有提到他們是用項目反應理論去估算分數，
而有許多設定及參數多少都會影響到分數的估算，所以還是只能僅供參考。
(例如pdf就沒提到4的萬有引力，所以如果JLPT並沒有考量到這點的話，
會變成強者答錯一題小學生題目時會扣分超重的相反情況，懶人包3的論述就不成立了)

--