2014年3月4日 星期二

練習效應驗證方法

p value vs. effect size:p value提供練習效應是否有統計上的顯著差異,而effect size提供練習效應的大小。判斷指標練習效應時,應看二者之結果。當二者結果一致時,可確定有練習效應。二者結果不一致 (p value沒有達到顯著,但effect size呈現小的練習效應),p value沒有達到顯著可能的原因有三個:(1) 平均值的差異小;(2) 變異數大;(3) 樣本數小。因此指標可能有練習效應。
p value方法,無法觀察到練習效應的累積狀況,在多次測量中,可以從effect size的數據中,瞭解練習效應的累積狀況。以FDT之4次測量為例,五個指標之effect size結果,Time 1-4 > Time 1-3 > Time 1-2。明顯地表示練習效應有累積的狀況。

表一
Index
ANOVA
(4 assessments)
Cohen’s d
(post hoc p value)

F3, 75
p value
Time 1-2
Time 2-3
Time 3-4
Time 1-3
Time 2-4
Time 1-4
Basic measures of attention and processing speed
4.5
0.023*
0.08 (0.055)
0.04 (0.279)
0.04 (0.189)
0.12 (0.046)
0.08 (0.064)
0.17 (0.018)
Selective attention
5.9
0.001*
0.08 (0.269)
0.16 (0.049)
0.06 (0.488)
0.25 (0.007)
0.20 (0.031)
0.30 (0.001)**
Alternating attention
3.2
0.046*
0.09 (0.575)
0.09 (0.409)
0.23 (0.112)
0.18 (0.294)
0.32 (0.042)
0.45 (0.000)**
Ability of inhibition
2.2
0.093
0.03 (0.863)
0.26 (0.118)
0.04 (0.768)
0.29 (0.097)
0.26 (0.086)
0.29 (0.029)
Ability of switching
2.1
0.129
0.06 (0.768)
0.09 (0.530)
0.26 (0.154)
0.15 (0.497)
0.35 (0.075)
0.47 (0.002)**
Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05, **p value <0.008 (0.05/6).

審稿者對FDT論文之意見:驗證練習效應之方法,審稿者建議先做repeated measures ANOVA ,當F檢定有顯著,再做事後檢定 (二二比較)。當事後檢定有顯著時,才分析effect size和RCI。

目前的想法:練習效應的驗證方法有二個:(1) repeated measures ANOVA;(2) effect size。判斷是否有練習效應的方法為表二。以effect size來觀察練習效應的累積狀況。

           表二
ANOVA
Effect size
結果
顯著
前後測量 < 0.20
有微小的練習效應
顯著
前後測量 ≥ 0.20
有小的練習效應
不顯著
前後測量 < 0.20
沒有練習效應
不顯著
前後測量 ≥ 0.20
可能有小的練習效應

沒有留言:

張貼留言