練習效應之研究議題和統計方法

練習效應要看的議題和統計方法
(以FDT之為例，此篇論文之目的為檢驗FDT於四次測量之練習效應)
一、練習效應的特性
(一)、累積特性
統計方法：觀察指標於每次測量之平均值。於FDT論文，觀察指標之四次反應時間平均值是否有逐漸減少之現象
(二)、平原特性
統計方法：使用二種標準，確定那一次測量會達到平原狀態：1. 有穩定之Cohen’s d值，即d of Time 2-3 ≤ d of Time 1-2, d of Time 3-4 ≤ d of Time 2-3；(2) 連續三次之測量平均值於repeated measures ANOVA檢驗，無統計上的顯著。

二、練習效應的狀況
統計方法：使用二種統計方法：1. repeated measures ANOVA檢驗四次測量是否有統計上的顯著 (四次測量之平均值是有統計上之顯著差異)。2. 計算效應值 (Cohen’s d)，確定經過四次測量後 (Time 1-4)之練習效應數值大小。

結果
一、練習效應的特性
FDT之五個指標之反應時間平均值有逐漸減少之現象，顯示有練習效應之累積特性。只有一個注意力指標 (basic measures of attention and processing speed)符合達到平原狀態之二個標準，並顯示在第二次測量時達到平原狀態。

二、練習效應的狀況
三個注意力指標在四次測量之repeated measures ANOVA有達到統計上的顯著，Time 1-4之d值有微小至小程度之練習效應 (0.17-0.45)。二個執行功能指標在四次測量之repeated measures ANOVA雖然沒有達到統計上的顯著，但Time 1-4有小程度效應存在 (d=0.29-0.47)，此二個指標須長期追蹤練習效應之狀況，與更多樣本數的驗證。

結論：FDT之五個指標呈現練習效應之累積特性，只有basic measures of attention and processing speed指標在第二次測量時達到平原狀態，且於四次測量中顯示微小程度之練習效應，因此於此指標，個案在第二次測量後受到練習效應的影響會減少。其它未達成平原狀態之四個指標都呈現小的練習效應，因此使用者須注意個案在四次測量中會受到練習效應的影響，未來仍需更長期的追蹤以確定此四個指標何時達到平原狀態。

練習效應驗證方法 (3/10)

議題：練習效應驗證方法
方法：先檢驗各個指標4次測量之反應時間平均值是否有逐漸減少之現象，若有此現象，表示有練習效應之累積特性。接著使用repeated measures ANOVA檢驗各個指標整體4次測量是否有統計上顯著差異 (α=0.05)，並計算第一次和第四次 (Time 1-4)之effect size (Cohen’s d)。
結果：FDT之五個指標之反應時間平均值有逐漸減少之現象。三個注意力指標4次測量之F檢定有達到統計上的顯著，Time 1-4之d值有微小至小程度之練習效應 (0.17-0.45)。二個執行功能指標4次測量之F檢定沒有達到統計上的顯著，但Time 1-4有小程度效應存在 (d=0.29-0.47)。
結論：FDT之五個指標顯示有練習效應的累積特性，表示此五個指標有練習效應。雖然執行功能指標之F檢定未達到統計上的顯著，可能因為本研究之樣本數較小及此執行功能指標之誤差較大，而導致F檢定未達到統計上的顯著。

練習效應驗證方法 (3/7)

3/6與謝老師討論練習效應驗證方法，謝老師提醒我重點：
1. 需要從整體 (overall)4次測量來觀看練習效應。
2. 累積效應算不算練習效應。

檢驗FDT於4次測量練習效應之方法。先檢驗各個指標4次測量之反應時間平均值是否有逐漸減少之現象，若有此現象，表示有練習效應之累積狀況。接著使用repeated measures ANOVA檢驗各個指標整體4次測量是否有統計上顯著差異 (α=0.05)，並計算第一次和第四次 (Time 1-4)之effect size (Cohen’s d)。
表一顯示5個指標4次測量之反應時間平均值有逐漸減少之現象。由表二得知，注意力之三個指標 (basic measures of attention and processing speed、selective attention、alternating attention)，4次測量之F檢定有達到統計上的顯著，Time 1-4之d值有微小至小程度之練習效應 (0.17-0.45)。執行功能之二個指標 (ability of inhibition、ability of switching)，下一次測量之反應時間平均值都比一次之反應時間平均值低，雖4次測量之F檢定沒有達到統計上的顯著，但Time 1-4有小程度效應存在 (d=0.29-0.47)。因此測量越多次，練習效應越明顯。

表一

Index	Time 1	Time 2	Time 3	Time 4
	Mean ± SD	Mean ± SD	Mean ± SD	Mean ± SD
Basic measures of attention and processing speed	75.0 ± 40.1	71.8 ± 35.9	70.4 ± 33.8	69.0 ± 31.9
Selective attention	56.3 ± 23.3	54.3 ± 25.0	50.8 ± 19.8	49.6 ± 21.3
Alternating attention	87.5 ± 35.2	84.1 ± 41.9	80.5 ± 42.5	71.8 ± 34.1
Ability of inhibition	18.8 ± 12.5	18.4 ± 12.2	15.6 ± 8.7	15.1 ± 12.7
Ability of switching	50.0 ± 25.8	48.2 ± 33.1	45.3 ± 34.3	37.3 ±27.7

表二

Index	ANOVA (4 assessments)		Cohen’s d
	F3, 75	p value	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.17
Selective attention	5.9	0.001*	0.30
Alternating attention	3.2	0.046*	0.45
Ability of inhibition	2.2	0.093	0.29
Ability of switching	2.1	0.129	0.47

Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05.

練習效應驗證方法

p value vs. effect size：p value提供練習效應是否有統計上的顯著差異，而effect size提供練習效應的大小。判斷指標練習效應時，應看二者之結果。當二者結果一致時，可確定有練習效應。二者結果不一致 (p value沒有達到顯著，但effect size呈現小的練習效應)，p value沒有達到顯著可能的原因有三個：(1) 平均值的差異小；(2) 變異數大；(3) 樣本數小。因此指標可能有練習效應。
以p value方法，無法觀察到練習效應的累積狀況，在多次測量中，可以從effect size的數據中，瞭解練習效應的累積狀況。以FDT之4次測量為例，五個指標之effect size結果，Time 1-4 > Time 1-3 > Time 1-2。明顯地表示練習效應有累積的狀況。

表一

Index	ANOVA (4 assessments)		Cohen’s d (post hoc p value)
	F3, 75	p value	Time 1-2	Time 2-3	Time 3-4	Time 1-3	Time 2-4	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.08 (0.055)	0.04 (0.279)	0.04 (0.189)	0.12 (0.046)	0.08 (0.064)	0.17 (0.018)
Selective attention	5.9	0.001*	0.08 (0.269)	0.16 (0.049)	0.06 (0.488)	0.25 (0.007)	0.20 (0.031)	0.30 (0.001)**
Alternating attention	3.2	0.046*	0.09 (0.575)	0.09 (0.409)	0.23 (0.112)	0.18 (0.294)	0.32 (0.042)	0.45 (0.000)**
Ability of inhibition	2.2	0.093	0.03 (0.863)	0.26 (0.118)	0.04 (0.768)	0.29 (0.097)	0.26 (0.086)	0.29 (0.029)
Ability of switching	2.1	0.129	0.06 (0.768)	0.09 (0.530)	0.26 (0.154)	0.15 (0.497)	0.35 (0.075)	0.47 (0.002)**

Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05, **p value <0.008 (0.05/6).

審稿者對FDT論文之意見：驗證練習效應之方法，審稿者建議先做repeated measures ANOVA ，當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size和RCI。

目前的想法：練習效應的驗證方法有二個：(1) repeated measures ANOVA；(2) effect size。判斷是否有練習效應的方法為表二。以effect size來觀察練習效應的累積狀況。

           表二

ANOVA	Effect size	結果
顯著	前後測量 < 0.20	有微小的練習效應
顯著	前後測量 ≥ 0.20	有小的練習效應
不顯著	前後測量 < 0.20	沒有練習效應
不顯著	前後測量 ≥ 0.20	可能有小的練習效應

練習效應驗證方法討論

審稿者對FDT論文之意見：驗證練習效應之方法，審稿者建議先做repeated measures ANOVA (p value訂在0.01)，當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size和RCI。

審稿者建議p value訂於0.01之意見為本研究做多次之F檢定。因為有5個指標，做了5次F檢定。

討論議題

一、練習效應驗證方法

結論：參照審稿者意見，先做repeated measures ANOVA，但p value訂於0.05。因為每個指標為獨立指標，且每個指標只做一次F檢定，因此p value訂於0.05。當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

二、練習效應是否有累積特性?

結論：從F檢定達到顯著之三個指標來看，selective attention在Time 1-3、Time 1-4之事後檢定有顯著，alternating attention在Time 1-4之事後檢定有顯著，且此三個有顯著之事後檢定，其Cohen’s d大於0.20。測量越多次，會有明顯之練習效應 (特別是在Time 4)，且練習效應越大。因此練習效應有累積特性。

三、如何判斷練習效應已經達到plateau?

結論：練習效應達到plateau之判斷標準有二：(一)、有二個連續之穩定Cohen’s d值，二個Cohen’s d值小於或等於前一Cohen’s d值。即是d of Time 2-3 ≤ d of Time 1-2, d of Time 3-4 ≤ d of Time 2-3。(二)、Time 2-4之事後檢定為不顯著，即在Time 2達到plateau。

從Table 1來看，只有basic measures of attention and processing speed指標符合plateau之判斷標準。在Time 2時達到plateau。

總結：回覆審稿者意見之寫法為，先做repeated measures ANOVA，但p value訂於0.05，使用F檢定方法確定是否有練習效應。當F檢定有顯著，再做事後檢定。當事後檢定有顯著時，才分析effect size。F檢定結果顯著之指標，計算前後二次測量之RCIp (Time1-2、Time 2-3、Time 3-4)，取此三次RCIp之最大和最小值。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

Index	ANOVA (4 assessments)		Cohen’s d (post hoc p value)
	F3, 75	p value	Time 1-2	Time 2-3	Time 3-4	Time 1-3	Time 2-4	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.08 (0.055)	0.04 (0.279)	0.04 (0.189)	- (0.046)	- (0.064)	- (0.018)
Selective attention	5.9	0.001*	0.08 (0.269)	0.16 (0.049)	0.06 (0.488)	0.25 (0.007)**	- (0.031)	0.30 (0.001)**
Alternating attention	3.2	0.046*	0.09 (0.575)	0.09 (0.409)	0.23 (0.112)	- (0.294)	- (0.042)	0.45 (0.000)**
Ability of inhibition	2.2	0.093	-	-	-	-	-	-
Ability of switching	2.1	0.129	-	-	-	-	-	-

*p value <0.05

**p value <0.008 (0.05/6)

考量錯誤數後之義大FDT分析結果

思考義大FDT再測信度不好之原由，我想到最有可能是指標的計算公式中，只有考慮反應時間，未考慮錯誤數。

我參考的Hsieh et al. (2008)計算stroop指標分數的公式，把錯誤數考慮到計算公式裡。新的FDT五個指標公式如下。RT表示反應時間 (reaction time)；E表示錯誤數 (error)。

基礎注意力與處理速度 = RT of part 1 /(50 - E of part 1) + RT of part 2 /(50- E of part 2)
選擇性注意力 = RT of part 3 /(50 - E of part 3)
交替性注意力 = RT of part 4 /(50 - E of part 4)
抑制能力 = RT of part 3 /(50 - E of part 3) - [RT of part 1 /(50 - E of part 1)] x [RT of part 2 /(50- E of part 2)] /[RT of part 1 /(50 - E of part 1) + RT of part 2 /(50- E of part 2)]
轉換能力 = RT of part 3 /(50 - E of part 3) - [RT of part 1 /(50 - E of part 1)] x [RT of part 2 /(50- E of part 2)] /[RT of part 1 /(50 - E of part 1) + RT of part 2 /(50- E of part 2)]

我重新計算義大FDT研究之再測信度、施測者間信度、生態效度結果。再測信度、施測者間信度整體結果比原本分析好，特別是三個指標，交替性注意力指標、抑制能力指標和轉換能力指標。

FDT再測信度結果 (n=30)

指標	第一次測量 Mean (SD)	第二次測量 Mean (SD)	ICC (95% CI)	SEM	MDC90 (MDC%)
基礎注意力與處理速度	2.18 (1.30)	2.02 (1.07)	0.87 (0.75-0.94)	0.41	0.97 (46.3%)
選擇性注意力	1.59 (0.83)	1.51 (0.88)	0.88 (0.77-0.94)	0.29	0.97 (43.4%)
交替性注意力	3.17 (2.79)	2.85 (2.64)	0.92 (0.85-0.96)	0.74	1.73 (57.6%)
抑制能力	1.05 (0.62)	1.02 (0.70)	0.78 (0.59-0.89)	0.18	0.42 (41.0%)
轉換能力	2.63 (2.52)	2.35 (2.47)	0.92 (0.83-0.96)	0.66	1.66 (66.7%)

FDT施測者間信度結果(n=30)

指標	第一次測量 Mean (SD)	第二次測量 Mean (SD)	ICC (95% CI)	SEM	MDC90 (MDC%)
基礎注意力與處理速度	1.71 (0.97)	1.64 (0.75)	0.90 (0.81-0.95)	0.27	0.62 (37.1%)
選擇性注意力	1.31 (0.74)	1.27 (0.65)	0.89 (0.78-0.95)	0.23	0.54 (41.6%)
交替性注意力	2.53 91.79)	2.08 (1.49)	0.93 (0.86-0.97)	0.44	1.02 (44.3%)
抑制能力	0.89 (0.54)	0.87 (0.52)	0.87 (0.74-0.94)	0.14	0.33 (37.1%)
轉換能力	2.11 (1.66)	1.68 (1.39)	0.92 (0.85-0.96)	0.43	0.99 (52.0%)

FDT生態效度結果 (各個指標與BI和FAI之相關) (n=60)

指標	BI	FAI
基礎注意力與處理速度	0.31	0.07
選擇性注意力	0.17	0.03
交替性注意力	0.39	0.24
抑制能力	0.08	0.00
轉換能力	0.38	0.26

對義大FDT研究，我認為可寫一篇寫一篇信度 (包括再測信度和施測者信度)與MDC之論文。此論文的賣點為指標計算方法加入錯誤數的考量。實際師測時，受測者在FDT之part 3和part 4，較容易產生錯誤，當考量錯誤數後，可以減少此誤差的影響。

然而，本研究再測信度比施測者信度結果差!! 我認為個原因：(1) 未考量校正之錯誤數。在施測FDT時，受測者若發現自己講錯，可以馬上校正，告知正確的答案。當受測者主動校正時，會增加施測時間，不同次的測量，所校正的錯誤數也不同，而導致信度不佳。根據此原因，我建議在未來測量FDT時，可計算校正錯誤數。(2) 患者在二次測量時間狀態不固定。再測信度研究之施測者表示有些患者的其中一次測量可能是在復健前施測，但另一次測量可能在復健後施測，二次施測的時間狀態可能不固定。施測者表示受測者在復健後施測時的注意力和耐力較不佳，因為做完復健後，即使整體精神狀況不差，但施測者感受到受測者比較容易犯錯。(3) 於施測者間信度研究，第二位施測者表示，因為他是主管，且平常沒有接觸到研究中的中風患者，所以他覺得患者為他在施測時，會比較警醒。

另外，我有重新計算台大FDT四次測量數據，結果整體的ICC值有比較高，特別是交替性注意力指標、抑制能力指標和轉換能力指標。