PEF描述統計與CFA分析 (尚未刪題)

Descriptive data of the PEF (N=200)

Domain	Mean±SD	Ceiling effect (%)	Floor effect (%)	Internal consistency (α)
Volition	20.4±7.3	0.5	1.0	0.86
Planning	16.6±7.6	2.0	0.0	0.90
Purposive action	19.4±7.8	1.5	0.5	0.91
Performance effectiveness	14.5±8.2	3.5	0.0	0.91

註：每個面向有16題，每題分數為0-2分(分數越高，表現能力越好)，總分分數為0-32。

Fit indices of the 4 domains using CFA (N=200)

Domain	χ2	df	χ2/df	CFI	TLI	RMSEA
Volition	100.37	104	0.97	1.00	1.00	0.07
Planning	105.92	104	1.02	1.00	1.00	0.06
Purposive action	195.94	104	1.87	0.98	0.98	0.08
Performance effectiveness	178.74	104	1.72	0.99	0.99	0.07

Criteria of a good model fit were χ2/df < 3.0, CFI ≥ 0.95, TLI ≥ 0.95, and RMSEA ≤ 0.08.

結果：PEF沒有ceiling/floor effects，內在一致性除了volition面向未達到0.90外，其它面向都為0.90以上。於CFA分析結果，4個面向都符合CFA之4個適配度指標，有良好的模式適配。

練習效應驗證方法 (3/7)

3/6與謝老師討論練習效應驗證方法，謝老師提醒我重點：
1. 需要從整體 (overall)4次測量來觀看練習效應。
2. 累積效應算不算練習效應。

檢驗FDT於4次測量練習效應之方法。先檢驗各個指標4次測量之反應時間平均值是否有逐漸減少之現象，若有此現象，表示有練習效應之累積狀況。接著使用repeated measures ANOVA檢驗各個指標整體4次測量是否有統計上顯著差異 (α=0.05)，並計算第一次和第四次 (Time 1-4)之effect size (Cohen’s d)。
表一顯示5個指標4次測量之反應時間平均值有逐漸減少之現象。由表二得知，注意力之三個指標 (basic measures of attention and processing speed、selective attention、alternating attention)，4次測量之F檢定有達到統計上的顯著，Time 1-4之d值有微小至小程度之練習效應 (0.17-0.45)。執行功能之二個指標 (ability of inhibition、ability of switching)，下一次測量之反應時間平均值都比一次之反應時間平均值低，雖4次測量之F檢定沒有達到統計上的顯著，但Time 1-4有小程度效應存在 (d=0.29-0.47)。因此測量越多次，練習效應越明顯。

表一

Index	Time 1	Time 2	Time 3	Time 4
	Mean ± SD	Mean ± SD	Mean ± SD	Mean ± SD
Basic measures of attention and processing speed	75.0 ± 40.1	71.8 ± 35.9	70.4 ± 33.8	69.0 ± 31.9
Selective attention	56.3 ± 23.3	54.3 ± 25.0	50.8 ± 19.8	49.6 ± 21.3
Alternating attention	87.5 ± 35.2	84.1 ± 41.9	80.5 ± 42.5	71.8 ± 34.1
Ability of inhibition	18.8 ± 12.5	18.4 ± 12.2	15.6 ± 8.7	15.1 ± 12.7
Ability of switching	50.0 ± 25.8	48.2 ± 33.1	45.3 ± 34.3	37.3 ±27.7

表二

Index	ANOVA (4 assessments)		Cohen’s d
	F3, 75	p value	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.17
Selective attention	5.9	0.001*	0.30
Alternating attention	3.2	0.046*	0.45
Ability of inhibition	2.2	0.093	0.29
Ability of switching	2.1	0.129	0.47

Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05.

練習效應驗證方法

p value vs. effect size：p value提供練習效應是否有統計上的顯著差異，而effect size提供練習效應的大小。判斷指標練習效應時，應看二者之結果。當二者結果一致時，可確定有練習效應。二者結果不一致 (p value沒有達到顯著，但effect size呈現小的練習效應)，p value沒有達到顯著可能的原因有三個：(1) 平均值的差異小；(2) 變異數大；(3) 樣本數小。因此指標可能有練習效應。
以p value方法，無法觀察到練習效應的累積狀況，在多次測量中，可以從effect size的數據中，瞭解練習效應的累積狀況。以FDT之4次測量為例，五個指標之effect size結果，Time 1-4 > Time 1-3 > Time 1-2。明顯地表示練習效應有累積的狀況。

表一

Index	ANOVA (4 assessments)		Cohen’s d (post hoc p value)
	F3, 75	p value	Time 1-2	Time 2-3	Time 3-4	Time 1-3	Time 2-4	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.08 (0.055)	0.04 (0.279)	0.04 (0.189)	0.12 (0.046)	0.08 (0.064)	0.17 (0.018)
Selective attention	5.9	0.001*	0.08 (0.269)	0.16 (0.049)	0.06 (0.488)	0.25 (0.007)	0.20 (0.031)	0.30 (0.001)**
Alternating attention	3.2	0.046*	0.09 (0.575)	0.09 (0.409)	0.23 (0.112)	0.18 (0.294)	0.32 (0.042)	0.45 (0.000)**
Ability of inhibition	2.2	0.093	0.03 (0.863)	0.26 (0.118)	0.04 (0.768)	0.29 (0.097)	0.26 (0.086)	0.29 (0.029)
Ability of switching	2.1	0.129	0.06 (0.768)	0.09 (0.530)	0.26 (0.154)	0.15 (0.497)	0.35 (0.075)	0.47 (0.002)**

Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05, **p value <0.008 (0.05/6).

審稿者對FDT論文之意見：驗證練習效應之方法，審稿者建議先做repeated measures ANOVA ，當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size和RCI。

目前的想法：練習效應的驗證方法有二個：(1) repeated measures ANOVA；(2) effect size。判斷是否有練習效應的方法為表二。以effect size來觀察練習效應的累積狀況。

           表二

ANOVA	Effect size	結果
顯著	前後測量 < 0.20	有微小的練習效應
顯著	前後測量 ≥ 0.20	有小的練習效應
不顯著	前後測量 < 0.20	沒有練習效應
不顯著	前後測量 ≥ 0.20	可能有小的練習效應

3/3~3/7 預定進度

任務	預定完成日
1. 閱讀寫作課資料	3/3
2. 文獻導讀
(1) 閱讀學生寫的討論記錄	3/4
(2) 文獻導讀討論	3/10
3. 準備謝老師進階獨立研究四加簽資料	3/4
4. 整理PEF資料	3/5
5. 確定校對PEF資料人員 (找工讀生或聘請李主任同仁)	3/6
6. 修改ADLRS-III論文	3/6
7.  Lynn英文課	3/6
8. 確定FDT論文修改方向和內容	3/7

表現型執行功能研究之進度(2/27)

今天收完200位PEF的正式施測!!!
要開始整理數據和分析數據，希望有好的結果。
現階段的主要任務為分析資料並開始撰寫論文 (內容包括以下步驟1-3)：Development of the Performance-based Assessment of Executive Functions in patients with schizophrenia.

階段步驟	預定完成日
1. 發展初版PEF項目
(1) 文獻回顧	已完成
(2) 個案、家屬、專家訪談	已完成
2. 修改初版PEF
(1) 專家審核
(a) 寄初版PEF項目給專家審核	已完成
(b) 進行第一次的專家意見修改	已完成
(c) 進行第二次的專家意見修改	已完成
(2) 臨床實際測試
(a) 請助理觀察實際施測，依據其意見做修改	已完成
(b) 進行小樣本施測與分析：施測20位個案，分析CFA結果。依據結果以修改施測內容。再施測20位個案，再分析CFA結果，且修改施測內容。反覆測試修訂，直到找出最後適合的項目。	已完成
3. 建立PEF最終版本
(1) 施測200位個案 (正式開始收案)，驗證單向度與二階因素結構	已完成
4. 驗證再測信度、施測者間信度、生態效度	103/5/30

雖然還沒完成論文撰寫，我想要感謝市療工作坊和日間留院的所有工作同仁，謝謝您們幫忙轉介個案與提供我施測的場地。我也要感謝在設計PEF項目和預試PEF項目過程中，給予我意見的前輩和研究夥伴，謝謝您們提供寶貴的意見。

練習效應驗證方法討論

審稿者對FDT論文之意見：驗證練習效應之方法，審稿者建議先做repeated measures ANOVA (p value訂在0.01)，當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size和RCI。

審稿者建議p value訂於0.01之意見為本研究做多次之F檢定。因為有5個指標，做了5次F檢定。

討論議題

一、練習效應驗證方法

結論：參照審稿者意見，先做repeated measures ANOVA，但p value訂於0.05。因為每個指標為獨立指標，且每個指標只做一次F檢定，因此p value訂於0.05。當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

二、練習效應是否有累積特性?

結論：從F檢定達到顯著之三個指標來看，selective attention在Time 1-3、Time 1-4之事後檢定有顯著，alternating attention在Time 1-4之事後檢定有顯著，且此三個有顯著之事後檢定，其Cohen’s d大於0.20。測量越多次，會有明顯之練習效應 (特別是在Time 4)，且練習效應越大。因此練習效應有累積特性。

三、如何判斷練習效應已經達到plateau?

結論：練習效應達到plateau之判斷標準有二：(一)、有二個連續之穩定Cohen’s d值，二個Cohen’s d值小於或等於前一Cohen’s d值。即是d of Time 2-3 ≤ d of Time 1-2, d of Time 3-4 ≤ d of Time 2-3。(二)、Time 2-4之事後檢定為不顯著，即在Time 2達到plateau。

從Table 1來看，只有basic measures of attention and processing speed指標符合plateau之判斷標準。在Time 2時達到plateau。

總結：回覆審稿者意見之寫法為，先做repeated measures ANOVA，但p value訂於0.05，使用F檢定方法確定是否有練習效應。當F檢定有顯著，再做事後檢定。當事後檢定有顯著時，才分析effect size。F檢定結果顯著之指標，計算前後二次測量之RCIp (Time1-2、Time 2-3、Time 3-4)，取此三次RCIp之最大和最小值。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

Index	ANOVA (4 assessments)		Cohen’s d (post hoc p value)
	F3, 75	p value	Time 1-2	Time 2-3	Time 3-4	Time 1-3	Time 2-4	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.08 (0.055)	0.04 (0.279)	0.04 (0.189)	- (0.046)	- (0.064)	- (0.018)
Selective attention	5.9	0.001*	0.08 (0.269)	0.16 (0.049)	0.06 (0.488)	0.25 (0.007)**	- (0.031)	0.30 (0.001)**
Alternating attention	3.2	0.046*	0.09 (0.575)	0.09 (0.409)	0.23 (0.112)	- (0.294)	- (0.042)	0.45 (0.000)**
Ability of inhibition	2.2	0.093	-	-	-	-	-	-
Ability of switching	2.1	0.129	-	-	-	-	-	-

*p value <0.05

**p value <0.008 (0.05/6)