CFA結果不好的分析做法 (11/30補充)

依據11/28部落格所張貼之"CFA結果不好的分析做法" (註1)，於此補充ADLRS-III執行EFA之結果。

ADLRS-III有6個面向之CFA適配度指標不符合標準。此6個面向分別是personal hygiene、current events、money calculation、transportation facilities use、communication tools use、problem-solving ability (註2)。
使用EFA分析結果顯示，此6個面向為two-factor model。分別於此6個面向選擇合適代表其面向所欲測量之概念：personal hygiene有5題 (第1、2、3、8、10題)；current events有7題 (第2、3、4、5、6、8、10題)；money calculation有5題 (第1、2、3、4、5題)；transportation facilities use有8題 (第1、2、3、4、5、6、7、8題)；communication tools use有6題 (第1、2、3、4、5、6題)；problem-solving ability有4題 (第1、3、4、5題)。

以下為我對各個面向因素的判斷和命名，每個面向所提及之第一個因素為包含以上所提之項目，但第二個因素。

• personal hygiene：衛生習慣、儀容整理
• current events：時事、一般常識
• money calculation：金錢計算、金錢使用
• transportation facilities use：交通工具使用、地圖使用
• communication tools use：溝通器具使用、電子產品使用
• problem-solving ability：問題解決能力、情緒管理能力

註1：當CFA結果不好時，較合適的做法為進行EFA分析，探討因素結構為何，並提出合適的項目以代表欲測量之概念。使用EFA後，不以同一樣本再進行CFA。
註2：除了problem-solving ability原本只有5題外，其它面向原本有10題。

CFA結果不好的分析做法

與李晏討論我提出的三個CFA刪題方法：(1) factor loading；(2) KMO值；(3) MI值。相關內容詳見部落格內容"CFA模式不符時之刪題方法"。
此次的討論重點為(1) 那個方法為較robust? (2) CFA 指標結果不好時，較合適的做法?

與李晏的想法和我自己的想法如下
針對問題一
李晏的想法：
沒有較robust的刪題作法，較常使用的刪題法為factor loading。KMO值屬於EFA的刪題法，若使用KMO刪題後，再使用同一個sample執行CFA分析，並不適當，應使用另一個sample執行CFA分析。而MI值主要使用於修正模型，在變項中拉相關，非主要用來當做刪題的方法。

我的想法：
我贊成李晏的看法。我補充其它我的想法，CFA是以理論為出發點的驗證方法，模型不好，就表示此模型不符合此族群或此模型不正確，應該依據理論而修改模型。factor loading是模型好的時候，確認項目是否與潛在因素的相關高不高，能否當做潛在因素的指標。模型不好，factor loading值不一定會低，例如：ADLRS-III之problem-solving ability domain，此面向one-factor model之CFA指標結果不符，但factor loading都高於0.79，此結果顯示各個項目與潛在因素的相關高，但所有項目非代表一個潛在因素。因此，factor loading並非為最robust的刪題法。

針對問題二
李晏的想法：
CFA 指標結果不好時，合理的做法應為使用EFA去探索面向的因素結構，例如：one-factor CFA model不好，應探討此面向應該是怎麼樣的結構，有幾個因素 (是two-facor model或three-factor model...)，然後依據專家對理論判斷，提出一個合適的one-factor model (那個因素概念符合原本的概念)。然後就此停住，不應該再分析CFA。

我的想法：
當初在認知到不能使用factor loading刪題時，我看了許多文獻是以EFA的方式確定因素結構，然後給予因素定義其概念，如提出那個因素較符合原先認知的概念。當時我覺得用EFA分析方法，並沒有看到任何刪題的指標/標準，或說要先刪哪一題等等。所有我困惑了，因為EFA不是刪題，而是用來選題。當初我執著於"要刪題"，而非"選題"。
與李晏討論過後，我覺得我的思考應該要轉個彎，選題也是刪題的一種方式，我可以提出較合適的項目模式，許多CFA研究不是在比較不同的因素結構模型嗎。我的研究提出模型不合適，但我有提出可能合適的模型，未來的研究可再收另一個樣本驗證我提出的模式。

與薛老師之討論記錄 (11/26)

1. 思考之問題：於意志面向，Cronbach's alpha數值較低。
    可能的原因為指導與問法較直接，個案可以較直觀或自然而然地回答正確答案，導致分數分佈的variation 較小，而影響Cronbach's alpha數值。因此，須再思考如何能讓個案回答預想的答案，但指導語不能太直接，讓個案自然而然地想到答案，以增加variation。

2. 思考之問題：於表現效能面向，第15題的校正項目總分相關係數較低。
    當換成另一種計分標準 (註1)，第15題的校正項目總分相關係數就大於0.30。因此，我們考慮是否要調整計分標準的設定。

    (1) 若是在目的性行動面向未完成任務，在表現效能面向評定0分，是否會造成分數分佈集中在低分。可思考是否分成"有完成任務"與"未完成任務"狀況下，評定個案是否有做錯或做的品質不佳 (由目前的3點量尺變成4點量尺，註2)。

    (2) 計分標準之設定須考量評分者是否容易評定分數。

3. 思考之問題：到底要PEF要幾題才足夠?
    未來剩下的題數，可參考目前的工具之題數，和考量施測所花的時間。

     (1) 目前已發表以Lezak model為依據的表現型評估工具 (Pillbox test)，只有一題。另外，EFPT只有4題。

     (2) 目前完整的測試 (1題練習題加上16題正式題)，施測時間約為50分鐘至2小時。一個項目施測最長的時間約為8分鐘，最短時間約為2分鐘。

     我的想法，未來可依照單向度驗證所剩下的項目數 (一個項目包括4個面向)，考量施測時間 (整體施測約20分鐘)，再來選擇需要的項目數。

4. 思考之問題：目前項目施測順序為依據「職能治療實務架構 (occupational therapy practice framework)」分類而排列，是否同一分類中會導致個案在類似的情境而容易回答，或者是導致個案仍維持在同一個情境中而無法轉換?
    施測項目順序可修改，非依據「職能治療實務架構 (occupational therapy practice framework)」分類而排列，以減少個案對相同類型的項目情境所造成的困惑。

5. 思考之問題：目前已執行的項目設計步驟 (如訪談、專家審核、項目測試)是否可寫成一篇投稿論文?
    在測試完後，可嘗試撰寫題目設計與pilot study的投稿論文。

註1：0分為沒有完成任務；1分為有完成任務但做錯，或有重覆動作 (品質不佳)；2分為一次就完成任務。
註2：0分為沒有完成任務並在已做的動作上有做錯；1分為沒有完成任務，但在已做的動作上沒有做錯；2分為有完成任務並在已做的動作上有做錯；4分為有完成任務，但在已做的動作上沒有做錯。

11/25~11/29 預定進度

任務	預定完成日
1.  Lynn英文課	11/25
2.  PEF研究：
(1) 與薛老師討論	11/26
(2) 第三次樣本測試與分析	11/29
3.  ADLRS-III論文修改	11/12
(1) 確定刪題方法	11/29
(2) 修改論文	12/6
4.  CPDT測試	11/22
(1) 找研究生和助理做測試	11/25
(2) 義大臨床測試	11/29

CFA模式不符時之刪題方法

CFA分析結果不好之刪題方法有三
1. 刪除低於標準之項目factor loading。
2. 執行EFA分析，刪除Kaiser-Meyer-Oklin measure of sampling adequacy (KMO值)低的項目。
3. 刪除modification index (MI)數值大之項目。

針對ADLRS-III不符合CFA分析指標之面向，我已分別使用此三種方式，刪除面向之項目。以下為針對上述每個方式
1. 使用factor loading方法，有面向之所有項目factor loading值都符合標準，無法使用此方法。
2. 使用KMO方法，刪除項目後之CFA分析結果，都符合CFA分析指標。
3. 使用MI方法，有面向一直刪除項目到剩下4題之CFA分析結果，仍然無法符合CFA分析指標 (註)。

從我實際分析的狀況來看，我的看法是使用KMO的方法。我的理由如下
1. 不採用factor loading方法，因為不能刪題。
2. KMO方法和MI方法比較。
    (1) KMO方法需要刪除的題目數較少，而且可以在刪題後能符合CFA分析指標。
    (2) KMO要刪除題目比較合理。例如：在personal hygiene面向中，KMO會刪除factor loading較低的項目 (第8題：你有用化妝品或保養品的習慣嗎?)，另外，我覺得第8題有性別差異。但是以MI方法，卻不會刪除此題。

註：執行CFA分析，至少要有4題。

CPDT進度 (11/21)

1.0.1112.1版本，須修改之問題
1. 於正式測驗中，我刻意同一個圓圈點2次，其中有一次是點對圓圈。在測驗結果的"正確點擊量"中，有時會顯示對的正確點擊數量，有時會出現錯誤的正確點擊數量。例如：4個圓圈，我第一和第四次的圓圈是點同一個圓圈，第四次是點對的圓圈。理論上，正確點擊量應該是3，但測驗結果卻顯示1。
2. 在四個圓圈之子題一，路徑模式非為之前設定的固定模式，有出現2種不同的路徑模式?
3. 做正式題時，會突然當機 (跳到iPAD原來的主畫面)?

最近一直和工程師聯絡，請他協助修改，但他回覆他找不到路徑模式的bug。昨晚終於讓我找到問題徵結了，原來是我設計之四個圓圈子題一路徑中，有一個路徑是錯的，導致此版本出現上述第一和第二個問題。

今天又重新測試工程師已修改之1.0.1112.1版本，共測試了66次，已確定所有圓圈之二個子題應出現的路徑都是對的。而且在66次的測試中，都沒有出現當機之狀況。我想目前已修改的版本應該是可以用了吧!!!

PEF第二次小樣本分析

PEF第二次樣本分析 (N=20)

面向	平均數 (標準差)	天花板效應 (%)	地板效應 (%)	內在一致性 (α)
意志	22.9 (7.0)	5.0	0.0	0.86
計畫	16.6 (8.6)	0.0	0.0	0.93
目的性行動	21.9 (8.2)	0.0	0.0	0.94
表現效能	12.5 (8.7)	0.0	5.0	0.90

註：每個面向有16題，每題分數為0-2分(分數越高，表現能力越好)，總分分數為0-32。

各面向總分之相關

面向	意志	計畫	目的性行動
意志	-	-	-
計畫	0.76	-	-
目的性行動	0.68	0.87
表現效能	0.61	0.85	0.88

意志面向之項目分析 (N=20)

項目	平均數 (標準差)	校正項目總分相關係數
1	1.65 (0.75)	0.40
2	0.80 (0.89)	0.43
3	1.50 (0.76)	0.45
4	1.45 (0.89)	0.49
5	1.70 (0.73)	0.70
6	1.40 (0.82)	0.43
7	1.10 (0.91)	0.72
8	0.60 (0.75)	0.70
9	2.00 (0.00)	0.00
10	1.55 (0.69)	0.38
11	1.40 (0.68)	0.37
12	1.15 ()0.88	0.38
13	1.35 (0.75)	0.42
14	0.90 (0.91)	0.55
15	1.65 (0.75)	0.72
16	1.70 (0.66)	0.65

校正項目總分相關係數 < 0.30以粗體標示。

計畫面向之項目分析 (N=20)

項目	平均數 (標準差)	校正項目總分相關係數
1	1.00 (0.65)	0.59
2	0.70 (0.86)	0.87
3	0.70 (0.73)	0.74
4	0.95 (0.76)	0.77
5	0.95 (0.83)	0.82
6	1.05 (0.83)	0.71
7	0.85 (0.67)	0.64
8	0.80 (0.70)	0.68
9	1.40 (0.68)	0.67
10	1.20 (0.83)	0.69
11	1.20 (0.62)	0.43
12	1.25 (0.79)	0.70
13	1.25 (0.85)	0.67
14	1.15 (0.75)	0.38
15	1.00 (0.73)	0.66
16	1.10 (0.85)	0.48

目的性行動面向之項目分析 (N=20)

項目	平均數 (標準差)	校正項目總分相關係數
1	1.20 (0.83)	0.85
2	1.25 (0.91)	0.76
3	0.90 (0.79)	0.75
4	1.35 (0.67)	0.72
5	1.05 (0.94)	0.73
6	1.40 (0.68)	0.81
7	0.95 (0.60)	0.68
8	1.55 (0.76)	0.73
9	1.40 (0.60)	0.49
10	1.60 (0.50)	0.28
11	1.55 (0.69)	0.68
12	1.55 (0.51)	0.52
13	1.45 (0.69)	0.86
14	1.60 (0.68)	0.58
15	1.45 (0.76)	0.65
16	1.65 (0.59)	0.64

校正項目總分相關係數 < 0.30以粗體標示

表現效能面向之項目分析 (N=20)

項目	平均數 (標準差)	校正項目總分相關係數
1	0.70 (0.86)	0.61
2	1.05 (0.94)	0.54
3	0.65 (0.67)	0.61
4	0.65 (0.88)	0.63
5	0.80 (0.89)	0.70
6	0.70 (0.86)	0.76
7	0.20 (0.52)	0.44
8	1.10 (0.97)	0.56
9	0.65 (0.81)	0.62
10	1.10 (0.97)	0.43
11	0.75 (0.79)	0.72
12	0.65 (0.93)	0.47
13	0.85 (0.88)	0.57
14	0.90 (0.85)	0.63
15	0.80 (0.95)	0.14
16	0.95 (0.94)	0.74

校正項目總分相關係數 < 0.30以粗體標示。

第二次樣本之整體和個別項目分析結果都比第一次樣本之結果要佳。我覺得可能的因素為第二次的樣本功能變異性較大，第一次樣本收集多為功能較佳的個案。第二次樣本數據的變異性較大，有2個可能：(1) 指導語給予之次數。在第一次樣本測試時，我聽到個案偏離主題時，我會再問1-2次，但我發現有個案因為我的再告知指導語，意識到錯誤，而修改答案。之前與薛老師討論過，只須告知個案一次指導語，因為我們要發展static measure，非dynamic measure。施測者不應該告訴個案多次指導語，此為給予提示。薛老師之前就有提醒我執行功能為高功能認知 (在注意力和記憶力之上)，注意力和記憶力不好，執行功能就不好，給予提示，其實在幫助個案回答。(2) 於第一次樣本測試時，收集較多MMSE高的個案。此二個因素導致第一次的樣本分析分數多為2分，少數分數分佈在1分或0分，且多個項目沒有1分或0分的分數分佈。第二次樣本分析，大多數的項目之0-2都有評到。

以整體層面來看，四個面向都沒有天花板效應和地板效應，意志面向之Cronbach’s alpha有大於團體的標準0.70，其它三個面向之之Cronbach’s alpha有大於團體的標準0.90。各個面向總分相關為0.61-0.88，有高度相關，且符合的假設 (註1)。

以個別項目分析來看，在四個面向中，有三題之校正項目總分相關係數小於標準0.30，包括：意志面向1題 (第9題)、目的性行動面向1題 (第10題)、表現效能面向1題 (第15題)，其它項目於各別的面向之校正項目總分相關係數都大於標準。各題在其面向之校正項目總分相關係數的可能的原因闡述如下

1. 意志面向第9題 (曬衣服和褲子：衣服洗好後，你會想要怎麼做?)

   此題在此樣本中，每個人都答對，所以得到校正項目總分相關係數0.00。此題的問法可能太直接，個案可能不須思考就直接的回答出正確答案。如一般人可能會說，”衣服洗好了，拿去晾”；或者個案的家屬平常可能會告訴個案”洗好的衣服拿去晾”，因此個案對此問法有直接的反應，晾衣服。我的想法為，可修改為此項目指導語一內容的問法，讓個案較不會直接、自然而然地想到答案。指導語一改為”如果你看到洗好的衣服，你會想要怎麼做?”

2. 目的性行動面向第10題 (摺衣服：請你把襯衫摺整齊，把所有的扣子扣好，摺好後請給我衣服。)

   可能原因為此項目較為簡單平常可能從事的項目。在此樣本中，可能個案平常就會做摺衣服，所以很能夠自然而然地完成。我分析第10題與其它個別項目之相關，發現第10題和第15題的相關為負值，但和其它項目有中等以上之相關。第15題可說是較為困難、步驟較複雜之項目，所以此二題的相關程度較低，而導致校正項目總分相關係數較低。

   我的想法是增加此題的困難度，加上扣袖子扣子，因為平常摺襯衫不會扣上袖子的扣子。指導語三修改成” 請你把襯衫摺整齊，把所有的扣子扣好，包括袖子的扣子，摺好後請給我衣服。”修改此題的執行規則，可能非個案平常摺襯衫的方式，如提供特定摺好之圖片，要個案摺成類似的成品 (所有鈕釦都有扣好，像是百貨公司正式摺襯衫的方式)。其實摺像百貨公司正式摺的方式不難，依據經驗，能力較好的個案會摺成此方式。指導語三修改成”請你把襯衫摺成像圖片的樣子，把所有的鈕釦扣好，摺好後請給我衣服。”

3. 表現效能面向第15題 (在既定的預算下，購買水果：你身上有這麼多錢，你要買二種水果放入塑膠袋裡，買完後把塑膠袋和錢放在櫃台上。)

   可能原因為此項目的步驟較為複雜，個案須要先思考在有限的金錢內，要買什麼水果，之後要記得把水果放入塑膠袋裡，且又要把塑膠袋和錢放在櫃台上。

   我的想法為降低此題的複雜度，指導語三修改成”你身上有這麼多錢，你要買二種水果，買完後把水果和錢放在櫃台上。”

另外，我執行了四個面向之EFA初步分析，先刪除Kaiser-Meyer-Oklin measure of sampling adequacy (KMO)低之項目，再分析EFA，直到所有項目之KMO值符合標準 (KMO > 0.50，此為最低標準) (註2)。結果顯示於意志面向刪除了4題 (第1, 2, 10, 11題)，於計畫面向刪除了1題 (第14題)，於目的性行動面向刪除了1題 (第10題)，於表現效能面向刪除了3題 (第8, 12, 15題)。綜合四個面向剩下之題目，共有8題 (第3, 4, 5, 6, 7, 9, 13, 16題)。依此小樣本的分析來看，未來大樣本分析有可能有剩下足夠的項目 (原本預計最後可以保留4題)。

註1：面向間相關之假設

1. 四個面向須有中度以上之相關，因為都隸屬於執行功能底下。

2. 意志面向與計畫面向之相關須高於意志面向與其它二個面向之相關，因為意志面向和計畫面向都屬於思考層面，其它二個面向屬於行動層面。

3. 目的性行動面向與表現效能面向之相關與高於此二個面向各自於其它二個面向之相關。因為目的性行動面向與表現效能面向屬於行動層面。 

註2：符合KMO值，於CFA之單向度分析，有可能會成立。