10/10與謝老師討論事項記錄

一、PSP研究
(一)、施測方法
    1. 找原版英文資料。
    2. 向已發表中文版文獻的作者確定施測者的流程和方法。
(二)、市療研究：須計算MDC和驗證反應性
    1. 過去文獻已有ICC數據，即可計算MDC。
    2. 目前一致性的結果差 (unreliable)，反應性結果會不好。
    3. 須思考驗證反應性的方法學
        (1) 須確定驗證的族群是否會有變化 (病人是否有明顯的變化)? 變化有多少 (變化幅度有多大，是否可預期)? 由以上問題，以推測工具是否可驗證。
        (2) 搜索此族群過去之反應性研究。

二、PEF論文
(一)、要用PEF的單向度還是多向度的數值，以驗證其reliability?
討論結果：好的東西 (多向度數值)就是麻煩，優缺點的取捨，就會有犧牲。取捨要講得清楚。

三、畢業後之規畫
(一)、自己想要什麼，自己的興趣為何，想走什麼路。
(二)、有哪些可選擇，自己思考要如何走。
(三)、職場的需求會改變。
(四)、相關內容，老師已分享於其部落格。

須討論之議題 (10/10)

1. PSP研究：目前的狀況為請有經驗的臨床工作人員撰寫訪談問題。一個面向會有多個訪談問題，但每個面向只有評定一個等級分數 (每個面向有6個等級)。目前的問題是，在同個面向中，要如何從多個問題中評出一等級分數。我的想法為每個問題設計成是6個等級分數，最後把所有問題分數加總，取其平均值，當做此面向之分數等級。不知此方法是否適當?

2. COTES研究：須寫一篇摘要投稿第六屆亞太職能治療學術大會，以市療臨床職能治療師為第一作者投稿。此位治療師希望可以11月底之前給他摘要投稿。

目前想投稿的題目為Examining unidimensionality and improving reliability for the Comprehensive Occupational Therapy Evaluation Scale in patients with schizophrenia。不知是否能以此題目撰寫一篇投稿摘要?

3. PEF論文

(1) 論文一 (PEF之發展)：PEF四個面向相關高，特別是目的性行動和表現效能 (r=0.94)。於討論部分，目前的寫法為著重於收斂效度之解釋，未要區別四個面向。目前已寫的論文內容如下，不知此寫法是否適當?

We found strong correlations between four domains of the PEF, indicating that these domains may examine a similar construct (e.g., EF).

(2) 論文二：欲開始撰寫PEF的第二篇論文，並在寫作課上報告。不知是否可以開始撰寫?

此篇論文題目為Reliability and practice effect of the Performance-based measure of Executive Function in patients with schizophrenia。

4. 畢業後之規畫：目前的想法為找國內和國外的博士後工作，請老師給予一些建議? 例如：可多觀望那些機構或學校? 應多著重那些能力的培養?

須討論之議題 (8/1)

ADLRS-III response letter須澄清之問題
1. 目前的研究目的只有驗證各面向的單向度，研究主題範疇較窄。
    我的想法：加上內在一致性和天花板/地板效應，可加深研究範疇。

2. partial domain的解讀是否有誤?
    我的想法：partial domain是指CFA適配度良好的面向是否可以單獨使用。

3. Level of disability的內容是否要保留?
    我的想法：目前所提供的level of disability是來自身心障礙證明上的等級，但身心障礙證明的鑑定僅適用於台灣，且自2012年，評定的方式有改，因此我認為不合適保留level of disability的資料。

4. 不管是ordinal 或nominal都可用DWLS估計法。目前的寫法是說明本研究的資料是ordinal，所以使用DWLS估計法，若是資料為nominal，亦為使用DWLS估計法。此寫法合適嗎?
     我的想法：明確地告知審稿者不同資料應該使用的估計法。

5. 須提出每個CFA不好domain，使用modification index (MI)後所刪掉多少項目嗎?
     我的想法：不須，應須明確說明我們不用MI的裡由。

6. 回覆CFA不好domain，沒繼續驗證內在一致性和天花板/地板效應的理由是否清楚?
   我的寫法：CFA適配結果不佳，表示此面向項目不符合單向度，呈現此面向的內在一致性和天花板/地板效應的意義有限。CFA適配結果良好的面向，本研究驗證內在一致性和天花板/地板效應以進一步支持此面向之心理計量特性。
    英文內容如下：We agree with the reviewer that validity testing is based on reliability. However, our results showed that the construct validity (unidimensionality) was not supported in the 6 domains. That is, the items of the individual domain could not be used to assess a single underlying construct. For these 6 domains, the value is limited for reporting reliability (i.e., Cronbach's alpha) and item descriptive analyses before validity testing (i.e., CFA). For the other 4 domains with good model fit, we provided the reliability and item descriptive analyses to further support the psychometric properties of these 4 domains.

7. 本篇研究對護理人員的臨床應用是否仍薄弱?
    我的寫法：特別強調護理人員可使用CFA適配結果良好面向之項目總分，以確定個案之ADL功能，發展治療計畫，並追蹤個案之ADL狀態。此外，護理人員可使用測量分數和其他專業人員溝通。
   英文內容如下：Nurses can use the sum scores of these 4 domains which represent its domain-specific function to identify patients’ ADL functions, develop treatment plans, and follow-up patients’ ADL status. Moreover, nurses can use the scores to communicate and cooperate with other healthcare professionals in a multidisciplinary approach.
 
8. ADLRS-III之重要性與其它工具比較之回覆內容方面，我嘗試說明常用的其它ADL評估工具的部分項目在台灣比較不常使用，而ADLRS-III有針對台灣個案的狀況而發展，雖然會限制ADLRS-III只適用於國內，我想目前所投稿的期刊屬於台灣本土期刊，應該還算合適。此外我有說明ADLRS-III的優點，我想有興趣發展或使用ADL評估工具的其它國家，應該會考量此ADLRS-III的項目內容或設計吧。
    英文內容如下：Some ADL tools have been used in patients with schizophrenia in the previous studies, such as the University of California at San Diego Performance-Based Skills Assessment, the Independent Living Skills Survey, and the Functional Remission of General Schizophrenia. However, these three measures have no Chinese version. Furthermore, some items of these measures are culture-specific (e.g., writing a check and using a dishwasher), which are not common used in Taiwanese culture. The ADLRS-III was developed considering the cultural appropriateness for patients living in Taiwan. Moreover, the ADLRS-III has the following three advantages: (1) it was developed for patients with mental illness, especially patients with schizophrenia; (2) it can be administered in a group setting, which can reduce administrative burden; (3) it can confirm the patient’s knowledge and ability to perform the task through writing out examples to show their understanding of the items and the abilities to implement them 13. Therefore, the ADLRS-III has potential for use in both clinical and research settings.
 

7/16與謝老師討論事項記錄

ADLRS-III審稿者意見

1. 可分析CFA不佳面向，刪題後之內在一致性，心理計量結果可能會不好，可建議使用其它問卷補救，或發展有潛力之工具。

2. 老師給予的意見：10 domains 中，不是有些 cognition-related domains? 可用以說明 cognitive level??

我的想法，不合適使用ADLRS-III cognition-related domains，我的理由為審稿者有建議刪除three kinds of ADL (i.e., basic ADL, instrumental ADL, and cognition-related ADL) 的訊息，因為不能做second-order CFA。若是要前後連貫，不適宜寫出cognition-related domains代表個案的cognitive level。

討論結果：就在論文限制處加入本篇未收入個案之cognitive level的數據。

3. 個案在填寫ADLRS-III時，不知如何填寫就留下空白，施測者依其答案評分。原本輸出資料時，未有把記錄空白處 (當做missing data)。目前要補救很難，就試投稿運氣。

4. 審稿者提及數據為categorical，所以使用DWLS估計法。但DWLS估計法是使用在ordinal data。此議題有二個層面，審稿者的概念可能是錯誤的，或是審稿者對categorical定義不同。在審稿者意見回覆中，可說明DWLS適用於ordinal data，categorical (nominal)適用什麼方法。

5. 須完整說明使用CFA後再用EFA的理由，例如：說明清楚已嘗試過其它的統計分析方法，最後選擇目前的方法，以提升臨床價值。

PEF研究

1. 概念è設計è數據：依據概念設計工具，再由數據支持概念。

    我對Lezak model的4個面向應是各個面向是unique，所以才各自驗證其單向度。目前的狀況是4個面向相關高但仍無找出統計方法區隔此4個面向，應該是設計的問題導致此現象。須思考如何未來設計要如何改善目前的狀況。

    我目前的想法為，可設計4個不同面向的評估工具，而非在同一個任務中同時評估4個面向，如此可能解決4個面向高相關之問題，亦可解決區辨此4個面向的問題。

2. 問題解決就像走迷宮一樣，走不通，就換另一條路。

3. 對Lezak model有疑問，可直接和Lezak聯絡，或洽詢其學生或引用其概念之學者。

4. 論文作者序方面，與薛老師討論。

個人須加強之能力

1. 增加中文/英文閱讀能力

2. 須面對事實，把問題搞清楚，學到該學的東西

3. 判斷力

4. 自己的堅持

PEF後續研究‏

與薛老師討論，於博班期間要完成之PEF後續研究規劃如下
1. 驗證PEF於精神分裂症患者之信度
(1) 再測信度 (收集60位個案)
(2) 施測者間信度 (收集60位個案)
進行方式：由我進行第一次的施測 (共120位個案)，間隔二週後，分派個案給二位施測者 (我和B rater)，進行第二次的施測。我施測60位個案，以驗證再測信度，B rater測量60位個案，以驗證施測者間信度。
目前仍在找合適的B rater。
今天已與冠潔聯絡，但她仍須考慮之後的狀況和時間安排，會於近2天內給予回覆。

2. 驗證PEF於精神分裂症患者之生態效度
進行方式：於第一次PEF施測後，會請市療工作坊個案管理員填寫60位患者之個人與社會功能評量表 (Personal and Social Performance scale, PSP)。PSP的評估皆於PEF施測後的二天內完成。
市療工作坊有已接受PSP訓練的個案管理員定期地填寫PSP。已與李主任聯絡，可請個案管理員協助填寫PSP。但市療其它單位 (如慢性病房等)，沒有已接受PSP訓練的個案管理員，因此不可能所有個案 (120位)都可以被施測到PSP。

與薛老師討論事項記錄 (3/20)

一、PEF研究
討論結果：開始撰寫PEF論文，內容包括發展PEF的三個階段：(1) 發展初版PEF項目：文獻回顧和個案、家屬、專家訪談；(2) 修改初版PEF：專家審核和臨床實際測試；(3) 建立PEF最終版本：驗證PEF單向度 (使用Rasch)、使用多向度IRT (提高信度)、收斂效度。
論文主題：Development of the Performance-based Executive Functions in patients with schizophrenia

二、104年學系研討會
討論結果：投稿論文內容為發展PEF的三個階段。
論文主題為”精神分裂症執行功能表現型測驗之發展”

3/19、3/20 與謝老師討論事項記錄

一、FDT論文
(一)、回覆審稿者意見要針對其意見 (要抓到重點)。
1. 須提出審稿者看法有那裡遺漏，解釋為什麼要使用目前方法。
2. 須凸顯每一段落所回應的主題，宜以審查者的 (主要)問題為起始，再說明我們的看法。
(二)、須說明只看ANOVA統計方法為不足，須加上effect size。
(三)、事後檢定，需要再校正p value嗎? 在我們的樣本數之下也OK?
(四)、判斷 practice effect的標準不清楚
1. trivial to small 並不代表就有 practice effect，這只是 effect size 結果。若只以 effect size 判斷，那何需 ANOVA?
2. P value 的小數位置須一致化

二、PEF研究
(一)、驗證construct validity的方向，我提出三個方向：
1. 單向度 (使用Rasch analysis)
分析結果：刪除三題後，四個面向都符合判斷標準。單向度之四個面向信度為0.77-0.86
2. 多向度IRT，以提高信度
分析結果：多向度之四個面向信度為0.87-0.90
3. 收斂效度：驗證PEF四個面向總分之間的相關，及四個面向與MMSE的相關
分析結果：四個面向總分之間有高相關 (r=0.76-0.95)，四個面向總分與MMSE有中度相關(r=0.59-0.65)

三、ADLRS-III論文被拒絕，可考慮改投國內精神醫學雜誌或護理雜誌

3/12 與謝老師討論事項記錄

一、個人須改進部分：

(一)、需要有整體性思考 (對概念要有深度和廣度)，不能專注於細節。

(二)、先思考主要研究議題，再匯整統計方法

二、FDT論文：

(一)、須思考練習效應要看什麼 (主要研究議題)，再思考要什麼統計方法呼應研究議題。

(二)、不用先假設有沒有練習效應，才探討練習效應之驗證方法。

(三)、ANOVA和effect size各有其優缺點。使用之統計方法不完整時，可加上其它的統計方法及說明使用之理由。

(四)、須專注於本研究的目的和特點。

三、PEF研究

(一)、思考construct validity需要使用哪些統計方法，及要驗證到什麼程度。

(二)、提供wright map，觀察項目難度和人的能力，以思考研究對象之選擇與項目要往那個方向修改 (缺那個難度)。

(三)、以person reliability來看，13題之意志面向reliability (0.77)不是很好，不適於再刪減項目。

(四)、規劃後續研究要如何進行。
(五)、依據薛老師的建議，會以PEF研究投今年學系研討會的海報展示。

練習效應驗證方法 (3/7)

3/6與謝老師討論練習效應驗證方法，謝老師提醒我重點：
1. 需要從整體 (overall)4次測量來觀看練習效應。
2. 累積效應算不算練習效應。

檢驗FDT於4次測量練習效應之方法。先檢驗各個指標4次測量之反應時間平均值是否有逐漸減少之現象，若有此現象，表示有練習效應之累積狀況。接著使用repeated measures ANOVA檢驗各個指標整體4次測量是否有統計上顯著差異 (α=0.05)，並計算第一次和第四次 (Time 1-4)之effect size (Cohen’s d)。
表一顯示5個指標4次測量之反應時間平均值有逐漸減少之現象。由表二得知，注意力之三個指標 (basic measures of attention and processing speed、selective attention、alternating attention)，4次測量之F檢定有達到統計上的顯著，Time 1-4之d值有微小至小程度之練習效應 (0.17-0.45)。執行功能之二個指標 (ability of inhibition、ability of switching)，下一次測量之反應時間平均值都比一次之反應時間平均值低，雖4次測量之F檢定沒有達到統計上的顯著，但Time 1-4有小程度效應存在 (d=0.29-0.47)。因此測量越多次，練習效應越明顯。

表一

Index	Time 1	Time 2	Time 3	Time 4
	Mean ± SD	Mean ± SD	Mean ± SD	Mean ± SD
Basic measures of attention and processing speed	75.0 ± 40.1	71.8 ± 35.9	70.4 ± 33.8	69.0 ± 31.9
Selective attention	56.3 ± 23.3	54.3 ± 25.0	50.8 ± 19.8	49.6 ± 21.3
Alternating attention	87.5 ± 35.2	84.1 ± 41.9	80.5 ± 42.5	71.8 ± 34.1
Ability of inhibition	18.8 ± 12.5	18.4 ± 12.2	15.6 ± 8.7	15.1 ± 12.7
Ability of switching	50.0 ± 25.8	48.2 ± 33.1	45.3 ± 34.3	37.3 ±27.7

表二

Index	ANOVA (4 assessments)		Cohen’s d
	F3, 75	p value	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.17
Selective attention	5.9	0.001*	0.30
Alternating attention	3.2	0.046*	0.45
Ability of inhibition	2.2	0.093	0.29
Ability of switching	2.1	0.129	0.47

Small effect size in bold (Cohen’s d ≥ 0.20).

*p value <0.05.

練習效應驗證方法討論

審稿者對FDT論文之意見：驗證練習效應之方法，審稿者建議先做repeated measures ANOVA (p value訂在0.01)，當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size和RCI。

審稿者建議p value訂於0.01之意見為本研究做多次之F檢定。因為有5個指標，做了5次F檢定。

討論議題

一、練習效應驗證方法

結論：參照審稿者意見，先做repeated measures ANOVA，但p value訂於0.05。因為每個指標為獨立指標，且每個指標只做一次F檢定，因此p value訂於0.05。當F檢定有顯著，再做事後檢定 (二二比較)。當事後檢定有顯著時，才分析effect size。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

二、練習效應是否有累積特性?

結論：從F檢定達到顯著之三個指標來看，selective attention在Time 1-3、Time 1-4之事後檢定有顯著，alternating attention在Time 1-4之事後檢定有顯著，且此三個有顯著之事後檢定，其Cohen’s d大於0.20。測量越多次，會有明顯之練習效應 (特別是在Time 4)，且練習效應越大。因此練習效應有累積特性。

三、如何判斷練習效應已經達到plateau?

結論：練習效應達到plateau之判斷標準有二：(一)、有二個連續之穩定Cohen’s d值，二個Cohen’s d值小於或等於前一Cohen’s d值。即是d of Time 2-3 ≤ d of Time 1-2, d of Time 3-4 ≤ d of Time 2-3。(二)、Time 2-4之事後檢定為不顯著，即在Time 2達到plateau。

從Table 1來看，只有basic measures of attention and processing speed指標符合plateau之判斷標準。在Time 2時達到plateau。

總結：回覆審稿者意見之寫法為，先做repeated measures ANOVA，但p value訂於0.05，使用F檢定方法確定是否有練習效應。當F檢定有顯著，再做事後檢定。當事後檢定有顯著時，才分析effect size。F檢定結果顯著之指標，計算前後二次測量之RCIp (Time1-2、Time 2-3、Time 3-4)，取此三次RCIp之最大和最小值。有練習效應的指標，才探討練習效應的趨勢，與是否達到plateau。

Index	ANOVA (4 assessments)		Cohen’s d (post hoc p value)
	F3, 75	p value	Time 1-2	Time 2-3	Time 3-4	Time 1-3	Time 2-4	Time 1-4
Basic measures of attention and processing speed	4.5	0.023*	0.08 (0.055)	0.04 (0.279)	0.04 (0.189)	- (0.046)	- (0.064)	- (0.018)
Selective attention	5.9	0.001*	0.08 (0.269)	0.16 (0.049)	0.06 (0.488)	0.25 (0.007)**	- (0.031)	0.30 (0.001)**
Alternating attention	3.2	0.046*	0.09 (0.575)	0.09 (0.409)	0.23 (0.112)	- (0.294)	- (0.042)	0.45 (0.000)**
Ability of inhibition	2.2	0.093	-	-	-	-	-	-
Ability of switching	2.1	0.129	-	-	-	-	-	-

*p value <0.05

**p value <0.008 (0.05/6)

PEF第三次小樣本討論記錄 (12/2)

此次討論，主要討論意志面向，參與者有提及對其它三個面向較無問題。

問題一：目前意志項目設計非能讓人可以直接地說出答案，需要抽象思考能力才能回答？
我的回覆：之前與薛老師討論過，有些意志項目的設計可能讓個案較直觀或自然而然地回答正確答案，導致分數分佈的variation 較小，此會影響工具之區辨力 (大多數的個案能回答)。因此修改部分項目，讓個案非能直接地回答問題。有學者認為抽象思考能力為執行功能的一部分，雖然Lezak model裡沒有明顯地提出抽象思考能力。

    我上個禮拜看到一位個管員與個案會談，因為此個案的主要工作是派報 (發宣傳單)，但此個案在一大早較沒有主要客群的時候發宣傳單 (早上多為學生和家長)，雖然她可以主動發宣傳單，但他在發宣傳單時，一直與收到宣傳單的人說話，而且一大早較沒有主要客群，如此導致他派報的效率較差。我看了此個案的測試結果 (他在第二次樣本中有測試到)，發現此個案的意志面向較直觀的項目獲得2分，較不直觀的意志項目獲得0-1分。於計畫面向，大部分項目為獲得0-1分，於目的性行動，大部分項目為獲得1分，於表現效能，大部分項目為獲得0-1分。就我對此個案在派報事件的解讀，派報是個案被交辦的目標，個案未必自己設定目標要派報。若個案已內化派報為目標，但個案不能確實地計畫要如何做 (不然為何一大早沒主要客群時派報)，而且個案非依據目標只做該做的事 (目的性行動)，如與他人聊天非為主要該做的事，而導致派報的效率低 (表現效能)，如該做地沒確實做 (發宣傳單)，不該做的有做 (有發生錯誤)。回到意志面向，我認為此個案可能較不能自己設定適切的目標，在PEF能獲得2分的項目，是因為他對此些項目有直觀概念，自然而然地回答正確答案。

數據方面，從平均數比較”無法直觀回答”項目和”可直觀回答”項目，結果顯示”無法直觀回答”項目之平均值較”可直觀回答”項目低，此符合原本的假設，無法直觀回答項目較困難。從分數分佈來看此二類項目，無法直觀回答項目在此樣本之分數分佈0-2都有人，但可能傾向於0分較多 (我覺得合理，因為此樣本的個案傾向於能力較差)。對直觀回答項目，於此樣本之分數分佈大多為0-2，除了第3.1題和第4.1題 (較多的個案獲得2分，沒有個案獲得1分)，整體看來為1-2分的個案居多，除了第1題。

項目	平均數 (標準差)	分數分佈
1	0.40 (0.70)	0-2
1.1	0.90 (0.88)	0-2
3	0.90 (0.74)	0-2
3.1	1.40 (0.97)	0,2
4	1.00 (0.94)	0-2
4.1	1.40 (0.97)	0,2
11	1.10 (0.57)	0-2
11.1	0.60 (0.84)	0-2
16	1.00 (0.94)	0-2
16.1	1.50 (0.85)	0-2

註：”無法直觀回答”項目以粗體表示。

以下圖示，左圖為無法直觀回答項目，右圖為可直觀回答項目。

就以在同一題之指導語，我提出選擇指導語之理由
1 vs 1.1 我會選擇第1.1題，我的理由為此項目分佈均勻，在傾向能力較差的樣本中，雖然較多的個案得0分，但能力較好的個案仍能的1-2分。此外第1.1題之平均數為0.90，趨近1，表示難度適中。但在第1題，大多數個案都得到0分，可能能力較好的個案仍然較無法答對。
3 vs 3.1 我會選擇第3題，因為此項目分佈均勻，相較於第3.1，大多數個案拿到2分。第3題之平均數為0.90，趨近1，表示難度適中。
4 vs 4.1我會選擇第4題，因為此項目分佈均勻，相較於第4.1，大多數個案拿到2分。第4題之平均數為1.00，表示難度適中。
11 vs 11.1 我會選擇第11題，因為此項目分佈較平均，相較於第11.1，大多數個案拿到0分，可能此項目太困難。
16 vs 16.1 我會選擇第16題，因為此項目分佈均勻，相較於第3.1，大多數個案拿到2分。第16題之平均數為1.00，表示難度適中。

問題二：若是Lezak對意志之定義為設定目標，PEF是以IADL為測量媒介，IADL是平常可能從事的日常事務 (熟悉的活動)，人類在做日常事務時可能就已內化要設定什麼目標，而有直觀的回答。目前之項目設計讓人覺得有干擾，很難直接地回答。如何評定什麼是程度高的意志，什麼是程度低的意志?
我的回覆：目前意志面向設計，就希望個案不會有直觀的回答，傾向設計個案較不熟悉的情境。
目前的意志評分設計，有參考魏氏智力測驗的評分概念，個案有回答，以回答內容適切度給予分數。意志為3點量尺，0分為沒有反應或說不知道，或有說明但所形成之目標/意圖不符合情境；0分為所形成之目標/意圖符合情境。或形成之目標/意圖完全符合情境，但非適切的方法；2分為形成之目標/意圖完全符合情境且為適切的方法。

以數據顯示，大多數項目之0-2分都有人被評分，因此目前的方式可推測使用來評定意志的程度。

問題三： 意志與問題解決能力有何不同?
我的回覆：此問題曾與吳建德老師討論過，我們認為在Lezak model中，意志面向為在已知需求/情境中形成一個action goal。而problem solving是有目標後才思考解決方法。所以目前的設計較為是製造一個情境，讓個案說出在已提供的情境需求下形成的目標。

此部分暫且無法用數據顯示，此部分屬於理論/概念層面。PEF並無設計問題解決能力的面向，因此意志和問題解決能力無法由PEF項目設計之數據解釋。

問題四：於意志面向，是否在情境中提供較多的文字解釋，讓情境特定化，讓個案有較多元的回答? 例如：針對上述的實際個案，就可把情境特定於一個時間點 (如早上)，讓個案在直觀的回答中，需考量其它因素。
我的回覆：目前項目設計有考量此點，讓情境說明地較為特定化，如第5題"如果你銀行裡有存款，你需要用存款裡的錢，但銀行沒開，你會想要怎麼做?"，有特定加上特定的因素 (銀行沒開)，所以個案不會很直接地回答領錢，有個案會回答"等到銀行營業"。回答"等到銀行營業"，我會評1分，因為只符合部分情境。評分者不能過度解讀個案的回答，等到銀行營業後，我不知道他要做什麼?
另外，若是在指導語給予過多的情境 (文字解釋)，個案的注意力和記憶力不好，個案可能難以瞭解整體情境。這也是我當初在設計問題時考量的因素。

數據分析方面，以第5題為例，第5題之平均值為1.00，表示難度適中。分數分佈為0-2，且分佈均勻。

我目前的看法，參考大家的意見，會針對我的測試經驗 (我所知的個案回答)，再思考意志項目，以選擇合適的意志項目，如選擇有較多情境考量，且不會直觀地回答正確答案之項目。

與薛老師之討論記錄 (11/26)

1. 思考之問題：於意志面向，Cronbach's alpha數值較低。
    可能的原因為指導與問法較直接，個案可以較直觀或自然而然地回答正確答案，導致分數分佈的variation 較小，而影響Cronbach's alpha數值。因此，須再思考如何能讓個案回答預想的答案，但指導語不能太直接，讓個案自然而然地想到答案，以增加variation。

2. 思考之問題：於表現效能面向，第15題的校正項目總分相關係數較低。
    當換成另一種計分標準 (註1)，第15題的校正項目總分相關係數就大於0.30。因此，我們考慮是否要調整計分標準的設定。

    (1) 若是在目的性行動面向未完成任務，在表現效能面向評定0分，是否會造成分數分佈集中在低分。可思考是否分成"有完成任務"與"未完成任務"狀況下，評定個案是否有做錯或做的品質不佳 (由目前的3點量尺變成4點量尺，註2)。

    (2) 計分標準之設定須考量評分者是否容易評定分數。

3. 思考之問題：到底要PEF要幾題才足夠?
    未來剩下的題數，可參考目前的工具之題數，和考量施測所花的時間。

     (1) 目前已發表以Lezak model為依據的表現型評估工具 (Pillbox test)，只有一題。另外，EFPT只有4題。

     (2) 目前完整的測試 (1題練習題加上16題正式題)，施測時間約為50分鐘至2小時。一個項目施測最長的時間約為8分鐘，最短時間約為2分鐘。

     我的想法，未來可依照單向度驗證所剩下的項目數 (一個項目包括4個面向)，考量施測時間 (整體施測約20分鐘)，再來選擇需要的項目數。

4. 思考之問題：目前項目施測順序為依據「職能治療實務架構 (occupational therapy practice framework)」分類而排列，是否同一分類中會導致個案在類似的情境而容易回答，或者是導致個案仍維持在同一個情境中而無法轉換?
    施測項目順序可修改，非依據「職能治療實務架構 (occupational therapy practice framework)」分類而排列，以減少個案對相同類型的項目情境所造成的困惑。

5. 思考之問題：目前已執行的項目設計步驟 (如訪談、專家審核、項目測試)是否可寫成一篇投稿論文?
    在測試完後，可嘗試撰寫題目設計與pilot study的投稿論文。

註1：0分為沒有完成任務；1分為有完成任務但做錯，或有重覆動作 (品質不佳)；2分為一次就完成任務。
註2：0分為沒有完成任務並在已做的動作上有做錯；1分為沒有完成任務，但在已做的動作上沒有做錯；2分為有完成任務並在已做的動作上有做錯；4分為有完成任務，但在已做的動作上沒有做錯。

與薛老師之討論記錄 (11/6)

1. 目前三個指導語之情境須盡量相同。
2. 指導語一：目前指導語"你會怎麼做"，修改成"你會想要怎麼做"或"你會需要做什麼"，較符合Lezak model之意志概念。
把"沒有人幫你"加入在原本之第一句指導語中，不須再問第二句。
3. 當個案無法完整回覆指導語二 (計畫面向)，個案是否在指導語三 (目的性行動面向)仍可執行任務?
    若個案無法執行任務的話，吳老師提議把指導語二 (計畫面向)的必要任務步驟做成數個小卡，讓個案看到小卡後，自行決定要如何進行所有的步驟。
    我的測試經驗：個案在計畫面向無法完成，但仍可執行任務。
    薛老師與我的共識：計畫面向為測量個案的邏輯概念，個案可能無法計畫任務 (邏輯概念差)，但不表示個案無法執行任務。因為在真實狀況下執行任務，會因工具的cue而瞭解如何執行任務。目前保留指導語三之設計，但可嘗試吳老師的建議，觀察看看個案的反應
4. 指導語給予之次數：目前每個指導語，最多可告訴個案三次。薛老師建議只說一次指導語，目前的標準化認知評估都是給予一次的指導語。
    我的測試經驗：有個案聽到第三次指導語後，改變自己的回答。給予多次的指導語，可能會導致個案認知自己說錯了/做錯了，而提供個案cue以修改回覆。
    目前的做法：修改成只給一次的指導語，非給予最多3次的指導語
5. 當個案詢問問題時，是否需要給予部分指導語?
    薛老師的建議和提醒：
    (1) 我們目前為發展static之認知工具，非dynamic之認知工具。若個案問問題，回應個案的問題，此做法屬於dynamic認知工具，dynamic認知工具難以標準化計分。
    (2) 執行功能為高功能的認知能力，在注意力和記憶力之上。當個案問問題，若是以部分指導語回應個案的問題，算是給個案cue。
6. 表現效能面向須考量個案之操作時間。我須思考是以正常人之操作時間為標準，還是以個案之操作時間為標準，及標準的訂定。

10/2 與謝老師討論事項記錄

針對PEF小樣本測試
1. 要請人協助觀察，必須要有清楚知道希望他人要觀察什麼，如此才能獲得最好的收獲。
    若是提出的觀察內容太過籠統，會導致沒有好好運用人力，而糟蹋人力。
2. 觀察和測試的主要目的為"評估流程標準化"，應著重的內容包括以下二項，以增加信度和效度。
    (1) 要受測者回應是否一致，是否能表現出我想要的東西 (預期的表達)。
    (2) 說明是否可讓受測者聽得一清二楚。
3. 若是施測時發現有些受測者可以表達預期的內容，但有些受測者不能表達預期的內容，此時須思考選擇受測者之標準 (selection criteria)。受測者表達不如預期，有可能的原因有二個：
    (1) 文字(說明)不清楚。
    (2) 受測者認知功能有問題 (理解和表達能力有問題)。
4. 目前已測試20位個案，接下來的步驟為
    (1) 與觀察者討論，以修改PEF內容 (包括指導與和評分內容)。---大修
    (2) 測試3-5位個案 (請人觀察)。---小修
    (3) 若有小修，再進行3-5位個案 (請人觀察)測試，直到沒有修改。
    (4) 進行第二次20位小樣本測試，並分析描述性資料與Cronbach's alpha。

8/20 與謝老師討論事項記錄

針對FDT response letter之討論
1. 須先回覆審稿者的問題，然後寫出做了哪些修改。
    例如：要先回覆如何改善readability，然後回覆做了哪些的修改。
2. 於結果部分，須summarize數據，不須解釋數據。
3. 審稿者問題" Under study limitations (p 11) it would appear highly unlikely that clinicians--or even researchers would choose a measure that requires more than 4 administrations in order to determine whether changes were clinical rather than practice effects."
    此問題的重點為choose，使用者不會選擇一個須測量4次以上才能確定非練習效應影響的評估工具。我應回覆的重點為(1) 本研究的限制，說明沒有達到 plateau 對本研究結果的影響為何?後續研究或臨床如何克服此問題? (2) 此工具之臨床的實用性。

個人瓶頸
1. 英文閱讀能力。我無法抓到審稿者的重點，且會專注於某些字句，而讓自己偏離的重點。
    改善方法：若無法明確地抓到重點，須找高手請教。
2. 不懂之處，要提早澄清。