生態效度之效標工具

生態效度之定義：生態效度為分析受測者之評估表現與真實環境下表現之相關性。驗證方法為欲驗證之評估工具與效標 (ADL或outcome measure評估工具)之相關性。

過去文獻，驗證生態效度使用之效標工具有二種類型：(1) 回到工作之能力 (return to work)。(2) 日常生活功能 (ADL)。

目前台灣精神科領域常用之ADL評估工具為日常生活評量表第三版 (ADLRS-III)，但此工具之建構效度不好，其10個面向加總不能代表患者ADL能力。

根據范 (2009)¹之精神障礙者就業者評量工具之文獻回顧，從其所提及之工作評量相關工具中，找到有三個已發展之中文版評估工具，包括：工作相關自我效能量表 (Work-related Self-efficacy Scale, WSS-37)、工作行為量表 (Work Behavior Inventory, WBI)、特定任務自我效能量表 (Task-Specific Self Efficacy Scale for people with mental illness, TSSES-PMI)。此三個評估工具介紹如Table 1。

我的博士論文欲驗證所發展之區辨型執行功能評估工具之生態效度，目前欲選擇之效標工具為WSS-37中文版或TSSES-PMI，理由為此二個工具可測量精神病患尚未進入職場時，其是否瞭解自己回到工作時所須之能力。
不選擇WBI之理由為未必能實際觀察到患者從事工作之狀況，且謝 (2007)提及雖有操作手冊，但須經過解說和討論才能讓施測者清楚瞭解。

Table 1

工具	測量內容	心理計量特性
WSS-37	WSS-37為測量精神分裂症患者工作相關自我效能感，包括四個層面：生涯規劃技巧、工作安全技巧、工作相關社交技巧、一般工作技巧。原版共37題，會談測量方式。 李 (2010)之碩士論文，翻譯且驗證中文版，共28題，自填方式，11點量表 (0-10)，總分範圍為0-280分。中文版分成四個因素，包括：職業準備技巧的信心、實際面臨工作及保護自我權益的信心、自我了解與社交技巧的信心、求職技巧的信心。	原版之心理計量特性：有良好之內在一致性和建構效度。2 中文版之心理計量特性 (樣本為精神分裂症和情感性精神疾患)：內容效度；Crobach’s alpha =0.91-0.95；再測信度，整體量表r=0.99；EFA分成四個因素；收斂效度為中度相關 (r=0.49)。3
WBI	WBI為情境評量工具，測量個案之工作行為表現。評量方式為於工作情境中觀察個案，且與督導會談，以給予評分。五點量表 (1-5)，量表將工作能力分成五個面向：社會行為、合作性、工作習慣、工作品質、個人表現。每個面向有七題，最後一題為評量整體工作行為，共36題。 謝 (2007)之碩士論文，翻譯且驗證中文版，共36題 (同原版題數和內容)。	原版之心理計量特性：Crobach’s alpha =0.85-0.95；收斂效度為中度相關。4 中文版之心理計量特性 (樣本為精神分裂症、情感性精神分裂、憂鬱症)：專家效度；Crobach’s alpha =0.89-0.94；施測者間信度 r=0.71-0.87；再測信度 r=0.85-0.94；區辨效度 (支持性vs.庇護性)；收斂效度低度到中度相關 (r=0.38-0.65)5
TSSES-PMI	TSSES-PMI為評量精神病患之工作相關自我效能感，共35題，6點計分 (1-6)，自填量表。	樣本來自台灣和香港，包括精神分裂症和情感性精神疾患。EFA結果分成四個因素：symptom management skills, work-related skills, helping-seeking skills, emotional self-regulation skills.6

參考文獻

1.     范珈維, 潘璦琬. 使用人類職能模式探討精神障礙者就業能力評量工具之評量向度--文獻回顧. 臺灣職能治療研究與實務雜誌 2009;5(1):51-64.

2.     Waghorn G, Chant D, King R. Work-related self-efficacy among community residents with psychiatric disabilities. Psychiatr Rehabil J 2005;29(2):105-13.

3.     李書棻. 工作自我效能量表之編製及信效度研究. 台北: 國立台灣師範大學; 2010.

4.     Bryson G, Bell MD, Lysaker P, Zito W. The Work Behavior Inventory: A scale for the assessment of work behavior for people with severe mental illness. Psychiatric Rehabilitation Journal 1997;20(4):47-55.

5.     謝美惠. 慢性精神病患者工作行為量表 (WBI)中文化之信效度研究. 高雄: 國立高雄師範大學; 2007.

6.     Chou CC, Cardoso Eda S, Chan F, Tsang HW, Wu M. Development and psychometric validation of the Task-Specific Self-Efficacy Scale for Chinese people with mental illness. Int J Rehabil Res 2007;30(4):261-71.

發展區辨型EF評估工具之理由

我的博士論文為發展具有區辨力之執行功能 (executive functions, EF)表現型評估工具 (performance-based assessment)，目前具有指標分數代表EF能力之表現型評估工具有三個，包括EFPT、MET、EFRT。於過去研究，此三個評估工具區辨力的驗證顯示，EFPT可區分急性和慢性精神分裂症患者，MET和EFRT未有區辨力之驗證，但MET題目較難，可能有會floor effect，難以區辨EF能力差之受測者。此二個工具的是否具有區辨力，須進一步之驗證。Table 1 呈現評估工具於精神分裂症之整理比較。

評估工具是否合適翻譯使用於台灣精神分裂症患者須考慮之因素有三：(一)、工具項目內容是否適用於台灣文化，此三個EF表現型評估工具之部分項目具備文化或環境特性，不適於國人使用，例如：EFPT須煮燕麥粥、MET須在醫院裡購買郵票、EFRT須到學校找辦公室等。(二)、理論架構，此三個評估工具未有提及依據特定EF理論發展，未能確認評量哪些EF能力，例如：MET使用total error score表示受測者之EF能力，不確定此為測量哪個EF能力。(三)、普及性，此些工具於研究或臨床上尚未普遍應用於測量精神分裂症患者之EF能力。因此，此些工具不適當翻譯此些工具應用於台灣之精神分裂症患者。須發展適於國人使用之EF評估工具。

綜合以上結果，欲使用具有區辨力之EF評估工具測量台灣精神分裂症的EF能力，不適於直接翻譯使用國外已發展之EF評估工具。

Table 1

評估工具	依據執行理論而發展	應用於精神分裂症患者之文獻篇數	於精神分裂症患者心理計量特性	項目內容是否適合使用於台灣
Executive Function Performance Test (EFPT)	未有文獻提及此工具是依EF理論而發展	0	Schizophrenia with acute and chronic stage: Cronbach’s alpha= 0.88; discriminative validity (acute vs. chronic); convergent validity (correlation with the Behavioral Assessment of the Dysexecutive Syndome profile = 0.43-0.76)1	煮燕麥粥、從藥灌中拿藥 (須準備有病患名字的藥瓶)等不合適於台灣使用
Multiple Errands Test (MET)	未有文獻提及此工具是依EF理論而發展	0	0	醫院版本-提供醫院地圖，須於醫院裡購買郵票、生日卡、可口可樂，此不容易於台灣醫院裡都可以買到。 賣場版本-須帶病患到賣場中施測，不容易執行。 題目過於太難，患者可能不願執行 (high drop-out rate)
Executive Function Route Finding Task (EFRT)	未有文獻提及此工具是依EF理論而發展	0	0	項目為校園裡找到某一個辦公室，此不適合於台灣臨床進行。

參考文獻

1.     Katz N, Tadmor I, Felzen B, Hartman-Maeir A. Validity of the executive function performance test in individauls with schozophrenia. OTJR: Occupation, Participation and Health 2007;27(2):44-51.

海報研究架構圖之大綱 (1/16)

Title: Development of a performance-based assessment to measure executive functions in patient with stroke (發展中風執行功能實作評量測驗)

Outline
1. What are the influences of executive dysfunctions in patients with stroke?
2. What are the current common measures of testing executive functions and flaws of these measures? (pen-and paper/tabletop assessment vs. performance-based assessment)
3. Why performance-based EF measures are preferred?
4. The purposes of the study are (1) to develop a performance-based EF measure for the patients with stroke (called as "the Performance-based Assessment of Stroke Executive Functions, PASE), which overcomes the flaws; and (2) to validate the psychometric properties of the PASE.

海報研究架構圖之大綱 (1/13)

Title: Development of a performance-based assessment to measure executive functions in patients with stroke (發展中風執行功能實作評量測驗)

Outline
1. What are the influences of executive dysfunctions in patients with stroke
2. What are the current common measures of testing executive functions (EF) and flaws of these measures
3. What are flaws of the current performance-based EF measures
4. The purposes of the study are (1) to develop a performance-based EF measure for the patients with stroke (called as "the Performance-based Assessment of Stroke Executive Functions, PASE), which overcomes the the flaws; and (2) to validate the psychometric properties of the PASE.
5. The characteristics of the PASE

Performance-based assessment在教育界稱為"實作評量"，所以我會採用此中文名稱。

於近期，會找老師討論大綱。

1/4與老師討論事項記錄

針對執行功能研究架構圖
1. 思考寫作的原則/重點。在架構圖的撰寫中，要特別注意寫作"前言"的部分。
    提醒：
         (1) 訂定outline
         (2) 寫清楚段落的主題句
         (3) 連貫整個架構(特別是前後文的連貫)
         (4) 站在讀者的角度寫作，現在的內容片斷，只有我自己知道，心理假設應該要如何串聯。
         (5) 明確表示做此研究的理由
2. 針對dual task優點的寫法
    (1) 提出獨一無二的優點，特別與執行功能相關之處
    (2) 使用"相對於其它型式的"寫法，例如：相對於multi-task，完成率較高。
3. 現在強調dual task的寫法，和讓人感覺dual task之評估工具會有ceiling effect (相對於multi-task之困難度)，或者會有floor effect (相對於single task之困難度)。~~要如何解釋ceiling effect和floor effect的問題。
4. 要思考中風患者的能力，中風患者可以完成dual task嗎?因為困難度和複雜度比single task高。

研究架構圖之outline
1. 什麼是執行功能
2. 執行功能對中風患者的影響 (在海報中，第1點和第2點合併成一段)
3. 現有工具之缺點
4. 評估工具應具之心理計量特性
5. 研究目的：發展執行功能工具
6. 所發展之工具應具的特點

Dual tasks之優點

1. 增加項目的複雜度。
2. 降低對項目之熟悉度，增加項目的新奇感。
3. 中度困難度。(比single task困難，但比multi-task簡單)。
4. 項目可能可以完成。(降低floor effect)。
5. 牽涉項目轉移能力 (task switching)。
6. 牽涉項目抑制能力 (inhibition)。
7. 牽涉分散注意力的狀況。
8. 牽涉執行意圖的能力 (delayed intention, prospective memory)。
9. 施測時間較短 (與multi-task比較)。

有關執行功能評估工具之問題 (1/5)

Q：如何避免所測量之ADL題目為受測者可能熟悉的活動?
A：1. 使用IADL項目。BADL項目為基本每日都會從事的活動，所以熟悉程度較高，但IADL項目並非每天都會從事，所以熟悉度較低，且IADL項目較複雜，可能不會完全熟悉IADL項目。例如：打國際電話，之前雖曾經打過國際電話，但現在叫我打國際電話，我或許不知要如何打!?
另一個例子：查電話簿，有些人可能有查過，有些人可能沒有查過。除非是公司總機，或電信工司人員...等等特殊工作者需要使用電話簿，且一般我們有可能打電話到查號台，所以大部分的人對查電話簿，其實都不是非常熟悉。
         
       2. 使用dual tasks/multi-task方式：假如受測者對某一個IADL項目熟悉，但我們加入另一個不相關的IADL項目，並非平常一起從事的IADL項目，受測者可能不會有自然反應要如何連結這二個/多個之IADL項目，所以dual tasks/multi-task可以降低熟悉度。

       3. 增加執行IADL的規則。不管受測者是否對某個IADL項目熟悉，規則的增加會干擾受測者自認為應該如何執行的步驟(原本熟悉的步驟和方法)，所以降低熟悉度。

有關執行功能評估工具之問題 (1/4)

Q：為什麼執行功能評估工具之測量項目要是日常生活活動?
A：測量結果比較能推論到真實情境之狀況，意即推估受測者在真實生活中之執行功能能力。

Q：為什麼不直接使用日常生活活動評估工具測量執行功能能力?
A：日常生活活動(ADL)評估工具為評估受測者之個人自我照顧功能、及生活獨立程度，以作為ADL訓練與治療的依據。而執行功能(EF)評估工具為評估受測者之認知功能、產生目標導向行為的能力，與ADL評估工具之測量目的不同。
      雖然EF評估工具使用ADL為測量項目，但測量目的和測量概念不同，所以EF評估工具測量結果為執行功能能力，並非日常生活活動能力。例如：受測者有能力使用梳子梳頭髮 (ADL能力正常)，但受測者可能看到自己頭髮亂了，且看到桌上有梳子，但可能無法有意識要梳頭髮(執行功能intention的能力)，或知道可以使用桌上的梳子梳頭髮(執行功能plan的能力)。

Single task、dual task、multi-task之比較

	Single task	Dual tasks	Multi-task
Advantage	l Easy to implement1	l Moderate level of difficulty to implement l Task complexity2 l Involve task switching3 l Involve inhibition4, 5 l More sensitive to cognitive status compared to the single task6 l Have additional attention distraction2 l Related to prefrontal cortical regions7 l Subfunctions ascribed to the central executive include dual-task processing8, 9 l Related to delayed intentions (prospective memory)	l Task complexity10 l Simultaneous multitaskingàcoordination of multiple factorsà predict complex community participationà increase ecological validity1, 10 l Everyday life is multitasking11 l Involve task switching3 l Related to delayed intentions (prospective memory)3
Disadvantage	l Not achieve complexity of executive functions12 l Real life is multitasking, not single task l Not test delayed intention (prospective memory) l Not involve inhibition	l Might have floor effect for testing individuals with intellectual disabilities8	l Too difficult to complete multi-task measure and high dropout rate10 l Floor effect

Dual task/multi-task之定義：個案在同一個狀況下接受到二個以上的任務，個案要決定哪個任務要先執行，然後執行另一個任務(記得執行下個任務[intention能力])。個案也可計畫如何要同時處理多個任務的某些部分，以節省時間，有效率地完成任務。意圖、決定/計畫、執行、有效率地完成，此四個要素，和Lezak model概念一致。

Single task和 dual task/multi-task之比較整理：
1. Single task之評估工具，病患較容易完成， dual task之評估工具，執行困難度為中度，病患仍然可能全部執行完成，但multi-task之評估工具，執行困難度較高，病患可以無法完成。
2. 雖然single task之評估工具容易完成，但真實生活為multi-task狀況，非single-task。所以single-task可能無法反應出真實執行狀況，和病患的真實實際的能力與問題。
3. 執行功能在測量個案在新奇(非例行的活動)、複雜性任務、非結構性的任務時的表現能力。single task的任務簡單，無法反應出個案在執行複雜任務時的能力。但dual task和multi-task的任務較複雜，所以可反應個案執行複雜任務時的能力。
4. 執行功能牽涉到"任務轉換(task switch)"的能力，在single-task中，不需在task中轉換，所以沒有真的測量到task switch。dual task和multi-task有二個以上的task，做完一個task後會轉換做另一個task，所以可評量到個案之task switch之能力。
5. Delayed intention (prospective memory)是指在執行二個以上的任務時，先執行第一個任務，然後在執行下一個任務，所以個案必須要記得接下來要做什麼(哪個任務)。然而在single task中無法測量此種能力，在dual task和multi-task中，可測量此種能力。
6. 執行功能牽涉"抑制(inhibition)"能力，個案在執行一個任務時，需要抑制自己不執行下一個任務(或被下一個任務所干擾[additional distraction])，此抑制能力必須在二個任務以上的狀況下發生。所以single task較無法評量inhibition能力，而dual task/multi-task可評量此能力。

Dual task和multi-task比較整理：
1. Dual task任務的困難度較低，所以對病患來說，較能完成任務，而較不容易產生floor effect或drop out的情況產生。另外，任務較少，所以可以較快完成，以節省評估的時間。
2. 雖說multi-task的任務為最複雜，可能較符合執行功能的定義，但過去研究中⁹，發現dual-task processing，可以區辨有執行功能正常和執行功能受損，此二個族群。所以dual task也可以使用測量執行功能能力。


Reference:

1.         Adina M, Krauss S, Katz N. Ecological validity of the Multiple Errands Test (MET) on discharge from neurorehabilitation hospital. OTJR: Occupation, Participation and Health 2011;31:S38-S46.

2.         Ramsden CM, Kinsella GJ, Ong B, et al. Performance of everyday actions in mild Alzheimer's disease. Neuropsychology 2008;22:17-26.

3.         Burgess PW, Veitch E, de Lacy Costello A, et al. The cognitive and neuroanatomical correlates of multitasking. Neuropsychologia 2000;38:848-863.

4.         Bull R, Phillips LH, Conway CA. The role of control functions in mentalizing: dual-task studies of theory of mind and executive function. Cognition 2008;107:663-672.

5.         Plummer-D'Amato P, Altmann LJ, Reilly K. Dual-task effects of spontaneous speech and executive function on gait in aging: exaggerated effects in slow walkers. Gait Posture 2011;33:233-237.

6.         Holtzer R, Burright RG, Donovick PJ. The sensitivity of dual-task performance to cognitive status in aging. J Int Neuropsychol Soc 2004;10:230-238.

7.         Montero-Odasso M, Casas A, Hansen KT, et al. Quantitative gait analysis under dual-task in older people with mild cognitive impairment: a reliability study. J Neuroeng Rehabil 2009;6.

8.         Kittler PM, Krinsky-McHale SJ, Devenny DA. Dual-task processing as a meausre of executive function: a comparison between adults with Williams and Down Syndromes. Am J Ment Retard 2008;113:117-132.

9.         Baddeley A, Della Sala S, Papagno C, et al. Dual-task performance in dysexecutive and nondysexecutive patients with a frontal lesion. Neuropsychology 1997;11:187-194.

10.       Burgess PW, Alderman N, Forbes C, et al. The case for the development and use of "ecologically valid" measures of executive function in experimental and clinical neuropsychology. Jouranl of the International Neuropsychological Society 2006;12:194-209.

11.       Burgess PW. Strategy application disorder: the role of the frontal lobes in human multitasking. Psychological research 2000;63:279-288.

12.       Kizony R, Demayo-Dayan T, Sinoff G, et al. Validation of the Executive Function Route-finding Task (EFRT) in people with mild cognitive impairment. OTJR: Occupation, Participation and Health 2011;31:S47-S52.