PEF之信度和練習效應結果 (9/24)

今天使用PEF四個面向的Rasch score重新分析信度和練習效應，結果和用raw score的分析結果差異好大，raw score之分析結果於此網址。Rasch score分析結果如下：

Intra-rater (n=60)

面向	第一次測量 平均值±標準差	第二次測量 平均值±標準差	ICC (95% CI)	MDC (MDC%)	t值 (p值)	d值
意志	59.4±16.8	60.0±16.2	0.92 (0.87, 0.95)	13.0 (21.7%)	0.69 (0.490)	0.04
計畫	47.2±14.8	47.4±14.1	0.91 (0.85, 0.94)	12.2 (25.7%)	0.23 (0.822)	0.01
目的性行動	58.2±16.7	62.2±17.2	0.88 (0.75, 0.94)	16.2 (26.8%)	4.21 (0.000)*	0.24
表現效能	46.7±18.3	49.4±18.2	0.90 (0.82, 0.94)	16.3 (33.9%)	2.67 (0.010)*	0.15

Inter-rater (n=60)

面向	第一次測量 平均值±標準差	第二次測量 平均值±標準差	ICC (95% CI)	MDC (MDC%)	t值 (p值)	d值
意志	58.9±14.7	61.5±13.7	0.84 (0.73, 0.90)	15.8 (26.3%)	2.63 (0.011)*	0.18
計畫	47.2±16.4	48.2±13.9	0.83 (0.73, 0.89)	17.4 (36.5%)	0.92 (0.359)	0.07
目的性行動	59.7±17.2	63.2±18.5	0.82 (0.71, 0.89)	20.9 (34.1%)	2.61 (0.011)*	0.19
表現效能	48.0±18.7	50.4±21.0	0.89 (0.81, 0.93)	18.6 (37.9%)	1.98 (0.052)	0.12

於ICC值方面，整體而言，使用raw score分析，四個面向的ICC值較高。

Raw score分析結果，除了同一施測者測量之意志面向的MDC% < 30%，其它之MDC%都大於30%，甚至不同施測者測量之計畫面向MDC%高達51.3%。但Rasch score分析，MDC%值相對地小很多。

於raw score分析，結果為同一施測者或不同施測者測量，四個面向之Cohen's d值 < 0.20，但Rasch score分析卻在同一施測者測量時，目的性行動面向的Cohen's d值 > 0.20。

我目前的想法為，應使用Rasch score分析較為精準。但我最近已在博論中嘗試解釋raw score的分析結果。目前看到Rasch score的結果，發現之前的解釋不符合Rasch score的結果，要重新思考為何有此結果。

為何我今天突然想到要用Rasch score !?

PEF之生態效度結果

Scale	Domain	V	P	PA	EP	EF
PSP	Social activities	0.35	0.33	0.43	0.43	0.42
	Personal and social relationships	0.44	0.40	0.35	0.35	0.41
	Self care	0.38	0.34	0.38	0.39	0.40
	Disturbing behavior	0.44	0.40	0.42	0.47	0.47
	Total score	0.50	0.45	0.55	0.55	0.55
ADLRS-III	Independence	0.56	0.45	0.58	0.48	0.56
	Personal hygiene	0.49	0.49	0.47	0.48	0.52
	Leisure	0.29	0.32	0.42	0.34	0.37
	Picture recognition	0.68	0.64	0.73	0.65	0.73
	Current events	0.73	0.66	0.71	0.63	0.74
	Literacy ability	0.59	0.64	0.71	0.74	0.73
	Money calculation	0.61	0.61	0.63	0.62	0.66
	Transportation facilities use	0.68	0.62	0.72	0.69	0.74
	Communication tools use	0.69	0.64	0.79	0.77	0.78
	Problem-solving ability	0.74	0.76	0.65	0.64	0.75
	Total score	0.80	0.77	0.86	0.81	0.88

Note: PSP=個人與社會功能評量表，ADLRS-III=日常生活評量表第三版

V=volition, P=planning, PA=purposive action, EP=effective performance, EF=effective functions

生態效度結果：PEF四個面向和總分 (整體執行功能)與PSP四個面向和總分 (社會功能)之相關程度為中度 (r=0.33-0.55)。PEF四個面向和總分與ADLRS-III十個面向和總分之相關程度為中度到高度相關 (r=0.32-0.88)，除了PEF意志面向與ADLRS-III休閒面向之相關程度為低度 (r=0.29)。

PEF之二階CFA分析結果 (7/14)

我進行PEF之二階CFA分析，以各面向的總分分析第二階因素(執行功能)，若沒設定PEF之四個面向殘差間相關，4個適配度指標不符合判斷標準。若設定PEF之二個殘差間相關 (圖1)，4個適配度指標符合判斷標準。

Model	χ2	df	χ2/df	CFI	TLI	RMSEA
二階CFA (沒設定殘差間相關)	53.54	2	26.77	0.94	0.82	0.36
二階CFA (設定殘差間相關)	0.33	1	0.33	1.00	1.00	0.00

Criteria of a good model fit were χ2/df < 3.0, CFI ≥ 0.95, TLI ≥ 0.95, and RMSEA < 0.08.

圖1

PEF之信度和練習效應結果

Intra-rater (n=60)

Domain	M1 (SD1)	M2 (SD2)	ICC (95% CI)	MDC (MDC%)	t-test (p value)	Cohen’s d
Volition	17.3 (6.4)	17.6 (6.2)	0.92 (0.87, 0.95)	4.9 (28.1%)	0.87 (0.387)	0.05
Planning	12.5 (5.6)	12.5 (5.5)	0.90 (0.84, 0.94)	4.9 (39.0%)	0.10 (0.919)	0.01
Purposive action	16.7 (6.6)	17.8 (6.3)	0.91 (0.83, 0.95)	5.3 (30.8%)	3.63 (0.001)	0.18
Effective performance	12.4 (7.1)	13.4 (7.1)	0.93 (0.87, 0.96)	5.3 (41.2%)	2.86 (0.006)	0.13
EFa	58.9 (23.8)	61.3 (23.5)	0.96 (0.93, 0.98)	12.7 (21.2%)	2.98 (0.004)	0.10

^a四面向分數加總

Inter-rater (n=60)

Domain	M1 (SD1)	M2 (SD2)	ICC (95% CI)	MDC (MDC%)	t-test (p value)	Cohen’s d
Volition	16.9 (5.9)	18.0 (5.3)	0.81 (0.69, 0.88)	6.8 (39.0%)	2.53 (0.014)	0.19
Planning	12.3 (6.2)	12.6 (5.7)	0.85 (0.75, 0.91)	6.4 (51.3%)	0.59 (0.558)	0.04
Purposive action	16.9 (6.7)	18.0 (6.4)	0.90 (0.82, 0.94)	5.8 (33.5%)	2.98 (0.004)	0.15
Effective performance	12.9 (7.2)	13.5 (7.5)	0.90 (0.84, 0.94)	6.5 (49.1%)	1.41 (0.163)	0.08
EFa	59.0 (23.5)	62.1 (22.9)	0.92 (0.86, 0.95)	18.1 (29.8%)	2.66 (0.10)	0.13

^a四面向分數加總

施測者內信度：四個面向和整體執行功能之ICC ≥ 0.90，有良好之一致性。四個面向之MDC值為4.9-5.3，整體執行功能之MDC值為12.7。除了意志面向和整體執行功能外，其它三個面向之MDC% > 30%，表示隨機測量誤差大。

施測者內之練習效應：四個面向和整體執行功能之d值< 0.20 (判斷標準)，表示練習效應微小。

施測者間信度：四個面向之ICC ≥ 0.81，有良好之一致性。四個面向之MDC值為5.8-6.8，整體執行功能之MDC值為18.1。除了整體執行功能外，四個面向之MDC% > 30%，表示隨機測量誤差大。

施測者間之練習效應：四個面向和整體執行功能之d值< 0.20 (判斷標準)，表示練習效應微小。