施測者間信度 (n=5)
面向
|
ICC
|
意志
|
0.99
|
計畫
|
0.81
|
表現效能
|
0.84
|
目的性行動
|
0.99
|
由欣瑀施測,我在旁觀察並評分
說明指導語之熟悉度為9分 (註)。施測者能很順暢地說出指導語,於指導語三,可以邊說指導語邊給予手勢指示。但有時會停頓,忘記指導語。
放置與收拾物品之熟悉度為9分 (註)。施測者在操作提款機題目,在轉換提款機螢幕紙時,會找不到該轉換的紙。
記錄受測者之回應與評分為8分 (註)。施測者能較快速地寫下受測者的回應,但施測者表示會看不清楚自己所記錄之部分內容,而影響到評分
(給予錯誤之評分),特別是計畫面向,因為有些受測者表達許多內容,有點困難快速地掌握到重點。
此四個面向的ICC都高於0.80,我的想法為會開始施測者間信度的收案,且預計6月底前結束。
會在與欣瑀討論施測結果,以提高計畫和表現效能施測之一致性。
1. 「由欣瑀施測,我在旁觀察並評分」之施測者間一致性,通常比 rater 獨立施測,容易高估。
回覆刪除2. 您似未明確找到二 raters 不一致的地方(或原因,至少我沒看到),就要開始正式,需承擔風險。
3. 宜整理 raters 容易不一致的地方,記錄於施測手冊,這也是未來 rater training 的重點。