2014年5月8日 星期四

欣瑀第二次樣本施測

施測者間信度 (n=5)
面向
ICC
意志
0.99
計畫
0.81
表現效能
0.84
目的性行動
0.99
由欣瑀施測,我在旁觀察並評分

說明指導語之熟悉度為9 ()。施測者能很順暢地說出指導語,於指導語三,可以邊說指導語邊給予手勢指示。但有時會停頓,忘記指導語。
放置與收拾物品之熟悉度為9 ()。施測者在操作提款機題目,在轉換提款機螢幕紙時,會找不到該轉換的紙。
記錄受測者之回應與評分為8 ()。施測者能較快速地寫下受測者的回應,但施測者表示會看不清楚自己所記錄之部分內容,而影響到評分 (給予錯誤之評分),特別是計畫面向,因為有些受測者表達許多內容,有點困難快速地掌握到重點。

此四個面向的ICC都高於0.80,我的想法為會開始施測者間信度的收案,且預計6月底前結束。
會在與欣瑀討論施測結果,以提高計畫和表現效能施測之一致性。

1 則留言:

  1. 1. 「由欣瑀施測,我在旁觀察並評分」之施測者間一致性,通常比 rater 獨立施測,容易高估。
    2. 您似未明確找到二 raters 不一致的地方(或原因,至少我沒看到),就要開始正式,需承擔風險。
    3. 宜整理 raters 容易不一致的地方,記錄於施測手冊,這也是未來 rater training 的重點。

    回覆刪除