2022-04-12 16:54:19詹翔霖副教授0955268997

評估員工教育訓練成效的(Kirkpatrick Model) 柯氏四級培訓評估模式-詹翔霖副教授

評估員工教育訓練成效的(Kirkpatrick Model) 柯氏四級培訓評估模式-詹翔霖副教授

 

「公司做教育訓練很花錢,但不做教育訓練公司更花錢,詹翔霖副教授」

 

訓練評估的目的性,在於組織施行教育訓練過程中或期滿後的各項教學活動,按照暨定的規劃及標準,並有系統蒐集「敘述性」與「判斷性」的資料,並且加以調查、分析、檢討,透過經濟效益觀點來研判教育訓練的價值和評估組織績效的程序。

 

現大都以柯氏四級培訓評估模式(Kirkpatrick Model)由國際著名學者威斯康辛大學(Wisconsin University)教授唐納德.L.柯克帕特裡克(Donald.L.Kirkpatrick)於1959年提出,是世界上應用最廣泛的培訓評估工具,柯氏四級培訓評估模式,簡稱“4R”。

 

(參見圖一)柯氏學習評估模式

http://epaper.heeact.edu.tw/images/epaper_heeact_edu_tw/2017_0701_No68/P-35D1.png

 

原先的4階段模式是在50年代,由 Kirkpatrick(19242014)於所寫論文中所提出來的。當時,正在威斯康辛大學擔任教授一職,專注於經營管理的教學工作,並且負責當地區域商業的監督項目,此項目也是該校大教育推廣計畫的一部分,真誠地希望了解他所研究的培訓項目能對參與者有所貢獻,也因此,4階段模式便應運而生。

 

  該模式有效地解決了評估培訓計畫的3個主要難題:改善計畫、將學習行為與後續組織發展成果極大化、向企業展現出培訓的價值。

 

  歷經近多年的實證,柯氏學習評估模式不斷修正與進步,在 2010 年美國人才發展協會 (Association for Talent Development) 的國際年會中進一步提出以終為始的想法,Jim Kirkpatrick (Donald的長子) 也正式發表「新柯氏學習評估模式」,如圖二。另一方面,新柯氏學習評估模式相較舊有模式更加的明確,並更新4階段的內涵。包含了L1的加強關聯性與參與度、L2的信心與承諾項目的增加調整、L3的驅動以及L4的領先指標完成,替舊有模式導入了顯著的改變動能。(參見圖二)

 

 

 

主要內容:

 

  Level 1 反應評估(Reaction) :評估被培訓者的滿意程度;

  反應評估是指受訓人員對培訓項目的印象如何,包括對講師和培訓科目、設施、方法、內容、自己收穫的大小等方面的看法。反應層評估主要是在培訓項目結束時,通過問卷調查來收集受訓人員對於培訓項目的效果和有用性的反應。這個層次的評估可以作為改進培訓內容、培訓方式、教學進度等方面的建議或綜合評估的參考,但不能作為評估的結果。

 

評估方式:

1.問卷調查--由承辦訓練的單位先擬定好問卷調查的內容與項目後,再於課程結束後收集受訓學員的意見與反應。

2.面談--透過課堂進行中講師與學員的互動,或訓練承辦人員於課堂休息時間,或課後與學員進行即時回饋,並由承辦人員進行面談記錄。

3.課中觀察--訓練承辦人員在訓練過程中,密切觀察學員整體的學習狀況及和講師的互動情形,適時記載相關學習資訊做為評估記錄。

4.綜合座談--於課程結束後召集講師與學員進行學習後分享,各自表述對於參與課程的感想及建議,並由訓練承辦人員將座談內容製成會議記錄。

 

 

  Level 2.學習評估(Learning) 測定被培訓者的學習獲得程度;

  學習評估是目前最常見、也是最常用到的一種評價方式。它是測量受訓人員對原理、技能、態度等培訓內容的理解和掌握程度。學習層評估可以採用筆試、實地操作和工作模擬等方法來考查。培訓組織者可以通過書面考試、操作測試等方法來瞭解受訓人員在培訓前後,知識以及技能的掌握方面有多大程度的提高。

 

評估方式:

1.後測法--一般分為「筆試法」與「技能測驗」,筆試法著重在受訓學員對上課所講授的知識理論、原理原則的瞭解程度,技能測驗則讓受訓學員在教室或工作場所,實地檢測學習成果。

2.前後測比較法--課程受訓前先進行施測,瞭解未受訓前的程度;在接受完訓練後,再進行課後施測,瞭解受訓人員在學習後的程度。若是能採用前測與後測方式做對照,更加明確受訓人員的知識以及技能的提昇,與受訓的關聯度有多高。

3.模擬練習--設計模擬真實情境的案例試題,了解受訓者是否能充份運用課中所學到的知識及技能加以應用。

 

  Level 3.行為評估(Behavior) :考察被培訓者的知識運用程度;

  行為的評估指在培訓結束後的一段時間里,由受訓人員的上級、同事、下屬或者客戶觀察他們的行為在培訓前後是否發生變化,是否在工作中運用了培訓中學到的知識。這個層次的評估可以包括受訓人員的主觀感覺、下屬和同事對其培訓前後行為變化的對比,以及受訓人員本人的自評。這通常需要藉助於一系列的評估表來考察受訓人員培訓後在實際工作中行為的變化,以判斷所學知識、技能對實際工作的影響。行為層是考查培訓效果的最重要的指標。

 

評估方式:

1.問卷調查--透過向學員的主管、同事、部屬、學員本人及其他熟悉受訓人員工作表現的人進行問卷調查,了解受訓後行為評價進步程度,及進步程度與參加本課之關聯性。

2.績效考評--從績效考核中了解與本課程有關之績效產出狀況或職能行為展現,計算各項個人與組織之績效、成本、目標達成率的比較。

3.行動方案--由受訓者依訓練目標的需求填寫行動方案,包含:要做什麼事(目標)、計劃如何做(做法)、在何時應該要完成(時間),利用行動方案來追蹤受訓者訓練後的計劃與成效表現。

 

  Level 4.成果評估(Result):計算培訓產出的經濟效益。

  效果的評估即判斷培訓是否能給企業的經營成果帶來具體而直接的貢獻,這一層次的評估上升到了組織的高度。效果層評估可以通過一系列指標來衡量,如事故率、生產率、員工離職率、次品率、員工士氣以及客戶滿意度等。通過對這些指標的分析,管理層能夠瞭解培訓所帶來的收益。

 

評估方式:訓練獲得的價值,可以分為人力資源成果及組織績效成果:

1.人力資源成果--可以從員工滿意度、參與度、抱怨度、出勤率、留任率、離職率…等幾個指標來計算。

2.組織績效成果--訓練如果可以提升員工個人的績效與工作品質,便可以提升整體組織的營運績效,因此可以計算生產力、銷售量、不良率、員工效率、顧客滿意度、客戶抱怨…等相關指標。

 

  Kirkpatrick 的四層次外,PhillipsROI(Return on investment)Kirkpatrick 的四層次模式中的第四個層次再獨立出一個層次,以貨幣價值評估訓練成果的投資報酬率關係,形成第五層次的「投資報酬率(ROI)」。Philips認為訓練評估的目的是為了判斷訓練是否達成目標、訓練的成本效益比,並藉以檢視訓練程序、判定參訓者的受益情形,做為決策之參考,因此將評估分為五個層次,

層級一:評估反應和確認行動計畫、

層級二:評估學習、

層級三:評估在工作中應用的情況、

層級四:確認課程方案的商業結果、

層級五:計算投資報酬。

 

評估方式:

透過成本效益的分析,提供量化的訓練投資報酬資訊,以評估訓練的利潤結果。

ROI%)={【訓練方案的總效益-訓練方案的總成本】/訓練方案的總成本}×100

 

訓練方案的總效益=生產力提升的貨幣價值+生產成本節省的貨幣價值+工時成本節省的貨幣價值+員工流動率/離職率降低的貨幣價值+員工整體工作績效提升的貨幣價值

 

訓練方案的總成本=訓練需求評估成本+訓練設計與發展成本+訓練執行成本+訓練評估成本+經常性費用

 

 

培訓評估模式的四個階段

 

階段一、學員反應: 在培訓結束時,向學員發放滿意度調查表,征求學員對培訓的反應和感受。問題主要包括:

    對講師培訓技巧的反應

    對課程內容的設計的反應

    對教材挑選及內容,質量的反應

    對課程組織的反應

    是否在將來的工作中,能夠用到所培訓的知識和技能

  學員最明瞭他們完成工作所需要的是什麼。如果學員對課程的反應是消極的,就應該分析區分是課程開發設計的問題還是實施帶來的問題。這一階段的評估還未涉及培訓的效果。學員是否能將學到的知識技能應用到工作中去還不能確定。但這一階段的評估是必要的。培訓參加者的興趣,受到的激勵,對培訓的關註對任何培訓項目都是重要的。同時,在對培訓進行積極的回顧與評價時,學員能夠更好地總結他們所學習的內容。

 

階段二、學習的效果:

  確定學員在培訓結束時,是否在知識,技能,態度等反面得到了提高。實際上要回答一個問題:“參加者學到東西了嗎?”這一階段的評估要求通過對學員參加培訓前和培訓結束後知識技能測試的結果進行比較,以瞭解是否他們學習到新的東西。同時也是對培訓設計中設定的培訓目標進行核對。這一評估的結果也可體現出講師的工作是否是有效的。但此時,我們仍無法確定參加培訓的人員是否能將他們學到的知識與技能應用到工作中去。

 

階段三、行為改變:

  這一階段的評估要確定培訓參加者在多大程度上通過培訓而發生的行為上的改進。可以通過對參加者進行正式的測評或非正式的方式如觀察來進行。總之,要回答一個問題:“人們在工作中使用了他們所學到的知識,技能和態度了嗎?”儘管,這一階段的評估數據較難獲得,但意義重大。只有培訓參與者真正將所學的東西應用到工作中,才達到了培訓的目的。只有這樣,才能為開展新的培訓打下基礎。需要註意的是,因這一階段的評估只有在學員回到工作中去時才能實施,這一評估一般要求與參與者一同工作的人員如督導人員等參加。

 

階段四、產生的效果:

  這一階段的評估要考察的不在是受訓者的情況,而是從部門和組織的大範圍內,瞭解因培訓而帶來的組織上的改變效果。既要回答“培訓為企業帶來了什麼影響?”可能是經濟上的,也可能是精神上的。如產品質量得到了改變,生產效率得到了提高,客戶的投訴減少了等等。這一階段評估的費用和時間,難度都是最大的。但對企業的意義也是最重要的。

 

培訓評估的四個層次實施從易到難,費用從低到高。一般最常用的方法是階段一。而最有用的數據是培訓對組織的影響。是否評估, 評估到第幾個階段,應根據培訓的重要性決定。

 

訓練評估的最終意義:

 

如果企業相信訓練是能提升組織的競爭力,那麼訓練成效是否能達成預期的目標就必須被重視,這就必須要仰賴訓練評估模式。所以,訓練評估的目的可歸納為以下四點:

 

1. 評估最終結果,以了解整個訓練計畫是否成功。

2. 評估訓練方案,以促進未來訓練規劃改進依據。

3. 評估訓練結果,以增強企業組織中的學習效應。

4. 證明訓練部門的目的及人員的存在價值必要性。

 

「公司做教育訓練很花錢,但不做教育訓練公司更花錢」,除了專業技能訓練外,在軟實力的管理技巧培訓課程,更會因為無法立即看到成效而難有立竿見影的感受。管理能力屬於抽象能力訓練,就算完成課程,未必能夠和學會劃上等號。這時候需要的是「行為評估」,在培訓結束後的一段時間裡,由主管、同事,甚至客戶,來觀察受訓者的行為在培訓前後是否發生變化,是否在工作中運用了培訓中學到的知識。「這樣的觀察可能會需要時間來驗證成效,當課程上的訓練內化到行為上,才會看到成效。」,尤其是對中高管理層級人才,而公司提供一連串的管理技能提昇訓練,像是溝通、領導、激勵等課程,都需要時間累積,才能看得到具體成效,新柯氏學習評估模式與柯氏學習評估模式的運用,教導怎麼學習才能展現更多「人」的績效。

評估員工教育訓練成效的(Kirkpatrick Model) 柯氏四級培訓評估模式-詹翔霖副教授