量測系統分析（MSA，Measurement Systems Analysis）是一種統計分析，藉由（通常三位）人員執行操作儀器或是治具，分析每一種形式的量測及測試設備系統的變異結果。在MSA的分析過程中，我們會投入一個標準、零件、儀器、人、環境，進行量測，得到數值，分析，然後判定結果是可以接受，或是需要改善。
但這個對於不處在製造產業的人而言太遙遠了，因此我想聊的是對於計數型的分析，也就是KAPPA分析，以及我們以前玩過的測試手法。用案例讓你方便的了解。
誰需要做KAPPA？
在電子元件的製造過程，視情況而定，通常中間會有一次抽樣的外觀檢查，製作完成後會再一次抽樣或是100%的外觀檢查。檢查可能是肉眼，可能是放大鏡，可能是儀器或設備，由人員去操控。
小問題：為什麼不都用光學自動檢測就好？
有些容易辨識的外觀異常可以透過機器完成，但是也有許多異常不容易被機器看到，這時候檢驗站就會安排眼力驚人的人員協助外觀檢驗的工作。
人員安頓好之後，我們要怎麼知道這些人員真的可以有效的挑出外觀異常的產品呢？或是，如果同一個外觀站別有甲、乙、丙三人，我們怎麼知道哪一位最厲害？
這時候就可以安排一個KAPPA分析，透過甲、乙、丙三人對於同一個檢驗設備的操作，判斷檢驗員之間的一致性。
過程有趣又好玩，分析結果也可以幫助到公司喔。
測試樣品怎麼安排
以產品外觀檢驗為例，一個產品的不合格外觀可以分成好多個，比如有氣泡痕跡、刮痕、形狀不對稱、文字模糊、撞傷痕跡等等。但是不一定每一種異常的外觀，都只會有 Yes 或是 No，比如說氣泡痕跡，我們可能會允許氣泡在某一個大小是可以接受的，所以外觀檢驗變成是一種需要專業判斷的行為，執行檢驗的人員會需要很熟悉外觀檢驗指導書的每一種不合格外觀。
我們會安排50個產品，有正常外觀的，也有外觀明顯有瑕疵的。但重要的是，最好你可以收集到一些不容易馬上判斷的的模糊不清產品，如下方的桃紅色區域，也就是接近規格邊緣的產品。
比方說，產品有輕微氣泡痕跡，直徑3mm以內合格，3mm以上算不合格，你就可以嘗試收集一兩顆接近3mm（不管超過規格的不良品或是小於規格的允收產品都可以，只要你知道正確答案就好），能夠取得越多模糊不清的產品越好。有刮痕的，形狀不對稱的，各種不同外觀異常可以都收集起來。
溫馨提醒
1. 第一次試量產無法使用KAPPA，因為當時還沒有不良品，但可以從試量產過程中得到不良品。
2. 這50個給KAPPA測試用的產品，最好每用過一兩年就換掉一些。記得幫50個測試用產品標號碼，你才會知道這些產品的正確答案。
3. 或是懶惰一點，你可以就一直累積一直收集，然後收集到150個左右，以後就從這150個抽出50個當測試品。再次提醒，150個記得都要標號碼，你才會知道每一個測試產品的標準答案是什麼。
4. 如果現實狀況是你家公司產品很大台沒辦法為了測試保留50個，或是所謂的不合格其實有時效期，比如是一道餐點的外觀，那我想你可以也是一直累積不良品的照片，累積比如300張照片，以後也是抽出50張當作測試使用。第三次提醒，300張照片記得都要標號碼，你才會知道正確答案阿。
KAPPA分析怎麼執行？
標準的KAPPA流程，是三個人員判斷這50個產品各三次，再與標準答案做比較。
填答案的規則：結果認為可以接受就填數字 1，拒收就填數字 0。
為了讓測試更客觀，你可以試著花兩三天時間做完測試數據的收集，包含一些小撇步：
測試時間涵蓋了檢驗人員平常的上班時間
比如第一次測試安排上午，第二次安排下班前，第三次安排中午。
測試樣品的順序，每一次都要洗牌
意思是測試順序雖然是1~50，但測試順序和測試品後面的號碼肯定要每次都不一樣。當然產品後面有標號碼，想背號碼背答案也是有可能。但檢驗人員就這幾位，誰能夠保證你背的就一定是標準答案？
經過了三天，我們取得三位人員的測試結果，每一位總共有150個答案，得到這數據表示測試就完成，之後就是評判了。
KAPPA結果怎麼評判？
一般測試後我們會看四個結果：KAPPA值、有效性、失誤率、以及誤警率。常見的要求如下，當然你可以調整判定標準，畢竟這是你為公司創造的測試。
KAPPA值 = (Po - Pe) / (N - Pe)
Po = 觀察的一致性次數，Pe = 期望的一致性次數， N = 總觀察次數，這次就是150次。
KAPPA 可以人員與標準答案比，也可以人員跟人員比，從甲的測試結果，整理圖表如下。
47 = 甲回答 0，而正確答案也是 0 的數量；3 = 甲回答 0，而正確答案是 1 的數量。
16 = 期望值，48/150 * 50/150 * 150 的算術結果。
因此 KAPPA = ((47+99) - (16+68)) / ((150 - (16+68)) = 0.94，超過上面設定的標準 0.75，分數相當高，表示甲跟標準答案的一致性很高。
有效性
就是三次測試全部答對的組數比率。
甲的有效性 = (50 - 1) / 50 * 100% = 98%，超過合格標準 90%。
失誤率：最恐怖的事情
將不好的判定為好的，就是放掉不良品出去給客人的比率。
甲的失誤率 = 1 / 48 * 100% = 2.1%，剛好掉出去，但非常接近合格標準 2%。
誤警率
將好的產品，判定為不好的，意思是會造成公司的浪費。
甲的誤品率 = 3 / 102 * 100% = 2.9%，合格標準內。
所以從 KAPPA 結果判定，甲是可以接受的檢驗人員。
結語 — 測試完之後呢？
如果測試結果的判定，是只有甲可以被接受，而乙和丙都不合格，最好的作法不是資遣他們倆位，而是最好讓最強的甲去做一份，或是加強現有的標準作業程序（SOP），教乙和丙如何變得更厲害，而這一份SOP也可以流傳給後人，這樣你們這一站的檢驗站別就會隨著時間越來越厲害喔！
延伸閱讀：
製造產品時，什麼時候需要100%全檢？服務業也可以100%全檢嗎？
【控制計畫（Control Plan）】—描述產品和過程的控制方法，APQP主要文件之一，也是想做好產品的重要文件喔！
【標準作業程序（SOP）】— 如果說流程圖是進入品質領域的敲門磚，SOP就是讓品質變好的銅牆鐵壁
【FMEA（失效模式與效應分析）】— 談DFMEA和PFMEA之前，先讓你知道FMEA是什麼，為什麼越來越被重視？
【5 Whys 分析法】— 直搗問題核心的根本原因，8D報告中，根因分析的好朋友！
沒有留言:
發佈留言