學位論文
Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73890
Browse
4 results
Search Results
Item Item 基於深度學習之即時異常操作程序監控系統(2022) 李作庭; Li, Tso-Ting本論文提出一任務監控系統，以確保人員操作程序與標準作業程序一致，避免意外或操作不當的情況發生，包含:影像目標偵測模組、手部動作辨識模組、用於穩定辨識結果之濾波器、以及程序比對演算法。作法係使用 SlowFast 動作辨識演算法，根據影像的取樣頻率，將輸入拆分為slow pathway 以及fast pathway，前者用於取得空間特徵，後者則增強對於時間特徵上之提取，使得模型可以取得更多時空間之資訊，進而實現精細動作的辨識，解決傳統動作辨識演算法只專注在單一取樣頻率進行空間特徵提取，不利於應用在連續動作辨識的限制。為了將該系統有效地實踐在實際應用場景，本論文亦使用YOLOv4偵測目標影像，濾除非目標事件之場景，當目標影像收集足夠的影像數量時，啟用SlowFast進行人員操作目標物之動作辨識，再使用一改良的濾波器用以降低辨識結果不穩定之情形，建立手部與施作工件等目標物件之相依動作行為之動作庫(action base)。隨後，利用一預先建立之標準作業程序動作庫，包含了操作物件以及相對應的動作，利用一比對演算法進行任務行為之檢測，判別人員操作程序流程是否符合規範。為驗證系統之性能，本論文將所提出之任務監控系統以一小型工作坊人機協作進行即時判斷，監督操作員的操作程序是否符合正確規範。Item 基於改良式時序動作提名生成網路之即時動作偵測(2022) 陳怡君; Chen, Yi-Chun大多數的動作辨識(Action Recognition)方法在應用於連續動作辨識時，會有不穩定的預測，這是因為該些方法大都利用只有單一動作的短視頻(Short Video Clip)去訓練，如果輸入是連續讀入的即時影像時，由於無法取樣到動作開始與結束的幀，造成輸入模型的影像序列與訓練資訊大相逕庭，造成辨識的錯誤。為解決上述問題，本論文提出一即時動作偵測(Online Action Detection)方法，在串流影像當中找出動作的開始與結束，作法是先以Inflated 3D ConvNet (I3D)提取出RGB及Optical Flow影像的特徵，再利用Boundary Sensitive Network (BSN)中的Temporal Evaluation Module (TEM)模組，來找出動作開始、動作結束的機率。此外，本文改良了傳統BSN，使其從離線運行轉變成可以即時運行來找出開始與結束的機率，以得到目標動作較有可能發生的區間。在動作開始後，本文應用動態取樣方法來獲得有效樣本並送入I3D以進行動作識別。實驗結果顯示，所提出的方法可以更好地處理各種連續時間的目標動作影片，提高串流影片中動作辨識的準確度。Item 以深度學習為基礎之多人即時動作辨識系統(2020) 蔡仁凱; Tsai, Jen-Kai隨著人工智慧領域快速的發展，人類動作辨識技術在近年來獲得極大關注，應用也非常廣泛，例如在長照中心對受照護者提供即時活動偵測，在工廠環境及公共環境中提供異常行為之偵測等，都能藉由動作辨識的結果實現提醒、警示、紀錄等智慧監控之功能，預防意外的發生，也解決人力資源短缺的問題。因此，如何利用穩健的動作辨識達到即時智慧監控的目的，實為一重要議題。本文提出一套以深度學習為基礎之多人即時動作辨識系統，以達到智慧型監控的目的，並應用於長照環境中。本系統結合YOLOv3與Deep SORT演算法，能從影片中同時偵測多個人物，並進行追蹤。在人物面對鏡頭時，還能透過FaceNet架構辨識人物身份姓名。對於遠距離人物而言，我們開發一套zoom in方法，根據人物框選的大小自動使用高解析度畫面以獲得更好的辨識效果。為了提升系統的穩健性，在將畫面輸入I3D前，我們會先模糊人物以外區域，減少背景帶來的影響。最後，利用非最大值抑制方法，降低因多個滑動視窗所造成的不穩定情形。實驗結果顯示，本文所提出的方法能夠實現一套即時多人之動作辨識系統。