學位論文

Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73890

Browse

Has files: YesSubject: search.filters.subject.action recognition

Search Results

Now showing 1 - 3 of 3
  • No Thumbnail Available
    Item
    具有自動點雲預處理的即時點雲動作辨識系統
    (2024) 賴彥廷; Lai, Yen-Ting
    本論文討論了點雲動作辨識系統的自動化預處理。 點雲動作辨識的優點是受到光照和視角變化的影響較小，因為它關注的是物體的三維位置而不是單純像素值。即使在複雜和黑暗的環境中，也能實現強大的識別性能。此外，點雲動作辨識在機器人、虛擬實境、自動駕駛、人機互動、遊戲開發等領域也有廣泛的應用。例如，理解人類行為對於機器人技術中更好的互動和協作至關重要，而在虛擬實境中，它可以捕捉和再現用戶動作以增強真實感和互動性。為了建立運行穩定的點雲動作識別系統，通常需要過濾掉背景和不相關的點，從而獲得乾淨且對齊的點雲數據。在過去的多數方法中，點雲過濾和動作識別通常是分開執行的，很少有系統一起運行。在本文中，我們提出了一種方法，使用戶能夠直接從 Microsoft Azure Kinect DK 取得點雲資料並執行全面的自動化預處理。這將能產生沒有背景點的更乾淨的點雲數據，適合用於動作辨識。 我們的方法利用 PSTNet 進行點雲動作識別，並在透過自動預處理獲得的資料集(包括 12 個動作類別)上訓練模型。最後，我們開發了一種結合自動點雲預處理的即時點雲動作辨識系統。
  • No Thumbnail Available
    Item
    基於半監督式骨架動作辨識模型之圖資料增強方法
    (2023) 黃弘智; Huang, Hung-Chih
    近年來，基於骨架資訊之骨架動作辨識在圖卷積架構的導入下獲得顯著的效能提升。不同於傳統RGB影像動作辨識，骨架動作辨識的輸入資料為人體的關節點資訊，這種輸入資料的特點為不易受到現實中的背景雜訊影響，進而取得更有效率及精確性的動作辨識結果。然而，製作人體關節點的資料需要大量人力資源，這導致在現實應用環境中缺少標註樣本資料進行訓練。另外，採用預訓練好的模型亦需要花費相當的時間成本進行參數調整，成為應用的一個瓶頸。為此，本研究中我們提出多種骨架動作資料的資料強化方法以解決少量標註資料的問題，並結合半監督學習策略有效利用未標註樣本，進而提高骨架動作辨識模型在少量標註資料環境下的辨識能力。我們提出的資料強化方法能在低成本的額外運算下，有效提高資料的多樣性，使模型可以提取更多不同的特徵資訊。在半監督學習策略中，我們採用兩種強度不同的資料增強方法作為輸入，透過計算經不同強化方法產生的辨識結果之相似度作為損失函數以強化模型對於辨識結果的一致性，並期望模型可以學習更多關於辨識決策的有效資訊。此外，我們還透過調整非標註資料加入網路訓練的時間點，在確保準確率的同時，也顯著地降低了模型訓練所需時間。實驗結果顯示，我們提出的架構在NTU RGB+D大型資料集的低資料環境實驗中，達到了84.16%的準確率，相較於原始方法的77.5%的準確率，提升了6.66%；研究結果表明我們所提出之方法在少量標註資料的情況下可以有效提升模型之辨識準確率及泛化能力，為解決實際應用中資料稀缺和降低模型的調整成本問題中提供一個有效的解決方案。
  • No Thumbnail Available
    Item
    用於精細動作辨識的雙頭預測網路
    (2021) 陳維均; Chen, Wei-Jyun
    近年深度學習發展迅速，不僅2D影像辨識，現在3D動作辨識也受到關注。動作辨識的研究從3D CNN開始，便在許多數據集得到不錯的效果。但大部分的動作辨識網路，在細部動作的辨識上都有改進的空間，原因是細部動作整體來說和一般的動作差異不大，可能只是在一小段時間內發生的差異，因此十分不好判斷。這個情況在籃球比賽十分常見，籃球比賽中常常有各種肢體碰撞，但是這些肢體碰撞並不一定會造成犯規，要辨識這些犯規就勢必得加強細部動作的偵測。由於現在並沒有相關的資料集讓我們做相關的研究，因此我們自己蒐集資料，建立一個籃球犯規的資料集。在本論文中，我們提出了一種提昇細部動作辨識的網路套用在現有的網路上，包括3D-Resnet50[1]、(2+1)D-Resnet50[2]、I3D-50[3]。實驗結果顯示加入這個網路後，在各種模型的準確度上都獲得3~7%的提升。