具有自動點雲預處理的即時點雲動作辨識系統

Abstract

本論文討論了點雲動作辨識系統的自動化預處理。 點雲動作辨識的優點是受到光照和視角變化的影響較小，因為它關注的是物體的三維位置而不是單純像素值。即使在複雜和黑暗的環境中，也能實現強大的識別性能。此外，點雲動作辨識在機器人、虛擬實境、自動駕駛、人機互動、遊戲開發等領域也有廣泛的應用。例如，理解人類行為對於機器人技術中更好的互動和協作至關重要，而在虛擬實境中，它可以捕捉和再現用戶動作以增強真實感和互動性。為了建立運行穩定的點雲動作識別系統，通常需要過濾掉背景和不相關的點，從而獲得乾淨且對齊的點雲數據。在過去的多數方法中，點雲過濾和動作識別通常是分開執行的，很少有系統一起運行。在本文中，我們提出了一種方法，使用戶能夠直接從 Microsoft Azure Kinect DK 取得點雲資料並執行全面的自動化預處理。這將能產生沒有背景點的更乾淨的點雲數據，適合用於動作辨識。 我們的方法利用 PSTNet 進行點雲動作識別，並在透過自動預處理獲得的資料集(包括 12 個動作類別)上訓練模型。最後，我們開發了一種結合自動點雲預處理的即時點雲動作辨識系統。This thesis discusses automated preprocessing of point cloud action recognition systems. In order to establish a point cloud action recognition system that operates stably, it is usually necessary to filter out background and irrelevant points to obtain clean and aligned point cloud data. In most methods in the past, point cloud filtering and action recognition were usually performed separately, and few systems ran the two parts together. In this paper, we propose a method that enables users to obtain point cloud data directly from Microsoft Azure Kinect DK and perform comprehensive automated point cloud preprocessing. This will produce cleaner point cloud data without background points, suitable for motion recognition. Our method utilizes PSTNet for point cloud action recognition and trains the model on a dataset obtained through automatic preprocessing, including 12 action categories. Finally, we develop a real-time point cloud action recognition system combined with automatic point cloud preprocessing.