基於穩定長期特徵之無空間關係之多目標多相機行人追蹤系統

Abstract

多目標多相機行人追蹤系統這項任務的目的是利用多個相機追蹤多個人物。目前的方法通常使用相機位置和畫面作為輸入，首先運用基於線性運動的卡爾曼濾波器對每個相機進行單相機的人物追蹤。同時，在追蹤過程中使用指數移動平均法提取人物特徵，最後利用相機位置和人物外觀特徵進行多相機間的人物匹配。然而，我們發現使用這種卡爾曼濾波器容易發生ID切換(identity switching)的問題。另外，若使用基於相機位置的追蹤系統，當場域切換到相機較多的位置時，需要重新編寫程式邏輯整合相機位置，耗費巨大的成本。如果不使用相機位置作為輸入，如何提取穩定且有效的人物外觀特徵就變得尤為重要。因此，在本研究中，我們提出了一種與過去方法不同的卡爾曼濾波器和一種新的長期特徵存儲方法，可以生成更穩定的外觀特徵，從而解決了使用指數移動平均法存儲的長期特徵可能導致的ID切換問題。此外，在匹配過程中不使用相機位置資訊，使得該系統更容易移植。為了評估我們提出的方法，我們建立了一個自有資料集，包含約40000幀、1080p、30fps的影片。實驗結果表明，我們的方法能夠更好地解決上述問題。在多相機追蹤方面，我們的IDF1性能指標相較於過去方法提升了約15%；在單相機追蹤方面，我們成功恢復了75%被交換的ID。The objective of a multi-target multi-camera pedestrian tracking system is to track multiple individuals using multiple cameras. Current methods use Kalman filters for trajectory prediction based on linear motion and match observed individuals with predicted trajectories using long-term features stored using exponential moving average and camera positions. However, these methods result in identity switching (ID switching) during non-linear motion and significant appearance changes. In addition, changing to a location with a large number of cameras can incur high costs due to the rewriting of the program logic. In our approach, we use a different Kalman filter and propose a new method for stable feature storage that eliminates ID switching and the need for camera position information. To evaluate the proposed approach, we have created our own dataset consisting of approximately 40,000 frames of 1080p, 30fps videos. Experimental results show that our method effectively addresses the aforementioned issues. In multi-camera tracking, our proposed method has about 15% improvement on IDF1 performance metrics compared to previous methods. For single-camera tracking, we successfully recover 75% of switched IDs.