學位論文
Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73890
Browse
4 results
Search Results
Item 基於臉部及語音特徵之輕量化深度學習情感辨識系統(2024) 呂健維; Lu, Chien-Wei因應近年來高齡化導致老人照護人力缺乏，本研究提出了一種可被應用於陪伴型機器人(Zenbo Junior II)上的整合臉部表情和語音的情感識別輕量化模型。近年來對於人類的情感識別技術大多使用基於卷積神經網路(Convolutional Neural Network, CNN)的方式來實現，並得到了優秀的成果，然而，這些先進的技術都沒有考慮計算成本的問題，導致這些技術在計算能力有限的設備上無法運行(例如，陪伴型機器人)。因此，本研究將輕量化的GhostNet模型，應用於臉部情感識別的模型，並將輕量化的一維卷積神經網路(One Dimensional Convolutional Neural Network, 1D-CNN)作為語音情感識別模型，再利用幾何平均數的方式將兩個模態預測的結果整合。所提出的模型，在RAVDESS和CREMA-D兩個數據集上分別取得了97.56%及82.33%的準確率，在確保了高準確率的情況下，本研究將參數量壓縮到了0.92M，浮點運算次數減少至0.77G，比起目前已知的先進技術要少了數十倍。最後，將本研究的模型實際部署在Zenbo Junior II中，並透過模型與硬體的運算強度作比較，得知本研究的模型能夠更加順利的在該硬體中運行，且臉部及語音情感識別模型的推理時間分別只有1500毫秒及12毫秒。Item 用於陪伴型機器人之輕量化深度學習音樂情緒辨識模型(2024) 林彥榕; Lin, Yen-Jung為了應對現今社會高齡化，導致老人缺乏陪伴導致的孤獨問題，本研究提出用於陪伴型機器人Zenbo Junior II的音樂情緒辨識模型來解決老人孤獨導致的情緒問題。在音樂情緒辨識這個研究領域中，雖然也有很多人已經在進行這項研究，但是這些研究中沒有能用於Zenbo Junior II的輕量化架構。本研究提出的方法是使用一維卷機神經網路(1D-Convolutional Neural Network, 1D-CNN)替換掉常用的2D-CNN並且使用閘門循環單元(Gated Recurrent Unit, GRU)使模型能更好的考慮音頻特徵的連續性。在訓練完模型後儲存並應用於Zenbo Junior II上，先將另一研究的情緒對應成4種情緒後播放音樂調適情緒。本研究提出之模型在PMEmo數據集上Valence和Arousal分別為0.04和0.038與其他模型相比效能最好。並且參數量僅有0.721M浮點運算次數僅有9.303M，遠小於其他相比較之模型。運算強度最靠近Zenbo Junior II之最佳工作點，且模型辨識音樂所需推理時間僅需229毫秒，可以即時辨識出音樂的情緒。這些表明本研究成功提出一個輕量化且效能優異，並且可以在Zenbo Junior II上運行的模型。Item 基於Transformer物件關聯模型應用於籃球賽事分析(2024) 陳柏諺; Chen, Po-Yen在籃球賽事分析中，準確識別持球者和判斷得分時機對於確定得分者是關鍵挑戰。傳統的分析方法，比如物件重疊度和相對距離測量，往往在識別持球和進球時刻面臨較高的誤判風險。為了解決這一問題，我們對本團隊先前提出的Transformer-based Object Relationship Finder（ORF）架構的輸入特徵進行了改進，重點關注了幾個關鍵因素：與球密切相關的球員、球員的姿勢，以及不同的物件類型。這一策略顯著提高了架構在識別複雜動作和搶球情況下的準確度，使得持球者的識別準確率從原來的80.79%提升至86.18%，有效地展示了精準特徵選擇的重要性。此外，我們還利用Transformer-based Object Relationship Finder架構來識別進球時機，並結合最後接觸球的持球者信息，從而有效地判斷得分者，相較於傳統方法我們將得分者準確率從63.89%提高到了87.50%，這一成績突顯了Transformer-based Object Relationship Finder在籃球分析中的強大效能和廣泛應用前景。最後，我們開發了一款整合了這些技術的應用工具。這不僅讓教練和分析師能更全面地理解比賽情況，還為未來的籃球研究和技術開發提供了堅實的基礎。Item 具影像特徵之LSTM深度遞迴類神經網路之日射量預測(2019) 周建華; Jhou, Jian-Hua由於日照強度會因為雲層厚度、空氣霾害等問題而受到影響，進而造成太陽光電發電量的不穩定，所以能夠準確的預測日射量是件重要的事情。在本論文中使用具長短期記憶(LSTM)的遞迴類神經網路(RNN)進行日射量的預測。首先建置一日射量紀錄系統，及天空影像採集系統，這兩種系統將記錄每天的日射量及天空影像變化，並儲存於MySQL資料庫。在天空影像方面，利用影像處理方法萃取出天空影像的特徵值，之後將影像特徵值與日射量做為LSTM遞迴類神經網路(LSTM-RNN) 輸入 ，以進行預測。最後，本文以領前五分鐘至六十分鐘進行日射量預測，並進行許多方法比較，以驗證本文所提方法的預測效能。