學位論文

Permanent URI for this collectionhttp://rportal.lib.ntnu.edu.tw/handle/20.500.12235/73890

Browse

Subject: search.filters.subject.delta robot

Search Results

Now showing 1 - 2 of 2
  • No Thumbnail Available
    Item
    使用人工智慧晶片實作之自動樂譜辨識與打擊樂演奏系統
    (2022) 陳建豪; Chen, Jian-Hao
    近幾年的神經網路研究，針對高解析度光學影像辨識系統已達到成熟階段，然而龐大的卷積神經網路(Convolutional Neural Network, CNN)架構往往有著極大的計算成本，如何維持可接受的正確率並降低計算負擔是一個值得研究的方向。因此本論文使用專精電腦視覺任務的人工智慧晶片替換龐大的目標偵測CNN來偵測音符位置，並以自行設計之輕量CNN辨識音階資訊。將複雜的任務分配給兩個輕量CNN來實現一套光學樂譜辨識系統。本論文亦設計控制程式整合光學樂譜辨識與Delta機械手臂控制。透過鏡頭偵測與辨識拍攝到的紙本樂譜，並且以通用非同步收發傳輸器(Universal Asynchronous Receiver/Transmitter, UART)取得辨識結果。接著以辨識結果確定演奏順序後，驅動Delta機械手臂自動演奏鐵琴。最後以紙本樂譜實際測試本論文提出之光學樂譜辨識系統，驗證此系統的辨識正確率。
  • No Thumbnail Available
    Item
    自動樂譜辨識與打擊樂機器人系統
    (2020) 黃朝慶; HUANG, Chao-Ching
    光學樂譜辨識系統是一套針對樂譜影像進行影像辨識的系統，在樂譜影像中，音符是用以記錄音階和節拍的資訊，在過去許多的研究和實驗當中，針對高解析度的樂譜辨識系統已經達到成熟的階段。然而，基於相機影像的樂譜辨識會受到環境光線、角度和模糊的影響，故仍有進一步研究的必要，我們初次嘗試將深度學習架構應用在基於相機影像的樂譜辨識系統。首先，我們使用線偵測演算法在即時攝影畫面中自動偵測樂譜影像，並找出樂譜當中的五線譜範圍，因為我們只專注於五線譜當中的音符資訊，為了完成這個任務，我們使用霍夫線偵測演算法並取得每一行五線譜的範圍。接下來，為偵測、切割及辨識每一個音符，我們將每一行獨立的五線譜送至基於Darknet53網路之YOLO v3的檢測模型當中，目前可以辨識六類的音符分類名稱分別為全音符、二分音符、四分音符、八分音符、四分休止符和二分休止符，再者，將YOLO v3所偵測到的音符根據樂譜中的位置進行排序，並送至卷積神經網路用以辨識音階，現階段我們可以辨識C3到F4共十一類的音階，最後我們透過RS232連接Delta機械手臂進行樂器的演奏。在光學樂譜辨識的發展中，我使用霍夫線偵測樂譜中每行的五線譜範圍，如此我們可以避免歌詞或圖案的雜訊，減少辨識的錯誤。不僅如此，透過自動化五線譜偵測所取得的樂譜影像使用深度學習的架構進行辨識，並在介面上顯示音階和節拍，至終，我們使用機械手臂進行演奏。