應用於自動化生產及分揀之物件姿態估測系統

Abstract

近幾年來，產業為了提升生產效率，大量使用自動化生產設備取代人力，透過電腦視覺與機器運動控制的整合搭配，已大幅增加自動化生產的效率。受惠於GPU計算平台的普及，不論機器學習或是深度學習技術紛紛出現於各種應用場景之中，以往使用電腦視覺方法不能或是難以解決的問題，透過引進深度學習都有出色的表現。本文主要研究內容可分為三部分：第一部分利用輝達(Nvidia)所提出之基於深度學習單攝影機物件姿態估測演算法(Deep Object Pose Estimation, DOPE)，其中包含產生物件的立體模型，再匯入Unreal Engine遊戲引擎並搭配輝達深度學習資料集合成器(Nvidia Deep learning Dataset Synthesizer, NDDS)套件，產生訓練數據，用來對神經網路進行權重訓練，完成後即可用來對物件姿態進行估測；第二部分使用加拿大Kinova公司所生產之Jaco 2四軸機械手臂並透過機器人作業系統(Robot Operating System, ROS)完成物件夾取功能；第三部分運用PyQt設計一圖形使用者介面(Graphical User Interface, GUI)整合前兩部分，讓使用者透過單一介面即可獲得物件估測和手臂執行資訊，也可透過其進行參數調整。模擬於生產線上應用，用以輔助加工與分類之程序，達成自動化生產製造之目的。

In this thesis, we propose an object pose estimation system for pick and place automation. There are three parts of the system. In the first part, we use a single camera to develop an object pose estimation system based on Deep Object Pose Estimation (DOPE). Then we use a Kinova JACO 2 4-DoF robotic arm to perform object picking through Robot Operating System (ROS). Finally, a Graphical User Interface (GUI) is designed to integrate the pose estimation system and robotic arm, so that users can obtain object estimation and arm execution information through a user friendly interface. To validate the viability, the proposed system is applied to a simplified production line automation environment. The experiment results show the robotic arm is able to properly pick objects base on the pose estimated, thus processing and sorting automation is achieved.