自動化演講錄製系統

Abstract

本研究目的為發展出自動化的錄製演講系統，利用PTZ攝影機來模擬真實攝影師所錄製的方式，在演講過程中根據不同事件的發生，攝影機做出對應的動作，來拍攝出效果較佳的影像。本系統主要分為前處理、取得演講資訊以及攝影機動作，前處理主要工作分為講者偵測與布幕偵測，取得演講資訊則為講者追蹤與布幕追蹤，取得演講資訊後，系統依照不同的演講情境下對PTZ攝影機下達合適的動作。 在前處理中的布幕偵測部份，由於在演講環境當中，為了使演講者準備的投影片所投影出來的布幕能夠更清晰更明亮，會將現場的燈光調整較暗，我們便藉此環境特性，使用Otsu’s 方法，將布幕在畫面中的區塊取出，再求得布幕座標的資訊。講者偵測部份，則是使用Adaboost之人臉偵測方法來偵測演講者在畫面中臉部的區塊。 在取得演講資訊中，為了在演講過程中，不斷的取得演講者狀態與布幕位置，我們便分別的對布幕與演講者進行追蹤，布幕追蹤方面，由於布幕位置在空間中的位置不會改變，因此可以藉由攝影機變動的參數來預測布幕在下一個時間點畫面中的位置。在講者追蹤方面，我們將講者偵測程序中所偵測出來的講者臉部區塊當作樣版影像，再對下一張的輸入影像進行樣板比對，比對的方式是由平均位移(mean shift)演算法來進行來。 攝影機動作方面，我們根據攝影師建議的規則而訂定的攝影機動作表，在演講過程中，藉由取得演講資訊，得到演講者狀態與布幕位置，系統便會判斷出演講的事件，在依照控制表對PTZ攝影機下達合適的動作，拍攝出理想的畫面。Lecture recording plays an important role in online learning and interactive distance education. Most of these recordings are achieved by a camera man or a static camera. The former method would be expensive, and the latter would produce a monotonous video. In this paper, we develop an automatic lecture recording system which let a Pan-Tilt-Zoom (PTZ) camera shoot as a camera man. There are three parts developed in our research. The first one is preprocessing for detecting the position of the lecturer and the screen. The second part is to extract the lecture information for controlling the PTZ camera in the third part.