研究動機
足球是全世界熱門的運動項目之一,但是在台灣,因為政府制度、土地不足等問題,足球這項運動在台灣卻很少人參與,甚至在國際間,台灣擁有「足球沙漠」這個稱號。相較於其他有認真關注足球的亞洲國家(如日本、韓國等),台灣足球賽事的攝影設備也較不齊全。
然而,在一場足球賽事中,最受爭議的部分往往都跟「越位」有關。有時候裁判很難使用肉眼就能清楚判斷是否越位,如果沒有設備的輔助造成誤判,可能會扭轉比賽的局勢。因此,此研究希望可以輔助一些設備比較不足的賽事,以減少裁判的誤判,進而提升國內賽事的品質。
在職業的足球賽中(如歐洲聯賽、世界盃等),都會有許多的攝影輔助設備去協助裁判判決,但是,這些攝影輔助設備同時價格也非常昂貴,若是經費不足的賽區根本無法購買這些設備去輔助賽事的進行。因此,我想做出一個以中間鏡頭為主的攝影輔助系統,透過中間鏡頭所提供的畫面輸入至系統中給系統去做越位的判斷,協助裁判在比賽中減少誤判的發生。
甚麼是越位?
簡單來說,越位通常為進攻方的球員超過防守方的倒數第二位防守者(倒數第一位防守者通常為守門員),若在傳球的瞬間接球的進攻方球員位於該位置接到球就屬於越位違例,即使該名球員跑回倒數第二位防守者前方接球,此情況仍然屬於越位違例。
藍色為進攻方、紅色為防守方、黑點為足球,當X傳球給Y時,因為Y並沒有超過倒數第二位防守者,此時若Y成功接到球就不會造成越位。
同樣藍色為進攻方、紅色為防守方、黑點為足球,當X傳球給Y時,因為Y超過倒數第二位防守者,此時若Y成功接到球,那就會造成越位,即使Y跑回非越位的位置,仍然屬於越位。然而,越位之後球權會轉換到紅色方,並且從越位的位置開球。
研究方法及步驟
1
初期
先實作辨識球員的部分,在判斷是否越位之前必須先知道場上哪些是球員,因此,球員的辨識為重要的第一步驟。
2
中期
球員辨識完成後,就會進行球員分類以便於之後偵測到球員時可以判斷該球員屬於哪一隊(進攻方或是防守方)。
3
後期
根據抓取球員的位置,辨識出哪一個球員為倒數第二位防守者,並利用該球員的位置與球場邊界劃出平行線,該條線即為越位線。
程式架構流程圖
系統的運作過程為,輸入影像後,先用 Yolo 物件偵測逐幀擷取影片中的人作為訓練資料,再擷取越位傳球順間的畫面中的人作為測試資料。使用K means 訓練分類模型以及測試。
專題實作進度
1. Yolo收集訓練資料
在深度學習裡,最常被使用的就是物件偵測模型,其中Yolo也是最受歡迎的物件偵測應用工具。在實作中,我利用賽事其中一小段錄像並且逐幀讀取來偵測畫面中球場上中所出現的「person」再修改程式碼將所辨識出的人逐一取出並且儲存下來作為分類的訓練資料。這樣就可以省去不同隊伍球衣顏色不同需要一直調整顏色參數的問題。
2. Yolo收集測試資料
測試資料即傳球的瞬間,與收集訓練資料相同用Yolo偵測畫面中的人,再去計算距離,將偵測到的人擷取下來並且判斷該球員屬於哪一隊的球員。
圖(一):影片逐幀讀取
圖(三)進攻方傳球瞬間
圖(四):測試資料
圖(二):訓練資料(每一幀球員擷取)
3. K means 分類模型
將Yolo所擷取下來的訓練資料分為兩類,套用到K-means計算出兩類的群心值。A類為裁判(紅)和藍色球衣的球員一類,B類為白色球衣一類。然而,裁判在哪類並不會影響越位的判斷結果,因為越位會先抓到倒數第二位防守者,因此只要確定藍色與白色球衣的球員是否有分為兩類即可。
圖(五):訓練資料分類結果:A類資料夾
在利用訓練資料計算出兩類的群心之後,可以利用該模型套用在測試資料上,將測試資料分為兩類。可以下圖所見,藍色球衣與裁判以及守門員(綠色球衣)被分在A類,白色球衣以及同時抓到藍色與白色球衣的球員被分在B類。
圖(七):測試資料分類結果:A類資料夾
圖(八):測試資料分類結果:B類資料夾
圖(六):訓練資料分類結果:B類資料夾
4. Soft clustering
由測試資料分類結果可以發現,有一些類別以外的球員也同樣被分到A、B類,所以當在抓取各個球員位置時,要知道他屬於哪一類。因此,必須先計算出測試資料分別屬於哪一類的百分比去得知該球員屬於哪一類,如果是類別以外的球員必須分別取出來做調整。
圖(九):越位瞬間分類結果畫面
5.相似度比對
當偵測到球員之後,依照他被分到的類別的信心值>0.9給予不同的方框顏色,但由圖(九)所見player 5沒有被分類的白色那類,因此為了增加準確率,我再利用相似度比對將沒有被框出來的人去做最後分類。
圖(十):比對結果
由圖(十)可見,player 3 已被歸類成2人,player 5為白色,player 7 & 10被篩選掉了。
預期結果
本系統在足球比賽中可以偵測防守方倒數第二位防守球員(白色標記)以及進攻方的持球球員(藍色標記),如果在傳球的瞬間,接球的球員位於越位位置,該球員會被標記為越位球員(紅色標記)。
預期結果示意圖(此圖為合成圖)