條件式生成網路動漫圖片身體姿態轉換


摘要

本論文所提出動漫人物姿態轉換條件式生成對抗網路 ,透過單一動漫人物圖片與二維的向量進行控制,便可以生成該人物轉向與搖晃的圖片。由於目前在姿態轉換的研究上通常都聚焦於真實的人像圖片,對於虛擬人物的研究較少, 也沒有對應的資料集來進行架構的訓練。故本論文也針對3D模型開發了一個標註工具,並且建立了一份動漫人物姿態轉換資料集,使用該資料集進行模型的訓練。最終本論文之生成網路在符合輸入規範情況下,可生成與真實基準圖片相近的結果。隨著近年來的虛擬直播主潮流興起,但需要設計一個虛擬角色的成本較高, 本論文之生成網路可應用於虛擬直播主的角色建模,使建立一個角色的成本減少,降低其進入門檻。





系統概要與生成結果

本論文之生成對抗網路輸入為單一圖片與二維向量。系統接受圖片大小為512*512 。 生成結果展示了三個角色的三種動作網路生成結果。

本網頁使用模型網址如下: Kizuna AI
桃鈴ねね【公式】
hoge式禰豆子
夜空メル【公式】
紫咲シオン【公式】




==========================================================


簡介影片

本論文之說明影片