特開2023-175084情報処理システム、情報処理方法および情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175084
(43)【公開日】2023-12-12
(54)【発明の名称】情報処理システム、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20231205BHJP
G06T 7/00 20170101ALI20231205BHJP
G06V 10/70 20220101ALI20231205BHJP
【ＦＩ】
G06T19/00 A
G06T7/00 350B
G06V10/70
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022087351
(22)【出願日】2022-05-30
(11)【特許番号】
(45)【特許公報発行日】2023-08-02
(71)【出願人】
【識別番号】512162524
【氏名又は名称】株式会社セルシス
(74)【代理人】
【識別番号】100131451
【弁理士】
【氏名又は名称】津田 理
(74)【代理人】
【識別番号】100167933
【弁理士】
【氏名又は名称】松野 知紘
(74)【代理人】
【識別番号】100174137
【弁理士】
【氏名又は名称】酒谷 誠一
(74)【代理人】
【識別番号】100184181
【弁理士】
【氏名又は名称】野本 裕史
(72)【発明者】
【氏名】湯浅 修二
【テーマコード（参考）】
5B050
5L096
【Ｆターム（参考）】
5B050AA08
5B050BA06
5B050BA09
5B050BA12
5B050BA13
5B050CA08
5B050DA01
5B050EA05
5B050EA06
5B050EA12
5B050EA13
5B050EA19
5B050FA05
5L096DA01
5L096FA02
5L096FA09
5L096FA12
5L096FA66
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
【課題】キャラクタの３次元モデルに基づくキャラクタ画像を用いて、ソース画像の動物画像の領域を隠蔽できる情報処理システム、情報処理方法および情報処理プログラムを提供する。
【解決手段】キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、を備える情報処理システムが提供される。
【選択図】図１
【解決手段】キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、を備える情報処理システムが提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、
前記ソース画像または前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
を備える情報処理システム。
前記ソース画像または前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
を備える情報処理システム。
【請求項2】
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するキャラクタモデル変形手段をさらに備え、
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、請求項１に記載の情報処理システム。
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、請求項１に記載の情報処理システム。
【請求項3】
前記キャラクタモデル変形手段は、前記キャラクタの３次元モデルの所定部位の長さを調整する、請求項２に記載の情報処理システム。
【請求項4】
前記キャラクタモデル変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項２に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項２に記載の情報処理システム。
【請求項5】
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段をさらに備える、請求項１乃至４のいずれかに記載の情報処理システム。
【請求項6】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
【請求項7】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項６に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項６に記載の情報処理システム。
【請求項8】
前記動物画像の領域及び／又は前記動物画像の輪郭を、セマンティックセグメンテーションにより推定する領域推定手段をさらに備える、請求項１に記載の情報処理システム。
【請求項9】
前記キャラクタ画像配置手段は、
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１に記載の情報処理システム。
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１に記載の情報処理システム。
【請求項10】
前記くり抜き画像生成手段は、
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
【請求項11】
前記くり抜き画像生成手段は、
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
【請求項12】
前記補完画像生成手段は、前記くり抜き画像にブラー処理を行って前記補完画像を生成する、請求項９乃至１１のいずれかに記載の情報処理システム。
【請求項13】
前記キャラクタ画像配置手段は、
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１に記載の情報処理システム。
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１に記載の情報処理システム。
【請求項14】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理方法であって、
前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成し、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変え、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成し、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成する、情報処理方法。
前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成し、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変え、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成し、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成する、情報処理方法。
【請求項15】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理プログラムであって、
コンピュータを、
前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させる情報処理プログラム。
コンピュータを、
前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システム、情報処理方法および情報処理プログラムに関する。なお、本明細書における「動物画像」は人物画像を含む。
【背景技術】
【0002】
人工知能技術を利用した画像処理技術が知られている。例えば、非特許文献１には、人工知能を利用して人物が写った写真におけるキーポイントの位置を推定する技術が開示されている。ここで、キーポイントとは、関節点（肩、肘、手首、腰、膝、足首など）や特徴点（目、鼻、口、耳など）のことである。また、非特許文献２には、セマンティックセグメンテーションによって、写真から、予め学習された人物、自転車、動物といった領域を推定することが開示されている。また、非特許文献３には、２次元画像から被写体の３次元ポーズを推定する技術が開示されている。その他、非特許文献４には、２次元形状を回転、移動、変形する技術が開示されている。さらに、非特許文献５には、物体が写っている画像から、物体のバウンティングボックスを検出する技術が開示されている。
【0003】
ところで、人物が写っている画像などを公開する際に、プライバシー保護のために目線を入れたり顔にモザイクをかけたりして顔を隠すなどの加工が施される場合がある。しかし、顔を隠すのみでは、服装の特徴などからその人物が特定されるおそれがある。
【0004】
これに対し、顔のみならず全身を一色で塗りつぶす手法も考えられる。この手法によれば、一応の隠蔽は可能となるが、人物の存在すら認識できなくなってしまう。
【0005】
そこで、人物の全身を隠蔽しつつ、人物の存在を認識できるような画像加工方法が提案されている（例えば、特許文献１、２、３参照）。
【0006】
また、写真を加工してアニメや漫画を作ることも行われている。しかし、写真に写っている人物の頭身や服装、顔立ちは変わらないため、そのアニメや漫画の作風に合わないという問題がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１８－７２９５７号公報
【特許文献2】特開２０１９－９７５２号公報
【特許文献3】特開２０１９－９１１３８号公報
【非特許文献】
【0008】
【非特許文献1】Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh，"Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields"，［online］，２０１７年４月１４日，［令和３年３月２５日検索］，インターネット＜URL：https://arxiv.org/abs/1611.08050＞
【非特許文献2】Evan Shelhamer, Jonathan Long, Trevor Darrell，" Fully Convolutional Networks for Semantic Segmentation"，［online］，２０１６年５月２０日，［令和３年３月２５日検索］，インターネット＜URL：https://arxiv.org/abs/1605.06211＞
【非特許文献3】Zdushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mohammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, Christian Theobalt，"VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera"，［online］，２０１７年７月，［令和３年３月２５日検索］，インターネット＜URL：http://gvv.mpi-inf.mpg.de/projects/VNect/content/VNect_SIGGRAPH2017.pdf＞
【非特許文献4】Takeo Igarashi, Tomer Moscovich, John F. Hughes，"As-Rigid-As-Possible Shape Manipulation"，［online］，［令和３年３月２５日検索］，インターネット＜URL：https://www-ui.is.s.u-tokyo.ac.jp/~takeo/papers/rigid.pdf＞
【非特許文献5】Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun，"Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks"，［online］，［令和３年５月２０日検索］，インターネット＜URL：https://arxiv.org/pdf/1506.01497.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の課題は、キャラクタの３次元モデルに基づくキャラクタ画像を用いて、ソース画像の動物画像の領域を隠蔽できる情報処理システム、情報処理方法および情報処理プログラムを提供することである。
【課題を解決するための手段】
【0010】
本発明の一態様によれば、キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、前記前記ソース画像または動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、を備える情報処理システムが提供される。
【0011】
この構成によれば、ソース画像または動物画像から生成される３次元ポーズデータを適用してキャラクタの３次元モデルのポーズを変えた上で、ポーズを変えた後のキャラクタの３次元モデルに基づくキャラクタ画像をソース画像の動物画像の領域に配置するため、ユーザの任意のソース画像の動物画像の領域を、その存在を残しつつ隠蔽できる。
【0012】
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するキャラクタモデル変形手段をさらに備え、前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成するのが望ましい。
【0013】
この構成によれば、輪郭どうしのズレが小さくなるようにキャラクタの３次元モデルをさらに変形するため、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0014】
前記キャラクタモデル変形手段は、前記キャラクタの３次元モデルの所定部位の長さを調整してもよい。
【0015】
この構成によれば、キャラクタ画像の所定部位の長さを、動物画像の対応する所定部位の長さに近づけることができるので、動物画像の輪郭とキャラクタ画像に基づく画像の輪郭とのズレが小さくなり、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0016】
前記キャラクタモデル変形手段は、前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形してもよい。
【0017】
この構成によれば、キャラクタ画像のキーポイントの位置を、動物画像の対応するキーポイントの位置に近づけることができるので、動物画像の輪郭とキャラクタ画像に基づく画像の輪郭とのズレが小さくなり、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0018】
前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段をさらに備えてもよい。
【0019】
この構成によれば、輪郭どうしのズレが小さくなるようにキャラクタ画像を変形するため、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0020】
前記キャラクタ画像変形手段は、前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形してもよい。
【0021】
この構成によれば、キャラクタ画像のキーポイントの位置を、動物画像の対応するキーポイントの位置に近づけることができるので、動物画像の輪郭とキャラクタ画像の輪郭とのズレが小さくなり、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0022】
前記キャラクタ画像変形手段は、前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形してもよい。
【0023】
この構成によれば、動物画像の輪郭とキャラクタ画像の輪郭とのズレがより小さくなり、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0024】
前記動物画像の領域及び／又は前記動物画像の輪郭を、セマンティックセグメンテーションにより推定する領域推定手段をさらに備えてもよい。
【0025】
この構成によれば、動物画像とキャラクタ画像との位置合わせを正確に行えるようになり、ソース画像の動物画像の領域をより正確に隠蔽できる。
【0026】
前記キャラクタ画像配置手段は、前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記キャラクタ画像との隙間を補完する補完画像を生成する補完画像生成手段と、前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備えてもよい。
を備えてもよい。
【0027】
この構成によれば、補完画像を用いて隙間を埋めるため、キャラクタ画像の輪郭と動物画像の輪郭との間にズレがあっても、不自然さの少ない加工画像を生成することができる。
【0028】
前記くり抜き画像生成手段は、前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成してもよい。
【0029】
この構成によれば、キャラクタ画像の輪郭と動物画像の輪郭との間にズレがあっても、動物画像の領域を取り除くことができる。
【0030】
前記くり抜き画像生成手段は、前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成してもよい。
【0031】
この構成によれば、セマンティックセグメンテーションによる推定を行うことにより、くり抜き画像を生成する際に、より正確に動物画像の領域を取り除くことができる。
【0032】
前記補完画像生成手段は、前記くり抜き画像にブラー処理を行って前記補完画像を生成してもよい。
【0033】
この構成によれば、ブラー処理を行って補完画像を生成するため、くり抜き画像とキャラクタ画像との隙間をより自然に埋めることができる。
【0034】
前記キャラクタ画像配置手段は、前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整してもよい。
【0035】
この構成によれば、加工画像における色調および／または階調の違和感を抑えられる。
【0036】
本発明の別の態様によれば、キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理方法であって、前記ソース画像または前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成し、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変え、前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成し、前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成する、情報処理方法が提供される。
【0037】
この構成によれば、ソース画像または動物画像から生成される３次元ポーズデータを適用してキャラクタの３次元モデルのポーズを変えた上で、ポーズを変えた後のキャラクタの３次元モデルに基づくキャラクタ画像をソース画像の動物画像の領域に配置するため、ユーザの任意のソース画像の動物画像の領域を、その存在を残しつつ隠蔽できる。
【0038】
また、本発明の別の態様によれば、キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理プログラムであって、コンピュータを、前記ソース画像または前記動物画像から動物の３次元ポーズを推定して３次元ポーズデータを生成する３次元ポーズ推定手段と、前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、として動作させる情報処理プログラムが提供される。
【0039】
この構成によれば、ソース画像または動物画像から生成される３次元ポーズデータを適用してキャラクタの３次元モデルのポーズを変えた上で、ポーズを変えた後のキャラクタの３次元モデルに基づくキャラクタ画像をソース画像の動物画像の領域に配置するため、ユーザの任意のソース画像の動物画像の領域を、その存在を残しつつ隠蔽できる。
【発明の効果】
【0040】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて、ソース画像の動物画像の領域を隠蔽できる。
【図面の簡単な説明】
【0041】
【図1】第１の実施形態に係る情報処理システムの概略構成を示すブロック図。
【図2】第１の実施形態に係る情報処理システムの処理動作の一例を示すフローチャート。
【図3】３次元ポーズ推定部に入力されるソース画像を説明する図。
【図4A】キャラクタの３次元モデルの初期ポーズを説明する図。
【図4B】ポーズデータを適用されたキャラクタの３次元モデルを説明する図。
【図5】キャラクタ描画部によって生成されたキャラクタ画像を説明する図。
【図6A】仮想カメラを用いたキャラクタ画像の生成を説明する図。
【図6B】仮想カメラを用いたキャラクタ画像上のキーポイントの生成を説明する図。
【図6C】キャラクタ画像上のキーポイントの例を示す図。
【図7】加工画像の例を示す図。
【図8】人物画像におけるキーポイントの位置を示す図。
【図9】キャラクタの３次元モデル上のキーポイントの例を示す図。
【図10】第２の実施形態に係る情報処理システムの概略構成を示すブロック図。
【図11】キャラクタの３次元モデルの変形方法を説明する図。
【図12】第２の実施形態に係る情報処理システムの処理動作の一例を示すフローチャート。
【図13】第３の実施形態に係る情報処理システムの概略構成を示すブロック図。
【図14】第３の実施形態に係る情報処理システムの処理動作の一例を示すフローチャート。
【図15】キャラクタ画像を変形する例を示す図。
【図16】キャラクタ画像の変形手法の例を示すフローチャート。
【図17A】キャラクタ画像の変形手法の例を示す図。
【図17B】キャラクタ画像の変形手法の例を示す図。
【図18】第４の実施形態に係る情報処理システムの概略構成を示すブロック図。
【図19】第４の実施形態に係る情報処理システムの処理動作の一例を示すフローチャート。
【図20】くり抜き画像の例を示す図。
【図21】補完画像の例を示す図。
【図22】くり抜き画像の縁をぼかした画像の例を示す図。
【図23】加工画像の例を示す図。
【発明を実施するための形態】
【0042】
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
【0043】
（第１の実施形態）
図１は、第１の実施形態に係る情報処理システムの概略構成を示すブロック図である。情報処理システムは、１台の装置から構成されてもよいし、互いに通信可能な複数の装置から構成されてもよい。後者の場合、例えば処理の一部をスマートフォンなどのユーザ端末が行い、他の一部をサーバが行ってもよい。
図１は、第１の実施形態に係る情報処理システムの概略構成を示すブロック図である。情報処理システムは、１台の装置から構成されてもよいし、互いに通信可能な複数の装置から構成されてもよい。後者の場合、例えば処理の一部をスマートフォンなどのユーザ端末が行い、他の一部をサーバが行ってもよい。
【0044】
この情報処理システムには、ユーザから任意のソース画像が入力される。このソース画像には、隠蔽されるべき動物の画像（動物画像）が含まれている。前述のように、文言「動物」は「人物」を含むものとする。以下、人物であるとして説明するが、本発明は人物以外の動物にも適用され得る。また、情報処理システムには、コンピュータグラフィックスのキャラクタの３次元モデルが入力される。キャラクタの３次元モデルには、予めキーポイントが設定されていてもよい。そして、情報処理システムは、キャラクタの３次元モデルに基づくキャラクタ画像を用いて、ソース画像の人物画像の領域を隠蔽する加工を行う。
【0045】
具体的には、情報処理システムは、３次元ポーズ推定部１と、ポーズ適用部２と、キャラクタ描画部３と、キャラクタ画像配置部４とを備えている。これら各部の一部または全部の機能は、ハードウェアで実装されてもよいし、プロセッサが所定のプログラムを実行することによって実現されてもよい。
【0046】
３次元ポーズ推定部１はソース画像または人物画像から人物の３次元ポーズを推定して、３次元ポーズデータを生成する。また、３次元ポーズ推定部１は、人物画像を撮影した際のカメラ設定を推定して、推定されたカメラ設定を出力する。推定された３次元ポーズは、人型オブジェクト（人物またはキャラクタ）のポーズを表す３次元ポーズデータで表される。３次元ポーズデータは、例えば、各関節の角度と、人型オブジェクト全体の向きおよび位置の情報である。あるいは、３次元ポーズデータは、各関節の角度に代えて各関節の位置の３次元座標であってもよく、３次元ポーズデータの形式に特に制限はない。３次元ポーズの推定には、例えば非特許文献３に記載の方法を用いることができる。
【0047】
ポーズ適用部２には、キャラクタの３次元モデルと、３次元ポーズ推定部１から出力される３次元ポーズデータとが入力される。なお、３次元ポーズ推定部１とポーズ適用部２とが接続されており、３次元ポーズ推定部１から出力される３次元ポーズデータが自動的にポーズ適用部２に入力されてもよい。あるいは、３次元ポーズ推定部１から出力される３次元ポーズデータをユーザがポーズ適用部２に手動入力してもよい。この点は他の各部の入出力についても同様である。
【0048】
このポーズ適用部２は、３次元ポーズデータを適用してキャラクタの３次元モデルのポーズを変える処理を行う。
【0049】
キャラクタ描画部３には、ポーズ適用部２によってポーズが変えられたキャラクタの３次元モデルおよび３次元ポーズ推定部１から出力されるカメラ設定が入力される。そして、キャラクタ描画部３はポーズが変えられたキャラクタの３次元モデルをレンダリングして、キャラクタの２次元画像であるキャラクタ画像を生成する。
【0050】
キャラクタ画像配置部４には、キャラクタ描画部３によって生成されたキャラクタ画像と、ソース画像とが入力される。そして、キャラクタ画像配置部４は、ソース画像の人物画像の領域にキャラクタ画像に基づく画像を配置して、加工画像を生成する。キャラクタ画像配置部４は、ソース画像および／またはキャラクタ画像におけるユーザが任意に指定する領域の色調および／または階調を調整した上で、加工画像を生成してもよい。
【0051】
【0052】
ステップＳ１において、３次元ポーズ推定部１はソース画像または人物画像から人物の３次元ポーズを推定して、３次元ポーズデータを生成し出力する。例えば、図３に示すように、ソース画像１００に含まれる人物１１０のポーズがフリスビーを投げているポーズであるとする。３次元ポーズ推定部１は、このポーズを表現する３次元ポーズデータを生成する。３次元ポーズデータは、例えば、首、腕、脚などの各関節の角度と、人型オブジェクト全体の向きおよび位置の情報である。あるいは、３次元ポーズデータは、各関節の位置の３次元座標であってもよい。
【0053】
なお、３次元ポーズデータがカメラ設定を暗黙的に含んでいる場合もある。例えば、３次元ポーズデータが人型オブジェクト全体の向きおよび位置の情報を含んでいて、さらにその向きおよび位置の情報がカメラ座標系で記述されている場合、この３次元ポーズデータは人型オブジェクトとカメラとの相対的な向きおよび位置の情報を含んでいる。このように、３次元ポーズデータがカメラ設定を暗黙的に含んでいる場合、３次元ポーズ推定部３は、カメラ設定を明示的に出力するのではなく、３次元ポーズデータのみを出力してもよい。
【0054】
続いて、図２のステップＳ２において、ポーズ適用部２は３次元ポーズデータをキャラクタの３次元モデルに適用して当該キャラクタの３次元モデルのポーズを変える。例えば、図４Ａに示すように、キャラクタの３次元モデル２００のポーズ（初期ポーズ）が気を付けのポーズであったとする。図３のソース画像１００から生成された３次元ポーズデータを、ポーズ適用部２がキャラクタの３次元モデル２００に適用する。すると、図４Ｂに示すように、キャラクタの３次元モデル２００'のポーズは、フリスビーを投げているポーズになる。
【0055】
より具体的には、ポーズ適用部２は、キャラクタの３次元モデルの首、腕、脚などの各関節の角度と、全体の向きおよび位置を、３次元ポーズデータに基づいて変えることにより、キャラクタの３次元モデルのポーズを変える。このようにして、ポーズが変えられたキャラクタの３次元モデルが得られる。
【0056】
続いて、図２のステップＳ３において、キャラクタ描画部３は、ポーズが変えられたキャラクタの３次元モデルをレンダリングしてキャラクタ画像を生成する。例えば、キャラクタ描画部３は、図４Ｂに示すポーズが変えられた後のキャラクタの３次元モデルをレンダリングして、図５に示すキャラクタ画像２１０を生成する。
【0057】
キャラクタ描画部３には、ポーズ適用済のキャラクタの３次元モデル（言い換えると、ポーズ適用部２によってポーズを変えられたキャラクタの３次元モデル）と、カメラ設定とが入力される。そして、キャラクタ描画部３は入力されたカメラ設定を仮想カメラに適用する。さらに、キャラクタ描画部３は、仮想カメラを使ってポーズ適用済のキャラクタの３次元モデルからキャラクタの２次元画像（キャラクタ画像）を生成する。具体例として、キャラクタ描画部３は、カメラ設定が示す向きおよび位置に配置された仮想カメラからポーズ適用済のキャラクタの３次元モデルを仮想的に描画して、キャラクタ画像を生成する。
【0058】
例えば、図６Ａは、カメラ設定を仮想カメラＣに適用した例を示す図である。図６Ａに示すように、キャラクタ描画部３は、カメラ設定に基づいて仮想カメラＣを配置することができる。仮想カメラＣを使ってポーズ適用済のキャラクタの３次元モデル２００からキャラクタの２次元画像（例えば、図５のキャラクタ画像２１０）を生成する例を示す図である。
【0059】
続いて、図２のステップＳ４において、キャラクタ画像配置部４は、ソース画像の人物画像の領域にキャラクタ画像に基づく画像を配置して、加工画像を生成する。例えば、キャラクタ画像配置部４は、図３に示すソース画像１００における人物画像１１０の領域に、図５に示すキャラクタ画像２１０を配置し、図７に示す加工画像３００を生成する。
【0060】
このように、第１の実施形態では、ソース画像の人物画像の領域にキャラクタ画像を配置するため、ユーザの任意のソース画像の人物画像の領域を隠蔽しながら、人物の存在が分かるようにできる。
【0061】
また、本実施形態では、ソース画像または人物画像から生成される３次元ポーズデータを適用してキャラクタの３次元モデルのポーズを変えた上で、ポーズを変えた後のキャラクタの３次元モデルに基づくキャラクタ画像をソース画像の人物画像の領域に配置する。そのため、ソース画像の人物画像の被写体の人物の３次元ポーズと、キャラクタの３次元モデルの初期ポーズとが異なる場合であっても、ソース画像の人物画像の領域を隠蔽できる。
【0062】
ソース画像にキャラクタ画像を配置する際には、ソース画像とキャラクタ画像との位置合わせ、スケール合わせが必要である。位置合わせの際には、一方の画像をさらに回転させてもよい。この位置合わせ、スケール合わせの方法として、例えば下記の２つの手法が挙げられる。
【0063】
第１の手法は、画像のバウンディングボックスを使う手法である。この場合、人物画像のバウンディングボックスと、キャラクタ画像のバウンディングボックスが用いられる。そして、バウンディングボックスどうしの高さと中心が合うように、キャラクタ画像を拡大または縮小し移動させることによって、ソース画像とキャラクタ画像との位置合わせ、スケール合わせが行われる。あるいは、バウンディングボックスどうしの幅と中心が合うように、キャラクタ画像を拡大または縮小し移動させてもよい。
【0064】
なお、人物画像のバウンディングボックスを求めるには、例えば、物体検出の手法(例えば非特許文献５)でバウンディングボックスを得る手法や、セマンティックセグメンテーションの手法（例えば非特許文献２）で人物画像の領域を求め、その領域のバウンディングボックスを求める手法などを用いることができる。
【0065】
第２の手法は、キーポイントを使う手法である。この場合、人物画像上のキーポイントと、キャラクタ画像上のキーポイントが用いられる。
【0066】
人物画像におけるキーポイントの位置（図８参照）は、例えば非特許文献１の手法を用いて求めることができる。また、キャラクタ画像におけるキーポイントの位置は、次の２つの手法（手法Ａまたは手法Ｂ）を用いて求めることができる。
【0067】
手法Ａでは、キャラクタの３次元モデルに、予めキーポイントの位置（３次元座標）を設定しておく。図９の例では、顔のキーポイント（目、鼻、口、耳）は３次元モデルの表面に位置し、身体のキーポイント（首、肩、肘、など）は３次元モデルの内部に位置する。図２のステップＳ３において、キャラクタ描画部３が仮想カメラを用いてキャラクタの３次元モデルを描画してキャラクタ画像を生成する際に、３次元座標（３次元モデル）から２次元座標（仮想スクリーン）への座標変換が行われる。これと同様の座標変換を、３次元モデルのキーポイント座標に対して適用することにより、キャラクタ画像上のキーポイントの位置が得られる。また一般に、キャラクタの３次元モデルにはボーン（骨格構造）が設定されていることが多い。このような場合には、ボーンの関節点の位置（３次元座標）をキーポイント位置として利用してもよい。図６Ｂは、キャラクタの３次元モデルに設定されている右手首のキーポイントを元にして、キャラクタ画像上の右手首のキーポイント位置が求められることを示す。
【0068】
手法Ｂとしては、キャラクタ画像に対して、例えば非特許文献１の手法を用いて、キャラクタ画像上のキーポイントの位置を求めることができる。
【0069】
キーポイントを用いた位置合わせ、スケール合わせは、以下のように行われる。
【0070】
例えば、それぞれの画像上で、右腰のキーポイントと左腰のキーポイントとの中点を求め、これを腰の位置として、両画像の腰の位置が合うようにキャラクタ画像を移動させる。そして、それぞれの画像について、全キーポイントからバウンディングボックスを作り、両画像のバウンディングボックスの高さ(あるいは幅)が等しくなるようにキャラクタ画像を拡大または縮小することによって、ソース画像とキャラクタ画像との位置合わせ、スケール合わせを行うことができる。
【0071】
あるいは、重要なキーポイントを所定の個数（例えば２つ）決めておき、それぞれのキーポイントの両画像上の位置が合うように、キャラクタ画像を移動・拡縮・回転させる。例えば、両画像の首のキーポイントどうしが一致し、かつ両画像の右足首のキーポイントどうしが一致するように、画像を移動・拡縮・回転させる。このようにしても、ソース画像とキャラクタ画像との位置合わせ、スケール合わせを行うことができる。
【0072】
（第２の実施形態）
次に説明する第２の実施形態は、より正確に人物画像の領域を隠蔽すべく、人物画像または人物画像上の点の位置に基づいてキャラクタの３次元モデルの変形を行うものである。以下では、第１の実施形態と共通する説明は省略ないし簡略化することがある。
次に説明する第２の実施形態は、より正確に人物画像の領域を隠蔽すべく、人物画像または人物画像上の点の位置に基づいてキャラクタの３次元モデルの変形を行うものである。以下では、第１の実施形態と共通する説明は省略ないし簡略化することがある。
【0073】
【0074】
また、キャラクタモデル変形部６には、３次元ポーズデータが適用された（ポーズを変えられた）キャラクタの３次元モデル、カメラ設定、およびソース画像が入力される。そして、キャラクタモデル変形部６は、人物画像の輪郭とキャラクタ画像の輪郭とのズレが小さくなるよう、３次元ポーズデータが適用された（ポーズを変えられた）キャラクタの３次元モデルを変形する。
【0075】
キャラクタの３次元モデル変形の手法の一例として、人物画像上のキーポイントの位置に基づいてキャラクタの３次元モデルを変形する手法を用いることができる。この手法では、画像上の点の位置から、３次元座標を求める必要がある。ここで、例えば、図１１に示すように、キャラクタ画像上で、肘の位置を変えずに手首の位置を変える場合を考える。キャラクタ画像上の手首の位置がＰ０で、人物画像上の手首の位置がＰ１であるとする。人物画像の輪郭とキャラクタ画像の輪郭とのズレを少なくするために、キャラクタ画像上の手首の位置がＰ０からＰ１に変わるように、キャラクタの３次元モデルを変形する。３次元モデルの手首の位置Ｑは、カメラと点Ｐ１とを結ぶ直線Ｌの上にあれば良いが、これだけではＱの位置は一意に決まらない。そこでＱの位置を一意に決める方法として、下記の手法が挙げられる。
【0076】
第１の手法では、元の手首の位置Ｑ０を通り、仮想スクリーンに平行な平面を作り、この平面と直線Ｌとの交点をＱ１とし、Ｑ１を変形後の手首の位置Ｑとする。
第２の手法では、「部位の長さ（肘から手首までの長さ）が、元の長さから変わらない」という制約条件を追加して、この条件を満たすように変形後の手首の位置Ｑを求める。Ｑの解が２つ存在する（例えば、図１１の例では、Ｑ２とＱ３が存在する）場合は、どちらを使ってもよいが、例えば元のポーズに近いほう（図１１の例では、Ｑ２）を選んでもよい。
第２の手法では、「部位の長さ（肘から手首までの長さ）が、元の長さから変わらない」という制約条件を追加して、この条件を満たすように変形後の手首の位置Ｑを求める。Ｑの解が２つ存在する（例えば、図１１の例では、Ｑ２とＱ３が存在する）場合は、どちらを使ってもよいが、例えば元のポーズに近いほう（図１１の例では、Ｑ２）を選んでもよい。
【0077】
図１２は、第２の実施形態に係る情報処理システムの処理動作の一例を示すフローチャートである。ステップＳ１、Ｓ２、およびＳ４は第１の実施形態と重複するので、説明を省略する。
【0078】
ステップＳ１１において、キャラクタモデル変形部６は、人物画像の輪郭とキャラクタ画像の輪郭とのズレが小さくなるよう、３次元ポーズデータが適用された（ポーズを変えられた）キャラクタの３次元モデルを変形する。例えば図１１で説明した手法を用いてキャラクタの３次元モデルを変形する。図１１の例では肘のキーポイントと手首のキーポイントを使って、肘から手首までの部位（前腕部)を変形させているが、複数の部位に対して順にこの手法を使って変形させてもよい。
【0079】
より具体的には、例えば、まずキャラクタ画像の腰の位置を、人物画像の腰の位置に合わせる。
【0080】
次に、腰から首までに対して図１１の手法を使って、キャラクタの３次元モデルの腰から首までの範囲を変形させて、キャラクタ画像の首の位置を、人物画像の首の位置に合わせる。
【0081】
次に、首から右肩までに対して図１１の手法を使って、キャラクタの３次元モデルの首から右肩までの範囲を変形させて、キャラクタ画像の右肩の位置を、人物画像の右肩の位置に合わせる。
【0082】
次に、右肩から右肘までに対して図１１の手法を使って、キャラクタの３次元モデルの右肩から右肘までの範囲を変形させて、キャラクタ画像の右肘の位置を、人物画像の右肘の位置に合わせる。
【0083】
次に、右肘から右手首までに対して図１１の手法を使って、キャラクタの３次元モデルの右肘から右手首までの範囲を変形させて、キャラクタ画像の右手首の位置を、人物画像の右手首の位置に合わせる。
【0084】
同様にして、首－左肩－左肘－左手首、腰－右腰－右膝－右足首、および腰－左腰－左膝－左足首に対して処理を行い、キャラクタ画像の各部位の位置を、人物画像の対応する部位の位置に合わせてもよい。
【0085】
キャラクタ画像上のキーポイントの位置を求める手法については、既に述べたように、手法Ａ、Ｂの２つの方法がある。手法Ａは仮想カメラを使った座標変換を用いる。手法Ｂはキャラクタ画像を使ってキーポイント位置を推定する。
【0086】
手法Ａを用いる場合には、キャラクタモデル変形部６は、キャラクタ画像を描画することなく、キャラクタ画像上のキーポイントの位置を求めることができる。
【0087】
手法Ｂを用いる場合には、キャラクタモデル変形部６は、キャラクタ画像を描画する必要がある。キャラクタ画像を描画するには、キャラクタ描画部と同様の方法を用いればよい。
【0088】
続いて、ステップＳ１２において、キャラクタ描画部３は、ステップＳ１１にて変形されたキャラクタの３次元モデルをレンダリングして、キャラクタ画像を生成する。
【0089】
そして、ステップＳ４において、キャラクタ画像配置部４は、ソース画像における人物画像の領域に、ステップＳ１２にて生成されたキャラクタ画像を配置して加工画像を生成する。人物画像上のキーポイントの位置と、キャラクタ画像上のキーポイントの位置と、が合うようキャラクタの３次元モデルを変形することにより、人物画像の輪郭とキャラクタ画像の輪郭とのズレを、より小さくすることができる。
【0090】
（第３の実施形態）
次に説明する第３の実施形態は、より正確に人物画像の領域を隠蔽すべく、人物画像または人物画像上の点の位置に基づいてキャラクタ画像の変形を行うものである。以下では、第１の実施形態と共通する説明は省略ないし簡略化することがある。
次に説明する第３の実施形態は、より正確に人物画像の領域を隠蔽すべく、人物画像または人物画像上の点の位置に基づいてキャラクタ画像の変形を行うものである。以下では、第１の実施形態と共通する説明は省略ないし簡略化することがある。
【0091】
【0092】
また、キャラクタ画像変形部７には、キャラクタ描画部３から出力されるキャラクタ画像と、ソース画像とが入力される。そして、キャラクタ画像変形部７は、人物画像の輪郭とキャラクタ画像の輪郭とのズレが小さくなるよう、キャラクタ画像を変形する。
【0093】
キャラクタ画像変形の手法の例として、人物画像上のキーポイントの位置と、キャラクタ画像上のキーポイントの位置と、が合うようキャラクタ画像を変形することができる。
【0094】
図１４は、第３の実施形態に係る情報処理システムの処理動作の一例を示すフローチャートである。ステップＳ１～Ｓ３は第１の実施形態と重複するので、説明を省略する。
【0095】
ステップＳ２１において、キャラクタ画像変形部７は、人物画像の輪郭とキャラクタ画像の輪郭とのズレが小さくなるよう、キャラクタ描画部３によって生成されたキャラクタ画像を変形する。
【0096】
人物画像上のキーポイントの位置（図８参照）は、例えば非特許文献１の手法を用いて求めることができる。
【0097】
キャラクタ画像上のキーポイントの位置を求める手法については、既に述べたように、手法Ａ、Ｂの２つの方法がある。手法Ａは仮想カメラを使った座標変換を用いる。手法Ｂはキャラクタ画像を使ってキーポイント位置を推定する。
【0098】
手法Ａを用いる場合には、キャラクタ描画部３がさらにキャラクタ画像上の
キーポイントの位置を求めて出力するようにしてもよい。
キーポイントの位置を求めて出力するようにしてもよい。
【0099】
手法Ｂを用いる場合には、キャラクタ画像変形部７が例えば非特許文献１の手法を用いてキャラクタ画像上のキーポイントの位置を求めるようにしてもよい。
【0100】
人物画像上のキーポイントの位置と、キャラクタ画像上のキーポイントの位置と、が合うようキャラクタ画像を変形するには、例えば非特許文献４の手法を用いてもよい。
【0101】
図１４のステップＳ４において、キャラクタ画像配置部４は、ソース画像における人物画像の領域に、ステップＳ２１にて生成されたキャラクタ画像を配置して加工画像を生成する。人物画像上のキーポイントの位置と、キャラクタ画像上のキーポイントの位置と、が合うようキャラクタ画像を変形することにより、人物画像の輪郭とキャラクタ画像の輪郭とのズレを、より小さくすることができる。
【0102】
本実施の形態では、人物のキーポイントとキャラクタのキーポイントとが一致するよう、キャラクタ画像を変形する。これにより、変形後のキャラクタ画像上のキーポイントの位置は、人物画像上のキーポイントの位置に概略一致する。しかし、人物画像とキャラクタ画像との対応する部位の太さや幅が異なる場合には、両者の輪郭が一致するとは限らない。
【0103】
そこで、合わせたキーポイントどうしがずれないようにしながら、キャラクタ画像の輪郭が人物画像の輪郭に一致するよう、キャラクタ画像をさらに変形してもよい。すなわち、人物画像およびキャラクタ画像のキーポイントどうしおよび輪郭どうしを合わせる。
【0104】
図１５は、キャラクタ画像の輪郭を変形する例を示す図である。図１５では、前述のキーポイントを使ったキャラクタ画像の変形処理後のキャラクタ画像の輪郭（実線）および人物画像の輪郭（破線）の一部を模式的に示されている。この例では、両者のキーポイント（図１５では「２つの黒丸」で示されている）はキャラクタ画像の変形によって位置合わせされているが、輪郭は一致していない。この場合、２つのキーポイントを結ぶ線（図１５において一点鎖線で示す）と直交する方向にキャラクタ画像の輪郭を伸縮することによって、キャラクタ画像の輪郭を人物画像の輪郭にできる限り近づける。これにより、変形後のキャラクタ画像の輪郭は、人物画像の輪郭と略一致する。
【0105】
キャラクタ画像変形部７は、さらに下記のような手法を用いてキャラクタ画像を変形してもよい。
【0106】
キャラクタ画像の変形手法の例を図１６のフローチャートに示す。まず、ステップＳ３１において、キャラクタ画像変形部７はキャラクタ画像上のキーポイントに基づいてキャラクタ画像の輪郭に複数の点を設定する。
【0107】
例として、図１７Ａに、キャラクタ画像の輪郭およびその２つのキーポイント（黒丸）ｋ１，ｋ２を示す。例えば、キーポイントｋ１は右肩であり、キーポイントｋ２は右ひじである。キャラクタ画像変形部７はキーポイントｋ１，ｋ２を結ぶ直線（図１７Ａに一点鎖線で示す、以下「基準線」と呼ぶ）上に任意に点を追加する（同図では、２つのキーポイントｋ１，ｋ２を結ぶ線分を３等分する位置に２つの点（黒四角で示す）ｍ１，ｍ２を追加している）。そして、キャラクタ画像変形部７は、キーポイントｋ１を通り基準線と直交する直線と、キャラクタ画像の輪郭と交わる位置に点ｐ１，ｐ２を設定する。他のキーポイントｋ２や、追加した点ｍ１，ｍ２に対しても同様にして、キャラクタ画像変形部７はキャラクタ画像の輪郭に複数の点を設定する。
【0108】
図１６のステップＳ３２において、キャラクタ画像変形部７は人物画像上のキーポイントに基づいて人物画像の輪郭に複数の点を設定する。
【0109】
例として、図１７Ｂに、人物画像の輪郭およびその２つのキーポイント（白丸）ｋ１１，ｋ１２とを示す。図１７Ａのキーポイントｋ１，ｋ２は図１７Ｂのキーポイントｋ１１，ｋ１２とそれぞれ対応しているものとする。例えば、図１７Ａのキーポイントｋ１が右肩であり、キーポイントｋ２が右ひじである場合、図１７Ｂのキーポイントｋ１１も右肩であり、キーポイントｋ１２も右ひじである。図１７Ａで説明したのと同様に、キャラクタ画像変形部７は人物画像の輪郭に複数の点を設定する。図１７Ａでキャラクタ画像の輪郭に設定された各点と、図１７Ｂで人物画像の輪郭に設定された各点との対応関係をキャラクタ画像変形部７は把握している。
【0110】
図１６のステップＳ３３において、キャラクタ画像変形部７は、キャラクタ画像の輪郭に設定された各点と、人物画像の輪郭に設定された対応する点と、が重なるようキャラクタ画像を変形する。以上により、変形後のキャラクタ画像のキーポイントおよび輪郭は、人物画像のキーポイントおよび輪郭と略一致する。
【0111】
（第４の実施形態）
次に説明する第４の実施形態は、加工画像において、キャラクタ画像によって人物画像が十分に隠蔽されない場合に対応するために、ソース画像から人物画像を略含む領域をくり抜いた上で、キャラクタ画像を配置し、くり抜いた画像とキャラクタ画像との間を補完するものである。
次に説明する第４の実施形態は、加工画像において、キャラクタ画像によって人物画像が十分に隠蔽されない場合に対応するために、ソース画像から人物画像を略含む領域をくり抜いた上で、キャラクタ画像を配置し、くり抜いた画像とキャラクタ画像との間を補完するものである。
【0112】
図１８は、第４の実施形態に係る情報処理システムの概略構成を示すブロック図である。この情報処理システムにおけるキャラクタ画像配置部４は、くり抜き画像生成部４１と、補完画像生成部４２と、合成部４３とを有する。
【0113】
くり抜き画像生成部４１はソース画像から人物画像を略含む領域を取り除いたくり抜き画像を生成する。具体的には、くり抜き画像生成部４１はソース画像における人物画像の領域をセマンティックセグメンテーションにより特定する。そして、くり抜き画像生成部４１は特定された人物画像の領域をカバー領域とする。そして、くり抜き画像生成部はソース画像からカバー領域を取り除くことで、くり抜き画像を生成する。セマンティックセグメンテーションによる領域特定の精度が低い場合には、特定された領域より大きい領域をカバー領域としてもよい。
【0114】
あるいは、くり抜き画像生成部４１は、セマンティックセグメンテーションを使わずに、その替わりにキャラクタ画像を利用してもよい。この場合、キャラクタ画像の領域と人物画像の領域とは、通常、多少のずれがあるので、人物画像の領域を取り除くために、キャラクタ画像を広げた領域をカバー領域とするのが望ましい。そして、くり抜きが画像生成部はソース画像からカバー領域を取り除くことで、くり抜き画像を生成する。
【0115】
補完画像生成部４２は、くり抜き画像にキャラクタ画像を配置した際に形成される、くり抜き画像とキャラクタ画像との隙間を補完する補完画像を生成する。
【0116】
合成部４３は、くり抜き画像と、キャラクタ画像と、補完画像とを合成して、加工画像を生成する。具体的には、合成部４３は、補完画像、くり抜き画像およびキャラクタ画像を、この順番で下から順に重ねることにより、加工画像を生成する。
【0117】
図１９は、第４の実施形態に係る情報処理システムの処理動作の一例を示すブロック図である。ステップＳ１～Ｓ３は第１の実施形態と重複するので、説明を省略する。ステップＳ３の後、キャラクタ画像配置部４は以下のステップＳ３１～Ｓ３３の処理により、加工画像を生成する。
【0118】
ステップＳ３１において、くり抜き画像生成部４１はソース画像から人物画像を略含む領域を取り除いたくり抜き画像を生成する。例えば、くり抜き画像生成部４１は、図３に示すソース画像１００から、図５に示すキャラクタ画像２１０の領域を広げたカバー領域を取り除いて、図２０に示すくり抜き画像７００を生成する。
【0119】
続いて、図１９のステップＳ３２において、補完画像生成部４２は、くり抜き画像にキャラクタ画像を配置した際に形成される、くり抜き画像とキャラクタ画像との隙間を補完する補完画像を生成する。例えば、図２０に示すくり抜き画像７００にブラー処理を行って、図２１に示すような補完画像を生成する。
【0120】
そして、図１９のステップＳ３３において、合成部４３は、くり抜き画像と、キャラクタ画像と、補完画像とを合成して、加工画像を生成する。例えば、図２１に示すような補完画像の上に、図２２に示すような縁をぼかしたくり抜き画像と、図５に示すようなキャラクタ画像２１０を合成することにより、
図２３に示す加工画像が得られる。
図２３に示す加工画像が得られる。
【0121】
このように、第４の実施形態によれば、加工画像におけるくり抜き画像とキャラクタ画像との隙間をより自然に埋めることができる。なお、第２、３の実施形態を第４の実施形態と組み合わせてもよい。
【0122】
第２の実施形態および第３の実施形態は、人物画像の体型や頭身を優先する場合に有効であるのに対し、第４の実施形態は、キャラクタの体型や頭身を優先する場合に有効である。第２の実施形態および第３の実施形態では、キャラクタを歪ませるのに対し、第４の実施の形態では、キャラクタを歪ませないためである。すなわち、第２の実施形態から第４の実施形態の手法のうち、いずれの手法を用いるのが有効であるかは、使用する場面によって異なる。また、第２の実施形態から第４の実施形態の手法は、これら複数の手法を併用してもよい。あるいは、人物画像やキャラクタの部位によって異なる手法を用いてもよい。
【0123】
なお、以上述べた各実施形態ではソース画像に含まれる人物の画像（人物画像）の領域を隠蔽するものであったが、人物に限らず犬や猫といった任意の動物の画像（動物画像）の領域を隠蔽してもよい。この点で、「人物画像」を「動物画像」と上位概念化することができる。すなわち、「動物画像」には「人物画像」が含まれる。
【0124】
上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。
【符号の説明】
【0125】
１ ３次元ポーズ推定部
２ ポーズ適用部
３ キャラクタ描画部
４ キャラクタ画像配置部
４１ くり抜き画像生成部
４２ 補完画像生成部
４３ 合成部
６ キャラクタモデル変形部
７ キャラクタ画像変形部
２ ポーズ適用部
３ キャラクタ描画部
４ キャラクタ画像配置部
４１ くり抜き画像生成部
４２ 補完画像生成部
４３ 合成部
６ キャラクタモデル変形部
７ キャラクタ画像変形部
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【手続補正書】
【提出日】2022-08-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
を備える情報処理システム。
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
を備える情報処理システム。
【請求項2】
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するキャラクタモデル変形手段をさらに備え、
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、請求項１に記載の情報処理システム。
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、請求項１に記載の情報処理システム。
【請求項3】
前記キャラクタモデル変形手段は、前記キャラクタの３次元モデルの所定部位の長さを調整する、請求項２に記載の情報処理システム。
【請求項4】
前記キャラクタモデル変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項２に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項２に記載の情報処理システム。
【請求項5】
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段をさらに備える、請求項１乃至４のいずれかに記載の情報処理システム。
【請求項6】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
【請求項7】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項６に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項６に記載の情報処理システム。
【請求項8】
前記動物画像の領域及び／又は前記動物画像の輪郭を、セマンティックセグメンテーションにより推定する領域推定手段をさらに備える、請求項１に記載の情報処理システム。
【請求項9】
前記キャラクタ画像配置手段は、
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１に記載の情報処理システム。
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１に記載の情報処理システム。
【請求項10】
前記くり抜き画像生成手段は、
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
【請求項11】
前記くり抜き画像生成手段は、
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項９に記載の情報処理システム。
【請求項12】
前記補完画像生成手段は、前記くり抜き画像にブラー処理を行って前記補完画像を生成する、請求項９乃至１１のいずれかに記載の情報処理システム。
【請求項13】
前記キャラクタ画像配置手段は、
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１に記載の情報処理システム。
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１に記載の情報処理システム。
【請求項14】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理方法であって、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得し、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変え、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成し、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成する、情報処理方法。
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得し、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変え、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成し、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成する、情報処理方法。
【請求項15】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理プログラムであって、
コンピュータを、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させる情報処理プログラム。
コンピュータを、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させる情報処理プログラム。
【手続補正書】
【提出日】2023-04-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、
前記情報処理システムは、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するキャラクタモデル変形手段と、
を備え、
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、情報処理システム。
前記情報処理システムは、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するキャラクタモデル変形手段と、
を備え、
前記キャラクタ描画手段は、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成する、情報処理システム。
【請求項2】
前記キャラクタモデル変形手段は、前記キャラクタの３次元モデルの所定部位の長さを調整する、請求項１に記載の情報処理システム。
【請求項3】
前記キャラクタモデル変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項１に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタのキーポイントの位置と、に基づいて、前記キャラクタの３次元モデルを変形する、請求項１に記載の情報処理システム。
【請求項4】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理システムであって、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段と、
を備える、情報処理システム。
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段と、
を備える、情報処理システム。
【請求項5】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項４に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、前記キャラクタ画像におけるキーポイントの位置と、に基づいて、前記キャラクタ画像を変形する、請求項４に記載の情報処理システム。
【請求項6】
前記キャラクタ画像変形手段は、
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
前記動物画像におけるキーポイントの位置と、これに対応する前記キャラクタ画像におけるキーポイントの位置と、が略一致するように、前記キャラクタ画像を変形し、その後、
前記動物画像の輪郭上の点と、これに対応する前記キャラクタ画像の輪郭上の点と、が略一致するよう、前記キャラクタ画像を変形する、請求項５に記載の情報処理システム。
【請求項7】
前記動物画像の領域及び／又は前記動物画像の輪郭を、セマンティックセグメンテーションにより推定する領域推定手段をさらに備える、請求項１または請求項４に記載の情報処理システム。
【請求項8】
前記キャラクタ画像配置手段は、
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１または請求項４に記載の情報処理システム。
前記ソース画像から前記動物画像を略含む領域を取り除いたくり抜き画像を生成するくり抜き画像生成手段と、
前記くり抜き画像に前記キャラクタ画像に基づく画像を配置した際に形成される、前記くり抜き画像と前記キャラクタ画像に基づく画像との隙間を補完する補完画像を生成する補完画像生成手段と、
前記くり抜き画像と、前記キャラクタ画像に基づく画像と、前記補完画像とを合成して、前記加工画像を生成する合成手段と、
を備える、請求項１または請求項４に記載の情報処理システム。
【請求項9】
前記くり抜き画像生成手段は、
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項８に記載の情報処理システム。
前記ソース画像から、前記キャラクタ画像の領域を広げた領域を取り除いて、前記くり抜き画像を生成する、請求項８に記載の情報処理システム。
【請求項10】
前記くり抜き画像生成手段は、
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項８に記載の情報処理システム。
前記ソース画像における動物画像の領域をセマンティックセグメンテーションにより推定することによって、前記ソース画像から前記動物画像の領域を取り除き、前記くり抜き画像を生成する、請求項８に記載の情報処理システム。
【請求項11】
前記補完画像生成手段は、前記くり抜き画像にブラー処理を行って前記補完画像を生成する、請求項８乃至１０のいずれかに記載の情報処理システム。
【請求項12】
前記キャラクタ画像配置手段は、
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１または請求項４に記載の情報処理システム。
前記ソース画像および／または前記キャラクタ画像に基づく画像の色調および／または階調を調整する、請求項１または請求項４に記載の情報処理システム。
【請求項13】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理方法であって、
前記情報処理方法は、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得するステップと、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるステップと、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するステップと、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するステップと、
を含み、
前記情報処理方法は、さらに、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するステップを含み、
前記キャラクタ画像を生成するステップは、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成するステップを含む、情報処理方法。
前記情報処理方法は、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得するステップと、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるステップと、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するステップと、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するステップと、
を含み、
前記情報処理方法は、さらに、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像に基づく画像の輪郭と、のズレが小さくなるように、前記キャラクタの３次元モデルを変形するステップを含み、
前記キャラクタ画像を生成するステップは、前記ポーズを変えられかつ前記変形されたキャラクタの３次元モデルに基づいて、前記キャラクタ画像を生成するステップを含む、情報処理方法。
【請求項14】
キャラクタの３次元モデルに基づくキャラクタ画像を用いて動物画像を含むソース画像を加工する情報処理プログラムであって、
前記情報処理プログラムは、コンピュータを、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させ、
前記情報処理プログラムは、さらに、前記コンピュータを、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段として動作させる、情報処理プログラム。
前記情報処理プログラムは、コンピュータを、
前記ソース画像または前記動物画像から３次元ポーズ推定により、動物の各部位の３次元座標または角度を生成し、前記動物の３次元ポーズを表す３次元ポーズデータを取得する３次元ポーズ推定手段と、
前記３次元ポーズデータを適用して前記キャラクタの３次元モデルのポーズを変えるポーズ適用手段と、
前記ポーズを変えられたキャラクタの３次元モデルに基づいて、前記キャラクタの２次元画像であるキャラクタ画像を生成するキャラクタ描画手段と、
前記ソース画像に前記キャラクタ画像に基づく画像を配置して、前記ソース画像の前記動物画像の領域が略隠蔽された加工画像を生成するキャラクタ画像配置手段と、
として動作させ、
前記情報処理プログラムは、さらに、前記コンピュータを、
前記ソース画像の前記動物画像の輪郭と、前記キャラクタ画像の輪郭と、のズレが小さくなるように、前記キャラクタ画像を変形するキャラクタ画像変形手段として動作させる、情報処理プログラム。