(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022100110
(43)【公開日】2022-07-05
(54)【発明の名称】処理装置、回転画像の製造方法、及び、回転モデルの製造方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20220628BHJP
【FI】
G06T13/40
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2020214271
(22)【出願日】2020-12-23
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 公開の事実1:令和2(2020)年3月11日に「第3回コミック工学研究会予稿集」のウェブサイト(https://drive.google.com/file/d/1N84RmlMwNdrxLUhp-jkIt5b1Hv)に掲載 公開の事実2:令和2(2020)年9月17日に「第4回コミック工学研究会予稿集」のウェブサイト(https://drive.google.com/file/d/1n5DgF4idbqxt2VHtYfUChZpEKE)に掲載 公開の事実3:令和2(2020)年9月17日~18日の「第4回コミック工学研究会」(オンライン開催(Zoom) 令和2(2020)年9月18日 13:00-14:30 Session 4:描画支援 10.)にて発表
(71)【出願人】
【識別番号】593006630
【氏名又は名称】学校法人立命館
(74)【代理人】
【識別番号】100111567
【弁理士】
【氏名又は名称】坂本 寛
(72)【発明者】
【氏名】仲田 晋
(72)【発明者】
【氏名】山西 良典
(72)【発明者】
【氏名】藤田 宜久
(72)【発明者】
【氏名】村津 幸祐
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050AA08
5B050AA09
5B050BA06
5B050BA08
5B050BA18
5B050BA20
5B050CA08
5B050DA10
5B050EA12
5B050EA24
5B050FA02
5B050FA14
5B050GA08
(57)【要約】
【課題】必要とする入力顔画像を抑えて、自然な画風の任意の回転角度の回転画像が得られる処理装置を提供する。
【解決手段】処理装置10は、次元の入力顔画像の回転画像を生成する演算処理を実行する演算部(プロセッサ11)を備え、演算処理は、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した第1の回転モデルを読み出し、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与し、入力顔画像の特徴点を、第1の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた第1の回転画像を得る、ことを含む。
【選択図】
図1
【特許請求の範囲】
【請求項1】
二次元の入力顔画像の回転画像を生成する処理装置であって、
前記入力顔画像の前記回転画像を生成する演算処理を実行する演算部を備え、
前記演算処理は、
二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した第1の回転モデルを読み出し、
前記入力顔画像に対して、前記標準顔画像の特徴点に対応した特徴点を付与し、
前記入力顔画像の前記特徴点を、前記第1の回転モデルに規定される前記回転後の位置とすることによって、前記入力顔画像を前記所定の回転角度、回転させた第1の回転画像を得る、ことを含む
処理装置。
【請求項2】
前記演算処理は、
前記第1の回転画像に対する前記特徴点の位置を変更する指示に従って前記特徴点の位置を変更することによって前記第1の回転画像を補正し、
補正後の前記第1の回転画像に基づいて前記第1の回転モデルを変更して第2の回転モデルを生成し、
前記入力顔画像の前記特徴点を、前記第2の回転モデルに規定される前記回転後の位置とすることによって、前記入力顔画像を前記所定の回転角度回転させた第2の回転画像を得る、ことをさらに含む
請求項1に記載の処理装置。
【請求項3】
前記演算処理は、生成した前記第2の回転モデルを、他の入力顔画像に対する前記演算処理においても読み出し可能にメモリに保存することをさらに含む
請求項2に記載の処理装置。
【請求項4】
前記演算処理は、生成した前記第2の回転モデルを、他の処理装置における前記演算処理においても読み出し可能にメモリに保存することをさらに含む
請求項2又は3に記載の処理装置。
【請求項5】
前記演算処理は、前記入力顔画像に前記第1の回転モデルの前記特徴点に対応した点を重畳し、前記入力顔画像の前記特徴点の候補点としてディスプレイに表示させることをさらに含み、
前記入力顔画像に前記特徴点を付与することは、前記候補点を補正し、前記入力顔画像における前記特徴点の位置を確定することを含む
請求項1~4のいずれか一項に記載の処理装置。
【請求項6】
前記演算処理は、前記標準顔画像に対して設定されている前記特徴点の位置及び数の少なくとも一方を変更する、ことをさらに含む
請求項1~5のいずれか一項に記載の処理装置。
【請求項7】
前記第1の回転モデルを読み出すことは、メモリに記憶されている複数の第1の回転モデルの中から前記入力顔画像に適用される前記第1の回転モデルを選択することを含む
請求項1~6のいずれか一項に記載の処理装置。
【請求項8】
前記複数の第1の回転モデルは、前記標準顔画像に設定された前記特徴点の数が他の回転モデルと異なる回転モデル、及び、規定される前記特徴点の前記所定の回転角度の回転前後の位置関係が他の回転モデルと異なる回転モデル、の少なくとも一方を含む
請求項7記載の処理装置。
【請求項9】
二次元の入力顔画像の回転画像の製造方法であって、
前記入力顔画像を受け付ける工程と、
二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した回転モデルを読み出す工程と、
前記入力顔画像に対して、前記標準顔画像の特徴点に対応した特徴点を付与する工程と、
前記入力顔画像の前記特徴点を、前記回転モデルに規定される前記回転後の位置とすることによって、前記入力顔画像を前記所定の回転角度、回転させた回転画像を得る工程と、を備える
回転画像の製造方法。
【請求項10】
二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定する回転モデルの製造方法であって、
二次元の入力顔画像を受け付ける工程と、
前記標準顔画像についての第1の回転モデルを読み出す工程と、
前記入力顔画像に対して、前記標準顔画像の特徴点に対応した特徴点を付与する工程と、
前記入力顔画像の前記特徴点を、前記第1の回転モデルに規定される前記回転後の位置とすることによって、前記入力顔画像を前記所定の回転角度、回転させた回転画像を得る工程と、
前記回転画像における前記特徴点の位置を変更することによって前記回転画像を補正する工程と、
補正後の前記回転画像に基づいて前記第1の回転モデルを変更して第2の回転モデルを製造する工程と、を備える
回転モデルの製造方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、処理装置、回転画像の製造方法、及び、回転モデルの製造方法に関する。
【背景技術】
【0002】
アニメーション制作などにおいて、顔画像を回転させて描画する工程がある。その工程において三次元コンピュータグラフィックス(3DCG)を利用することが考えられる。
【0003】
二次元のアニメーション映像における顔画像の回転は3DCGでのそれとは矛盾することが知られている。しかしながら、アニメーション映像における顔画像の回転は3DCGでのそれと比較して自然であり、単純な3DCGでの顔画像の回転は適切でないことが示されている。
【0004】
この点、下の非特許文献1では、二次元の入力画像を利用して回転画像を得ている。詳しくは、例えば正面向きの顔画像及び左向きの顔画像を入力画像とし、これらを補間して中間画像を生成することで、その顔画像を横方向に回転させる回転モデルを作成している。これによると、二次元的に顔画像を回転させるため、3DCGでの顔画像の回転よりも自然な画風の回転画像が得られる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】古澤知英,外4名,“正面及び側面の手描き顔画像からの顔回転シーン自動生成”,社団法人情報処理学会,平成26年3月,p.4-345-4-346
【発明の概要】
【0006】
しかしながら、非特許文献1に提案された技法では、ある回転方向の回転モデルを得るために、その回転方向に回転させた2以上の二次元の入力顔画像が必要となる。また、回転方向ごとに2以上の入力顔画像が必要となる。そのため、回転画像を得るために入力顔画像が多く必要とされる。そこで、必要とする入力顔画像を抑えて、自然な画風の任意の回転角度の回転画像が得られる処理装置、回転画像の製造方法、及び、回転画像の製造に用いる回転モデルの製造方法が望まれる。
【0007】
ある実施の形態に従うと、処理装置は、二次元の入力顔画像の回転画像を生成する処理装置であって、入力顔画像の回転画像を生成する演算処理を実行する演算部を備え、演算処理は、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した第1の回転モデルを読み出し、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与し、入力顔画像の特徴点を、第1の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた第1の回転画像を得る、ことを含む。
【0008】
ある実施の形態に従うと、回転画像の製造方法は二次元の入力顔画像の回転画像の製造方法であって、入力顔画像として受け付ける工程と、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した回転モデルを読み出す工程と、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与する工程と、入力顔画像の特徴点を、回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた回転画像を得る工程と、を備える。
【0009】
ある実施の形態に従うと、回転モデルの製造方法は二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定する回転モデルの製造方法であって、二次元の入力顔画像を受け付ける工程と、標準顔画像についての第1の回転モデルを読み出す工程と、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与する工程と、入力顔画像の特徴点を、第1の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた回転画像を得る工程と、回転画像における特徴点の位置を変更することによって回転画像を補正する工程と、補正後の回転画像に基づいて第1の回転モデルを変更して第2の回転モデルを製造する工程と、を備える。更なる詳細は、後述の実施形態として説明される。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態に係る処理装置の構造、及び、処理装置を含むシステム全体の構造の概略図である。
【
図2】
図2は、標準顔回転モデルの生成(製造)方法を説明するための図である。
【
図3】
図3は、顔画像の回転画像の生成(製造)方法を表したフローチャートである。
【
図4】
図4は、顔画像の回転画像の生成時に処理装置のディスプレイに表示される画面の具体例を表した図である。
【
図5】
図5は、顔画像の回転画像の生成時に処理装置のディスプレイに表示される画面の具体例を表した図である。
【
図6】
図6は、回転画像の補正、及び、ユーザ顔回転モデルの生成を説明するための図である。
【
図7】
図7は、顔画像の回転画像の生成時に処理装置のディスプレイに表示される画面の具体例を表した図である。
【
図8】
図8は、発明者らによる標準顔回転モデルの精度の検証結果を表した図である。
【
図9】
図9は、発明者らによるユーザ画像への標準顔回転モデルの適用の精度の検証結果を表した図である。
【
図10】
図10は、発明者らによるユーザ画像へのユーザ顔回転モデルの適用の精度の検証結果を表した図である。
【発明を実施するための形態】
【0011】
<1.処理装置、回転画像の製造方法、及び、回転モデルの製造方法の概要>
【0012】
(1)ある実施の形態に従う処理装置は、二次元の入力顔画像の回転画像を生成する処理装置であって、入力顔画像の回転画像を生成する演算処理を実行する演算部を備え、演算処理は、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した第1の回転モデルを読み出し、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与し、入力顔画像の特徴点を、第1の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた第1の回転画像を得る、ことを含む。
【0013】
入力顔画像は、マウスなどの操作装置を用いて描かれた顔画像であってもよいし、他の画像やメディアから読み込まれた顔画像であってもよい。入力顔画像は、線画であってもよいし、写真であってもよい。また、入力顔画像は静止画であっても動画であってもよい。入力顔画像は、主に、ヒトの顔の画像であるが、動物の顔、又は、擬人化されたキャラクタの顔、などの、ヒトの顔に類似する画像でもよい。
【0014】
回転画像は、顔画像において顔の向く向きを、顔画像とは異なる向きとした画像、つまり、回転させた画像を指す。入力顔画像の回転画像は、静止画であってもよいし、動画であってもよい。
【0015】
処理装置がかかる演算処理を実行することによって、二次元の入力顔画像を回転させるため、3DCGを用いるよりも自然な回転画像が得られるようになる。また、二次元の顔画像を入力するのみで、第1の回転モデルによって所望する回転角度、回転させた第1の回転画像が得られる。つまり、回転方向の2以上の顔画像を入力する必要なく、1つの顔画像の入力であっても第1の回転画像が得られる。そのため、ユーザは、二次元の入力顔画像を用意するだけで所望する回転角度に回転させた回転画像を容易に得ることができる。
【0016】
(2)好ましくは、演算処理は、第1の回転画像に対する特徴点の位置を変更する指示に従って特徴点の位置を変更することによって第1の回転画像を補正し、補正後の第1の回転画像に基づいて第1の回転モデルを変更して第2の回転モデルを生成し、入力顔画像の特徴点を、第2の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度回転させた第2の回転画像を得る、ことをさらに含む。第2の回転モデルが生成され、用いられることによって、よりユーザの所望に近い回転画像が得られる。
【0017】
(3)好ましくは、演算処理は、生成した第2の回転モデルを、他の入力顔画像に対する演算処理においても読み出し可能にメモリに保存することをさらに含む。これにより、第2の回転モデルを他の入力顔画像に対する演算処理においても利用することができる。
【0018】
(4)好ましくは、演算処理は、生成した第2の回転モデルを、他の処理装置における演算処理においても読み出し可能にメモリに保存することをさらに含む。これにより、第2の回転モデルを他の処理装置における演算処理においても利用することができる。
【0019】
(5)好ましくは、演算処理は、入力顔画像に第1の回転モデルの特徴点に対応した点を重畳し、入力顔画像の特徴点の候補点としてディスプレイに表示させることをさらに含み、入力顔画像に特徴点を付与することは、候補点を補正し、入力顔画像における特徴点の位置を確定することを含む。これにより、入力顔画像に候補点を付与するためのユーザ操作を簡単にすることができる。
【0020】
(6)好ましくは、演算処理は、標準顔画像に対して設定されている特徴点の位置及び数の少なくとも一方を変更することをさらに含む。これにより、標準顔画像の特徴点を変化させることができる。
【0021】
(7)好ましくは、第1の回転モデルを読み出すことは、メモリに記憶されている複数の第1の回転モデルの中から入力顔画像に適用される第1の回転モデルを選択することを含む。選択された回転モデルを入力顔画像に適用することで、ユーザの所望の回転具合に回転させた回転画像が得られる。
【0022】
(8)好ましくは、複数の第1の回転モデルは、標準顔画像に設定された特徴点の数が他の回転モデルと異なる回転モデル、及び、規定される特徴点の所定の回転角度の回転前後の位置関係が他の回転モデルと異なる回転モデル、の少なくとも一方を含む。これにより、ユーザは、所望の回転のさせ方をする回転モデルを選択して用いることができる。
【0023】
(9)ある実施の形態に従う回転画像の製造方法は二次元の入力顔画像の回転画像の製造方法であって、入力顔画像として受け付ける工程と、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定した回転モデルを読み出す工程と、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与する工程と、入力顔画像の特徴点を、回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた回転画像を得る工程と、を備える。
【0024】
このような製造方法によって回転させた回転画像が製造されることによって、二次元の顔画像を入力するのみで、第1の回転モデルによって所望する回転角度、回転させた第1の回転画像が得られる。つまり、回転方向の2以上の顔画像を入力する必要なく、1つの顔画像の入力であっても第1の回転画像が得られる。そのため、ユーザは、二次元の入力顔画像を用意するだけで所望する回転角度に回転させた回転画像を容易に得ることができる。
【0025】
(10)ある実施の形態に従う回転モデルの製造方法は、二次元の標準顔画像に設定された特徴点ごとの回転後の位置を、所定の回転角度に対して規定する回転モデルの製造方法であって、二次元の入力顔画像を受け付ける工程と、標準顔画像についての第1の回転モデルを読み出す工程と、入力顔画像に対して標準顔画像の特徴点に対応した特徴点を付与する工程と、入力顔画像の特徴点を、第1の回転モデルに規定される回転後の位置とすることによって、入力顔画像を所定の回転角度、回転させた回転画像を得る工程と、回転画像における特徴点の位置を変更することによって回転画像を補正する工程と、補正後の回転画像に基づいて第1の回転モデルを変更して第2の回転モデルを製造する工程と、を備える。
【0026】
このような製造方法によって回転モデルが製造されることによって、二次元の顔画像を入力するのみで、第1の回転モデルによって所望する回転角度、回転させた第1の回転画像が得られる。つまり、回転方向の2以上の顔画像を入力する必要なく、1つの顔画像の入力であっても第1の回転画像が得られる。そのため、ユーザは、二次元の入力顔画像を用意するだけで所望する回転角度に回転させた回転画像を容易に得ることができる。更なる詳細は、後述の実施形態として説明される。
【0027】
<3.処理装置、回転画像の製造方法、及び、回転モデルの製造方法の例>
【0028】
本実施の形態に係る処理装置10は、入力された顔画像(以下、入力顔画像)の回転画像を生成する。入力顔画像は二次元画像であって、主に、ヒトの顔の画像であるが、動物の顔、又は、擬人化されたキャラクタの顔、などの、ヒトの顔に類似する画像でもよい。
【0029】
入力顔画像は、線画であってもよいし、写真であってもよい。また、入力顔画像は静止画であっても動画であってもよい。入力顔画像が動画の場合、動画を構成する各フレームに対して後述する演算処理が行われて回転画像が生成される。入力顔画像の回転画像は、静止画であってもよいし、動画であってもよい。
【0030】
回転画像は、顔画像において顔の向く向きを、顔画像とは異なる向きとした画像、つまり、回転させた画像を指す。回転方向は、横回転方向と縦回転方向とを含む。横回転方向は、身体の軸を回転中心とした回転方向であり、縦回転方向は、首を回転中心とし、両耳を結ぶ線と平行な方向を回転中心とした回転方向である。これらの組み合わせによって、任意の顔の角度とすることができる。
【0031】
図1を参照して、処理装置10は、プロセッサ11とメモリ12とを有するコンピュータで構成される。プロセッサ11は、例えば、CPUである。メモリ12は、フラッシュメモリ、EEPROM、ROM、RAMなどを含む。または、メモリ12は、一次記憶装置であってもよいし、二次記憶装置であってもよい。
【0032】
メモリ12は、プロセッサ11で実行される回転画像作成プログラム121を記憶している。プロセッサ11は、回転画像作成プログラム121を実行することによって、顔画像の回転画像を生成する演算処理(以下、演算処理と略する)を実行する。
【0033】
メモリ12は、さらに、1又は複数のユーザ画像122を記憶していてもよい。ユーザ画像122は、後述するプロセッサ11での処理に用いることが可能な顔画像を指す。
【0034】
処理装置10は、ディスプレイ14を有する。また、処理装置10は、操作装置15を有する。操作装置15は、入力顔画像を受け付ける入力部の一例であって、例えば、タッチペンやマウスやタッチパネルなどである。操作装置15は、顔画像を描画することで入力してもよいし、顔画像の候補の中から入力顔画像を選択してもよい。操作装置15に対するユーザ操作を示す操作信号はプロセッサ11に入力される。
【0035】
処理装置10は、インターネットなどのネットワーク70を介して他の装置と通信可能な通信装置13を有する。一例として、通信装置13は、サーバ30にアクセス可能である。なお、通信装置13は必須ではない。後述の標準顔回転モデル32が、後述のように処理装置10のメモリ12に記憶されており、サーバ30のアクセスなく演算処理が実行可能である場合、通信装置13は不要となる。
【0036】
なお、メモリ12に記憶されているユーザ画像122を入力顔画像としてもよい。ユーザ画像122は、通信装置13で他の装置と通信することによって他の装置から得られた画像であってもよいし、以前に操作装置15で作成し保存していた画像であってもよい。その場合、入力顔画像とするユーザ画像122を選択する操作を行う操作装置15が入力部の一例として機能している。また、サーバ30など他の装置に記憶されている画像を入力顔画像としてもよい。この場合、サーバ30などの他の装置にアクセスする通信装置13が入力部の一例として機能している。
【0037】
プロセッサ11の実行する演算処理は、読み出し処理111を含む。読み出し処理111は、プロセッサ11が、標準顔回転モデル(第1の回転モデル)32を読み出すことを含む。標準顔回転モデル32は、二次元の標準顔画像に設定された特徴点ごとに、回転後の位置を、所定の回転角度に対して規定したモデルである。所定の回転角度は、横回転方向及び縦回転方向の少なくとも一方の回転方向である。
【0038】
サーバ30は、
図1に示されたように、標準顔回転モデル32を記憶するための標準顔回転モデル記憶部31を有し、1又は複数の標準顔回転モデル32を記憶している。読み出し処理111は、プロセッサ11が通信装置13にサーバ30から標準顔回転モデル32の取得を指示することを含む。なお、標準顔回転モデル32は、
図1に示されたように、サーバ30に替えて、又は、サーバ30に加えて、メモリ12に記憶されていてもよい。この場合、読み出し処理111は、プロセッサ11がメモリ12から標準顔回転モデル32を読み出すことを含む。以降の例では、プロセッサ11がサーバ30から標準顔回転モデル32を取得して演算処理を実行するものとしているが、メモリ12から標準顔回転モデル32を読み出す場合も同様である。
【0039】
標準顔回転モデル記憶部31は、複数の標準顔回転モデル32A,32B,…を記憶していてもよい。複数の標準顔回転モデル32A,32B,…は、同一の標準顔に対して、規定する特徴点の回転後の位置が異なるもの、及び、標準顔画像に設定された特徴点の数や位置が他の回転モデルと異なるもの、の少なくとも一方である。この場合、読み出し処理111は複数の標準顔回転モデル32A,32B,…から、演算処理に用いる1つの標準顔回転モデル32を選択することを含む。選択は、特定の条件を用いてプロセッサ11が行うものであってもよいし、操作装置15へのユーザ操作などに従って行うものであってもよい。
【0040】
プロセッサ11の実行する演算処理は、特徴点付与処理112を含む。特徴点付与処理112は、入力顔画像に対して、読み出し処理111で読み出した標準顔回転モデル32における標準顔画像の特徴点に対応した特徴点を付与することを含む。特徴点を付与することは、入力顔画像における特徴点の位置を確定し、入力顔画像と各特徴点の位置を示す情報とを関連付けることを含む。
【0041】
特徴点付与処理112は、一例として、入力顔画像をディスプレイ14に表示し、操作装置15で受け付けた入力顔画像に対する特徴点の位置を指定するユーザ操作に従って特徴点の位置を確定することを含んでもよい。この場合、ユーザは、入力顔画像に対して任意の位置に特徴点を設定することができる。
【0042】
特徴点付与処理112は、他の例として、入力顔画像に標準顔回転モデル32における標準顔画像の特徴点に対応した点を重畳し、入力顔画像の特徴点の候補点としてディスプレイ14に表示することを含んでもよい。この場合、特徴点付与処理112は、候補点を補正することをさらに含んでもよい。補正は、ディスプレイ14に表示した候補点の位置を修正するユーザ操作を操作装置15で受け付けることによって行うことができる。これにより、特徴点それぞれを指定する場合に比べてユーザ操作の手間を抑えることができる。
【0043】
プロセッサ11の実行する演算処理は、回転画像生成処理113を含む。回転画像生成処理113は、入力顔画像を指定された回転角度、回転させた回転画像を得ることを含む。一例として、回転画像生成処理113において、プロセッサ11は、入力顔画像の各特徴点を、指定された回転角度について、標準顔回転モデル32に規定される回転後の位置とする。これにより、入力顔画像を所定の回転角度、回転させた第1の回転画像が得られる。
【0044】
プロセッサ11の実行する演算処理は、補正処理114を含む。補正処理114は、回転画像生成処理113によって得られた第1の回転画像の特徴点の位置を変更することを含む。特徴点の位置の変更は、操作装置15に対するユーザ操作などに従って行われる。これにより、ユーザは、意図した回転画像に近づけることができる。
【0045】
プロセッサ11の実行する演算処理は、回転モデル生成処理115を含む。回転モデル生成処理115は、補正後の第1の回転画像に基づいて第1の回転モデルを変更してユーザ顔回転モデル(第2の回転モデル)34を生成することを含む。具体的には、標準顔画像に設定された特徴点を、補正後の第1の出力顔画像の特徴点と移動させるよう、第1の回転モデルを変更する。これにより、ユーザの意図した回転画像となるように各特徴点の回転後の位置を規定したユーザ顔回転モデル34が生成される。
【0046】
プロセッサ11の実行する演算処理は、回転モデル登録処理116を含む。回転モデル登録処理116は、回転モデル生成処理115によって生成されたユーザ顔回転モデル34をメモリに保存することを含む。
【0047】
メモリは、一例としてメモリ12である。これにより、処理装置10のプロセッサ11が、異なる入力顔画像の回転画像を生成する演算処理において、ユーザ顔回転モデル34を用いることができる。つまり、他の入力顔画像にもユーザ顔回転モデル34を活用することができ、その回転画像の生成を容易にすることができる。
【0048】
メモリは、一例としてサーバ30であって、この場合、サーバ30にはユーザ顔回転モデル記憶部33が用意されている。ユーザ顔回転モデル記憶部33は、他の処理装置もアクセス可能な記憶領域であって、アニメーション制作におけるコミュニティなどが想定される。これにより、異なる処理装置での入力顔画像の回転画像を生成する演算処理において、ユーザ顔回転モデル34を用いることができる。つまり、他のユーザもユーザ顔回転モデル34を活用することができ、その回転画像の生成を容易にすることができる。
【0049】
回転モデル登録処理116において、プロセッサ11は、一例としてユーザ顔回転モデル記憶部33にユーザ顔回転モデル34を保存する。これにより、あるユーザが自身の好みによって作成したユーザ顔回転モデル34を、他のユーザも用いることができるようになる。また、
図1に示されるように、ユーザ顔回転モデル記憶部33に複数のユーザ顔回転モデル34A,34B,…が保存されている場合、他のユーザはその中から選択して演算処理に用いることができる。
【0050】
標準顔回転モデル32は、他の処理装置50によって生成されてもよい。他の処理装置50もまた、プロセッサ51とメモリ52とを有するコンピュータで構成される。また、他の処理装置50は、ネットワーク70を介してサーバ30と通信可能な通信装置53を有する。
【0051】
メモリ52は、プロセッサ51で実行される回転モデル作成プログラム521を記憶している。プロセッサ51は、回転モデル作成プログラム521を実行することで、標準顔回転モデル32を生成する。生成された標準顔回転モデル32は、サーバ30の標準顔回転モデル記憶部31に記憶される。
【0052】
図2を用いて、処理装置50での標準顔回転モデルの生成(製造)方法について説明する。
図2を参照して、標準顔回転モデルの作成には、基準となる正面向きの二次元の標準顔画像80に対して、横方向回転用入力画像群G1、縦方向回転用入力画像群G2、及び、横向き時の縦方向回転用入力画像群G3の7枚の顔画像が用いられる。
【0053】
具体的には、横方向回転用入力画像群G1として、少なくとも、正面向きの標準顔画像80及び横方向に90°回転させた標準顔画像81が用いられる。好ましくは、さらに、標準顔画像81の半分の回転角度(45°)回転させた標準顔画像82が用いられる。縦方向回転用入力画像群G2として、正面向きの標準顔画像80及び上下それぞれ90°回転させた標準顔画像83,84が用いられる。横向き時の縦方向回転用入力画像群G3として、横向きの標準顔画像81及び上下それぞれ90°回転させた標準顔画像85,86が用いられる。
【0054】
処理装置50のプロセッサ51は、これら二次元の顔画像の入力を受け付けると、各画像の予め規定された位置に特徴点を設定する。特徴点は、入力された顔画像の直線の始点と終点や曲線の頂点など構造的に特徴のある箇所に設定され、一例として、各顔画像に53個設定される。なお、正面顔においては鼻筋のライン、横顔においては奥側の目や眉、顎の輪郭に対応する線が存在しないため、仮想的なライン上に配置するものとする。
【0055】
処理装置50のプロセッサ51は、7方向の顔画像の特徴点を入力とし、各特徴点の二次元座標を任意の顔の方向において規定する。具体的には、横方向の回転角度をθ、縦方向の回転角度をφとしたとき、任意の角度(θ,φ)における各特徴点の二次元座標を与える関数xi(θ,φ)(i=1,2,3,…53)を、下の手順で決定する。
【0056】
すなわち、
図2を参照して、プロセッサ51は、横方向回転用入力画像群G1である顔画像80,81,82を用いて、縦方向の回転を0(φ=0)のときの横方向の回転における各特徴点の位置を表す、
図2の式(1)に示される関数xi(θ,0)を決定する(ステップS1)。ここでは、顔画像80,81,82それぞれの対応する特徴点3点を補間して得られる経路を2次関数で表すものとしているが、他の方法であってもよい。以降のステップS2,3も同様である。
【0057】
同様に、プロセッサ51は、縦方向回転用入力画像群G2である顔画像80,83,84を用いて、横方向の回転を0(θ=0)のときの縦方向の回転における各特徴点の位置を表す、
図2の式(2)に示される関数xi(0,φ)を決定する(ステップS2)。また、プロセッサ51は、横向き時の縦方向回転用入力画像群G3である顔画像81,85,86を用いて、横方向の回転を90(θ=π/2)のときの縦方向の回転における各特徴点の位置を表す、
図2の式(3)に示される関数xi(π/2,φ)を決定する(ステップS3)。
【0058】
プロセッサ51は、ステップS1~3で決定した式(1)~(3)に表された関数xi(θ,0)、関数xi(0,φ)、及び関数xi(π/2,φ)に基づいて、任意の角度(θ,φ)における各特徴点の位置を表す関数xi(θ,φ)を決定する(ステップS4)。ここでは、式(2)で表される縦方向回転の関数xi(0,φ)に対して式(1)で表される横方向回転の関数xi(θ,0)を適用し、さらに、式(3)で表される関数xi(π/2,φ)を同時に満たすように補正することで、関数xi(θ,φ)が得られる。関数xi(θ,φ)は
図2の式(4)で表され、この関数xi(θ,φ)が標準顔回転モデル32となる。標準顔回転モデル32を用いることにより、標準顔画像上のある位置を示す二次元座標が、任意の回転角度、回転した位置を示す二次元座標に変換される。
【0059】
二次元の標準顔画像から得られた式(1)~(3)に表された関数xi(θ,0)、関数xi(0,φ)、及び関数xi(π/2,φ)に基づいて得られた関数xi(θ,φ)を標準顔回転モデル32とすることによって、日本のアニメーションの作風に特有の自然な回転画像が得られるようになる。また、1枚の入力顔画像に標準顔回転モデル32を適用することで、入力顔画像を任意の回転角度、回転させた回転画像が得られる。
【0060】
横方向回転用入力画像群G1、縦方向回転用入力画像群G2、及び、横向き時の縦方向回転用入力画像群G3の少なくとも1つにおいて特徴的な回転動作を行う顔画像を用いることによって、上の方法で製造される回転モデルで特徴的な回転方法を規定することができる。例えば、特定のアニメーション作品で多用される振り向き方、俯き方、などに応じた顔画像を用いることで、その特定のアニメーション作品の作風に模した回転画像を得るための回転モデルが生成される。このようにして作成された複数の種類の回転モデルがサーバ30に用意されていてもよい。
【0061】
図3のフローチャートを用いて、処理装置10での顔画像の回転画像の生成(製造)方法を説明する。
図3のフローチャートで表される処理は、処理装置10において回転画像作成プログラム121が起動したタイミングや、回転画像作成プログラム121を含むアニメーション作成プログラムの動作中に、顔画像の回転を指示するユーザ操作が行われたタイミング、などに開始される。
【0062】
図1に示されたように、サーバ30に複数の種類の標準顔回転モデル32A,32B,…が用意されている場合、処理装置10のプロセッサ11は、処理に用いる標準顔回転モデルの選択を受け付ける(ステップS100)。また、プロセッサ11は、ユーザ画像(顔画像)を入力顔画像として受け付ける(ステップS101)。
【0063】
プロセッサ11は、用いる標準顔回転モデル32をサーバ30から読み出し(ステップS103)、ステップS101で受け付けた入力顔画像に対して、標準顔回転モデル32における標準顔画像の特徴点に対応した特徴点を付与する(ステップS105)。
【0064】
一例として、ステップS101でプロセッサ11は、
図4の画面91をディスプレイ14に表示させ、画面91において顔画像IM1の入力を受け付ける。画面91は、顔画像IM1の入力位置の基準となるマークを含み、具体的には、横方向基準線L1、縦方向基準線L2、及び輪郭線L3を含む。これにより、基準とする位置に顔画像IM1が入力されるようになる。
【0065】
入力画面91で顔画像IM1が入力されると、ステップS105でプロセッサ11は、
図5の画面91を画面92に遷移させる。画面92では、標準顔回転モデル32における標準顔画像の特徴点に対応した点を重畳し、画像IM1の特徴点の候補点として表している。例えば、プロセッサ11は、頤部に相当する特徴点CP1、顎の角部に相当する特徴点CP3、それらの中間位置の特徴点CP2-1、耳の付け根に相当する特徴点CP4、耳輪の最高位置に相当する特徴点CP11、鼻尖部に相当する特徴点CP5、鼻柱の付け根に相当する特徴点CP6、鼻根に相当する特徴点CP7、眉頭に相当する特徴点CP8、眉尻に相当する特徴点CP9-1、及び、眉山に相当する特徴点CP10を特徴点の候補点として画像IM1に重畳して表示する。これら候補点の位置は、用いる標準顔回転モデル32ごとに横方向基準線L1、縦方向基準線L2、及び輪郭線L3からの位置関係を用いて記憶されている。
【0066】
画面92は、表示された候補点を特徴点と決定することを指示するボタン921を含む。ボタン921が押されることによって、プロセッサ11は、そのときに候補点として表示されていた点を画像IM1の特徴点に決定する。
【0067】
好ましくは、ステップS105でプロセッサ11は、画面92に示した画像IM1の特徴点の候補点の位置の変更を受け付ける。
図4の例では、特徴点CP2-1を顔の内側に移動させる操作M11、及び、特徴点CP9-1を下側に移動させる操作M12を受け付けたことが示されている。この場合、プロセッサ11は、操作M11,M12に従って特徴点CP2-1及び特徴点CP9-1の位置を変更し、それぞれ、特徴点CP2及び特徴点CP9として表示する。この状態でボタン921が押されることによって、プロセッサ11は、特徴点CP2及び特徴点CP9を決定する。これにより、標準顔画像とユーザ画像との画像の違いによる特徴点の位置を適切に修正することができる。
【0068】
ステップS105で画像IM1に特徴点が付与されると、プロセッサ11は、画像IM1の回転画像を生成する(ステップS107)。ここでは、プロセッサ11は、画像IM1に設定された各特徴点をステップS103で読み出された標準顔回転モデル32に規定される、指定された回転角度、回転後の位置とする。
【0069】
具体的には、
図5に示されたように、プロセッサ11は、画像IM1に設定された各特徴点CP1~CP11の座標を、指定された回転角度(θ,φ)における
図2の式(4)で表された標準顔回転モデル32の関数xi(θ,φ)に代入することで、回転後の特徴点CP21~CP31を得る。これら特徴点CP21~CP31を補間することにより、画像IM1を指定された回転角度、回転させた画像(第1の回転画像)IM2を得る。
【0070】
ステップS107で
図5に示されたように回転画像を生成すると、プロセッサ11は、
図5の画面93をディスプレイ14に表示する。画面93は、生成した画像IM2の表示と、表示された画像IM2の特徴点CP21~CP31を変更しない、つまり、画像IM2を第1の出力顔画像と決定することを指示するボタン931を含む。ボタン931が押されることによって(ステップS109でNO)、プロセッサ11は、画像IM2を出力する(ステップS121)。
【0071】
画面93では画像IM2の特徴点CP21~CP31の位置の変更を受け付ける。詳しくは、
図6を参照して、
図6の例では、特徴点CP21を左向きに移動させる操作M21、特徴点CP23を左向きに移動させる操作M22、特徴点CP25を左下向きに移動させる操作M23、及び、特徴点CP31を左上向きに移動させる操作M24を受け付けたことが示されている(ステップS109でYES)。
【0072】
この場合、プロセッサ11は、操作M21~24に従って、それぞれ、特徴点CP2-1及び特徴点CP9-1の位置を変更し、特徴点CP21、特徴点CP23、特徴点CP25、特徴点CP31を、それぞれ、特徴点CP41、特徴点CP43、特徴点CP45、特徴点CP51に変更して表示する。この状態でボタン931が押されることによって、プロセッサ11は、位置が修正された特徴点を決定する。
【0073】
プロセッサ11は、決定された特徴点に基づいて、ステップS107で得られた画像IM2を補正して顔画像IM3を得る(ステップS111)。具体的には、プロセッサ11は、決定された特徴点CP22~CP30,CP41,45,51を補間することにより、画像IM2を画像IM3に補正する。
【0074】
このとき、プロセッサ11は、
図6に示されたように、補正した画像IM3と、ステップS101で入力された顔画像IM1とを用いて、ユーザ顔回転モデル(第2の回転モデル)34を生成する(ステップS113)。ステップS113では、一例として、ステップS109で位置が修正された特徴点を用いて、ステップS103で読み出した標準顔回転モデル32を変更してユーザ顔回転モデル34を生成する。
【0075】
具体的には、標準顔回転モデル32の特徴点CP1,CP3,CP5,CP11が指定された回転角度、回転後の位置を特徴点CP41、特徴点CP43、特徴点CP45、特徴点CP51とするよう、式(1)~(3)を修正し、修正後の式(1)~(3)から関数xi(θ,φ)を算出する。これにより、ユーザの任意の回転モデルが生成される。
【0076】
プロセッサ11は、ステップS113で生成されたユーザ顔回転モデル34をサーバ30のユーザ顔回転モデル記憶部33に登録する(ステップS115)。具体的には、ステップS113で算出された関数xi(θ,φ)をユーザ顔回転モデル34としてユーザ顔回転モデル記憶部33に登録する。これにより、他のユーザ顔画像から回転画像を生成する際や、他の処理装置での顔画像の回転画像を生成する際に、ここで生成されたユーザ顔回転モデル34を用いることが可能になる。
【0077】
プロセッサ11は、
図7に示されたように、ステップS101で入力した顔画像IM1に対してステップS113で生成されたユーザ顔回転モデル34を用いることで、顔画像IM1の回転画像である顔画像(第2の回転画像)IM4を生成する(ステップS117)。プロセッサ11は、顔画像IM4を出力する(ステップS119)。
【0078】
以上の処理が行われることで、ユーザは、二次元の入力顔画像を1枚用意するだけで、所望する回転角度に回転させた回転画像を容易に得ることができる。また、そのとき用いた標準顔回転モデル32をユーザの回転画像の修正に応じて変更することによってユーザ顔回転モデル34が生成されることによって、ユーザの所望する回転方法にて回転する回転画像が得られるとともに、生成されたユーザ顔回転モデル34が他の処理装置や他のタイミングでアクセス可能な記憶領域に記憶されることで、活用されるようになる。
【0079】
発明者らは、
図2に示された方法で生成された標準顔回転モデル32の精度を検証し、
図8の結果を得た。この検証では、正面向き(θ,φ)=(0,0)の標準顔画像IM5を、標準顔回転モデル32を用いて、第1の回転角度(θ,φ)=(π/6,π/9)回転させた回転画像IM51を得、回転画像IM51の特徴点座標の正解例との比較結果を算出した。また、標準顔画像IM5を、第2の回転角度(θ,φ)=(5π/12,π/9)回転させた回転画像IM52を得、回転画像IM52の特徴点座標の正解例との比較結果を算出した。
【0080】
なお、回転画像IM51及びIM52に重畳された細線の画像は、正解例を表している。以降の検証結果でも同様である。
【0081】
正解例との比較は、顔形状を保つ上で寄与の大きい、左目、右目、左眉、右眉、鼻、下顎、及び、右顎からそれぞれ1点ずつ抽出した合計7つの特徴点に対して、横方向の誤差(X誤差)及び縦方向の誤差(Y誤差)それぞれにおいて座標の誤差を、画像の大きさに対する割合として算出した。
【0082】
図8を参照して、全体の結果としては、いずれの回転角度においても比較的誤差が小さく良質な結果が得られた。これら第1の回転角度及び第2の回転角度の結果を比較すると、回転角度の小さい第1の回転角度の方が全体的に誤差は大きくなっている。回転画像IM51と回転画像IM52とを比較すると、回転画像IM52の下顎に対して大きな誤差が見られ、全体的なバランスとしては回転画像IM51の方が良質である。第1の回転角度及び第2の回転角度の結果の下顎の部分の誤差は全体がそれぞれ2.5%及び3.0%であることから、全体の誤差3.0%が良質な結果であるか否かを判定し得る閾値と推測される。
【0083】
また、発明者らは、ユーザ画像への標準顔回転モデル32の適用の精度を検証し、
図9の結果を得た。この検証では、正面向き(θ,φ)=(0,0)のユーザ画像IM6を、標準顔回転モデル32を用いて、第1の回転角度(θ,φ)=(π/6,π/9)回転させた回転画像IM61を得、回転画像IM61の特徴点座標の正解例との比較結果を算出した。また、ユーザ画像IM6を、第2の回転角度(θ,φ)=(5π/12,π/9)回転させた回転画像IM62を得、回転画像IM62の特徴点座標の正解例との比較結果を算出した。特徴点は、
図8の検証と同じ点を用いた。
【0084】
図9を参照して、全体の結果としては、
図8の検証と比較して誤差が大きいものの、ユーザ画像IM6の特徴を維持して回転画像が得られている。部分ごとを検証すると、目や眉に関しては上記の閾値より誤差が大きく、特に縦方向回転を含んだ回転後の画像では目や眉の位置がずれており、良質な結果が得られなかった。
【0085】
また、発明者らは、ユーザ画像へのユーザ顔回転モデル34の適用の精度を検証し、
図10の結果を得た。この検証では、正面向き(θ,φ)=(0,0)のユーザ画像IM6を、ユーザ顔回転モデル34を用いて、第1の回転角度(θ,φ)=(π/6,π/9)回転させた回転画像IM71を得、回転画像IM71の特徴点座標の正解例との比較結果を算出した。また、ユーザ画像IM6を、第2の回転角度(θ,φ)=(5π/12,π/9)回転させた回転画像IM72を得、回転画像IM72の特徴点座標の正解例との比較結果を算出した。特徴点は、
図8の検証と同じ点を用いた。
【0086】
図10を参照して、第2の回転角度について、
図9の検証と比較して正解例との比較結果が向上していることが分かった。特に、
図9の検証において良質な結果が得られなかった目や眉に関して向上が見られる。
【0087】
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
【符号の説明】
【0088】
10 :処理装置
11 :プロセッサ
12 :メモリ
13 :通信装置
14 :ディスプレイ
15 :操作装置
30 :サーバ
31 :標準顔回転モデル記憶部
32 :標準顔回転モデル
32A :標準顔回転モデル
32B :標準顔回転モデル
33 :ユーザ顔回転モデル記憶部
34 :ユーザ顔回転モデル
34A :ユーザ顔回転モデル
34B :ユーザ顔回転モデル
50 :処理装置
51 :プロセッサ
52 :メモリ
53 :通信装置
70 :ネットワーク
80 :顔画像
81 :顔画像
82 :顔画像
83 :顔画像
84 :顔画像
85 :顔画像
86 :顔画像
91 :画面
92 :画面
93 :画面
94 :画面
111 :読み出し処理
112 :特徴点付与処理
113 :回転画像生成処理
114 :補正処理
115 :回転モデル生成処理
116 :回転モデル登録処理
121 :回転画像作成プログラム
122 :ユーザ画像
521 :回転モデル作成プログラム
921 :ボタン
931 :ボタン
CP1 :特徴点
CP10 :特徴点
CP11 :特徴点
CP2 :特徴点
CP2-1 :特徴点
CP21 :特徴点
CP22 :特徴点
CP23 :特徴点
CP24 :特徴点
CP25 :特徴点
CP26 :特徴点
CP27 :特徴点
CP28 :特徴点
CP29 :特徴点
CP3 :特徴点
CP30 :特徴点
CP31 :特徴点
CP4 :特徴点
CP41 :特徴点
CP43 :特徴点
CP45 :特徴点
CP5 :特徴点
CP51 :特徴点
CP6 :特徴点
CP7 :特徴点
CP8 :特徴点
CP9 :特徴点
CP9-1 :特徴点
G1 :横方向回転用入力画像群
G2 :縦方向回転用入力画像群
G3 :縦方向回転用入力画像群
I3 :顔画像
IM1 :画像
IM2 :画像
IM3 :画像
IM4 :顔画像
IM5 :標準顔画像
IM51 :回転画像
IM52 :回転画像
IM6 :ユーザ画像
IM61 :回転画像
IM62 :回転画像
IM71 :回転画像
IM72 :回転画像
L1 :横方向基準線
L2 :縦方向基準線
L3 :輪郭線
M11 :操作
M12 :操作
M21 :操作
M22 :操作
M23 :操作
M24 :操作