特開 2022-28090 ３次元モデル編集装置および３次元モデル編集方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022028090

(43)【公開日】2022-02-15

(54)【発明の名称】３次元モデル編集装置および３次元モデル編集方法、並びにプログラム

(51)【国際特許分類】

   G06T 19/20 20110101AFI20220207BHJP

【ＦＩ】

G06T19/20

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2018237309

(22)【出願日】2018-12-19

(71)【出願人】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【識別番号】100082131

【弁理士】

【氏名又は名称】稲本 義雄

(72)【発明者】

【氏名】船越 稜平

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050AA09

5B050BA07

5B050BA12

5B050EA05

5B050EA13

5B050EA27

(57)【要約】

【課題】３次元モデルの編集を容易に行う。
【解決手段】３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で３次元モデルの特徴を表す特徴点とが取得される。そして、それらの特徴点を利用して、それぞれ対応する特徴点どうしを一致させ、編集が施された２次元画像に合わせて３次元モデルを変形する。そして、変形された３次元モデルに対して、編集された２次元画像を投影してテクスチャが張り付けられる。本技術は、例えば、３次元モデルを編集する３次元モデル編集装置に適用できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集装置。

【請求項2】

前記３次元モデルをレンダリングして前記２次元画像を描画し、
前記２次元画像に対するユーザによる編集操作に従って、前記２次元画像を編集する
請求項１に記載の３次元モデル編集装置。

【請求項3】

前記３次元モデルから前記特徴点を取得し、
編集された前記２次元画像から前記特徴点を取得する
請求項１に記載の３次元モデル編集装置。

【請求項4】

変形された前記３次元モデルに対して、編集された前記２次元画像を投影してテクスチャを張り付ける
請求項１に記載の３次元モデル編集装置。

【請求項5】

変形された前記３次元モデルを入力として前記２次元画像を描画し、前記２次元画像の編集および前記３次元モデルの変形を繰り返して行う
請求項１に記載の３次元モデル編集装置。

【請求項6】

前記３次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
請求項１に記載の３次元モデル編集装置。

【請求項7】

３次元モデル編集装置が、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集方法。

【請求項8】

３次元モデル編集装置のコンピュータに、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
処理を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、３次元モデル編集装置および３次元モデル編集方法、並びにプログラムに関し、特に、３次元モデルの編集を容易に行うことができるようにした３次元モデル編集装置および３次元モデル編集方法、並びにプログラムに関する。

【背景技術】

【0002】

従来、３次元モデルを編集する技術として、様々な技術が提案されている。

【0003】

例えば、特許文献１には、人物の３次元モデルに対する編集が行われたときに、編集後の３次元モデルの形状に最も適したテクスチャをデータベースから選択することで、３次元モデルの変形に応じてテクスチャを変化させることを可能とした顔画像を編集する方法が開示されている。

【0004】

また、特許文献２には、２次元画像に基づいて３次元モデルを生成するために、２次元画像と３次元モデルとを重畳して表示しながら、３次元モデルに対する編集を可能としたモデリングシステムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２０１７－５３１２４２号公報

【特許文献2】特開平０９－０９７３５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、上述した特許文献１で開示されている技術では、人物の動画像を事前に取得して、人物の表情が変化したときの３次元モデルおよびテクスチャのデータベースを予め構築する必要がある。さらに、テクスチャを変化させたときに３次元モデルが連動するように変化させる編集を行うことは困難であった。

【0007】

また、上述した特許文献２で開示されている技術では、２次元画像の輪郭情報に合うように３次元モデルの形状パラメータを自動で変化させることで、２次元画像に合わせた３次元モデルの生成を可能としている。しかしながら、３次元モデルが複雑なパラメータから構成される場合や、物体の輪郭が滑らかでエッジが曲線となるような物体の場合には、対応点の計算が困難になり、正しい変形を行うように編集することは困難であった。

【0008】

本開示は、このような状況に鑑みてなされたものであり、３次元モデルの編集を容易に行うことができるようにするものである。

【課題を解決するための手段】

【0009】

本開示の一側面の３次元モデル編集装置は、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する。

【0010】

本開示の一側面の３次元モデル編集方法またはプログラムは、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する。

【0011】

本開示の一側面においては、３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する特徴点どうしを一致させ、編集が施された２次元画像に合わせて３次元モデルが変形される。

【図面の簡単な説明】

【0012】

【図1】本技術を適用した３次元モデル編集システムの一実施の形態の構成例を示すブロック図である。

【図2】２次元画像および３次元モデルの対応点について説明する図である。

【図3】２次元画像上の対応点が３次元モデル上の対応点と一致している状態を示す図である。

【図4】２次元画像上の対応点が３次元モデル上の対応点と不一致となった状態を示す図である。

【図5】３次元モデル上の対応点を２次元画像上の対応点に一致するように変形させる変形処理について説明する図である。

【図6】３次元モデル編集処理を説明するフローチャートである。

【図7】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

【0014】

＜３次元モデル編集システムの構成例＞
図１は、本技術を適用した３次元モデル編集システムの一実施の形態の構成例を示すブロック図である。

【0015】

図１に示すように、３次元モデル編集システム１１は、３次元モデル取得部２１、ユーザ操作入力部２２、出力部２３、および３次元モデル編集部２４を備えて構成される。

【0016】

３次元モデル取得部２１は、例えば、被写体を囲うように配置される複数台の撮像装置により構成され、それらの撮像装置により取得される複数枚の画像から、被写体の３次元モデルを取得して３次元モデル編集部２４に入力する。

【0017】

ユーザ操作入力部２２は、例えば、キーボードやマウス、タッチパネルなどの操作デバイスにより構成され、ユーザによる操作が行われると、その操作に応じたユーザ操作情報を３次元モデル編集部２４に入力する。例えば、３次元モデル編集システム１１では、後述するように、３次元モデルから２次元画像を描画する際の視点を指定する視点情報や、２次元画像を編集する操作に応じた編集情報などが、ユーザ操作情報として３次元モデル編集部２４に入力される。

【0018】

出力部２３は、３次元モデル編集部２４において編集処理が施された３次元モデルを、３次元モデル編集システム１１の外部へ出力する。例えば、出力部２３は、３次元モデルをレンダリングして得られる画像を表示する表示装置や、３次元モデルを構成するデータをデータ通信によりユーザ端末へ送信する送信装置により構成することができる。

【0019】

３次元モデル編集部２４は、例えば、３次元モデル取得部２１により取得された３次元モデルに対して、ユーザ操作入力部２２から入力されるユーザ操作情報に基づいて編集処理を施し、出力部２３を介して出力する。即ち、３次元モデル編集部２４は、図１に示すように、２次元画像描画部３１、画像編集部３２、対応点取得部３３および３４、３次元モデル変形部３５、並びにテクスチャ再投影部３６を備えて構成さる。

【0020】

２次元画像描画部３１は、３次元モデル取得部２１から供給される３次元モデルをレンダリングし、任意の仮想カメラから見た２次元画像を描画して、その結果得られる２次元画像を画像編集部３２に供給する。このとき、２次元画像描画部３１は、仮想カメラの解像度や、視野角、視点位置などのようにレンダリングに必要な設定事項を自由に選択してレンダリングを行うことができる。例えば、２次元画像描画部３１は、変形された３次元モデルに貼り付けるテクスチャを得るのに適していると予め設定されている設定事項を用いたり、ユーザ操作入力部２２から供給される視点情報に従った設定事項を用いたりすることができる。

【0021】

ここで、２次元画像描画部３１がレンダリングに使用する仮想カメラの内部パラメータＩｎｔおよび外部パラメータＥｘｔを用いて、３次元モデルの頂点（Ｘ，Ｙ，Ｚ）の２次元画像上での投影位置（ｕ，ｖ）は、次の式（１）で表される。

【0022】

【数1】

【0023】

画像編集部３２は、図示しない表示装置に表示される２次元画像を見ながらユーザがユーザ操作入力部２２に対する操作を行ってユーザ操作情報として入力される編集情報に基づいて、２次元画像描画部３１から供給される２次元画像に対する編集処理を行う。例えば、３次元モデル編集システム１１では、ユーザが、自身が被写体として得られた２次元画像の顔に対して、目を大きくする編集や、肌を滑らかにする編集、顔の輪郭を変える編集などを行うことが想定される。そして、画像編集部３２は、ユーザの操作に応じて編集された２次元画像を対応点取得部３３に供給する。

【0024】

対応点取得部３３は、画像編集部３２から供給される２次元画像から、その２次元画像に写されている被写体の特徴を表す特徴点を抽出する。同様に、対応点取得部３４は、３次元モデル取得部２１から供給される３次元モデルから、その３次元モデルの特徴を表す特徴点を抽出する。ここで、対応点取得部３３が抽出する特徴点と、対応点取得部３４が抽出する特徴点とは対応しており、対応点取得部３３が抽出する特徴点を２次元画像上の対応点と称し、対応点取得部３４が抽出する特徴点を３次元モデル上の対応点と称する。

【0025】

例えば、図２のＡには、対応点取得部３３により取得された２次元画像上の対応点の一例が示されており、図２のＢには、対応点取得部３４により取得された３次元モデル上の対応点の一例が示されている。図示するように、目や眉、鼻、口などのように顔を構成するパーツごとに、それぞれのパーツの特徴を表す特徴点（同じ意味を持つ形状を表す点）が、２次元画像上と３次元モデル上とで対応するように、対応点として取得されている。即ち、右目の目じりを表す特徴点や、口の右端を表す特徴点などが、２次元画像上および３次元モデルそれぞれから取得される。

【0026】

ここで、３次元モデルから対応点を取得する取得方法としては、ユーザが手動で指定することなどが検討される。例えば、3DMM（3D Morphable Model）に基づいて作成されている３次元モデルであれば、３次元モデルの変形を行っても常に同じインデックスの頂点は同じ意味を示す点（例えば、1000番目の頂点は常に鼻の先端の頂点）を指している。このため、一度、何番目の頂点が顔形状のどの部分を指すかを指定することにより、その3DMMに基づいて作成された全ての３次元モデルから対応点を取得することが可能となる。

【0027】

また、２次元画像から対応点を取得する取得方法としては、既存の顔特徴点の検出方法を利用したり、手動で指定したりすることが検討される。そして、どのような手法であっても、３次元モデルと２次元画像との間で特徴点どうしの対応関係を取得することができれば、アルゴリズムの適用を行うことが可能である。

【0028】

ところで、画像編集部３２が２次元画像に対して編集を行う前であれば、図３に示すように、２次元画像上の対応点Ｐ＿２Ｄは、３次元モデル上の対応点Ｐ＿３Ｄと一致している。即ち、図３のＡに示すように、２次元画像から目じりの対応点Ｐ＿２Ｄが取得されている場合、その２次元画像をテクスチャとして３次元モデルに貼り付けると、その対応点Ｐ＿２Ｄは、図３のＢに示す３次元モデルの目じりの対応点Ｐ＿３Ｄに一致するように配置されることになる。

【0029】

これに対し、画像編集部３２が２次元画像に対して編集を行った後では、図４に示すように、２次元画像上の対応点Ｐ＿２Ｄは、３次元モデル上の対応点Ｐ＿３Ｄと一致せずに、それらは不一致となってしまう。即ち、図４のＡに示す２次元画像では、目が大きくなるような編集が行われている。このような編集は、スマートフォンアプリや、アミューズメント施設に置かれている写真シール機などで一般的に行われるものである。

【0030】

そして、編集された２次元画像をテクスチャとして３次元モデルに貼り付けると、その２次元画像上の目じりの対応点Ｐ＿２Ｄは、図４のＢにおいて破線で示すように、３次元モデルの目じりの対応点Ｐ＿３Ｄとは一致しない個所に配置されることになる。即ち、メッシュとテクスチャの対応関係が崩れてしまい、違和感のある表示になってしまう。例えば、目領域のテクスチャのみが大きくなることで、メッシュの目形状によって生じる影の位置が不自然であったり、目領域のメッシュの凹凸が目領域のテクスチャと対応していないため、斜めから見た際に目が歪んで見えたりすることになる。

【0031】

そこで、３次元モデル変形部３５は、編集された２次元画像上の対応点Ｐ＿２Ｄに、３次元モデル上の対応点Ｐ＿３Ｄが一致するように、メッシュとテクスチャの対応関係が正しくなるように３次元モデルを変形する変形処理を行う。

【0032】

即ち、図５のＢに示すように、編集された２次元画像（図５のＡ）をテクスチャとして３次元モデルに貼り付けたときに、編集された２次元画像上の対応点Ｐ＿２Ｄと一致するように、３次元モデル上の対応点Ｐ＿３Ｄを移動させるような変形処理が３次元モデルに対して施される。これにより、２次元画像をテクスチャとして３次元モデルに貼り付けると、変形された３次元モデル上の対応点Ｐ＿３Ｄに一致するように、編集された２次元画像上の対応点Ｐ＿２Ｄが配置されることになる。

【0033】

例えば、３次元モデル変形部３５は、２次元画像Ａおよび３次元モデルＢの間で、互いに対応する点Ａｉ＝（ｘ，ｙ）および点Ｂｉ＝（Ｘ，Ｙ，Ｚ）が存在するとき、点Ｂｉ＝（Ｘ，Ｙ，Ｚ）に点Ａｉ＝（ｘ，ｙ）が持つテクスチャが投影されるような変形を行う。その際、３次元モデル変形部３５は、自然な形状変化となるように、点Ｂｉの近傍にある頂点も変形する。このとき、元の形状に近い点へと変形を行うため、変形後の点は変形前の点を通りカメラ平面と並行な平面上に投影する。つまり、点Ｂｉとその近傍点を、点Ｂｉを通りカメラ平面と平行な平面上に投影される点Ａｉと一致するように変形する。

【0034】

即ち、図５のＢに示すように、３次元モデルの目じり形状の部分（対応点Ｐ＿３Ｄ）を、カメラに対し垂直かつ目じり形状の部分を通る平面（濃い領域と薄い領域との境界により表される平面）に、２次元画像を投影する際の目じり部分（対応点Ｐ＿２Ｄ）と一致するように変形する。このように３次元モデルを変形することにより、図５のＡに示す２次元画像の目じり部分（対応点Ｐ＿２Ｄ）が、３次元モデルの目じり形状の部分（対応点Ｐ＿３Ｄ）に投影される状態となる。

【0035】

具体的には、２次元画像描画部３１のレンダリングに用いられた仮想カメラの内部パラメータＩｎｔおよび外部パラメータＥｘｔは、次の式（２）に示すように表される。

【0036】

【数2】

【0037】

そして、点Ａｉの投影先となる点Ｄｓｔは、内部パラメータＩｎｔおよび外部パラメータＥｘｔを用いて、次の式（３）に従って求められる。

【0038】

【数3】

【0039】

このとき、点Ｂｉを点Ｄｓｔへと移動し、点Ｂｉから一定距離以内に存在する近傍の点B_neighborは、点Ｂｉとの位置関係を保ったまま点Ｄｓｔ周辺へと移動される。例えば、点Ｂｉの近傍にある点B_neighborの変形先となる点DST_neighborは、点Ｂｉの近傍にある点B_neighbor=[X_N,Y_N,Z_N]を用いて、次の式（４）に従って求められる。

【0040】

【数4】

【0041】

このときに発生するメッシュの粗密の変化や、位置の重複などについては、スムージングやメッシュ再分割などを用いて対応することができる。

【0042】

テクスチャ再投影部３６は、３次元モデル変形部３５から供給される変形された３次元モデルに対して、画像編集部３２において編集された２次元画像を、カメラパラメータに従って投影する。これにより、画像編集部３２は、ユーザによって編集された２次元画像であるテクスチャが対応する３次元モデルのメッシュに正しく投影された、変形された３次元モデルを取得することができる。

【0043】

そして、テクスチャ再投影部３６により２次元画像が投影された３次元モデルは、２次元画像描画部３１に供給されるとともに、出力部２３に出力され、例えば、図示しない表示装置に表示される。ユーザは、その変形された３次元モデルを見ながら、さらなる変形を行いたい場合には、任意の視点から３次元モデルを見た２次元画像を、変形された３次元モデルを新たな入力として２次元画像描画部３１に描画させ、３次元モデルの編集を継続して行うことができる。その後、同様の編集が繰り返して行われ、所定回数の編集が行われた場合、または、ユーザが満足する３次元モデルが得られた場合、３次元モデルの最終的な出力が行われる。

【0044】

以上のように３次元モデル編集システム１１は構成されており、ユーザによる２次元画像に対する編集を反映した３次元モデルを出力することができる。従って、ユーザは、３次元モデルを変形するような複雑な操作を行う必要がなく、２次元画像に対して編集する容易な操作を行うだけで、３次元モデルを編集することができる。

【0045】

＜３次元モデル編集処理＞
図６に示すフローチャートを参照して、３次元モデル編集部２４が行う３次元モデル編集処理にいて説明する。

【0046】

例えば、３次元モデル取得部２１から３次元モデル編集部２４へ３次元モデルが供給されると処理が開始され、ステップＳ１１において、対応点取得部３４は、その３次元モデルの特徴を表す特徴点を、対応点として取得する。

【0047】

ステップＳ１２において、２次元画像描画部３１は、３次元モデルのレンダリングに必要な設定事項、例えば、仮想カメラの視点位置などを選択するレンダリング設定を行う。

【0048】

ステップＳ１３において、２次元画像描画部３１は、ステップＳ１３で設定された視点位置などに従って、３次元モデル取得部２１から供給される３次元モデルを、その視点から見た２次元画像を描画する。

【0049】

ステップＳ１４において、画像編集部３２は、ユーザ操作入力部２２から供給されるユーザの操作に従った編集情報に基づいて、ステップＳ１３で２次元画像描画部３１により描画された２次元画像に対する編集処理を行う。

【0050】

ステップＳ１５において、対応点取得部３３は、ステップＳ１４で画像編集部３２により編集された２次元画像に写されている被写体の特徴を表す特徴点を、対応点として取得する。

【0051】

ステップＳ１６において、３次元モデル変形部３５は、ステップＳ１１で対応点取得部３４により取得された３次元モデル上の対応点、および、ステップＳ１５で対応点取得部３３により取得された編集された２次元画像上での対応点を用いて、３次元モデルを変形する変形処理を行う。

【0052】

ステップＳ１７において、テクスチャ再投影部３６は、ステップＳ１４で画像編集部３２により編集された２次元画像をテクスチャとし、ステップＳ１６で３次元モデル変形部３５により変形された３次元モデルに対して投影する。そして、テクスチャ再投影部３６は、２次元画像が投影された３次元モデルを、出力部２３に出力して、図示しない表示装置に表示させる。

【0053】

ステップＳ１８において、ユーザは、ステップＳ１７で出力された３次元モデルに対して満足したか否かを判断し、その判断結果を示す操作入力をユーザ操作入力部２２に対して行い、３次元モデル編集部２４では、その３次元モデルを最終出力とするか否かが判定される。

【0054】

ステップＳ１８において、最終出力とすると判定されなかった場合、即ち、ユーザが現時点での３次元モデルに満足していない場合、処理はステップＳ１２に戻る。そして、ステップＳ１６で３次元モデル変形部３５により変形された３次元モデルが２次元画像描画部３１に供給され、以下、同様の処理が繰り返して行われる。

【0055】

一方、ステップＳ１８において、最終出力とすると判定された場合、即ち、ステップＳ１７で出力された３次元モデルにユーザが満足している場合、３次元モデル編集処理は終了される。

【0056】

以上のように、３次元モデル編集システム１１では、２次元画像に対するユーザの編集に従って、２次元画像上の対応点の変化に合わせて３次元モデル上の対応点および対応点の周辺の点が変形される。これにより、３次元モデル編集システム１１では、３次元モデルのテクスチャのみを変化させた場合に発生することが想定される、メッシュ形状とテクスチャとの意味のずれ（対応点どうしの不一致）を抑制することができる。

【0057】

また、３次元モデル編集システム１１では、３次元モデルの変形を２次元画像に対する編集に基づいて行うことができるので、ユーザは、一般的な２次元画像に対する容易な編集操作によって、３次元モデルの変形を行うことができる。このように、３次元モデル編集システム１１は、２次元画像に対する編集操作を３次元モデルの変形操作に流用することができる。

【0058】

＜コンピュータの構成例＞
次に、上述した一連の処理（３次元モデル編集方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

【0059】

図７は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

【0060】

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

【0061】

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

【0062】

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

【0063】

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

【0064】

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

【0065】

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

【0066】

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

【0067】

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

【0068】

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

【0069】

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0070】

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

【0071】

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0072】

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

【0073】

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

【0074】

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

【0075】

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

【0076】

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集装置。
（２）
前記３次元モデルをレンダリングして前記２次元画像を描画し、
前記２次元画像に対するユーザによる編集操作に従って、前記２次元画像を編集する
上記（１）に記載の３次元モデル編集装置。
（３）
前記３次元モデルから前記特徴点を取得し、
編集された前記２次元画像から前記特徴点を取得する
上記（１）または（２）に記載の３次元モデル編集装置。
（４）
変形された前記３次元モデルに対して、編集された前記２次元画像を投影してテクスチャを張り付ける
上記（１）から（３）までのいずれかに記載の３次元モデル編集装置。
（５）
変形された前記３次元モデルを入力として前記２次元画像を描画し、前記２次元画像の編集および前記３次元モデルの変形を繰り返して行う
上記（１）から（４）までのいずれかに記載の３次元モデル編集装置。
（６）
前記３次元モデルの変形を行う際に、所定の前記特徴点を移動させるのに応じて、その特徴点の近傍にある点を移動させる
上記（１）から（５）までのいずれかに記載の３次元モデル編集装置。
（７）
３次元モデル編集装置が、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
３次元モデル編集方法。
（８）
３次元モデル編集装置のコンピュータに、
３次元モデルの特徴を表す特徴点と、その３次元モデルを所定の視点から見た２次元画像上で前記３次元モデルの特徴を表す特徴点とを利用して、それぞれ対応する前記特徴点どうしを一致させ、編集が施された前記２次元画像に合わせて前記３次元モデルを変形する
処理を実行させるためのプログラム。

【0077】

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

【符号の説明】

【0078】

１１ ３次元モデル編集システム， ２１ ３次元モデル取得部， ２２ ユーザ操作入力部， ２３ 出力部， ２４ ３次元モデル編集部， ３１ ２次元画像描画部， ３２ 画像編集部， ３３および３４ 対応点取得部， ３５ ３次元モデル変形部， ３６ テクスチャ再投影部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】