特開 2024-127220 モデル生成装置、モデル生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127220

(43)【公開日】2024-09-20

(54)【発明の名称】モデル生成装置、モデル生成方法およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240912BHJP

   G06T 7/50 20170101ALI20240912BHJP

【ＦＩ】

G06T19/00 A

G06T7/50

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023036224

(22)【出願日】2023-03-09

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】竹原 裕也

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050DA04

5B050EA09

5B050EA19

5B050EA27

5B050FA02

5B050FA05

5L096DA02

5L096FA67

5L096FA69

5L096GA30

(57)【要約】

【課題】生成した３次元モデルを適切に更新すること。
【解決手段】モデル生成装置は、被写体を撮像した入力画像を取得する画像取得部と、前記入力画像の対象範囲の周囲の複数の周囲画像を合成して合成画像を生成する合成画像生成部と、複数の周囲画像の信頼度に基づいて、合成画像の信頼度を算出する信頼度算出部と、対象範囲の画像の信頼度と、合成画像の信頼度とを比較する信頼度比較部と、合成画像の信頼度が対象範囲の画像の信頼度よりも高い場合、対象範囲の画像を前記合成画像に更新するモデル更新部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被写体を撮像した入力画像を取得する画像取得部と、
前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成する合成画像生成部と、
複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出する信頼度算出部と、
前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較する信頼度比較部と、
前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するモデル更新部と、
を備える、モデル生成装置。

【請求項2】

前記信頼度算出部は、前記対象範囲の表面に基づく前記入力画像の撮影角度の傾きにより、前記合成画像の信頼度を算出する、
請求項１に記載のモデル生成装置。

【請求項3】

前記モデル更新部は、前記合成画像の信頼度が予め定めた閾値以上である場合、前記対象範囲の画像を前記合成画像に更新する、
請求項１または２に記載のモデル生成装置。

【請求項4】

被写体を撮像した入力画像を取得するステップと、
前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成するステップと、
複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出するステップと、
前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較するステップと、
前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するステップと、
を含む、モデル生成方法。

【請求項5】

被写体を撮像した入力画像を取得するステップと、
前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成するステップと、
複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出するステップと、
前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較するステップと、
前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するステップと、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、モデル生成装置、モデル生成方法およびプログラムに関する。

【背景技術】

【0002】

被写体を撮像した撮像画像に基づいて、３次元モデルを生成する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００３－４４８７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

３次元モデルを生成する技術としては、一枚の画像から生成するもの、複数の画像から生成するもの、動画から生成するもの等、様々な手法が提案されている。しかしながら、生成された３次元モデルには入力画像として使用されたものの情報が残っていない。そのため、３次元モデル生成後に追加の入力画像が得られた場合においても、生成した３次元モデルを一新することでしか３次元モデルを更新できなかった。

【0005】

本発明は、生成した３次元モデルを適切に更新することのできるモデル生成装置、モデル生成方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のモデル生成装置は、被写体を撮像した入力画像を取得する画像取得部と、前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成する合成画像生成部と、複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出する信頼度算出部と、前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較する信頼度比較部と、前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するモデル更新部と、を備える。

【0007】

本発明のモデル生成方法は、被写体を撮像した入力画像を取得するステップと、前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成するステップと、複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出するステップと、前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較するステップと、前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するステップと、を含む。

【0008】

本発明のプログラムは、被写体を撮像した入力画像を取得するステップと、前記入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成するステップと、複数の前記周囲画像の信頼度に基づいて、前記合成画像の信頼度を算出するステップと、前記対象範囲の画像の信頼度と、前記合成画像の信頼度とを比較するステップと、前記合成画像の信頼度が前記対象範囲の画像の信頼度よりも高い場合、前記対象範囲の画像を前記合成画像に更新するステップと、をコンピュータに実行させる。

【発明の効果】

【0009】

本発明によれば、生成した３次元モデルを適切に更新することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、第１実施形態に係るモデル生成装置の構成例を示すブロック図である。

【図2】図２は、第１実施形態に係るモデル生成方法を説明するための図である。

【図3】図３は、第１実施形態に係る３次元モデルの一例を示す図である。

【図4】図４は、第１実施形態に係るテクスチャ画像を生成する方法を説明するための図である。

【図5】図５は、第１実施形態に係るテクスチャ画像に信頼度の情報をマッピングする方法を説明するための図である。

【図6】図６は、第１実施形態に係る３次元モデル生成処理を示すフローチャートである。

【図7】図７は、第１実施形態に係る３次元モデルの信頼度を算出する方法の一例を説明するための図である。

【図8】図８は、第１実施形態の第１の例に係るモデル更新処理を示すフローチャートである。

【図9】図９は、第１実施形態の第２の例に係るモデル更新処理を示すフローチャートである。

【図10】図１０は、第１実施形態に係る合成画像を説明するための図である。

【図11】図１１は、第２実施形態に係るモデル更新処理を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

【0012】

［第１実施形態］
（モデル生成装置）
図１を用いて、第１実施形態に係るモデル生成装置の構成例について説明する。図１は、第１実施形態に係るモデル生成装置の構成例を示すブロック図である。

【0013】

図１に示すように、モデル生成装置１０は、入力部２０と、出力部２２と、通信部２４と、記憶部２６と、制御部２８と、を備える。モデル生成装置１０は、コンピュータで実現される。モデル生成装置１０は、被写体を撮像した入力画像に基づいて、被写体の３次元モデルを生成する。モデル生成装置１０は、新たに撮像された被写体の入力画像の信頼度を判定した、信頼度の判定結果に基づいて、生成した被写体の３次元モデルを更新する。

【0014】

入力部２０は、モデル生成装置１０に対する各種の入力操作を受け付ける。入力部２０は、例えば、マウス、キーボード、タッチパネル、マイクなどで実現される。

【0015】

出力部２２は、各種の情報を出力する。出力部２２は、例えば、画像を表示する液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）などを含むディスプレイを含んでよい。出力部２２は、例えば、音声を出力するスピーカを含んでよい。

【0016】

通信部２４は、モデル生成装置１０と、外部装置との間の通信を実行する通信インターフェースである。通信部２４は、例えば、モデル生成装置１０と、被写体を撮像する撮像装置との間の通信を実行する。

【0017】

記憶部２６は、各種の情報を記憶している。記憶部２６は、制御部２８の演算内容、およびプログラム等の情報を記憶する。記憶部２６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の外部記憶装置とのうち、少なくとも１つ含む。

【0018】

記憶部２６は、例えば、モデル生成装置１０が生成した３次元モデルに関する情報を記憶している。

【0019】

制御部２８は、モデル生成装置１０の各部を制御する。制御部２８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置とを有する。制御部２８は、本発明に係るモデル生成装置１０の動作を制御するプログラムを実行する。制御部２８は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。制御部２８は、ハードウェアと、ソフトウェアとの組み合わせで実現されてもよい。

【0020】

制御部２８は、画像取得部３０と、モデル生成部３２と、テクスチャ画像生成部３４と、信頼度算出部３６と、合成画像生成部３８と、信頼度比較部４０と、モデル更新部４２と、を備える。

【0021】

画像取得部３０は、通信部２４を介して、被写体を撮像した入力画像を取得する。

【0022】

モデル生成部３２は、画像取得部３０が取得た入力画像に基づいて、被写体の３次元モデルを生成する。図２は、第１実施形態に係るモデル生成方法を説明するための図である。図２に示すように、例えば、画像取得部３０は、被写体１０１を撮像した入力画像１００を取得する。入力画像１００は、通常の可視光カメラで撮像された画像であってよい。モデル生成部３２は、入力画像１００に基づいて被写体１０１の３次元モデル１０２を生成する。モデル生成部３２は、例えば、ボリュメトリックキャプチャの手法および入力画像に含まれる被写体の構造に基づいた基本モデルを規定し、パラメータによって変形するパラメトリックな手法を用いて生成すればよい。

【0023】

テクスチャ画像生成部３４は、モデル生成部３２が生成した３次元モデルのテクスチャ画像を生成する。テクスチャ画像生成部３４は、モデル生成部３２が生成した３次元モデルの表面の色および模様などを表現したテクスチャ画像を生成する。テクスチャ画像生成部３４は、例えば、図２に示す３次元モデル１０２の表面をＵＶ展開によって一枚の画像に対応付けし、その画像に入力画像１００から得られる表面情報をマッピングする。なお、ＵＶ展開とは、３次元モデルの網目構造を展開し、２次元のＵ、Ｖの座標に対応させる作業のことである。テクスチャ画像生成部３４は、例えば、入力画像１００に映っていない部分については写っている部分からの転写および補足情報の生成を行い、３次元モデル１０２の全体をカバーするようにテクスチャ画像を生成する。

【0024】

信頼度算出部３６は、モデル生成部３２が生成した３次元モデルの信頼度を算出する。信頼度算出部３６は、図２に示す例でいえば、被写体１０１と、３次元モデル１０２とに基づいて、３次元モデル１０２の信頼度を算出する。信頼度算出部３６は、例えば、被写体１０１と、３次元モデル１０２とを比較して、３次元モデル１０２の各点において、入力画像１００に写っている点の信頼度を１、写っていない点の信頼度を０と算出する。ここで、点とは、対象範囲の中心点である。また、対象範囲とは、ピクセル単位または数ピクセル四方のブロック単位の範囲である。信頼度算出部３６は、３次元モデル１０２の各点における法線を求め、入力画像１００において真正面から見えている点の信頼度を１、全く見えていない点の信頼度を０と算出してもよい。すなわち、信頼度算出部３６は、３次元モデル１０２の各点における法線に対する角度に応じて重み付けを行ってもよい。信頼度を算出する方法の詳細は、後述する。信頼度算出部３６は、３次元モデル１０２と入力画像１００の被写体１０１との特徴点に基づく形状の一致度合いに基づいて信頼度を算出してもよいし、被写体１０１のピントの一致度合いに基づいて、信頼度を算出してもよい。信頼度が算出した各点の信頼度は、ＵＶ展開されたテクスチャ情報と対応付ける事ができる。例えば、信頼度算出部３６は、テクスチャ画像生成部３４が生成したテクスチャ画像に、色情報の代わりに信頼度の情報をマッピングする。

【0025】

図３と、図４と、図５とを用いて、第１実施形態に係るテクスチャ画像を生成する方法について説明する。図３は、第１実施形態に係る３次元モデルの一例を示す図である。図４は、第１実施形態に係るテクスチャ画像を生成する方法を説明するための図である。図５は、第１実施形態に係るテクスチャ画像に信頼度の情報をマッピングする方法を説明するための図である。

【0026】

図３は、人物の顔部分の３次元モデル２０１を示す。モデル生成部３２は、画像取得部３０が取得した入力画像に基づいて、３次元モデル２０１を生成する。図３に示す例では、顔部分の３次元モデルを示しているが、実際には、人物の全体の３次元モデルが想定され得る。また、第１実施形態に係る３次元モデルは、動物または物体であってもよい。

【0027】

テクスチャ画像生成部３４は、例えば、図３に示す３次元モデル２０１をＵＶ展開して、図４に示すテクスチャ画像２０２を生成する。

【0028】

信頼度算出部３６は、３次元モデル２０１の各点の信頼度を算出し、テクスチャ画像２０２に、信頼度の情報をマッピングする。信頼度算出部３６は、例えば、図５示すように、画像取得部３０が取得した入力画像で見えている点（信頼度の高い点）を白、見えていない点（信頼度の低い点）を黒としてテクスチャ画像２０２の信頼度テクスチャ画像２０３を表現する。図５に示す例では、信頼度算出部３６は、信頼度情報を白と黒との２値のみで表現したが、見える角度を考慮して角度に応じたグラデーション表現として信頼度情報を表現してもよい。または、信頼度算出部３６は、３次元モデル２０１の対象範囲の画像の周囲の複数の周囲画像の信頼度に基づいて、３次元モデル２０１の対象範囲の画像に対応する合成画像の信頼度を算出する。

【0029】

合成画像生成部３８は、３次元モデル２０１を更新するために、３次元モデル２０１の対象範囲の画像に対応する、新たに画像取得部３０が取得した入力画像の対象範囲の画像の周囲の複数の周囲画像を合成して合成画像を生成する。周囲画像とは、対象範囲の画像の周囲を囲む画像である。

【0030】

信頼度比較部４０は、記憶部２６に記憶されている３次元モデル２０１の対象範囲の画像の信頼度と、新たな入力画像に基づいて生成された３次元モデル２０１の対象範囲の画像の信頼度とを比較する。または、記憶部２６に記憶されている３次元モデル２０１の対象範囲の画像の信頼度と、合成画像生成部３８が生成した合成画像の信頼度とを比較する。

【0031】

モデル更新部４２は、信頼度比較部４０により、新たな入力画像に基づいて生成された３次元モデル２０１の対象範囲の画像の信頼度が記憶部２６に記憶されている３次元モデル２０１の対象範囲の画像の信頼度よりも高いと判定された場合、３次元モデル２０１の対象範囲の画像を新たな入力画像に基づいて生成された３次元モデル２０１の対象範囲の画像に更新する。または、合成画像生成部３８が生成した合成画像の信頼度が３次元モデル２０１の対象範囲の画像の信頼度よりも高いと判定された場合、３次元モデル２０１の対象範囲の画像を合成画像生成部３８が生成した合成画像に更新する。

【0032】

（３次元モデル生成処理）
図６を用いて、第１実施形態に係る３次元モデル生成処理について説明する。図６は、第１実施形態に係る３次元モデル生成処理を示すフローチャートである。

【0033】

画像取得部３０は、３次元モデルの生成対象となる被写体を撮影した入力画像を取得する（ステップＳ１０）。そして、ステップＳ１２に進む。

【0034】

モデル生成部３２は、画像取得部３０が取得した入力画像に基づいて、入力画像に含まれる被写体の３次元モデルを生成する（ステップＳ１２）。モデル生成部３２は、例えば、生成した３次元モデルを記憶部２６に記憶させる。そして、ステップＳ１４に進む。

【0035】

テクスチャ画像生成部３４は、モデル生成部３２が生成した３次元モデルに基づいて、３次元モデルのテクスチャ画像を生成する（ステップＳ１４）。テクスチャ画像生成部３４は、例えば、生成したテクスチャ画像を記憶部２６に記憶させる。そして、ステップＳ１６に進む。

【0036】

信頼度算出部３６は、画像取得部３０が取得した入力画像に基づいて、モデル生成部３２が生成した３次元モデルの各点における信頼度を算出する（ステップＳ１６）。図７は、第１実施形態に係る３次元モデルの信頼度を算出する方法の一例を説明するための図である。図７は、モデル生成部３２が生成した３次元モデルの表面５１を示している。図７に示すように、表面５１の点５２からの法線５３に対する被写体の撮像装置１２における撮影角度の傾きをφとする。撮像装置１２は、通常の可視光カメラであってよい。第１実施形態では、信頼度算出部３６は、３次元モデルの表面５１の点５２の信頼度Ｋを、表面５１の点５２からの法線５３に対する被写体の撮像装置１２における撮影角度の傾きφに基づいて、Ｋ＝（ｃｏｓφ）^２、と算出する。撮影角度の傾きφは、０度から９０度の範囲とする。例えば、撮影角度の傾きφが０度であれば、信頼度Ｋは１となる。例えば、撮影角度の傾きφが１５度であれば、信頼度Ｋは０．９３となる。例えば、撮影角度の傾きφが３０度であれば、信頼度Ｋは０．７５となる。例えば、撮影角度の傾きφが４５度であれば、信頼度Ｋは０．５となる。例えば、撮影角度の傾きφが６０度であれば、信頼度Ｋは０．２５となる。例えば、撮影角度の傾きφが９０度であれば、信頼度Ｋは０となる。信頼度算出部３６は、例えば、生成した３次元モデルの信頼度に関する情報を記憶部２６に記憶させる。そして、ステップＳ１８に進む。

【0037】

テクスチャ画像生成部３４は、信頼度算出部３６が算出した信頼度を、テクスチャ画像に対応付けて、信頼度テクスチャ画像を生成する（ステップＳ１８）。テクスチャ画像生成部３４は、例えば、生成した信頼度テクスチャ画像を記憶部２６に記憶させる。そして、図６の処理を終了する。

【0038】

（第１の例に係るモデル更新処理）
図８を用いて、第１実施形態の第１の例に係るモデル更新処理について説明する。図８は、第１実施形態の第１の例に係るモデル更新処理を示すフローチャートである。

【0039】

画像取得部３０は、生成済の３次元モデルの元の被写体と同一の被写体を撮像した、新たな入力画像を取得する（ステップＳ３０）。そして、ステップＳ３２に進む。

【0040】

モデル生成部３２は、画像取得部３０が取得した新たな入力画像に基づいて、モデル生成処理を実行する（ステップＳ３２）。具体的には、モデル生成部３２は、新たな入力画像に基づいて、図６に示す３次元モデルの生成処理を実行する。そして、ステップＳ３４に進む。

【0041】

信頼度比較部４０は、記憶部２６に記憶されている前回生成した３次元モデルの信頼度と、新たな入力画像に基づいて生成された３次元モデルの信頼度とを、３次元モデルの表面の各点ごとに比較する（ステップＳ３４）。そして、ステップＳ３６に進む。

【0042】

信頼度比較部４０は、前回生成した３次元モデルよりも、新たな入力画像に基づいて生成された３次元モデルの方が信頼度の高い点の数が所定数以上であるか否かを判定する（ステップＳ３６）。信頼度の高い点の数が所定数以上であると判定された場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３８に進む。信頼度の高い点の数が所定数以上であると判定されない場合（ステップＳ３６；Ｎｏ）、ステップＳ４０に進む。

【0043】

ステップＳ３６でＹｅｓと判定された場合、モデル更新部４２は、前回生成された３次元モデルを新たな入力画像に基づいて生成された３次元モデルに更新する（ステップＳ３８）。そして、図８の処理を終了する。

【0044】

ステップＳ３６でＮｏと判定された場合、モデル更新部４２は、前回生成した３次元モデルと、新たな入力画像に基づいて生成された３次元モデルとで、３次元モデルの表面の各点の信頼度が高い方を用いた新たな３次元モデルに更新する（ステップＳ４０）。そして、図８の処理を終了する。

【0045】

（第２の例に係るモデル更新処理）
図９を用いて、第１実施形態の第２の例に係るモデル更新処理について説明する。図９は、第１実施形態の第２の例に係るモデル更新処理を示すフローチャートである。

【0046】

ステップＳ５０およびステップＳ５２の処理は、図８に示すステップＳ３０およびステップＳ３２の処理と同じなので、説明を省略する。

【0047】

合成画像生成部３８は、新たに生成した３次元モデルのうち、所定未満の信頼度である対象範囲について、対象範囲の周囲の複数の周囲画像を合成して合成画像を生成する（ステップＳ５４）。図１０は、第１実施形態に係る合成画像を説明するための図である。図１０は、３次元モデルの表面画像６０を示す。合成画像生成部３８は、対象範囲の周囲の周囲画像６１と、周囲画像６２と、周囲画像６３と、周囲画像６４と、周囲画像６５と、周囲画像６６と、周囲画像６７と、周囲画像６８とを合成して、合成画像７０を生成する。合成画像７０は、例えば、ピクセル単位または数ピクセル四方のブロック単位の大きさである。合成画像７０は、例えば、前回生成した３次元モデルに合成した場合に、違和感を与えない大きさであればよい。そして、ステップＳ５６に進む。

【0048】

信頼度算出部３６は、合成画像生成部３８が生成した合成画像の信頼度を算出する（ステップＳ５６）。具体的には、信頼度算出部３６は、合成画像の信頼度を信頼度Ｋｍ、合成画像の周囲画像の信頼度を信頼度Ｋｎとする。この場合、信頼度算出部３６は、信頼度Ｋｍを、Ｋｍ＝（ΣＫｎ）／ｎ（ｎは周囲画像の数であり、１以上の任意の整数）、と算出する。図１０に示す例でいえば、例えば、周囲画像６１の信頼度を０．９、周囲画像６２の信頼度を０．８、周囲画像６３の信頼度を０．９、周囲画像６４の信頼度を０．７、周囲画像６５の信頼度を０．８、周囲画像６６の信頼度を０．７、周囲画像６７の信頼度を０．７、周囲画像６８の信頼度を０．８とする。この場合、信頼度算出部３６は、信頼度Ｋｍを、（０．９＋０．８＋０．９＋０．７＋０．８＋０．７＋０．７＋０．８）／８≒０．８、と算出する。そして、ステップＳ５８に進む。

【0049】

信頼度算出部３６は、合成画像の周囲画像の信頼度は所定以上（予め定めた閾値以上）であるか否かを判定する（ステップＳ５８）。信頼度算出部３６は、例えば、合成画像の周囲の全ての周囲画像の信頼度が０．７以上である場合、周囲画像の信頼度は所定以上であると判定する。信頼度が所定以上であると判定される信頼度の値は任意に設定してよい。合成画像の周囲画像の信頼度が所定以上であると判定された場合（ステップＳ５８；Ｙｅｓ）、ステップＳ６２に進む。合成画像の周囲画像の信頼度が所定以上であると判定されない場合（ステップＳ５８；Ｎｏ）、ステップＳ６０に進む。

【0050】

ステップＳ５８でＮｏと判定された場合、信頼度算出部３６は、算出した合成画像の信頼度を補正する（ステップＳ６０）。具体的には、信頼度算出部３６は、Ｋｍ＝（（ΣＫｎ）／ｎ）＋Ｃ、と信頼度Ｋｍに補正値Ｃを加算することで合成画像の信頼度Ｋｍを補正する。信頼度算出部３６は、例えば、合成画像の信頼度が０．７を下回った場合には、合成画像の信頼度が約０．７となるように補正値Ｃを決定する。例えば、図１０に示す例でいえば、周囲画像６１の信頼度を０．８、周囲画像６２の信頼度を０．６、周囲画像６３の信頼度を０．５、周囲画像６４の信頼度を０．７、周囲画像６５の信頼度を０．８、周囲画像６６の信頼度を０．６、周囲画像６７の信頼度を０．６、周囲画像６８の信頼度を０．８とする。この場合、信頼度算出部３６は、（（０．８＋０．６＋０．５＋０．７＋０．８＋０．６＋０．６＋０．８）／８）＋０．０３＝０．６７０＋０．０３≒０．７、と信頼度Ｋｍを補正する。このとき、信頼度算出部３６は、合成画像７０の信頼度を０．７とするために、補正値Ｃは０．０３と決定する。そして、ステップＳ６２に進む。

【0051】

信頼度比較部４０は、記憶部２６に記憶されている前回生成した３次元モデルの信頼度と、新たな入力画像に基づいて生成された３次元モデルの信頼度とを、３次元モデルの表面の合成画像ごとに比較する（ステップＳ６２）。そして、ステップＳ６４に進む。

【0052】

信頼度比較部４０は、前回生成した３次元モデルよりも、新たな入力画像に基づいて生成された３次元モデルの方が信頼度の高い合成画像の数が所定数以上であるか否かを判定する（ステップＳ６４）。信頼度の高い点の合成画像が所定数以上であると判定された場合（ステップＳ６４；Ｙｅｓ）、ステップＳ６６に進む。信頼度の高い点の数が所定数以上であると判定されない場合（ステップＳ６４；Ｎｏ）、ステップＳ６８に進む。

【0053】

ステップＳ６４でＹｅｓと判定された場合、モデル更新部４２は、前回生成された３次元モデルを新たな入力画像に基づいて生成された３次元モデルに更新する（ステップＳ６６）。そして、図９の処理を終了する。

【0054】

ステップＳ６４でＮｏと判定された場合、モデル更新部４２は、前回生成した３次元モデルと、新たな入力画像に基づいて生成された３次元モデルとで、信頼度の高い合成画像を用いて前回生成した３次元モデルを更新する（ステップＳ６８）。そして、図９の処理を終了する。

【0055】

上述のとおり、第１実施形態は、前回生成した３次元モデルの信頼度と、新たに生成した３次元モデルの信頼度とを比較して、信頼度の高い点（合成画像）を用いて、３次元モデルを更新することができる。これにより、第１実施形態は、新たな入力画像が取得されると、３次元モデルを適切に更新することができる。

【0056】

[第１実施形態の変形例]
第１実施形態の変形例について説明する。第１実施形態では、１つの信頼度に基づいて、３次元モデルを更新するか否かを判定したが、本発明はこれに限定されない。例えば、第１実施形態の変形例では、３次元モデルの形状の信頼度と、テクスチャ画像の信頼度とを別々に規定してもよい。すなわち、第１実施形態の変形例では、複数の信頼度に基づいて、３次元モデルを更新するか否かを判定してもよい。

【0057】

第１実施形態の変形例では、例えば、信頼度を３次元モデルの詳細度と捉え、前回生成した３次元モデルの詳細度が所定以上である場合には、新たな入力画像に基づく３次元モデルが生成された場合に、３次元モデルの更新を行わないと決定してもよい。

【0058】

第１実施形態の変形例では、例えば、３次元モデルの生成時に入力画像を撮像した撮像装置と、入力画像の被写体との距離が十分に離れている場合には、信頼度を参照してモデルの描画解像度を落として負荷を低減させてもよい。

【0059】

[第２実施形態]
図１１を用いて、第２実施形態に係るモデル更新処理について説明する。図１１は、第２実施形態に係るモデル更新処理を示すフローチャートである。

【0060】

第２実施形態は、新たに生成された３次元モデルの信頼度が前回生成された３次元モデルの信頼度よりも高く、かつ所定以上で有る場合に、３次元モデルを更新する。

【0061】

ステップＳ８０からステップＳ９４の処理は、それぞれ、図９に示すステップＳ５０からステップＳ６４の処理と同じなので、説明を省略する。

【0062】

ステップＳ９４でＹｅｓと判定された場合、モデル更新部４２は、新たな入力画像に基づいて生成された３次元モデルにおける各合成画像の信頼度の平均値は所定以上であるか否かを判定する（ステップＳ９６）。所定の平均値は、任意に設定してよい。例えば、前回生成された３次元モデルよりも少しでも精度が高い３次元モデルを生成したい場合には平均値を低く設定し、前回生成された３次元モデルよりも十分に精度が高い３次元モデルを生成した場合には平均値を高く設定すればよい。各合成画像の信頼度の平均値が所定以上であると判定された場合（ステップＳ９６；Ｙｅｓ）、ステップＳ１００に進む。各合成画像の信頼度の平均値が所定以上であると判定されない場合（ステップＳ９６；Ｎｏ）、図１１の処理を終了する。すなわち、第２実施形態では、各合成画像の信頼度の平均値が所定以上であると判定されない場合には、前回生成した３次元モデルを更新しない。

【0063】

ステップＳ９４でＮｏと判定された場合、モデル更新部４２は、信頼度が所定以上の合成画像があるか否かを判定する（ステップＳ９８）。信頼度が所定以上の合成画像があると判定された場合（ステップＳ９８；Ｙｅｓ）、ステップＳ１０２に進む。信頼度が所定以上の合成画像があると判定されない場合（ステップＳ９８；Ｎｏ）、図１１の処理を終了する。すなわち、第２実施形態では、所定以上の信頼度の合成画像がない場合には、前回生成した３次元モデルを更新しない。

【0064】

ステップＳ１００の処理は、図９に示すステップＳ６６の処理と同じなので、説明を省略する。

【0065】

ステップＳ９８でＹｅｓと判定された場合、モデル更新部４２は、所定以上の信頼度の合成画像のみを用いて、３次元モデルを更新する（ステップＳ１０２）。そして、図１１の処理を終了する。

【0066】

上述のとおり、第２実施形態は、新たに生成された３次元モデルの信頼度が前回生成された３次元モデルの信頼度よりも高く、かつ所定以上で有る場合に、３次元モデルを更新する。これにより、第２実施形態は、ユーザの要求に応じて、適切に３次元モデルを更新することができる。

【0067】

図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。なお、この分散・統合による構成は動的に行われてもよい。

【0068】

以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0069】

１０ モデル生成装置
２０ 入力部
２２ 出力部
２４ 通信部
２６ 記憶部
２８ 制御部
３０ 画像取得部
３２ モデル生成部
３４ テクスチャ画像生成部
３６ 信頼度算出部
３８ 合成画像生成部
４０ 信頼度比較部
４２ モデル更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】