特許 7517410 画像処理装置、画像処理方法、および、３Ｄモデルデータ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-08

(45)【発行日】2024-07-17

(54)【発明の名称】画像処理装置、画像処理方法、および、３Ｄモデルデータ生成方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240709BHJP

   H04N 23/56 20230101ALI20240709BHJP

   G06T 7/80 20170101ALI20240709BHJP

   G06T 7/55 20170101ALI20240709BHJP

【ＦＩ】

H04N23/60

H04N23/56

G06T7/80

G06T7/55

【請求項の数】 8

(21)【出願番号】P 2022511835

(86)(22)【出願日】2021-03-17

(86)【国際出願番号】 JP2021010754

(87)【国際公開番号】W WO2021200143

(87)【国際公開日】2021-10-07

【審査請求日】2024-01-18

(31)【優先権主張番号】P 2020060384

(32)【優先日】2020-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100121131

【弁理士】

【氏名又は名称】西川 孝

(74)【代理人】

【氏名又は名称】稲本 義雄

(74)【代理人】

【識別番号】100168686

【弁理士】

【氏名又は名称】三浦 勇介

(72)【発明者】

【氏名】荒木 祐一

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１２－１９５７６０（ＪＰ，Ａ）

【文献】特開２００８－０５４０３１（ＪＰ，Ａ）

【文献】特開２００４－２０１７２２（ＪＰ，Ａ）

【文献】特開２０１２－１９４３４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５６

Ｇ０６Ｔ ７／８０

Ｇ０６Ｔ ７／５５

(57)【特許請求の範囲】

【請求項1】

異なるタイミングで所定の被写体を撮影した画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整する調整部と、
前記異なるタイミングで前記所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルを生成し、生成した前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部と
を備え、
前記調整部は、前記仮想視点画像が生成された場合、前記仮想視点画像を前記参照画像として前記撮影画像と比較した比較結果に基づいて、前記カメラパラメータを調整する
画像処理装置。

【請求項2】

前記異なるタイミングで所定の被写体を撮影した画像を、１以上の環境について記憶する記憶部と、
前記記憶部に記憶されている１以上の環境のなかの所定の１つをユーザに選択させる選択部と
をさらに備え、
前記調整部は、前記ユーザによって選択された前記環境の前記画像に基づく前記参照画像と、前記撮影画像との比較結果に基づいて、カメラパラメータを調整する
請求項１に記載の画像処理装置。

【請求項3】

前記調整部は、前記カメラパラメータとして、シャッタスピードとゲインを少なくとも調整する
請求項１に記載の画像処理装置。

【請求項4】

前記調整部は、前記カメラパラメータとして、撮影装置の内部パラメータと外部パラメータを少なくとも調整する
請求項１に記載の画像処理装置。

【請求項5】

前記調整部は、前記カメラパラメータに加えて、照明装置のパラメータも調整する
請求項１に記載の画像処理装置。

【請求項6】

前記照明装置のパラメータは、照度と色温度である
請求項５に記載の画像処理装置。

【請求項7】

異なるタイミングで所定の被写体を撮影した画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整することと、
前記異なるタイミングで前記所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルを生成し、生成した前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成することと、
前記仮想視点画像が生成された場合、前記仮想視点画像を前記参照画像として前記撮影画像と比較した比較結果に基づいて、前記カメラパラメータを調整することと
を含む画像処理方法。

【請求項8】

異なるタイミングで第１の被写体を撮影した画像を参照画像として、前記第１の被写体を現在の環境で撮影した第１の撮影画像と比較した比較結果に基づいて調整したカメラパラメータと、前記異なるタイミングで前記第１の被写体を撮影した複数の前記画像から前記第１の被写体の３Dモデルを生成し、生成した前記３Dモデルを前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成し、前記仮想視点画像を前記参照画像として前記第１の撮影画像と比較した比較結果に基づいて調整したカメラパラメータのどちらかのカメラパラメータを用いた複数の撮影装置で第２の被写体を撮影した複数の第２の撮影画像から、前記第２の被写体の３Dモデルを生成し、生成した前記第２の被写体の３Dモデルを、所定の視点から見た仮想視点画像を生成する
３Dモデルデータ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、および、３Dモデルデータ生成方法に関し、特に、撮影環境の調整を容易に行うことができるようにした画像処理装置、画像処理方法、および、３Dモデルデータ生成方法に関する。

【背景技術】

【0002】

多視点で撮影された動画像から被写体の３Dモデルを生成し、任意の視聴位置に応じた３Dモデルの仮想視点画像を生成することで自由な視点の画像を提供する技術がある。この技術は、ボリューメトリックキャプチャなどとも呼ばれている。

【0003】

ボリューメトリックキャプチャでは、例えば人物などのオブジェクト単位で３Dモデルを生成し、異なるタイミングで生成した複数のオブジェクトを含む仮想視点画像を生成することが可能である。このような場合、複数のオブジェクトを生成する際のそれぞれの撮影環境を合わせたいという要求がある。

【0004】

例えば、過去に屋外で背景画像を撮影した時の照明状況を、前景画像の撮影時に再現できるように制御するシステムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１７５１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

３Dモデル生成時の撮影では、多数の撮影装置を用いて異なる視点から被写体を撮影するため、撮影環境を合わせる作業が大変である。

【0007】

本開示は、このような状況に鑑みてなされたものであり、撮影環境の調整を容易に行うことができるようにするものである。

【課題を解決するための手段】

【0008】

本開示の第１側面の画像処理装置は、異なるタイミングで所定の被写体を撮影した画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整する調整部と、前記異なるタイミングで前記所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルを生成し、生成した前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部とを備え、前記調整部は、前記仮想視点画像が生成された場合、前記仮想視点画像を前記参照画像として前記撮影画像と比較した比較結果に基づいて、前記カメラパラメータを調整する。

【0009】

本開示の第２側面の画像処理方法は、異なるタイミングで所定の被写体を撮影した画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整することと、前記異なるタイミングで前記所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルを生成し、生成した前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成することと、前記仮想視点画像が生成された場合、前記仮想視点画像を前記参照画像として前記撮影画像と比較した比較結果に基づいて、前記カメラパラメータを調整することとを含む。

【0010】

本開示の第３側面の３Dモデルデータ生成方法は、異なるタイミングで第１の被写体を撮影した画像を参照画像として、前記第１の被写体を現在の環境で撮影した第１の撮影画像と比較した比較結果に基づいて調整したカメラパラメータと、前記異なるタイミングで前記第１の被写体を撮影した複数の前記画像から前記第１の被写体の３Dモデルを生成し、生成した前記３Dモデルを前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成し、前記仮想視点画像を前記参照画像として前記第１の撮影画像と比較した比較結果に基づいて調整したカメラパラメータのどちらかのカメラパラメータを用いた複数の撮影装置で第２の被写体を撮影した複数の第２の撮影画像から、前記第２の被写体の３Dモデルを生成し、生成した前記第２の被写体の３Dモデルを、所定の視点から見た仮想視点画像を生成する。

【0011】

本開示の第１側面～第３側面においては、異なるタイミングで所定の被写体を撮影した画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータが調整される。また、前記異なるタイミングで前記所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルが生成され、生成された前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像が前記参照画像として生成され、前記仮想視点画像が生成された場合、前記仮想視点画像を前記参照画像として前記撮影画像と比較した比較結果に基づいて、前記カメラパラメータが調整される。さらに、本開示の第３側面においては、調整されたカメラパラメータを用いた複数の撮影装置で第２の被写体を撮影した複数の第２の撮影画像から、前記第２の被写体の３Dモデルが生成され、生成された前記第２の被写体の３Dモデルを所定の視点から見た仮想視点画像が生成される。

【0012】

なお、本開示の第１側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

【0013】

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

【図面の簡単な説明】

【0014】

【図1】被写体の３Dモデルの生成と自由視点画像の表示を説明する図である。

【図2】3Dモデルデータのデータフォーマットの例を示す図である。

【図3】撮影環境の調整について説明する図である。

【図4】本開示を適用した画像処理システムの第１実施の形態を示すブロック図である。

【図5】参照カメラ画像DBに記憶されている撮影環境データの例を示す図である。

【図6】画像処理装置が実行する調整処理の流れを説明する図である。

【図7】第１実施の形態に係る画像処理システム全体の処理を示すフローチャートである。

【図8】図７のステップＳ１の参照撮影環境選択処理の詳細なフローチャートである。

【図9】図７のステップＳ２の初期撮影環境設定処理の詳細なフローチャートである。

【図10】図７のステップＳ３の撮影環境調整処理の詳細なフローチャートである。

【図11】図１０のステップＳ６３のカメラパラメータ調整処理の詳細なフローチャートである。

【図12】図７のステップＳ４の撮影環境登録処理の詳細なフローチャートである。

【図13】本開示を適用した画像処理システムの第２実施の形態を示すブロック図である。

【図14】第２実施の形態において撮影環境調整部が実行する撮影環境調整処理を説明する図である。

【図15】第２実施の形態に係る画像処理システム全体の処理を示すフローチャートである。

【図16】図１５のステップＳ１５３の参照仮想視点画像生成処理の詳細なフローチャートである。

【図17】図１５のステップＳ１５４の撮影環境調整処理の詳細なフローチャートである。

【図18】図１７のステップＳ１９３のカメラパラメータ調整処理の詳細なフローチャートである。

【図19】画像処理装置が３Dモデル再生表示装置としての機能を実行する場合の構成例を示すブロック図である。

【図20】本開示を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照しながら、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。説明は以下の順序で行う。
１．ボリューメトリックキャプチャの概要
２．撮影環境の調整について
３．画像処理システムの第１実施の形態
４．第１実施の形態に係る画像処理システムによる処理
５．画像処理システムの第２実施の形態
６．第２実施の形態に係る画像処理システムによる処理
７．３Dモデル再生表示装置としての構成
８．コンピュータ構成例

【0016】

＜１．ボリューメトリックキャプチャの概要＞
本開示の画像処理システムは、多視点で撮影された動画像から被写体の３Dモデルを生成し、任意の視聴位置に応じた３Dモデルの仮想視点画像を生成することで自由な視点の画像（自由視点画像）を提供するボリューメトリックキャプチャに関する。

【0017】

そこで、初めに、図１を参照して、被写体の３Dモデルの生成と、３Dモデルを用いた自由視点画像の表示について簡単に説明する。

【0018】

例えば、人物等の被写体を配置した所定の撮影空間を、その外周から複数の撮影装置で撮像を行うことにより複数の撮影画像が得られる。撮影画像は、例えば、動画像で構成される。図１の例では、被写体＃Ob1を取り囲むように３台の撮影装置CAM１乃至CAM３が配置されているが、撮影装置CAMの台数は３台に限らず、任意である。撮影時の撮影装置CAMの台数は、自由視点画像を生成する際の既知の視点数となるため、多ければ多いほど、自由視点画像を高精度に表現することができる。被写体＃Ob1は、所定の動作をとっている人物とされている。

【0019】

異なる方向の複数の撮影装置CAMから得られた撮影画像を用いて、撮影空間において表示対象となる被写体＃Ob1の3Dモデルである３DオブジェクトMO1が生成される（３Dモデリング）。例えば、異なる方向の撮影画像を用いて被写体の３次元形状の削り出しを行うVisual Hull等の手法を用いて、３DオブジェクトMO1が生成される。

【0020】

そして、撮影空間に存在する１以上の３Dオブジェクトのうち、１以上の３Dオブジェクトのデータ（以下、３Dモデルデータとも称する。）が、再生側の装置に伝送され、再生される。すなわち、再生側の装置において、取得した３Dオブジェクトのデータに基づいて、３Dオブジェクトのレンダリングを行うことにより、視聴者の視聴デバイスに3D形状映像が表示される。図１においては、視聴デバイスが、ディスプレイD1や、ヘッドマウントディスプレイ（HMD）D2である例を示している。

【0021】

再生側は、撮影空間に存在する１以上の３Dオブジェクトのうち、視聴対象の３Dオブジェクトだけを要求して、視聴デバイスに表示させることが可能である。例えば、再生側は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、撮影空間に存在する多数の３Dオブジェクトのうち、仮想カメラで捉えられる３Dオブジェクトのみを要求して、視聴デバイスに表示させる。実世界において視聴者が任意の視点から被写体を見ることができるように、仮想カメラの視点（仮想視点）は任意の位置に設定することができる。３Dオブジェクトには、適宜、所定の空間を表す背景の映像を合成することができる。

【0022】

図２は、一般的な3Dモデルデータのデータフォーマットの例を示している。

【0023】

3Dモデルデータは、一般的には、被写体の3D形状（ジオメトリ情報）を表した3D形状データと、被写体の色情報を表したテクスチャデータとで表現される。

【0024】

3D形状データは、例えば、被写体の３次元位置を点の集合で表したポイントクラウド形式、ポリゴンメッシュと呼ばれる頂点（Vertex）と頂点間のつながりで表した3Dメッシュ形式、ボクセル（voxel）と呼ばれる立方体の集合で表したボクセル形式などで表現される。

【0025】

テクスチャデータは、例えば、各撮影装置CAMが撮影した撮影画像（２次元テクスチャ画像）で保有するマルチテクスチャ形式や、3D形状データである各ポイントまたは各ポリゴンメッシュに貼り付けられる２次元テクスチャ画像を、UV座標系で表現して保有するUVマッピング形式などがある。

【0026】

図２の上段のように、3D形状データと、各撮影装置CAMが撮影した複数の撮影画像P1乃至P8で保有するマルチテクスチャ形式とで、3Dモデルデータを記述する形式は、仮想視点（仮想カメラの位置）によって、色情報が変化し得るViewDependentな形式である。

【0027】

これに対して、図２の下段のように、3D形状データと、被写体のテクスチャ情報をUV座標系にマッピングしたUVマッピング形式とで、3Dモデルデータを記述する形式は、仮想視点（仮想カメラの位置）によって、色情報が同一となるViewIndependentな形式である。

【0028】

＜２．撮影環境の調整について＞
図１を参照したような手順で生成される被写体の３Dモデル（３Dオブジェクト）は、異なるタイミングで生成された複数の３Dモデルを同一空間上に配置して表示（再生）することもできるし、同一撮影空間で同時に撮影および生成した複数の３Dモデルのなかの一つの３Dモデルのみを表示（再生）することもできる。

【0029】

例えば、図３に示されるように、１回目の撮影において、人物A、B,Cの３人を撮影し、それぞれの３DオブジェクトMO11乃至MO13を生成したとする。そして、人物Bの服装を変更したい場合や、人物Bを人物Dに変更したい場合には、人物A、B,Cの３人を再度集めて再撮影する必要はなく、服装を変更した人物Bのみを再撮影したり、人物Dのみを再撮影すればよい。

【0030】

しかしながら、１回目の撮影時と、服装を変更した人物Bの再撮影時、または、人物Dのみの再撮影時とで、明るさが合っていなかったり、フォーカスなどの設定に違いがあると、３Dオブジェクトの差し替え前後で、コンテンツのクオリティが変わってしまう。

【0031】

そのため、１回目の撮影時の撮影環境と、再撮影時の撮影環境とをできるだけ揃える必要があるが、３Dモデル生成時の撮影では、多数の撮影装置を用いて異なる視点から被写体を撮影するため、撮影環境を合わせる作業が大変である。

【0032】

そこで、本開示の画像処理システムは、３Dモデル生成時の撮影において、異なるタイミングで撮影された複数の撮影環境を揃えることができるように、撮影環境の調整を容易に行うことができるようにしたシステムである。

【0033】

以下、本開示の画像処理システムの詳細構成について説明する。

【0034】

＜３．画像処理システムの第１実施の形態＞
図４は、本開示を適用した画像処理システムの第１実施の形態を示すブロック図である。

【0035】

図４の画像処理システム１０は、N台（N＞２）の撮影装置１１－１乃至１１－N、M台（M＞０）の照明装置１２－１乃至１２－M、および、画像処理装置１３とで構成される。画像処理装置１３と、撮影装置１１－１乃至１１－Nおよび照明装置１２－１乃至１２－Mとは、例えば、所定の通信ケーブルまたはLAN（Local Area Network）などのネットワークで接続されている。また、各装置は、有線通信に限らず、無線通信により接続されてもよい。

【0036】

なお、以下において、N台の撮影装置１１－１乃至１１－Nそれぞれを特に区別しない場合、単に撮影装置１１と称し、M台の照明装置１２－１乃至１２－Mを特に区別しない場合、単に、照明装置１２と称する。N台の撮影装置１１には、所定の順番で番号が割り当てられている。

【0037】

N台の撮影装置１１－１乃至１１－Nは、被写体に対して異なる方向からの撮影となるように、被写体を囲むように所定の撮影空間に配置される。撮影装置１１は、被写体の３Dモデル（３Dオブジェクト）を生成するための撮影を行う。撮影の開始および終了のタイミングは、画像処理装置１３によって制御され、撮影により得られた静止画または動画像の画像データも、画像処理装置１３に供給される。

【0038】

M台の照明装置１２－１乃至１２－Mは、被写体に対して異なる方向から光を照射するように、被写体を囲むように所定の撮影空間に配置される。照明装置１２は、被写体の撮影を行う際に、被写体に光を照射する。照明装置１２の照射のタイミングや照明条件は、画像処理装置１３によって制御される。

【0039】

N台の撮影装置１１およびM台の照明装置１２で囲まれた撮影空間の中心には、被写体が配置される。現在の撮影環境と、過去の撮影環境とを合わせるための被写体としては、例えば、マネキンなどの条件が変わらない物体が使用される。

【0040】

画像処理装置１３は、参照カメラ画像DB２１、参照撮影環境選択部２２、初期撮影環境設定部２３、撮影環境調整部２４、および、撮影環境登録部２５を有する。

【0041】

なお、第１実施の形態の画像処理装置１３は、今回撮影を行う撮影空間と、撮影環境を合わせたい過去の撮影空間とが同一であり、撮影装置１１の台数と、(x,y,z)で特定される撮影装置１１の３次元位置と、（yaw，pitch，roll）で特定される撮影装置１１の姿勢のうちのrollが、変化していないとした場合に対応した構成を示している。

【0042】

画像処理装置１３は、被写体の３Dモデル（３Dオブジェクト）を生成するための撮影時の撮影環境を調整する処理を実行する。具体的には、画像処理装置１３は、各撮影装置１１については、撮影装置１１の３次元上の位置(x,y,z)および姿勢（yaw，pitch，roll）と、撮影時のフォーカス（ピント位置）、シャッタスピード、および、ゲインとを調整し、各照明装置１２については、照明時の照度および色温度を調整する。ここで、数値的に設定可能なパラメータは、撮影装置１１のシャッタスピードおよびゲインと、照明装置１２の照度および色温度である。ただし、前提により、撮影装置１１の３次元上の位置(x,y,z)およびrollは、合わせたい過去の撮影時と変更されていない。

【0043】

参照カメラ画像DB２１は、３Dモデル生成の撮影を過去に行ったときの撮影環境を特定するデータ（以下、撮影環境データとも称する。）、例えば、画像処理装置１３が制御する上記の撮影装置１１と照明装置１２の各パラメータ等を記憶しており、必要に応じて、装置内の各部に供給する。

【0044】

図５は、参照カメラ画像DB２１に記憶されている撮影環境データの例を示している。

【0045】

参照カメラ画像DB２１には、撮影環境ID、撮影日、照明装置１２の照度、照明装置１２の色温度、撮影装置配置ID、撮影装置１１の台数、および、台数分の撮影装置１１のパラメータとカメラ画像が、撮影装置１１ごとに記憶されている。

【0046】

撮影環境IDは、参照カメラ画像DB２１に記憶されている各撮影環境データを識別する識別情報である。撮影日は、撮影が行われた日時を示す情報である。

【0047】

照明装置照度および照明装置色温度は、撮影が行われた時の照明装置１２の照度および色温度の設定値を表す。照度および色温度は、照明装置１２の照明パラメータを構成する。

【0048】

撮影装置配置IDは、撮影装置１１の配置方法を識別する情報である。例えば、ID＝１は、４台の撮影装置１１を四隅に配置した配置方法、ID＝２は、水平方向の周囲に８台、斜め上方の周囲に４台、斜め下方の周囲に４台の計１６台の撮影装置１１を配置した配置方法、などのように、IDの値によって配置方法が決定されている。

【0049】

撮影装置台数は、撮影に使用された撮影装置１１の台数を表す。

【0050】

撮影装置１１のパラメータ（カメラパラメータ）としては、シャッタスピード、ゲイン、内部パラメータ、および、外部パラメータが、記憶されている。内部パラメータは、撮影装置１１の光学中心座標（cx,cy）と焦点距離(fx,fy)であり、外部パラメータは、３次元上の位置(x,y,z)および姿勢（yaw，pitch，roll）である。

【0051】

カメラ画像は、過去に撮影を行った時に、その撮影装置１１で被写体を撮影した画像であり、のちの撮影において参照画像として比較され得る画像である。カメラ画像は、静止画とするが、動画像でもよい。

【0052】

以上のように、参照カメラ画像DB２１は、過去に（異なるタイミングで）所定の被写体を撮影したカメラパラメータと照明パラメータおよびカメラ画像を記憶している。図４の説明に戻る。

【0053】

参照撮影環境選択部２２は、参照カメラ画像DB２１に記憶されている撮影環境データのリストである撮影環境リストを取得し、ディスプレイに表示するなどして、ユーザに提示する。そして、参照撮影環境選択部２２は、ユーザに所望の撮影環境IDを選択させることにより、撮影環境リストのなかの所定の１つの撮影環境をユーザに選択させる。ユーザによって選択された撮影環境IDが、今回の撮影において参照される撮影環境IDrとして、初期撮影環境設定部２３に供給される。

【0054】

初期撮影環境設定部２３は、参照撮影環境選択部２２から供給される撮影環境IDrに基づいて、撮影環境IDrの環境パラメータを、参照カメラ画像DB２１から取得する。環境パラメータは、撮影環境データのうちの、撮影装置１１のカメラパラメータと照明装置１２の照度パラメータに相当する。

【0055】

そして、初期撮影環境設定部２３は、参照カメラ画像DB２１から取得した環境パラメータと同じになるように、撮影装置１１および照明装置１２の各パラメータを設定する。すなわち、初期撮影環境設定部２３は、撮影環境IDrと同じ撮影環境を初期撮影環境として設定する。

【0056】

また、初期撮影環境設定部２３は、今回の撮影環境の撮影環境データを参照カメラ画像DB２１に登録するための新規の記録領域を確保し、その撮影環境IDを撮影環境IDxとする。初期撮影環境設定部２３は、撮影環境IDrを、撮影環境調整部２４に供給する。

【0057】

撮影環境調整部２４は、初期撮影環境設定部２３から供給される撮影環境IDrに基づいて、撮影環境IDrに記憶されている全ての撮影装置１１のカメラ画像を、参照画像として、参照カメラ画像DB２１から取得する。

【0058】

そして、撮影環境調整部２４は、各撮影装置１１で被写体を撮影し、その結果得られた撮影画像と、参照カメラ画像DB２１から参照画像として取得したカメラ画像とを比較し、撮影装置１１のカメラパラメータを、撮影装置１１の台数分調整する。撮影環境調整部２４は、撮影環境IDrを、撮影環境登録部２５に供給する。

【0059】

撮影環境登録部２５は、撮影環境調整部２４が調整を行った後の最終状態のカメラパラメータと撮影画像を取得し、参照カメラ画像DB２１に記憶させる（登録する）。具体的には、撮影環境登録部２５は、調整を行った後の最終状態で、撮影装置１１の内部パラメータおよび外部パラメータを推定するとともに、被写体を撮影して、撮影画像を取得する。そして、撮影環境登録部２５は、現在の撮影環境の撮影環境データ用に確保された参照カメラ画像DB２１内の撮影環境IDxの記録領域に、カメラパラメータと撮影画像を記憶する。被写体を撮影した撮影画像は、参照用のカメラ画像として記憶される。

【0060】

第１実施の形態の画像処理システム１０は、以上のように構成される。

【0061】

図６は、第１実施の形態において、画像処理装置１３が実行する撮影環境の調整処理の流れを簡単に示した図である。

【0062】

画像処理装置１３は、初めに、ユーザによって選択された撮影環境IDrの環境パラメータのうち、数値的に設定可能なパラメータである、照明装置１２の照明パラメータ、並びに、撮影装置１１のシャッタスピードおよびゲインを設定した後、１回目の撮影を行い、撮影画像を取得する。

【0063】

１回目の撮影で得られた撮影画像を、撮影環境IDrの同じ撮影位置のカメラ画像と比較すると、撮影装置１１の姿勢と、フォーカスがずれた状態となっている。

【0064】

そこで、画像処理装置１３は、１回目の撮影画像を用いて、撮影装置１１の姿勢のずれを検出して調整（制御）した後、２回目の撮影を行い、撮影画像を取得する。ここでの姿勢のずれとは、rollは変化していない前提としているので、yawとpitchのずれに相当する。

【0065】

２回目の撮影で得られた撮影画像は、撮影装置１１の姿勢は合っているが、まだフォーカスがずれた状態となっている。

【0066】

そこで、画像処理装置１３は、２回目の撮影画像を用いて、撮影装置１１のフォーカスのずれを検出して調整（制御）した後、３回目の撮影を行い、撮影画像を取得する。３回目の撮影画像は、撮影環境IDrの同じ撮影位置のカメラ画像と同等となる。

【0067】

以上のように、画像処理装置１３の撮影環境調整部２４は、異なるタイミングである過去に所定の被写体を撮影したカメラ画像を参照画像として、同一の被写体を現在の環境で撮影した撮影画像と比較した比較結果に基づいて、カメラパラメータを調整する。

【0068】

＜４．第１実施の形態に係る画像処理システムによる処理＞
図７は、第１実施の形態に係る画像処理システム１０全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置１３の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。

【0069】

初めに、ステップＳ１において、参照撮影環境選択部２２は、参照カメラ画像DB２１に記憶されている撮影環境リストから、今回の撮影において参照される過去の撮影環境をユーザに選択させる参照撮影環境選択処理を実行する。

【0070】

図８は、図７のステップＳ１において実行される参照撮影環境選択処理の詳細を示すフローチャートである。

【0071】

参照撮影環境選択処理では、初めに、ステップＳ２１において、参照撮影環境選択部２２は、撮影環境データのリストである撮影環境リストを、参照カメラ画像DB２１から取得してディスプレイに表示し、ユーザに選択させる。例えば、ユーザは、今回の撮影において合わせたい撮影環境の撮影環境IDを指定する操作を行う。

【0072】

ステップＳ２２において、参照撮影環境選択部２２は、ユーザによって選択された撮影環境IDを取得し、その撮影環境IDを、今回の撮影において参照される撮影環境IDrとする。

【0073】

ステップＳ２３において、参照撮影環境選択部２２は、撮影環境IDrを、初期撮影環境設定部２３に供給する。

【0074】

以上で参照撮影環境選択処理が終了し、処理は、図７に戻って、ステップＳ２に進む。

【0075】

図７のステップＳ２において、初期撮影環境設定部２３は、参照撮影環境選択部２２から供給された撮影環境IDrと同じ撮影環境を、初期撮影環境として設定する初期撮影環境設定処理を実行する。

【0076】

図９は、図７のステップＳ２において実行される初期撮影環境設定処理の詳細を示すフローチャートである。

【0077】

初期撮影環境設定処理では、初めに、ステップＳ４１において、初期撮影環境設定部２３は、今回の撮影環境の撮影環境データを参照カメラ画像DB２１に登録するための新規の記録領域を確保し、その撮影環境IDを撮影環境IDxとする。

【0078】

ステップＳ４２において、初期撮影環境設定部２３は、参照カメラ画像DB２１から撮影環境IDrの撮影環境データを取得し、撮影環境IDxの記録領域にコピーする。なお、撮影環境IDxの撮影日には、現在の日付が記録される。

【0079】

ステップＳ４３において、初期撮影環境設定部２３は、参照撮影環境選択部２２から取得した撮影環境IDrの撮影環境データに基づいて、照明装置１２の照度および色温度を設定するとともに、全ての撮影装置１１に対して、シャッタスピードとゲインを設定する。

【0080】

ステップＳ４４において、初期撮影環境設定部２３は、カメラキャリブレーションを実行し、全ての撮影装置１１の内部パラメータと外部パラメータを決定（推定）する。カメラキャリブレーションは、例えば、チェスボードなどの既知のキャリブレーションパターンを撮影し、その撮影画像から、内部パラメータと外部パラメータを決定（推定）する処理である。

【0081】

ステップＳ４５において、初期撮影環境設定部２３は、撮影環境IDrを、撮影環境調整部２４に供給する。

【0082】

以上で初期撮影環境設定処理が終了し、処理は、図７に戻って、ステップＳ３に進む。

【0083】

図７のステップＳ３において、撮影環境調整部２４は、各撮影装置１１が被写体を撮影した撮影画像を、参照画像としての撮影環境IDrのカメラ画像と比較することにより各撮影装置１１のカメラパラメータを調整する撮影環境調整処理を実行する。

【0084】

図１０は、図７のステップＳ３において実行される撮影環境調整処理の詳細を示すフローチャートである。

【0085】

撮影環境調整処理では、初めに、ステップＳ６１において、撮影環境調整部２４は、初期撮影環境設定部２３から供給された撮影環境IDrに基づいて、撮影環境IDrに記憶されている全ての撮影装置１１のカメラ画像を、参照画像として、参照カメラ画像DB２１から取得する。

【0086】

ステップＳ６２において、撮影環境調整部２４は、N台の撮影装置１１のうちの所定の撮影装置１１を特定する変数ｉに、初期値として１を設定する。

【0087】

ステップＳ６３において、撮影環境調整部２４は、ｉ番目の撮影装置１１で撮影した撮影画像と、撮影環境IDrから参照画像として取得した、対応するカメラ画像とを比較することで、ｉ番目の撮影装置１１の姿勢（yawおよびpitch）と、フォーカスを調整するカメラパラメータ調整処理を実行する。

【0088】

図１１は、図１０のステップＳ６３において実行されるカメラパラメータ調整処理の詳細を示すフローチャートである。

【0089】

カメラパラメータ調整処理では、初めに、ステップＳ８１において、撮影環境調整部２４は、ｉ番目の撮影装置１１で被写体を撮影し、撮影画像を取得する。ここで撮影される被写体は、マネキンなど条件が変わらない物体であり、かつ、撮影環境IDrのカメラ画像に写る被写体と同じ物体である。

【0090】

続いて、ステップＳ８２において、撮影環境調整部２４は、取得した撮影画像を、ｉ番目の参照画像であるカメラ画像と比較し、２次元画像内の被写体のずれを算出する。例えば、撮影環境調整部２４は、２枚の画像の対応する点（被写体の所定箇所）が、どこからどこへ移動したかを探索するオプティカルフローを算出し、そのベクトルの大きさにより、被写体のずれを算出する。

【0091】

ステップＳ８３において、撮影環境調整部２４は、算出された被写体のずれが所定の閾値Th1以内であるかを判定する。

【0092】

ステップＳ８３で、算出された被写体のずれが所定の閾値Th1以内ではない（所定の閾値Th1より大きい）と判定された場合、処理はステップＳ８４に進み、撮影環境調整部２４は、算出された被写体のずれを基に、ｉ番目の撮影装置１１の姿勢を調整する。例えば、ｉ番目の撮影装置１１のyawとpitchのずれを補正する制御コマンドが、ｉ番目の撮影装置１１に送信される。

【0093】

ステップＳ８４の後、処理はステップＳ８１に戻り、上述したステップＳ８１乃至Ｓ８３が再度実行される。

【0094】

一方、ステップＳ８３で、算出された被写体のずれが所定の閾値Th1以内であると判定された場合、処理はステップＳ８５に進み、撮影環境調整部２４は、ｉ番目の撮影装置１１で被写体を撮影し、撮影画像を取得する。

【0095】

続いて、ステップＳ８６において、撮影環境調整部２４は、撮影画像を、ｉ番目の参照画像であるカメラ画像と比較し、フォーカス（ピント位置）のずれ具合を算出する。例えば、撮影環境調整部２４は、２枚の画像それぞれの周波数成分の差を、フォーカスのずれ具合として算出したり、２枚の画像それぞれの微分画像の差を、フォーカスのずれ具合として算出する。フォーカスのずれ具合を何らかの方法で数値化し、比較できればよい。

【0096】

ステップＳ８７において、撮影環境調整部２４は、算出されたフォーカスのずれ具合が、所定の閾値Th2以内であるかを判定する。

【0097】

ステップＳ８７で、算出されたフォーカスのずれ具合が、所定の閾値Th2以内ではない（所定の閾値Th2より大きい）と判定された場合、処理はステップＳ８８に進み、撮影環境調整部２４は、算出されたフォーカスのずれ具合を基に、フォーカスを調整する。例えば、ｉ番目の撮影装置１１のフォーカス位置を補正する制御コマンドが、ｉ番目の撮影装置１１に送信される。

【0098】

一方、ステップＳ８７で、算出されたフォーカスのずれ具合が、所定の閾値Th2以内であると判定された場合、カメラパラメータ調整処理が終了し、処理は、図１０に戻って、ステップＳ６４に進む。

【0099】

ステップＳ６４において、撮影環境調整部２４は、全ての撮影装置１１、即ちN台の撮影装置１１に対してカメラパラメータ調整処理を行ったかを判定する。

【0100】

ステップＳ６４で、全ての撮影装置１１に対してカメラパラメータ調整処理をまだ行っていないと判定された場合、処理はステップＳ６５に進み、撮影環境調整部２４は、変数ｉを１だけインクリメントさせた後、処理をステップＳ６３に戻す。これにより、次の撮影装置１１に対するカメラパラメータ調整処理が実行される。

【0101】

一方、ステップＳ６４で、全ての撮影装置１１に対してカメラパラメータ調整処理を行ったと判定された場合、撮影環境調整処理が終了し、処理は、図７に戻って、ステップＳ４に進む。

【0102】

図７のステップＳ４において、撮影環境登録部２５は、撮影環境調整部２４が調整を行った後の最終状態の撮影環境データを、参照カメラ画像DB２１に登録する撮影環境登録処理を実行する。

【0103】

図１２は、図７のステップＳ４において実行される撮影環境登録処理の詳細を示すフローチャートである。

【0104】

撮影環境登録処理では、初めに、ステップＳ１０１において、撮影環境登録部２５は、カメラキャリブレーションを実行し、全ての撮影装置１１の内部パラメータと外部パラメータを決定（推定）する。この処理は、図９の初期撮影環境設定処理のステップＳ４４で実行した処理と同様である。

【0105】

続いて、ステップＳ１０２において、撮影環境登録部２５は、全ての撮影装置１１で被写体を撮影し、撮影画像を取得する。

【0106】

ステップＳ１０３において、撮影環境登録部２５は、参照カメラ画像DB２１内の撮影環境IDxの記録領域に、全ての撮影装置１１の内部パラメータおよび外部パラメータと撮影画像を記憶させる。その他の照明装置１２の照度および色温度、撮影装置配置ID、撮影装置１１の台数、シャッタスピードおよびゲインは、図９の初期撮影環境設定処理におけるステップＳ４２の処理により、既に記憶されている。

【0107】

以上で撮影環境登録処理が終了して図７に戻り、図７の処理自体も終了する。

【0108】

以上の調整処理を実行する画像処理システム１０の第１実施の形態によれば、撮影装置１１の３次元位置とrollが変化していないという条件下において、画像処理装置１３が、各照明装置１２の照明パラメータ（照度および色温度）と、各撮影装置１１の姿勢（yawおよびpitch）、フォーカス（ピント位置）、シャッタスピード、および、ゲインを、過去の撮影環境に自動で合わせることが可能となる。これにより、ユーザが撮影画像を見ながら手動で合わせる従来の手法と比較して、撮影環境の調整を容易に行うことができ、運用コストを削減することができる。

【0109】

＜５．画像処理システムの第２実施の形態＞
図１３は、本開示を適用した画像処理システムの第２実施の形態を示すブロック図である。

【0110】

図１３の第２実施の形態において、図４に示した第１実施の形態と対応する部分については同一の符号を付してあり、その部分の説明は適宜省略する。

【0111】

図１３の画像処理システム１０は、N台の撮影装置１１－１乃至１１－N、M台の照明装置１２－１乃至１２－M、および、画像処理装置１３とで構成される。

【0112】

上述した第１実施の形態では、今回の撮影装置１１の３次元位置とrollが変化していない場合に、今回の撮影環境を、過去の撮影環境に合わせる場合の構成であったが、第２実施の形態は、撮影装置１１の３次元位置とrollも変化している場合に対応した構成を示している。例えば、N台の撮影装置１１－１乃至１１－Nの配置を変更した場合や、撮影スタジオ（撮影空間）が異なる場合などが考えられる。

【0113】

画像処理装置１３は、参照カメラ画像DB２１、参照撮影環境選択部２２、初期撮影環境設定部２３、参照仮想視点画像生成部５１、撮影環境調整部２４A、および、撮影環境登録部２５を有する。

【0114】

したがって、第２実施の形態の画像処理装置１３は、第１実施の形態と比較すると、参照仮想視点画像生成部５１が新たに追加されるとともに、撮影環境調整部２４が、撮影環境調整部２４Aに変更されている。画像処理装置１３のその他の構成は、第１実施の形態と同様である。

【0115】

参照仮想視点画像生成部５１は、撮影環境IDrを、初期撮影環境設定部２３から取得する。そして、参照仮想視点画像生成部５１は、撮影環境IDrに記憶されている各撮影装置１乃至Nの内部パラメータおよび外部パラメータとカメラ画像を使用して、被写体の３Dモデルを生成する。さらに、参照仮想視点画像生成部５１は、生成した被写体の３Dモデルを、今回の撮影装置１１それぞれと同じ視点から見た仮想視点画像を、参照仮想視点画像として生成し、撮影環境IDrとともに撮影環境調整部２４Aに供給する。

【0116】

撮影環境調整部２４Aは、参照仮想視点画像生成部５１から供給される撮影環境IDrに基づいて、参照カメラ画像DB２１から、撮影環境IDrに記憶されている照明パラメータ（照度および色温度）を取得する。そして、撮影環境調整部２４Aは、照明装置１２の設定値を、撮影環境IDrの照度および色温度に調整する。また、撮影環境調整部２４Aは、参照仮想視点画像生成部５１から供給される撮影装置１１それぞれに対応する参照仮想視点画像と、撮影装置１１が撮影した撮影画像とを比較し、撮影装置１１のカメラパラメータを調整する。

【0117】

第２実施の形態における画像処理システム１０は、以上のように構成される。

【0118】

図１４は、第２実施の形態において撮影環境調整部２４Aが実行する撮影環境調整処理を説明する図である。

【0119】

第２実施の形態では、撮影装置１１の配置が、過去の撮影時の配置と異なることを想定しているため、参照カメラ画像DB２１から取得した撮影環境IDrのカメラ画像の視点と、撮影装置１１の視点が異なることが想定される。したがって、まず、参照画像の視点と、撮影装置１１の視点を合わせる必要がある。

【0120】

そこで、参照仮想視点画像生成部５１は、参照カメラ画像DB２１から取得した撮影環境IDrの各撮影装置１乃至Nの内部パラメータおよび外部パラメータとカメラ画像とから、被写体の３Dモデルを生成し、生成した３Dモデルを、現在の環境である撮影装置１１それぞれの視点から見た仮想視点画像を参照画像として生成する。これにより、生成された仮想視点画像は、今回の撮影装置１１のいずれかと同じ視点からの画像となるので、撮影環境調整部２４Aが、生成された仮想視点画像と、それと同じ視点の撮影装置１１が被写体を撮影した撮影画像とを比較し、比較結果に基づいて、カメラパラメータを調整することができる。

【0121】

また、第２実施の形態では、撮影装置１１の配置の違いにより明るさにも違いがあることが想定されるため、撮影環境調整部２４Aは、照明パラメータも調整する。撮影環境調整部２４Aのその他の調整は、第１実施の形態の撮影環境調整部２４と同様である。

【0122】

＜６．第２実施の形態に係る画像処理システムによる処理＞
図１５は、第２実施の形態に係る画像処理システム１０全体の処理を示すフローチャートである。この処理は、例えば、画像処理装置１３の図示せぬ操作部において、撮影環境の調整開始を指示する操作が行われたとき開始される。

【0123】

初めに、ステップＳ１５１において、参照撮影環境選択部２２は、参照カメラ画像DB２１に記憶されている撮影環境リストから、今回の撮影において参照される過去の撮影環境をユーザに選択させる参照撮影環境選択処理を実行する。この処理の詳細は、図８のフローチャートで説明した処理と同様である。

【0124】

ステップＳ１５２において、初期撮影環境設定部２３は、参照撮影環境選択部２２から供給された撮影環境IDrと同じ撮影環境を、初期撮影環境として設定する初期撮影環境設定処理を実行する。この処理の詳細は、図９のフローチャートで説明した処理と同様である。

【0125】

ステップＳ１５３において、参照仮想視点画像生成部５１は、撮影環境IDrに記憶されている撮影環境データから３Ｄモデルを生成し、生成した３Ｄモデルを、今回の撮影装置１１それぞれの視点から見た仮想視点画像を、参照仮想視点画像として生成する参照仮想視点画像生成処理を実行する。この処理の詳細は、図１６を参照して後述する。

【0126】

ステップＳ１５４において、撮影環境調整部２４Aは、各撮影装置１１が被写体を撮影した撮影画像を、参照画像としての参照仮想視点画像と比較することにより、各撮影装置１１のカメラパラメータを調整する撮影環境調整処理を実行する。この処理の詳細は、図１７および図１８を参照して後述する。

【0127】

ステップＳ１５５において、撮影環境登録部２５は、撮影環境調整部２４が調整を行った後の最終状態の撮影環境データを、参照カメラ画像DB２１に登録する撮影環境登録処理を実行する。

【0128】

図１６は、図１５のステップＳ１５３において実行される参照仮想視点画像生成処理の詳細を示すフローチャートである。

【0129】

初めに、ステップＳ１７１において、参照仮想視点画像生成部５１は、初期撮影環境設定部２３から供給された撮影環境IDrに記憶されている各撮影装置１乃至Nの内部パラメータおよび外部パラメータとカメラ画像を使用して、被写体の３Dモデルを生成する。

【0130】

ステップＳ１７２において、参照仮想視点画像生成部５１は、生成した被写体の３Dモデルを、今回の撮影装置１１それぞれの視点から見た仮想視点画像を、参照仮想視点画像として生成し、撮影環境IDrとともに撮影環境調整部２４Aに供給する。

【0131】

以上で参照仮想視点画像生成処理が終了し、処理は、図１５に戻って、ステップＳ１５４に進む。

【0132】

図１７は、図１５のステップＳ１５４において実行される撮影環境調整処理の詳細を示すフローチャートである。

【0133】

初めに、ステップＳ１９１において、撮影環境調整部２４Aは、参照仮想視点画像生成部５１から供給された撮影環境IDrに基づいて、参照カメラ画像DB２１から、撮影環境IDrに記憶されている照明パラメータ（照度および色温度）を取得し、照明装置１２の設定値を、撮影環境IDrの照度および色温度に調整する。

【0134】

ステップＳ１９２において、撮影環境調整部２４Aは、N台の撮影装置１１のうちの所定の撮影装置１１を特定する変数ｉに、初期値として１を設定する。

【0135】

ステップＳ１９３において、撮影環境調整部２４Aは、ｉ番目の撮影装置１１で撮影した撮影画像と、参照仮想視点画像生成部５１で生成された、対応する参照仮想視点画像とを比較することで、ｉ番目の撮影装置１１のカメラパラメータを調整するカメラパラメータ調整処理を実行する。この処理の詳細は、図１８を参照して後述する。

【0136】

ステップＳ１９４において、撮影環境調整部２４Aは、全ての撮影装置１１、即ちN台の撮影装置１１に対してカメラパラメータ調整処理を行ったかを判定する。

【0137】

ステップＳ１９４で、全ての撮影装置１１に対してカメラパラメータ調整処理を行っていないと判定された場合、処理はステップＳ１９５に進み、撮影環境調整部２４Aは、変数ｉを１だけインクリメントさせた後、処理をステップＳ１９３に戻す。これにより、次の撮影装置１１に対するカメラパラメータ調整処理が実行される。

【0138】

一方、ステップＳ１９４で、全ての撮影装置１１に対してカメラパラメータ調整処理を行ったと判定された場合、撮影環境調整処理が終了し、処理は、図１５に戻って、ステップＳ１５５に進む。

【0139】

図１８は、図１７のステップＳ１９３において実行されるカメラパラメータ調整処理の詳細を示すフローチャートである。

【0140】

カメラパラメータ調整処理では、初めに、ステップＳ２１１において、撮影環境調整部２４Aは、ｉ番目の撮影装置１１で被写体を撮影し、撮影画像を取得する。ここで撮影される被写体は、マネキンなど条件が変わらない物体であり、かつ、撮影環境IDrのカメラ画像に写る被写体と同じ物体である。

【0141】

続いて、ステップＳ２１２において、撮影環境調整部２４Aは、取得した撮影画像を、対応する参照仮想視点画像と比較し、２次元画像内の被写体の明るさのずれを算出する。例えば、撮影環境調整部２４Aは、２枚の画像の対応する点（被写体の所定箇所）のRGB値から変換した輝度値の差を、明るさのずれとして算出する。

【0142】

ステップＳ２１３において、撮影環境調整部２４Aは、算出された被写体の明るさのずれが所定の閾値Th3以内であるかを判定する。

【0143】

ステップＳ２１３で、算出された被写体の明るさのずれが所定の閾値Th3以内ではない（所定の閾値Th3より大きい）と判定された場合、処理はステップＳ２１４に進み、撮影環境調整部２４Aは、算出された被写体の明るさのずれを基に、ｉ番目の撮影装置１１のシャッタスピードおよびゲインの少なくとも一方を調整する。例えば、ｉ番目の撮影装置１１のゲインを変更する制御コマンドが、ｉ番目の撮影装置１１に送信される。

【0144】

ステップＳ２１４の後、処理はステップＳ２１１に戻り、上述したステップＳ２１１乃至Ｓ２１３が再度実行される。

【0145】

一方、ステップＳ２１３で、算出された被写体の明るさのずれが所定の閾値Th3以内であると判定された場合、処理はステップＳ２１５に進み、撮影環境調整部２４Aは、ｉ番目の撮影装置１１で被写体を撮影し、撮影画像を取得する。

【0146】

続いて、ステップＳ２１６において、撮影環境調整部２４Aは、取得した撮影画像を、対応する参照仮想視点画像と比較し、フォーカス（ピント位置）のずれ具合を算出する。この処理は、第１実施の形態にける図１１のステップＳ８６と同様である。

【0147】

ステップＳ２１７において、撮影環境調整部２４Aは、算出されたフォーカスのずれ具合が、所定の閾値Th4以内であるかを判定する。

【0148】

ステップＳ２１７で、算出されたフォーカスのずれ具合が、所定の閾値Th4以内ではないと判定された場合、処理はステップＳ２１８に進み、撮影環境調整部２４Aは、算出されたフォーカスのずれ具合を基に、フォーカスを調整する。この処理は、第１実施の形態にける図１１のステップＳ８８と同様である。

【0149】

一方、ステップＳ２１７で、算出されたフォーカスのずれ具合が、所定の閾値Th4以内であると判定された場合、カメラパラメータ調整処理が終了し、処理は、図１７に戻って、ステップＳ１９４に進む。

【0150】

第２実施の形態に係る画像処理システム１０の処理は以上のように実行される。

【0151】

画像処理システム１０の第２実施の形態によれば、例えば、撮影装置１１の３次元位置が変更されたような場合においても、画像処理装置１３が、各照明装置１２の照明パラメータ（照度および色温度）と、各撮影装置１１のフォーカス（ピント位置）、シャッタスピード、および、ゲインを、過去の撮影環境に自動で合わせることが可能となる。これにより、ユーザが撮影画像を見ながら手動で合わせる従来の手法と比較して、撮影環境の調整を容易に行うことができ、運用コストを削減することができる。

【0152】

画像処理装置１３は、上述した第１実施の形態の構成と第２実施の形態の構成の両方を備え、現在の撮影装置１１の３次元位置が、合わせたい過去の撮影環境と同じか否か等を指定することによって、いずれか一方の調整処理を選択して実行することができる。

【0153】

＜７．３Dモデル再生表示装置としての構成＞
画像処理システム１０の画像処理装置１３は、撮影環境を調整する処理だけではなく、撮影環境が調整された後に、撮影装置１１と照明装置１２を制御して、調整用ではない3Dモデル生成対象の被写体を撮影して動画像データを取得し、３Dモデルを生成する処理と、生成された３Dモデルを任意の仮想視点から見た仮想視点画像を生成し、所定の表示装置に表示させる表示処理を行う３Dモデル再生表示装置としての機能も備える。

【0154】

図１９は、画像処理装置１３が３Dモデル再生表示装置としての機能を実行する場合の構成例を示すブロック図である。

【0155】

画像処理装置１３は、画像取得部７１、３Dモデル生成部７２、３DモデルDB７３、レンダリング部７４、および、参照カメラ画像DB２１を備える。

【0156】

画像取得部７１は、N台の撮影装置１１－１乃至１１－Nそれぞれから供給される、被写体を撮影した撮影画像（動画像）を取得し、３Dモデル生成部７２に供給する。

【0157】

３Dモデル生成部７２は、参照カメラ画像DB２１から、現在の撮影環境の撮影装置１乃至Nのカメラパラメータを取得する。カメラパラメータには、外部パラメータおよび内部パラメータが少なくとも含まれる。

【0158】

３Dモデル生成部７２は、N台の撮影装置１１－１乃至１１－Nで撮影された撮影画像と、カメラパラメータとに基づいて、被写体の３Dモデルを生成し、生成した３Dモデルの動画像データ（３Dモデルデータ）を、３DモデルDB７３に記憶させる。

【0159】

３DモデルDB７３は、３Dモデル生成部７２で生成された３Dモデルデータを記憶し、レンダリング部７４から要求に応じて、レンダリング部７４に供給する。３DモデルDB７３と参照カメラ画像DB２１は、同一の記憶媒体であってもよいし、別々の記憶媒体であってもよい。

【0160】

レンダリング部７４は、３Dモデルの再生画像を視聴する視聴者が指定する３Dモデルの動画像データ（３Dモデルデータ）を３DモデルDB７３から取得する。そして、レンダリング部７４は、図示せぬ操作部から供給される視聴者の視聴位置から、３Dモデルを見た２次元画像を生成（再生）し、表示装置８１に供給する。レンダリング部７４は、視聴者の視聴範囲が撮影範囲となるような仮想カメラを想定し、仮想カメラで捉えられる３Dオブジェクトの２次元画像を生成して、表示装置８１に表示させる。表示装置８１は、図１に示したようなディスプレイD1や、ヘッドマウントディスプレイ（HMD）D2などで構成される。

【0161】

＜８．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

【0162】

図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

【0163】

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

【0164】

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

【0165】

入力部１０６は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１０７は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１０８は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

【0166】

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

【0167】

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

【0168】

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。

【0169】

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

【0170】

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【0171】

例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

【0172】

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

【0173】

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0174】

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

【0175】

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

【0176】

なお、本開示は、以下の構成を取ることができる。
（１）
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する調整部を備える
画像処理装置。
（２）
前記調整部は、前記異なるタイミングで所定の被写体を撮影した画像を前記参照画像として前記撮影画像と比較し、前記カメラパラメータを調整する
前記（１）に記載の画像処理装置。
（３）
前記異なるタイミングで所定の被写体を撮影した複数の前記画像から前記被写体の３Dモデルを生成し、生成した前記３Dモデルを、前記現在の環境の視点から見た仮想視点画像を前記参照画像として生成する参照画像生成部をさらに備え、
前記調整部は、前記参照画像としての前記仮想視点画像と、前記撮影画像とを比較し、前記カメラパラメータを調整する
前記（１）または（２）に記載の画像処理装置。
（４）
前記異なるタイミングで所定の被写体を撮影した画像を、１以上の環境について記憶する記憶部と、
前記記憶部に記憶されている１以上の環境のなかの所定の１つをユーザに選択させる選択部と
をさらに備え、
前記調整部は、前記ユーザによって選択された前記環境の前記画像に基づく参照画像と、前記撮影画像との比較結果に基づいて、カメラパラメータを調整する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記調整部は、前記カメラパラメータとして、シャッタスピードとゲインを少なくとも調整する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記調整部は、前記カメラパラメータとして、撮影装置の内部パラメータと外部パラメータを少なくとも調整する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記調整部は、前記カメラパラメータに加えて、照明装置のパラメータも調整する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記照明装置のパラメータは、照度と色温度である
前記（７）に記載の画像処理装置。
（９）
異なるタイミングで所定の被写体を撮影した画像に基づく参照画像と、同一の被写体を現在の環境で撮影した撮影画像との比較結果に基づいて、カメラパラメータを調整する
画像処理方法。
（１０）
異なるタイミングで第１の被写体を撮影した画像に基づく参照画像と、前記第１の被写体を現在の環境で撮影した第１の撮影画像との比較結果に基づいて調整したカメラパラメータを用いた複数の撮影装置で第２の被写体を撮影した複数の第２の撮影画像から、前記第２の被写体の３Dモデルを生成し、生成した前記第２の被写体の３Dモデルを、所定の視点から見た仮想視点画像を生成する
３Dモデルデータ生成方法。

【符号の説明】

【0177】

１０ 画像処理システム， １１－１乃至１１－N 撮影装置， １２－１乃至１２－M 照明装置， １３ 画像処理装置， ２１ 参照カメラ画像DB， ２２ 参照撮影環境選択部， ２３ 初期撮影環境設定部， ２４，２４A 撮影環境調整部， ２５ 撮影環境登録部， ５１ 参照仮想視点画像生成部， ７１ 画像取得部， ７２ ３Dモデル生成部， ７３ ３DモデルDB， ７４ レンダリング部， ８１ 表示装置， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】