(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024084285
(43)【公開日】2024-06-25
(54)【発明の名称】カメラ位置決定装置およびそのプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240618BHJP
H04N 5/222 20060101ALI20240618BHJP
H04N 23/90 20230101ALI20240618BHJP
G06T 15/20 20110101ALI20240618BHJP
【ＦＩ】
G06T19/00 A
H04N5/222
H04N23/90
G06T15/20 500
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2022198466
(22)【出願日】2022-12-13
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】盛岡 寛史
【テーマコード（参考）】
5B050
5B080
5C122
【Ｆターム（参考）】
5B050AA08
5B050AA09
5B050BA09
5B050BA12
5B050CA01
5B050DA07
5B050EA06
5B050EA07
5B050EA26
5B050FA02
5B080AA13
5B080AA17
5B080CA00
5B080FA02
5B080GA00
5C122DA02
5C122DA36
5C122EA42
5C122FA04
5C122FA18
5C122GE10
5C122HA88
5C122HB01
(57)【要約】
【課題】スタジオに配置するカメラの位置を決定するカメラ位置決定装置を提供する。
【解決手段】カメラ位置決定装置１は、被写体モデルの頂点に重要度を設定する頂点重要度設定部２１と、頂点位置に接し頂点法線に直交する平面に近いカメラ位置に重要度を割り当てるカメラ位置重要度割当部２２と、重要度によりカメラ位置をクラスタリングする重要度クラスタリング部２３と、注視位置を算出する注視位置算出部３０と、クラスタリングされた部分空間の重要度の割合に応じたカメラ数を算出するカメラ数算出部４１と、部分空間におけるカメラの配置パターンを選択する配置パターン選択部４２と、注視位置からカメラ位置への方向ベクトルを用いて、配置パターンごとに損失関数により損失を算出するパターン別損失算出部４３と、損失が最小となる配置パターンを選択する損失最小パターン選択部４４と、を備える。
【選択図】図１
【解決手段】カメラ位置決定装置１は、被写体モデルの頂点に重要度を設定する頂点重要度設定部２１と、頂点位置に接し頂点法線に直交する平面に近いカメラ位置に重要度を割り当てるカメラ位置重要度割当部２２と、重要度によりカメラ位置をクラスタリングする重要度クラスタリング部２３と、注視位置を算出する注視位置算出部３０と、クラスタリングされた部分空間の重要度の割合に応じたカメラ数を算出するカメラ数算出部４１と、部分空間におけるカメラの配置パターンを選択する配置パターン選択部４２と、注視位置からカメラ位置への方向ベクトルを用いて、配置パターンごとに損失関数により損失を算出するパターン別損失算出部４３と、損失が最小となる配置パターンを選択する損失最小パターン選択部４４と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
ボリュメトリックスタジオに配置するカメラの位置を決定するカメラ位置決定装置であって、
ＣＧの被写体モデルのポリゴンを構成する各頂点に重要度を設定する頂点重要度設定部と、
前記被写体モデルを前記ボリュメトリックスタジオの仮想空間内に配置し、前記頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面とカメラ位置との距離が予め定めた閾値未満となるカメラ位置に割り当てるカメラ位置重要度割当部と、
前記カメラ位置重要度割当部で割り当てられた重要度により、前記カメラ位置をクラスタリングする重要度クラスタリング部と、
予め設定された総カメラ数から、クラスタリングされたカメラ位置のクラスである部分空間ごとの前記重要度の割合に応じたカメラ数を算出するカメラ数算出部と、
前記カメラ数に応じた前記部分空間におけるカメラの配置パターンを選択する配置パターン選択部と、
カメラ同士の方向ベクトルが、直交する関係に近いほど値が小さくなる損失関数を用いて、前記部分空間における前記配置パターンごとの損失を算出するパターン別損失算出部と、
前記損失が最小となる配置パターンを選択して、前記部分空間におけるカメラの位置とする損失最小パターン選択部と、
を備えることを特徴とするカメラ位置決定装置。
ＣＧの被写体モデルのポリゴンを構成する各頂点に重要度を設定する頂点重要度設定部と、
前記被写体モデルを前記ボリュメトリックスタジオの仮想空間内に配置し、前記頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面とカメラ位置との距離が予め定めた閾値未満となるカメラ位置に割り当てるカメラ位置重要度割当部と、
前記カメラ位置重要度割当部で割り当てられた重要度により、前記カメラ位置をクラスタリングする重要度クラスタリング部と、
予め設定された総カメラ数から、クラスタリングされたカメラ位置のクラスである部分空間ごとの前記重要度の割合に応じたカメラ数を算出するカメラ数算出部と、
前記カメラ数に応じた前記部分空間におけるカメラの配置パターンを選択する配置パターン選択部と、
カメラ同士の方向ベクトルが、直交する関係に近いほど値が小さくなる損失関数を用いて、前記部分空間における前記配置パターンごとの損失を算出するパターン別損失算出部と、
前記損失が最小となる配置パターンを選択して、前記部分空間におけるカメラの位置とする損失最小パターン選択部と、
を備えることを特徴とするカメラ位置決定装置。
【請求項2】
前記ボリュメトリックスタジオにすでに配置されている既存カメラの方向ベクトルから注視位置を算出する注視位置算出部をさらに備え、
前記パターン別損失算出部は、前記注視位置からカメラ位置への方向ベクトルを用いて、前記配置パターンごとの損失を算出することを特徴とする請求項１に記載のカメラ位置決定装置。
前記パターン別損失算出部は、前記注視位置からカメラ位置への方向ベクトルを用いて、前記配置パターンごとの損失を算出することを特徴とする請求項１に記載のカメラ位置決定装置。
【請求項3】
前記配置パターン選択部は、前記部分空間にすでに既存カメラが存在する場合、前記カメラ数から前記部分空間内の既存カメラの数を減算した数で前記配置パターンを選択し、
前記パターン別損失算出部は、前記配置パターン内の１つの新規カメラの位置と当該新規カメラを除く他の新規カメラおよび既存カメラの位置との間において前記損失を算出することを特徴とする請求項１に記載のカメラ位置決定装置。
前記パターン別損失算出部は、前記配置パターン内の１つの新規カメラの位置と当該新規カメラを除く他の新規カメラおよび既存カメラの位置との間において前記損失を算出することを特徴とする請求項１に記載のカメラ位置決定装置。
【請求項4】
前記頂点重要度設定部は、前記重要度として、予め前記重要度の度合いを割り当てた輝度または色情報の値を設定することを特徴とする請求項１に記載のカメラ位置決定装置。
【請求項5】
コンピュータを、請求項１から請求項４のいずれか一項に記載のカメラ位置決定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ボリュメトリックスタジオに配置するカメラの位置を決定するカメラ位置決定装置およびそのプログラムに関する。
【背景技術】
【0002】
近年、多視点画像を利用して、３次元再構成を行うためのボリュメトリックスタジオが様々な場面で実用化のフェーズに入っている。
ボリュメトリックスタジオでは、一般的に数十台もの多数のカメラを必要とする。そのため、限りあるカメラ台数を考えた場合、いかに決められた空間上にカメラを効率よく配置するかが重要になる。
ボリュメトリックスタジオでは、一般的に数十台もの多数のカメラを必要とする。そのため、限りあるカメラ台数を考えた場合、いかに決められた空間上にカメラを効率よく配置するかが重要になる。
【0003】
従来、このような３次元再構成を行うためのカメラの配置位置を最適化する手法として、視体積交差法を利用する手法が提案されている（非特許文献１）。
この手法は、同時刻にカメラで被写体を撮影した複数枚の２次元シルエットを用いて、カメラの位置を頂点、２次元シルエットを断面とする錐体（視体積）の共通部分を最小化するように、カメラの位置を探索する手法である。
この手法は、同時刻にカメラで被写体を撮影した複数枚の２次元シルエットを用いて、カメラの位置を頂点、２次元シルエットを断面とする錐体（視体積）の共通部分を最小化するように、カメラの位置を探索する手法である。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】海老澤，東海林，外山，森，“視体積交差におけるカメラ配置の最適化”，ＦＩＴ２０１２（第１１回情報科学技術フォーラム）講演論文，第３分冊，ｐｐ１５１－１５４，２０１２年
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の手法は、２次元シルエットから視体積の共通部分を最小化する手法であるため、被写体の形状のみからカメラの配置を決定している。すなわち、従来の手法は、被写体の形状を一様に３次元再構成するためのカメラの位置を決定している。
しかし、被写体の各部位への重要度（注目度）は一様ではない。例えば、被写体の顔と背中とでは、顔に対する重要度の方が高いことが一般的である。従来の手法は、被写体の部位に対して重要度が異なる場合であっても、被写体を一様に再構成するため、重要度の高い部位についてはより詳細に再構成を行いたいという要望がある。
しかし、被写体の各部位への重要度（注目度）は一様ではない。例えば、被写体の顔と背中とでは、顔に対する重要度の方が高いことが一般的である。従来の手法は、被写体の部位に対して重要度が異なる場合であっても、被写体を一様に再構成するため、重要度の高い部位についてはより詳細に再構成を行いたいという要望がある。
【0006】
そこで、本発明は、指定された被写体の重要度に応じて、重要度の高い部位ほど、詳細に３次元再構成を行うことが可能なカメラの位置を決定するカメラ位置決定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するため、本発明に係るカメラ位置決定装置は、ボリュメトリックスタジオに配置するカメラの位置を決定するカメラ位置決定装置であって、頂点重要度設定部と、カメラ位置重要度割当部と、重要度クラスタリング部と、カメラ数算出部と、配置パターン選択部と、パターン別損失算出部と、損失最小パターン選択部と、を備える構成とした。
【0008】
かかる構成において、カメラ位置決定装置は、頂点重要度設定部によって、ＣＧの被写体モデルのポリゴンを構成する各頂点に重要度を設定する。なお、この重要度は、より詳細に３次元再構成したい被写体の部位にユーザが設定する値である。
【0009】
そして、カメラ位置決定装置は、カメラ位置重要度割当部によって、被写体モデルをボリュメトリックスタジオの仮想空間内に配置し、頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面とカメラ位置との距離が予め定めた閾値未満となるカメラ位置に割り当てる。これによって、頂点法線に対して直交する方向に配置されたカメラ位置ほど、高い重要度が設定されることになる。
さらに、カメラ位置決定装置は、重要度クラスタリング部によって、カメラ位置重要度割当部で割り当てられた重要度により、カメラ位置をクラスタリングする。これによって、カメラ位置の全体空間を、重要度に応じた部分空間に分割することができる。
さらに、カメラ位置決定装置は、重要度クラスタリング部によって、カメラ位置重要度割当部で割り当てられた重要度により、カメラ位置をクラスタリングする。これによって、カメラ位置の全体空間を、重要度に応じた部分空間に分割することができる。
【0010】
そして、カメラ位置決定装置は、カメラ数算出部によって、予め設定されたカメラ総数から、クラスタリングされたカメラ位置の部分空間の重要度の割合に応じたカメラ数を算出する。
そして、カメラ位置決定装置は、配置パターン選択部によって、算出されたカメラ数に応じた部分空間におけるカメラの配置パターンを選択する。
そして、カメラ位置決定装置は、配置パターン選択部によって、算出されたカメラ数に応じた部分空間におけるカメラの配置パターンを選択する。
【0011】
そして、カメラ位置決定装置は、パターン別損失算出部によって、カメラ同士の方向ベクトルが、直交する関係に近いほど値が小さくなる損失関数を用いて、部分空間における配置パターンごとの損失を算出する。
そして、カメラ位置決定装置は、損失最小パターン選択部によって、損失が最小となる配置パターンを選択して、部分空間におけるカメラの位置とする。
なお、カメラ位置決定装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
そして、カメラ位置決定装置は、損失最小パターン選択部によって、損失が最小となる配置パターンを選択して、部分空間におけるカメラの位置とする。
なお、カメラ位置決定装置は、コンピュータを、前記した各部として機能させるためのプログラムで動作させることができる。
【発明の効果】
【0012】
本発明によれば、指定された被写体の部位の重要度に応じて、重要度の高い部位ほど、詳細に３次元再構成を行うことが可能なカメラの位置を決定することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施形態に係るカメラ位置決定装置の構成を示すブロック図である。
【図2】ボリュメトリックスタジオの構成例を示す斜視図である。
【図3】頂点重要度設定部が被写体モデルに設定する重要度を模式的に示す図である。
【図4】重要度を輝度で表したときの重要度の設定例を示す図である。
【図5】カメラ位置重要度割当部におけるカメラ位置に重要度を割り当てる処理を説明するための説明図である。
【図6】カメラ位置重要度割当部における異なる重要度をカメラ位置に割り当てる処理を説明するための説明図である。
【図7】カメラ位置重要度割当部における同じカメラ位置に重要度を割り当てる処理を説明するための説明図である。
【図8】半球体の面の表面に重要度が設定された状態を示す模式図である。
【図9】重要度クラスタリング部の処理を説明するための説明図である。
【図10】配置パターン選択部の処理を説明するための説明図である。
【図11】パターン別損失算出部および損失最小パターン選択部における並列処理を説明するための説明図である。
【図12】本発明の実施形態に係るカメラ位置決定装置の動作を示すフローチャート（１／２）である。
【図13】本発明の実施形態に係るカメラ位置決定装置の動作を示すフローチャート（２／２）である。
【発明を実施するための形態】
【0014】
【0015】
カメラ位置決定装置１は、ボリュメトリックスタジオに配置するカメラの位置を決定するものである。
カメラ位置決定装置１は、外部の記憶装置２に記憶されている予めＣＧで生成された被写体モデルである被写体データを入力し、被写体の部位の重要度に応じたボリュメトリックスタジオ内のカメラ位置を決定する。
カメラ位置決定装置１は、外部の記憶装置２に記憶されている予めＣＧで生成された被写体モデルである被写体データを入力し、被写体の部位の重要度に応じたボリュメトリックスタジオ内のカメラ位置を決定する。
【0016】
図２に示すように、ボリュメトリックスタジオ１００は、被写体Ｍを中心にそれを包み込む表面Ｓｆ上にカメラＣａｍを配置する構造となっている。
なお、表面Ｓｆの形状は、半球形状や天井のある円筒形状が一般的であるが、これらの形状には限定されず、立方体等であっても構わない。ここでは、表面Ｓｆの形状を半球形状の例で説明する。ボリュメトリックスタジオ１００の表面Ｓｆには、予め構造体の骨組み等に設定されたカメラＣａｍを設置するための複数のカメラ位置Ｐが準備されている。
カメラ位置決定装置１は、ボリュメトリックスタジオ１００の表面Ｓｆにおいて、被写体Ｍの部位の重要度に応じて、複数のカメラ位置Ｐを決定する。
なお、表面Ｓｆの形状は、半球形状や天井のある円筒形状が一般的であるが、これらの形状には限定されず、立方体等であっても構わない。ここでは、表面Ｓｆの形状を半球形状の例で説明する。ボリュメトリックスタジオ１００の表面Ｓｆには、予め構造体の骨組み等に設定されたカメラＣａｍを設置するための複数のカメラ位置Ｐが準備されている。
カメラ位置決定装置１は、ボリュメトリックスタジオ１００の表面Ｓｆにおいて、被写体Ｍの部位の重要度に応じて、複数のカメラ位置Ｐを決定する。
【0017】
図１に示すように、カメラ位置決定装置１は、記憶部ＭＥと制御部ＣＬとを備える。
記憶部ＭＥは、カメラ位置決定装置１を制御するための情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、カメラ配置情報記憶部１０を備える。
カメラ配置情報記憶部１０は、ボリュメトリックスタジオ１００（図２）の３次元空間上のカメラ位置Ｐの位置情報を記憶するものである。また、カメラ位置Ｐには、すでにカメラＣａｍが配置されているか否かを示す情報も付加され、すでにカメラＣａｍが配置されている場合、すでに撮影を行ったキャリブレーションされた方向ベクトル（パン、チルト）が記憶されているものとする。
記憶部ＭＥは、カメラ位置決定装置１を制御するための情報を記憶するものであって、半導体メモリ等の一般的な記憶媒体で構成することができる。
ここでは、記憶部ＭＥは、カメラ配置情報記憶部１０を備える。
カメラ配置情報記憶部１０は、ボリュメトリックスタジオ１００（図２）の３次元空間上のカメラ位置Ｐの位置情報を記憶するものである。また、カメラ位置Ｐには、すでにカメラＣａｍが配置されているか否かを示す情報も付加され、すでにカメラＣａｍが配置されている場合、すでに撮影を行ったキャリブレーションされた方向ベクトル（パン、チルト）が記憶されているものとする。
【0018】
制御部ＣＬは、カメラ位置決定装置１の各種制御動作を行うものである。
制御部ＣＬは、カメラ配置空間クラスタリング部２０と、注視位置算出部３０と、部分空間別カメラ位置決定部４０と、を備える、
制御部ＣＬは、カメラ配置空間クラスタリング部２０と、注視位置算出部３０と、部分空間別カメラ位置決定部４０と、を備える、
【0019】
カメラ配置空間クラスタリング部２０は、ボリュメトリックスタジオ１００のカメラ位置Ｐを、被写体Ｍの部位の重要度に応じてクラスタリングするものである。
ここでは、カメラ配置空間クラスタリング部２０は、頂点重要度設定部２１と、カメラ位置重要度割当部２２と、重要度クラスタリング部２３と、を備える。
ここでは、カメラ配置空間クラスタリング部２０は、頂点重要度設定部２１と、カメラ位置重要度割当部２２と、重要度クラスタリング部２３と、を備える。
【0020】
頂点重要度設定部２１は、記憶装置２に記憶されている被写体データを読み込み、ＣＧの被写体モデルのポリゴン（多角形の面）を構成する各頂点に対して重要度を設定するものである。被写体データは、一般的な人間をモデル化したデータを用いる。もちろん、被写体Ｍが、動物等であれば、被写体データもそれに対応した動物等をモデル化したデータを用いる。
頂点重要度設定部２１は、被写体モデルを表示装置３に表示し、ユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、被写体モデルのどこを重点的（より詳細）に３次元再構成したいかを設定する。
例えば、頂点重要度設定部２１は、被写体モデルＭＤを表示装置３に表示し、ユーザがマウス操作等によって、被写体モデルＭＤを移動、回転させて、任意の視点から、重点的に３次元再構成したい部位を重要度が高い部位に設定する。
頂点重要度設定部２１は、被写体モデルを表示装置３に表示し、ユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によって、被写体モデルのどこを重点的（より詳細）に３次元再構成したいかを設定する。
例えば、頂点重要度設定部２１は、被写体モデルＭＤを表示装置３に表示し、ユーザがマウス操作等によって、被写体モデルＭＤを移動、回転させて、任意の視点から、重点的に３次元再構成したい部位を重要度が高い部位に設定する。
【0021】
図３は、被写体モデルＭＤにおいて、頭部の顔領域、上半身等に重要度を高く設定した例を示している。ここでは、重要度を輝度で表し、図４に示すように輝度が明るいほど重要度が大きいことを示し、輝度が暗いほど重要度が小さいことを示す。ここでは、最大重要度の値を“１”、最小重要度の値を“０”とする。
これによって、ユーザが重点的に３次元再構成したい被写体モデルＭＤの部位の面を構成する頂点には、より値の大きい重要度が設定されることになる。
これによって、ユーザが重点的に３次元再構成したい被写体モデルＭＤの部位の面を構成する頂点には、より値の大きい重要度が設定されることになる。
【0022】
なお、被写体モデルＭＤの頂点に値を設定するには、スキンウェイトのペインティング手法を用いればよい。もちろん、この手法は一例であって、この手法に限定されない。例えば、マウスをドラッグして領域を選択して描画を行う投げ縄ツール、マウスをクリックした点を繋いだ領域に対して描画を行う多角形選択ツール等、任意の手法を用いることができる。
頂点重要度設定部２１は、頂点に重要度を設定した被写体モデルを、カメラ位置重要度割当部２２に出力する。
頂点重要度設定部２１は、頂点に重要度を設定した被写体モデルを、カメラ位置重要度割当部２２に出力する。
【0023】
カメラ位置重要度割当部２２は、被写体モデルの各頂点に設定された重要度を、ボリュメトリックスタジオ１００の表面Ｓｆ上のカメラ位置に仮想的に割り当てるものである。ここでは、カメラ位置重要度割当部２２は、ボリュメトリックスタジオ１００の表面Ｓｆをモデル化した仮想空間に被写体モデルを配置して、表面Ｓｆ上のカメラ位置に重要度を割り当てる。なお、初期値として、表面Ｓｆ上のカメラ位置には、予め最も小さい重要度（値“０”）を設定しておく。
【0024】
視体積交差法では輪郭から形状を削り出すため、被写体モデルの各頂点をより詳細に３次元再構成するには、頂点位置において、頂点法線と直交する平面上にカメラを配置することが好ましい。
ボリュメトリックスタジオ１００の場合、図５に示すように、被写体モデルＭＤの頂点ｖの位置ベクトルをｐｖ、法線ベクトルをｎｖとすると頂点ｖに接する平面πの方程式は、π：ｎｖ・（ｘ－ｐｖ）＝０で表される。そして、平面πと半球の表面Ｓｆとの交点集合ｐ′ｓの各交点の位置が、被写体モデルＭＤの頂点ｖをより詳細に３次元再構成するために適したカメラ位置となる。
ボリュメトリックスタジオ１００の場合、図５に示すように、被写体モデルＭＤの頂点ｖの位置ベクトルをｐｖ、法線ベクトルをｎｖとすると頂点ｖに接する平面πの方程式は、π：ｎｖ・（ｘ－ｐｖ）＝０で表される。そして、平面πと半球の表面Ｓｆとの交点集合ｐ′ｓの各交点の位置が、被写体モデルＭＤの頂点ｖをより詳細に３次元再構成するために適したカメラ位置となる。
【0025】
なお、半球面の表面Ｓｆは連続面であるが、表面Ｓｆ上のカメラ位置は離散点である。
そこで、カメラ位置重要度割当部２２は、被写体モデルの各頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面に予め定めた閾値未満で距離が近いカメラ位置に割り当てる。
具体的には、カメラ位置重要度割当部２２は、ある頂点ｖにおいて、ベクトルの内積の絶対値｜ｎｖ・（ｐｓ－ｐｖ）｜を計算し、閾値をδ＞０として、｜ｎｖ・（ｐｓ－ｐｖ）｜＜δを満たすｐｓ∈Ｓの集合Ｐｓ、すなわち、ある頂点ｖの位置ベクトルｐｖに対応するカメラ位置の集合を求める。
そして、カメラ位置重要度割当部２２は、頂点ｖの重要度を、集合Ｐｓの個々の要素ｐｓ∈Ｓであるカメラ位置に割り当てる。
そこで、カメラ位置重要度割当部２２は、被写体モデルの各頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面に予め定めた閾値未満で距離が近いカメラ位置に割り当てる。
具体的には、カメラ位置重要度割当部２２は、ある頂点ｖにおいて、ベクトルの内積の絶対値｜ｎｖ・（ｐｓ－ｐｖ）｜を計算し、閾値をδ＞０として、｜ｎｖ・（ｐｓ－ｐｖ）｜＜δを満たすｐｓ∈Ｓの集合Ｐｓ、すなわち、ある頂点ｖの位置ベクトルｐｖに対応するカメラ位置の集合を求める。
そして、カメラ位置重要度割当部２２は、頂点ｖの重要度を、集合Ｐｓの個々の要素ｐｓ∈Ｓであるカメラ位置に割り当てる。
【0026】
なお、頂点とカメラ位置とは、一対一対応ではないため、カメラ位置重要度割当部２２は、カメラ位置において、対応する頂点の重要度を加算する。この場合、カメラ位置に割り当てた重要度は“１”を超える場合がある。
【0027】
例えば、図６に示すように、位置ベクトルｐｖ１の頂点の方が、位置ベクトルｐｖ２の頂点よりも重要度が大きいとする。この場合、半球面の表面Ｓｆを連続面としたとき、位置ベクトルｐｖ１に対応する平面π１と表面Ｓｆとの交点集合ｐ′ｓ１であるカメラ位置には、位置ベクトルｐｖ２に対応する平面π２と表面Ｓｆとの交点集合ｐ′ｓ２であるカメラ位置よりも大きい重要度が設定される。なお、図６は、表面Ｓｆを真横から見た場合（ｙｚ平面）を示している。
【0028】
また、図７に示すように、図６で示した平面π１と平面π２とが表面Ｓｆで交わった場合、その交わった位置の重要度は、位置ベクトルｐｖ１の頂点の重要度と、位置ベクトルｐｖ２の頂点の重要度との和になる。
これによって、図８に示すように、半球体の表面Ｓｆには、被写体モデルＭＤの頂点に対応する交点集合ｐ′ｓの各交点の位置に重要度が割り当てられる。なお、実際には、表面Ｓｆ上のカメラ位置は離散点であるため、カメラ位置に重要度が割り当てられる。
カメラ位置重要度割当部２２は、表面Ｓｆ上のカメラ位置に割り当てた重要度を重要度クラスタリング部２３に出力する。
これによって、図８に示すように、半球体の表面Ｓｆには、被写体モデルＭＤの頂点に対応する交点集合ｐ′ｓの各交点の位置に重要度が割り当てられる。なお、実際には、表面Ｓｆ上のカメラ位置は離散点であるため、カメラ位置に重要度が割り当てられる。
カメラ位置重要度割当部２２は、表面Ｓｆ上のカメラ位置に割り当てた重要度を重要度クラスタリング部２３に出力する。
【0029】
重要度クラスタリング部２３は、カメラ位置重要度割当部２２で表面Ｓｆ上のカメラ位置に割り当てた重要度によって、カメラ位置をクラスタリングするものである。
重要度クラスタリング部２３は、カメラ位置の全体空間Ｓを、重要度によってクラスタリングし、複数のクラス（部分空間Ｓｉ（ｉ＝１，…，Ｎ））に分割する。Ｎはクラスタ数を示す。なお、クラスタリングは一般的な手法を用いればよく、例えば、ｋ－ｍｅａｍｓ法、ＭｅａｎＳｈｉｆｔ法等を用いることができる。
これによって、半球面の表面のカメラ配置空間全体を、重要度に応じた部分空間に領域分割することができる。
重要度クラスタリング部２３は、カメラ位置の全体空間Ｓを、重要度によってクラスタリングし、複数のクラス（部分空間Ｓｉ（ｉ＝１，…，Ｎ））に分割する。Ｎはクラスタ数を示す。なお、クラスタリングは一般的な手法を用いればよく、例えば、ｋ－ｍｅａｍｓ法、ＭｅａｎＳｈｉｆｔ法等を用いることができる。
これによって、半球面の表面のカメラ配置空間全体を、重要度に応じた部分空間に領域分割することができる。
【0030】
例えば、図９に示すように、ボリュメトリックスタジオ１００において、重要度クラスタリング部２３は、カメラ位置の全体空間Ｓを、重要度によって、部分空間Ｓ１，Ｓ２，…に分割する。なお、ここでは、後の説明を簡単にするため、部分空間Ｓ１に含まれるカメラ位置は、既存カメラの位置Ｐ１，Ｐ２を含む黒丸印で示す５点とする。また、部分空間Ｓ２に含まれるカメラ位置は、既存カメラの位置Ｐ３を含む黒丸印で示す３点とする。
重要度クラスタリング部２３は、クラスタリングしたクラスタ（部分空間）ごとのカメラ位置を部分空間別カメラ位置決定部４０に出力する。
重要度クラスタリング部２３は、クラスタリングしたクラスタ（部分空間）ごとのカメラ位置を部分空間別カメラ位置決定部４０に出力する。
【0031】
注視位置算出部３０は、カメラ位置の全体空間におけるカメラの注視位置を算出するものである。
注視位置算出部３０は、全体空間のいずれかにすでにカメラ（既存カメラ）が存在する場合、既存カメラの光軸が最も近接する位置を注視位置として算出する。
注視位置算出部３０は、全体空間のいずれかにすでにカメラ（既存カメラ）が存在する場合、既存カメラの光軸が最も近接する位置を注視位置として算出する。
【0032】
ここで、既存カメラの数をｎ、位置ベクトルをｐｊ（ｊ＝１，…，ｎ）、光軸の方向ベクトルをｖｊ（ｊ＝１，…，ｎ）、方向ベクトルを伸ばすための比例係数をａｊ、注視位置の位置ベクトルｏとの誤差をεｊとすると、注視位置の位置ベクトルｏは、ｏ＝ｐｊ＋ａｊｖｊ＋εｊとなる。
そこで、注視位置算出部３０は、カメラ配置情報記憶部１０に記憶されている既存カメラの位置、方向を参照し、以下の式（１）を最小化する位置ベクトルｏを注視位置として算出する。
そこで、注視位置算出部３０は、カメラ配置情報記憶部１０に記憶されている既存カメラの位置、方向を参照し、以下の式（１）を最小化する位置ベクトルｏを注視位置として算出する。
【0033】
【数1】
【0034】
これは最小二乗法の変形であり、正規方程式を解くことで求めることができる。
なお、既存カメラが存在しない場合、注視位置算出部３０は、予め定めたボリュメトリックスタジオ１００の中心位置（半球の大円中心、大円中心から上部方向に所定距離離れた位置等）を注視位置とする。
注視位置算出部３０は、注視位置（位置ベクトルｏ）を、部分空間別カメラ位置決定部４０に出力する。
なお、既存カメラが存在しない場合、注視位置算出部３０は、予め定めたボリュメトリックスタジオ１００の中心位置（半球の大円中心、大円中心から上部方向に所定距離離れた位置等）を注視位置とする。
注視位置算出部３０は、注視位置（位置ベクトルｏ）を、部分空間別カメラ位置決定部４０に出力する。
【0035】
部分空間別カメラ位置決定部４０は、カメラ配置空間クラスタリング部２０でクラスタリングされたクラスタ（部分空間）ごとのカメラ位置から、新規にカメラを配置する位置を決定するものである。
ここでは、部分空間別カメラ位置決定部４０は、カメラ数算出部４１と、配置パターン選択部４２と、パターン別損失算出部４３と、損失最小パターン選択部４４と、を備える。
ここでは、部分空間別カメラ位置決定部４０は、カメラ数算出部４１と、配置パターン選択部４２と、パターン別損失算出部４３と、損失最小パターン選択部４４と、を備える。
【0036】
カメラ数算出部４１は、予め設定された総カメラ数から、重要度クラスタリング部２３でクラスタリングされたカメラ位置のクラス（部分空間）の重要度の割合に応じたカメラ数を算出するものである。
ここで、ボリュメトリックスタジオ１００に新規に設置する総カメラ数をＣ、ボリュメトリックスタジオ１００のすべて（全体空間Ｓ）のカメラ位置に割り当てられた重要度の総和をＩｓ、部分空間Ｓｉ（ｉ＝１，…，Ｎ：Ｎはクラスタ数）のカメラ位置に割り当てられた重要度の和をＩｓｉとする。なお、総カメラ数Ｃは、予め外部から設定されるものとする。
このとき、カメラ数算出部４１は、以下の式（２）により、重要度の割合に応じて個々の部分空間Ｓｉの新規カメラ数Ｃｉを算出する。ここで、部分空間Ｓｉのカメラ位置の総数から、部分空間Ｓｉにすでに設置されているカメラ（既存カメラ）の数を減算した数をＮｉとする。
ここで、ボリュメトリックスタジオ１００に新規に設置する総カメラ数をＣ、ボリュメトリックスタジオ１００のすべて（全体空間Ｓ）のカメラ位置に割り当てられた重要度の総和をＩｓ、部分空間Ｓｉ（ｉ＝１，…，Ｎ：Ｎはクラスタ数）のカメラ位置に割り当てられた重要度の和をＩｓｉとする。なお、総カメラ数Ｃは、予め外部から設定されるものとする。
このとき、カメラ数算出部４１は、以下の式（２）により、重要度の割合に応じて個々の部分空間Ｓｉの新規カメラ数Ｃｉを算出する。ここで、部分空間Ｓｉのカメラ位置の総数から、部分空間Ｓｉにすでに設置されているカメラ（既存カメラ）の数を減算した数をＮｉとする。
【0037】
【数2】
【0038】
なお、カメラ数算出部４１は、新規カメラ数Ｃｉの総和が総カメラ数Ｃに満たない場合、残差Δ＝Ｃ－ΣＣｉが“０”になるまでカメラ数の再割り当てを行う。
具体的には、新規カメラ数Ｃｉはその値の大小によりソート可能であるため、例えば、降順にソートしたものをＣｊ（ｊ＝１，…，Ｎ：Ｃ１≧Ｃ２≧…≧ＣＮ）とおく。そして、Ｃｊ＜Ｎｉを満たす場合、カメラ数算出部４１は、Ｃｊを“１”加算（Ｃｊ→Ｃｊ＋１）し、Δを“１”減算（Δ→Δ－1）して、ＣｊおよびΔを更新する。カメラ数算出部４１は、この更新をΔ＝０になるまで繰り返す。なお、すべてのＣｊにおいて、Ｃｊ＝ＮｉとなってもΔ＞０である場合、最初に設定した総カメラ数Ｃが多すぎるため、カメラ数算出部４１は、例えば、表示装置３にエラーメッセージを表示する。
カメラ数算出部４１は、部分空間Ｓｉ内に設置する新規カメラ数Ｃｉを、配置パターン選択部４２に出力する。
具体的には、新規カメラ数Ｃｉはその値の大小によりソート可能であるため、例えば、降順にソートしたものをＣｊ（ｊ＝１，…，Ｎ：Ｃ１≧Ｃ２≧…≧ＣＮ）とおく。そして、Ｃｊ＜Ｎｉを満たす場合、カメラ数算出部４１は、Ｃｊを“１”加算（Ｃｊ→Ｃｊ＋１）し、Δを“１”減算（Δ→Δ－1）して、ＣｊおよびΔを更新する。カメラ数算出部４１は、この更新をΔ＝０になるまで繰り返す。なお、すべてのＣｊにおいて、Ｃｊ＝ＮｉとなってもΔ＞０である場合、最初に設定した総カメラ数Ｃが多すぎるため、カメラ数算出部４１は、例えば、表示装置３にエラーメッセージを表示する。
カメラ数算出部４１は、部分空間Ｓｉ内に設置する新規カメラ数Ｃｉを、配置パターン選択部４２に出力する。
【0039】
配置パターン選択部４２は、部分空間Ｓｉごとのカメラ位置に対して、カメラ数算出部４１で算出された新規カメラ数Ｃｉ分のカメラを配置するパターンを選択するものである。ここで、前述のＮｉ個のカメラ位置が新たにカメラを設置する位置の候補となる。
なお、カメラの配置パターンは順列を区別する必要がないため、部分空間Ｓｉ内での配置パターンの組み合わせ数Ｍｉは、以下の式（３）で表される。
なお、カメラの配置パターンは順列を区別する必要がないため、部分空間Ｓｉ内での配置パターンの組み合わせ数Ｍｉは、以下の式（３）で表される。
【0040】
【数3】
【0041】
配置パターン選択部４２は、部分空間Ｓｉごとに、式（３）で算出される組み合わせ数の配置パターンを部分空間Ｓｉ内のカメラ位置から選択する。
例えば、図９に示した部分空間Ｓ１において、新規カメラ数を２個（Ｃ１＝２）配置することとした場合、部分空間Ｓ１に含まれる黒丸印で示すカメラ位置の個数（ここでは、５個）から、既存カメラの位置Ｐ１，Ｐ２の個数（ここでは、２個）を減算し、３個のカメラ位置から２個のカメラ位置を選択する３通り（Ｍ１＝３）が、配置パターンの組み合わせ数となる。
例えば、図９に示した部分空間Ｓ１において、新規カメラ数を２個（Ｃ１＝２）配置することとした場合、部分空間Ｓ１に含まれる黒丸印で示すカメラ位置の個数（ここでは、５個）から、既存カメラの位置Ｐ１，Ｐ２の個数（ここでは、２個）を減算し、３個のカメラ位置から２個のカメラ位置を選択する３通り（Ｍ１＝３）が、配置パターンの組み合わせ数となる。
【0042】
配置パターン選択部４２は、部分空間Ｓｉごとに、選択したカメラ位置のＭｉ個の配置パターンを、その配置パターンを特定する番号ｍ（ｍ＝１，…，Ｍｉ）とともに、パターン別損失算出部４３に出力する。
例えば、図９に示した部分空間Ｓ１の場合、図１０に示すように、３個のカメラの位置ｘ１，ｘ２，ｘ３から、新規カメラ２個の配置パターン（（ｘ１，ｘ２)，（ｘ１，ｘ３），（ｘ２，ｘ３）)を選択し、それぞれの配置パターンに番号ｍ（１，２，３）を付す。
例えば、図９に示した部分空間Ｓ１の場合、図１０に示すように、３個のカメラの位置ｘ１，ｘ２，ｘ３から、新規カメラ２個の配置パターン（（ｘ１，ｘ２)，（ｘ１，ｘ３），（ｘ２，ｘ３）)を選択し、それぞれの配置パターンに番号ｍ（１，２，３）を付す。
【0043】
パターン別損失算出部４３は、配置パターン選択部４２で選択された配置パターンごとに、対象とする新規カメラの位置とそれ以外のカメラ（既存カメラおよび他の新規カメラ）の位置との関係において、新規カメラの位置ごとに求めた予め定めた損失関数の損失を新規カメラの数だけ加算し、配置パターンの損失として算出するものである。
ここで、損失関数は、新規カメラを配置する位置ごとに、カメラ同士の方向ベクトル（注視位置から対象とする新規カメラへの方向ベクトルと、注視位置からそのカメラを除外したカメラ（既存カメラおよび他の新規カメラ）への方向ベクトル）とが直交する関係に近いほど小さくなる値を損失とする関数である。
ここで、損失関数は、新規カメラを配置する位置ごとに、カメラ同士の方向ベクトル（注視位置から対象とする新規カメラへの方向ベクトルと、注視位置からそのカメラを除外したカメラ（既存カメラおよび他の新規カメラ）への方向ベクトル）とが直交する関係に近いほど小さくなる値を損失とする関数である。
【0044】
ここで、パターン別損失算出部４３が使用する損失関数について説明する。
注視位置（位置ベクトルｏ）を原点とした座標系で、既存カメラの位置ベクトルｐ′ｊ＝ｐｊ－ｏを要素とする集合をＰ′、同じく注視位置を原点とした座標系で、新規カメラｑｋ（ｋ＝１，…，Ｃｉ）の位置ベクトルｑ′ｋ＝ｑｋ－ｏを要素とする集合をＱ′とおく。そして、あるｋについての差集合を表現する演算子“＼（バックスラッシュ）”を用いて、集合Ｒ′ｋ＝Ｐ′∪Ｑ′＼ｑ′ｋを定義する。
集合Ｒ′ｋは、既存カメラと新規カメラの位置ベクトルの和集合から１つの新規カメラの位置ベクトルｑ′ｋを除外したものである。
集合Ｒ′ｋの要素をｒ′ｋｕ（ｕ＝１，…，Ｃｉ＋ｎ－１）｛ｎは既存カメラの数｝とおくと、ｕは自分以外のすべての相手カメラの番号を表すことになる。
注視位置（位置ベクトルｏ）を原点とした座標系で、既存カメラの位置ベクトルｐ′ｊ＝ｐｊ－ｏを要素とする集合をＰ′、同じく注視位置を原点とした座標系で、新規カメラｑｋ（ｋ＝１，…，Ｃｉ）の位置ベクトルｑ′ｋ＝ｑｋ－ｏを要素とする集合をＱ′とおく。そして、あるｋについての差集合を表現する演算子“＼（バックスラッシュ）”を用いて、集合Ｒ′ｋ＝Ｐ′∪Ｑ′＼ｑ′ｋを定義する。
集合Ｒ′ｋは、既存カメラと新規カメラの位置ベクトルの和集合から１つの新規カメラの位置ベクトルｑ′ｋを除外したものである。
集合Ｒ′ｋの要素をｒ′ｋｕ（ｕ＝１，…，Ｃｉ＋ｎ－１）｛ｎは既存カメラの数｝とおくと、ｕは自分以外のすべての相手カメラの番号を表すことになる。
【0045】
そこで、損失関数は、新規カメラｑｋの位置ベクトルｑ′ｋと、集合Ｒ′ｋの要素である位置ベクトルｒ′ｋｕと、が直交に近く値を小さくすることが望ましい。
２つのベクトルの直交性を求めるには、コサイン類似度を使用し、直交時に最も値が小さくなるようにコサイン類似度の絶対値を計算すればよい。
２つのベクトルの直交性を求めるには、コサイン類似度を使用し、直交時に最も値が小さくなるようにコサイン類似度の絶対値を計算すればよい。
【0046】
ここで、位置ベクトルｑ′ｋのカメラと近い位置ベクトルｒ′ｋｕのカメラほど、位置ベクトルｑ′ｋにおけるカメラと形状が類似するシルエット画像が撮影される。そこで、表面Ｓｆは半球面であるため、半球半径をＲ、ｑ′ｋとｒ′ｋｕとのなす角をθｕとしたとき、損失は、コサイン類似度の絶対値を大円距離Ｒθｕで割った値とすればよい。
すなわち、ｃｏｓθｕは以下の式（４）で表されるため、損失関数ｆは、以下の式（５）を用いればよい。なお、||ｘ||は、ベクトルｘのノルムを示す。
すなわち、ｃｏｓθｕは以下の式（４）で表されるため、損失関数ｆは、以下の式（５）を用いればよい。なお、||ｘ||は、ベクトルｘのノルムを示す。
【0047】
【数4】
【数5】
【0048】
パターン別損失算出部４３は、式（５）の損失関数を用いて、新規カメラの位置とそれ以外の他のカメラの位置との間で最大となる損失を、新規カメラの位置ごとに算出し、その総和を求めることで、配置パターンの損失を算出する。
すなわち、パターン別損失算出部４３は、配置パターンを特定する番号ｍ（ｍ＝１，…，Ｍｉ）ごとに、以下の式（６）により、配置パターンｍの損失Ｌｍを算出する。
すなわち、パターン別損失算出部４３は、配置パターンを特定する番号ｍ（ｍ＝１，…，Ｍｉ）ごとに、以下の式（６）により、配置パターンｍの損失Ｌｍを算出する。
【0049】
【数6】
【0050】
パターン別損失算出部４３は、部分空間Ｓｉごとに、配置パターン選択部４２で選択されたカメラ位置のＭｉ個の配置パターンと、その配置パターンを特定する番号ｍ（ｍ＝１，…，Ｍｉ）と、配置パターンｍごとに算出した損失Ｌｍとを、損失最小パターン選択部４４に出力する。
【0051】
損失最小パターン選択部４４は、パターン別損失算出部４３で算出された配置パターンごとの損失が最小となる配置パターンを選択するものである。
すなわち、損失最小パターン選択部４４は、以下の式（７）に示すように、損失Ｌｍが最小となる配置パターンｍ（ｍ＝１，…，Ｍｉ）を選択する。
すなわち、損失最小パターン選択部４４は、以下の式（７）に示すように、損失Ｌｍが最小となる配置パターンｍ（ｍ＝１，…，Ｍｉ）を選択する。
【0052】
【数7】
【0053】
損失最小パターン選択部４４は、カメラ位置のＭｉ個の配置パターンから、損失Ｌｍが最小となる配置パターンｍに対応する配置パターンを選択し、表示装置３に出力する。
これによって、損失最小パターン選択部４４は、部分空間Ｓｉごとにカメラの配置パターンを選択し、表示装置３に表示することができる。
これによって、損失最小パターン選択部４４は、部分空間Ｓｉごとにカメラの配置パターンを選択し、表示装置３に表示することができる。
【0054】
例えば、図９，図１０に示した部分空間Ｓ１に新規に２台のカメラを割り当てることを考える。すなわち、候補の位置ｘ１，ｘ２，ｘ３から２台のカメラ位置を選択する場合を考える。この場合、パターン別損失算出部４３は、配置パターンｍ（ｍ＝１，２，３）ごとに、新規カメラの位置ベクトルｑ′ｋ（ｋ＝１，２）を要素とする位置ベクトルの集合Ｑ′において、既存カメラと新規カメラの位置ベクトルの和集合から１つの新規カメラの位置ベクトルを除外したｒ′ｋｕ（ｋ＝１，２，ｕ＝１，２，３）を要素とする集合Ｒ′ｋ（ｋ＝１，２）を生成する。
【0055】
そして、パターン別損失算出部４３は、図１１（ａ）に示すように、ｋとｕとの組み合わせで式（５）の損失関数ｆにより損失を算出する。なお、図１１（ａ）に示すように、損失関数ｆは、ｋとｕとの組み合わせで、それぞれ並列して計算することが可能である。
そして、パターン別損失算出部４３は、図１１（ｂ）に示すように、ｋごとに、損失関数の最大値（ｍａｘ）算出し、配置パターンｍ＝１における損失の総和Ｌ１（ｓｕｍ）を求める。
同様に、パターン別損失算出部４３は、図１１（ｃ）に示すように、配置パターンｍ（ｍ＝２，３）においても、損失の総和Ｌ２，Ｌ３を求める。
そして、損失最小パターン選択部４４は、図１１（ｄ）に示すように、損失の総和Ｌ１，Ｌ２，Ｌ３の中で損失が最小である配置パターンｍ（ここでは、ｍ＝２）を選択する。
そして、パターン別損失算出部４３は、図１１（ｂ）に示すように、ｋごとに、損失関数の最大値（ｍａｘ）算出し、配置パターンｍ＝１における損失の総和Ｌ１（ｓｕｍ）を求める。
同様に、パターン別損失算出部４３は、図１１（ｃ）に示すように、配置パターンｍ（ｍ＝２，３）においても、損失の総和Ｌ２，Ｌ３を求める。
そして、損失最小パターン選択部４４は、図１１（ｄ）に示すように、損失の総和Ｌ１，Ｌ２，Ｌ３の中で損失が最小である配置パターンｍ（ここでは、ｍ＝２）を選択する。
【0056】
以上説明した構成によって、カメラ位置決定装置１は、指定された被写体の重要度に応じて、重要度の高い部位ほど、詳細に３次元再構成を行うことが可能なカメラの位置を決定することができる。
なお、カメラ位置決定装置１は、図示を省略したコンピュータを前記した制御部ＣＬの各部として機能させるためのプログラム（カメラ位置決定プログラム）で動作させることができる。
なお、カメラ位置決定装置１は、図示を省略したコンピュータを前記した制御部ＣＬの各部として機能させるためのプログラム（カメラ位置決定プログラム）で動作させることができる。
【0057】
＜カメラ位置決定装置の動作＞
次に、図１２，図１３を参照（構成については適宜図１参照）して、本発明の実施形態に係るカメラ位置決定装置１の動作について説明する。なお、ボリュメトリックスタジオ１００におけるカメラ（新規カメラ、既存カメラを含む）の配置位置や、既存カメラの方向ベクトルについては、予めカメラ配置情報記憶部１０に記憶されているものとする。
次に、図１２，図１３を参照（構成については適宜図１参照）して、本発明の実施形態に係るカメラ位置決定装置１の動作について説明する。なお、ボリュメトリックスタジオ１００におけるカメラ（新規カメラ、既存カメラを含む）の配置位置や、既存カメラの方向ベクトルについては、予めカメラ配置情報記憶部１０に記憶されているものとする。
【0058】
ステップＳ１において、頂点重要度設定部２１は、記憶装置２に記憶されている被写体データを読み込み、ＣＧの被写体モデルのポリゴンの各頂点に対して重要度を設定する。
ステップＳ２において、カメラ位置重要度割当部２２は、ステップＳ１で被写体モデルの各頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面に予め定めた閾値未満で近いカメラ位置に割り当てる。
ステップＳ２において、カメラ位置重要度割当部２２は、ステップＳ１で被写体モデルの各頂点に設定された重要度を、頂点位置に接し頂点法線に直交する平面に予め定めた閾値未満で近いカメラ位置に割り当てる。
【0059】
ステップＳ３において、重要度クラスタリング部２３は、ステップＳ２でカメラ位置に割り当てた重要度によって、カメラ位置をクラスタリングする。これによって、カメラ位置の全体空間Ｓが、重要度に応じて、複数の部分空間Ｓｉ（ｉ＝１，…，Ｎ）に分割されることになる。
ステップＳ４において、注視位置算出部３０は、全体空間Ｓにすでに３次元再構成を行うために使用したカメラ（既存カメラ）が存在している場合、既存カメラの光軸が最も近接する位置を注視位置として算出する。なお、既存カメラが存在しない場合、注視位置算出部３０は、注視位置を予め定めたボリュメトリックスタジオ１００の中心位置とする。
ステップＳ４において、注視位置算出部３０は、全体空間Ｓにすでに３次元再構成を行うために使用したカメラ（既存カメラ）が存在している場合、既存カメラの光軸が最も近接する位置を注視位置として算出する。なお、既存カメラが存在しない場合、注視位置算出部３０は、注視位置を予め定めたボリュメトリックスタジオ１００の中心位置とする。
【0060】
ステップＳ５において、部分空間別カメラ位置決定部４０は、ステップＳ３で分割された部分空間Ｓｉ（ｉ＝１，…，Ｎ）の変数ｉを初期化（ｉ＝１）し、順次インクリメントすることで、ループＲ１内の処理を繰り返す。なお、このループＲ１の処理は、個々の部分空間Ｓｉ（ｉ＝１，…，Ｎ）ごとに並列処理を行ってもよい。
ステップＳ６において、カメラ数算出部４１は、全体空間Ｓのカメラ位置に設定された重要度の総和に対する部分空間Ｓｉのカメラ位置に設定された重要度の比率に基づいて、新規に設置する総カメラ数から部分空間Ｓｉの新規カメラ数Ｃｉを算出する。
ステップＳ７において、配置パターン選択部４２は、部分空間Ｓｉのカメラ位置の総数から、部分空間Ｓｉにすでに設置されているカメラ（既存カメラ）の数を減算した数で、部分空間Ｓｉ内での新規カメラの配置パターンの組み合わせ数Ｍｉを算出する。
ステップＳ６において、カメラ数算出部４１は、全体空間Ｓのカメラ位置に設定された重要度の総和に対する部分空間Ｓｉのカメラ位置に設定された重要度の比率に基づいて、新規に設置する総カメラ数から部分空間Ｓｉの新規カメラ数Ｃｉを算出する。
ステップＳ７において、配置パターン選択部４２は、部分空間Ｓｉのカメラ位置の総数から、部分空間Ｓｉにすでに設置されているカメラ（既存カメラ）の数を減算した数で、部分空間Ｓｉ内での新規カメラの配置パターンの組み合わせ数Ｍｉを算出する。
【0061】
ステップＳ８において、部分空間別カメラ位置決定部４０は、変数ｍを初期化（ｍ＝１）して、ｍがステップＳ７で算出された部分空間Ｓｉ内での新規カメラの配置パターンの組み合わせ数Ｍｉを超えないように、順次ｍをインクリメントし、ループＲ２内の処理を繰り返す。なお、このループＲ２の処理は、ｍ（ｍ＝１，…，Ｍｉ）ごとに並列処理を行ってもよい。
ステップＳ９において、配置パターン選択部４２は、新規カメラの配置パターンの組み合わせ数Ｍｉのｍ番目の配置パターンを選択する。
ステップＳ９において、配置パターン選択部４２は、新規カメラの配置パターンの組み合わせ数Ｍｉのｍ番目の配置パターンを選択する。
【0062】
ステップＳ１０において、部分空間別カメラ位置決定部４０は、変数ｋを初期化（ｋ＝１）して、ｋがステップＳ６で算出された部分空間Ｓｉに設置する新規カメラ数Ｃｉを超えないように、順次ｋをインクリメントし、ループＲ３内の処理を繰り返す。なお、このループＲ３の処理は、ｋ（１，…，Ｃｉ）ごとに並列処理を行ってもよい。
ステップＳ１１において、パターン別損失算出部４３は、部分空間Ｓｉのｋ番目の新規カメラの位置（位置ベクトル）ｑ′ｋを選択する。
ステップＳ１２において、パターン別損失算出部４３は、部分空間Ｓｉにおいて、ｋ番目の新規カメラの位置を除いたカメラの位置ベクトルの集合を生成する。この集合の要素数は、Ｃｉ＋ｎ－１（Ｃｉは部分空間Ｓｉの新規カメラ数、ｎは既存カメラ数）である。
ステップＳ１１において、パターン別損失算出部４３は、部分空間Ｓｉのｋ番目の新規カメラの位置（位置ベクトル）ｑ′ｋを選択する。
ステップＳ１２において、パターン別損失算出部４３は、部分空間Ｓｉにおいて、ｋ番目の新規カメラの位置を除いたカメラの位置ベクトルの集合を生成する。この集合の要素数は、Ｃｉ＋ｎ－１（Ｃｉは部分空間Ｓｉの新規カメラ数、ｎは既存カメラ数）である。
【0063】
ステップＳ１３において、部分空間別カメラ位置決定部４０は、変数ｕを初期化（ｕ＝１）して、Ｃｉ＋ｎ－１を超えないように、順次ｕをインクリメントし、ループＲ４内の処理を繰り返す。なお、このループＲ４の処理は、ｕ（１，…，Ｃｉ＋ｎ－１）ごとに並列処理を行ってもよい。
ステップＳ１４において、パターン別損失算出部４３は、ステップＳ１２で生成された集合から、ｕ番目の要素であるカメラの位置（位置ベクトル）ｒ′ｋｕを選択する。
ステップＳ１５において、パターン別損失算出部４３は、ステップＳ１１で選択した位置ベクトルｑ′ｋと、ステップＳ１４で選択した位置ベクトルｒ′ｋｕとから、前記式（５）の損失関数ｆ（ｑ′ｋ，ｒ′ｋｕ）により損失を算出する。
ステップＳ１６において、部分空間別カメラ位置決定部４０は、変数ｕをインクリメントし、（Ｃｉ＋ｎ－１）を超えた段階でループＲ４を終了し、ステップＳ１７に動作を進める。
ステップＳ１４において、パターン別損失算出部４３は、ステップＳ１２で生成された集合から、ｕ番目の要素であるカメラの位置（位置ベクトル）ｒ′ｋｕを選択する。
ステップＳ１５において、パターン別損失算出部４３は、ステップＳ１１で選択した位置ベクトルｑ′ｋと、ステップＳ１４で選択した位置ベクトルｒ′ｋｕとから、前記式（５）の損失関数ｆ（ｑ′ｋ，ｒ′ｋｕ）により損失を算出する。
ステップＳ１６において、部分空間別カメラ位置決定部４０は、変数ｕをインクリメントし、（Ｃｉ＋ｎ－１）を超えた段階でループＲ４を終了し、ステップＳ１７に動作を進める。
【0064】
ステップＳ１７において、パターン別損失算出部４３は、ステップＳ１３～Ｓ１６で算出された損失のうちで最大の損失を選択する。
ステップＳ１８において、部分空間別カメラ位置決定部４０は、変数ｋをインクリメントし、Ｃｉを超えた段階でループＲ３を終了し、ステップＳ１９に動作を進める。
ステップＳ１８において、部分空間別カメラ位置決定部４０は、変数ｋをインクリメントし、Ｃｉを超えた段階でループＲ３を終了し、ステップＳ１９に動作を進める。
【0065】
ステップＳ１９において、パターン別損失算出部４３は、ステップＳ１７で順次選択されたｋ個分の最大値の和を算出する。この最大値の和は、ｍ番目の配置パターンにおける損失に相当する。
ステップＳ２０において、部分空間別カメラ位置決定部４０は、変数ｍをインクリメントし、Ｍｉを超えた段階でループＲ２を終了し、ステップＳ２１に動作を進める。
この段階で、配置パターンごとの損失が求められることになる。
ステップＳ２０において、部分空間別カメラ位置決定部４０は、変数ｍをインクリメントし、Ｍｉを超えた段階でループＲ２を終了し、ステップＳ２１に動作を進める。
この段階で、配置パターンごとの損失が求められることになる。
【0066】
ステップＳ２１において、損失最小パターン選択部４４は、ステップＳ１９で順次算出された損失の最大値の和が最小となったｍを選択する。
ステップＳ２２において、損失最小パターン選択部４４は、ステップＳ２１で選択したｍを番号とするｍ番目の配置パターンをＭｉ個の配置パターンから選択する。
ステップＳ２３において、部分空間別カメラ位置決定部４０は、変数ｉをインクリメントし、部分空間の数Ｎを超えた段階でループＲ１を終了し、ステップＳ２４に動作を進める。
ステップＳ２４において、損失最小パターン選択部４４は、ステップＳ２２で順次選択された部分空間ごとのカメラ位置の配置パターンを、表示装置３に表示する。
ステップＳ２２において、損失最小パターン選択部４４は、ステップＳ２１で選択したｍを番号とするｍ番目の配置パターンをＭｉ個の配置パターンから選択する。
ステップＳ２３において、部分空間別カメラ位置決定部４０は、変数ｉをインクリメントし、部分空間の数Ｎを超えた段階でループＲ１を終了し、ステップＳ２４に動作を進める。
ステップＳ２４において、損失最小パターン選択部４４は、ステップＳ２２で順次選択された部分空間ごとのカメラ位置の配置パターンを、表示装置３に表示する。
【0067】
以上の動作によって、カメラ位置決定装置１は、指定された被写体の重要度に応じて、重要度の高い部位ほど、詳細に３次元再構成を行うことが可能なカメラの位置を決定することができる。
また、カメラ位置決定装置１は、ボリュメトリックスタジオ１００に、カメラが設置されていない状態であっても、すでに既存のカメラが設置されている状態であっても、被写体の３次元再構成を効率よく行うためのカメラの配置位置を決定することができる。
また、カメラ位置決定装置１は、ボリュメトリックスタジオ１００に、カメラが設置されていない状態であっても、すでに既存のカメラが設置されている状態であっても、被写体の３次元再構成を効率よく行うためのカメラの配置位置を決定することができる。
【0068】
以上、本発明の実施形態に係るカメラ位置決定装置１の構成および動作について説明したが、本発明はこの実施形態に限定されるものではない。
例えば、ここでは、注視位置算出部３０を備えたが、既存カメラが存在しない場合や、既存カメラが存在していても、注視位置を予め定めた位置とする場合は、注視位置算出部３０を構成から省略しても構わない。
例えば、ここでは、注視位置算出部３０を備えたが、既存カメラが存在しない場合や、既存カメラが存在していても、注視位置を予め定めた位置とする場合は、注視位置算出部３０を構成から省略しても構わない。
【0069】
また、ここでは、頂点重要度設定部２１は、被写体モデルの頂点に重要度に応じた輝度値を設定した。しかし、重要度を識別可能な値であれば輝度値に限定するものではない。例えば、予め重要度の度合いを割り当てた色情報（例えば、彩度）の値を用いてもよい。あるいは、光の波長に応じて色情報に重要度を割り当て、例えば、波長が長い色（赤）に高い重要度を割り当て、波長が短い色（紫）に低い重要度を割り当ててもよい。
【符号の説明】
【0070】
１ カメラ位置決定装置
１０ カメラ配置情報記憶部
２０ カメラ配置空間クラスタリング部
２１ 頂点重要度設定部
２２ カメラ位置重要度割当部
２３ 重要度クラスタリング部
３０ 注視位置算出部
４０ 部分空間別カメラ位置決定部
４１ カメラ数算出部
４２ 配置パターン選択部
４３ パターン別損失算出部
４４ 損失最小パターン選択部
１００ ボリュメトリックスタジオ
１０ カメラ配置情報記憶部
２０ カメラ配置空間クラスタリング部
２１ 頂点重要度設定部
２２ カメラ位置重要度割当部
２３ 重要度クラスタリング部
３０ 注視位置算出部
４０ 部分空間別カメラ位置決定部
４１ カメラ数算出部
４２ 配置パターン選択部
４３ パターン別損失算出部
４４ 損失最小パターン選択部
１００ ボリュメトリックスタジオ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】