知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-09
(45)【発行日】2022-05-17
(54)【発明の名称】多視点カメラ制御装置及びそのプログラム
(51)【国際特許分類】
H04N 13/296 20180101AFI20220510BHJP
H04N 13/243 20180101ALI20220510BHJP
H04N 13/275 20180101ALI20220510BHJP
H04N 13/349 20180101ALI20220510BHJP
G03B 15/00 20210101ALI20220510BHJP
G03B 17/00 20210101ALI20220510BHJP
G03B 17/56 20210101ALI20220510BHJP
G03B 19/07 20210101ALI20220510BHJP
G03B 35/08 20210101ALI20220510BHJP
【ＦＩ】
H04N13/296
H04N13/243
H04N13/275
H04N13/349
G03B15/00 H
G03B15/00 P
G03B17/00 Q
G03B17/56 A
G03B19/07
G03B35/08
【請求項の数】
4
(21)【出願番号】P 2018081194
(22)【出願日】2018-04-20
(65)【公開番号】P2019193002
(43)【公開日】2019-10-31
【審査請求日】2021-03-12
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】特許業務法人磯野国際特許商標事務所
(72)【発明者】
【氏名】池谷 健佑
(72)【発明者】
【氏名】三科 智之
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開２０１７－１５２９９９（ＪＰ，Ａ）
【文献】特開２０１７－１１５２０（ＪＰ，Ａ）
【文献】特開２００７－９６９５１（ＪＰ，Ａ）
【文献】特開２００５－２５２４５９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １３／００－１３／３９８
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／００－１７／４６
Ｇ０３Ｂ １７／５６－１７／５８
Ｇ０３Ｂ １９／００－１９／１６
Ｇ０３Ｂ ３５／００－３７／０６
(57)【特許請求の範囲】
【請求項1】
予め設定した１台のマスターカメラ及び前記マスターカメラ以外のリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体像表示装置で表示するＩＰ立体映像を生成するために、前記多視点カメラを制御する多視点カメラ制御装置であって、前記ＩＰ立体像表示装置の奥行き方向再現範囲と、前記ＩＰ立体像表示装置の観視位置とがパラメータとして入力されるパラメータ入力手段と、
少なくとも端の前記観視位置において、当該観視位置を頂点として前記ＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求め、当該空間領域と前記奥行き方向再現範囲とが重複する四角錐台状の観視領域を求め、それぞれの前記観視位置で求めた観視領域の和を前記ＩＰ立体像表示装置の再現領域として設定する再現領域設定手段と、
前記ＩＰ立体像表示装置の再現領域が前記リファレンスカメラの画角に収まるように前記リファレンスカメラの姿勢及び画角を制御するリファレンスカメラ制御手段と、
前記マスターカメラの撮影に同期して、前記リファレンスカメラに撮影を指令する撮影指令手段と、
を備えることを特徴とする多視点カメラ制御装置。
【請求項2】
前記パラメータ入力手段は、前記マスターカメラの位置を基準として、２次元方向で複数の前記観視位置が入力され、前記再現領域設定手段は、前記観視位置毎に前記空間領域及び前記観視領域を算出することを特徴とする請求項１に記載の多視点カメラ制御装置。
【請求項3】
前記パラメータ入力手段は、前記被写体の位置である注視点から前記マスターカメラまでの距離を表すデプスｄと、前記マスターカメラの画角θと、前記ＩＰ立体像表示装置の飛び出し量Δとがさらに入力され、前記再現領域設定手段は、前記デプスｄ、前記画角θ、前記ＩＰ立体像表示装置の画面サイズＷ、及び、前記飛び出し量Δが含まれる式（１）を用いて、前記観視領域と前記再現領域の縮尺比ｋを算出し、
【数1】
【請求項4】
コンピュータを、請求項１から請求項３の何れか一項に記載の多視点カメラ制御装置として機能させるための多視点カメラ制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、多視点カメラ制御装置及びそのプログラムに関する。
【背景技術】
【0002】
任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、インテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。このＩＰ方式では、実体のある被写体を１台のカメラで撮影し、平面上に配列されたレンズアレイを利用して要素画像を生成する。
【0003】
また、ＩＰ方式では、多視点ロボットカメラが撮影した映像から生成した３次元モデルを用いて、要素画像を生成することもできる（非特許文献１，２）。これら従来技術では、ＩＰディスプレイの再現領域を実空間に設定し、多視点ロボットカメラの協調制御により、四角錐台状の再現領域が収まる最小画角で多視点映像を撮影し、要素画像を生成するものである。
【先行技術文献】
【非特許文献】
【0004】
【文献】池谷他、「三次元復元のための多視点ロボットカメラの開発」、２０１７年電子情報通信学会総合大会講演論文集、情報・システム講演論文集２、Ｄ－１１－３、２０１７,ｐ.３
【文献】池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、前記した従来技術では、ＩＰディスプレイの視域内で観視者が動いたとき、ＩＰディスプレイが表示する立体像に欠損が生じるという問題がある。具体的には、従来技術では、図８に示すように、マスターカメラＣＭの位置を基準としてＩＰディスプレイの再現領域ＡＲｏｌｄを設定する。このため、従来技術では、観視者が視域の端でＩＰディスプレイを観視した場合、再現領域ＡＲｏｌｄが十分な大きさでなく、立体像が正しく表示されないことがある。
なお、図８が平面図のため、四角錐台状の再現領域ＡＲｏｌｄを台形状で図示した。
なお、図８が平面図のため、四角錐台状の再現領域ＡＲｏｌｄを台形状で図示した。
【0006】
そこで、本発明は、ＩＰ立体像表示装置が表示する立体像の欠損を抑制できる多視点カメラ制御装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記した課題に鑑みて、本発明に係る多視点カメラ制御装置は、予め設定した１台のマスターカメラ及びマスターカメラ以外のリファレンスカメラからなる多視点カメラで被写体を撮影した多視点映像から、ＩＰ立体像表示装置で表示するＩＰ立体映像を生成するために、多視点カメラを制御する多視点カメラ制御装置であって、パラメータ入力手段と、再現領域設定手段と、リファレンスカメラ制御手段と、撮影指令手段と、を備える構成とした。
【0008】
かかる構成によれば、多視点カメラ制御装置は、パラメータ入力手段によって、ＩＰ立体像表示装置の奥行き方向再現範囲と、ＩＰ立体像表示装置の観視位置とがパラメータとして入力される。
多視点カメラ制御装置は、再現領域設定手段によって、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求める。そして、再現領域設定手段は、空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。
多視点カメラ制御装置は、再現領域設定手段によって、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求める。そして、再現領域設定手段は、空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。
【0009】
多視点カメラ制御装置は、リファレンスカメラ制御手段によって、ＩＰ立体像表示装置の再現領域がリファレンスカメラの画角に収まるようにリファレンスカメラの姿勢及び画角を制御する。
多視点カメラ制御装置は、撮影指令手段によって、マスターカメラの撮影に同期して、リファレンスカメラに撮影を指令する。
多視点カメラ制御装置は、撮影指令手段によって、マスターカメラの撮影に同期して、リファレンスカメラに撮影を指令する。
【0010】
このように、ＩＰ立体像表示装置の再現領域は、端の観視位置を用いて設定するので、マスターカメラの位置のみで設定した場合に比べ、大きくなる。従って、観視者が視域の端からＩＰ立体像表示装置を観視しても、ＩＰ立体像表示装置の再現領域が不足する事態を低減できる。
なお、前記した多視点カメラ制御装置は、一般的なコンピュータを前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。
なお、前記した多視点カメラ制御装置は、一般的なコンピュータを前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。
【発明の効果】
【0011】
本発明によれば、観視者が視域の端からＩＰ立体像表示装置を観視しても、ＩＰ立体像表示装置の再現領域が不足する事態を低減し、ＩＰ立体像表示装置が表示する立体像の欠損を抑制することができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
（実施形態）
［多視点映像撮影システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、実施形態に係る多視点映像撮影システム１の概略について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラ（多視点カメラ）Ｃで多視点映像を撮影し、撮影した多視点映像を用いて、ＩＰ立体映像（要素画像）を生成するものである。このとき、多視点映像撮影システム１は、ＩＰ立体映像を表示するＩＰ立体像表示装置（不図示）の観視位置を考慮して、ＩＰ立体像表示装置の再現領域を設定する。
［多視点映像撮影システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、実施形態に係る多視点映像撮影システム１の概略について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラ（多視点カメラ）Ｃで多視点映像を撮影し、撮影した多視点映像を用いて、ＩＰ立体映像（要素画像）を生成するものである。このとき、多視点映像撮影システム１は、ＩＰ立体映像を表示するＩＰ立体像表示装置（不図示）の観視位置を考慮して、ＩＰ立体像表示装置の再現領域を設定する。
【0014】
まず、多視点映像撮影システム１では、ＩＰ立体像表示装置の観視位置を予め設定する。続いて、図示を省略したカメラマンが、マスターカメラＣＭを姿勢やズームを操作し、そのときのパラメータを多視点映像撮影システム１に設定する。続いて、多視点映像撮影システム１では、ＩＰ立体像表示装置の観視位置を考慮して、ＩＰ立体像表示装置の再現領域を設定する。
なお、ＩＰ立体像表示装置の観視位置及び再現領域の詳細は、後記する。
なお、ＩＰ立体像表示装置の観視位置及び再現領域の詳細は、後記する。
【0015】
続いて、多視点映像撮影システム１では、隣接カメラ間のベースラインＢ（図２）を等間隔にするため、リファレンスカメラＣｎ（Ｃ１～Ｃ６）を正六角形状に配置する。このとき、隣接カメラ間のベースラインＢは、３次元モデルを生成する奥行推定処理の許容視差角に基づいて算出される。
なお、添え字ｎは、何台目のリファレンスカメラＣｎであるかを表す整数である（但し、１≦ｎ≦６）。
なお、添え字ｎは、何台目のリファレンスカメラＣｎであるかを表す整数である（但し、１≦ｎ≦６）。
【0016】
続いて、多視点映像撮影システム１は、ＩＰ立体像表示装置の再現領域を構成する各頂点がリファレンスカメラＣｎの画角に収まるように、リファレンスカメラＣｎの姿勢及び画角を制御する。そして、多視点映像撮影システム１は、マスターカメラＣＭ及びリファレンスカメラＣｎで被写体９０を撮影し、多視点映像を生成する。さらに、多視点映像撮影システム１は、生成した多視点映像から被写体９０の３次元モデルを生成し、その３次元モデルのＩＰ立体映像を生成する。
【0017】
［多視点映像撮影システムの全体構成］
以下、多視点映像撮影システム１の全体構成について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラＣと、多視点カメラ制御装置２と、３次元モデル生成装置３と、ＩＰ立体映像生成装置４とを備える。
以下、多視点映像撮影システム１の全体構成について説明する。
図１に示すように、多視点映像撮影システム１は、多視点ロボットカメラＣと、多視点カメラ制御装置２と、３次元モデル生成装置３と、ＩＰ立体映像生成装置４とを備える。
【0018】
多視点ロボットカメラＣは、予め設定した１台のマスターカメラＣＭと、マスターカメラＣＭ以外のリファレンスカメラＣｎとを備えるものである。ここでは、多視点ロボットカメラＣは、リファレンスカメラＣｎが、水平方位だけでなく、垂直方向にも配置されている。本実施形態では、多視点ロボットカメラＣは、マスターカメラＣＭと、このマスターカメラＣＭを中心として正六角形状に配置された６台のリファレンスカメラＣｎとを備える。このとき、多視点ロボットカメラＣは、マスターカメラＣＭと、マスターカメラＣＭの左右に位置するリファレンスカメラＣ３，Ｃ６とを結んだ軸線が水平となるように配置されている。
また、多視点ロボットカメラＣは、ケーブルを介して、多視点カメラ制御装置２及び３次元モデル生成装置３に接続されている。
また、多視点ロボットカメラＣは、ケーブルを介して、多視点カメラ制御装置２及び３次元モデル生成装置３に接続されている。
【0019】
マスターカメラＣＭとは、カメラマンが操作する撮影カメラのことである。ここで、カメラマンが、マスターカメラＣＭの姿勢（パン、チルト）、画角（ズーム）、デプスを操作する。すると、マスターカメラＣＭは、そのときの姿勢、画角及びデプスをパラメータとして、多視点カメラ制御装置２に出力する。さらに、マスターカメラＣＭは、カメラマンがシャッターを切ると、被写体９０を撮影し、その撮影映像を３次元モデル生成装置３に出力する。このとき、マスターカメラＣＭは、撮影映像を撮影したタイミングを多視点カメラ制御装置２に通知する（撮影通知）。
【0020】
リファレンスカメラＣｎとは、３次元モデルを生成するときの奥行推定処理において、ステレオマッチングに用いる撮影映像を撮影する撮影カメラのことである。つまり、リファレンスカメラＣｎは、マスターカメラＣＭに追従するように自動制御される。本実施形態では、リファレンスカメラＣｎは、パン、チルト、ズーム（画角）を制御可能な雲台に搭載されている。そして、リファレンスカメラＣｎは、多視点カメラ制御装置２からの制御信号に応じて、姿勢（パン、チルト）及びズーム（画角）を駆動する。さらに、リファレンスカメラＣｎは、多視点カメラ制御装置２から、撮影が指令されたタイミングで被写体９０を撮影し、その撮影映像を３次元モデル生成装置３に出力する。
【0021】
なお、多視点ロボットカメラＣは、図２示すように、隣接カメラ間のベースラインＢを手動で調整する。ベースラインＢは、マスターカメラＣＭと各リファレンスカメラＣｎとの距離、及び、隣接するリファレンスカメラＣｎ同士の距離のことである。例えば、多視点ロボットカメラＣは、マスターカメラＣＭ及び各リファレンスカメラＣｎを三脚（不図示）に搭載する。この場合、カメラマン等が、多視点カメラ制御装置２が出力したベースライン情報を参照し、マスターカメラＣＭ及び各リファレンスカメラＣｎを手動で移動させる。
【0022】
多視点カメラ制御装置２は、多視点ロボットカメラＣが多視点映像を撮影する際、多視点ロボットカメラＣ（リファレンスカメラＣｎ）を制御するものである。この多視点カメラ制御装置２の詳細は、後記する。
【0023】
３次元モデル生成装置３は、マスターカメラＣＭの撮影映像から、被写体９０の３次元モデルを生成するものである。本実施形態では、３次元モデル生成装置３は、奥行推定処理を行うため、マスターカメラＣＭと各リファレンスカメラＣｎとの撮影映像を用いて、ステレオマッチングを行う。そして、３次元モデル生成装置３は、生成した３次元モデルをＩＰ立体映像生成装置４に出力する。
【0024】
ＩＰ立体映像生成装置４は、３次元モデル生成装置３が生成した３次元モデルから、ＩＰ立体映像を生成するものである。本実施形態では、ＩＰ立体映像生成装置４は、仮想空間に多視点ロボットカメラＣ、被写体９０及びＩＰ立体像表示装置の位置関係を再現し、斜投影により３次元点群モデルの多視点映像を撮影する。
【0025】
なお、多視点ロボットカメラＣ、３次元モデル生成装置３及びＩＰ立体映像生成装置４の詳細は、以下の参考文献１，２に記載されているため、これ以上の説明を省略する。
参考文献１：池谷他、「三次元復元のための多視点ロボットカメラの開発」、２０１７年電子情報通信学会総合大会講演論文集、情報・システム講演論文集２、Ｄ－１１－３、２０１７,ｐ.３
参考文献２：池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日
参考文献１：池谷他、「三次元復元のための多視点ロボットカメラの開発」、２０１７年電子情報通信学会総合大会講演論文集、情報・システム講演論文集２、Ｄ－１１－３、２０１７,ｐ.３
参考文献２：池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日
【0026】
［多視点カメラ制御装置の構成］
図３を参照し、多視点カメラ制御装置２の構成について説明する。
図３に示すように、多視点カメラ制御装置２は、パラメータ設定手段（パラメータ入力手段）２０と、再現領域設定手段２２と、ベースライン算出手段２４と、リファレンスカメラ制御手段２６と、撮影指令手段２８とを備える。
図３を参照し、多視点カメラ制御装置２の構成について説明する。
図３に示すように、多視点カメラ制御装置２は、パラメータ設定手段（パラメータ入力手段）２０と、再現領域設定手段２２と、ベースライン算出手段２４と、リファレンスカメラ制御手段２６と、撮影指令手段２８とを備える。
【0027】
パラメータ設定手段２０は、多視点ロボットカメラＣの制御に必要な各種パラメータを設定（入力）するものである。本実施形態では、パラメータ設定手段２０は、パラメータとして、多視点ロボットカメラＣから、マスターカメラＣＭの姿勢及び画角と、デプスとを取得する。また、カメラマンが、図示を省略したマウス、キーボード等の操作手段を用いて、パラメータをパラメータ設定手段２０に入力する。例えば、カメラマンが入力するパラメータには、ＩＰ立体像表示装置の奥行き方向再現範囲、画面サイズ、飛び出し量、観視位置及び視域が含まれる。そして、パラメータ設定手段２０は、設定された各種パラメータを再現領域設定手段２２に出力する。
【0028】
＜パラメータの説明＞
以下、パラメータ設定手段２０に設定する各種パラメータについて説明する。
図４に示すように、マスターカメラＣＭの姿勢は、カメラマンがマスターカメラＣＭを操作して被写体９０を撮影したときのパン・チルトを表す。
マスターカメラＣＭの画角θは、カメラマンがマスターカメラＣＭを操作して被写体９０を撮影したときの水平方向及び垂直方向の画角を表す。
デプスｄは、マスターカメラＣＭから注視点Ｇまでの距離を表す。
注視点Ｇとは、被写体９０の位置のことである。つまり、注視点Ｇは、ＩＰ立体映像として主に表示したい被写体９０の位置を表す。
なお、図４では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。
以下、パラメータ設定手段２０に設定する各種パラメータについて説明する。
図４に示すように、マスターカメラＣＭの姿勢は、カメラマンがマスターカメラＣＭを操作して被写体９０を撮影したときのパン・チルトを表す。
マスターカメラＣＭの画角θは、カメラマンがマスターカメラＣＭを操作して被写体９０を撮影したときの水平方向及び垂直方向の画角を表す。
デプスｄは、マスターカメラＣＭから注視点Ｇまでの距離を表す。
注視点Ｇとは、被写体９０の位置のことである。つまり、注視点Ｇは、ＩＰ立体映像として主に表示したい被写体９０の位置を表す。
なお、図４では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。
【0029】
図５に示すように、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄは、ＩＰ立体像表示装置が奥行き方向（Ｚ軸方向）で立体像を再現できる範囲を表す。図５に示すように、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄは、画面５（レンズアレイ）を中心とした、手前再現範囲から奥再現範囲までの間を表す。
ＩＰ立体像表示装置の画面サイズは、画面５の幅Ｗ及び高さＨ（図６）を表す。
ＩＰ立体像表示装置の飛び出し量Δは、注視点ＧがＩＰ立体像表示装置の画面５から奥行き方向に離れて表示される距離を表す。
ＩＰ立体像表示装置の視域Ωは、ＩＰ立体像表示装置が立体像を適正に表示できる角度を表す。
ＩＰ立体像表示装置の画面サイズは、画面５の幅Ｗ及び高さＨ（図６）を表す。
ＩＰ立体像表示装置の飛び出し量Δは、注視点ＧがＩＰ立体像表示装置の画面５から奥行き方向に離れて表示される距離を表す。
ＩＰ立体像表示装置の視域Ωは、ＩＰ立体像表示装置が立体像を適正に表示できる角度を表す。
【0030】
ＩＰ立体像表示装置の観視位置Ｖは、多視点映像撮影システム１が生成したＩＰ立体映像をＩＰ立体像表示装置で表示する際、観視者がＩＰ立体映像を観視する位置を表す。例えば、ＩＰ立体像表示装置の観視位置Ｖは、ＩＰ立体像表示装置が備えるレンズアレイの要素レンズのピッチや焦点距離、ＩＰ立体像表示装置の解像度を考慮して、任意に設定できる。例えば、観視位置Ｖは、マスターカメラＣＭの位置を基準として、水平方向及び垂直方向に等間隔で複数設定できる。
なお、前記したパラメータ設定手段２０では、後記する空間領域及び観視領域の算出に利用する観視位置Ｖのみを設定すればよい。
なお、前記したパラメータ設定手段２０では、後記する空間領域及び観視領域の算出に利用する観視位置Ｖのみを設定すればよい。
【0031】
図３に戻り、多視点カメラ制御装置２の構成の説明を続ける。
再現領域設定手段２２は、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求めるものである。そして、再現領域設定手段２２は、その空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段２２は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。
再現領域設定手段２２は、少なくとも端の観視位置において、観視位置を頂点としてＩＰ立体像表示装置の画面周縁を通過する四角錐状の空間領域を求めるものである。そして、再現領域設定手段２２は、その空間領域と奥行き方向再現範囲とが重複する四角錐台状の観視領域を求める。さらに、再現領域設定手段２２は、それぞれの観視位置で求めた観視領域の和をＩＰ立体像表示装置の再現領域として設定する。
【0032】
＜再現領域の設定＞
以下、図５及び図６を参照し、ＩＰ立体像表示装置の再現領域の設定について説明する。
ここでは、ＩＰ立体像表示装置の観視位置は、図５及び図６に示すように、マスターカメラＣＭの位置を基準（中心）として、水平方向及び垂直方向にそれぞれ１１箇所設定されている。また、中央の観視位置ＶＣがマスターカメラＣＭの位置に対応し、左右両端の観視位置ＶＬ，ＶＲが視域Ωの端に位置する。また、本実施形態では、各観視位置Ｖが、奥行き方向で同一距離（つまり、同一のＸ－Ｙ平面上）に位置する。
以下、図５及び図６を参照し、ＩＰ立体像表示装置の再現領域の設定について説明する。
ここでは、ＩＰ立体像表示装置の観視位置は、図５及び図６に示すように、マスターカメラＣＭの位置を基準（中心）として、水平方向及び垂直方向にそれぞれ１１箇所設定されている。また、中央の観視位置ＶＣがマスターカメラＣＭの位置に対応し、左右両端の観視位置ＶＬ，ＶＲが視域Ωの端に位置する。また、本実施形態では、各観視位置Ｖが、奥行き方向で同一距離（つまり、同一のＸ－Ｙ平面上）に位置する。
【0033】
まず、水平方向について考える。再現領域設定手段２２は、デプスｄ、画角θ、画面サイズ（幅Ｗ）及び飛び出し量Δが含まれる式（１）を用いて、縮尺比ｋを算出する。具体的には、再現領域設定手段２２は、パラメータ設定手段２０から入力されたデプスｄ、画角θ、画面サイズＷ及び飛び出し量Δを式（１）に代入し、縮尺比ｋを算出する。この縮尺比ｋは、３次元モデルを配置する仮想空間と、マスターカメラＣＭで撮影する実空間とのスケールの比を表す。
【0034】
【数1】
【0035】
図５に示すように、画面５の幅がｋＷとなり、画面５の幅ｋＷから左端ＥＬ及び右端ＥＲが求められる。また、実空間上の飛び出し量がｋΔとなり、奥行き方向再現範囲が画面５を中心として奥行き方向にｋＤとなる。
【0036】
次に、再現領域設定手段２２は、要素画像を生成する際の観視位置ＶをマスターカメラＣＭで撮影する実空間に設定する。そして、再現領域設定手段２２は、各観視位置Ｖと画面５の形状とを結んだ直線で形成される四角錘台状の観視領域に、ＩＰ立体像表示装置の再現範囲を適合させる。このように、観視位置Ｖ毎の観視領域を合成することで、図５のＩＰ立体像表示装置の再現領域ＡＲを設定する。
【0037】
まず、左端の観視位置ＶＬについて考える。この場合、再現領域設定手段２２は、実空間において、観視位置ＶＬを頂点として、画面５の周縁Ｅ（左端ＥＬ，右端ＥＲ，上端ＥＵ，下端ＥＤ）を通過する四角錐状の空間領域を求める。図５のように垂直方向から見ると、観視位置ＶＬの空間領域は、観視位置ＶＬから画面５の左端ＥＬに向けて延長した線分と、観視位置ＶＬから画面５の右端ＥＲに向けて延長した線分とで囲われる三角形状の領域となる（破線で図示）。そして、再現領域設定手段２２は、観視位置ＶＬの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太破線で図示）。この観視領域は、空間領域の側面と、手前再現範囲に対応する平面と、奥再現範囲に対応する平面とで囲われる四角錐台状の領域となる。
なお、図５が平面図のため、実際には四角錐状になる空間領域を三角形状で図示し、四角錐台状の観視領域を台形状で図示した（図６も同様）。
なお、図５が平面図のため、実際には四角錐状になる空間領域を三角形状で図示し、四角錐台状の観視領域を台形状で図示した（図６も同様）。
【0038】
次に、右端の観視位置ＶＲについて考える。この場合、再現領域設定手段２２は、実空間において、観視位置ＶＲを頂点として、画面５の周縁Ｅを通過する空間領域を求める（一点鎖線で図示）。そして、再現領域設定手段２２は、観視位置ＶＲの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太一点鎖線で図示）。
【0039】
ここで、再現領域設定手段２２は、水平方向だけでなく、垂直方向でも観視領域を求める。図６に示すように、再現領域設定手段２２は、実空間において、上端の観視位置ＶＵを頂点として、画面５の周縁Ｅを通過する四角錐状の空間領域をそれぞれ求める。図６のように水平方向から見ると、観視位置ＶＵの空間領域は、観視位置ＶＵから画面５の上端ＥＵに向けて延長した線分と、観視位置ＶＵから画面５の下端ＥＤに向けて延長した線分とで囲われる三角形状の領域となる（破線で図示）。そして、再現領域設定手段２２は、観視位置ＶＤの空間領域と、奥行き方向再現範囲とが重複する観視領域を求める（太破線で図示）。さらに、再現領域設定手段２２は、上端の観視位置ＶＤと同様、下端の観視位置ＶＵの観視領域を求める。
なお、図６では、θＶが垂直方向の画角を表し、Ｈが画面５の高さを表し、ΩＶが垂直方向の視域を表す。
なお、図６では、θＶが垂直方向の画角を表し、Ｈが画面５の高さを表し、ΩＶが垂直方向の視域を表す。
【0040】
本実施形態では、再現領域設定手段２２は、水平方向及び垂直方向の端に位置する観視位置Ｖ（ＶＬ，ＶＲ，ＶＵ，ＶＤ）のみで空間領域及び観視領域を求めているが、他の観視位置Ｖを用いてもよい。例えば、再現領域設定手段２２は、中央の観視位置ＶＣから空間領域及び観視領域を求めてもよく、観視位置Ｖ毎に空間領域及び観視領域を求めてもよい。
【0041】
次に、再現領域設定手段２２は、各観視位置Ｖで求めた観視領域の和を再現領域ＡＲとして設定する。具体的には、再現領域設定手段２２は、各観視位置Ｖの観視領域の論理和（ＯＲ演算）を取って、再現領域ＡＲを求める。つまり、再現領域設定手段２２は、再現領域ＡＲが最大となるように、何れかの各観視位置Ｖで求めた観視領域が存在する最大領域を再現領域ＡＲとして設定する。図５及び図６に示すように、再現領域ＡＲは、画面５の位置で２個の四角錐台の上底面が合わさった形状の領域となり、１２個の頂点Ｐｉで構成される（ドットで図示）。なお、図面を見やすくするため、一部のみ符号Ｐｉを図示した。
【0042】
次に、再現領域設定手段２２は、３次元モデルを生成する仮想空間のスケールを実空間と等しくし、実空間に設定した再現領域ＡＲを仮想空間に同一の位置及びスケールで設定する。
その後、再現領域設定手段２２は、求めた再現領域ＡＲ及び縮尺比ｋと、パラメータ設定手段２０からの各種パラメータとをベースライン算出手段２４に出力する。
その後、再現領域設定手段２２は、求めた再現領域ＡＲ及び縮尺比ｋと、パラメータ設定手段２０からの各種パラメータとをベースライン算出手段２４に出力する。
【0043】
図３に戻り、多視点カメラ制御装置２の構成の説明を続ける。
ベースライン算出手段２４は、多視点ロボットカメラＣにおける隣接カメラ間のベースラインＢ（隣接カメラ間の距離）を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な３次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理（奥行推定アルゴリズム）に応じて、適切な値で予め設定される。
ベースライン算出手段２４は、多視点ロボットカメラＣにおける隣接カメラ間のベースラインＢ（隣接カメラ間の距離）を、予め設定された許容視差角から算出するものである。
なお、許容視差角とは、高精度な３次元モデルを生成するために許容される隣接カメラの輻輳角のことであり、例えば、奥行推定処理（奥行推定アルゴリズム）に応じて、適切な値で予め設定される。
【0044】
本実施形態では、ベースライン算出手段２４は、隣接カメラ間のベースラインＢを式（２）により算出する。この式（２）は、許容視差角Φと、各パラメータに含まれるデプスｄ、奥行き方向再現範囲Ｄ及び飛び出し量Δとで表される。従って、ベースライン算出手段２４は、許容視差角Φ及び各種パラメータを式（２）に代入することで、ベースラインＢを算出できる。
【0045】
【数2】
【0046】
そして、ベースライン算出手段２４は、算出したベースラインＢを外部（例えば、図示を省略したディスプレイ）に出力する。すると、カメラマン等が、ベースラインＢに従って、マスターカメラＣＭ及び各リファレンスカメラＣｎを手動で配置する。
【0047】
さらに、ベースライン算出手段２４は、再現領域設定手段２２からの再現領域ＡＲと、縮尺比ｋと、各種パラメータとをリファレンスカメラ制御手段２６に出力する。
なお、図３では、ベースラインＢを手動で設定するため、ベースライン算出手段２４からリファレンスカメラＣｎへの出力を破線で図示した。
なお、図３では、ベースラインＢを手動で設定するため、ベースライン算出手段２４からリファレンスカメラＣｎへの出力を破線で図示した。
【0048】
リファレンスカメラ制御手段２６は、ベースライン算出手段２４からの再現領域ＡＲがリファレンスカメラＣｎの画角に収まるように、リファレンスカメラＣｎの姿勢及び画角を制御するものである。
まず、リファレンスカメラ制御手段２６は、再現領域ＡＲの各頂点Ｐｉの世界座標を取得する。なお、添え字ｉは、何番目の頂点であるかを表す整数である（但し、１≦ｉ≦１２）。
まず、リファレンスカメラ制御手段２６は、再現領域ＡＲの各頂点Ｐｉの世界座標を取得する。なお、添え字ｉは、何番目の頂点であるかを表す整数である（但し、１≦ｉ≦１２）。
【0049】
次に、リファレンスカメラ制御手段２６は、各リファレンスカメラＣｎのカメラ座標系において、再現領域ＡＲの全頂点Ｐｉが各リファレンスカメラＣｎの画角Ｏに収まるように、パン値Ｐｉｐａｎ及びチルト値Ｐｉｔｉｌｔを算出する。本実施形態では、式（３）に示すように、パン値Ｏ´ｐａｎは、リファレンスカメラＣｎが再現領域ＡＲの各頂点Ｐｉを向いたときのパン最大値Ｍａｘ（Ｐｉｐａｎ）とパン最小値Ｍｉｎ（Ｐｉｐａｎ）との平均から求める（チルトＯ´ｔｉｌｔも同様）。
【0050】
【数3】
【0051】
次に、リファレンスカメラ制御手段２６は、式（４）を用いて、カメラ姿勢制御後のカメラ座標系において、再現領域ＡＲの全頂点Ｐｉが収まるように、各リファレンスカメラＣｎの画角θ´を算出する。
なお、式（４）では、Ｗ／ＨがＩＰ立体像表示装置のアスペクト比を表し、ｉｆが後段の条件式が成立するときに前段の演算を行う関数を表す。
なお、式（４）では、Ｗ／ＨがＩＰ立体像表示装置のアスペクト比を表し、ｉｆが後段の条件式が成立するときに前段の演算を行う関数を表す。
【0052】
【数4】
【0053】
その後、リファレンスカメラ制御手段２６は、算出した姿勢（パン値θ´ｐａｎ、チルト値θ´ｔｉｌｔ）及び画角θ´を表す制御信号を生成し、生成した制御信号をリファレンスカメラＣｎに出力する。この制御信号に応じて、各リファレンスカメラＣｎが所望の姿勢をとるように駆動し、画角θ´となるようにズームする。
【0054】
撮影指令手段２８は、マスターカメラＣＭの撮影に同期させて、姿勢及び画角が制御されたリファレンスカメラＣｎに撮影を指令するものである。本実施形態では、撮影指令手段２８は、マスターカメラＣＭから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣｎに指令する。
なお、再現領域設定手段２２以外の各手段は、前記した参考文献１，２に記載されているため、これ以上の詳細な説明を省略する。
なお、再現領域設定手段２２以外の各手段は、前記した参考文献１，２に記載されているため、これ以上の詳細な説明を省略する。
【0055】
［多視点カメラ制御装置の動作］
図７を参照し、多視点カメラ制御装置２の動作について説明する（適宜図３参照）。
図７に示すように、パラメータ設定手段２０は、各種パラメータを設定する。このパラメータには、マスターカメラＣＭの姿勢、画角θ、デプスｄが含まれる。また、パラメータには、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄ、画面サイズ（幅Ｗ，高さＨ）、飛び出し量Δ、観視位置Ｖ、視域Ωが含まれる（ステップＳ１）。
図７を参照し、多視点カメラ制御装置２の動作について説明する（適宜図３参照）。
図７に示すように、パラメータ設定手段２０は、各種パラメータを設定する。このパラメータには、マスターカメラＣＭの姿勢、画角θ、デプスｄが含まれる。また、パラメータには、ＩＰ立体像表示装置の奥行き方向再現範囲Ｄ、画面サイズ（幅Ｗ，高さＨ）、飛び出し量Δ、観視位置Ｖ、視域Ωが含まれる（ステップＳ１）。
【0056】
再現領域設定手段２２は、ＩＰ立体像表示装置の再現領域の設定を設定する。具体的には、再現領域設定手段２２は、観視位置Ｖを頂点として、画面５の周縁Ｅを通過する空間領域を求める。次に、再現領域設定手段２２は、観視位置Ｖの空間領域と奥行き方向再現範囲とが重複する観視領域を求める。さらに、再現領域設定手段２２は、求めた観視領域の和を再現領域ＡＲとして設定する（ステップＳ２）。
【0057】
ベースライン算出手段２４は、多視点ロボットカメラＣにおける隣接カメラ間のベースラインＢを算出する。具体的には、ベースライン算出手段２４は、３次元モデルを生成する奥行推定処理の許容視差角により、前記した式（２）を用いて、ベースラインＢを算出する（ステップＳ３）。
【0058】
リファレンスカメラ制御手段２６は、再現領域ＡＲがリファレンスカメラＣｎの画角に収まるように、リファレンスカメラＣｎの姿勢及び画角を制御する。具体的には、リファレンスカメラ制御手段２６は、前記した式（３）及び式（４）を用いて、リファレンスカメラＣｎの姿勢及び画角θ´を表す制御信号を生成し、生成した制御信号をリファレンスカメラＣｎに出力する（ステップＳ４）。
【0059】
多視点カメラ制御装置２は、撮影指令手段２８によって、マスターカメラＣＭから撮影通知が入力されたタイミングで、撮影映像の撮影を全リファレンスカメラＣｎに指令する（ステップＳ５）。
【0060】
［作用・効果］
以上のように、実施形態に係る多視点カメラ制御装置２は、図５及び図６に示すように、端の観視位置Ｖを用いて再現領域ＡＲを設定する。これにより、再現領域ＡＲは、画面５の位置で２個の四角錐台の上底面が合わさった形状となり、手前側が奥側より大きくなる。一方、従来の再現領域ＡＲｏｌｄは、図８に示すように、マスターカメラＣＭの位置のみで設定するので、四角錐台状の形状となり、手前側が奥側より狭くなる。このように、多視点カメラ制御装置２が設定する再現領域ＡＲは、従来の再現領域ＡＲｏｌｄに比べて大きくなる。従って、多視点カメラ制御装置２では、観視者が視域の端でＩＰ立体像表示装置を観視した場合でも、再現領域ＡＲが不足する事態を低減することができる。これにより、多視点カメラ制御装置２は、立体像の欠損を抑制し、高品質なＩＰ立体映像を提供することができる。
以上のように、実施形態に係る多視点カメラ制御装置２は、図５及び図６に示すように、端の観視位置Ｖを用いて再現領域ＡＲを設定する。これにより、再現領域ＡＲは、画面５の位置で２個の四角錐台の上底面が合わさった形状となり、手前側が奥側より大きくなる。一方、従来の再現領域ＡＲｏｌｄは、図８に示すように、マスターカメラＣＭの位置のみで設定するので、四角錐台状の形状となり、手前側が奥側より狭くなる。このように、多視点カメラ制御装置２が設定する再現領域ＡＲは、従来の再現領域ＡＲｏｌｄに比べて大きくなる。従って、多視点カメラ制御装置２では、観視者が視域の端でＩＰ立体像表示装置を観視した場合でも、再現領域ＡＲが不足する事態を低減することができる。これにより、多視点カメラ制御装置２は、立体像の欠損を抑制し、高品質なＩＰ立体映像を提供することができる。
【0061】
さらに、多視点カメラ制御装置２は、端の観視位置ＶＬ，ＶＲ，ＶＵ，ＶＤのみを用いた場合、再現領域ＡＲの設定に必要な演算量を抑制し、ＩＰ立体映像を素早く提供することができる。一方、多視点カメラ制御装置２は、各観視位置Ｖを用いた場合、より正確な再現領域ＡＲを設定し、より高品質なＩＰ立体映像を提供することができる。
【0062】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、観察位置を水平方向及び垂直方向に１１箇所設定することとして説明したが、これに限定されない。この観察位置は、任意に設定可能であり、マスターカメラの位置を基準として２次元方向で複数設定することができる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、観察位置を水平方向及び垂直方向に１１箇所設定することとして説明したが、これに限定されない。この観察位置は、任意に設定可能であり、マスターカメラの位置を基準として２次元方向で複数設定することができる。
【0063】
前記した実施形態では、多視点カメラが正六角形状に配置されることとして説明したが、これに限定されない。例えば、本発明では、多視点カメラが四角形状、円状、又は、正多角形状に配置されてもよい。さらに、本発明では、多視点カメラとしてステレオカメラを用いてもよい。
【0064】
前記した実施形態では、隣接カメラ間のベースラインを手動で調整することとして説明したが、本発明は、これに限定されない。例えば、多視点カメラは、各リファレンスカメラを支持すると共に、ベースラインを調整可能な支持機構（不図示）に搭載する。そして、支持機構は、多視点カメラ制御装置２からのベースライン情報を参照し、隣接カメラ間のベースラインを自動的に調整する。
【0065】
前記した実施形態では、多視点カメラ制御装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、多視点カメラ制御装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させる多視点カメラ制御プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【0066】
１ 多視点映像撮影システム
２ 多視点カメラ制御装置
３ ３次元モデル生成装置
４ ＩＰ立体映像生成装置
５ ＩＰ立体像表示装置の画面
２０ パラメータ設定手段（パラメータ入力手段）
２２ 再現領域設定手段
２４ ベースライン算出手段
２６ リファレンスカメラ制御手段
２８ 撮影指令手段
９０ 被写体
ＡＲ，ＡＲｏｌｄ ＩＰ立体像表示装置の再現領域
Ｃ 多視点ロボットカメラ（多視点カメラ）
ＣＭ マスターカメラ
Ｃｎ，Ｃ１～Ｃ６ リファレンスカメラ
Ｅ 周縁
ＥＬ 左端
ＥＲ 右端
ＥＵ 上端
ＥＤ 下端
Ｇ 注視点
Ｐ，Ｐｉ 頂点
Ｖ，ＶＣ，ＶＤ，ＶＬ，ＶＲ，ＶＵ 観視位置
２ 多視点カメラ制御装置
３ ３次元モデル生成装置
４ ＩＰ立体映像生成装置
５ ＩＰ立体像表示装置の画面
２０ パラメータ設定手段（パラメータ入力手段）
２２ 再現領域設定手段
２４ ベースライン算出手段
２６ リファレンスカメラ制御手段
２８ 撮影指令手段
９０ 被写体
ＡＲ，ＡＲｏｌｄ ＩＰ立体像表示装置の再現領域
Ｃ 多視点ロボットカメラ（多視点カメラ）
ＣＭ マスターカメラ
Ｃｎ，Ｃ１～Ｃ６ リファレンスカメラ
Ｅ 周縁
ＥＬ 左端
ＥＲ 右端
ＥＵ 上端
ＥＤ 下端
Ｇ 注視点
Ｐ，Ｐｉ 頂点
Ｖ，ＶＣ，ＶＤ，ＶＬ，ＶＲ，ＶＵ 観視位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】