特許 5988842 ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5988842

(24)【登録日】2016年8月19日

(45)【発行日】2016年9月7日

(54)【発明の名称】ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20160825BHJP

   H04N 5/225 20060101ALI20160825BHJP

   G03B 15/00 20060101ALI20160825BHJP

   G03B 17/56 20060101ALI20160825BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 Z

   G03B15/00 S

   G03B15/00 P

   G03B17/56 A

【請求項の数】5

【全頁数】19

(21)【出願番号】特願2012-252827(P2012-252827)

(22)【出願日】2012年11月19日

(65)【公開番号】特開2014-103474(P2014-103474A)

(43)【公開日】2014年6月5日

【審査請求日】2015年10月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】池谷 健佑

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】片山 美和

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１２−１１４５９３（ＪＰ，Ａ）

【文献】 特開２０１１−１４６７６２（ＪＰ，Ａ）

【文献】 特開２００８−３１０６９６（ＪＰ，Ａ）

【文献】 特開２００７−１３３６６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ １３／００−１３／０４

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／５６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された１台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。

【請求項2】

前記デプス値算出部は、
前記注視点の移動操作が行われる操作部と、
前記操作部に対する移動操作を検出するエンコーダと、を備え、
前記ベースラインの相対距離Ｂａｓｅ及び前記制御角度幅θが含まれ、かつ、前記エンコーダにおける移動操作の最大検出値ｄ_ｍａｘが予め設定された以下の式（１）を用いて、前記エンコーダにおける移動操作の検出値ｄ(但し、０≦ｄ≦ｄ_ｍａｘ)から、前記デプス値を示すＤｅｐｔｈを算出することを特徴とする請求項１に記載のロボットカメラ制御装置。

【数1】

【請求項3】

前記カメラ姿勢操作部で操作されたカメラ姿勢をとるように、前記マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備えることを特徴とする請求項１又は請求項２に記載のロボットカメラ制御装置。

【請求項4】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、予め設定された１台の前記スレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、前記ベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び前記１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。

【請求項5】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記注視点を移動させる移動操作が行われ、前記注視点の移動操作の検出値から、弱校正カメラキャリブレーションで算出されるベースラインの相対距離と、前記弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトル及び予め設定された１台のスレーブカメラから前記マスターカメラに向かう単位ベクトルのなす角を示す制御角度幅とに基づいて、前記マスターカメラから前記注視点までの距離であるデプス値を算出するデプス値算出部とを備えるコンピュータを、
前記弱校正カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの並進行列及び回転行列と、前記１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、前記弱校正カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした前記回転行列の逆行列と前記並進行列との積に、算出した当該単位ベクトルと前記デプス値との内積を加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。

【背景技術】

【0002】

従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。まず、多視点ロボットカメラシステムでは、視点映像を撮影するために、強校正カメラキャリブレーションを行って、カメラの姿勢及び位置を算出する（非特許文献２）。次に、多視点ロボットカメラシステムは、複数台のロボットカメラのうち１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。

【0003】

図１０に示すように、マスターカメラＭＣの光軸βの上には注視点Ｑが設定されており、マスターカメラ以外のスレーブカメラＳＣは、注視点Ｑに向くように制御角度が変化して、自動的に方向制御される。カメラマンが、マスターカメラＭＣと注視点Ｑとの距離であるデプス値を変化させることで、注視点ＱをマスターカメラＭＣの光軸βの上で移動させる。そして、注視点Ｑが被写体αに重なるように（すなわち、全スレーブカメラＳＣの画面の中心に被写体が位置するように）、カメラマンが、マスターカメラＭＣのパン、チルト及びデプスを調整することで、多視点映像を撮影することができる。
なお、図１０の注視点Ｑ_１〜Ｑ_５は、マスターカメラＭＣの光軸βの上を移動する注視点Ｑについて、時間ｔ＝１〜５での位置を示している。

【0004】

注視点Ｑの３次元座標（世界座標）Ｐは、下記の式により算出することができる。
Ｐ＝Ｔ＋Ｄｅｐｔｈ・Ｑｐｔａｘｉｓ
Ｄｅｐｔｈ＝ｋ・ｄ （０≦ｄ≦ｄ_ｍａｘ）

【0005】

この計算式では、ＴがマスターカメラＭＣの位置、Ｑｐｔａｘｉｓがパン及びチルト調整後のマスターカメラＭＣの光軸方向を示す単位ベクトル、ｄがデプス値の操作インターフェースの検出値、ｄ_ｍａｘがデプス値ｄの最大検出値である。また、ｋは、デプス値ｄが‘１’増加した際に乗じる増加係数であり、被写体αの移動領域を踏まえて、実距離で設定する。つまり、ｋは、注視点Ｑの移動範囲が被写体αの移動範囲と等しくなるように、経験則により設定する。
なお、実距離とは、例えば、１０メートルのように、単位（スケール）が伴って表される実空間上の距離である。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５

【非特許文献2】「デジタル画像処理」、財団法人 画像情報教育振興協会、２００４年７月

【発明の概要】

【発明が解決しようとする課題】

【0007】

前記したように、多視点ロボットカメラシステムでは、ロボットカメラの姿勢制御を行うために、強校正カメラキャリブレーションを行う。この強校正カメラキャリブレーションでは、例えば、市松模様状のキャリブレーションパターンを事前に撮影する必要がある。従って、多視点ロボットカメラシステムでは、キャリブレーションパターンを設置できない撮影現場において、ロボットカメラの方向制御自体が不可能となる。

【0008】

そこで、多視点ロボットカメラシステムにおいて、キャリブレーションパターンが不要な弱校正カメラキャリブレーションの適用を検討する。この場合、多視点ロボットカメラシステムでは、マスターカメラＭＣ及びスレーブカメラＳＣのベースラインの実距離を計測し、計測した実距離と、弱校正カメラキャリブレーションで算出した相対距離との比を求める。その後、多視点ロボットカメラシステムでは、実距離と相対距離との比を増加係数ｋに乗じる必要がある。しかし、多視点ロボットカメラシステムは、撮影現場での実距離の計測に手間がかかるため、弱校正カメラキャリブレーションの適用が困難であるという問題がある。
なお、相対距離とは、弱校正カメラキャリブレーションで算出される、単位（スケール）が伴っていない距離のことである。

【0009】

そこで、本願発明は、前記した問題を解決し、撮影現場での準備作業の手間を軽減できるロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。

【課題を解決するための手段】

【0010】

前記した課題に鑑みて、本願第１発明に係るロボットカメラ制御装置は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、カメラ姿勢操作部と、カメラキャリブレーション部と、デプス値算出部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。

【0011】

かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの並進行列及び回転行列と、予め設定された１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、弱校正カメラキャリブレーションにより算出する。このように、ロボットカメラ制御装置は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。

【0012】

また、ロボットカメラ制御装置は、デプス値算出部によって、視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、ベースラインの相対距離と、制御角度幅とに基づいて、マスターカメラから注視点までの距離であるデプス値を算出する。この制御角度幅は、弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトルと、１台のスレーブカメラからマスターカメラに向かう単位ベクトルとのなす角を示す。つまり、ロボットカメラ制御装置は、この制御角度幅を用いてデプス値を算出できるため、実距離を計測する必要がない。

【0013】

また、ロボットカメラ制御装置は、注視点算出部によって、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした回転行列の逆行列と並進行列との積に、算出した単位ベクトルとデプス値との内積を加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。

【0014】

ここで、デプス値算出部は、注視点の移動操作が行われる操作部と、操作部に対する移動操作を検出するエンコーダと、を備え、ベースラインの相対距離Ｂａｓｅ及び制御角度幅θが含まれ、かつ、エンコーダにおける移動操作の最大検出値ｄ_ｍａｘが予め設定された式（１）を用いて、エンコーダにおける移動操作の検出値ｄ(但し、０≦ｄ≦ｄ_ｍａｘ)から、デプス値を示すＤｅｐｔｈを算出することが好ましい（本願第２発明）。

【0015】

また、本願第３発明に係るロボットカメラ制御装置は、カメラ姿勢操作部で操作されたカメラ姿勢をとるように、マスターカメラの姿勢を制御するマスターカメラ制御部、をさらに備えることを特徴とする。
かかる構成によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御することができる。

【0016】

また、前記した課題に鑑みて、本願第４発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、マスターカメラの光軸上を移動可能な注視点に向くようにスレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラ制御装置が、カメラ姿勢操作部と、カメラキャリブレーション部と、デプス値算出部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。

【0017】

かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの並進行列及び回転行列と、予め設定された１台のスレーブカメラ及び前記マスターカメラのベースラインの相対距離とを、弱校正カメラキャリブレーションにより算出する。このように、ロボットカメラ制御装置は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。

【0018】

また、ロボットカメラ制御装置は、デプス値算出部によって、視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、ベースラインの相対距離と、制御角度幅とに基づいて、マスターカメラから注視点までの距離であるデプス値を算出する。この制御角度幅は、弱校正カメラキャリブレーション時のマスターカメラの光軸方向を示す単位ベクトルと、１台のスレーブカメラからマスターカメラに向かう単位ベクトルとのなす角を示す。つまり、ロボットカメラ制御装置は、この制御角度幅を用いてデプス値を算出できるため、実距離を計測する必要がない。

【0019】

また、ロボットカメラ制御装置は、注視点算出部によって、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、注視点に向いたマスターカメラの光軸方向を示す単位ベクトルを算出し、負にした回転行列の逆行列と並進行列との積に、算出した単位ベクトルとデプス値との内積を加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。

【0020】

ここで、本願第１発明に係るロボットカメラ制御装置は、カメラ姿勢操作部及びデプス値算出部を備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスクなどのハードウェア資源を、カメラキャリブレーション部、注視点算出部及びスレーブカメラ制御部として協調動作させるためのロボットカメラ制御プログラムによって実現することもできる（本願第５発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0021】

本願発明によれば、以下のような優れた効果を奏する。
本願第１，２，４，５発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がなく、制御角度幅に基づいてデプス値を算出するため、実距離を計測する必要がなく、撮影現場での準備作業の手間を軽減することができる。
本願第３発明によれば、ロボットカメラ制御装置は、スレーブカメラに加えて、マスターカメラの姿勢を制御するため、多視点映像を容易に撮影することができる。

【図面の簡単な説明】

【0022】

【図1】本願発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。

【図2】（ａ）は図１のデプス操作部が備える操作部及びエンコーダを説明する図であり、（ｂ）はデプス操作部の操作を説明する説明図である。

【図3】図１のデプス操作部において、デプス値の変化を説明する説明図である。

【図4】図１のデプス操作部において、デプス値の変化を説明する説明図である。

【図5】図１のデプス操作部において、マスターカメラと、選択された１台のスレーブカメラとの位置関係を説明する図である。

【図6】（ａ）及び（ｂ）は図１の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。

【図7】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。

【図8】本願発明の実施例を説明する説明図である。

【図9】本願発明の実施例において、ロボットカメラで撮影された多視点映像である。

【図10】従来の多視点ロボットカメラシステムを説明する説明図である。

【発明を実施するための形態】

【0023】

以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0024】

（実施形態）
［多視点ロボットカメラシステムの構成］
図１を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム１００の構成について、説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ_１，…，ＳＣ_ｎ（ＳＣ）とを備える。
スレーブカメラＳＣは、ｎ台であることとする（但し、ｎ≧１を満たす整数）。

【0025】

ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、操作インターフェース部１０と、カメラキャリブレーション部２０と、マスターカメラ制御部３０と、注視点算出部４０と、スレーブカメラ制御部５０_１，…，５０_ｎ（５０）とを備える。

【0026】

操作インターフェース部１０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（カメラ姿勢操作部）１１と、ズーム操作部１３と、デプス操作部（デプス値算出部）１５と、フォーカス・アイリス指令部１８とを備える。

【0027】

パン・チルト操作部１１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部１１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。

【0028】

ズーム操作部１３は、カメラマンが、マスターカメラＭＣのズームを操作するものである。そして、ズーム操作部１３は、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。

【0029】

デプス操作部１５は、注視点を移動させる移動操作が行われ、注視点の移動操作の検出値から、後記する式（１）を用いて、マスターカメラＭＣから注視点Ｑ（図３）までの距離であるデプス値を算出するものである。

【0030】

本実施形態では、デプス操作部１５は、図２（ａ）に示すように、注視点の移動操作が行われる回転ダイヤル（操作部）１６と、回転ダイヤル１６に対する移動操作を検出するエンコーダ１７とを備える。
ここで、図２（ｂ）に示すように、回転ダイヤル１６を時計回りに回転させる程、エンコーダ１７のエンコーダ値（移動操作の検出値）が増大する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最大」に達したときに、エンコーダ１７のエンコーダ値が最大となる。
一方、回転ダイヤル１６を反時計回りに回転させる程、エンコーダ１７のエンコーダ値が減少する。そして、回転ダイヤル１６に刻まれた指標１６ａが指標位置「△最小」に達したときに、エンコーダ１７のエンコーダ値が最小となる。
そして、デプス操作部１５は、エンコーダ値とデプス値とを対応付けたデプス値変換情報が予め設定され、このデプス値変換情報を参照して、エンコーダ１７で検出されたエンコーダ値をデプス値に変換する。さらに、デプス操作部１５は、変換されたデプス値を以下で説明するように変化（増減）させて、注視点算出部４０に出力する。

【0031】

＜デプス値の変化＞
図３〜図５を参照して、デプス操作部１５によるデプス値の変化について、説明する（適宜図１，２参照）。
図３に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部１１及びズーム操作部１３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えてられていない。
なお、ズーム操作部１３は、カメラマン以外が遠隔操作することもある。

【0032】

次に、カメラマンは、回転ダイヤル１６の操作によりデプス値を変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図４に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、回転ダイヤル１６を操作してデプス値を調整する。

【0033】

このとき、デプス操作部１５は、マスターカメラＭＣから離れる程、単位時間あたりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる（図６参照）。具体的には、デプス操作部１５は、以下の式（１）を用いて、デプス値Ｄｅｐｔｈを算出する。

【0034】

【数1】

【0035】

この式（１）のＢａｓｅは、図５に示すように、マスターカメラＭＣと、予め選択（設定）された１台のスレーブカメラＳＣとのベースラインの相対距離を表す。このＢａｓｅは、後記するカメラキャリブレーション部２０に格納されている。ここで、多視点ロボットカメラシステム１００では、ｎ台のスレーブカメラＳＣのうち、任意の１台のスレーブカメラＳＣを選択できる。さらに、多視点ロボットカメラシステム１００では、カメラ操作を容易にするため、マスターカメラＭＣの光軸βと、スレーブカメラＳＣの光軸γとのなす角が最も垂直に近くなるスレーブカメラＳＣを１台選択することが好ましい。
以後、選択された１台のスレーブカメラを「選択スレーブカメラ」と呼ぶ。

【0036】

また、式（１）のθは、単位ベクトルｕと単位ベクトルｖとのなす角であり、選択スレーブカメラＳＣの制御角度幅を表す。この単位ベクトルｕは、弱校正カメラキャリブレーション時のマスターカメラＭＣの光軸βの向きを示す単位ベクトルである。また、単位ベクトルｖは、選択スレーブカメラＳＣからマスターカメラＭＣに向かう単位ベクトルである。
なお、図５では、説明を解かりやすくするため、単位ベクトルｖの始点に単位ベクトルｕの始点が一致するように、マスターカメラＭＣを破線で図示した。

【0037】

また、式（１）では、エンコーダ１７で検出可能なエンコーダ値の最大値がｄ_ｍａｘであり、エンコーダ１７で検出されたエンコーダ値がｄである。
この最大値ｄ_ｍａｘは、０≦ｄ≦ｄ_ｍａｘを満たすように予め設定される。

【0038】

図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
フォーカス・アイリス指令部１８は、マスターカメラＭＣ及びスレーブカメラＳＣに対し、オートフォーカス及びオートアイリスを指令するものである。具体的には、フォーカス・アイリス指令部１８は、カメラマンから指令が入力されると、オートフォーカス及びオートアイリスの指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する。

【0039】

カメラキャリブレーション部２０は、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータ（Ａ_ｍ，Ｒ_ｍ，Ｔ_ｍ，ｐ_０ｍ，ｔ_０ｍ，ｚ_０ｍ，ｆ_０ｍ，ｉ_０ｍ，Ａ_ｎ，Ｒ_ｎ，Ｔ_ｎ，ｐ_０ｎ，ｔ_０ｎ，ｚ_０ｎ，ｆ_０ｎ，ｉ_０ｎ，Ｂａｓｅ）を弱校正カメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。

【0040】

ここで、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのマスターカメラＭＣのカメラ姿勢として、マスターカメラＭＣのパン値ｐ_０ｍと、チルト値ｔ_０ｍとを算出し、記憶装置に格納する。また、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのマスターカメラＭＣの内部パラメータＡ_ｍと、外部パラメータ（回転行列Ｒ_ｍ及び並進行列Ｔ_ｍ）と、マスターカメラＭＣのズーム値ｚ_０ｍと、フォーカス値ｆ_０ｍと、アイリス値ｉ_０ｍとを算出し、記憶装置に格納する。
なお、添え字ｍがマスターカメラＭＣを示す。

【0041】

また、カメラキャリブレーション部２０は、弱校正カメラキャリブレーションを行ったときのスレーブカメラＳＣ_ｎの内部パラメータＡ_ｎと、外部パラメータ（回転行列Ｒ_ｎ及び並進行列Ｔ_ｎ）と、スレーブカメラＳＣ_ｎのパン値ｐ_０ｎと、チルト値ｔ_０ｎと、ズーム値ｚ_０ｎと、フォーカス値ｆ_０ｎと、アイリス値ｉ_０ｎとを算出し、記憶装置に格納する。

【0042】

また、カメラキャリブレーション部２０は、マスターカメラＭＣと、選択スレーブカメラＳＣとのベースラインの相対距離Ｂａｓｅを算出し、記憶装置に格納する。このベースラインの相対距離Ｂａｓｅは、外部パラメータがカメラ位置を示すことから、マスターカメラＭＣと選択スレーブカメラＳＣとのカメラ位置の差分により、求めることができる。

【0043】

なお、弱校正カメラキャリブレーションとして、例えば、以下のホームページに記載された「Ｂｕｎｄｌｅｒ」を利用できるため、詳細な説明を省略する。
参考ＵＲＬ：「http://phototour.cs.washington.edu/bundler/」

【0044】

マスターカメラ制御部３０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム制御部３１と、フォーカス・アイリス制御部３３とを備える。

【0045】

パン・チルト・ズーム制御部３１は、パン・チルト操作部１１から入力されたパン値及びチルト値と、ズーム操作部１３から入力されたズーム値とに基づいて、マスターカメラＭＣのパン、チルト及びズームを制御するものである。具体的には、パン・チルト・ズーム制御部３１は、パン値、チルト値及びズーム値を、それら値の大きさに応じたパン・チルト・ズーム制御信号に変換する。そして、パン・チルト・ズーム制御部３１は、変換したパン・チルト・ズーム制御信号をマスターカメラＭＣに出力する。

【0046】

フォーカス・アイリス制御部３３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、マスターカメラＭＣのフォーカス及びアイリスを制御するものである。具体的には、フォーカス・アイリス制御部３３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部３３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、マスターカメラＭＣに出力する。

【0047】

マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、例えば、電動雲台に搭載された固定ロボットカメラである。そして、マスターカメラＭＣは、パン・チルト・ズーム制御部３１から入力されたパン・チルト・ズーム制御信号に従って、パン、チルト及びズームを駆動する。さらに、マスターカメラＭＣは、フォーカス・アイリス制御部３３から入力されたフォーカス・アイリス制御信号に従って、フォーカス及びアイリスを駆動する。

【0048】

注視点算出部４０は、パン・チルト操作部１１から入力されたパン値及びチルト値と、デプス操作部１５から入力されたデプス値と、カメラキャリブレーション部２０に格納されたカメラパラメータとに基づいて、注視点の世界座標を算出するものである。

【0049】

具体的には、注視点算出部４０は、以下の式（２）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのパン値ｐ_ｍと、弱校正カメラキャリブレーション時のパン値ｐ_０ｍとの角度差θ_ｐｍを算出する。

【0050】

【数2】

【0051】

また、注視点算出部４０は、以下の式（３）を用いて、マスターカメラＭＣについて、パン・チルト操作部１１からのチルト値ｔ_ｍと、弱校正カメラキャリブレーション時のチルト値ｔ_０ｍとの角度差θ_ｔｍを算出する。

【0052】

【数3】

【0053】

次に、注視点算出部４０は、以下の式（４）に示すように、角度差θ_ｐｍ及び角度差θ_ｔｍを用いて、カメラ座標系における回転行列Ｒ´_Ｃｍを生成する。

【0054】

【数4】

【0055】

そして、注視点算出部４０は、以下の式（５）に示すように、回転行列Ｒ´_Ｃｍ、及び、マスターカメラＭＣの外部パラメータである回転行列Ｒ_ｍの逆行列Ｒ^−１_ｍを用いて、世界座標系におけるカメラ姿勢の回転行列Ｒ´_ｍを生成する。このＲ´_ｍは、マスターカメラＭＣについて、カメラキャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。

【0056】

【数5】

【0057】

ここで、式（５）の回転行列Ｒ´_ｍは、以下の式（６）で表すことができる。この場合、注視点Ｑに向いたマスターカメラＭＣの光軸方向を示す単位ベクトルＯｐｔａｘｉｓ_ｍは、以下の式（７）で表すことができる。

【0058】

【数6】

【0059】

【数7】

【0060】

そして、注視点算出部４０は、以下の式（８）に示すように、逆行列Ｒ^−１_ｍと、マスターカメラＭＣの外部パラメータである並進行列Ｔ_ｍと、デプス操作部１５から入力されたデプス値Ｄｅｐｔｈと、式（７）の単位ベクトルＯｐｔａｘｉｓ_ｍとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。この式（８）は、負にした逆行列Ｒ^−１_ｍと並進行列Ｔ_ｍとの積に、単位ベクトルＯｐｔａｘｉｓ_ｍとデプス値Ｄｅｐｔｈとの内積を加算することを示す。その後、注視点算出部４０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部５１に出力する。

【0061】

【数8】

【0062】

図６を参照し、スレーブカメラＳＣの制御角度の変化について、説明する（適宜図１，２参照）。
図６（ａ）の注視点Ｑ_１〜Ｑ_４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス操作部１５がデプス値を非線形に変化させるため、注視点Ｑ_１〜Ｑ_４の単位時間あたりの移動距離は、マスターカメラＭＣから離れる程、広くなる。つまり、注視点Ｑ_１，Ｑ_２の距離よりも注視点Ｑ_２，Ｑ_３の距離が広くなり、注視点Ｑ_２，Ｑ_３の距離よりも注視点Ｑ_３，Ｑ_４の距離が広くなる。このため、時間ｔ＝１〜２におけるスレーブカメラＳＣの制御角度Ａと、時間ｔ＝３〜４におけるスレーブカメラＳＣの制御角度Ｂとが、等しくなる。

【0063】

図６（ｂ）では、回転ダイヤル１６において、注視点Ｑ_１〜Ｑ_４に対応する指標位置を図示した。これら注視点Ｑ_１〜Ｑ_４に対応する指標位置は、全て等間隔となっている。
図６（ｂ）に示すように、指標１６ａが指標位置「Ｑ_１」に重なるとき、図６（ａ）の注視点Ｑ_１を指す。これと同様、指標１６ａが指標位置「Ｑ_２」に重なるときに図６（ａ）の注視点Ｑ_２を指し、指標１６ａが指標位置「Ｑ_３」に重なるときに図６（ａ）の注視点Ｑ_３を指し、指標１６ａが指標位置「Ｑ_４」に重なるときに図６（ａ）の注視点Ｑ_４を指す。

【0064】

ここで、図６（ａ）に示すように、注視点Ｑ_１から注視点Ｑ_２に移動させる場合、及び、注視点Ｑ_３から注視点Ｑ_４に移動させる場合でも、制御角度Ａ，Ｂが等しいため、図６（ｂ）に示すように、回転ダイヤル１６の移動操作量が一定となる。このように、多視点ロボットカメラシステム１００では、回転ダイヤル１６の移動操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定となる。

【0065】

図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
スレーブカメラ制御部５０_１，…，５０_ｎは、スレーブカメラＳＣ_１，…，ＳＣ_ｎを制御するものであり、パン・チルト制御部５１_１，…，５１_ｎ（５１）と、フォーカス・アイリス制御部５３_１，…，５３_ｎ（５３）と、ズーム制御部５５_１，…，５５_ｎ（５５）とを備える。
なお、スレーブカメラ制御部５０_１，…，５０_ｎは、スレーブカメラＳＣ_１，…，ＳＣ_ｎに対応するように備えられており、全て同一構成である。

【0066】

パン・チルト制御部５１は、注視点算出部４０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部２０に格納されたカメラパラメータ（回転行列Ｒ_ｎ及び並進行列Ｔ_ｎ）とに基づいて、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。

【0067】

具体的には、パン・チルト制御部５１は、以下の式（９）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣ_ｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓ_ｎを算出する。
なお、“‖‖”はノルムを示す。

【0068】

【数9】

【0069】

また、パン・チルト制御部５１は、以下の式（１０）に示すように、算出した単位ベクトルＯｐｔａｘｉｓ_ｎ、及び、回転行列Ｒ_ｎを用いて、カメラ座標系におけるスレーブカメラＳＣ_ｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルＯｐｔａｘｉｓ_Ｃｎを算出する。

【0070】

【数10】

【0071】

そして、パン・チルト制御部５１は、以下の式（１１）〜式（１３）に示すように、Ｏｐｔａｘｉｓ_Ｃｎから、スレーブカメラＳＣ_ｎのパン値Ｐ_ｎ及びチルト値Ｔ_ｎを算出する。
なお、ｅ_１，ｅ_２，ｅ_３は、それぞれ、単位ベクトルＯｐｔａｘｉｓ_ＣｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。

【0072】

【数11】

【0073】

【数12】

【0074】

【数13】

【0075】

さらに、パン・チルト制御部５１は、算出したパン値Ｐ_ｎ及びチルト値Ｔ_ｎを、それら値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部５１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。

【0076】

フォーカス・アイリス制御部５３は、フォーカス・アイリス指令部１８から入力された指令信号に基づいて、スレーブカメラＳＣのフォーカス及びアイリスを制御するものである。具体的には、フォーカス・アイリス制御部５３は、指令信号が入力されると、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス値及びアイリス値を算出する。そして、フォーカス・アイリス制御部５３は、算出したフォーカス値及びアイリス値を、それらの値の大きさに応じたフォーカス・アイリス制御信号に変換して、スレーブカメラＳＣに出力する。

【0077】

ズーム制御部５５は、ズーム操作部１３から入力されたズーム値に基づいて、スレーブカメラＳＣのズームを制御するものである。具体的には、ズーム制御部５５は、ズーム値を、その値の大きさに応じたズーム制御信号に変換する。そして、ズーム制御部５５は、変換したズーム制御信号をスレーブカメラＳＣに出力する。

【0078】

スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、例えば、電動雲台に搭載された固定ロボットカメラである。また、スレーブカメラＳＣは、パン・チルト制御部５１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス・アイリス制御部５３から入力されたフォーカス・アイリス制御信号に応じて、フォーカス及びアイリスを駆動する。さらに、スレーブカメラＳＣは、ズーム制御部５５から入力されたズーム制御信号に応じて、ズームを駆動する。

【0079】

［多視点ロボットカメラシステムの動作］
図７を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部２０によって、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータを算出し（ステップＳ１）、記憶装置に格納する（ステップ２）。

【0080】

多視点ロボットカメラシステム１００は、パン・チルト操作部１１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム制御部３１と、注視点算出部４０とに出力する。
多視点ロボットカメラシステム１００は、ズーム操作部１３によって、カメラマンの操作に応じたズーム値を検出して、パン・チルト・ズーム制御部３１と、ズーム制御部５５とに出力する。
多視点ロボットカメラシステム１００は、デプス操作部１５によって、式（１）を用いてデプス値を算出し、注視点算出部４０に出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス指令部１８によって、カメラマンからの指令に応じて指令信号を生成し、フォーカス・アイリス制御部３３と、フォーカス・アイリス制御部５３とに出力する（ステップＳ３）。

【0081】

多視点ロボットカメラシステム１００は、パン・チルト・ズーム制御部３１によって、パン値、チルト値及びズーム値を、パン・チルト・ズーム制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部３３によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、マスターカメラＭＣのフォーカス・アイリス制御信号を生成して、マスターカメラＭＣに出力する（ステップＳ４）。

【0082】

多視点ロボットカメラシステム１００は、注視点算出部４０によって、式（８）のように、負にした逆行列Ｒ^−１_ｍと並進行列Ｔ_ｍとの積に、単位ベクトルＯｐｔａｘｉｓ_ｍとデプス値Ｄｅｐｔｈとの内積を加算することで、注視点Ｑの世界座標Ｐを算出する（ステップＳ５）。

【0083】

多視点ロボットカメラシステム１００は、パン・チルト制御部５１によって、パン値及びチルト値を、パン・チルト・ズーム制御信号に変換して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス・アイリス制御部５３によって、指令信号に応じて、オートフォーカス機能及びオートアイリス機能を用いて、スレーブカメラＳＣのフォーカス・アイリス制御信号を生成して、スレーブカメラＳＣに出力する。
多視点ロボットカメラシステム１００は、ズーム制御部５５によって、ズーム値をズーム制御信号に変換して、スレーブカメラＳＣに出力する（ステップＳ６）。

【0084】

以上のように、本願発明の実施形態に係る多視点ロボットカメラシステム１００は、弱校正カメラキャリブレーションを行うため、キャリブレーションパターンを撮影する必要がない。さらに、多視点ロボットカメラシステム１００は、式（１）のように、制御角度幅θに基づいてデプス値Ｄｅｐｔｈを算出するために、実距離を計測する必要がない。これによって、多視点ロボットカメラシステム１００は、撮影現場での準備作業の手間を軽減することができる。

【0085】

さらに、多視点ロボットカメラシステム１００は、デプス操作部１５によりデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラＳＣの制御角度Ａ，Ｂの変化が一定となる。このため、多視点ロボットカメラシステム１００は、スレーブカメラＳＣの制御角度の変化が一定にならない従来技術に比べ、デプス調整を容易に行うことができる（図６参照）。

【0086】

さらに、多視点ロボットカメラシステム１００は、式（１）に正接関数（ｔａｎ）の項が含まれないため、マスターカメラＭＣ及びスレーブカメラＳＣを直線状、円弧状、円周状などの任意に配置した状態で方向制御を行うことができる。

【0087】

本願発明は、実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。以下、本願発明の変形例について、具体的に説明する。
前記した実施形態では、デプス操作部１５が回転ダイヤル１６を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部１５は、回転ダイヤル１６の代わりにスライダを備えてもよい。

【実施例】

【0088】

図８，図９を参照し、本願発明の実施例として、多視点ロボットカメラシステム１００の実験結果について、説明する（適宜図１参照）。
図１の多視点ロボットカメラシステム１００を用いて、マスターカメラＭＣ及びスレーブカメラＳＣで多視点映像を撮影する実験を行った。まず、図８に示すように、９台のロボットカメラを３段３列に配置し、中央のロボットカメラ１台をマスターカメラＭＣとして設定し、残り８台のロボットカメラをスレーブカメラＳＣとして設定した。また、選択スレーブカメラＳＣ_１は、図面左列で下段に位置する。さらに、被写体αとして、人形を配置した。

【0089】

そして、多視点ロボットカメラシステム１００では、キャリブレーションパターンを撮影せずに、弱校正カメラキャリブレーションのみを行って、被写体αを撮影した。このとき、マスターカメラＭＣの３次元座標が（６．２，−２．０，３．０）であり、スレーブカメラＳＣの３次元座標が（３．６，−３．５，１．２）であった（小数点桁２で切捨）。また、式（１）では、Ｂａｓｅの値が３．６であり、ｄ_ｍａｘが６５５３５．０（２バイトの最大値）であった（小数点桁２で切捨）。

【0090】

図９では、マスターカメラＭＣ及びスレーブカメラＳＣが撮影した映像をカメラ配置と同じ３段３列で示した。つまり、図９では、ＣＨＡＮＥＬ５がマスターカメラＭＣの映像であり、ＣＨＡＮＥＬ１が選択スレーブカメラＳＣ_１の映像であり、ＣＨＡＮＥＬ２〜４，６〜９が残りのスレーブカメラＳＣの映像である。

【0091】

この図９から、多視点ロボットカメラシステム１００では、キャリブレーションパターンを撮影せずとも、マスターカメラＭＣ及びスレーブカメラＳＣの方向制御を行って、多視点映像を撮影できることが分かった。さらに、多視点ロボットカメラシステム１００では、注視点ＱとマスターカメラＭＣとの遠近に関わらず、スレーブカメラＳＣの制御角度の変化が一定となるため、デプス調整が容易となり、操作性が向上することも分かった。

【符号の説明】

【0092】

１ ロボットカメラ制御装置
１０ 操作インターフェース部
１１ パン・チルト操作部（カメラ姿勢操作部）
１３ ズーム操作部
１５ デプス操作部（デプス値算出部）
１６ 回転ダイヤル（操作部）
１７ エンコーダ
１８ フォーカス・アイリス指令部
２０ カメラキャリブレーション部
３０ マスターカメラ制御部
３１ パン・チルト・ズーム制御部
３３ フォーカス・アイリス制御部
４０ 注視点算出部
５０ スレーブカメラ制御部
５１ パン・チルト制御部
５３ フォーカス・アイリス制御部
５５ ズーム制御部
１００ 多視点ロボットカメラシステム
ＭＣ マスターカメラ
ＳＣ スレーブカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図10】

【図9】