特許 6073114 ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6073114

(24)【登録日】2017年1月13日

(45)【発行日】2017年2月1日

(54)【発明の名称】ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170123BHJP

   H04N 5/225 20060101ALI20170123BHJP

   G03B 15/00 20060101ALI20170123BHJP

   G03B 17/56 20060101ALI20170123BHJP

   G06T 1/00 20060101ALI20170123BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 Z

   G03B15/00 S

   G03B15/00 P

   G03B17/56 A

   G06T1/00 315

【請求項の数】4

【全頁数】18

(21)【出願番号】特願2012-253089(P2012-253089)

(22)【出願日】2012年11月19日

(65)【公開番号】特開2014-103491(P2014-103491A)

(43)【公開日】2014年6月5日

【審査請求日】2015年10月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】池谷 健佑

(72)【発明者】

【氏名】岩舘 祐一

(72)【発明者】

【氏名】久富 健介

(72)【発明者】

【氏名】片山 美和

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１２−１１４５９３（ＪＰ，Ａ）

【文献】 特開２００９−０６９５５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｈ０４Ｎ １３／００−１３／０４

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／５６

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とするロボットカメラ制御装置。

【請求項2】

前記デプス入力範囲設定部は、前記マスターカメラから前記前方被写界深度及び前記後方被写界深度が入力されることを特徴とする請求項１に記載のロボットカメラ制御装置。

【請求項3】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、前記マスターカメラ以外のロボットカメラであるスレーブカメラと、前記マスターカメラの光軸上を移動可能な注視点に向くように前記スレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、
前記ロボットカメラ制御装置が、
前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、
前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部と、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部と、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部と、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部と、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部と、
を備えることを特徴とする多視点ロボットカメラシステム。

【請求項4】

複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、前記マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するために、前記マスターカメラのカメラ姿勢を操作するカメラ姿勢操作部と、前記マスターカメラから前記注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、前記注視点が前記マスターカメラから離れる程、単位時間あたりの前記注視点の移動距離が長くなるように、入力された前記デプス値を非線形に変化させるデプス値入力部とを備えるコンピュータを、
被写体に合焦したときの前記マスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度と前記デプス値との対応関係に基づいて、前記デプス入力範囲に変換して前記デプス値入力部に設定するデプス入力範囲設定部、
カメラキャリブレーションを行ったときの前記マスターカメラのカメラ姿勢と、前記マスターカメラの外部パラメータである並進ベクトルとを、前記カメラキャリブレーションにより算出するカメラキャリブレーション部、
前記カメラ姿勢操作部と前記カメラキャリブレーション部とのカメラ姿勢の差分に基づいて、前記マスターカメラにおける回転行列を算出し、算出した前記回転行列に含まれる奥行成分のベクトルと前記デプス値との積に前記並進ベクトルを加算することで、前記注視点の位置を算出する注視点算出部、
前記注視点算出部が算出した注視点に向くように、前記スレーブカメラの姿勢を制御するスレーブカメラ制御部、
として機能させるためのロボットカメラ制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、ロボットカメラの姿勢を制御するロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムに関する。

【背景技術】

【0002】

従来から、動く被写体をパンフォローした多視点映像を撮影することが可能な多視点ロボットカメラシステムが提案されている（非特許文献１）。この多視点ロボットカメラシステムは、複数台のロボットカメラのうち１台をマスターカメラとして設定し、カメラマンがマスターカメラを被写体に向けるように操作する。ここで、マスターカメラの光軸上には注視点が設定されており、マスターカメラ以外のスレーブカメラは、注視点に向くように制御角度が変化して、自動的に方向制御される。このとき、カメラマンが、マスターカメラと注視点との距離であるデプス値を連続的に変化させることで、注視点をマスターカメラの光軸上で移動させる。そして、注視点が被写体に重なるように（すなわち、全スレーブカメラの画面の中心に被写体が位置するように）、カメラマンが、デプス操作装置を用いて、デプス調整範囲内でデプス値を変化させることで、多視点映像を撮影することができる。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】伊佐憲一、他４名、「最新スポーツ中継技術 世界初！ プロ野球中継におけるＥｙｅＶｉｓｉｏｎＴＭ（アイビジョン）の活用」、放送技術、兼六館出版、２００１年１１月、ｐ．９６−ｐ．１０５

【発明の概要】

【発明が解決しようとする課題】

【0004】

図８を参照して、従来の多視点ロボットカメラシステムの問題について、詳細に説明する。
図８では、ロボットカメラＭＣの光軸βの上にある注視点を符号Ｑで図示した。
従来の多視点ロボットカメラシステムにおいて、注視点が被写体に重なるようにデプス調整を行う作業は、被写界深度が極めて浅い撮影環境で被写体にピントを合わせる作業とほぼ等価になる。

【0005】

ここで、図８に示すように、デプス最小値ｄ_ｍｉｎからデプス最大値ｄ_ｍａｘまでのデプス調整範囲が、例えば、数１０メートルと広くなっている。一方、被写界深度が、例えば、被写体の前後数センチと極めて浅くなっている。このように、多視点ロボットカメラシステムでは、デプス調整範囲が被写界深度に無関係に設定され、デプス調整範囲が被写界深度よりも大幅に広くなっている。従って、多視点ロボットカメラシステムでは、注視点Ｑを被写体αに重ねるために必要なデプス操作装置の操作量が多くなり、デプス調整の作業時間が長くなるという問題がある。
なお、図８では、図面を見やすくするため、スレーブカメラの図示を省略した（図３も同様）。

【0006】

そこで、本願発明は、デプス調整の作業時間を短縮できるロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムを提供することを課題とする。

【課題を解決するための手段】

【0007】

前記した課題に鑑みて、本願第１発明に係るロボットカメラ制御装置は、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラの光軸上を移動可能な注視点に向くように、マスターカメラ以外のロボットカメラであるスレーブカメラの姿勢を制御するロボットカメラ制御装置であって、カメラ姿勢操作部と、デプス値入力部と、デプス入力範囲設定部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。

【0008】

かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値入力部によって、マスターカメラから注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、注視点がマスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように、入力されたデプス値を非線形に変化させる。

【0009】

また、ロボットカメラ制御装置は、デプス入力範囲設定部によって、被写体に合焦したときのマスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、デプス入力範囲に変換してデプス値入力部に設定する。これによって、ロボットカメラ制御装置は、デプス値の入力範囲を前方被写界深度から後方被写界深度までの間に狭めることができる。

【0010】

また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。

【0011】

また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。

【0012】

また、本願第２発明に係るロボットカメラ制御装置は、デプス入力範囲設定部により、マスターカメラから前方被写界深度及び後方被写界深度が入力されることを特徴とする。
かかる構成によれば、ロボットカメラ制御装置は、マスターカメラのオートフォーカス機能を利用して、前方被写界深度及び後方被写界深度を取得する。

【0013】

また、前記した課題に鑑みて、本願第３発明に係る多視点ロボットカメラシステムは、複数台のロボットカメラのうち、予め設定された１台のロボットカメラであるマスターカメラと、マスターカメラ以外のロボットカメラであるスレーブカメラと、マスターカメラの光軸上を移動する注視点に向くようにスレーブカメラの姿勢を制御するロボットカメラ制御装置とを備える多視点ロボットカメラシステムであって、ロボットカメラ制御装置が、カメラ姿勢操作部と、デプス値入力部と、デプス入力範囲設定部と、カメラキャリブレーション部と、注視点算出部と、スレーブカメラ制御部とを備えることを特徴とする。

【0014】

かかる構成によれば、ロボットカメラ制御装置は、カメラ姿勢操作部によって、マスターカメラのカメラ姿勢を操作する。また、ロボットカメラ制御装置は、デプス値入力部によって、マスターカメラから注視点までの距離を示すデプス値が、所定のデプス入力範囲内で入力され、注視点がマスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように、入力されたデプス値を非線形に変化させる。

【0015】

また、ロボットカメラ制御装置は、デプス入力範囲設定部によって、被写体に合焦したときのマスターカメラの前方被写界深度から後方被写界深度までの範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、デプス入力範囲に変換してデプス値入力部に設定する。これによって、ロボットカメラ制御装置は、デプス値の入力範囲を前方被写界深度から後方被写界深度までの間に狭めることができる。

【0016】

また、ロボットカメラ制御装置は、カメラキャリブレーション部によって、カメラキャリブレーションを行ったときのマスターカメラのカメラ姿勢と、マスターカメラの外部パラメータである並進ベクトルとを、カメラキャリブレーションにより算出する。

【0017】

また、ロボットカメラ制御装置は、注視点算出部によって、カメラ姿勢操作部とカメラキャリブレーション部とのカメラ姿勢の差分に基づいて、マスターカメラにおける回転行列を算出し、算出した回転行列に含まれる奥行成分のベクトルとデプス値との積に並進ベクトルを加算することで、注視点の位置を算出する。そして、ロボットカメラ制御装置は、スレーブカメラ制御部によって、注視点算出部が算出した注視点に向くように、スレーブカメラの姿勢を制御する。

【0018】

ここで、本願第１発明に係るロボットカメラ制御装置は、カメラ姿勢操作部及びデプス値入力部を備えるコンピュータのＣＰＵ（Central Processing Unit）、メモリ、ハードディスクなどのハードウェア資源を、デプス入力範囲設定部、カメラキャリブレーション部、注視点算出部及びスレーブカメラ制御部として協調動作させるロボットカメラ制御プログラムによって実現することもできる（本願第４発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0019】

本願発明によれば、以下のような優れた効果を奏する。
本願第１，３，４発明によれば、ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステムは、デプス入力範囲を前方被写界深度から後方被写界深度までの間に狭めるため、デプス調整の作業時間を短縮することができる。

【0020】

本願第２発明によれば、ロボットカメラ制御装置は、マスターカメラのオートフォーカス機能を利用できるため、簡易な演算処理によりデプス入力範囲を狭くし、デプス調整の作業時間を短縮することができる。

【図面の簡単な説明】

【0021】

【図1】本願発明の実施形態に係る多視点ロボットカメラシステムの構成を示すブロック図である。

【図2】（ａ）は図１のデプス操作部が備える操作部及びエンコーダを説明する図であり、（ｂ）はデプス操作部の操作を説明する説明図である。

【図3】図１のデプス操作部に設定されるデプス調整範囲を説明する説明図である。

【図4】図１のデプス操作部において、デプス値の変化を説明する説明図である。

【図5】図１のデプス操作部において、デプス値の変化を説明する説明図である。

【図6】（ａ）及び（ｂ）は図１の多視点ロボットカメラシステムにおいて、スレーブカメラの制御角度の変化を説明する説明図である。

【図7】図１の多視点ロボットカメラシステムの動作を示すフローチャートである。

【図8】従来の多視点ロボットカメラシステムに設定されるデプス調整範囲を説明する説明図である。

【発明を実施するための形態】

【0022】

以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0023】

（実施形態）
［多視点ロボットカメラシステムの構成］
図１を参照し、本願発明の実施形態に係る多視点ロボットカメラシステム１００の構成について、説明する。
図１に示すように、多視点ロボットカメラシステム１００は、被写体の多視点映像を撮影するものであり、ロボットカメラ制御装置１と、マスターカメラＭＣと、スレーブカメラＳＣ_１，…，ＳＣ_ｎ（ＳＣ）とを備える。

【0024】

本実施形態では、マスターカメラＭＣ及びスレーブカメラＳＣは、所定の間隔で直線状に配置されることとする。
また、スレーブカメラＳＣは、ｎ台であることとする（但し、ｎ≧１を満たす整数）。

【0025】

ロボットカメラ制御装置１は、マスターカメラＭＣ及びスレーブカメラＳＣを制御するものであり、デプス値設定部（デプス入力範囲設定部）１０と、操作インターフェース部２０と、カメラキャリブレーション部３０と、マスターカメラ制御部４０と、注視点算出部５０と、スレーブカメラ制御部６０_１，…，６０_ｎ（６０）とを備える。

【0026】

デプス値設定部１０は、被写体に合焦したときの前方被写界深度から後方被写界深度までの範囲がマスターカメラＭＣから入力される。そして、デプス値設定部１０は、入力された範囲を、予め設定された被写界深度とデプス値との対応関係に基づいて、所定のデプス最小値からデプス最大値までのデプス調整範囲（デプス入力範囲）に変換して、デプス操作部（デプス値入力部）２５に設定するものである。

【0027】

操作インターフェース部２０は、カメラマンが、マスターカメラＭＣ及びスレーブカメラＳＣを遠隔操作するものであり、パン・チルト操作部（カメラ姿勢操作部）２１と、ズーム・アイリス操作部２３と、デプス操作部２５とを備える。

【0028】

パン・チルト操作部２１は、カメラマンが、マスターカメラＭＣのパン及びチルト（カメラ姿勢）を操作するものである。そして、パン・チルト操作部２１は、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部４１と、注視点算出部５０とに出力する。

【0029】

ズーム・アイリス操作部２３は、カメラマンが、マスターカメラＭＣのズーム及びアイリスを操作するものである。そして、ズーム・アイリス操作部２３は、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部４１と、ズーム・アイリス制御部６５とに出力する。

【0030】

デプス操作部２５は、デプス値設定部１０によりデプス調整範囲が設定されると共に、このデプス調整範囲内でデプス値が入力されるものである。このとき、デプス操作部２５は、入力されたデプス値を、マスターカメラから離れる程、単位時間あたりの注視点の移動距離が長くなるように変化させることが好ましい。
なお、デプス値とは、マスターカメラＭＣから注視点までの距離を示す。

【0031】

本実施形態では、デプス操作部２５は、図２（ａ）に示すように、注視点の移動操作が行われる回転ダイヤル２６と、回転ダイヤル２６に対する移動操作量を検出するエンコーダ２７とを備える。
ここで、図２（ｂ）に示すように、回転ダイヤル２６を時計回りに回転させる程、エンコーダ２７のエンコーダ値（移動操作の検出値）が増大する。そして、回転ダイヤル２６に刻まれた指標２６ａが指標位置「△最大」に達したときに、エンコーダ２７のエンコーダ値が最大となる。
一方、回転ダイヤル２６を反時計回りに回転させる程、エンコーダ２７のエンコーダ値が減少する。そして、回転ダイヤル２６に刻まれた指標２６ａが指標位置「△最小」に達したときに、エンコーダ２７のエンコーダ値が最小となる。

【0032】

そして、デプス操作部２５は、デプス値設定部１０により、指標２６ａが指標位置「△最小」に達したときにデプス最小値ｄ_ｍｉｎとなり、指標２６ａが指標位置「△最大」に達したときにデプス最大値ｄ_ｍａｘとなるように、エンコーダ値とデプス値とを対応付けたデプス値変換情報が設定される。すなわち、デプス操作部２５は、デプス値設定部１０により、図３に示すように、デプス最小値ｄ_ｍｉｎが前方被写界深度に対応し、デプス最大値ｄ_ｍａｘが後方被写界深度に対応するように、デプス調整範囲が被写界深度に関連付けて設定される。従って、デプス操作部２５のデプス調整範囲は、図８に比べて狭くなる。このため、デプス操作部２５は、カメラマンによる回転ダイヤル２６の操作量を低減し、デプス調整時間を短縮することができる。

【0033】

その後、デプス操作部２５は、前記したデプス値変換情報を参照して、エンコーダ２７で検出されたエンコーダ値をデプス値に変換し、変換されたデプス値を以下で説明するように変化（増減）させ、フォーカス制御部４３と、注視点算出部５０とに出力する。

【0034】

＜デプス値の変化＞
図４，図５を参照して、デプス操作部２５によるデプス値の変化について、説明する（適宜図１，２参照）。
図４に示すように、カメラマンは、マスターカメラＭＣの撮影映像９０を見ながら、マスターカメラＭＣが被写体αを捉えるようにパン・チルト操作部２１及びズーム・アイリス操作部２３を操作する。従って、マスターカメラＭＣの撮影映像９０は、画面中央に被写体αが捉えられている。一方、スレーブカメラＳＣの撮影映像９１は、被写体αが捉えられていない。
なお、ズーム・アイリス操作部２３は、カメラマン以外が遠隔操作することもある。

【0035】

次に、カメラマンは、回転ダイヤル２６の操作によりデプス値を連続的に変化させることで、注視点Ｑを光軸βの上で移動させる。そして、図５に示すように、カメラマンは、スレーブカメラＳＣの撮影映像９１を見ながら、撮影映像９１の中央に被写体αが位置するように、回転ダイヤル２６を操作してデプス値を調整する。

【0036】

このとき、デプス操作部２５は、マスターカメラＭＣから離れる程、単位時間あたりの注視点Ｑの移動距離が長くなるように、デプス値を非線形に変化させる。具体的には、デプス操作部２５は、以下の式（１）〜式（４）を用いて、デプス値ｋを求める。

【0037】

【数1】

【0038】

【数2】

【0039】

【数3】

【0040】

【数4】

【0041】

なお、マスターカメラＭＣと、マスターカメラＭＣから最も遠いスレーブカメラＳＣのベースラインの距離（カメラ間隔）がＢ、デプス値の最大値がｄ_ｍａｘ、デプス値の最小値がｄ_ｍｉｎ、エンコーダ２７で検出可能なエンコーダ値の最大値がｔ_ｍａｘ、エンコーダ２７で検出されたエンコーダ値がｔである(但し、０≦ｔ≦ｔ_ｍａｘを満たす)。
この最大距離Ｂ及び最大検出値ｔ_ｍａｘは、予め設定されている。

【0042】

図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
カメラキャリブレーション部３０は、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータ（Ａ_ｍ，Ｒ_ｍ，Ｔ_ｍ，ｐ_０ｍ，ｔ_０ｍ，ｚ_０ｍ，ｆ_０ｍ，ｉ_０ｍ，Ａ_ｎ，Ｒ_ｎ，Ｔ_ｎ，ｐ_０ｎ，ｔ_０ｎ，ｚ_０ｎ，ｆ_０ｎ，ｉ_０ｎ）をカメラキャリブレーションにより算出して、メモリやハードディスク等の記憶装置（不図示）に格納するものである。

【0043】

ここで、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのマスターカメラＭＣのカメラ姿勢として、マスターカメラＭＣのパン値ｐ_０ｍと、チルト値ｔ_０ｍとを算出し、記憶装置に格納する。また、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのマスターカメラＭＣの内部パラメータＡ_ｍと、外部パラメータ（回転行列Ｒ_ｍ及び並進ベクトルＴ_ｍ）と、マスターカメラＭＣのズーム値ｚ_０ｍと、フォーカス値ｆ_０ｍと、アイリス値ｉ_０ｍとを算出し、記憶装置に格納する
なお、添え字ｍがマスターカメラＭＣを示す。

【0044】

また、カメラキャリブレーション部３０は、カメラキャリブレーションを行ったときのスレーブカメラＳＣ_ｎの内部パラメータＡ_ｎと、外部パラメータ（回転行列Ｒ_ｎ及び並進ベクトルＴ_ｎ）と、スレーブカメラＳＣ_ｎのパン値ｐ_０ｎと、チルト値ｔ_０ｎと、ズーム値ｚ_０ｎと、フォーカス値ｆ_０ｎと、アイリス値ｉ_０ｎとを算出し、記憶装置に格納する。

【0045】

なお、カメラキャリブレーションの手法は、例えば、以下の参考文献に記載されているため、詳細な説明を省略する。
参考文献「デジタル画像処理：財団法人 画像情報教育振興協会」

【0046】

マスターカメラ制御部４０は、マスターカメラＭＣを制御するものであり、パン・チルト・ズーム・アイリス制御部４１と、フォーカス制御部４３とを備える。

【0047】

パン・チルト・ズーム・アイリス制御部４１は、パン・チルト操作部２１から入力されたパン値及びチルト値と、ズーム・アイリス操作部２３から入力されたズーム値及びアイリス値とに基づいて、マスターカメラＭＣのパン、チルト、ズーム及びアイリスを制御するものである。

【0048】

具体的には、パン・チルト・ズーム・アイリス制御部４１は、パン値、チルト値、ズーム値及びアイリス値を、それら値の大きさに応じたパン・チルト・ズーム・アイリス制御信号に変換する。そして、パン・チルト・ズーム・アイリス制御部４１は、変換したパン・チルト・ズーム・アイリス制御信号をマスターカメラＭＣに出力する。

【0049】

フォーカス制御部４３は、デプス操作部２５から入力されたデプス値に基づいて、マスターカメラＭＣのフォーカスを制御するものである。具体的には、フォーカス制御部４３は、デプス値とフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、デプス値に対応したフォーカス値を算出する。そして、フォーカス制御部４３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、マスターカメラＭＣに出力する。

【0050】

マスターカメラＭＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、予め設定された１台のロボットカメラである。このマスターカメラＭＣは、例えば、電動雲台に搭載された固定ロボットカメラである。そして、マスターカメラＭＣは、パン・チルト・ズーム・アイリス制御部４１から入力されたパン・チルト・ズーム・アイリス制御信号に従って、パン、チルト、ズーム及びアイリスを駆動する。さらに、マスターカメラＭＣは、フォーカス制御部４３から入力されたフォーカス制御信号に従って、フォーカスを駆動する。

【0051】

また、マスターカメラＭＣは、位相差検出方式、コントラスト検出方式、アクティブ方式等のオートフォーカス機能を搭載している。例えば、被写体にピントがあっておらず撮影映像がぼけている場合、カメラマンは、操作インターフェース部２０が備える被写界深度算出指示部（不図示）を操作して、前方被写界深度及び後方被写界深度の算出をマスターカメラＭＣに指示する。この指示に応じて、マスターカメラＭＣは、オートフォーカス機能を用いて、被写体に合焦したときの前方被写界深度及び後方被写界深度を算出して、デプス値設定部１０に出力する。

【0052】

注視点算出部５０は、パン・チルト操作部２１から入力されたパン値及びチルト値と、デプス操作部２５から入力されたデプス値と、カメラキャリブレーション部３０に格納されたカメラ姿勢及びカメラパラメータとに基づいて、注視点の世界座標を算出するものである。

【0053】

具体的には、注視点算出部５０は、以下の式（５）を用いて、マスターカメラＭＣについて、パン・チルト操作部２１からのパン値ｐ_ｍと、カメラキャリブレーション時のパン値ｐ_０ｍとの角度差θ_ｐｍを算出する。

【0054】

【数5】

【0055】

また、注視点算出部５０は、以下の式（６）を用いて、マスターカメラＭＣについて、パン・チルト操作部２１からのチルト値ｔ_ｍと、カメラキャリブレーション時のチルト値ｔ_０ｍとの角度差θ_ｔｍを算出する。

【0056】

【数6】

【0057】

次に、注視点算出部５０は、以下の式（７）に示すように、角度差θ_ｐｍ及び角度差θ_ｔｍを用いて、カメラ座標系における回転行列Ｒ´_{ｒｅｃｔ＿Ｃｍ}を生成する。

【0058】

【数7】

【0059】

そして、注視点算出部５０は、以下の式（８）に示すように、回転行列Ｒ´_{ｒｅｃｔ＿Ｃｍ}及び回転行列Ｒ_ｍを用いて、世界座標系におけるカメラ姿勢の回転行列Ｒ´_{ｒｅｃｔｍ}を生成する。この回転行列Ｒ´_{ｒｅｃｔｍ}は、マスターカメラＭＣについて、カメラキャリブレーション時のカメラ姿勢から、操作インターフェース部１０で操作後のカメラ姿勢に変えるための回転行列である。
なお、回転行列Ｒ´_{ｒｅｃｔｍ}が請求項に記載の「マスターカメラにおける回転行列」に相当する。

【0060】

【数8】

【0061】

ここで、式（８）の回転行列Ｒ´_{ｒｅｃｔｍ}は、以下の式（９）に示すように、世界座標系におけるカメラ姿勢のＸ軸を示すベクトルｅ´_ｘｍと、世界座標系におけるカメラ姿勢のＹ軸を示すベクトルｅ´_ｙｍと、世界座標系におけるカメラ姿勢のＺ軸を示すベクトル（奥行成分のベクトル）ｅ_ｚｍとを用いて、定義することができる。
なお、式（９）のベクトルｅ´_ｘｍ，ｅ´_ｙｍは、以後の計算に利用されない。

【0062】

【数9】

【0063】

そして、注視点算出部５０は、以下の式（１０）に示すように、回転行列Ｒ´_{ｒｅｃｔｍ}と、マスターカメラＭＣの並進ベクトルＴ_ｍと、デプス操作部２５から入力されたデプス値ｋとを用いて、注視点Ｑの世界座標（位置）Ｐを算出する。この式（１０）は、ベクトルｅ_ｚｍとデプス値ｋとの積に並進ベクトルＴ_ｍを加算することを示す。その後、注視点算出部５０は、算出した注視点Ｑの世界座標Ｐを、パン・チルト制御部６１と、フォーカス制御部６３とに出力する。

【0064】

【数10】

【0065】

図６を参照し、スレーブカメラＳＣの制御角度の変化について、説明する（適宜図１参照）。
図６（ａ）の注視点Ｑ_１〜Ｑ_４は、マスターカメラＭＣの光軸βの上を移動する注視点について、時間ｔ＝１〜４での位置を示している。
前記したように、デプス操作部２５がデプス値を非線形に変化（増減）させるため、注視点Ｑ_１〜Ｑ_４の単位時間あたりの移動距離は、マスターカメラＭＣから離れる程、広くなる。つまり、注視点Ｑ_１，Ｑ_２の距離よりも注視点Ｑ_２，Ｑ_３の距離が広くなり、注視点Ｑ_２，Ｑ_３の距離よりも注視点Ｑ_３，Ｑ_４の距離が広くなる。このため、時間ｔ＝１〜２におけるスレーブカメラＳＣの制御角度Ａと、時間ｔ＝３〜４におけるスレーブカメラＳＣの制御角度Ｂとが、等しくなる。

【0066】

図６（ｂ）では、回転ダイヤル２６において、注視点Ｑ_１〜Ｑ_４に対応する指標位置を図示した。これら注視点Ｑ_１〜Ｑ_４に対応する指標位置は、全て等間隔となっている。
つまり、指標２６ａが指標位置「Ｑ_１」に重なるとき、図６（ａ）の注視点Ｑ_１を指す。これと同様、指標２６ａが指標位置「Ｑ_２」に重なるときに図６（ａ）の注視点Ｑ_２を指し、指標２６ａが指標位置「Ｑ_３」に重なるときに図６（ａ）の注視点Ｑ_３を指し、指標２６ａが指標位置「Ｑ_４」に重なるときに図６（ａ）の注視点Ｑ_４を指す。

【0067】

ここで、図６（ａ）に示すように、注視点Ｑ_１から注視点Ｑ_２に移動させる場合、及び、注視点Ｑ_３から注視点Ｑ_４に移動させる場合でも、制御角度Ａ，Ｂが等しいため、図６（ｂ）に示すように、回転ダイヤル２６の移動操作量が一定となる。このように、多視点ロボットカメラシステム１００では、回転ダイヤル２６の操作量に対し、スレーブカメラＳＣの制御角度の変化量が一定となる。

【0068】

図１に戻り、多視点ロボットカメラシステム１００の説明を続ける。
スレーブカメラ制御部６０_１，…，６０_ｎは、スレーブカメラＳＣ_１，…，ＳＣ_ｎを制御するものであり、パン・チルト制御部６１_１，…，６１_ｎ（６１）と、フォーカス制御部６３_１，…，６３_ｎ（６３）と、ズーム・アイリス制御部６５_１，…，６５_ｎ（６５）とを備える。
なお、スレーブカメラ制御部６０_１，…，６０_ｎは、スレーブカメラＳＣ_１，…，ＳＣ_ｎに対応するように備えられており、全て同一構成である。

【0069】

パン・チルト制御部６１は、注視点算出部５０から入力された注視点Ｑと、カメラキャリブレーション部３０に格納されたカメラパラメータ（回転行列Ｒ_ｎ及び並進ベクトルＴ_ｎ）とに基づいて、注視点Ｑに向くように、スレーブカメラＳＣの姿勢（パン及びチルト）を制御するものである。

【0070】

具体的には、パン・チルト制御部６１は、以下の式（１１）に示すように、パン及びチルトを制御するために、スレーブカメラＳＣ_ｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅ_ｚｎを算出する。
なお、“‖‖”はノルムを示す。

【0071】

【数11】

【0072】

また、パン・チルト制御部６１は、以下の式（１２）に示すように、算出した単位ベクトルｅ_ｚｎ、及び、回転行列Ｒ_ｎの逆行列Ｒ^−１_ｎを用いて、カメラ座標系におけるスレーブカメラＳＣ_ｎから注視点Ｑの世界座標Ｐへ向かう単位ベクトルｅ_Ｃｚｎを算出する。

【0073】

【数12】

【0074】

そして、パン・チルト制御部６１は、以下の式（１３）〜式（１５）に示すように、スレーブカメラＳＣ_ｎのパン値θ_Ｐｎ及びチルト値θ_Ｔｎを算出する。
なお、ｅ_１，ｅ_２，ｅ_３は、それぞれ、単位ベクトルｅ_ＣｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。

【0075】

【数13】

【0076】

【数14】

【0077】

【数15】

【0078】

さらに、パン・チルト制御部６１は、算出したパン値θ_Ｐｎ及びチルト値θ_Ｔｎを、それら値の大きさに応じたパン・チルト制御信号に変換する。その後、パン・チルト制御部６１は、変換したパン・チルト制御信号をスレーブカメラＳＣに出力する。

【0079】

フォーカス制御部６３は、注視点算出部５０から入力された注視点Ｑの世界座標Ｐと、カメラキャリブレーション部３０に格納されたカメラパラメータ（並進ベクトルＴ_ｎ）とに基づいて、注視点Ｑに合焦するように、スレーブカメラＳＣのフォーカスを制御するものである。

【0080】

具体的には、フォーカス制御部６３は、以下の式（１６）に示すように、フォーカスを制御するために、スレーブカメラＳＣ_ｎから注視点Ｑの世界座標Ｐへ向かうベクトルＥ_ｚｎを算出する。

【0081】

【数16】

【0082】

そして、フォーカス制御部６３は、以下の式（１７）及び式（１８）に示すように、ベクトルＥ_ｚｎから、スレーブカメラＳＣ_ｎと注視点Ｑの世界座標Ｐとの距離ｋ_ｎを算出する。
なお、Ｅ_１，Ｅ_２，Ｅ_３は、それぞれ、ベクトルＥ_ｚｎのＸ軸、Ｙ軸、Ｚ軸成分を示す。

【0083】

【数17】

【0084】

【数18】

【0085】

さらに、フォーカス制御部６３は、距離ｋ_ｎとフォーカス値とを対応付けた情報が予め設定され、この情報を参照して、距離ｋ_ｎに対応するフォーカス値を算出する。その後、フォーカス制御部６３は、算出したフォーカス値を、その値の大きさに応じたフォーカス制御信号に変換して、スレーブカメラＳＣに出力する。

【0086】

ズーム・アイリス制御部６５は、ズーム・アイリス操作部２３から入力されたズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御するものである。

【0087】

具体的には、ズーム・アイリス制御部６５は、ズーム値及びアイリス値を、それら値の大きさに応じたズーム・アイリス制御信号に変換する。そして、ズーム・アイリス制御部６５は、変換したズーム・アイリス制御信号をスレーブカメラＳＣに出力する。

【0088】

スレーブカメラＳＣは、多視点ロボットカメラシステム１００が備える複数台のロボットカメラのうち、マスターカメラＭＣ以外のロボットカメラである。このスレーブカメラＳＣは、例えば、電動雲台に搭載された固定ロボットカメラである。また、スレーブカメラＳＣは、パン・チルト制御部６１から入力されたパン・チルト制御信号に応じて、パン及びチルトを駆動する。そして、スレーブカメラＳＣは、フォーカス制御部６３から入力されたフォーカス制御信号に応じて、フォーカスを駆動する。さらに、スレーブカメラＳＣは、ズーム・アイリス制御部６５から入力されたズーム・アイリス制御信号に応じて、ズーム及びアイリスを駆動する。

【0089】

［多視点ロボットカメラシステムの動作］
図７を参照し、図１の多視点ロボットカメラシステム１００の動作について、説明する（適宜図１参照）。
多視点ロボットカメラシステム１００は、カメラキャリブレーション部３０によって、マスターカメラＭＣ及びスレーブカメラＳＣのカメラパラメータと、パン値と、チルト値と、ズーム値と、フォーカス値と、アイリス値とを算出し（ステップＳ１）、記憶装置に格納する（ステップ２）。

【0090】

多視点ロボットカメラシステム１００は、パン・チルト操作部２１によって、カメラマンの操作に応じたパン値及びチルト値を検出して、パン・チルト・ズーム・アイリス制御部４１と、注視点算出部５０とに出力する。
多視点ロボットカメラシステム１００は、ズーム・アイリス操作部２３によって、カメラマンの操作に応じたズーム値及びアイリス値を検出して、パン・チルト・ズーム・アイリス制御部４１と、ズーム・アイリス制御部６５とに出力する。
多視点ロボットカメラシステム１００は、デプス値設定部１０によって、マスターカメラＭＣから入力された被写界深度をデプス調整範囲に変換して、デプス操作部２５に設定する。
多視点ロボットカメラシステム１００は、デプス操作部２５によって、デプス値設定部１０が設定したデプス調整範囲内で、カメラマンの操作に応じてデプス値を出力する（ステップＳ３）。

【0091】

多視点ロボットカメラシステム１００は、パン・チルト・ズーム・アイリス制御部４１によって、パン値、チルト値、ズーム値及びアイリス値を、パン・チルト・ズーム・アイリス制御信号に変換して、マスターカメラＭＣに出力する。
多視点ロボットカメラシステム１００は、フォーカス制御部４３によって、デプス値に対応したフォーカス値を算出し、算出したフォーカス値をフォーカス制御信号に変換して、マスターカメラＭＣに出力する（ステップＳ４）。

【0092】

多視点ロボットカメラシステム１００は、注視点算出部５０によって、パン・チルト操作部２１とカメラキャリブレーション部３０とのカメラ姿勢の差分に基づいて、式（８）の回転行列Ｒ´_{ｒｅｃｔｍ}を算出する。
多視点ロボットカメラシステム１００は、注視点算出部５０によって、式（１０）のように、回転行列Ｒ´_{ｒｅｃｔｍ}に含まれるベクトルｅ_ｚｍとデプス値ｋとの積に並進ベクトルＴ_ｍを加算することで、注視点Ｑの世界座標Ｐを算出する（ステップＳ５）。

【0093】

多視点ロボットカメラシステム１００は、パン・チルト制御部６１によって、注視点Ｑに向くようにスレーブカメラＳＣのパン及びチルトを制御する。
多視点ロボットカメラシステム１００は、フォーカス制御部６３によって、注視点Ｑに合焦するようにスレーブカメラＳＣのフォーカスを制御する。
多視点ロボットカメラシステム１００は、ズーム・アイリス制御部６５によって、ズーム値及びアイリス値に基づいて、スレーブカメラＳＣのズーム及びアイリスを制御する（ステップＳ６）。
多視点ロボットカメラシステム１００は、マスターカメラＭＣ及びスレーブカメラＳＣによって、撮影を行う（ステップＳ７）。

【0094】

多視点ロボットカメラシステム１００は、カメラマンの目視により、マスターカメラＭＣの撮影映像で、被写体にピントがあっているか否かを判定する（ステップＳ８）。
被写体にピントがあっている場合（ステップＳ８でＹｅｓ）、多視点ロボットカメラシステム１００は、処理を終了する。

【0095】

一方、被写体にピントがあっていない場合（ステップＳ８でＮｏ）、多視点ロボットカメラシステム１００は、カメラマンの指示により、マスターカメラＭＣが、被写体に合焦したときの前方被写界深度及び後方被写界深度をデプス値設定部１０に出力し、ステップＳ３の処理に戻る（ステップＳ９）。

【0096】

以上のように、本願発明の実施形態に係る多視点ロボットカメラシステム１００は、デプス調整範囲を前方被写界深度から後方被写界深度までの間に狭めるため、デプス調整の作業時間を短縮することができる（図３参照）。

【0097】

さらに、多視点ロボットカメラシステム１００は、デプス操作部２５によりデプス値を非線形に変化させるため、注視点とマスターカメラとの遠近に関係なく、スレーブカメラＳＣの制御角度Ａ，Ｂの変化が線形（一定）となる。このため、多視点ロボットカメラシステム１００は、スレーブカメラＳＣの制御角度の変化が一定にならない従来技術に比べ、デプス調整を容易に行うことができる（図６参照）。

【0098】

本願発明は、実施形態に限定されず、その趣旨を逸脱しない範囲で様々な変形を加えることができる。以下、本願発明の変形例について、具体的に説明する。

【0099】

（変形例１）
本願発明の変形例１に係る多視点ロボットカメラシステム１００Ｂは、デプス操作部２５Ｂでデプス値を非線形に変化させない点が、前記した実施形態と異なる。
つまり、デプス操作部２５Ｂは、前記した式（１）〜式（４）を用いずに、エンコーダ値から変換されたデプス値をそのまま、フォーカス制御部４３と、注視点算出部４０とに出力する。
以上のように、本願発明の変形例１に係る多視点ロボットカメラシステム１００Ｂは、前記した実施形態と同様、デプス調整の作業時間を短縮することができる。

【0100】

（その他変形例）
前記した実施形態では、デプス操作部２５が回転ダイヤル２６を備えることとして説明したが、本願発明は、これに限定されない。
例えば、デプス操作部２５は、回転ダイヤル２６の代わりにスライダを備えてもよい。

【符号の説明】

【0101】

１ ロボットカメラ制御装置
１０，１０Ａ デプス値設定部（デプス入力範囲設定部）
２０ 操作インターフェース部
２１ パン・チルト操作部（カメラ姿勢操作部）
２３ ズーム・アイリス操作部
２５，２５Ｂ デプス操作部（デプス値入力部）
２６ 回転ダイヤル
２７ エンコーダ
３０ カメラキャリブレーション部
４０ マスターカメラ制御部
４１ パン・チルト・ズーム・アイリス制御部
４３ フォーカス制御部
５０ 注視点算出部
６０ スレーブカメラ制御部
６１ パン・チルト制御部
６３ フォーカス制御部
６５ ズーム・アイリス制御部
１００、１００Ａ，１００Ｂ 多視点ロボットカメラシステム
ＭＣ マスターカメラ
ＳＣ スレーブカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】