特許 7548728 カメラ制御装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】カメラ制御装置及びプログラム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240903BHJP

   H04N 23/60 20230101ALI20240903BHJP

   H04N 23/66 20230101ALI20240903BHJP

   H04N 23/69 20230101ALI20240903BHJP

   G03B 15/00 20210101ALI20240903BHJP

【ＦＩ】

H04N23/695

H04N23/60

H04N23/66

H04N23/69

G03B15/00 Q

G03B15/00 P

【請求項の数】 6

(21)【出願番号】P 2020100516

(22)【出願日】2020-06-09

(65)【公開番号】P2021197572

(43)【公開日】2021-12-27

【審査請求日】2023-05-01

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】杉之下 太一

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】三ツ峰 秀樹

(72)【発明者】

【氏名】洗井 淳

【審査官】越河 勉

(56)【参考文献】

【文献】特開平０９－３２２０５１（ＪＰ，Ａ）

【文献】特開平０７－０３７１００（ＪＰ，Ａ）

【文献】特開２０１５－１９４９０１（ＪＰ，Ａ）

【文献】国際公開第２００９／０７２４０３（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／６９

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

カメラの姿勢を制御するカメラ制御装置において、
俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、
前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記被写体が存在する１つまたは複数のエリアを検出し、前記１つまたは複数のエリアを示すエリアパターンを含む位置情報を生成する被写体位置検出部と、
前記被写体が存在し得る１つのエリア及び複数のエリアを示す全てのエリアパターンのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアパターンに対応する前記パラメータを読み出し、前記パラメータを含む姿勢情報を生成するカメラ制御部と、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、
を備えたことを特徴とするカメラ制御装置。

【請求項2】

カメラの姿勢を制御するカメラ制御装置において、
俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、
前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記エリア及び前記エリアのシルエット面積を含む位置情報を生成する被写体位置検出部と、
前記複数のエリアのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアに対応する前記パラメータを読み出し、前記パラメータについて、前記被写体の全体のシルエット面積に対する前記エリアのシルエット面積の重み付き平均を求め、前記重み付き平均の前記パラメータを含む姿勢情報を生成するカメラ制御部と、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、
を備えたことを特徴とするカメラ制御装置。

【請求項3】

請求項１または２に記載のカメラ制御装置において、
前記撮像エリアの中心を原点とし、前記原点から前記カメラの設置位置を通る線を始線として、前記撮像エリアの平面上の点が、前記原点からの距離ｒ及び前記始線からの偏角δの極座標（ｒ，δ）で表されるものとして、
前記撮像エリア分割部により分割される前記複数のエリアを、前記極座標にて、または前記カメラの光軸に水平方向若しくは垂直方向にて、前記撮像エリアが区分された領域とする、ことを特徴とするカメラ制御装置。

【請求項4】

請求項１から３までのいずれか一項に記載のカメラ制御装置において、
当該カメラ制御装置は、複数のカメラを制御し、
前記カメラ制御部は、
前記複数のカメラのそれぞれについて、前記制御テーブルを保持し、前記複数のカメラのそれぞれについて、対応する前記制御テーブルを用いて前記姿勢情報を生成し、
前記カメラ通信部は、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とするカメラ制御装置。

【請求項5】

請求項１から３までのいずれか一項に記載のカメラ制御装置において、
当該カメラ制御装置は、複数のカメラを制御し、
前記カメラ制御部は、
前記複数のカメラのうちのいずれか１つのカメラについて、前記制御テーブルを保持し、前記１つのカメラについて、前記制御テーブルを用いて前記姿勢情報を生成し、前記姿勢情報、並びに前記１つのカメラと前記複数のカメラのうちの他のカメラとの間の位置及び姿勢の関係に基づいて、前記他のカメラの前記姿勢情報を生成し、
前記カメラ通信部は、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とするカメラ制御装置。

【請求項6】

コンピュータを、請求項１から５までのいずれか一項に記載のカメラ制御装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ制御装置及びプログラムに関する。

【背景技術】

【0002】

従来、複数のカメラで撮像した画像から、被写体の三次元モデルを再構成し、カメラが配置されていない任意の位置から仮想視点画像を得る技術が知られている。

【0003】

例えば、配置するカメラとして、電動雲台を備えたカメラ（以下、「ロボットカメラ」という。）を用いることにより、常に被写体をロボットカメラの画角から外さずに撮影することができる。限定された台数のロボットカメラを用いる場合においても、精度及び自由度を両立させた撮影が可能となる（例えば、特許文献１を参照）。

【0004】

また、被写体を画角から外さないようにロボットカメラの位置を制御する技術として、被写体の位置情報を用いる手法が提案されている（例えば、特許文献２を参照）。この手法は、被写体の位置情報を外部から取得すると共に、時間の経過を示すタイミング情報を取得し、被写体の位置情報及びタイミング情報に基づいて、被写体を撮影するロボットカメラのカメラワークを制御するものである。

【0005】

さらに、センサカメラの撮像画像から被写体を検出し、ロボットカメラにて被写体を自動追尾しながら撮影する手法も提案されている（例えば、特許文献３を参照）。この手法は、被写体の表面を構成する複数の色を予め設定しておき、撮像画像から、予め設定された複数の色を有する箇所を画像部分として抽出し、その画像情報に基づいて被写体を検出し、被写体を自動追尾するものである。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－６７４１９号公報

【文献】国際公開第２０１７／１５４９５３号

【文献】特許第３７０４２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

前述の特許文献２の手法は、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）の衛星から被写体の位置情報を取得し、位置情報に対応したカメラワークをカメラワーク情報テーブルセットから読み出すことで、ロボットカメラを制御する。

【0008】

しかしながら、この手法は、位置情報を取得するためのデバイスが被写体に取り付けられていない場合に運用することができず、また、衛星から位置情報を受信できない環境においては、効率的に運用することができない。

【0009】

また、前述の特許文献３の手法では、制御エラーによりロボットカメラの姿勢が不安定となった場合、被写体がカメラの視野から外れてしまい、被写体の一部が欠けた画角となる可能性があり、必ずしも有効な映像を得ることができるとは限らない。

【0010】

このため、外部から取得した位置情報を用いることなく被写体の位置を検出し、高速かつ正確にロボットカメラを制御できることが所望されていた。

【0011】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、外部から得られる位置情報を用いることなく被写体の位置を検出し、被写体を常にカメラの視野内に収めることが可能なカメラ制御装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0012】

前記課題を解決するために、請求項１のカメラ制御装置は、カメラの姿勢を制御するカメラ制御装置において、俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記被写体が存在する１つまたは複数のエリアを検出し、前記１つまたは複数のエリアを示すエリアパターンを含む位置情報を生成する被写体位置検出部と、前記被写体が存在し得る１つのエリア及び複数のエリアを示す全てのエリアパターンのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアパターンに対応する前記パラメータを読み出し、前記パラメータを含む姿勢情報を生成するカメラ制御部と、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、を備えたことを特徴とする。

【0013】

また、請求項２のカメラ制御装置は、カメラの姿勢を制御するカメラ制御装置において、俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記エリア及び前記エリアのシルエット面積を含む位置情報を生成する被写体位置検出部と、前記複数のエリアのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアに対応する前記パラメータを読み出し、前記パラメータについて、前記被写体の全体のシルエット面積に対する前記エリアのシルエット面積の重み付き平均を求め、前記重み付き平均の前記パラメータを含む姿勢情報を生成するカメラ制御部と、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、を備えたことを特徴とする。

【0017】

また、請求項３のカメラ制御装置は、請求項１または２に記載のカメラ制御装置において、前記撮像エリアの中心を原点とし、前記原点から前記カメラの設置位置を通る線を始線として、前記撮像エリアの平面上の点が、前記原点からの距離ｒ及び前記始線からの偏角δの極座標（ｒ，δ）で表されるものとして、前記撮像エリア分割部により分割される前記複数のエリアを、前記極座標にて、または前記カメラの光軸に水平方向若しくは垂直方向にて、前記撮像エリアが区分された領域とする、ことを特徴とする。

【0018】

また、請求項４のカメラ制御装置は、請求項１から３までのいずれか一項に記載のカメラ制御装置において、当該カメラ制御装置が、複数のカメラを制御し、前記カメラ制御部が、前記複数のカメラのそれぞれについて、前記制御テーブルを保持し、前記複数のカメラのそれぞれについて、対応する前記制御テーブルを用いて前記姿勢情報を生成し、前記カメラ通信部が、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とする。

【0019】

また、請求項５のカメラ制御装置は、請求項１から３までのいずれか一項に記載のカメラ制御装置において、当該カメラ制御装置が、複数のカメラを制御し、前記カメラ制御部が、前記複数のカメラのうちのいずれか１つのカメラについて、前記制御テーブルを保持し、前記１つのカメラについて、前記制御テーブルを用いて前記姿勢情報を生成し、前記姿勢情報、並びに前記１つのカメラと前記複数のカメラのうちの他のカメラとの間の位置及び姿勢の関係に基づいて、前記他のカメラの前記姿勢情報を生成し、前記カメラ通信部が、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とする。

【0020】

さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載のカメラ制御装置として機能させることを特徴とする。

【発明の効果】

【0021】

以上のように、本発明によれば、外部から得られる位置情報を用いることなく被写体の位置を検出することができ、被写体を常にカメラの視野内に収めることができる。

【図面の簡単な説明】

【0022】

【図1】本発明の実施形態によるカメラ制御装置を含む撮像システムの全体構成例を示すブロック図である。

【図2】撮像環境及びエリア区分の例を説明する図である。

【図3】実施例１の処理例を示すフローチャートである。

【図4】実施例１における撮像エリア内の被写体の位置の例を説明する図である。

【図5】実施例１における制御テーブルの構成例を示す図である。

【図6】実施例１の変形例における制御テーブルの構成例を示す図である。

【図7】実施例２の処理例を示すフローチャートである。

【図8】実施例２における撮像エリア内の被写体の位置の例を説明する図である。

【図9】実施例２の変形例の処理例を示すフローチャートである。

【図10】実施例２の変形例における制御テーブルの構成例を示す図である。

【図11】実施例３の処理例を示すフローチャートである。

【図12】実施例４において、ロボットカメラの位置及びエリア区分の例を説明する図である。

【図13】実施例４における撮像環境、ロボットカメラの位置及びエリア区分の例を説明する図である。

【図14】実施例５において、ロボットカメラの位置及びエリア区分の例を説明する図である。

【図15】２台のロボットカメラが空間上に設置されている場合に、１つの制御テーブルを用いて２台のロボットカメラの姿勢情報を生成する処理を説明する図である。

【発明を実施するための形態】

【0023】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔撮像システム〕
まず、撮像システムについて説明する。図１は、本発明の実施形態によるカメラ制御装置を含む撮像システムの全体構成例を示すブロック図であり、図２は、撮像環境及びエリア区分の例を説明する図である。

【0024】

この撮像システム１は、俯瞰カメラ２、カメラ制御装置３、及び１または複数のロボットカメラ４を備えて構成される。撮像システム１は、撮像エリア１１０内に存在する被写体１２０を、俯瞰カメラ２により撮影された撮像映像の画像から検出し、被写体１２０を常にロボットカメラ４の視野内に収めるように、ロボットカメラ４を制御するシステムである。

【0025】

被写体１２０は、撮像エリア１１０内のステージ１１５上に存在し、俯瞰カメラ２及びロボットカメラ４は、例えば半球状の取付用部材１１６に取り付けられており、取付用部材１１６は、被写体１２０を覆うように設置されている。図２において、俯瞰カメラ２は、被写体１２０を俯瞰するように、半球状の取付用部材１１６の頂点に設置されている。

【0026】

俯瞰カメラ２は、被写体１２０を撮影するカメラであり、撮像映像をカメラ制御装置３へ出力する。俯瞰カメラ２は、撮像エリア１１０を少なくとも８０％以上、好ましくは１００％撮像可能な俯瞰位置、例えば撮像エリア１１０から仰角４５°以上、好ましくは仰角８０°に取り付けたカメラ若しくはロボットカメラである。尚、俯瞰カメラ２は、ドローンに搭載して空中に配置可能なカメラであってもよい。

【0027】

カメラ制御装置３は、俯瞰カメラ２から撮像映像を入力し、撮像映像の画像に基づいて、撮像エリア１１０内の被写体１２０の位置を検出し、その位置に応じた姿勢等の制御信号を生成し、制御信号をロボットカメラ４へ送信する。

【0028】

ロボットカメラ４は、制御信号を受信し、制御信号に基づいて、パン、チルト等の制御を行い、姿勢等を変更する。これにより、ロボットカメラ４は、被写体１２０を視野内に収めることができる。

【0029】

ここで、撮像エリア１１０は、予め設定された規則に従い、複数のエリアに分割される。例えば、図２において、撮像エリア１１０は、俯瞰カメラ２からステージ１１５を見た際に、俯瞰カメラ２により撮影されるエリアであり、その形状は円である。撮像エリア１１０の円の中心を直角に交わって通る十字方向の２つの直線により、撮像エリア１１０は、右上から時計回りの順にエリア１１１～１１４に４分割されるものとする。つまり、エリア１１１～１１４は、撮像エリア１１０が円の中心を通る十字方向の２つの直線により区分された領域である。

【0030】

図１を参照して、カメラ制御装置３は、撮像エリア分割部１０、被写体位置検出部１１、カメラ制御部１２及びカメラ通信部１３を備えている。カメラ制御部１２は、予め設定された制御テーブル２０を保持している。

【0031】

撮像エリア分割部１０は、俯瞰カメラ２から撮像映像を入力する。そして、撮像エリア分割部１０は、予め設定された規則に従い、図２に示したとおり、撮像映像における撮像エリア１１０の画像を４つのエリア１１１～１１４の画像に分割することで、エリア１１１～１１４の分割画像を抽出する。撮像エリア分割部１０は、エリア１１１～１１４の分割画像を被写体位置検出部１１に出力する。

【0032】

被写体位置検出部１１は、撮像エリア分割部１０からエリア１１１～１１４の分割画像を入力し、これらの分割画像から被写体１２０を検出し、被写体１２０の位置を示す位置情報を生成する。そして、被写体位置検出部１１は、被写体１２０の位置情報をカメラ制御部１２に出力する。

【0033】

具体的には、被写体１２０が俯瞰カメラ２の視野内（撮像エリア１１０内）に存在しないときの時刻とＴ０とし、被写体１２０が俯瞰カメラ２の視野内に存在する時刻をＴ１とする。被写体位置検出部１１は、時刻Ｔ０，Ｔ１におけるエリア１１１～１１４の分割画像を用いた背景差分、特定の色を透過させるクロマキー、または特定の輝度を透過させるルミナンスキーの既知の処理により、被写体１２０の位置を検出する。

【0034】

カメラ制御部１２は、被写体位置検出部１１から被写体１２０の位置情報を入力し、予め設定された制御テーブル２０を用いて、位置情報に基づいてロボットカメラ４の姿勢情報を生成する。制御テーブル２０には、被写体１２０の位置情報及び当該位置情報に対応するロボットカメラ４の姿勢を示すパラメータが格納されている。そして、カメラ制御部１２は、姿勢情報をカメラ通信部１３に出力する。

【0035】

カメラ通信部１３は、カメラ制御部１２から姿勢情報を入力し、姿勢情報を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する。これにより、ロボットカメラ４は、制御信号に含まれる姿勢情報に従ってその姿勢を変更し、被写体１２０を視野内に収めることができる。

【0036】

以下、カメラ制御装置３の処理について、実施例を挙げて具体的に説明する。

【0037】

〔実施例１〕
まず、実施例１について説明する。実施例１は、被写体１２０が撮像エリア１１０内のエリア１１１～１１４のうちのいずれかに収まって存在する場合の例である。

【0038】

図３は、実施例１の処理例を示すフローチャートであり、図１に示したカメラ制御装置３の処理を示している。図４は、実施例１における撮像エリア１１０内の被写体１２０の位置の例を説明する図である。

【0039】

図４に示すように、被写体１２０は、撮像エリア１１０内のエリア１１１～１１４のうちのエリア１１１に存在しており、エリア１１２～１１４には存在していないものとする。

【0040】

カメラ制御装置３の撮像エリア分割部１０は、俯瞰カメラ２から撮像映像を入力し（ステップＳ３０１）、撮像映像の撮像エリア１１０をエリア１１１～１１４に分割し、分割画像を抽出する（ステップＳ３０２）。

【0041】

被写体位置検出部１１は、エリア１１１～１１４の分割画像から、前述の背景差分等の処理により、被写体１２０の位置を検出する（ステップＳ３０３）。本例の場合、被写体位置検出部１１は、被写体１２０がエリア１１１に存在することを検出する。そして、被写体位置検出部１１は、エリアｘ＝１１１を含む位置情報を生成する（ステップＳ３０４）。

【0042】

図５は、実施例１における制御テーブル２０－１の構成例を示す図である。この制御テーブル２０－１は、エリアｘ、及び当該エリアｘに対応する姿勢を示すパラメータ（姿勢パラメータ）であるパン・チルト値ＬＵＴ（ｘ）から構成される。パン・チルト値ＬＵＴ（ｘ）は、エリアｘにおけるパン値Pan及びチルト値Tiltからなる。

【0043】

制御テーブル２０－１には、エリアｘ＝１１１に対応してパン・チルト値ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁）が格納されている。また、エリアｘ＝１１２に対応してパン・チルト値ＬＵＴ（１１２）＝（φ₁₁₂，θ₁₁₂）、エリアｘ＝１１３に対応してパン・チルト値ＬＵＴ（１１３）＝（φ₁₁₃，θ₁₁₃）が格納されている。また、エリアｘ＝１１４に対応してパン・チルト値ＬＵＴ（１１４）＝（φ₁₁₄，θ₁₁₄）が格納されている。

【0044】

図３に戻って、カメラ制御部１２は、制御テーブル２０－１から、位置情報に含まれるエリアｘ＝１１１に対応するパン・チルト値ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁）を読み出す（ステップＳ３０５）。そして、カメラ制御部１２は、パン値φ₁₁₁及びチルト値θ₁₁₁を含む姿勢情報を生成する（ステップＳ３０６）。

【0045】

カメラ通信部１３は、姿勢情報のパン値φ₁₁₁及びチルト値θ₁₁₁を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する（ステップＳ３０７）。

【0046】

これにより、ロボットカメラ４は、制御信号に含まれるパン値φ₁₁₁及びチルト値θ₁₁₁に従って姿勢を変更することで、被写体１２０をその視野内に収めることができる。実施例１のカメラ制御装置３により、ロボットカメラ４の姿勢を制御することができる。

【0047】

〔実施例１の変形例〕
次に、実施例１の変形例について説明する。実施例１の変形例は、実施例１におけるロボットカメラ４の姿勢に加え、ロボットカメラ４のレンズパラメータであるズーム回転量及びフォーカス回転量も制御する例である。これは、後述する実施例２、実施例２の変形例、実施例３、実施例４及び実施例５にも適用される。

【0048】

図６は、実施例１の変形例における制御テーブル２０－１’の構成例を示す図である。この制御テーブル２０－１’は、エリアｘ、及び当該エリアｘに対応する姿勢パラメータ及びレンズパラメータであるパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（ｘ）から構成される。レンズパラメータは、ロボットカメラ４に備えたレンズのズーム回転量及びフォーカス回転量である。パン・チルト値及びズーム・フォーカス回転量ＬＵＴ（ｘ）は、エリアｘにおけるパン値Pan、チルト値Tilt、ズーム回転量Zoom及びフォーカス回転量Focusからなる。

【0049】

制御テーブル２０－１’には、エリアｘ＝１１１に対応してパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁，Z₁₁₁，F₁₁₁）が格納されている。また、エリアｘ＝１１２に対応してパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（１１２）＝（φ₁₁₂，θ₁₁₂，Z₁₁₂，F₁₁₂）が格納されている。また、エリアｘ＝１１３に対応してパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（１１３）＝（φ₁₁₃，θ₁₁₃，Z₁₁₃，F₁₁₃）が格納されている。また、エリアｘ＝１１４に対応してパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（１１４）＝（φ₁₁₄，θ₁₁₄，Z₁₁₄，F₁₁₄）が格納されている。

【0050】

カメラ制御部１２は、制御テーブル２０－１’から、位置情報に含まれるエリアｘ＝１１１に対応するパン・チルト値及びズーム・フォーカス回転量ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁，Z₁₁₁，F₁₁₁）を読み出す。そして、カメラ制御部１２は、パン値φ₁₁₁、チルト値θ₁₁₁、ズーム回転量Z₁₁₁及びフォーカス回転量F₁₁₁を含む姿勢レンズ情報を生成する。

【0051】

カメラ通信部１３は、姿勢情報のパン値φ₁₁₁及びチルト値θ₁₁₁、並びにレンズ情報のズーム回転量Z₁₁₁及びフォーカス回転量F₁₁₁を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する。

【0052】

これにより、ロボットカメラ４は、制御信号に含まれるパン値φ₁₁₁及びチルト値θ₁₁₁に従って姿勢を変更することで、被写体１２０をその視野内に収めることができる。また、制御信号に含まれるズーム回転量Z₁₁₁及びフォーカス回転量F₁₁₁に従って画像の拡大の程度及び焦点距離を変更することで、被写体１２０を所望の大きさ及びピントの合った状態で撮影することができる。つまり、実施例１の変形例のカメラ制御装置３により、ロボットカメラ４の姿勢及びレンズを制御することができる。

【0053】

〔実施例２〕
次に、実施例２について説明する。前述の実施例１は、被写体１２０がエリア１１１内に収まっている場合の例であるが、実施例２は、被写体１２０が撮像エリア１１０内の全てのエリア１１１～１１４に跨って存在する場合の例である。

【0054】

実施例２は、被写体１２０がエリア１１１だけでなくエリア１１２～１１４にも跨って存在する場合において、シルエット面積制御を行う例である。シルエット面積制御は、被写体１２０のシルエット面積が最大となる１つのエリアを特定し、特定した１つのエリアに対応する姿勢情報を用いた制御である。

【0055】

図７は、実施例２の処理例を示すフローチャートであり、図１に示したカメラ制御装置３によるシルエット面積制御を示している。図８は、実施例２における撮像エリア１１０内の被写体１２０の位置の例を説明する図である。

【0056】

図８に示すように、被写体１２０は、撮像エリア１１０内のエリア１１１～１１４の全てに跨って存在している。エリア１１１～１１４における被写体１２０のシルエット面積を、それぞれＳ_subject（１１１），Ｓ_subject（１１２），Ｓ_subject（１１３），Ｓ_subject（１１４）とする。ここでは、Ｓ_subject（１１１）＞Ｓ_subject（１１４）＞Ｓ_subject（１１２）＝Ｓ_subject（１１３）とする。

【0057】

カメラ制御装置３の撮像エリア分割部１０は、俯瞰カメラ２から撮像映像を入力し（ステップＳ７０１）、撮像映像の撮像エリア１１０をエリア１１１～１１４に分割し、分割画像を抽出する（ステップＳ７０２）。

【0058】

被写体位置検出部１１は、エリア毎に（エリア１１１～１１４のそれぞれについて）、前述の背景差分等の処理により、分割画像から被写体１２０のシルエット面積Ｓ_subject（ｘ）を求める（ステップＳ７０３）。ｘ＝１１１～１１４である。

【0059】

被写体位置検出部１１は、エリア１１１～１１４間でシルエット面積Ｓ_subject（ｘ）を比較する。そして、被写体位置検出部１１は、シルエット面積Ｓ_subject（ｘ）の最大のエリアｘ＝１１１を特定し、エリアｘ＝１１１を含む位置情報を生成する（ステップＳ７０４）。

【0060】

カメラ制御部１２は、図５に示した制御テーブル２０－１から、位置情報に含まれるエリアｘ＝１１１に対応するパン・チルト値ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁）を読み出す（ステップＳ７０５）。そして、カメラ制御部１２は、パン値φ₁₁₁及びチルト値θ₁₁₁を含む姿勢情報を生成する（ステップＳ７０６）。

【0061】

カメラ通信部１３は、姿勢情報のパン値φ₁₁₁及びチルト値θ₁₁₁を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する（ステップＳ７０７）。

【0062】

これにより、ロボットカメラ４は、制御信号に含まれるパン値φ₁₁₁及びチルト値θ₁₁₁に従って姿勢を変更することで、被写体１２０をその視野内に収めることができる。

【0063】

〔実施例２の変形例〕
次に、実施例２の変形例について説明する。実施例２の変形例は、被写体１２０がエリア１１１だけでなくエリア１１２～１１４にも跨って存在する場合において、リスト制御を行う例である。リスト制御は、被写体１２０のシルエットが存在する１または複数のエリアを特定し、特定した１または複数のエリアに対応する姿勢情報を用いた制御である。

【0064】

図９は、実施例２の変形例の処理例を示すフローチャートであり、図１に示したカメラ制御装置３によるリスト制御を示している。

【0065】

カメラ制御装置３の撮像エリア分割部１０は、俯瞰カメラ２から撮像映像を入力し（ステップＳ９０１）、撮像映像の撮像エリア１１０をエリア１１１～１１４に分割し、分割画像を抽出する（ステップＳ９０２）。

【0066】

被写体位置検出部１１は、エリア１１１～１１４の分割映像から、前述の背景差分等の処理により、図８に示した例のとおり被写体１２０が存在するエリアｘ＝１１１，１１２，１１３，１１４を検出する（ステップＳ９０３）。そして、被写体位置検出部１１は、エリアパターンｘ’＝１１１，１１２，１１３，１１４を含む位置情報を生成する（ステップＳ９０４）。

【0067】

図１０は、実施例２の変形例における制御テーブル２０－２の構成例を示す図である。この制御テーブル２０－２は、エリアパターンｘ’、及び当該エリアパターンｘ’に対応する姿勢パラメータであるパン・チルト値ＬＵＴ（ｘ’）から構成される。制御テーブル２０－２のエリアパターンｘ’は、被写体１２０がエリア１１１，１１２，１１３，１１４のうちの１以上のエリアに存在し得る全てのパターンである。

【0068】

制御テーブル２０－２には、エリアパターンｘ’＝１１１に対応してパン・チルト値ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁）が格納されている。また、エリアパターンｘ’＝１１２に対応してパン・チルト値ＬＵＴ（１１２）＝（φ₁₁₂，θ₁₁₂）が格納されている。同様に、エリアパターンｘ’＝１１１，１１２，１１３，１１４に対応してパン・チルト値ＬＵＴ（１４１）＝（φ₁₄₁，θ₁₄₁）が格納されている。

【0069】

図９に戻って、カメラ制御部１２は、制御テーブル２０－２から、位置情報に含まれるエリアパターンｘ’＝１１１，１１２，１１３，１１４に対応するパン・チルト値ＬＵＴ（１１１，１１２，１１３，１１４）＝（φ₁₄₁，θ₁₄₁）を読み出す（ステップＳ９０５）。そして、カメラ制御部１２は、パン値φ₁₄₁及びチルト値θ₁₄₁を含む姿勢情報を生成する（ステップＳ９０６）。

【0070】

カメラ通信部１３は、姿勢情報のパン値φ₁₄₁及びチルト値θ₁₄₁を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する（ステップＳ９０７）。

【0071】

これにより、ロボットカメラ４は、制御信号に含まれるパン値φ₁₄₁及びチルト値θ₁₄₁に従って姿勢を変更することで、被写体１２０をその視野内に収めることができる。

【0072】

〔実施例３〕
次に、実施例３について説明する。実施例３は、被写体１２０が撮像エリア１１０内の複数のエリア１１１～１１４に跨って存在する場合において、重み平均制御を行う例である。重み平均制御は、被写体１２０のシルエットが存在する１または複数のエリアを特定し、特定した１または複数のエリアについて被写体１２０のシルエットの面積から得られる重み付き平均の姿勢情報を用いた制御である。

【0073】

実施例１，２では、撮像エリア１１０を４つのエリア１１１～１１４に分割した例を説明した。ここで、撮像エリア１１０をｎ個（ｎは２以上の整数）のエリアに分割した場合には、制御テーブル２０に予め格納されるパン・チルト値ＬＵＴ（ｘ）の数は、_nＣ₁＋_nＣ₂・・・_nＣ_n-1＋_nＣ_nとなる。分割数が多くなると、制御テーブル２０に格納されるパン・チルト値ＬＵＴ（ｘ）の数も多くなり煩雑になる。

【0074】

そこで、実施例３の重み平均制御を行うことにより、制御テーブル２０に予め格納されるパン・チルト値ＬＵＴ（ｘ）の数を少なくし、高精度に、被写体１２０をロボットカメラ４の視野内に収めるようにした。

【0075】

図１１は、実施例３の処理例を示すフローチャートであり、図１に示したカメラ制御装置３による重み平均制御を示している。

【0076】

カメラ制御装置３の撮像エリア分割部１０は、俯瞰カメラ２から撮像映像を入力し（ステップＳ１１０１）、撮像映像の撮像エリア１１０をエリア１１１～１１４に分割し、分割画像を抽出する（ステップＳ１１０２）。

【0077】

被写体位置検出部１１は、エリア毎に（エリア１１１～１１４のそれぞれについて）、前述の背景差分等の処理により、分割画像から被写体１２０のシルエット面積Ｓ_subject（ｘ）を求める（ステップＳ１１０３）。ｘ＝１１１～１１４である。

【0078】

被写体位置検出部１１は、エリアｘ及びシルエット面積Ｓ_subject（ｘ）を含む位置情報を生成する（ステップＳ１１０４）。

【0079】

ここで、被写体位置検出部１１により求めたエリア１１１～１１４における被写体１２０のシルエット面積は、それぞれＳ_subject（１１１），Ｓ_subject（１１２），Ｓ_subject（１１３），Ｓ_subject（１１４）である。

【0080】

カメラ制御部１２は、図５に示した制御テーブル２０－１から、位置情報に含まれるエリアｘのパン・チルト値ＬＵＴ（ｘ）を読み出す（ステップＳ１１０５）。そして、カメラ制御部１２は、パン・チルト値ＬＵＴ（ｘ）について、位置情報に含まれるエリア毎のシルエット面積Ｓ_subject（ｘ）による重み付き平均を算出し、パン値φ及びチルト値θを求める（ステップＳ１１０６）。シルエット面積Ｓ_subject（ｘ）による重み付き平均とは、被写体１２０の全体のシルエット面積に対するエリアｘのシルエット面積Ｓ_subject（ｘ）の比率を重みとして、パン・チルト値ＬＵＴ（ｘ）の重み付き平均を求める処理である。

【0081】

カメラ制御部１２は、パン値φ及びチルト値θを含む姿勢情報を生成する（ステップＳ１１０７）。

【0082】

具体的には、カメラ制御部１２は、位置情報に含まれるエリアｘ＝１１１等に対応するパン・チルト値ＬＵＴ（１１１）＝（φ₁₁₁，θ₁₁₁）等を読み出す。同様に、カメラ制御部１２は、パン・チルト値ＬＵＴ（１１２）＝（φ₁₁₂，θ₁₁₂），ＬＵＴ（１１３）＝（φ₁₁₃，θ₁₁₃），ＬＵＴ（１１４）＝（φ₁₁₄，θ₁₁₄）を読み出す。

【0083】

カメラ制御部１２は、以下の式（１）に基づいて、位置情報に含まれるシルエット面積Ｓ_subject（ｘ）によるパン・チルト値ＬＵＴ（ｘ）の重み付き平均を算出し、パン値φ及びチルト値θを求める。尚、カメラ制御部１２は、以下の式（２）を用いて、パン値φ及びチルト値θを求めるようにしてもよい。

【数1】

【数2】

ｆは、例えば増加関数である。

【0084】

カメラ通信部１３は、姿勢情報のパン値φ及びチルト値θを含む制御信号を生成し、制御信号をロボットカメラ４へ送信する（ステップＳ１１０８）。

【0085】

これにより、ロボットカメラ４は、制御信号に含まれるパン値φ及びチルト値θに従って姿勢を変更することで、被写体１２０をその視野内に収めることができる。この場合、カメラ制御部１２は、シルエット面積Ｓ_subject（ｘ）による重み付き平均を算出し、パン値φ及びチルト値θを求めるようにしたから、制御テーブル２０－１のパン・チルト値ＬＵＴ（ｘ）の数を多くする必要がない。つまり、少ない数のパン・チルト値ＬＵＴ（ｘ）を用いて、精度の高い姿勢制御を実現することができる。

【0086】

尚、カメラ制御部１２は、シルエット面積Ｓ_subject（ｘ）による重み付き平均を算出するようにしたが、エリア内の被写体１２０を除いた面積Ｓ_area（ｘ）による重み付き平均を算出するようにしてもよい。

【0087】

具体的には、カメラ制御部１２は、エリアｘの面積から、位置情報に含まれるエリアｘのシルエット面積Ｓ_subject（ｘ）を減算し、エリアｘ内の被写体１２０以外の面積Ｓ_area（ｘ）を求める。そして、カメラ制御部１２は、制御テーブル２０－１から、位置情報に含まれるエリアｘのパン・チルト値ＬＵＴ（ｘ）を読み出す。

【0088】

カメラ制御部１２は、以下の式（３）に基づいて、エリアｘ内の被写体１２０以外の面積Ｓ_area（ｘ）によるパン・チルト値ＬＵＴ（ｘ）の重み付き平均を算出し、パン値φ及びチルト値θを求める。尚、カメラ制御部１２は、以下の式（４）を用いて、パン値φ及びチルト値θを求めるようにしてもよい。

【数3】

【数4】

ｇは、例えば減少関数である。

【0089】

〔実施例４〕
次に、実施例４について説明する。ロボットカメラ４の制御を高精度に行うためには、撮像エリア１１０をより細かく区分し、それぞれのエリアに対応するパン・チルト値ＬＵＴ（ｘ）が格納された制御テーブル２０を用いればよい。

【0090】

実施例４は、実施例１、実施例１の変形例、実施例２、実施例２の変形例及び実施例３において、撮像エリア１１０内を一層細かく区切った複数のエリアを用いることにより、ロボットカメラ４の制御を高精度に行う例である。

【0091】

前述したとおり、カメラ制御装置３の撮像エリア分割部１０は、予め設定された規則に従い、図２に示したとおり、撮像エリア１１０の画像を４つのエリア１１１～１１４の画像に分割する。実施例４では、撮像エリア分割部１０は、予め設定された規則に従い、撮像エリア１１０の画像をさらに細かく分割する。

【0092】

図１２は、実施例４において、ロボットカメラの位置及びエリア区分の例を説明する図である。（１）～（３）において、撮像エリア１１０の中心を原点とし、原点からロボットカメラ４の設置位置を通る線を始線として、撮像エリア１１０の平面上の点は、原点からの距離ｒ及び始線からの偏角δの極座標（ｒ，δ）で表される。

【0093】

この極座標（ｒ，δ）のパラメータである距離ｒ及び偏角δに応じて、撮像エリア１１０が画像を（１）～（３）のそれぞれに示すエリアに分割するための規則が定義される。撮像エリア分割部１０は、予め設定された規則に従い、（１）～（３）のとおり、撮像エリア１１０の画像を、極座標にて区分された複数のエリアに分割する。撮像エリア分割部１０により分割される複数のエリアは、撮像エリア１１０が極座標により区分された領域である。

【0094】

（１）の規則は、撮像エリア１１０において、極座標（ｒ，δ）のパラメータである距離ｒ及び偏角δを一定間隔として、エリアが距離ｒ及び偏角δに応じた疎密となるように区分するものである。（１）の規則では、細かいエリアの区分が可能であり、制御テーブル２０に格納されるパン・チルト値ＬＵＴ（ｘ）の個数は増えるが、高精度にロボットカメラ４を制御することができる。

【0095】

（２）の規則は、撮像エリア１１０の中央付近が疎のエリアとなり、中央付近以外の領域が密のエリアとなるように区分するものである。（２）の規則では、被写体１２０よりも高い俯瞰位置に設置されたロボットカメラ４を用いる場合に好適である。ロボットカメラ４により高い位置で被写体１２０が俯瞰されるため、中央付近のエリアではパン値及びチルト値の変化が少なくなり、当該エリアを疎にすることができる。

【0096】

（３）の規則は、撮像エリア１１０において、ロボットカメラ４に近い領域が疎のエリアとなり、ロボットカメラ４から遠い領域が密のエリアとなるように区分するものであり、ロボットカメラ４の手前及び奥で異なる区分とすることができる。被写体１２０のサイズを手前及び奥で同程度にする場合を想定すると、手前は広い画角となるため、エリア数が少なくて済み、奥は狭い画角となるため、エリア数は多くしてその面積を狭くする必要がある。つまり、ロボットカメラ４の手前では、エリア数を少なくした姿勢制御が行われ、奥では、エリア数を多くした精度の高い姿勢制御が行われ、結果として、ロボットカメラ４の制御を、手前及び奥の領域に応じて好適に実現することができる。

【0097】

図１３は、実施例４における撮像環境、ロボットカメラの位置及びエリア区分の例を説明する図であり、図１２に示したエリア区分とは異なる例を示している。ロボットカメラ４は、被写体１２０よりも高い俯瞰位置に設置されている。

【0098】

この規則は、図１３の右側に示すように、撮像エリア１１０において、エリアがロボットカメラ４の光軸と垂直となるように区分するものである。撮像エリア分割部１０は、予め設定された規則に従い、撮像エリア１１０の画像を、ロボットカメラ４の光軸に対して垂直方向に分割する。

【0099】

この規則では、ロボットカメラ４が高い位置から被写体１２０を俯瞰するため、チルト方向の動作が重要になる。そこで、エリアがロボットカメラ４の光軸と垂直となるように区分されることで、チルト方向の動作を精度高く実現することができる。

【0100】

尚、ロボットカメラ４が被写体１２０と同じ高さに設置されている場合には、規則としては、撮像エリア１１０において、エリアがロボットカメラ４の光軸と平行となるように区分するものが望ましい。この場合、撮像エリア分割部１０は、予め設定された規則に従い、撮像エリア１１０の画像を、ロボットカメラ４の光軸に対して水平方向に分割する。

【0101】

例えば被写体１２０が人の場合、上下方向の動きは、ジャンプ、屈伸等に限定されるが、左右方向の動きは、ステージ１１５上の端から端までとなる。上下方向の動きは、ロボットカメラ４の画角を広くすることで対応できるが、左右方向の動きも、画角を広くすることで対応する場合、被写体１２０が小さくなってしまう。

【0102】

このため、この規則では、ロボットカメラ４は、パン方向の動作が重要となる。そこで、エリアがロボットカメラ４の光軸と平行となるように区分されることで、パン方向の動作を精度高く実現することができる。

【0103】

また、撮像エリア１１０が横に長い形状の場合も同様に、規則としては、撮像エリア１１０において、エリアがロボットカメラ４の光軸と平行となるように区分するものが望ましい。

【0104】

〔実施例５〕
次に、実施例５について説明する。実施例５は、実施例１、実施例１の変形例、実施例２、実施例２の変形例、実施例３及び実施例４において、複数のロボットカメラ４を用いた場合の例である。

【0105】

（分割時の規則）
被写体１２０を取り囲むように複数のロボットカメラ４が空間上に設置されている場合には、複数のロボットカメラ４のそれぞれに対応して、予め設定された規則に従い、撮像エリア１１０が所定数及び所定形状のエリアに区分される。尚、複数のロボットカメラ４に共通して、撮像エリア１１０が同じ数及び同じ形状の共通のエリアに区分されるようにしてもよい。

【0106】

具体的には、カメラ制御装置３の撮像エリア分割部１０は、複数のロボットカメラ４のそれぞれに対応して、予め設定された規則に従い、撮像映像における撮像エリア１１０の画像を分割する。これにより、複数のロボットカメラ４のそれぞれに対応して、所定数の分割画像が抽出される。

【0107】

図１４は、実施例５において、ロボットカメラ４の位置及びエリア区分の例を説明する図である。（１）及び（２）において、２台のロボットカメラ４－１，４－２は、これらの光軸が直角に交差する位置に設置されている場合を示している。

【0108】

（１）を参照して、ロボットカメラ４－１に対応する規則は、撮像エリア１１０において、ロボットカメラ４－１の光軸に対して垂直方向に区分するものである（撮像エリア１１０内の太線を参照）。撮像エリア分割部１０は、ロボットカメラ４－１に対応する予め設定された規則に従い、撮像エリア１１０の画像を、ロボットカメラ４－１の光軸に対して垂直方向に分割する。

【0109】

また、ロボットカメラ４－２に対応する規則は、撮像エリア１１０において、ロボットカメラ４－２の光軸に対して垂直方向に区分するものである（撮像エリア１１０内の細線を参照）。撮像エリア分割部１０は、ロボットカメラ４－２に対応する予め設定された規則に従い、撮像エリア１１０の画像を、ロボットカメラ４－２の光軸に対して垂直方向に分割する。

【0110】

（２）を参照して、ロボットカメラ４－１に対応する規則は、撮像エリア１１０において、ロボットカメラ４－１の光軸に対して水平方向に区分するものである（撮像エリア１１０内の太線を参照）。撮像エリア分割部１０は、ロボットカメラ４－１に対応する予め設定された規則に従い、撮像エリア１１０の画像を、ロボットカメラ４－１の光軸に対して水平方向に分割する。

【0111】

また、ロボットカメラ４－２に対応する規則は、撮像エリア１１０において、極座標（ｒ，δ）のパラメータである距離ｒ及び偏角δを一定間隔として、エリアが距離ｒ及び偏角δに応じた疎密となるように区分するものである（撮像エリア１１０内の細線を参照）。撮像エリア分割部１０は、ロボットカメラ４－２に対応する予め設定された規則に従い、撮像エリア１１０の画像を、極座標（ｒ，δ）方向に分割する。

【0112】

尚、複数のロボットカメラ４に共通した予め設定された規則に従い、撮像エリア１１０が同じ数及び同じ形状の共通するエリアに区分されるようにしてもよい。

【0113】

（制御テーブル２０）
また、複数のロボットカメラ４が空間上に設置されている場合には、複数のロボットカメラ４のそれぞれに対応して、異なる制御テーブル２０を用いるようにしてもよい。

【0114】

この場合、カメラ制御部１２は、複数のロボットカメラ４のそれぞれに対応して、複数の（ロボットカメラ４の数分の）制御テーブル２０を保持している。カメラ制御部１２は、複数のロボットカメラ４のそれぞれについて、被写体位置検出部１１から被写体１２０の位置情報を入力し、対応する制御テーブル２０を用いて、位置情報に基づきロボットカメラ４の姿勢情報を求める。

【0115】

カメラ通信部１３は、複数のロボットカメラ４のそれぞれについて、カメラ制御部１２から姿勢情報を入力し、姿勢情報を含む制御信号を生成し、制御信号を対応するロボットカメラ４へ送信する。

【0116】

尚、複数のロボットカメラ４のうちの１台に対応する１つの制御テーブル２０のみを用いるようにしてもよい。

【0117】

具体的には、カメラ制御部１２は、所定の１台のロボットカメラ４に対応する制御テーブル２０を保持している。カメラ制御部１２は、当該制御テーブル２０に格納されたパン・チルト値ＬＵＴ（ｘ）、並びに複数のロボットカメラ４における位置及び姿勢の関係に基づいて、他のロボットカメラ４に対応するパン・チルト値ＬＵＴ（ｘ）を算出する。そして、カメラ制御部１２は、他のロボットカメラ４に対応する制御テーブル２０を生成する。カメラ制御部１２は、複数のロボットカメラ４のそれぞれについて、対応する制御テーブル２０を用いて、それぞれの姿勢情報を生成する。

【0118】

この場合、カメラ制御部１２は、所定の１台のロボットカメラ４について、当該制御テーブル２０を用いて姿勢情報を生成し、当該１台のロボットカメラ４の姿勢情報を、他のロボットカメラ４の姿勢情報に変換するようにしてもよい。具体的には、カメラ制御部１２は、１台のロボットカメラ４の姿勢情報、並びに複数のロボットカメラ４における位置及び姿勢の関係に基づいて、他のロボットカメラ４の姿勢情報を生成する。

【0119】

図１５は、２台のロボットカメラ４－１，４－２が空間上に設置されている場合に、１つの制御テーブル２０を用いて２台のロボットカメラ４－１，４－２の姿勢情報を生成する処理を説明する図である。以下、カメラ制御部１２が、１つの制御テーブル２０を用いてロボットカメラ４－１の姿勢情報を生成し、ロボットカメラ４－１の姿勢情報から、所定の数式を用いてロボットカメラ４－２の姿勢情報を生成する処理について説明する。

【0120】

任意の方向ベクトルについて、座標系Σ^(a)における各成分を座標系Σ^(b)における各成分に変換する回転行列をＲ_a ^(b)とする。また、座標系Σ^(a)におけるベクトルには上付きにて（ａ）を付す。撮像エリア１１０に固定した座標系を世界座標系Σ^(W)とする。ここでは、撮像エリア１１０の床面に第１軸Ｘ及び第２軸Ｙをとり、鉛直上向きに第３軸Ｚをとる。尚、断りのない限り、全ての座標系は右手系を成すものとする。

【0121】

また、ロボットカメラ４－１に固定した座標系を第一カメラ座標系Σ^(c1)とし（実線）、ロボットカメラ４－１のパン角φ₁及びチルト角θ₁が共に０のときの第一カメラ座標系Σ^(c1)を第一基準カメラ座標系Σ⁽ⁿ¹⁾とする（破線）。尚、以下では第一カメラ座標系Σ^(c1)と第一基準カメラ座標系Σ⁽ⁿ¹⁾の両原点は一致するものとする。

【0122】

例えば、世界座標系Σ^(W)に対する第一基準カメラ座標系Σ⁽ⁿ¹⁾の姿勢をＸＹＺ－オイラー角（α₁，β₁，γ₁）で表した場合、回転行列Ｒ_n1 ^(w)は、以下の式にて表される。

【数5】

ＸＹＺ－オイラー角（α₁，β₁，γ₁）は、ロボットカメラ４－１を設置したときに決定される定数である。

【0123】

また、ロボットカメラ４－１のパン軸が第一カメラ座標系Σ^(c1)の第２軸であり、チルト軸が第一カメラ座標系Σ^(c1)の第１軸である場合、回転行列Ｒ_c1 ⁽ⁿ¹⁾は、以下の式にて表される。

【数6】

【0124】

さらに、ロボットカメラ４－２に固定した座標系を第二カメラ座標系Σ^(c2)とし（実線）、ロボットカメラ４－２のパン値φ₂及びチルト値θ₂が共に０のときの第二カメラ座標系Σ^(c2)を第二基準カメラ座標系Σ⁽ⁿ²⁾とする（破線 ）。尚、ロボットカメラ４－２のパン軸は第二カメラ座標系Σ^(c2)の第２軸であり、チルト軸は第二カメラ座標系Σ^(c2)の第１軸であるものとする。また、以下では第二カメラ座標系Σ^(c2)と第二基準カメラ座標系Σ⁽ⁿ²⁾の両原点は一致するものとする。

【0125】

例えば、世界座標系Σ^(W)に対する第二基準カメラ座標系Σ⁽ⁿ²⁾の姿勢をＸＹＺ－オイラー角（α₂，β₂，γ₂）で表した場合、回転行列Ｒ_w ⁽ⁿ²⁾は、以下の式にて表される。

【数7】

【0126】

世界座標系Σ^(W)の原点Ｏからロボットカメラ４－１の位置（すなわち第一カメラ座標系Σ^(c1)の原点）に至るベクトルをＴ₁ ^(W)とする。また、世界座標系Σ^(W)の原点Ｏからロボットカメラ４－２の位置（すなわち第二カメラ座標系Σ^(c2)の原点）に至るベクトルをＴ₂ ^(W)とする。

【0127】

カメラ制御部１２により、ロボットカメラ４－１に対応する制御テーブル２０を用いてロボットカメラ４－１の姿勢情報であるパン値φ₁₁₁及びチルト値θ₁₁₁が求められたとする。ロボットカメラ４－１がパン値φ₁₁₁及びチルト値θ₁₁₁において制御されたとき、ロボットカメラ４－１が撮像エリア１１０のどこを撮像しているかを求める。

【0128】

例えば、ロボットカメラ４－１がパン値φ₁₁₁及びチルト値θ₁₁₁のときの光軸が撮像エリア１１０の床面と交差する点Ｐを求めればよい。ロボットカメラ４－１の光軸の単位方向ベクトルを

とする。例えば、光軸が第一カメラ座標系Σ^(c1)の第３軸と平行である場合には、以下の式にて表される。

【0129】

ロボットカメラ４－１の位置を点Ｒ₁とする。このとき、以下の式にて表される。

【数8】

係数λは、正の実数である。

【数9】

【0130】

ここで、点Ｐは撮像エリア１１０の床面にあることから、ベクトル

の第３成分は零である。つまり、以下の式にて表される。

【数10】

【0131】

したがって、以下の式により、係数λが決定される。

【数11】

【0132】

次に、ロボットカメラ４－２を向けるべき方向、すなわち光軸の方向を求める。ロボットカメラ４－２の位置を点Ｒ₂とすると、光軸はベクトル

と重なるべきであり、以下の式が成立する。

【数12】

【0133】

前記式（９）、前記式（１１）及び前記式（１２）から、以下の式により、視線方向のベクトル

を定めることができる。

【数13】

【0134】

前記式（１３）を前記式（７）にて座標変換すると、以下の式で表される。

【数14】

【0135】

このようにして得られたベクトル

の各成分を、以下の式で表す。

【数15】

【0136】

このとき、ロボットカメラ４－２を向けるべきパン値φ’₁₁₁及びチルト値θ’₁₁₁は、以下の式にて表される。

【数16】

尚、atan２（ξ，ζ）は、２次元直交座標系における座標［ｐ，ｑ］^Tを極座標に変換した際の偏角を求める関数である。

【0137】

このように、カメラ制御部１２は、所定の１台のロボットカメラ４－１について、当該制御テーブル２０を用いて姿勢情報を生成し、当該姿勢情報から、前記式（１６）を用いて、他のロボットカメラ４－２の姿勢情報を算出する。

【0138】

ここで、前記式（１６）の代わりに、１台のロボットカメラ４－１の姿勢情報及び他のロボットカメラ４－２の姿勢情報からなるテーブルを用いるようにしてもよい。具体的には、カメラ制御部１２は、所定の１台のロボットカメラ４－１について、当該制御テーブル２０を用いて姿勢情報を生成し、前記テーブルから、１台のロボットカメラ４－１に姿勢情報に対応する他のロボットカメラ４－２の姿勢情報を読み出す。これにより、１台のロボットカメラ４－１の姿勢情報から、他のロボットカメラ４－２の姿勢情報を生成することができる。

【0139】

また、前記式（１６）を用いる代わりに、他のロボットカメラ４－２に対応する制御テーブル２０’を予め設定しておき、当該制御テーブル２０’を用いるようにしてもよい。具体的には、カメラ制御部１２は、事前に、所定の１台のロボットカメラ４－１に対応する制御テーブル２０に格納されたパン・チルト値ＬＵＴ（ｘ）から、前記式（１６）を用いて、他のロボットカメラ４－２のパン・チルト値ＬＵＴ（ｘ）を算出する。そして、カメラ制御部１２は、他のロボットカメラ４－２のパン・チルト値ＬＵＴ（ｘ）を用いて、他のロボットカメラ４－２に対応する制御テーブル２０’を設定しておく。カメラ制御部１２は、複数のロボットカメラ４－１，４－２について、対応する制御テーブル２０，２０’を用いて姿勢情報をそれぞれ生成する。尚、３台以上のロボットカメラ４についても同様の処理を用いることができる。

【0140】

以上のように、実施例１、実施例１の変形例、実施例２、実施例２の変形例、実施例３、実施例４及び実施例５のカメラ制御装置３によれば、撮像エリア分割部１０は、予め設定された規則に従い、撮像映像における撮像エリア１１０の画像を、所定数及び所定形状の複数のエリアの画像（分割画像）に分割する。

【0141】

被写体位置検出部１１は、複数の分割画像から被写体１２０を検出し、被写体１２０の位置等を含む位置情報を生成する。

【0142】

カメラ制御部１２は、制御テーブル２０を用いて、位置情報に基づいてロボットカメラ４の姿勢情報等を求める。

【0143】

カメラ通信部１３は、姿勢情報等を含む制御信号を生成し、制御信号をロボットカメラ４へ送信する。

【0144】

これにより、ロボットカメラ４は、制御信号に含まれる姿勢情報等に従って動作する。したがって、外部から得られる位置情報を用いることなく被写体１２０の位置を検出することができ、被写体１２０を常にロボットカメラ４の視野内に収めることができる。

【0145】

また、予め設定された制御テーブル２０を用いて姿勢情報が生成されるため、ロボットカメラ４の自動制御において演算量を少なくすることができ、高速な制御を実現することができる。

【0146】

以上、実施例１等を挙げて本発明を説明したが、本発明は前記実施例１等に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0147】

尚、本発明の実施例１等によるカメラ制御装置３のハードウェア構成としては、通常のコンピュータを使用することができる。カメラ制御装置３は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0148】

カメラ制御装置３に備えた撮像エリア分割部１０、被写体位置検出部１１、カメラ制御部１２及びカメラ通信部１３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

【0149】

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0150】

１ 撮像システム
２ 俯瞰カメラ
３ カメラ制御装置
４ ロボットカメラ
１０ 撮像エリア分割部
１１ 被写体位置検出部
１２ カメラ制御部
１３ カメラ通信部
２０ 制御テーブル
１１０ 撮像エリア
１１１，１１２，１１３，１１４ エリア
１１５ ステージ
１１６ 取付用部材
１２０ 被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】