特開2021-197572(P2021-197572A)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

<>
  • 特開2021197572-カメラ制御装置及びプログラム 図000025
  • 特開2021197572-カメラ制御装置及びプログラム 図000026
  • 特開2021197572-カメラ制御装置及びプログラム 図000027
  • 特開2021197572-カメラ制御装置及びプログラム 図000028
  • 特開2021197572-カメラ制御装置及びプログラム 図000029
  • 特開2021197572-カメラ制御装置及びプログラム 図000030
  • 特開2021197572-カメラ制御装置及びプログラム 図000031
  • 特開2021197572-カメラ制御装置及びプログラム 図000032
  • 特開2021197572-カメラ制御装置及びプログラム 図000033
  • 特開2021197572-カメラ制御装置及びプログラム 図000034
  • 特開2021197572-カメラ制御装置及びプログラム 図000035
  • 特開2021197572-カメラ制御装置及びプログラム 図000036
  • 特開2021197572-カメラ制御装置及びプログラム 図000037
  • 特開2021197572-カメラ制御装置及びプログラム 図000038
  • 特開2021197572-カメラ制御装置及びプログラム 図000039
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-197572(P2021-197572A)
(43)【公開日】2021年12月27日
(54)【発明の名称】カメラ制御装置及びプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20211129BHJP
   G03B 15/00 20210101ALI20211129BHJP
【FI】
   H04N5/232 990
   H04N5/232 290
   H04N5/232 030
   H04N5/232 960
   G03B15/00 Q
   G03B15/00 P
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】26
(21)【出願番号】特願2020-100516(P2020-100516)
(22)【出願日】2020年6月9日
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100121119
【弁理士】
【氏名又は名称】花村 泰伸
(72)【発明者】
【氏名】杉之下 太一
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】三ツ峰 秀樹
(72)【発明者】
【氏名】洗井 淳
【テーマコード(参考)】
5C122
【Fターム(参考)】
5C122DA03
5C122EA65
5C122EA66
5C122EA67
5C122FA18
5C122FD01
5C122FE01
5C122FH15
5C122FH18
5C122GD04
5C122GD06
5C122HA13
5C122HA35
5C122HB01
5C122HB09
5C122HB10
(57)【要約】
【課題】外部から得られる位置情報を用いることなく被写体の位置を検出し、被写体を常にカメラの視野内に収める。
【解決手段】カメラ制御装置3の撮像エリア分割部10は、予め設定された規則に従い、撮像映像における撮像エリア110の画像を、所定数及び所定形状の複数のエリアの画像に分割する。被写体位置検出部11は、複数の分割画像から被写体120を検出し、被写体120の位置を含む位置情報を生成する。カメラ制御部12は、制御テーブル20を用いて、位置情報に基づきロボットカメラ4の姿勢情報を求める。カメラ通信部13は、姿勢情報を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する。これにより、ロボットカメラ4は、制御信号に含まれる姿勢情報に従って動作する。
【選択図】図1
【特許請求の範囲】
【請求項1】
カメラの姿勢を制御するカメラ制御装置において、
俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、
前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアから前記被写体が存在する1つのエリアを検出し、前記1つのエリアを含む位置情報を生成する被写体位置検出部と、
前記複数のエリアのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記1つのエリアに対応する前記パラメータを読み出し、前記パラメータを含む姿勢情報を生成するカメラ制御部と、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、
を備えたことを特徴とするカメラ制御装置。
【請求項2】
請求項1に記載のカメラ制御装置において、
前記カメラ制御部は、
前記複数のエリアのそれぞれに対応して、前記カメラの姿勢に加え、前記カメラのレンズのズーム回転量及びフォーカス回転量を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記位置情報に含まれる前記1つのエリアに対応する前記パラメータを読み出す、ことを特徴とするカメラ制御装置。
【請求項3】
請求項1または2に記載のカメラ制御装置において、
前記被写体位置検出部は、
前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記シルエット面積が最大の前記1つのエリアを特定し、前記1つのエリアを含む位置情報を生成する、ことを特徴とするカメラ制御装置。
【請求項4】
請求項1または2に記載のカメラ制御装置において、
前記被写体位置検出部は、
前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記被写体が存在する1つまたは複数のエリアを検出し、前記1つまたは複数のエリアを示すエリアパターンを含む位置情報を生成し、
前記カメラ制御部は、
前記被写体が存在し得る1つのエリア及び複数のエリアを示す全てのエリアパターンのそれぞれに対応して、前記パラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアパターンに対応する前記パラメータを読み出す、ことを特徴とするカメラ制御装置。
【請求項5】
請求項1または2に記載のカメラ制御装置において、
前記被写体位置検出部は、
前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記エリア及び前記エリアのシルエット面積を含む位置情報を生成し、
前記カメラ制御部は、
前記複数のエリアのそれぞれに対応して、前記パラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアに対応する前記パラメータを読み出し、前記パラメータについて、前記被写体の全体のシルエット面積に対する前記エリアのシルエット面積の重み付き平均を求め、前記重み付き平均の前記パラメータを含む前記姿勢情報を生成する、ことを特徴とするカメラ制御装置。
【請求項6】
請求項1から5までのいずれか一項に記載のカメラ制御装置において、
前記撮像エリアの中心を原点とし、前記原点から前記カメラの設置位置を通る線を始線として、前記撮像エリアの平面上の点が、前記原点からの距離r及び前記始線からの偏角δの極座標(r,δ)で表されるものとして、
前記撮像エリア分割部により分割される前記複数のエリアを、前記極座標にて、または前記カメラの光軸に水平方向若しくは垂直方向にて、前記撮像エリアが区分された領域とする、ことを特徴とするカメラ制御装置。
【請求項7】
請求項1から6までのいずれか一項に記載のカメラ制御装置において、
当該カメラ制御装置は、複数のカメラを制御し、
前記カメラ制御部は、
前記複数のカメラのそれぞれについて、前記制御テーブルを保持し、前記複数のカメラのそれぞれについて、対応する前記制御テーブルを用いて前記姿勢情報を生成し、
前記カメラ通信部は、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とするカメラ制御装置。
【請求項8】
請求項1から6までのいずれか一項に記載のカメラ制御装置において、
当該カメラ制御装置は、複数のカメラを制御し、
前記カメラ制御部は、
前記複数のカメラのうちのいずれか1つのカメラについて、前記制御テーブルを保持し、前記1つのカメラについて、前記制御テーブルを用いて前記姿勢情報を生成し、前記姿勢情報、並びに前記1つのカメラと前記複数のカメラのうちの他のカメラとの間の位置及び姿勢の関係に基づいて、前記他のカメラの前記姿勢情報を生成し、
前記カメラ通信部は、
前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とするカメラ制御装置。
【請求項9】
コンピュータを、請求項1から8までのいずれか一項に記載のカメラ制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ制御装置及びプログラムに関する。
【背景技術】
【0002】
従来、複数のカメラで撮像した画像から、被写体の三次元モデルを再構成し、カメラが配置されていない任意の位置から仮想視点画像を得る技術が知られている。
【0003】
例えば、配置するカメラとして、電動雲台を備えたカメラ(以下、「ロボットカメラ」という。)を用いることにより、常に被写体をロボットカメラの画角から外さずに撮影することができる。限定された台数のロボットカメラを用いる場合においても、精度及び自由度を両立させた撮影が可能となる(例えば、特許文献1を参照)。
【0004】
また、被写体を画角から外さないようにロボットカメラの位置を制御する技術として、被写体の位置情報を用いる手法が提案されている(例えば、特許文献2を参照)。この手法は、被写体の位置情報を外部から取得すると共に、時間の経過を示すタイミング情報を取得し、被写体の位置情報及びタイミング情報に基づいて、被写体を撮影するロボットカメラのカメラワークを制御するものである。
【0005】
さらに、センサカメラの撮像画像から被写体を検出し、ロボットカメラにて被写体を自動追尾しながら撮影する手法も提案されている(例えば、特許文献3を参照)。この手法は、被写体の表面を構成する複数の色を予め設定しておき、撮像画像から、予め設定された複数の色を有する箇所を画像部分として抽出し、その画像情報に基づいて被写体を検出し、被写体を自動追尾するものである。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2019−67419号公報
【特許文献2】国際公開第2017/154953号
【特許文献3】特許第3704201号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
前述の特許文献2の手法は、GNSS(Global Navigation Satellite System:全球測位衛星システム)の衛星から被写体の位置情報を取得し、位置情報に対応したカメラワークをカメラワーク情報テーブルセットから読み出すことで、ロボットカメラを制御する。
【0008】
しかしながら、この手法は、位置情報を取得するためのデバイスが被写体に取り付けられていない場合に運用することができず、また、衛星から位置情報を受信できない環境においては、効率的に運用することができない。
【0009】
また、前述の特許文献3の手法では、制御エラーによりロボットカメラの姿勢が不安定となった場合、被写体がカメラの視野から外れてしまい、被写体の一部が欠けた画角となる可能性があり、必ずしも有効な映像を得ることができるとは限らない。
【0010】
このため、外部から取得した位置情報を用いることなく被写体の位置を検出し、高速かつ正確にロボットカメラを制御できることが所望されていた。
【0011】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、外部から得られる位置情報を用いることなく被写体の位置を検出し、被写体を常にカメラの視野内に収めることが可能なカメラ制御装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0012】
前記課題を解決するために、請求項1のカメラ制御装置は、カメラの姿勢を制御するカメラ制御装置において、俯瞰カメラにより撮影された撮像エリア内の被写体を含む撮像映像を入力し、予め設定された規則に従い、前記撮像エリアを複数のエリアに分割することで、前記撮像映像の画像から、前記複数のエリアのそれぞれに対応する分割画像を抽出する撮像エリア分割部と、前記撮像エリア分割部により抽出された前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアから前記被写体が存在する1つのエリアを検出し、前記1つのエリアを含む位置情報を生成する被写体位置検出部と、前記複数のエリアのそれぞれに対応して、前記カメラの姿勢を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記1つのエリアに対応する前記パラメータを読み出し、前記パラメータを含む姿勢情報を生成するカメラ制御部と、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、前記カメラへ送信するカメラ通信部と、を備えたことを特徴とする。
【0013】
また、請求項2のカメラ制御装置は、請求項1に記載のカメラ制御装置において、前記カメラ制御部が、前記複数のエリアのそれぞれに対応して、前記カメラの姿勢に加え、前記カメラのレンズのズーム回転量及びフォーカス回転量を示すパラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記位置情報に含まれる前記1つのエリアに対応する前記パラメータを読み出す、ことを特徴とする。
【0014】
また、請求項3のカメラ制御装置は、請求項1または2に記載のカメラ制御装置において、前記被写体位置検出部が、前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記シルエット面積が最大の前記1つのエリアを特定し、前記1つのエリアを含む位置情報を生成する、ことを特徴とする。
【0015】
また、請求項4のカメラ制御装置は、請求項1または2に記載のカメラ制御装置において、前記被写体位置検出部が、前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記被写体が存在する1つまたは複数のエリアを検出し、前記1つまたは複数のエリアを示すエリアパターンを含む位置情報を生成し、前記カメラ制御部が、前記被写体が存在し得る1つのエリア及び複数のエリアを示す全てのエリアパターンのそれぞれに対応して、前記パラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアパターンに対応する前記パラメータを読み出す、ことを特徴とする。
【0016】
また、請求項5のカメラ制御装置は、請求項1または2に記載のカメラ制御装置において、前記被写体位置検出部が、前記複数のエリアのそれぞれに対応する前記分割画像に基づいて、前記複数のエリアのそれぞれについて前記被写体のシルエット面積を検出し、前記エリア及び前記エリアのシルエット面積を含む位置情報を生成し、前記カメラ制御部が、前記複数のエリアのそれぞれに対応して、前記パラメータが格納された制御テーブルを保持し、前記制御テーブルから、前記被写体位置検出部により生成された前記位置情報に含まれる前記エリアに対応する前記パラメータを読み出し、前記パラメータについて、前記被写体の全体のシルエット面積に対する前記エリアのシルエット面積の重み付き平均を求め、前記重み付き平均の前記パラメータを含む前記姿勢情報を生成する、ことを特徴とする。
【0017】
また、請求項6のカメラ制御装置は、請求項1から5までのいずれか一項に記載のカメラ制御装置において、前記撮像エリアの中心を原点とし、前記原点から前記カメラの設置位置を通る線を始線として、前記撮像エリアの平面上の点が、前記原点からの距離r及び前記始線からの偏角δの極座標(r,δ)で表されるものとして、前記撮像エリア分割部により分割される前記複数のエリアを、前記極座標にて、または前記カメラの光軸に水平方向若しくは垂直方向にて、前記撮像エリアが区分された領域とする、ことを特徴とする。
【0018】
また、請求項7のカメラ制御装置は、請求項1から6までのいずれか一項に記載のカメラ制御装置において、当該カメラ制御装置が、複数のカメラを制御し、前記カメラ制御部が、前記複数のカメラのそれぞれについて、前記制御テーブルを保持し、前記複数のカメラのそれぞれについて、対応する前記制御テーブルを用いて前記姿勢情報を生成し、前記カメラ通信部が、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とする。
【0019】
また、請求項8のカメラ制御装置は、請求項1から6までのいずれか一項に記載のカメラ制御装置において、当該カメラ制御装置が、複数のカメラを制御し、前記カメラ制御部が、前記複数のカメラのうちのいずれか1つのカメラについて、前記制御テーブルを保持し、前記1つのカメラについて、前記制御テーブルを用いて前記姿勢情報を生成し、前記姿勢情報、並びに前記1つのカメラと前記複数のカメラのうちの他のカメラとの間の位置及び姿勢の関係に基づいて、前記他のカメラの前記姿勢情報を生成し、前記カメラ通信部が、前記カメラ制御部により生成された前記姿勢情報を含む制御信号を、対応する前記複数のカメラのそれぞれへ送信する、ことを特徴とする。
【0020】
さらに、請求項9のプログラムは、コンピュータを、請求項1から8までのいずれか一項に記載のカメラ制御装置として機能させることを特徴とする。
【発明の効果】
【0021】
以上のように、本発明によれば、外部から得られる位置情報を用いることなく被写体の位置を検出することができ、被写体を常にカメラの視野内に収めることができる。
【図面の簡単な説明】
【0022】
図1】本発明の実施形態によるカメラ制御装置を含む撮像システムの全体構成例を示すブロック図である。
図2】撮像環境及びエリア区分の例を説明する図である。
図3】実施例1の処理例を示すフローチャートである。
図4】実施例1における撮像エリア内の被写体の位置の例を説明する図である。
図5】実施例1における制御テーブルの構成例を示す図である。
図6】実施例1の変形例における制御テーブルの構成例を示す図である。
図7】実施例2の処理例を示すフローチャートである。
図8】実施例2における撮像エリア内の被写体の位置の例を説明する図である。
図9】実施例2の変形例の処理例を示すフローチャートである。
図10】実施例2の変形例における制御テーブルの構成例を示す図である。
図11】実施例3の処理例を示すフローチャートである。
図12】実施例4において、ロボットカメラの位置及びエリア区分の例を説明する図である。
図13】実施例4における撮像環境、ロボットカメラの位置及びエリア区分の例を説明する図である。
図14】実施例5において、ロボットカメラの位置及びエリア区分の例を説明する図である。
図15】2台のロボットカメラが空間上に設置されている場合に、1つの制御テーブルを用いて2台のロボットカメラの姿勢情報を生成する処理を説明する図である。
【発明を実施するための形態】
【0023】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔撮像システム〕
まず、撮像システムについて説明する。図1は、本発明の実施形態によるカメラ制御装置を含む撮像システムの全体構成例を示すブロック図であり、図2は、撮像環境及びエリア区分の例を説明する図である。
【0024】
この撮像システム1は、俯瞰カメラ2、カメラ制御装置3、及び1または複数のロボットカメラ4を備えて構成される。撮像システム1は、撮像エリア110内に存在する被写体120を、俯瞰カメラ2により撮影された撮像映像の画像から検出し、被写体120を常にロボットカメラ4の視野内に収めるように、ロボットカメラ4を制御するシステムである。
【0025】
被写体120は、撮像エリア110内のステージ115上に存在し、俯瞰カメラ2及びロボットカメラ4は、例えば半球状の取付用部材116に取り付けられており、取付用部材116は、被写体120を覆うように設置されている。図2において、俯瞰カメラ2は、被写体120を俯瞰するように、半球状の取付用部材116の頂点に設置されている。
【0026】
俯瞰カメラ2は、被写体120を撮影するカメラであり、撮像映像をカメラ制御装置3へ出力する。俯瞰カメラ2は、撮像エリア110を少なくとも80%以上、好ましくは100%撮像可能な俯瞰位置、例えば撮像エリア110から仰角45°以上、好ましくは仰角80°に取り付けたカメラ若しくはロボットカメラである。尚、俯瞰カメラ2は、ドローンに搭載して空中に配置可能なカメラであってもよい。
【0027】
カメラ制御装置3は、俯瞰カメラ2から撮像映像を入力し、撮像映像の画像に基づいて、撮像エリア110内の被写体120の位置を検出し、その位置に応じた姿勢等の制御信号を生成し、制御信号をロボットカメラ4へ送信する。
【0028】
ロボットカメラ4は、制御信号を受信し、制御信号に基づいて、パン、チルト等の制御を行い、姿勢等を変更する。これにより、ロボットカメラ4は、被写体120を視野内に収めることができる。
【0029】
ここで、撮像エリア110は、予め設定された規則に従い、複数のエリアに分割される。例えば、図2において、撮像エリア110は、俯瞰カメラ2からステージ115を見た際に、俯瞰カメラ2により撮影されるエリアであり、その形状は円である。撮像エリア110の円の中心を直角に交わって通る十字方向の2つの直線により、撮像エリア110は、右上から時計回りの順にエリア111〜114に4分割されるものとする。つまり、エリア111〜114は、撮像エリア110が円の中心を通る十字方向の2つの直線により区分された領域である。
【0030】
図1を参照して、カメラ制御装置3は、撮像エリア分割部10、被写体位置検出部11、カメラ制御部12及びカメラ通信部13を備えている。カメラ制御部12は、予め設定された制御テーブル20を保持している。
【0031】
撮像エリア分割部10は、俯瞰カメラ2から撮像映像を入力する。そして、撮像エリア分割部10は、予め設定された規則に従い、図2に示したとおり、撮像映像における撮像エリア110の画像を4つのエリア111〜114の画像に分割することで、エリア111〜114の分割画像を抽出する。撮像エリア分割部10は、エリア111〜114の分割画像を被写体位置検出部11に出力する。
【0032】
被写体位置検出部11は、撮像エリア分割部10からエリア111〜114の分割画像を入力し、これらの分割画像から被写体120を検出し、被写体120の位置を示す位置情報を生成する。そして、被写体位置検出部11は、被写体120の位置情報をカメラ制御部12に出力する。
【0033】
具体的には、被写体120が俯瞰カメラ2の視野内(撮像エリア110内)に存在しないときの時刻とT0とし、被写体120が俯瞰カメラ2の視野内に存在する時刻をT1とする。被写体位置検出部11は、時刻T0,T1におけるエリア111〜114の分割画像を用いた背景差分、特定の色を透過させるクロマキー、または特定の輝度を透過させるルミナンスキーの既知の処理により、被写体120の位置を検出する。
【0034】
カメラ制御部12は、被写体位置検出部11から被写体120の位置情報を入力し、予め設定された制御テーブル20を用いて、位置情報に基づいてロボットカメラ4の姿勢情報を生成する。制御テーブル20には、被写体120の位置情報及び当該位置情報に対応するロボットカメラ4の姿勢を示すパラメータが格納されている。そして、カメラ制御部12は、姿勢情報をカメラ通信部13に出力する。
【0035】
カメラ通信部13は、カメラ制御部12から姿勢情報を入力し、姿勢情報を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する。これにより、ロボットカメラ4は、制御信号に含まれる姿勢情報に従ってその姿勢を変更し、被写体120を視野内に収めることができる。
【0036】
以下、カメラ制御装置3の処理について、実施例を挙げて具体的に説明する。
【0037】
〔実施例1〕
まず、実施例1について説明する。実施例1は、被写体120が撮像エリア110内のエリア111〜114のうちのいずれかに収まって存在する場合の例である。
【0038】
図3は、実施例1の処理例を示すフローチャートであり、図1に示したカメラ制御装置3の処理を示している。図4は、実施例1における撮像エリア110内の被写体120の位置の例を説明する図である。
【0039】
図4に示すように、被写体120は、撮像エリア110内のエリア111〜114のうちのエリア111に存在しており、エリア112〜114には存在していないものとする。
【0040】
カメラ制御装置3の撮像エリア分割部10は、俯瞰カメラ2から撮像映像を入力し(ステップS301)、撮像映像の撮像エリア110をエリア111〜114に分割し、分割画像を抽出する(ステップS302)。
【0041】
被写体位置検出部11は、エリア111〜114の分割画像から、前述の背景差分等の処理により、被写体120の位置を検出する(ステップS303)。本例の場合、被写体位置検出部11は、被写体120がエリア111に存在することを検出する。そして、被写体位置検出部11は、エリアx=111を含む位置情報を生成する(ステップS304)。
【0042】
図5は、実施例1における制御テーブル20−1の構成例を示す図である。この制御テーブル20−1は、エリアx、及び当該エリアxに対応する姿勢を示すパラメータ(姿勢パラメータ)であるパン・チルト値LUT(x)から構成される。パン・チルト値LUT(x)は、エリアxにおけるパン値Pan及びチルト値Tiltからなる。
【0043】
制御テーブル20−1には、エリアx=111に対応してパン・チルト値LUT(111)=(φ111,θ111)が格納されている。また、エリアx=112に対応してパン・チルト値LUT(112)=(φ112,θ112)、エリアx=113に対応してパン・チルト値LUT(113)=(φ113,θ113)が格納されている。また、エリアx=114に対応してパン・チルト値LUT(114)=(φ114,θ114)が格納されている。
【0044】
図3に戻って、カメラ制御部12は、制御テーブル20−1から、位置情報に含まれるエリアx=111に対応するパン・チルト値LUT(111)=(φ111,θ111)を読み出す(ステップS305)。そして、カメラ制御部12は、パン値φ111及びチルト値θ111を含む姿勢情報を生成する(ステップS306)。
【0045】
カメラ通信部13は、姿勢情報のパン値φ111及びチルト値θ111を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する(ステップS307)。
【0046】
これにより、ロボットカメラ4は、制御信号に含まれるパン値φ111及びチルト値θ111に従って姿勢を変更することで、被写体120をその視野内に収めることができる。実施例1のカメラ制御装置3により、ロボットカメラ4の姿勢を制御することができる。
【0047】
〔実施例1の変形例〕
次に、実施例1の変形例について説明する。実施例1の変形例は、実施例1におけるロボットカメラ4の姿勢に加え、ロボットカメラ4のレンズパラメータであるズーム回転量及びフォーカス回転量も制御する例である。これは、後述する実施例2、実施例2の変形例、実施例3、実施例4及び実施例5にも適用される。
【0048】
図6は、実施例1の変形例における制御テーブル20−1’の構成例を示す図である。この制御テーブル20−1’は、エリアx、及び当該エリアxに対応する姿勢パラメータ及びレンズパラメータであるパン・チルト値及びズーム・フォーカス回転量LUT(x)から構成される。レンズパラメータは、ロボットカメラ4に備えたレンズのズーム回転量及びフォーカス回転量である。パン・チルト値及びズーム・フォーカス回転量LUT(x)は、エリアxにおけるパン値Pan、チルト値Tilt、ズーム回転量Zoom及びフォーカス回転量Focusからなる。
【0049】
制御テーブル20−1’には、エリアx=111に対応してパン・チルト値及びズーム・フォーカス回転量LUT(111)=(φ111,θ111,Z111,F111)が格納されている。また、エリアx=112に対応してパン・チルト値及びズーム・フォーカス回転量LUT(112)=(φ112,θ112,Z112,F112)が格納されている。また、エリアx=113に対応してパン・チルト値及びズーム・フォーカス回転量LUT(113)=(φ113,θ113,Z113,F113)が格納されている。また、エリアx=114に対応してパン・チルト値及びズーム・フォーカス回転量LUT(114)=(φ114,θ114,Z114,F114)が格納されている。
【0050】
カメラ制御部12は、制御テーブル20−1’から、位置情報に含まれるエリアx=111に対応するパン・チルト値及びズーム・フォーカス回転量LUT(111)=(φ111,θ111,Z111,F111)を読み出す。そして、カメラ制御部12は、パン値φ111、チルト値θ111、ズーム回転量Z111及びフォーカス回転量F111を含む姿勢レンズ情報を生成する。
【0051】
カメラ通信部13は、姿勢情報のパン値φ111及びチルト値θ111、並びにレンズ情報のズーム回転量Z111及びフォーカス回転量F111を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する。
【0052】
これにより、ロボットカメラ4は、制御信号に含まれるパン値φ111及びチルト値θ111に従って姿勢を変更することで、被写体120をその視野内に収めることができる。また、制御信号に含まれるズーム回転量Z111及びフォーカス回転量F111に従って画像の拡大の程度及び焦点距離を変更することで、被写体120を所望の大きさ及びピントの合った状態で撮影することができる。つまり、実施例1の変形例のカメラ制御装置3により、ロボットカメラ4の姿勢及びレンズを制御することができる。
【0053】
〔実施例2〕
次に、実施例2について説明する。前述の実施例1は、被写体120がエリア111内に収まっている場合の例であるが、実施例2は、被写体120が撮像エリア110内の全てのエリア111〜114に跨って存在する場合の例である。
【0054】
実施例2は、被写体120がエリア111だけでなくエリア112〜114にも跨って存在する場合において、シルエット面積制御を行う例である。シルエット面積制御は、被写体120のシルエット面積が最大となる1つのエリアを特定し、特定した1つのエリアに対応する姿勢情報を用いた制御である。
【0055】
図7は、実施例2の処理例を示すフローチャートであり、図1に示したカメラ制御装置3によるシルエット面積制御を示している。図8は、実施例2における撮像エリア110内の被写体120の位置の例を説明する図である。
【0056】
図8に示すように、被写体120は、撮像エリア110内のエリア111〜114の全てに跨って存在している。エリア111〜114における被写体120のシルエット面積を、それぞれSsubject(111),Ssubject(112),Ssubject(113),Ssubject(114)とする。ここでは、Ssubject(111)>Ssubject(114)>Ssubject(112)=Ssubject(113)とする。
【0057】
カメラ制御装置3の撮像エリア分割部10は、俯瞰カメラ2から撮像映像を入力し(ステップS701)、撮像映像の撮像エリア110をエリア111〜114に分割し、分割画像を抽出する(ステップS702)。
【0058】
被写体位置検出部11は、エリア毎に(エリア111〜114のそれぞれについて)、前述の背景差分等の処理により、分割画像から被写体120のシルエット面積Ssubject(x)を求める(ステップS703)。x=111〜114である。
【0059】
被写体位置検出部11は、エリア111〜114間でシルエット面積Ssubject(x)を比較する。そして、被写体位置検出部11は、シルエット面積Ssubject(x)の最大のエリアx=111を特定し、エリアx=111を含む位置情報を生成する(ステップS704)。
【0060】
カメラ制御部12は、図5に示した制御テーブル20−1から、位置情報に含まれるエリアx=111に対応するパン・チルト値LUT(111)=(φ111,θ111)を読み出す(ステップS705)。そして、カメラ制御部12は、パン値φ111及びチルト値θ111を含む姿勢情報を生成する(ステップS706)。
【0061】
カメラ通信部13は、姿勢情報のパン値φ111及びチルト値θ111を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する(ステップS707)。
【0062】
これにより、ロボットカメラ4は、制御信号に含まれるパン値φ111及びチルト値θ111に従って姿勢を変更することで、被写体120をその視野内に収めることができる。
【0063】
〔実施例2の変形例〕
次に、実施例2の変形例について説明する。実施例2の変形例は、被写体120がエリア111だけでなくエリア112〜114にも跨って存在する場合において、リスト制御を行う例である。リスト制御は、被写体120のシルエットが存在する1または複数のエリアを特定し、特定した1または複数のエリアに対応する姿勢情報を用いた制御である。
【0064】
図9は、実施例2の変形例の処理例を示すフローチャートであり、図1に示したカメラ制御装置3によるリスト制御を示している。
【0065】
カメラ制御装置3の撮像エリア分割部10は、俯瞰カメラ2から撮像映像を入力し(ステップS901)、撮像映像の撮像エリア110をエリア111〜114に分割し、分割画像を抽出する(ステップS902)。
【0066】
被写体位置検出部11は、エリア111〜114の分割映像から、前述の背景差分等の処理により、図8に示した例のとおり被写体120が存在するエリアx=111,112,113,114を検出する(ステップS903)。そして、被写体位置検出部11は、エリアパターンx’=111,112,113,114を含む位置情報を生成する(ステップS904)。
【0067】
図10は、実施例2の変形例における制御テーブル20−2の構成例を示す図である。この制御テーブル20−2は、エリアパターンx’、及び当該エリアパターンx’に対応する姿勢パラメータであるパン・チルト値LUT(x’)から構成される。制御テーブル20−2のエリアパターンx’は、被写体120がエリア111,112,113,114のうちの1以上のエリアに存在し得る全てのパターンである。
【0068】
制御テーブル20−2には、エリアパターンx’=111に対応してパン・チルト値LUT(111)=(φ111,θ111)が格納されている。また、エリアパターンx’=112に対応してパン・チルト値LUT(112)=(φ112,θ112)が格納されている。同様に、エリアパターンx’=111,112,113,114に対応してパン・チルト値LUT(141)=(φ141,θ141)が格納されている。
【0069】
図9に戻って、カメラ制御部12は、制御テーブル20−2から、位置情報に含まれるエリアパターンx’=111,112,113,114に対応するパン・チルト値LUT(111,112,113,114)=(φ141,θ141)を読み出す(ステップS905)。そして、カメラ制御部12は、パン値φ141及びチルト値θ141を含む姿勢情報を生成する(ステップS906)。
【0070】
カメラ通信部13は、姿勢情報のパン値φ141及びチルト値θ141を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する(ステップS907)。
【0071】
これにより、ロボットカメラ4は、制御信号に含まれるパン値φ141及びチルト値θ141に従って姿勢を変更することで、被写体120をその視野内に収めることができる。
【0072】
〔実施例3〕
次に、実施例3について説明する。実施例3は、被写体120が撮像エリア110内の複数のエリア111〜114に跨って存在する場合において、重み平均制御を行う例である。重み平均制御は、被写体120のシルエットが存在する1または複数のエリアを特定し、特定した1または複数のエリアについて被写体120のシルエットの面積から得られる重み付き平均の姿勢情報を用いた制御である。
【0073】
実施例1,2では、撮像エリア110を4つのエリア111〜114に分割した例を説明した。ここで、撮像エリア110をn個(nは2以上の整数)のエリアに分割した場合には、制御テーブル20に予め格納されるパン・チルト値LUT(x)の数は、n1n2・・・nn-1nnとなる。分割数が多くなると、制御テーブル20に格納されるパン・チルト値LUT(x)の数も多くなり煩雑になる。
【0074】
そこで、実施例3の重み平均制御を行うことにより、制御テーブル20に予め格納されるパン・チルト値LUT(x)の数を少なくし、高精度に、被写体120をロボットカメラ4の視野内に収めるようにした。
【0075】
図11は、実施例3の処理例を示すフローチャートであり、図1に示したカメラ制御装置3による重み平均制御を示している。
【0076】
カメラ制御装置3の撮像エリア分割部10は、俯瞰カメラ2から撮像映像を入力し(ステップS1101)、撮像映像の撮像エリア110をエリア111〜114に分割し、分割画像を抽出する(ステップS1102)。
【0077】
被写体位置検出部11は、エリア毎に(エリア111〜114のそれぞれについて)、前述の背景差分等の処理により、分割画像から被写体120のシルエット面積Ssubject(x)を求める(ステップS1103)。x=111〜114である。
【0078】
被写体位置検出部11は、エリアx及びシルエット面積Ssubject(x)を含む位置情報を生成する(ステップS1104)。
【0079】
ここで、被写体位置検出部11により求めたエリア111〜114における被写体120のシルエット面積は、それぞれSsubject(111),Ssubject(112),Ssubject(113),Ssubject(114)である。
【0080】
カメラ制御部12は、図5に示した制御テーブル20−1から、位置情報に含まれるエリアxのパン・チルト値LUT(x)を読み出す(ステップS1105)。そして、カメラ制御部12は、パン・チルト値LUT(x)について、位置情報に含まれるエリア毎のシルエット面積Ssubject(x)による重み付き平均を算出し、パン値φ及びチルト値θを求める(ステップS1106)。シルエット面積Ssubject(x)による重み付き平均とは、被写体120の全体のシルエット面積に対するエリアxのシルエット面積Ssubject(x)の比率を重みとして、パン・チルト値LUT(x)の重み付き平均を求める処理である。
【0081】
カメラ制御部12は、パン値φ及びチルト値θを含む姿勢情報を生成する(ステップS1107)。
【0082】
具体的には、カメラ制御部12は、位置情報に含まれるエリアx=111等に対応するパン・チルト値LUT(111)=(φ111,θ111)等を読み出す。同様に、カメラ制御部12は、パン・チルト値LUT(112)=(φ112,θ112),LUT(113)=(φ113,θ113),LUT(114)=(φ114,θ114)を読み出す。
【0083】
カメラ制御部12は、以下の式(1)に基づいて、位置情報に含まれるシルエット面積Ssubject(x)によるパン・チルト値LUT(x)の重み付き平均を算出し、パン値φ及びチルト値θを求める。尚、カメラ制御部12は、以下の式(2)を用いて、パン値φ及びチルト値θを求めるようにしてもよい。
【数1】
【数2】
fは、例えば増加関数である。
【0084】
カメラ通信部13は、姿勢情報のパン値φ及びチルト値θを含む制御信号を生成し、制御信号をロボットカメラ4へ送信する(ステップS1108)。
【0085】
これにより、ロボットカメラ4は、制御信号に含まれるパン値φ及びチルト値θに従って姿勢を変更することで、被写体120をその視野内に収めることができる。この場合、カメラ制御部12は、シルエット面積Ssubject(x)による重み付き平均を算出し、パン値φ及びチルト値θを求めるようにしたから、制御テーブル20−1のパン・チルト値LUT(x)の数を多くする必要がない。つまり、少ない数のパン・チルト値LUT(x)を用いて、精度の高い姿勢制御を実現することができる。
【0086】
尚、カメラ制御部12は、シルエット面積Ssubject(x)による重み付き平均を算出するようにしたが、エリア内の被写体120を除いた面積Sarea(x)による重み付き平均を算出するようにしてもよい。
【0087】
具体的には、カメラ制御部12は、エリアxの面積から、位置情報に含まれるエリアxのシルエット面積Ssubject(x)を減算し、エリアx内の被写体120以外の面積Sarea(x)を求める。そして、カメラ制御部12は、制御テーブル20−1から、位置情報に含まれるエリアxのパン・チルト値LUT(x)を読み出す。
【0088】
カメラ制御部12は、以下の式(3)に基づいて、エリアx内の被写体120以外の面積Sarea(x)によるパン・チルト値LUT(x)の重み付き平均を算出し、パン値φ及びチルト値θを求める。尚、カメラ制御部12は、以下の式(4)を用いて、パン値φ及びチルト値θを求めるようにしてもよい。
【数3】
【数4】
gは、例えば減少関数である。
【0089】
〔実施例4〕
次に、実施例4について説明する。ロボットカメラ4の制御を高精度に行うためには、撮像エリア110をより細かく区分し、それぞれのエリアに対応するパン・チルト値LUT(x)が格納された制御テーブル20を用いればよい。
【0090】
実施例4は、実施例1、実施例1の変形例、実施例2、実施例2の変形例及び実施例3において、撮像エリア110内を一層細かく区切った複数のエリアを用いることにより、ロボットカメラ4の制御を高精度に行う例である。
【0091】
前述したとおり、カメラ制御装置3の撮像エリア分割部10は、予め設定された規則に従い、図2に示したとおり、撮像エリア110の画像を4つのエリア111〜114の画像に分割する。実施例4では、撮像エリア分割部10は、予め設定された規則に従い、撮像エリア110の画像をさらに細かく分割する。
【0092】
図12は、実施例4において、ロボットカメラの位置及びエリア区分の例を説明する図である。(1)〜(3)において、撮像エリア110の中心を原点とし、原点からロボットカメラ4の設置位置を通る線を始線として、撮像エリア110の平面上の点は、原点からの距離r及び始線からの偏角δの極座標(r,δ)で表される。
【0093】
この極座標(r,δ)のパラメータである距離r及び偏角δに応じて、撮像エリア110が画像を(1)〜(3)のそれぞれに示すエリアに分割するための規則が定義される。撮像エリア分割部10は、予め設定された規則に従い、(1)〜(3)のとおり、撮像エリア110の画像を、極座標にて区分された複数のエリアに分割する。撮像エリア分割部10により分割される複数のエリアは、撮像エリア110が極座標により区分された領域である。
【0094】
(1)の規則は、撮像エリア110において、極座標(r,δ)のパラメータである距離r及び偏角δを一定間隔として、エリアが距離r及び偏角δに応じた疎密となるように区分するものである。(1)の規則では、細かいエリアの区分が可能であり、制御テーブル20に格納されるパン・チルト値LUT(x)の個数は増えるが、高精度にロボットカメラ4を制御することができる。
【0095】
(2)の規則は、撮像エリア110の中央付近が疎のエリアとなり、中央付近以外の領域が密のエリアとなるように区分するものである。(2)の規則では、被写体120よりも高い俯瞰位置に設置されたロボットカメラ4を用いる場合に好適である。ロボットカメラ4により高い位置で被写体120が俯瞰されるため、中央付近のエリアではパン値及びチルト値の変化が少なくなり、当該エリアを疎にすることができる。
【0096】
(3)の規則は、撮像エリア110において、ロボットカメラ4に近い領域が疎のエリアとなり、ロボットカメラ4から遠い領域が密のエリアとなるように区分するものであり、ロボットカメラ4の手前及び奥で異なる区分とすることができる。被写体120のサイズを手前及び奥で同程度にする場合を想定すると、手前は広い画角となるため、エリア数が少なくて済み、奥は狭い画角となるため、エリア数は多くしてその面積を狭くする必要がある。つまり、ロボットカメラ4の手前では、エリア数を少なくした姿勢制御が行われ、奥では、エリア数を多くした精度の高い姿勢制御が行われ、結果として、ロボットカメラ4の制御を、手前及び奥の領域に応じて好適に実現することができる。
【0097】
図13は、実施例4における撮像環境、ロボットカメラの位置及びエリア区分の例を説明する図であり、図12に示したエリア区分とは異なる例を示している。ロボットカメラ4は、被写体120よりも高い俯瞰位置に設置されている。
【0098】
この規則は、図13の右側に示すように、撮像エリア110において、エリアがロボットカメラ4の光軸と垂直となるように区分するものである。撮像エリア分割部10は、予め設定された規則に従い、撮像エリア110の画像を、ロボットカメラ4の光軸に対して垂直方向に分割する。
【0099】
この規則では、ロボットカメラ4が高い位置から被写体120を俯瞰するため、チルト方向の動作が重要になる。そこで、エリアがロボットカメラ4の光軸と垂直となるように区分されることで、チルト方向の動作を精度高く実現することができる。
【0100】
尚、ロボットカメラ4が被写体120と同じ高さに設置されている場合には、規則としては、撮像エリア110において、エリアがロボットカメラ4の光軸と平行となるように区分するものが望ましい。この場合、撮像エリア分割部10は、予め設定された規則に従い、撮像エリア110の画像を、ロボットカメラ4の光軸に対して水平方向に分割する。
【0101】
例えば被写体120が人の場合、上下方向の動きは、ジャンプ、屈伸等に限定されるが、左右方向の動きは、ステージ115上の端から端までとなる。上下方向の動きは、ロボットカメラ4の画角を広くすることで対応できるが、左右方向の動きも、画角を広くすることで対応する場合、被写体120が小さくなってしまう。
【0102】
このため、この規則では、ロボットカメラ4は、パン方向の動作が重要となる。そこで、エリアがロボットカメラ4の光軸と平行となるように区分されることで、パン方向の動作を精度高く実現することができる。
【0103】
また、撮像エリア110が横に長い形状の場合も同様に、規則としては、撮像エリア110において、エリアがロボットカメラ4の光軸と平行となるように区分するものが望ましい。
【0104】
〔実施例5〕
次に、実施例5について説明する。実施例5は、実施例1、実施例1の変形例、実施例2、実施例2の変形例、実施例3及び実施例4において、複数のロボットカメラ4を用いた場合の例である。
【0105】
(分割時の規則)
被写体120を取り囲むように複数のロボットカメラ4が空間上に設置されている場合には、複数のロボットカメラ4のそれぞれに対応して、予め設定された規則に従い、撮像エリア110が所定数及び所定形状のエリアに区分される。尚、複数のロボットカメラ4に共通して、撮像エリア110が同じ数及び同じ形状の共通のエリアに区分されるようにしてもよい。
【0106】
具体的には、カメラ制御装置3の撮像エリア分割部10は、複数のロボットカメラ4のそれぞれに対応して、予め設定された規則に従い、撮像映像における撮像エリア110の画像を分割する。これにより、複数のロボットカメラ4のそれぞれに対応して、所定数の分割画像が抽出される。
【0107】
図14は、実施例5において、ロボットカメラ4の位置及びエリア区分の例を説明する図である。(1)及び(2)において、2台のロボットカメラ4−1,4−2は、これらの光軸が直角に交差する位置に設置されている場合を示している。
【0108】
(1)を参照して、ロボットカメラ4−1に対応する規則は、撮像エリア110において、ロボットカメラ4−1の光軸に対して垂直方向に区分するものである(撮像エリア110内の太線を参照)。撮像エリア分割部10は、ロボットカメラ4−1に対応する予め設定された規則に従い、撮像エリア110の画像を、ロボットカメラ4−1の光軸に対して垂直方向に分割する。
【0109】
また、ロボットカメラ4−2に対応する規則は、撮像エリア110において、ロボットカメラ4−2の光軸に対して垂直方向に区分するものである(撮像エリア110内の細線を参照)。撮像エリア分割部10は、ロボットカメラ4−2に対応する予め設定された規則に従い、撮像エリア110の画像を、ロボットカメラ4−2の光軸に対して垂直方向に分割する。
【0110】
(2)を参照して、ロボットカメラ4−1に対応する規則は、撮像エリア110において、ロボットカメラ4−1の光軸に対して水平方向に区分するものである(撮像エリア110内の太線を参照)。撮像エリア分割部10は、ロボットカメラ4−1に対応する予め設定された規則に従い、撮像エリア110の画像を、ロボットカメラ4−1の光軸に対して水平方向に分割する。
【0111】
また、ロボットカメラ4−2に対応する規則は、撮像エリア110において、極座標(r,δ)のパラメータである距離r及び偏角δを一定間隔として、エリアが距離r及び偏角δに応じた疎密となるように区分するものである(撮像エリア110内の細線を参照)。撮像エリア分割部10は、ロボットカメラ4−2に対応する予め設定された規則に従い、撮像エリア110の画像を、極座標(r,δ)方向に分割する。
【0112】
尚、複数のロボットカメラ4に共通した予め設定された規則に従い、撮像エリア110が同じ数及び同じ形状の共通するエリアに区分されるようにしてもよい。
【0113】
(制御テーブル20)
また、複数のロボットカメラ4が空間上に設置されている場合には、複数のロボットカメラ4のそれぞれに対応して、異なる制御テーブル20を用いるようにしてもよい。
【0114】
この場合、カメラ制御部12は、複数のロボットカメラ4のそれぞれに対応して、複数の(ロボットカメラ4の数分の)制御テーブル20を保持している。カメラ制御部12は、複数のロボットカメラ4のそれぞれについて、被写体位置検出部11から被写体120の位置情報を入力し、対応する制御テーブル20を用いて、位置情報に基づきロボットカメラ4の姿勢情報を求める。
【0115】
カメラ通信部13は、複数のロボットカメラ4のそれぞれについて、カメラ制御部12から姿勢情報を入力し、姿勢情報を含む制御信号を生成し、制御信号を対応するロボットカメラ4へ送信する。
【0116】
尚、複数のロボットカメラ4のうちの1台に対応する1つの制御テーブル20のみを用いるようにしてもよい。
【0117】
具体的には、カメラ制御部12は、所定の1台のロボットカメラ4に対応する制御テーブル20を保持している。カメラ制御部12は、当該制御テーブル20に格納されたパン・チルト値LUT(x)、並びに複数のロボットカメラ4における位置及び姿勢の関係に基づいて、他のロボットカメラ4に対応するパン・チルト値LUT(x)を算出する。そして、カメラ制御部12は、他のロボットカメラ4に対応する制御テーブル20を生成する。カメラ制御部12は、複数のロボットカメラ4のそれぞれについて、対応する制御テーブル20を用いて、それぞれの姿勢情報を生成する。
【0118】
この場合、カメラ制御部12は、所定の1台のロボットカメラ4について、当該制御テーブル20を用いて姿勢情報を生成し、当該1台のロボットカメラ4の姿勢情報を、他のロボットカメラ4の姿勢情報に変換するようにしてもよい。具体的には、カメラ制御部12は、1台のロボットカメラ4の姿勢情報、並びに複数のロボットカメラ4における位置及び姿勢の関係に基づいて、他のロボットカメラ4の姿勢情報を生成する。
【0119】
図15は、2台のロボットカメラ4−1,4−2が空間上に設置されている場合に、1つの制御テーブル20を用いて2台のロボットカメラ4−1,4−2の姿勢情報を生成する処理を説明する図である。以下、カメラ制御部12が、1つの制御テーブル20を用いてロボットカメラ4−1の姿勢情報を生成し、ロボットカメラ4−1の姿勢情報から、所定の数式を用いてロボットカメラ4−2の姿勢情報を生成する処理について説明する。
【0120】
任意の方向ベクトルについて、座標系Σ(a)における各成分を座標系Σ(b)における各成分に変換する回転行列をRa(b)とする。また、座標系Σ(a)におけるベクトルには上付きにて(a)を付す。撮像エリア110に固定した座標系を世界座標系Σ(W)とする。ここでは、撮像エリア110の床面に第1軸X及び第2軸Yをとり、鉛直上向きに第3軸Zをとる。尚、断りのない限り、全ての座標系は右手系を成すものとする。
【0121】
また、ロボットカメラ4−1に固定した座標系を第一カメラ座標系Σ(c1)とし(実線)、ロボットカメラ4−1のパン角φ1及びチルト角θ1が共に0のときの第一カメラ座標系Σ(c1)を第一基準カメラ座標系Σ(n1)とする(破線)。尚、以下では第一カメラ座標系Σ(c1)と第一基準カメラ座標系Σ(n1)の両原点は一致するものとする。
【0122】
例えば、世界座標系Σ(W)に対する第一基準カメラ座標系Σ(n1)の姿勢をXYZ−オイラー角(α1,β1,γ1)で表した場合、回転行列Rn1(w)は、以下の式にて表される。
【数5】
XYZ−オイラー角(α1,β1,γ1)は、ロボットカメラ4−1を設置したときに決定される定数である。
【0123】
また、ロボットカメラ4−1のパン軸が第一カメラ座標系Σ(c1)の第2軸であり、チルト軸が第一カメラ座標系Σ(c1)の第1軸である場合、回転行列Rc1(n1)は、以下の式にて表される。
【数6】
【0124】
さらに、ロボットカメラ4−2に固定した座標系を第二カメラ座標系Σ(c2)とし(実線)、ロボットカメラ4−2のパン値φ2及びチルト値θ2が共に0のときの第二カメラ座標系Σ(c2)を第二基準カメラ座標系Σ(n2)とする(破線 )。尚、ロボットカメラ4−2のパン軸は第二カメラ座標系Σ(c2)の第2軸であり、チルト軸は第二カメラ座標系Σ(c2)の第1軸であるものとする。また、以下では第二カメラ座標系Σ(c2)と第二基準カメラ座標系Σ(n2)の両原点は一致するものとする。
【0125】
例えば、世界座標系Σ(W)に対する第二基準カメラ座標系Σ(n2)の姿勢をXYZ−オイラー角(α2,β2,γ2)で表した場合、回転行列Rw(n2)は、以下の式にて表される。
【数7】
【0126】
世界座標系Σ(W)の原点Oからロボットカメラ4−1の位置(すなわち第一カメラ座標系Σ(c1)の原点)に至るベクトルをT1(W)とする。また、世界座標系Σ(W)の原点Oからロボットカメラ4−2の位置(すなわち第二カメラ座標系Σ(c2)の原点)に至るベクトルをT2(W)とする。
【0127】
カメラ制御部12により、ロボットカメラ4−1に対応する制御テーブル20を用いてロボットカメラ4−1の姿勢情報であるパン値φ111及びチルト値θ111が求められたとする。ロボットカメラ4−1がパン値φ111及びチルト値θ111において制御されたとき、ロボットカメラ4−1が撮像エリア110のどこを撮像しているかを求める。
【0128】
例えば、ロボットカメラ4−1がパン値φ111及びチルト値θ111のときの光軸が撮像エリア110の床面と交差する点Pを求めればよい。ロボットカメラ4−1の光軸の単位方向ベクトルを
とする。例えば、光軸が第一カメラ座標系Σ(c1)の第3軸と平行である場合には、以下の式にて表される。
【0129】
ロボットカメラ4−1の位置を点R1とする。このとき、以下の式にて表される。
【数8】
係数λは、正の実数である。
【数9】
【0130】
ここで、点Pは撮像エリア110の床面にあることから、ベクトル
の第3成分は零である。つまり、以下の式にて表される。
【数10】
【0131】
したがって、以下の式により、係数λが決定される。
【数11】
【0132】
次に、ロボットカメラ4−2を向けるべき方向、すなわち光軸の方向を求める。ロボットカメラ4−2の位置を点R2とすると、光軸はベクトル
と重なるべきであり、以下の式が成立する。
【数12】
【0133】
前記式(9)、前記式(11)及び前記式(12)から、以下の式により、視線方向のベクトル
を定めることができる。
【数13】
【0134】
前記式(13)を前記式(7)にて座標変換すると、以下の式で表される。
【数14】
【0135】
このようにして得られたベクトル
の各成分を、以下の式で表す。
【数15】
【0136】
このとき、ロボットカメラ4−2を向けるべきパン値φ’111及びチルト値θ’111は、以下の式にて表される。
【数16】
尚、atan2(ξ,ζ)は、2次元直交座標系における座標[p,q]Tを極座標に変換した際の偏角を求める関数である。
【0137】
このように、カメラ制御部12は、所定の1台のロボットカメラ4−1について、当該制御テーブル20を用いて姿勢情報を生成し、当該姿勢情報から、前記式(16)を用いて、他のロボットカメラ4−2の姿勢情報を算出する。
【0138】
ここで、前記式(16)の代わりに、1台のロボットカメラ4−1の姿勢情報及び他のロボットカメラ4−2の姿勢情報からなるテーブルを用いるようにしてもよい。具体的には、カメラ制御部12は、所定の1台のロボットカメラ4−1について、当該制御テーブル20を用いて姿勢情報を生成し、前記テーブルから、1台のロボットカメラ4−1に姿勢情報に対応する他のロボットカメラ4−2の姿勢情報を読み出す。これにより、1台のロボットカメラ4−1の姿勢情報から、他のロボットカメラ4−2の姿勢情報を生成することができる。
【0139】
また、前記式(16)を用いる代わりに、他のロボットカメラ4−2に対応する制御テーブル20’を予め設定しておき、当該制御テーブル20’を用いるようにしてもよい。具体的には、カメラ制御部12は、事前に、所定の1台のロボットカメラ4−1に対応する制御テーブル20に格納されたパン・チルト値LUT(x)から、前記式(16)を用いて、他のロボットカメラ4−2のパン・チルト値LUT(x)を算出する。そして、カメラ制御部12は、他のロボットカメラ4−2のパン・チルト値LUT(x)を用いて、他のロボットカメラ4−2に対応する制御テーブル20’を設定しておく。カメラ制御部12は、複数のロボットカメラ4−1,4−2について、対応する制御テーブル20,20’を用いて姿勢情報をそれぞれ生成する。尚、3台以上のロボットカメラ4についても同様の処理を用いることができる。
【0140】
以上のように、実施例1、実施例1の変形例、実施例2、実施例2の変形例、実施例3、実施例4及び実施例5のカメラ制御装置3によれば、撮像エリア分割部10は、予め設定された規則に従い、撮像映像における撮像エリア110の画像を、所定数及び所定形状の複数のエリアの画像(分割画像)に分割する。
【0141】
被写体位置検出部11は、複数の分割画像から被写体120を検出し、被写体120の位置等を含む位置情報を生成する。
【0142】
カメラ制御部12は、制御テーブル20を用いて、位置情報に基づいてロボットカメラ4の姿勢情報等を求める。
【0143】
カメラ通信部13は、姿勢情報等を含む制御信号を生成し、制御信号をロボットカメラ4へ送信する。
【0144】
これにより、ロボットカメラ4は、制御信号に含まれる姿勢情報等に従って動作する。したがって、外部から得られる位置情報を用いることなく被写体120の位置を検出することができ、被写体120を常にロボットカメラ4の視野内に収めることができる。
【0145】
また、予め設定された制御テーブル20を用いて姿勢情報が生成されるため、ロボットカメラ4の自動制御において演算量を少なくすることができ、高速な制御を実現することができる。
【0146】
以上、実施例1等を挙げて本発明を説明したが、本発明は前記実施例1等に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。
【0147】
尚、本発明の実施例1等によるカメラ制御装置3のハードウェア構成としては、通常のコンピュータを使用することができる。カメラ制御装置3は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。
【0148】
カメラ制御装置3に備えた撮像エリア分割部10、被写体位置検出部11、カメラ制御部12及びカメラ通信部13の各機能は、これらの機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。
【0149】
これらのプログラムは、前記記憶媒体に格納されており、CPUに読み出されて実行される。また、これらのプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【0150】
1 撮像システム
2 俯瞰カメラ
3 カメラ制御装置
4 ロボットカメラ
10 撮像エリア分割部
11 被写体位置検出部
12 カメラ制御部
13 カメラ通信部
20 制御テーブル
110 撮像エリア
111,112,113,114 エリア
115 ステージ
116 取付用部材
120 被写体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15