IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2024-175295制御装置、制御方法及び制御プログラム
<>
  • 特開-制御装置、制御方法及び制御プログラム 図1
  • 特開-制御装置、制御方法及び制御プログラム 図2
  • 特開-制御装置、制御方法及び制御プログラム 図3
  • 特開-制御装置、制御方法及び制御プログラム 図4
  • 特開-制御装置、制御方法及び制御プログラム 図5
  • 特開-制御装置、制御方法及び制御プログラム 図6
  • 特開-制御装置、制御方法及び制御プログラム 図7
  • 特開-制御装置、制御方法及び制御プログラム 図8
  • 特開-制御装置、制御方法及び制御プログラム 図9
  • 特開-制御装置、制御方法及び制御プログラム 図10
  • 特開-制御装置、制御方法及び制御プログラム 図11
  • 特開-制御装置、制御方法及び制御プログラム 図12
  • 特開-制御装置、制御方法及び制御プログラム 図13
  • 特開-制御装置、制御方法及び制御プログラム 図14
  • 特開-制御装置、制御方法及び制御プログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175295
(43)【公開日】2024-12-18
(54)【発明の名称】制御装置、制御方法及び制御プログラム
(51)【国際特許分類】
   H04N 23/695 20230101AFI20241211BHJP
   H04N 23/63 20230101ALI20241211BHJP
   H04N 7/18 20060101ALI20241211BHJP
   G03B 17/18 20210101ALI20241211BHJP
【FI】
H04N23/695
H04N23/63 300
H04N7/18 E
H04N7/18 D
G03B17/18
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023092965
(22)【出願日】2023-06-06
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】渡邉 達也
【テーマコード(参考)】
2H102
5C054
5C122
【Fターム(参考)】
2H102AA71
2H102BB02
2H102BB22
2H102CA06
5C054CA04
5C054CC02
5C054CF06
5C054FE18
5C054HA19
5C122DA41
5C122EA66
5C122FA01
5C122FA18
5C122FK34
5C122FK37
5C122FK38
5C122FK39
5C122FK40
5C122FK41
5C122GC52
5C122GD06
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】
撮像装置に対して設定された動作を同期させること。
【解決手段】
制御装置は、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付ける受付手段と、前記複数の撮像装置におけるそれぞれの巡回動作の周期が前記受付手段により受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させる反映手段と、前記複数の撮像装置の巡回動作が開始するタイミングを対応させる同期手段と、を備えることを特徴とする。
【選択図】図4
【特許請求の範囲】
【請求項1】
パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付ける受付手段と、
前記複数の撮像装置におけるそれぞれの巡回動作の周期が前記受付手段により受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させる反映手段と、
前記複数の撮像装置の巡回動作が開始するタイミングを対応させる同期手段と、
を備えることを特徴とする制御装置。
【請求項2】
前記反映手段は、巡回動作の周期が前記受付手段により受け付けられた周期となるように、撮像装置の駆動時間及び駆動加速度の内の少なくともいずれかを補正する、
ことを特徴とする請求項1に記載の制御装置。
【請求項3】
前記受付手段は、撮像装置の巡回動作が開始する位置の画像を含んでおり、撮像装置の巡回動作が開始する位置の調整の可否の判断に使用可能な第一ユーザーインターフェースを表示させ、巡回動作を同期させる撮像装置の選択と、巡回動作の周期の選択とを前記第一ユーザーインターフェースから受け付ける、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項4】
前記受付手段は、基準となる撮像装置を巡回動作が開始する位置に固定し、巡回動作を開始する位置を調整する撮像装置の現在の位置から基準となる撮像装置が巡回動作を開始する位置までの動作時間を表示しており、巡回動作を開始する位置を調整する撮像装置の位置のずらし量の指定を受け付ける第二ユーザーインターフェースを表示させ、前記ずらし量を前記第二ユーザーインターフェースから受け付ける、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項5】
前記同期手段は、巡回動作を開始する位置を調整する撮像装置の位置を前記ずらし量に基づいて調整する、
ことを特徴とする請求項4に記載の制御装置。
【請求項6】
前記受付手段は、前記動作時間と、巡回動作を開始する位置を調整する撮像装置とのずれ量を示す目盛りを含む前記第二ユーザーインターフェースを表示させる、
ことを特徴とする請求項4に記載の制御装置。
【請求項7】
前記反映手段は、指定された時間でのパン・チルト位置を前記ずらし量に基づいて算出し、算出したパン・チルト位置を通過するように撮像装置の駆動時間を補正する、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項8】
前記受付手段は、修正する前記動作時間と、前記ずらし量とを更に指定させる前記第二ユーザーインターフェースを表示させる、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項9】
前記受付手段は、撮像装置が巡回動作を開始する位置の画像を少なくとも二つ表示させる、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項10】
前記受付手段は、撮像装置が巡回動作を繰り返している画像を少なくとも二つ含んでおり、少なくとも一つの撮像装置の巡回動作の経路を調整する第三ユーザーインターフェースを表示させ、少なくとも一つの撮像装置の巡回動作の経路の調整に関する指示を前記第三ユーザーインターフェースから受け付ける、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項11】
前記受付手段は、撮像装置同士の位置関係が既知である場合、位置関係が既知である撮像装置の俯瞰画像に巡回動作の軌跡を重ねた画像を含んでいる第四ユーザーインターフェースを表示させ、巡回動作を同期させる撮像装置の選択と、巡回動作の周期の選択とを前記第四ユーザーインターフェースから受け付ける、
ことを特徴とする請求項1又は請求項2に記載の制御装置。
【請求項12】
巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付け、
前記複数の撮像装置におけるそれぞれの巡回動作の周期が、受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させ、
前記複数の撮像装置の巡回動作が開始するタイミングを対応させる、
ことを特徴とする制御方法。
【請求項13】
巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付け、
前記複数の撮像装置におけるそれぞれの巡回動作の周期が、受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させ、
前記複数の撮像装置の巡回動作が開始するタイミングを対応させる、
ことを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御装置、制御方法及び制御プログラムに関する。
【背景技術】
【0002】
映像制作に用いられる撮像装置において、操作者が複数の撮像装置を操作する際の負荷を低減するために、一定の繰り返し動作を撮像装置に設定し動作させる方法が用いられている。これらの動作は、撮像装置に対して予め動作情報、例えば、パン駆動、チルト駆動、駆動時間等を記憶させておき、操作者からの繰り返し動作の開始する指示を受けることで実行される。一方、複数の撮像装置により互いに異なるアングルから被写体を撮影したい場合、当該方法では撮像装置に対して個別に繰り返し動作を設定するため、複数の撮像装置の撮影アングルや繰り返し動作の周期を合わせこむことは困難である。例えば、特許文献1では、撮像装置の動作を設定する際に、同じ位置を撮影するタイミングが同じようになるように、動作範囲から角速度を決めて設定する手法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015-26953号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1で示されている手法は、複数の撮像装置に対して同時に動作情報を設定することが可能な環境において有効であるが、予め個別に撮像装置に対して設定された動作の同期を合わせることは困難である。
【0005】
そこで、本発明は、撮像装置に対して設定された動作を同期させることを可能にする制御装置、制御方法及び制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の制御装置は、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付ける受付手段と、前記複数の撮像装置におけるそれぞれの巡回動作の周期が前記受付手段により受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させる反映手段と、前記複数の撮像装置の巡回動作が開始するタイミングを対応させる同期手段と、を備えることを特徴とする。
【発明の効果】
【0007】
本発明によれば、撮像装置に対して設定された動作を同期させることを可能にすることができる。
【図面の簡単な説明】
【0008】
図1】第一実施形態に係る撮影システムの構成の例を示す図である。
図2】第一実施形態に係る撮像装置の構成の例を示す図である。
図3】第一実施形態に係る制御装置のハードウェア構成の例を示す図である。
図4】第一実施形態に係る制御装置のソフトウェア構成の例を示す図である。
図5】第一実施形態に係る制御装置により実行される処理の例を示すフローチャートである。
図6】第一実施形態に係る表示部に表示される画面の例を示す図である。
図7】第一実施形態に係る元の巡回動作の設定及び更新後の巡回動作の設定の例を示す図である。
図8】第二実施形態に係る制御装置により実行される処理の例を示すフローチャートである。
図9】第二実施形態に係る二つの撮像装置の巡回動作の始点又は終点にずれが生じている場合に各撮像装置により取得される映像の例を示す図である。
図10】第二実施形態に係る表示部に表示される画面の例を示す図である。
図11】第二実施形態に係る制御装置により巡回動作が開始される位置が調整される処理の例を示す図である。
図12】第二実施形態に係る元の巡回動作の設定及び更新後の巡回動作の設定の例を示す図である。
図13】第三実施形態に係る制御装置により実行される処理の例を示すフローチャートである。
図14】第三実施形態に係る表示部に表示される画面の例を示す図である。
図15】第三実施形態に係る元の巡回動作の設定及び経路と、更新後の巡回動作の設定及び経路との例を示す図である。
【発明を実施するための形態】
【0009】
<第一実施形態>
第一実施形態では、予め個別に設定している情報を元に、動作を同期させたい撮像装置の新たな設定値を生成し、撮像装置に再設定し、繰り返し動作を開始する手法について述べる。なお、なお、撮像装置に対する設定は、事前に設定されていなくてもよく、新規に設定を行う場合にも適用可能である。
【0010】
図1は、第一実施形態に係る撮影システムの構成の例を示す図である。図1に示すように、撮影システムは、撮像装置100aと、撮像装置100bと、撮像装置100cと、撮像装置100dと、ネットワーク101と、制御装置102と、表示装置103とを含む。
【0011】
なお、撮像装置100a、撮像装置100b、撮像装置100c及び撮像装置100dは、全て同じ構成である。したがって、以下の説明では、適宜、撮像装置100a、撮像装置100b、撮像装置100c及び撮像装置100dの各符号の英字を省略し、撮像装置100a、撮像装置100b、撮像装置100c及び撮像装置100dをまとめて撮像装置100と表記することがある。
【0012】
ネットワーク101は、例えば、イーサネット(Ethernet)等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含む。第一実施形態では、ネットワーク101は、撮像装置100と制御装置102との間の通信を可能とする任意のネットワークであってよく、任意の規模、構成、準拠する通信規格等によって構築され得る。また、ネットワーク101は、例えば、ケーブルでシリアルに接続されRS-232(Recommended Standard 232)プロトコル等の他の通信プロトコルでの通信が可能なように構成されてもよい。
【0013】
制御装置102は、例えば、パーソナルコンピューター(PC:Personal Computer)、コントローラー等のユーザーインターフェース装置によって構成される。制御装置102は、ユーザーが撮像装置100a、撮像装置100b、撮像装置100c及び撮像装置100dの中から設定する対象を選択し、選択した撮像装置100の巡回動作の設定を行うことを可能にしている。ここで、巡回動作とは、撮像装置の撮像方向をパン方向やチルト方向に変更することによって、その撮像装置によって撮像される撮像領域を、事前に複数設定することで実現される。巡回動作を設定された撮像装置は、巡回動作の開始指示が行われると、事前に設定された複数の撮像領域を順次撮像するようにパン方向及びチルト方向に撮像方向を変更する。また、巡回動作を設定された撮像装置は、事前に設定された複数の撮像位置を順次撮像する一連の動作を所定の周期で繰り返す。なお、設定された複数の撮像領域において、パン駆動及びチルト駆動を所定の時間だけ停止するようにしてもよいし、設定された複数の撮像領域において、停止しない(通過する)ようにしてもよい。
【0014】
表示装置103は、映像を表示するためのモニタ、撮像装置100とモニタを接続するためのケーブル、スイッチ等を含む。また、当該ケーブルが満たしている通信規格としては、例えば、SDI(Serial Digital Interface)、HDMI(High-Definition Multimedia Interface)(登録商標)が挙げられる。
【0015】
図2は、第一実施形態に係る撮像装置の構成の例を示す図である。撮像装置100は、撮像部200と、画像処理部201と、演算処理部202と、駆動制御部203と、パン駆動部204と、チルト駆動部205と、通信部206と、映像出力部207と、記憶部208とを含む。
【0016】
撮像部200は、光を結像するためのレンズ部と、結像された光に応じたアナログ信号変換する撮像素子と、アナログ信号をデジタル信号に変換して後段の回路に出力するアナログ-デジタル変換回路とを含む。レンズ部は、画角を調整するズーム機能、光量の調整を行う絞り機能等を有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部201から通知された設定値に基づいて調整される。撮像部200によって取得されたアナログ信号は、アナログ-デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部201へ転送される。
【0017】
画像処理部201は、画像処理エンジン及びその周辺デバイス等を含む。周辺デバイスは、例えば、RAM(Random Access Memory)、各I/Fのドライバ等を含む。画像処理部201は、撮像部200から取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の画像処理を施して画像データを生成する。また、画像処理部201は、レンズ部や撮像素子へ設定値を送信し、適切な露出画像を取得できるように、露出調整を実行し得る。画像処理部201において生成された画像データは、演算処理部202へ転送される。
【0018】
演算処理部202は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)等の一つ以上のプロセッサ、RAM、ROM(Read Only Memory)等のメモリ、各I/Fのドライバ等を含む。演算処理部202は、画像処理部201から受け取った画像を映像出力部207へ送信する。また、演算処理部202は制御装置102から受信した巡回動作情報を記憶部208に記録し、巡回動作の開始の指示を受信すると、その巡回動作の情報を駆動制御部203へと転送する。巡回動作は、特定の位置に固定されている場合に撮像装置100が視野を移動させたり、特定の範囲内で移動することが可能である場合に撮像装置100が移動したり、撮像装置が視野を移動させたりする動作である。巡回動作情報は、巡回動作に関する情報である。
【0019】
駆動制御部203は、MPU、専用コントローラー等の一つ以上のプロセッサ、RAMやROM等のメモリ、各I/Fのドライバ等を含む。駆動制御部203は、演算処理部202から受信した巡回動作情報をパン駆動に関する情報とチルト駆動に関する情報とに分解し、パン駆動部204及びチルト駆動205の動作を制御する。
【0020】
なお、画像処理部201、演算処理部202及び駆動制御部203は、図2では別々のハードウェアとして記載されているが、これに限定されない。画像処理部201、演算処理部202及び駆動制御部203は、例えば、一つのCPU、MPU等により実現されてもよい。
【0021】
パン駆動部204及びチルト駆動部205は、駆動用のモータ、例えば、超音波モータ、ステッピングモータ等を含む。パン駆動部204及びチルト駆動部205は、駆動制御部203から受信した情報に基づいて撮像部200の向きを変更する。
【0022】
通信部206は、例えば、イーサネット等の通信規格を満たすコントローラー等で構成される。通信部206は、ネットワーク101を介して、制御装置102から撮像装置100に対する巡回動作情報を受信する。
【0023】
映像出力部207は、例えば、SDI、HDMI等の通信規格を満たすコントローラー等を含む。映像出力部207は、演算処理部202から受信した映像データを対応した通信規格のプロトコルに変換し、表示装置103へ出力する。
【0024】
記憶部208は、RAMやROM等のメモリを含む。記憶部208は、演算処理部202からの指示に応じて、巡回動作情報の書き込み、読み出し処理を実行する。
【0025】
図3は、第一実施形態に係る制御装置のハードウェア構成の例を示す図である。図3に示すように、制御装置102は、CPU1021と、ROM1022と、RAM1023と、ストレージ1024と、入出力I/F1025と、バス1026とを含む。
【0026】
CPU1021は、プログラムを読み出して実行することにより、図4に示した機能を実行する。ROM1022は、図4に示した機能を実現するプログラムを記憶している。RAM1023は、CPU1021がROM1022から読みだしたプログラムを展開して実行する際に使用する。ストレージ1024は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)であり、ファイル、データ等が保存される。入出力I/F1025は、複数のインターフェースを含んでおり、マウス、キーボード等の入力装置、ディスプレイ、スピーカ等の出力装置が接続される。バス1026は、CPU1021と、ROM1022と、RAM1023と、ストレージ1024と、入出力I/F1025とを互いに通信可能な態様で接続している。
【0027】
図4は、第一実施形態に係る制御装置のソフトウェア構成の例を示す図である。図4に示すように、制御装置102は、受付部1027と、反映部(設定部)1028と、同期部1029とを含む。受付部1027は、巡回動作を同期させる撮像装置100の選択と、巡回動作の周期の選択(指定)とを受け付ける。反映部1028は、巡回動作の周期が受付部1027により受け付けられた周期となるように、撮像装置100の駆動時間及び駆動加速度の少なくとも一方を補正し、各撮像装置100に反映させる(設定する)。同期部1029は、各撮像装置100の巡回動作が開始するタイミングを一致させることにより各撮像装置100の巡回動作を同期させる。なお、巡回動作を開始するタイミングは必ずしも完全に一致させる必要はなく、数秒以内の短い時間であれば、ずれていてもよい。少なくとも各撮像装置100の巡回動作が開始するタイミングがそれぞれ対応していればよい。
【0028】
また、受付部1027は、撮像装置100の巡回動作が開始する位置の画像を含んでおり、撮像装置100の巡回動作が開始する位置の調整の可否の判断に使用可能な第一ユーザーインターフェースを表示させる。そして、受付部1027は、巡回動作を同期させる撮像装置100の選択と、巡回動作の周期の選択とを第一ユーザーインターフェースから受け付ける。
【0029】
また、受付部1027は、撮像装置100が巡回動作を開始する位置の画像を少なくとも二つ表示させる。
【0030】
以下、第一実施形態に係る受付部1027、反映部1028及び同期部1029の具体的な例について説明する。
【0031】
図5は、第一実施形態に係る制御装置により実行される処理の例を示すフローチャートである。具体的には、図5は、予め個別に撮像装置に対して設定された動作の同期を合わせるための処理の概略を示している。また、図5に示した処理は、図1に示した撮像装置100a、撮像装置100b、撮像装置100c及び撮像装置100dのうち撮像装置100a及び撮像装置100bの巡回動作を同期させる場合の例を示している。なお、巡回動作におけるパン方向やチルト方向は必ずしも同期させる必要はなく、少なくとも周期を同期すればよい。
【0032】
通常、ユーザーが想定するカメラワークを実現するために、撮像装置100a及び撮像装置100bに巡回動作を設定する場合、人手での作業となるため、撮像装置100aの巡回動作の周期と、撮像装置100bの巡回動作の周期との間にずれが生じてしまう。このずれは、巡回動作を繰り返す程、顕著に映像に現れる。図5に示した処理は、巡回動作が開始される前に、このずれを抑制することが目的である。
【0033】
ステップS300において、制御装置102は、撮像装置100aに対する巡回動作の設定をユーザーから受け付け、受け付けた設定を撮像装置100aに記録する。
【0034】
ステップS301において、制御装置102は、撮像装置100bに対する巡回動作の設定をユーザーから受け付け、受け付けた設定を撮像装置100bに記録する。
【0035】
図6は、第一実施形態に係る表示部に表示される画面の例を示す図である。具体的には、図6は、ユーザーに対して表示されるグラフィカルユーザーインターフェース(GUI:Graphical User Interface)の例を示している。図6に示した表示部400は、映像領域401と、映像領域402と、映像領域403と、映像領域404と、同期選択ユーザーインターフェース(UI:User Interface)と、周期選択UI406とを含む。
【0036】
映像領域401は、撮像装置100aにより取得された映像が表示される。同様に、映像領域402は、撮像装置100bにより取得された映像が表示される。また、映像領域403は、撮像装置100cにより取得された映像が表示される。また、映像領域404は、撮像装置100dにより取得された映像が表示される。同期選択UI405は、ユーザーが巡回動作を同期させる撮像装置を選択するためのUIである。同期選択UI405は、例えば、図6に示すように、チェックボックスなどで選択できるように構成される。また、同期選択UI405は、表示装置103に接続される撮像装置100の数に応じて、チェックボックスを増やしたり、プルダウン等により撮像装置100を表示したりしてもよい。
【0037】
ステップS302において、受付部1027は、巡回動作を同期させる撮像装置100の選択を受け付ける。例えば、受付部1027は、巡回動作を同期させる撮像装置100a及び撮像装置100bの選択を同期選択UI405を介して受け付ける。この場合、ユーザーは、同期選択UI405の「カメラA」のチェックボックス及び「カメラB」のチェックボックスにチェックを入れる。
【0038】
ステップS303において、制御装置102は、ユーザーにより選択された撮像装置100に設定された巡回動作情報を演算処理部202を介して記憶部208から取得する。例えば、制御装置102は、ユーザーにより選択された撮像装置100aに設定された巡回動作情報及び撮像装置100bに設定された巡回動作情報を取得する。また、この場合、制御装置102は、撮像装置100aの巡回動作の周期情報を図6に示した「カメラAを基準(〇〇秒)」の部分に反映させ、撮像装置100bの巡回動作の周期情報を図6に示した「カメラAを基準(××秒)」の部分に反映させる。
【0039】
ステップS304において、受付部1027は、巡回動作の周期の選択を受け付ける。例えば、受付部1027は、図6に示した「カメラA」の巡回動作の周期と、図6に示した「カメラB」の巡回動作の周期と、新たに指定された値(△△秒)との中から基準として選択(指定)された周期を周期選択UI406を介して受け付ける。
【0040】
ステップS305において、反映部1028は、巡回動作の周期が受付部1027により受け付けられた周期となるように、撮像装置100の駆動時間及び駆動加速度の少なくとも一方を補正し、各撮像装置100に反映させる。例えば、制御装置102は、ユーザーにより基準として選択された周期に合わせて、撮像装置100aから取得された巡回動作情報を更新し、更新した巡回動作情報を撮像装置100aに反映させる。同様に、制御装置102は、ユーザーにより基準として選択された周期に合わせて、撮像装置100bから取得された巡回動作情報を更新し、更新した巡回動作情報を撮像装置100bに反映させる。
【0041】
図7は、第一実施形態に係る元の巡回動作の設定及び更新後の巡回動作の設定の例を示す図である。具体的には、図7は、撮像装置100に予め設定されていた巡回動作情報の設定情報(元の巡回設定)と、S304でユーザーが選択した基準周期に合わせて巡回動作を更新した後の設定情報(更新後の巡回設定)を示している。巡回動作情報は、パン方向への駆動加速度、チルト方向への駆動加速度、これら二つの加速度条件での駆動時間の三つの設定値によって構成されている。また、図7は、元の巡回設定の周期が12.0であり、ステップS304でユーザーにより選択された基準となる周期が10.0秒である場合の例を示している。図7の例においては、巡回動作における各撮像領域で停止しない例を示している。つまり、撮像方向がパン方向及び/又はチルト方向に変更されて、各撮像領域に達すると即座に次の撮像領域に向けて、撮像方向が次の撮像領域へと変更されるように巡回動作が行われる。この場合、駆動時間の合計がその巡回動作の周期となる。
【0042】
また、本実施形態の例では、巡回動作は、一周期の動作の始点と終点が同じであるため、更新する前後の一周期の時間に反比例するように、パン駆動加速度及びチルト駆動加速度を更新するとよい。図7に示した場合、一周期の駆動時間が0.83倍になっているため、パン駆動加速度及びチルト駆動加速度を1.2倍とすることにより、巡回動作を損なうことなく、基準となる周期に合わせることができる。
【0043】
ステップS306において、同期部1029は、各撮像装置100の巡回動作が開始するタイミングを一致させることにより各撮像装置100の巡回動作を同期させる。例えば、同期部1029は、巡回動作開始のタイミングを撮像装置100a及び撮像装置100bに設定する。巡回動作を開始するタイミングを設定する方法としては、例えば、現在の時刻から巡回動作を開始するまでの時間を設定する方法、巡回動作を開始する時刻を設定する方法等が挙げられる。
【0044】
ステップS307において、制御装置102は、撮像装置100aの巡回動作及び撮像装置100bの巡回動作を開始させる。また、制御装置102は、ステップS305において、撮像装置100aの巡回動作の周期と、撮像装置100bの巡回動作の周期とを合わせこんでいるため、撮像装置100aの巡回動作と、撮像装置100bの巡回動作とを同期させることができる。
【0045】
<第二実施形態>
第二実施形態では、第一実施形態と異なり、予め個別に設定されている巡回動作の開始位置がずれている場合について述べる。撮像装置100は、ユーザーからの指示に基づいて制御装置102により巡回動作を設定する前においては、直前の使用状況に応じて様々な方向を向いている。ユーザーが想定するカメラワークを実現するために制御装置102により巡回動作が設定された場合、人手での作業となるため、各撮像装置100の巡回動作の始点及び終点の少なくとも一方が相対的にずれてしまうことがある。第二実施形態に係る制御装置102は、第一実施形態に係る制御装置102により実行される処理に加え、上述したずれを巡回動作が開始する前に抑制することを目的としている。
【0046】
なお、第二実施形態の説明では、第一実施形態と異なる部分を主に説明し、第一実施形態と同じ部分の説明を適宜省略する。また、第二実施形態の説明では、第一実施形態と同じ要素には第一実施形態と同じ符号を付す。
【0047】
図8は、第二実施形態に係る制御装置により実行される処理の例を示すフローチャートである。図8に示したステップS301~ステップS304は、第一実施形態に係るステップS301~ステップS304と同じである。
【0048】
ステップS600において、制御装置102は、ユーザーにより選択された基準となる周期に合わせて、撮像装置100a及び撮像装置100bから取得した巡回動作情報の更新までを実行する。ここまでは、第一実施形態と同じ処理であるが、第一実施形態では以降の処理が追加される。
【0049】
ステップS601において、制御装置102は、更新後の巡回設定を反映部1028により撮像装置100a及び撮像装置100bに反映させた後、パン位置及びチルト位置を巡回動作の開始位置に移動させる。この時、第二実施形態で想定している巡回動作の始点及び終点の少なくとも一方に相対的なずれが生じている場合、図9に示したような映像が映像領域401と402に表示される。図9は、第二実施形態に係る二つの撮像装置の巡回動作の始点又は終点にずれが生じている場合に各撮像装置により取得される映像の例を示す図である。
【0050】
撮像装置100a及び撮像装置100bは、異なるアングルから同一の被写体を撮影している。このため、撮像装置100aの始点と撮像装置100bの始点とは、同一の被写体が画角内で同一の位置に映っている場合に、ずれが無い状態となる。制御装置102は、ステップS601において、巡回動作の開始位置にパン位置及びチルト位置を移動させることにより、図7に示したずれが生じている映像をユーザー視覚的に確認させることができる。
【0051】
ステップS602において、制御装置102は、巡回動作を開始してよいか否かを判定する。制御装置102は、巡回動作を開始してよいと判定した場合、処理をステップS604に進める。一方、制御装置102は、巡回動作を開始してよいと判定しなかった場合、処理をステップS603に進める。例えば、制御装置102は、映像領域401に表示されている映像と映像領域402に表示されている映像との間にずれが生じていることを示す情報がユーザーにより入力された場合、巡回動作を開始してよいと判定しない。また、例えば、制御装置102は、制御装置102は、映像領域401に表示されている映像と映像領域402に表示されている映像との間にずれが生じていないことを示す情報がユーザーにより入力された場合、巡回動作を開始してよいと判定する。
【0052】
図10は、第二実施形態に係る表示部に表示される画面の例を示す図である。具体的には、図10は、巡回動作の開始位置を調整する場合に、ユーザーに対して制御装置102により表示されるGUIの例を示している。図10に示すように、表示部400は、映像領域401と、映像領域402と、映像領域403と、映像領域404と、巡回開始選択UI800と、巡回動作制御UI801とを含む。
【0053】
巡回開始選択UI800は、開始位置を調整する撮像装置100をユーザーに選択させるUIと、巡回動作の駆動時間から開始位置のずらし量を設定するためのUIとを含む。第二実施形態においては、撮像装置100bの巡回動作の開始位置を調整する場合を示すため、巡回開始選択UI800のカメラBのチェックボックスにチェックが入れられている。ユーザーは、巡回動作の開始位置を、駆動時間を見ながら決定し、カメラBの補正値(〇〇秒)として巡回開始選択UI800に入力する。
【0054】
巡回動作制御UI801は、巡回開始選択UI800で選択された撮像装置100の巡回動作を制御するためのボタン等を含む。巡回動作制御UI801は、例えば、図10に示すように、左から、巻き戻し、再生、一時停止、早送り等の機能を持ったボタンが配置されている。なお、第二実施形態においては、GUIから調整する場合を想定しているが、例えば、制御装置102がコントローラー等で構成されている場合には、コントローラー上の物理ボタンに上述した機能を割り振って構成してもよい。
【0055】
図11は、第二実施形態に係る制御装置により巡回動作が開始される位置が調整される処理の例を示す図である。ステップS601において、制御装置102は、パン位置及びチルト位置を巡回動作が開始する位置に移動させる。例えば、制御装置102は、図11(a)の左側に示した映像を映像領域401に表示し、図11(b)の右側に示した映像を映像領域402に表示する。そして、ユーザーは、巡回動作制御UI801のボタンを操作して撮像装置100bの巡回動作を制御し、映像領域401に表示されている映像及び映像領域402に表示されている映像が図11(b)のような状態になるまで調整を行う。
【0056】
ステップS603において、制御装置102は、撮像装置100bの巡回動作が初期位置から駆動した時間を表示する。ユーザーは、この表示値を巡回動作の開始位置の補正値として、巡回開始選択UI800へ入力することで、撮像装置100bから取得していた巡回情報を更新する。
【0057】
図12は、第二実施形態に係る元の巡回動作の設定及び更新後の巡回動作の設定の例を示す図である。第一実施形態に係る巡回情報に追加して、第二実施形態においては、初期パン・チルト位置の情報が巡回情報に含まれている。また、図12は、説明の補助として、駆動順序の欄が追加されている。予め設定されている巡回動作は、元の巡回設定に記載されている1→2→3→4の順序で巡回し、再び1に戻って巡回する動作である。
【0058】
巡回動作の開始位置を1.0秒ずらすようにユーザーから設定された場合、まず、指定された駆動時間を含む駆動期間で、巡回情報を分割する。第二実施形態においては、図12に示すように、駆動順序1の3.3秒の駆動期間を、1.0秒(駆動順序1-1)と2.3秒(駆動順序1-2)の2つの駆動期間に分割する。次に、開始位置を1.0秒後にずらしたいため、駆動順序1-2の駆動期間のスタートを初期パン・チルト位置へと更新する。その際の新たな初期パン・チルト位置は、1.0秒の期間のパン・チルト駆動加速度から算出することができる。第二実施形態においては、図12に示すように、(0,0)の位置から(+1.2,+2.4)の位置に更新される。最終的に、図12に示した元の巡回設定は、更新後の巡回設定に変更され、駆動順序は1-2→2→3→4→1-1に更新される。
【0059】
ステップS604において、反映部1028は、ステップS600とステップS603で更新された巡回動作情報をまとめて撮像装置100a及び撮像装置100bに反映する。
【0060】
以降の処理であるステップS306及びステップS307は、第一実施形態に係るステップS306及びステップS307と同じである。
【0061】
<第三実施形態>
第三実施形態においては、ユーザーによって設定された巡回経路が撮像装置100同士の間でずれてしまっている場合について述べる。ユーザーが想定するカメラワークを実現するために制御装置102により巡回動作が設定された場合、人手での作業となるため、各撮像装置100の巡回動作の経路が意図せずずれてしまうことがある。第三実施形態に係る制御装置102は、第一実施形態に係る制御装置102及び第二実施形態に係る制御装置102では抑制できない巡回動作の経路のずれを抑制することを目的としている。
【0062】
なお、第三実施形態の説明では、第一実施形態及び第二実施形態と異なる部分を主に説明し、第一実施形態及び第二実施形態と同じ部分の説明を適宜省略する。また、第三実施形態の説明では、第一実施形態及び第二実施形態と同じ要素には第一実施形態及び第二実施形態と同じ符号を付す。
【0063】
第三実施形態では、受付部1027は、基準となる撮像装置100を巡回動作が開始する位置に固定しする。次に、受付部1027は、動作時間を表示しており、巡回動作を開始する位置を調整する撮像装置100の位置のずらし量の指定を受け付ける第二ユーザーインターフェースを表示させる。この動作時間は、巡回動作を開始する位置を調整する撮像装置100の現在の位置から基準となる撮像装置100が巡回動作を開始する位置まで動作する時間である。そして、受付部1027は、ずらし量を第二ユーザーインターフェースから受け付ける。
【0064】
また、第三実施形態では、同期部1029は、巡回動作を開始する位置を調整する撮像装置100の位置をずらし量に基づいて調整する。
【0065】
また、第三実施形態では、受付部1027は、動作時間と、巡回動作を開始する位置を調整する撮像装置100とのずれ量を示す目盛りを含む第二ユーザーインターフェースを表示させる。
【0066】
また、第三実施形態では、反映部1028は、指定された時間でのパン・チルト位置をずらし量に基づいて算出し、算出したパン・チルト位置を通過するように撮像装置100の駆動時間を補正する。
【0067】
なお、第三実施形態では、受付部1027は、修正する動作時間と、ずらし量とを更に指定させる第二ユーザーインターフェースを表示させてもよい。
【0068】
以下、第一実施形態に係る受付部1027、反映部1028及び同期部1029の具体的な例について説明する。
【0069】
図13は、第三実施形態に係る制御装置により実行される処理の例を示すフローチャートである。図13に示したステップS301~ステップS304、ステップS306、ステップS307及びステップS600~ステップS604は、第二実施形態と同じである。
【0070】
ステップS1100において、制御装置102は、巡回動作情報の更新が撮像装置100a及び撮像装置100bに反映された後、撮像装置100a及び撮像装置100bに巡回動作を継続させる。
【0071】
巡回経路がずれていた場合、図9に示すように、あるタイミングで被写体がずれて表示される。ステップS1101において、制御装置102は、撮像装置100aの巡回動作及び撮像装置100bの巡回動作が継続している時に、巡回経路がずれていることをユーザーが確認した場合、撮像装置100a及び撮像装置100bの少なくとも一方に巡回動作の修正を指示する。
【0072】
図14は、第三実施形態に係る表示部に表示される画面の例を示す図である。具体的には、図14は、巡回動作の開始位置を調整する場合に、制御装置102によりユーザーに対して表示されるGUIの例を示している。図14に示すように、表示部400は、映像領域401と、映像領域402と、映像領域403と、映像領域404と、同期選択UI405と、巡回経路調整用UI1200とを含む。
【0073】
巡回経路調整用UI1200は、巡回経路を調整する撮像装置を選択するUIと、調整方向を選択して入力するためのUIとを含む。第三実施形態においては、縦方向及び横方向への調整をするための例を示している。ユーザーが調整する方向を選択することで、図14に含まれている拡大図のように、調整の補助となる補助目盛り等を表示する。また、図14に含まれている拡大図のように、横方向の調整をする際は縦方向の補助目盛りを表示し、縦方向の調整をする際は横方向の補助目盛りを表示する等、ユーザーの調整の仕方に応じて確認し易いUIを表示するのが好ましい。
【0074】
ステップS1102において、ユーザーは、図14を示すように、駆動時間1.0秒(〇〇秒)の時に、左方向に2タップ(+△タップ)ずらすように、調整方向を入力する。
【0075】
図15は、第三実施形態に係る元の巡回動作の設定及び経路と、更新後の巡回動作の設定及び経路との例を示す図である。図15に含まれている表は、図7に示した表の項目に加え、説明の補足として始点及び終点を示している。また、図15に含まれている経路のイメージは、元の巡回設定を実線で示しており、更新後の巡回設定を破線で示している。
【0076】
また、図15は、元の巡回設定では、4.0秒の駆動時間で位置Aから位置Bに駆動する巡回設定に対して、1.0秒の時点で位置Cを通るように、巡回経路調整用UI1200で設定された場合を示している。この場合、元の巡回設定の駆動時間4.0秒を、1.0秒と3.0秒に分割し、位置Cを通るようにそれぞれの駆動期間のパン駆動加速度及びチルト駆動加速度を算出し、更新後の巡回設定として使用する。なお、図15では、位置Cを通るような直線的な駆動を例に示しているが、位置Aと位置Cとの間及び位置Cと位置Bとの間の少なくとも一方を更に分割し、より滑らかな巡回経路になるようにするのが好ましい。
【0077】
ステップS604において、反映部1028は、ステップS1102で更新した巡回動作情報を撮像装置100に反映する。
【0078】
以上、第一実施形態、第二実施形態及び第三実施形態について説明した。ただし、制御装置102は、これら三つの実施形態と異なる処理を実行してもよい。
【0079】
例えば、受付部1027は、撮像装置100が巡回動作を繰り返している画像を少なくとも二つ含んでおり、少なくとも一つの撮像装置100の巡回動作の経路を調整する第三ユーザーインターフェースを表示させてもよい。そして、受付部1027は、少なくとも一つの撮像装置100の巡回動作の経路の調整に関する指示を第三ユーザーインターフェースから受け付ける。
【0080】
或いは、受付部1027は、撮像装置100同士の位置関係が既知である場合、位置関係が既知である撮像装置100の俯瞰画像に巡回動作の軌跡を重ねた画像を含んでいる第四ユーザーインターフェースを表示させてもよい。そして、受付部1027は、巡回動作を同期させる撮像装置100の選択と、巡回動作の周期の選択とを第四ユーザーインターフェースから受け付ける。
【0081】
なお、本発明は、上述した内容を適宜組み合わせた下記のような発明を含む。
【0082】
(構成1)
パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付ける受付手段と、前記複数の撮像装置におけるそれぞれの巡回動作の周期が前記受付手段により受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させる反映手段と、前記複数の撮像装置の巡回動作が開始するタイミングを対応させる同期手段と、を備えることを特徴とする制御装置。
【0083】
(構成2)
前記反映手段は、巡回動作の周期が前記受付手段により受け付けられた周期となるように、撮像装置の駆動時間及び駆動加速度の内の少なくともいずれかを補正する、ことを特徴とする構成1に記載の制御装置。
【0084】
(構成3)
前記受付手段は、撮像装置の巡回動作が開始する位置の画像を含んでおり、撮像装置の巡回動作が開始する位置の調整の可否の判断に使用可能な第一ユーザーインターフェースを表示させ、巡回動作を同期させる撮像装置の選択と、巡回動作の周期の選択とを前記第一ユーザーインターフェースから受け付ける、ことを特徴とする構成1又は構成2に記載の制御装置。
【0085】
(構成4)
前記受付手段は、基準となる撮像装置を巡回動作が開始する位置に固定し、巡回動作を開始する位置を調整する撮像装置の現在の位置から基準となる撮像装置が巡回動作を開始する位置までの動作時間を表示しており、巡回動作を開始する位置を調整する撮像装置の位置のずらし量の指定を受け付ける第二ユーザーインターフェースを表示させ、前記ずらし量を前記第二ユーザーインターフェースから受け付ける、ことを特徴とする構成1から構成3のいずれか一つに気の制御装置。
【0086】
(構成5)
前記同期手段は、巡回動作を開始する位置を調整する撮像装置の位置を前記ずらし量に基づいて調整する、ことを特徴とする構成4に記載の制御装置。
【0087】
(構成6)
前記受付手段は、前記動作時間と、巡回動作を開始する位置を調整する撮像装置とのずれ量を示す目盛りを含む前記第二ユーザーインターフェースを表示させる、ことを特徴とする構成4又は構成5に記載の制御装置。
【0088】
(構成7)
前記反映手段は、指定された時間でのパン・チルト位置を前記ずらし量に基づいて算出し、算出したパン・チルト位置を通過するように撮像装置の駆動時間を補正する、ことを特徴とする構成4から構成6のいずれか一つに記載の制御装置。
【0089】
(構成8)
前記受付手段は、修正する前記動作時間と、前記ずらし量とを更に指定させる前記第二ユーザーインターフェースを表示させる、ことを特徴とする構成4から構成7のいずれか一つに記載の制御装置。
【0090】
(構成9)
前記受付手段は、撮像装置が巡回動作を開始する位置の画像を少なくとも二つ表示させる、ことを特徴とする構成1から構成8のいずれか一つに記載の制御装置。
【0091】
(構成10)
前記受付手段は、撮像装置が巡回動作を繰り返している画像を少なくとも二つ含んでおり、少なくとも一つの撮像装置の巡回動作の経路を調整する第三ユーザーインターフェースを表示させ、少なくとも一つの撮像装置の巡回動作の経路の調整に関する指示を前記第三ユーザーインターフェースから受け付ける、ことを特徴とする構成1から構成9のいずれか一つに記載の制御装置。
【0092】
(構成11)
前記受付手段は、撮像装置同士の位置関係が既知である場合、位置関係が既知である撮像装置の俯瞰画像に巡回動作の軌跡を重ねた画像を含んでいる第四ユーザーインターフェースを表示させ、巡回動作を同期させる撮像装置の選択と、巡回動作の周期の選択とを前記第四ユーザーインターフェースから受け付ける、ことを特徴とする構成1から構成10のいずれか一つに記載の制御装置。
【0093】
(方法1)
巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付け、前記複数の撮像装置におけるそれぞれの巡回動作の周期が、受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させ、前記複数の撮像装置の巡回動作が開始するタイミングを対応させる、ことを特徴とする制御方法。
【0094】
(プログラム1)
巡回動作を同期させる複数の撮像装置の選択と、当該巡回動作の周期の指定とを受け付け、前記複数の撮像装置におけるそれぞれの巡回動作の周期が、受け付けられた前記周期となるように、前記複数の撮像装置の内の少なくともいずれかの巡回動作の設定における、パン方向及びチルト方向の内の少なくともいずれかに撮像方向を動かす駆動時間を補正し、当該補正された設定を当該撮像装置に反映させ、前記複数の撮像装置の巡回動作が開始するタイミングを対応させる、ことを特徴とする制御プログラム。
【0095】
<その他の実施形態>
本発明は、上述した実施形態の一つ以上の機能を実現するプログラムをネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、一つ以上の機能を実現する回路、例えば、ASIC(Application Specific Integrated Circuit)によっても実現可能である。
【0096】
以上、本発明の好適な実施形態について説明した。ただし、本発明は、上述した実施形態に限定されるものではない。すなわち、本発明は、本発明の趣旨に基づき種々の変形が施された実施形態を含んでおり、これらの実施形態を本発明の範囲から除外していない。
【符号の説明】
【0097】
100a~100d:撮像装置、101:ネットワーク、102:制御装置、103:表示装置、400:表示部、401~404:映像領域、405:同期選択UI、406:周期選択UI
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15