(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6626669
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】カメラ制御システム、及び、カメラ制御方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20191216BHJP
H04N 5/222 20060101ALI20191216BHJP
H04N 7/18 20060101ALI20191216BHJP
G03B 15/00 20060101ALI20191216BHJP
G03B 17/00 20060101ALI20191216BHJP
【FI】
H04N5/232 990
H04N5/222 100
H04N7/18 E
H04N7/18 G
G03B15/00 S
G03B15/00 P
G03B17/00 B
【請求項の数】6
【全頁数】13
(21)【出願番号】特願2015-175059(P2015-175059)
(22)【出願日】2015年9月4日
(65)【公開番号】特開2017-50829(P2017-50829A)
(43)【公開日】2017年3月9日
【審査請求日】2018年8月28日
(73)【特許権者】
【識別番号】000233295
【氏名又は名称】株式会社日立情報通信エンジニアリング
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜特許業務法人
(72)【発明者】
【氏名】大本 馨
(72)【発明者】
【氏名】帷子 京市郎
(72)【発明者】
【氏名】有山 一郎
【審査官】
大西 宏
(56)【参考文献】
【文献】
特開平05−107629(JP,A)
【文献】
特開平06−236209(JP,A)
【文献】
特開平07−181365(JP,A)
【文献】
特開2006−229322(JP,A)
【文献】
特開2010−147715(JP,A)
【文献】
特開2011−124614(JP,A)
【文献】
特開2011−259285(JP,A)
【文献】
特開2012−198802(JP,A)
【文献】
特開2015−080186(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
H04N 7/18
G03B 15/00 −15/035
G03B 15/06 −15/16
G03B 17/00
G03B 17/26 −17/34
G03B 17/38 −17/46
(57)【特許請求の範囲】
【請求項1】
レーザセンサと、カメラと、制御装置が各々接続され、前記レーザセンサにより対象物の位置を検知し、前記カメラによりその対象物を撮影するカメラ制御システムであって、
一定時間毎に前記対象物の位置を検出する対象検出部と、
前記対象物の位置情報を測定する位置情報測定部と、
前記対象物のカメラの撮影上の画角幅と倍率を演算し、条件によってカメラ制御の契機を判定するカメラ画角・倍率判定部と、
前記カメラに対して、パン・チルト制御と、ズーム倍率の制御をおこなうカメラ動作指示部とを備え、
前記カメラ画角・倍率判定部は、前記対象物の位置と前記カメラの設置位置から、カメラと対象物の距離を演算し、前記カメラと対象物の距離とカメラの画角から、前記画角幅を演算し、
前記カメラ画角・倍率判定部は、前記対象物が、前記画角幅の端から所定の割合いで引かれるカメラ制御ラインを超えたか否かを判定し、
前記カメラ動作指示部は、前記画角幅の端から所定の割合いで引かれるカメラ制御ラインを超えたときに、前記対象物が画角の中心となるように、前記カメラに対して、パン・チルト制御をおこない、
前記カメラ画角・倍率判定部は、前記カメラと対象物の距離と前記画角幅と前記カメラのイメージセンサの横幅と前記カメラの焦点距離から、倍率を演算し、
前記カメラ画角・倍率判定部は、前記対象物が、記憶されている過去の倍率と、現在の倍率が所定の差以上になるか否かを判定し、
前記カメラ動作指示部は、前記対象物が、記憶されている過去の倍率と、現在の倍率が所定の差以上になるときに、前記カメラに対して、現在の倍率になるように、ズーム倍率の制御をおこなうことを特徴とするカメラ制御システム。
【請求項2】
前記位置情報測定部は、過去の対象物の動きベクトルから、所定時間経過後の対処物の位置を予測し、前記対象物の位置を求めることを特徴とする請求項1記載のカメラ制御システム。
【請求項3】
さらに、前記位置情報測定部は、前記カメラが、単位角度分パン・チルトをおこなう時間tPTと、カメラのパン・チルトをおこなうための初動時間TPTを保持し、A度のパン・チルトをおこなうときに、A・tPT+TPT分の時間を入れて、前記対象物の位置を求めることを特徴とする請求項2記載のカメラ制御システム。
【請求項4】
レーザセンサと、カメラと、制御装置が各々接続され、前記レーザセンサにより対象物の位置を検知し、前記カメラによりその対象物を撮影するカメラ制御システムのカメラ制御方法であって、
前記カメラ制御システムは、
一定時間毎に前記対象物の位置を検出する対象検出部と、
前記対象物の位置情報を測定する位置情報測定部と、
前記対象物のカメラの撮影上の画角幅と倍率を演算し、条件によってカメラ制御の契機を判定するカメラ画角・倍率判定部と、
前記カメラに対して、パン・チルト制御と、ズーム倍率の制御をおこなうカメラ動作指示部とを備え、
前記カメラ画角・倍率判定部が、前記対象物の位置と前記カメラの設置位置から、カメラと対象物の距離を演算し、前記カメラと対象物の距離とカメラの画角から、前記画角幅を演算するステップと、
前記カメラ画角・倍率判定部が、前記対象物が、前記画角幅の端から所定の割合いで引かれるカメラ制御ラインを超えたか否かを判定するステップと、
前記カメラ動作指示部が、前記対象物が、前記画角幅の端から所定の割合いで引かれるカメラ制御ラインを超えたときに、前記対象物が画角の中心となるように、前記カメラに対して、パン・チルト制御をおこなうステップと、
前記カメラ画角・倍率判定部が、前記カメラと対象物の距離と前記画角幅と前記カメラのイメージセンサの横幅と前記カメラの焦点距離から、倍率を演算するステップと、
前記カメラ画角・倍率判定部が、前記対象物が、記憶されている過去の倍率と、現在の倍率が所定の差以上になるか否かを判定するステップと、
前記カメラ動作指示部が、前記対象物が、記憶されている過去の倍率と、現在の倍率が所定の差以上になるときに、前記カメラに対して、現在の倍率になるように、ズーム倍率の制御をおこなうステップとを有することを特徴とするカメラ制御方法。
【請求項5】
前記位置情報測定部は、過去の対象物の動きベクトルから、所定時間経過後の対処物の位置を予測し、前記対象物の位置を求めることを特徴とする請求項4記載のカメラ制御方法。
【請求項6】
さらに、前記位置情報測定部は、前記カメラが、単位角度分パン・チルトをおこなう時間tPTと、カメラのパン・チルトをおこなうための初動時間TPTを保持し、A度のパン・チルトをおこなうときに、A・tPT+TPT分の時間を入れて、前記対象物の位置を求めることを特徴とする請求項5記載のカメラ制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラ制御システム、及び、カメラ制御方法に係り、特に、レーザセンサにより対象物の検知と測距を行ない、監視カメラにより高精度で対象物を追尾して画像撮影をするのに好適な可能にカメラ制御システム、及び、カメラ制御方法に関する。
【背景技術】
【0002】
従来より、防犯、防災、記録などの目的のために、監視カメラシステムが積極的に活用されてきた。監視カメラシステムにおいては、ビデオカメラにより対象物を撮影し、その画像データをネットワークを介して、遠隔にあるHDD(Hard Disk Drive)などの記憶装置に記憶し、モニタから監視できるようにしている。
【0003】
ところで、監視カメラシステムにおいては、監視対象が広域にわたり、防犯や交通監視などの目的に使用されるときには、対象を把捉して、追尾する制御が必要になる。ここで、監視カメラシステムの撮影の対象とは、防犯の場合には、不審者であり、交通監視では、車両になる。
【0004】
一方、移動する対象物を検知し、測距を行うシステムとしては、レーザレーダシステムがある。レーザレーダシステムは、光を用いたリモートセンシング技術の一つで、パルス状に発光するレーザ照射に対する散乱光を、レーザセンサにより測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。
【0005】
このような特徴を利用して、対象物の把捉をレーザレーダにより行ない、それに監視カメラを追尾させるカメラ制御システムが提案されてきた。例えば、特許文献1に記載の「警備システム」においては、センサ部からの距離データ及び角度データにより侵入者の位置を算出し、その位置データにより電動旋回台の旋回カメラ部を旋回させ、侵入者の画像データをモニタに表示させるようにしている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開平10−241062号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記従来技術の特許文献1の記載の技術では、カメラの向きを制御できるが、望遠を行わないため、距離により、対象画像が小さくなってしまうという問題点がある。また、一般的なレーザセンサを用いた計測では、レーザセンサの検出速度に対して、カメラの制御・旋回速度が遅く、追尾が遅れてしまうという問題点があった。
【0008】
本発明は、上記問題点を解決するためになされたもので、その目的は、レーザセンサにより対象物の検知と測距を行ない、高速かつ高精度でレーザセンサが把捉した対象物を追尾して画像撮影をすることを可能にするカメラ制御システムを提供することにある。
【課題を解決するための手段】
【0009】
本発明のカメラ制御システムは、レーザセンサと、カメラと、制御装置が各々接続され、レーザセンサにより対象物の位置を検知し、カメラによりその対象物を撮影するカメラ制御システムであって、一定時間毎に対象物の位置を検出する対象検出部と、対象物の位置情報を測定する位置情報測定部と、対象物のカメラの撮影上の画角幅と倍率を演算し、その条件によってカメラ制御の契機を判定するカメラ画角・倍率判定部と、カメラに対して、パン・チルト制御と、ズーム倍率の制御を行うカメラ動作指示部とを備える。そして、対象物が、画角幅の端から所定の割合いで引かれるカメラ制御ラインを超えたときに、対象物が画角の中心となるように、カメラに対して、パン・チルト制御を行ない、対象物が、記憶されている過去の倍率と、現在の倍率が所定の差以上になるときに、カメラに対して、現在の倍率になるように、ズーム倍率の制御を行うようにする。
【0010】
また、望ましくは、位置情報測定部は、過去の対象物の動きベクトルから、所定時間経過後の対処物の位置を予測し、対象物の位置を求める。
【0011】
さらに、位置情報測定部は、カメラが、単位角度分パン・チルトを行う時間t
PTと、カメラのパン・チルトを行うための初動時間T
PTを保持し、A度のパン・チルトを行うときに、A・t
PT+T
PT分の時間を考慮して、対象物の位置を求めるようにする。
【発明の効果】
【0012】
本発明によれば、レーザセンサにより対象物の検知と測距を行ない、高速かつ高精度でレーザセンサが把捉した対象物を追尾して画像撮影をすることを可能にするカメラ制御システムを提供することができる。
【図面の簡単な説明】
【0013】
【
図1】第一の実施形態に係るカメラ制御システムの全体構成図である。
【
図2】第一の実施形態に係るカメラ制御システムの機能構成図である。
【
図3】第一の実施形態に係るカメラ制御システムの対象物を把握するときのモデル図である。
【
図5】第一の実施形態に係るカメラ制御システムの動作を示すフローチャートである。
【
図6】カメラの制御パラメタと対象物の位置の関係を説明する図である。
【
図7】画角とカメラ制御ラインを説明する図である。
【
図9】予測制御のための位置演算を説明する図である。
【
図10】カメラ制御システムの予測制御を説明する図である。
【発明を実施するための形態】
【0014】
以下、本発明の各実施形態を、
図1ないし
図10を用いて説明する。
【0015】
〔実施形態1〕
以下、本発明の第一の実施形態に係るカメラ制御システムを、
図1ないし
図8Cを用いて説明する。
【0016】
先ず、
図1ないし
図4を用いて本発明の第一の実施形態に係るカメラ制御システムの構成と原理について説明する。
図1は、第一の実施形態に係るカメラ制御システムの全体構成図である。
図2は、第一の実施形態に係るカメラ制御システムの機能構成図である。
図3は、第一の実施形態に係るカメラ制御システムの対象物を把握するときのモデル図である。
図4は、カメラの構成図である。
【0017】
本発明の第一の実施形態に係るカメラ制御システムは、
図1に示されるように、レーザセンサ100と、制御装置200と、カメラ300を有しており、それらがネットワークにより接続されている。
【0018】
レーザセンサ100は、半導体レーザが発光する光を照射して、その反射光を受光して、対象物10の存在と距離を測定する装置である。
【0019】
カメラ300は、制御装置200からの指令に基づいて、カメラのレンズを回転させたり、ズーム機能により撮影の倍率を調整して、対象エリア110内の対象物10の画像を取得する装置である。
【0020】
制御装置200は、レーザセンサ100の測定データを基に、対象物10の位置を特定して、それに基づいてカメラ300の制御を行う装置である。制御装置200は、一般的なパーソナルコンピュータ(PC:Personal Computer)に必要なソフトウェアをインストールして実現してもよいし、専用のハードウェアを用意してもよい。
【0021】
なお、
図1に示した例では、制御装置200と、レーザセンサ100、カメラ300は、ネットワークで接続されているが、RS232CやUSBなどのシリアルインタフェースで接続されていてもよい。
【0022】
制御装置200は、CPU(Central Processing Unit)202、メモリ204、ネットワークI/F206、表示I/F208、入出力I/F210、補助記憶I/F212が、バスにより結合された形態になっている。
【0023】
CPU202は、制御装置200の各部を制御し、主記憶装置204に必要なプログラムをロードして実行する。
【0024】
メモリ204は、通常、RAMなどの揮発メモリで構成され、CPU202が実行するプログラム、参照するデータが記憶される。
【0025】
ネットワークI/F206は、ネットワークと接続するためのインタフェースである。
【0026】
表示I/F208は、LCD(Liquid Crystal Display)などの表示装置220を接続するためのインタフェースである。
【0027】
入出力I/F210は、入出力装置を接続するためのインタフェースである。
図1の例では、キーボード230とポインティングデバイスのマウス232が接続されている。
【0028】
補助記憶I/F212は、HDD(Hard Disk Drive)250やSSD(Solid State Drive)どの補助記憶装置を接続するためのインタフェースである。
【0029】
HDD250は、大容量の記憶容量を有しており、本実施形態を実行するためのプログラムが格納されている。制御装置200には、センサ制御プログラム700、検出・測距プログラム702、エリア判定プログラム704、カメラ制御プログラム706、カメラドライバ708がインストールされている。
【0030】
センサ制御プログラム700は、レーザセンサ100を制御するためのプログラムである。検出・測距プログラム702は、レーザセンサ100により、対象物10を検出し、その距離を測定するプログラムである。エリア判定プログラム704は、レーザセンサ100の測定結果により求められた対象物10が、カメラ300の対象エリア110に含まれるか否かを判定するためのプログラムである。カメラ制御プログラム706は、レーザセンサ100の測定結果に基づいて、カメラに対する制御を行うプログラムである。カメラI/Fプログラム708は、接続されたカメラ300のインタフェース処理を行うプログラムであり、各社のカメラ300の通信方法、コマンド、シーケンスの差異は、この部分で調整される。
【0031】
また、HDD250には、カメラプログラムで撮影した画像データ720が保存され、監視のために必要に応じて参照される。
【0032】
次に、
図2を用いて第一の実施形態に係るカメラ制御システムの機能構成について説明する。
【0033】
本実施形態のカメラ制御システムは、
図2に示されるように、センサ制御部402、対象検出部404、位置情報測定部406、エリア判定部408、カメラ制御部410、カメラI/F部420の各機能を備える。
【0034】
センサ制御部402は、レーザセンサ100の制御をする部分である。対象検出部404は、レーザセンサ100からの測定結果に基づいて、対象物を検出する部分である。位置情報測定部406は、レーザセンサ100からの測定結果に基づいて、対象物までの距離を測定し、その位置を検出する部分である。エリア判定部408は、対象物10が、カメラ300のエリアに含まれるか否かを判定する部分である。カメラ制御部410は、レーザセンサ100の測定結果に基づいて、カメラに対する制御を行う部分であり、カメラ画角・倍率判定部412と、カメラ動作指示部414の機能部分を有する。カメラ画角・倍率判定部412は、レーザセンサ100の測定結果と、内部の制御データに基づいて、対象物のカメラの画角や倍率を計算する部分である。カメラ動作指示部414は、カメラ画角・倍率判定部412での演算結果に基づいて、カメラの動作指示を与える部分である。カメラI/Fプログラム708は、接続されたカメラ300のインタフェースを行う部分であり、各社のカメラ300の通信方法、コマンド、シーケンスの差異は、この部分で調整されることを意図している。
【0035】
本実施形態のカメラ制御システムでの対象物を把握するときのイメージを平面的に見ると、
図3に示されるようになる。対象物10は、レーザセンサ100により位置(x,y,z)を把握されて、それが対象エリア110にあるときには、カメラ300により撮影される。このときの画角は、αになっている(後述)。
【0036】
次に、
図4を用いてカメラの構成について説明する。
カメラ300は、コマンドI/F部50、モータ制御部52、ズーム制御部54、パン方向モータ56、チルト方向モータ58、パン方向雲台60、チルト方向雲台62、カメラレンズ部64を有している。
【0037】
カメラ300は、コマンドI/F部50で外部からのコマンドを受け付けて、それをモータ制御部52と、ズーム制御部54に受けわたす。モータ制御部52では、そのコマンドの指示に従い、パン方向モータ56を回転させ、パン方向雲台60を、指示された角度だけ(パン方向:横方向)、カメラレンズ部68を回転させる。同様に、チルト方向モータ58を回転させ、チルト方向雲台62を、指示された角度だけ(チルト方向:縦方向)、カメラレンズ部68を回転させる。
【0038】
次に、
図5ないし
図8Cを用いて第一の実施形態に係るカメラ制御システムの動作について説明する。
図5は、第一の実施形態に係るカメラ制御システムの動作を示すフローチャートである。
図6は、カメラの制御パラメタと対象物の位置の関係を説明する図である。
図7は、画角とカメラ制御ラインを説明する図である。
図8Aは、カメラ仕様情報データを示す図である。
図8Bは、カメラ測定情報データを示す図である。
図8Cは、カメラ制御情報データを示す図である。
【0039】
先ず、カメラ制御システムは、周期的にレーザセンサ100により対象物10を捕捉して、測定結果を得る(S10)。ここで、周期的な時間は、システムで予め設定された時間であり、例えば、250[ms]である。この時間は、管理者が変更できるようにしてもよい。
【0040】
次に、対象物の位置計算を計算する(S12)。対象物10の座標を(x,y,z)、カメラ300の座標を(X,Y,Z)、カメラから対象物の距離をR(
図8Bの♯801)とすると、R(≧0)は、以下の(式1)で表される。
R
2=(x−X)
2+(y−Y)
2+(z−Z)
2 … (式1)
【0041】
次に、対象物10がカメラ撮影の対象エリア110にあるか否かの判定を行ない(S14)、対象物10がカメラ撮影の対象エリア110にあるときには(S14:YES)、次のS16に行き、対象物10がカメラ撮影の対象エリア110にないときには(S14:NO)、S10に戻る。
【0042】
次に、画角幅W(
図8Bの♯802)を計算する(S16)。
【0043】
画角幅Wは、以下の(式2)で表される。
W=2R・tan(α/2) … (式2)
ここで、αは、画角(
図8Cの♯905)であり、Rは、既出のカメラ300から対象物10までの距離である。
【0044】
画角幅Wが求まると、カメラ制御ライン70の位置が求まる。
図7に示されように、カメラ制御ライン70の位置は、画角幅の端の位置から、左右W・γだけ離れた位置になる。ここで、γは、カメラ制御ラインの範囲率である(
図8Cの♯903)。
【0045】
そして、対象物10がカメラ制御ライン70の範囲を超えたか否かを判定し(S18)、対象物10がカメラ制御ライン70の範囲を超えたときには(S18:YES)、カメラ300に対してパン・チルト制御を行なって、対象物10が画角の中心になるように、カメラに対して、水平角と垂直角のパラメタを与えて動かすように指示を与える(S20、
図6のCASE1)。
【0046】
次に、ズーム制御のために倍率計算をおこなう(S22)。
倍率z(
図8Bの♯803)は、以下の(式3)で表される。
z=I
w/(2f
wtan(α/2))=
IwR/fwW …(式3)
ここで、I
wは、イメージセンサの横幅(
図8Aの♯701)、f
wは、焦点距離(W端)(
図8Aの♯703)である。
【0047】
そして、対象物10の倍率zが規定の範囲を超えたか否かを判定し(S24)、倍率zが規定の範囲を超えたときには(S24:YES)、カメラ300に対して、ズーム制御を行なって、倍率zのズームになるようにカメラを制御する(S26、
図6のCASE2)。
【0048】
ここで、倍率zが規定の範囲を超えたときとは、倍率zと過去の倍率の差分(差の絶対値)が倍率限界範囲Δ
z(
図8Cの♯904)以上になったときであると定義する。
【0049】
以上のように、本実施形態のカメラ制御システムでは、レーザセンサの周期で検出した位置情報に随時カメラ制御を行うのではなく、必要最低限のタイミングで、カメラを動かすべきタイミングでのみ、カメラを被写体に向くように制御している。
【0050】
従来では、レーザセンサの周期でカメラ制御を行い、対象物を追尾して撮影した場合には、カメラ制御速度の方が遅く、制御コマンドの蓄積・遅延及び処理負荷が増大することになっていた。本実施形態のカメラ制御システムでは、このような事態を防止し、適切なタイミングで正確に対象物を追尾して画像ブレが少ない対象物を撮影することができる。
【0051】
〔実施形態2〕
以下、本発明の第二の実施形態に係るカメラ制御システムを、
図9を用いて説明する。
図9は、予測制御のための位置演算を説明する図である。
【0052】
本実施形態では、対象物10の位置を検出するときに、対象物の移動予測を行なって、位置を決めるようにする。すなわち、第一の実施形態の
図5のS14の位置情報計算処理において、
図9に示されるように、過去の対象物の移動ベクトルから、t
f(
図8Cの♯906)経過時の位置を算出する。
【0053】
これにより、動きのある対象物10に対して、より正確に対象を追尾して撮影する制御を行うことができる。
【0054】
〔実施形態3〕
以下、本発明の第三の実施形態に係るカメラ制御システムを、
図10を用いて説明する。
図10は、カメラ制御システムの予測制御を説明する図である。
【0055】
第二の実施形態に示したように、t
f経過時の対象物10に対して、パン・チルト、ズームの制御を実行したとする。ここで、
図10の対象位置601が、カメラ制御指示時の対象物10であり、対象位置602がt
f経過時の位置であるとする(
図10(a))。しかしながら、カメラに対して、パン・チルト、ズームの制御を実行した場合、カメラの性能によりコマンド〜旋回完了までの速度が異なる。その結果、カメラが旋回完了し、対象位置602に向けた場合に、対象物10は、カメラの制御にかかった時間だけさらに先を行っていることが考えられる。したがつて、本実施形態では、カメラ制御の時間も加味して、対象位置を計算する。
【0056】
カメラ100のカメラを1度回転させるパン・チルト制御のために、t
PT(
図8Cの♯901)だけかかり、パン・チルト制御の初動時間として、T
PT(
図8Cの♯902)だけかかるとする。このときに、A度のパン・チルトを行うとすると、かかる時間は、A・t
PT+T
PTとなる。
【0057】
したがって、本実施形態では、t
f経過時の対象位置602に、さらに、A・t
PT+T
PT経過時の予測ベクトルにより、予測された位置を、対象物10の対処位置603として算出する。
【0058】
したがって、本実施形態のカメラ制御によれば、カメラ300のパン・チルト制御を考慮にいれたより正確な予測が可能になり、高精度で対象物を追尾して、カメラ300により撮影することが可能になる。
【符号の説明】
【0059】
10…対象物、100…レーザセンサ、110…対象エリア、200…制御装置、300…カメラ、
202…CPU(Central Processing Unit)、204…メモリ、206…ネットワークI/F、208…表示I/F、210…入出力I/F、212…補助記憶I/F、220…表示装置、230…キーボード、232…マウス、250…HDD(Hard Disk Drive)、
402…センサ制御部、404…対象検出部、406…位置情報測定部、408…エリア判定部、410…カメラ制御部、420…カメラI/F部。