ホーム > 特許ランキング > 株式会社日立国際電気
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-19
(45)【発行日】2024-02-28
(54)【発明の名称】フォーカス制御方法及び撮像システム
(51)【国際特許分類】
G02B 7/28 20210101AFI20240220BHJP
G02B 7/08 20210101ALI20240220BHJP
G03B 13/36 20210101ALI20240220BHJP
G03B 15/00 20210101ALI20240220BHJP
H04N 23/67 20230101ALI20240220BHJP
H04N 23/69 20230101ALI20240220BHJP
H04N 23/661 20230101ALI20240220BHJP
【ＦＩ】
G02B7/28 N
G02B7/08 C
G03B13/36
G03B15/00 S
H04N23/67
H04N23/69
H04N23/661
【請求項の数】
5
(21)【出願番号】P 2023508882
(86)(22)【出願日】2022-03-03
(86)【国際出願番号】 JP2022009064
(87)【国際公開番号】W WO2022202180
(87)【国際公開日】2022-09-29
【審査請求日】2023-03-27
(31)【優先権主張番号】P 2021051916
(32)【優先日】2021-03-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001122
【氏名又は名称】株式会社日立国際電気
(74)【代理人】
【識別番号】100097113
【弁理士】
【氏名又は名称】堀 城之
(74)【代理人】
【識別番号】100162363
【弁理士】
【氏名又は名称】前島 幸彦
(72)【発明者】
【氏名】加藤 翔
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開平０７－０３８７９５（ＪＰ，Ａ）
【文献】特開２０１１－１３３９０８（ＪＰ，Ａ）
【文献】特開２０１０－１６０２０２（ＪＰ，Ａ）
【文献】特開２０２１－０１８２８６（ＪＰ，Ａ）
【文献】特開２０１０－１７６０９２（ＪＰ，Ａ）
【文献】特開平５－０６０９６２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８－７／４０
Ｇ０２Ｂ ７／０２－７／１６
Ｇ０３Ｂ １３／３６
Ｇ０３Ｂ １５／００
Ｈ０４Ｎ ２３／６７
Ｈ０４Ｎ ２３／６９
(57)【特許請求の範囲】
【請求項1】
焦点距離が可変なレンズと撮像素子とを備えたカメラのフォーカス制御方法であって、前記カメラと被写体との距離である被写体距離と、前記被写体の動作量とを算出し、
算出された前記動作量が閾値未満であった場合、前記焦点距離の変更が完了する前に、算出された前記被写体距離に応じて、前記レンズをフォーカスし、前記動作量が閾値以上であった場合、前記被写体距離に応じたフォーカスを行わない
ことを特徴とするフォーカス制御方法。
【請求項2】
前記動作量が閾値未満であった場合、算出された前記被写体距離に前記レンズをフォーカス後、前記焦点距離を変更することを特徴とする請求項１に記載のフォーカス制御方法。
【請求項3】
前記動作量が閾値未満であった場合、前記被写体距離を算出した時点の焦点位置に前記レンズをフォーカスし、前記焦点距離の変更が完了していない場合、前記被写体距離の算出と前記レンズのフォーカスとを再度行うことを特徴とする請求項１に記載のフォーカス制御方法。
【請求項4】
前記焦点距離をテレ端に移動完了後に、前記レンズのフォーカスを再調整することを特徴とする請求項１乃至３のいずれか１項に記載のフォーカス制御方法。
【請求項5】
焦点距離可変でズーム可能なレンズと撮像素子とを備えたカメラと、前記レンズのズーム及びフォーカスを制御する制御装置とを含む撮像システムであって、被写体と被写体との距離である被写体距離と、前記被写体の動作量とを算出する距離算出部と、
前記距離算出部により算出された前記動作量が閾値未満であった場合、前記被写体距離に応じて、前記焦点距離を変更完了させる前に前記レンズをフォーカスさせ、前記動作量が閾値以上であった場合、前記被写体距離に応じたフォーカスを行わないよう制御するフォーカス制御部とを備える
ことを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、主に国境監視等の中遠距離を監視する監視カメラのフォーカス制御方法及び撮像システムに関する。
【背景技術】
【0002】
近年、監視カメラ及び市販のデジタルカメラ等において、フォーカスを自動追従するオートフォーカス（以下、「ＡＦ」という。）機能の性能が向上している。
このＡＦの方式として、コントラストＡＦ方式が知られている。コントラストＡＦ方式は、フォーカスレンズを走査して、検出したエッジ成分の極大点からフォーカスポイント（ピントが合う焦点距離、すなわち合焦位置）を算出する方式である。このコントラストＡＦ方式は、中長距離監視では精度が高いため、国境監視等を行う監視カメラ等について、好適に用いられている。
特許文献１、２には、従来のコントラストＡＦ方式の例が記載されている（以下、「従来技術」という。）。
このＡＦの方式として、コントラストＡＦ方式が知られている。コントラストＡＦ方式は、フォーカスレンズを走査して、検出したエッジ成分の極大点からフォーカスポイント（ピントが合う焦点距離、すなわち合焦位置）を算出する方式である。このコントラストＡＦ方式は、中長距離監視では精度が高いため、国境監視等を行う監視カメラ等について、好適に用いられている。
特許文献１、２には、従来のコントラストＡＦ方式の例が記載されている（以下、「従来技術」という。）。
【0003】
ここで、国境監視等を行うカメラでは、主に焦点距離が可変な長焦点レンズが用いられている。このようなレンズ（群）では、ズームの倍率を変更するとピントが合わなくなる、すなわちフォーカスポイントを外し、アウトフォーカスすることが多い。
【先行技術文献】
【特許文献】
【0004】
【文献】特開平０７－００７６５０号公報
【文献】特開２００６－０６４９７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、注目したい人物等、被写体を指定して焦点距離を変更（以下、単に「ズーム」という。）を行った際に、従来技術では、フォーカスさせるのに時間がかかっていた。
【0006】
本発明は、このような状況に鑑みてなされたものであり、上述の問題を解消することを課題とする。
【課題を解決するための手段】
【0007】
本発明のフォーカス制御方法は、焦点距離が可変なレンズと撮像素子とを備えたカメラのフォーカス制御方法であって、前記カメラと被写体との距離である被写体距離と、前記被写体の動作量とを算出し、算出された前記動作量が閾値未満であった場合、前記焦点距離の変更が完了する前に、算出された前記被写体距離に応じて、前記レンズをフォーカスし、前記動作量が閾値以上であった場合、前記被写体距離に応じたフォーカスを行わないことを特徴とする。
本発明のフォーカス制御方法は、前記動作量が閾値未満であった場合、算出された前記被写体距離に前記レンズをフォーカス後、前記焦点距離を変更することを特徴とする。
本発明のフォーカス制御方法は、前記動作量が閾値未満であった場合、前記被写体距離を算出した時点の焦点位置に前記レンズをフォーカスし、前記焦点距離の変更が完了していない場合、前記被写体距離の算出と前記レンズのフォーカスとを再度行うことを特徴とする。
本発明のフォーカス制御方法は、前記焦点距離をテレ端に移動完了後に、前記レンズのフォーカスを再調整することを特徴とする。
本発明の撮像システムは、焦点距離可変でズーム可能なレンズと撮像素子とを備えたカメラと、前記レンズのズーム及びフォーカスを制御する制御装置とを含む撮像システムであって、被写体と被写体との距離である被写体距離と、前記被写体の動作量とを算出する距離算出部と、前記距離算出部により算出された前記動作量が閾値未満であった場合、前記被写体距離に応じて、前記焦点距離を変更完了させる前に前記レンズをフォーカスさせ、前記動作量が閾値以上であった場合、前記被写体距離に応じたフォーカスを行わないよう制御するフォーカス制御部とを備えることを特徴とする。
本発明のフォーカス制御方法は、前記動作量が閾値未満であった場合、算出された前記被写体距離に前記レンズをフォーカス後、前記焦点距離を変更することを特徴とする。
本発明のフォーカス制御方法は、前記動作量が閾値未満であった場合、前記被写体距離を算出した時点の焦点位置に前記レンズをフォーカスし、前記焦点距離の変更が完了していない場合、前記被写体距離の算出と前記レンズのフォーカスとを再度行うことを特徴とする。
本発明のフォーカス制御方法は、前記焦点距離をテレ端に移動完了後に、前記レンズのフォーカスを再調整することを特徴とする。
本発明の撮像システムは、焦点距離可変でズーム可能なレンズと撮像素子とを備えたカメラと、前記レンズのズーム及びフォーカスを制御する制御装置とを含む撮像システムであって、被写体と被写体との距離である被写体距離と、前記被写体の動作量とを算出する距離算出部と、前記距離算出部により算出された前記動作量が閾値未満であった場合、前記被写体距離に応じて、前記焦点距離を変更完了させる前に前記レンズをフォーカスさせ、前記動作量が閾値以上であった場合、前記被写体距離に応じたフォーカスを行わないよう制御するフォーカス制御部とを備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、被写体との距離である被写体距離を算出し、ズーム完了の前に算出された被写体距離に応じてレンズをフォーカスさせることで、中長距離の監視でフォーカスを高速化することが可能な撮像システムを提供することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施の形態に係る撮像システムＸの概略構成を示すシステム構成図である。
【図2】本発明の実施の形態に係るフォーカス制御処理の流れを示すフローチャートである。
【図4】本発明の他の実施の形態に係るフォーカス制御処理の流れを示すフローチャートである。
【図5】従来のフォーカス制御処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
＜実施の形態＞〔撮像システムＸの制御構成〕 以下で、本発明の実施の形態について、図面を参照して説明する。
図１は、本実施形態に係る監視システムＸの概略構成を示す。監視システムＸは、本実施形態に係る撮像システムの一例である。
監視システムＸは、複数の監視カメラ１－１～１－ｎと、端末２と、サーバー３とが、ネットワーク５に接続されている。
なお、以下では、監視カメラ１－１～１－ｎのいずれか一台を示す場合、単に監視カメラ１という。
図１は、本実施形態に係る監視システムＸの概略構成を示す。監視システムＸは、本実施形態に係る撮像システムの一例である。
監視システムＸは、複数の監視カメラ１－１～１－ｎと、端末２と、サーバー３とが、ネットワーク５に接続されている。
なお、以下では、監視カメラ１－１～１－ｎのいずれか一台を示す場合、単に監視カメラ１という。
【0011】
監視カメラ１は、ネットワークカメラ等の撮像装置であり、本実施形態に係るカメラの一例である。
監視カメラ１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等を用いたカメラ等の撮像装置である。本実施形態において、監視カメラ１は、長焦点レンズを備え、雲台に軸着されているレンズ一式の雲台カメラである例を示す。この長焦点レンズは、ビデオカメラ用レンズ等であってもよい。加えて、長焦点レンズは、焦点距離を変更する（ズームの倍率を変更する）と、ピント（フォーカスポイント、焦点位置）が合わなくなるため、調整する必要があってもよい。さらに、監視カメラ１は、風等による揺れ、振動に対しては、光学防振、映像を切り出して防振を行う等の各種ブレ防止機能を備えていてもよい。
監視カメラ１は、撮像された画像を各種フォーマットの画像データに変換し、端末２及び／又はサーバー３へ送信する。
監視カメラ１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子等を用いたカメラ等の撮像装置である。本実施形態において、監視カメラ１は、長焦点レンズを備え、雲台に軸着されているレンズ一式の雲台カメラである例を示す。この長焦点レンズは、ビデオカメラ用レンズ等であってもよい。加えて、長焦点レンズは、焦点距離を変更する（ズームの倍率を変更する）と、ピント（フォーカスポイント、焦点位置）が合わなくなるため、調整する必要があってもよい。さらに、監視カメラ１は、風等による揺れ、振動に対しては、光学防振、映像を切り出して防振を行う等の各種ブレ防止機能を備えていてもよい。
監視カメラ１は、撮像された画像を各種フォーマットの画像データに変換し、端末２及び／又はサーバー３へ送信する。
【0012】
端末２は、監視カメラの監視や保守用のＰＣ（Personal Computer）、タブレット端末、スマートフォン等である。
本実施形態において、端末２は、図示しない表示部、キーボード、ポインティングデバイス、操作パネル等を備えている。
本実施形態において、端末２は、図示しない表示部、キーボード、ポインティングデバイス、操作パネル等を備えている。
【0013】
サーバー３は、監視カメラ１及び端末２を管理するＰＣサーバー等である。
サーバー３は、端末２の指示により、監視カメラを被写体の方に向け、雲台上で移動し、ズームやフォーカスの制御を行う。
サーバー３は、端末２の指示により、監視カメラを被写体の方に向け、雲台上で移動し、ズームやフォーカスの制御を行う。
【0014】
ネットワーク５は、各装置を結ぶＬＡＮ（Local Area Network）、光ファイバー網、ｃ．ｌｉｎｋ、無線ＬＡＮ（ＷｉＦｉ）、携帯電話網等の各装置を相互に接続して通信を行う通信手段である。ネットワーク５は、専用線、イントラネット、インターネット等を用いてもよく、これらが混在しても、ＶＰＮ（Virtual Private Network）を構成していてもよい。さらに、ネットワーク５は、ＴＣＰ／ＩＰやＵＤＰ等のＩＰネットワークを用いて、各種プロトコルで接続されてもよい。
【0015】
より具体的に説明すると、サーバー３は、ハードウェア資源の一部として、制御部１０及び記憶部１１を備えている。
【0016】
制御部１０は、後述する機能部を実現し、本実施形態のフォーカス制御処理の各処理を実行する情報処理手段である。制御部１０は、例えば、ＣＰＵ（Central Processing Unit、中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等で構成される。これにより、制御部１０は、画像成分分析、及び映像用のＡＩ等の処理を、高速に実行することが可能である。
【0017】
記憶部１１は、一時的でない記録媒体である。記憶部１１は、例えば、ＳＳＤ（Solid State Disk）、ＨＤＤ（Hard Disk Drive）、磁気カートリッジ、テープドライブ、光ディスクアレイ等のストレージとして構成される。
加えて、記憶部１１は、一般的なＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等も含んでいる。これらには、サーバー３の制御部１０が実行する処理のプログラム、データベース、一時データ、その他の各種ファイル等が格納される。
加えて、記憶部１１は、一般的なＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等も含んでいる。これらには、サーバー３の制御部１０が実行する処理のプログラム、データベース、一時データ、その他の各種ファイル等が格納される。
【0018】
次に、サーバー３の機能構成、及びサーバー３に格納されるデータの詳細について説明する。
制御部１０は、距離算出部１００、及びフォーカス制御部１１０を備える。
記憶部１１は、距離対応データ２００を格納する。
制御部１０は、距離算出部１００、及びフォーカス制御部１１０を備える。
記憶部１１は、距離対応データ２００を格納する。
【0019】
距離算出部１００は、被写体と監視カメラ１との距離である被写体距離を算出する。具体的には、本実施形態において、距離算出部１００は、端末２により被写体が指示された場合、ズームする前に、被写体が監視カメラ１からどれくらいの距離、離れているかを被写体距離として算出する。本実施形態においては、後述するように、距離算出部１００は、雲台Ｕでの移動による画像データの差分等から被写体距離を算出可能である。
加えて、距離算出部１００は、被写体の動作量を算出する。この動作量は、監視カメラ１で撮像された画像データにおける画像成分分析において、算出された被写体のエッジ成分の歪み等の値を基に算出可能である。
加えて、距離算出部１００は、被写体の動作量を算出する。この動作量は、監視カメラ１で撮像された画像データにおける画像成分分析において、算出された被写体のエッジ成分の歪み等の値を基に算出可能である。
【0020】
フォーカス制御部１１０は、距離算出部１００により算出された被写体距離に応じて、レンズをフォーカス後、焦点距離を変更する。すなわち、フォーカス制御部１１０は、焦点距離を変更完了させる前にレンズをフォーカスさせる。この焦点距離の変更は、焦点距離を長くするズームイン、又は焦点距離を短くするズームアウト（以下、単に「ズーム」という。）であってもよい。
ここで、本実施形態においては、フォーカス制御部１１０は、ズームを開始する前に、被写体距離に応じてレンズをフォーカスさせる。つまり、フォーカス制御部１１０は、例えば、テレ端までズームする場合、最初に合焦位置に合わせてから、合焦距離をテレ端まで変更する。
ここで、本実施形態においては、フォーカス制御部１１０は、ズームを開始する前に、被写体距離に応じてレンズをフォーカスさせる。つまり、フォーカス制御部１１０は、例えば、テレ端までズームする場合、最初に合焦位置に合わせてから、合焦距離をテレ端まで変更する。
【0021】
しかしながら、フォーカス制御部１１０は、被写体の動きが所定の閾値以上であった場合、被写体距離に応じたフォーカスを行わなくてもよい。この閾値は、監視カメラ１のズームやフォーカスの性能、算出された被写体距離等に応じて設定されてもよい。すなわち、この閾値は、固定値ではなく、一次式等で表現された評価関数値であってもよい。
さらに、フォーカス制御部１１０は、焦点距離をテレ端に移動完了後に、レンズのフォーカスを再調整してもよい。
さらに、フォーカス制御部１１０は、焦点距離をテレ端に移動完了後に、レンズのフォーカスを再調整してもよい。
【0022】
距離対応データ２００は、焦点距離と、被写体距離と、フォーカスとの関係とを示すデータである。距離対応データ２００は、例えば、各ズームの倍率（焦点距離）毎に、被写体距離に応じたフォーカスの合うレンズの位置を示す値（以下、「フォーカス値」という。）を含んでいてもよい。この距離対応データ２００は、監視カメラ１の機種に応じて予め設定されてもよい。または、距離対応データ２００は、撮像された画像データ内の物体の実際の距離に応じて監視カメラ１又はサーバー３で設定されてもよい。つまり、距離対応データ２００は、監視システムＸの実際の運用中に蓄積されてもよい。
【0023】
ここで、上述の各機能部は、記憶部１１に記憶された制御プログラム等が制御部１０で実行されることにより実現される。
なお、これらの各機能部は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等により、ハードウェア的、回路的に構成されてもよい。
なお、これらの各機能部は、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等により、ハードウェア的、回路的に構成されてもよい。
【0024】
〔撮像システムＸのフォーカス制御処理〕 次に、図２～図４を参照して、本発明の実施の形態に係る撮像システムＸを用いたフォーカス制御処理についてより詳しく説明する。
本実施形態に係るフォーカス制御処理は、監視システムＸをハードウェア資源として実行されるフォーカス制御方法を実現する。このため、被写体と監視カメラ１との距離である被写体距離を算出する。そして、ズーム完了する前に、算出された被写体距離に応じて、レンズをフォーカスさせる。
以下で、この撮像システムＸによるフォーカス制御処理について、図２を用いて、ステップ毎に詳しく説明する。
本実施形態に係るフォーカス制御処理は、監視システムＸをハードウェア資源として実行されるフォーカス制御方法を実現する。このため、被写体と監視カメラ１との距離である被写体距離を算出する。そして、ズーム完了する前に、算出された被写体距離に応じて、レンズをフォーカスさせる。
以下で、この撮像システムＸによるフォーカス制御処理について、図２を用いて、ステップ毎に詳しく説明する。
【0025】
ステップＳ１００において、フォーカス制御部１１０が、被写体設定処理を行う。
本実施形態においては、常時監視している監視カメラ１があり、この画像を端末２にて監視している監視者等によりズームして注視したい物体やヒト等の被写体が、端末２により指示される。
具体的には、監視者が端末２の表示部に表示された被写体について、雲台を移動等させて、画面中央に近い位置に位置させる。この上で、監視者がズームを指定する。
すると、端末２から、焦点距離を移動させるコマンド（指示情報）がサーバー３へ送信される。この指示情報は、例えば、焦点距離の１０００ｍｍ端までのズーム値が１０ビットであったら、この１０ビットの端まで移動するよう指示する情報である。
フォーカス制御部１１０は、この被写体の指示を示す指示情報を、ネットワーク５を介して端末２から取得する。
本実施形態においては、常時監視している監視カメラ１があり、この画像を端末２にて監視している監視者等によりズームして注視したい物体やヒト等の被写体が、端末２により指示される。
具体的には、監視者が端末２の表示部に表示された被写体について、雲台を移動等させて、画面中央に近い位置に位置させる。この上で、監視者がズームを指定する。
すると、端末２から、焦点距離を移動させるコマンド（指示情報）がサーバー３へ送信される。この指示情報は、例えば、焦点距離の１０００ｍｍ端までのズーム値が１０ビットであったら、この１０ビットの端まで移動するよう指示する情報である。
フォーカス制御部１１０は、この被写体の指示を示す指示情報を、ネットワーク５を介して端末２から取得する。
【0026】
次に、ステップＳ１０１において、距離算出部１００が、距離動作量算出処理を行う。
距離算出部１００は、監視カメラ１と被写体との距離である被写体距離を算出する。
図３（ａ）（ｂ）により、一式の監視カメラ１及び雲台が保持された設置台をスライダーで左右に移動させ、光軸を回転させ、その角度から被写体距離を算出する例について説明する。
距離算出部１００は、監視カメラ１と被写体との距離である被写体距離を算出する。
図３（ａ）（ｂ）により、一式の監視カメラ１及び雲台が保持された設置台をスライダーで左右に移動させ、光軸を回転させ、その角度から被写体距離を算出する例について説明する。
【0027】
図３（ａ）によれば、監視カメラ１は高分解能でパン制御可能な雲台に軸着され、この雲台がスライダー付き設置台Ｕに、スライドして図の左右方向に駆動可能なように保持されている。この雲台は、例えば、３６０°、０．０１°刻みで動かす場合、１６ビットの解像度で角度を距離算出部１００により設定可能である。
【0028】
距離算出部１００は、監視カメラ１から画像データを取得し、フレーム単位で画像成分分析を行って、指示された被写体のエッジ成分を抽出する。距離算出部１００は、この抽出されたエッジ成分から、矩形の四ヶ所の目印ポイントを設定する。この上で、距離算出部１００は、監視カメラ１を被写体に対して設置台Ｕで水平にスライドさせる。ここでは、太線の矢印で示す移動距離ｘ（ｍ）だけ移動させている。
【0029】
具体的には、図３（ａ）の破線で示すＣａは移動前のレンズの光軸（カメラレンズ線）を示し、Ｃｂは移動御のレンズの光軸を示す。Ｖａは移動前の画角、Ｖｂは移動後の画角を示す。これらの画角の半分を、角度θ（°）として示す。太字の二点鎖線で示すＯは、被写体の水平位置（以下、単に「被写体位置」という。）を示す。細線の矢印で示す距離ａ（ｍ）は、この被写体位置までの距離を示す。細線の矢印で示す距離ｂ（ｍ）は、被写体位置の水平撮像範囲の半分の距離を示す。
【0030】
図３（ｂ）によれば、距離算出部１００は、スライドさせた分の画角を雲台で水平回転させるパン制御を行い、回転した角度から目的の被写体までの距離を算出する。
このため、距離算出部１００は、監視カメラ１の雲台をパン制御し、被写体のエッジ成分の少なくとも一箇所の目印ポイントと重なるように制御する。そして、距離算出部１００は、重なった際の角度から、被写体までの距離である被写体距離ａ（ｍ）を算出する。具体的には、距離算出部１００は、この例では、画角の半分に回転した角度を加えた角度φから画角の半分である角度θを差し引いた角度と、予め算出した被写体までの距離との関係を示す距離対応データ２００を用いて、被写体距離ａを算出する。または、距離算出部１００は、細い矢印で示す被写体位置の水平撮像範囲の半分の距離ｂ＋移動距離ｘの値から、被写体距離ａを算出することも可能である。
このため、距離算出部１００は、監視カメラ１の雲台をパン制御し、被写体のエッジ成分の少なくとも一箇所の目印ポイントと重なるように制御する。そして、距離算出部１００は、重なった際の角度から、被写体までの距離である被写体距離ａ（ｍ）を算出する。具体的には、距離算出部１００は、この例では、画角の半分に回転した角度を加えた角度φから画角の半分である角度θを差し引いた角度と、予め算出した被写体までの距離との関係を示す距離対応データ２００を用いて、被写体距離ａを算出する。または、距離算出部１００は、細い矢印で示す被写体位置の水平撮像範囲の半分の距離ｂ＋移動距離ｘの値から、被写体距離ａを算出することも可能である。
【0031】
たとえば、移動距離ｘ＝５（ｍ）、焦点距離＝１６．７（ｍｍ）、イメージセンサ水平サイズ＝８．６４（ｍｍ）の場合、角度θ＝１４．５０３４９３４（°）、水平画角幅となる距離ｂ／２＝２．５８６８２６３４７（ｍ）であり、角度φ＝３７．１８６９５９１２（°）であった場合、φ－θ＝２２．６８３４６５７１（°）となる。また、ｔａｎφ＝０．７５８６８２６３５である。これらの値の距離対応データ２００から、距離算出部１００は、被写体距離ａ＝１０（ｍ）と算出可能となる。
【0032】
さらに、距離算出部１００は、被写体から抽出するエッジ成分の歪みや濃度等から、被写体の動きを示す動作量を算出する。具体的には、距離算出部１００は、エッジ成分の歪みが小さく濃度が大きい被写体については動作量を小さく算出し、歪みが大きく濃度が低い被写体については動作量を大きく算出する。ここで、被写体距離が比較的近い場合、被写体のエッジ成分の歪みが大きくなり、濃度も薄くなる。このため、距離算出部１００は、エッジ成分の歪みや濃度から、そのまま動作量を算出するのではなく、所定のパターンに応じて、動きの平均化処理や歪みの重み付け処理を行う等して動作量を算出することも可能である。
【0033】
または、距離算出部１００は、エッジ成分が重なった後、被写体を撮像した画像データのフレーム間の差分等から動き成分を算出して、被写体の動作量を算出してもよい。
または、距離算出部１００は、画面の中心に対して被写体が何割動いたか、枠内に対して動いているかを算出し、動作量としてもよい。
または、距離算出部１００は、このパン制御時に一方の回転ですぐエッジ成分が重ならなければ、反対側に回転する等して微調整してもよい。このため、距離算出部１００は、この微調整による回転角度を積分した値、調整完了までの時間の値等を、被写体の動作量として算出してもよい。ここで、距離算出部１００は、この微調整でもエッジ成分が重ならなければ、被写体の動きが大きいとして動作量を最大値とすることも可能である。
または、距離算出部１００は、画面の中心に対して被写体が何割動いたか、枠内に対して動いているかを算出し、動作量としてもよい。
または、距離算出部１００は、このパン制御時に一方の回転ですぐエッジ成分が重ならなければ、反対側に回転する等して微調整してもよい。このため、距離算出部１００は、この微調整による回転角度を積分した値、調整完了までの時間の値等を、被写体の動作量として算出してもよい。ここで、距離算出部１００は、この微調整でもエッジ成分が重ならなければ、被写体の動きが大きいとして動作量を最大値とすることも可能である。
【0034】
次に、ステップＳ１０２において、フォーカス制御部１１０が、算出された動作量は閾値以上であったか否かを判定する。すなわち、フォーカス制御部１１０は、動いている被写体か、動きのない被写体かを判定する。
ここでは、算出された動作量が閾値以上であった場合、フォーカス制御部１１０は、Ｙｅｓと判定する。動作量が閾値未満であった場合、フォーカス制御部１１０は、Ｎｏと判断する。
Ｙｅｓの場合、フォーカス制御部１１０は、処理をステップＳ１０４へ進める。これにより、フォーカス制御部１１０は、移動物体であるとして、被写体距離に応じたフォーカスを行わない。
Ｎｏの場合、フォーカス制御部１１０は、処理をステップＳ１０３へ進める。
ここでは、算出された動作量が閾値以上であった場合、フォーカス制御部１１０は、Ｙｅｓと判定する。動作量が閾値未満であった場合、フォーカス制御部１１０は、Ｎｏと判断する。
Ｙｅｓの場合、フォーカス制御部１１０は、処理をステップＳ１０４へ進める。これにより、フォーカス制御部１１０は、移動物体であるとして、被写体距離に応じたフォーカスを行わない。
Ｎｏの場合、フォーカス制御部１１０は、処理をステップＳ１０３へ進める。
【0035】
動作量が閾値未満の場合、ステップＳ１０３において、フォーカス制御部１１０が、距離オートフォーカス制御処理を行う。
フォーカス制御部１１０は、距離算出部１００により算出された被写体距離に応じて、レンズをフォーカスさせる。この際、フォーカス制御部１１０は、距離対応データ２００を参照して、算出された被写体距離における最適なフォーカス値になるよう、ズーム倍率、すなわちズーム完了後の焦点位置に合わせて、レンズの移動を制御する。
これにより、フォーカス制御部１１０は、監視カメラ１の焦点距離をフォーカスポイントに合わせる、すなわちレンズのピントを合わせる（合焦位置に合わせる）オートフォーカスを行うことが可能となる。
フォーカス制御部１１０は、距離算出部１００により算出された被写体距離に応じて、レンズをフォーカスさせる。この際、フォーカス制御部１１０は、距離対応データ２００を参照して、算出された被写体距離における最適なフォーカス値になるよう、ズーム倍率、すなわちズーム完了後の焦点位置に合わせて、レンズの移動を制御する。
これにより、フォーカス制御部１１０は、監視カメラ１の焦点距離をフォーカスポイントに合わせる、すなわちレンズのピントを合わせる（合焦位置に合わせる）オートフォーカスを行うことが可能となる。
【0036】
ここで、ステップＳ１０４において、フォーカス制御部１１０が、ズーム処理を行う。
フォーカス制御部１１０は、レンズをズームさせる。フォーカス制御部１１０は、例えば、監視カメラ１のレンズをテレ端側にズームインして被写体を大きく撮像させる。この際、ズームしたときには既にフォーカスが合っていることになる。
フォーカス制御部１１０は、レンズをズームさせる。フォーカス制御部１１０は、例えば、監視カメラ１のレンズをテレ端側にズームインして被写体を大きく撮像させる。この際、ズームしたときには既にフォーカスが合っていることになる。
【0037】
ズーム完了した場合、ステップＳ１０５にて、フォーカス制御部１１０が、オートフォーカス再調整処理を行う。
上述のようにズーム前に既にフォーカスを合わせているものの、風等による振動、被写体の動きや誤差、経年劣化等により合焦位置が多少ずれることがある。このため、本実施形態においては、フォーカス制御部１１０は、例えば、焦点距離をテレ端に移動完了後に、レンズのフォーカスを再調整する。フォーカス制御部１１０は、この再調整をコントラストＡＦ方式で行ってもよい。この再調整は、狭い位置の範囲でエッジ成分を抽出すればよいため、従来技術より、高速に行うことができる。
なお、フォーカス制御部１１０は、エッジ成分の値が十分高く、フォーカスが合っている場合は、この再調整を行わなくてもよい。
以上により、フォーカス制御処理の高音質化処理を終了する。
上述のようにズーム前に既にフォーカスを合わせているものの、風等による振動、被写体の動きや誤差、経年劣化等により合焦位置が多少ずれることがある。このため、本実施形態においては、フォーカス制御部１１０は、例えば、焦点距離をテレ端に移動完了後に、レンズのフォーカスを再調整する。フォーカス制御部１１０は、この再調整をコントラストＡＦ方式で行ってもよい。この再調整は、狭い位置の範囲でエッジ成分を抽出すればよいため、従来技術より、高速に行うことができる。
なお、フォーカス制御部１１０は、エッジ成分の値が十分高く、フォーカスが合っている場合は、この再調整を行わなくてもよい。
以上により、フォーカス制御処理の高音質化処理を終了する。
【0038】
以上のように構成することで、以下のような効果を得ることができる。
近年、監視カメラ及び市販品のデジタルカメラ等、フォーカスを自動追従するＡＦ機能の性能が向上している。ＡＦ機能として、主に一眼レフカメラ、ミラーレスカメラでは、レンズから入った光を２つに分けて専用のセンサーへ導き、結像した２つの画像の間隔からピントの方向と量を判断する位相差ＡＦや、専用のセンサーを使用して位相差ＡＦを像面で行う像面位相差ＡＦ方式等が用いられている。しかしながら、位相差ＡＦ及び像面位相差ＡＦは特殊なＡＦセンサーを用い、さらに中長距離監視の分野においては、精度が十分でないために、監視カメラには使用されないことが多い。たとえば、十ｋｍ以上先についてズームした画像をＡＦしたい場合、位相差ＡＦ方式や像面位相差ＡＦ方式ではアウトフォーカスとなり、輪郭の描画がぼやけることが多い。
このため、監視カメラでは、従来技術に示すように、フォーカスレンズを走査して、検出したエッジ成分の極大点からフォーカスポイントを算出するコントラストＡＦ方式が主に用いられている。
近年、監視カメラ及び市販品のデジタルカメラ等、フォーカスを自動追従するＡＦ機能の性能が向上している。ＡＦ機能として、主に一眼レフカメラ、ミラーレスカメラでは、レンズから入った光を２つに分けて専用のセンサーへ導き、結像した２つの画像の間隔からピントの方向と量を判断する位相差ＡＦや、専用のセンサーを使用して位相差ＡＦを像面で行う像面位相差ＡＦ方式等が用いられている。しかしながら、位相差ＡＦ及び像面位相差ＡＦは特殊なＡＦセンサーを用い、さらに中長距離監視の分野においては、精度が十分でないために、監視カメラには使用されないことが多い。たとえば、十ｋｍ以上先についてズームした画像をＡＦしたい場合、位相差ＡＦ方式や像面位相差ＡＦ方式ではアウトフォーカスとなり、輪郭の描画がぼやけることが多い。
このため、監視カメラでは、従来技術に示すように、フォーカスレンズを走査して、検出したエッジ成分の極大点からフォーカスポイントを算出するコントラストＡＦ方式が主に用いられている。
【0039】
図５により、この従来のコントラストＡＦ方式による、従来のフォーカス制御処理の例について説明する。
ステップＳ２００において、被写体設定処理が行われる。この処理は、図２のステップＳ１００と同様である。
次にステップＳ２０１において、ズーム処理が行われる。この処理も、図２のステップＳ１０４と同様であるものの、単なる焦点距離の移動なので、アウトフォーカスとなる。
最後にステップＳ２０２において、オートフォーカス制御処理が行われる。これは、従来のコントラストＡＦ方式により行われる。この際、何回もフォーカスレンズを往復してエッジ成分の極大点を算出する必要がある。
ステップＳ２００において、被写体設定処理が行われる。この処理は、図２のステップＳ１００と同様である。
次にステップＳ２０１において、ズーム処理が行われる。この処理も、図２のステップＳ１０４と同様であるものの、単なる焦点距離の移動なので、アウトフォーカスとなる。
最後にステップＳ２０２において、オートフォーカス制御処理が行われる。これは、従来のコントラストＡＦ方式により行われる。この際、何回もフォーカスレンズを往復してエッジ成分の極大点を算出する必要がある。
【0040】
このように、従来技術では、ズームを行った際に、アウトフォーカスの状態から、フォーカスレンズを移動させてエッジ成分の極大点を探すため、フォーカスされるまで、時間がかかっていた。
【0041】
これに対して、本発明の実施の形態に係る監視システムＸは、焦点距離可変でズーム可能なレンズと撮像素子とを備えたカメラである監視カメラ１と、レンズのズーム及びフォーカスを制御する制御装置であるサーバー３とを含む撮像システムであって、監視カメラ１から被写体までの距離を被写体距離として算出する距離算出部１００と、距離算出部１００により算出された被写体距離に応じて、焦点距離を変更完了させる前にレンズをフォーカスさせるフォーカス制御部１１０とを備えることを特徴とする。
このように構成することで、中長距離のテレ端監視を主用途とした監視カメラ等において、フォーカスを高速化することができる。このため、一刻一秒が重要な国境監視等で、素早く目的とする被写体を監視し、その後の対応につなげることができる。
このように構成することで、中長距離のテレ端監視を主用途とした監視カメラ等において、フォーカスを高速化することができる。このため、一刻一秒が重要な国境監視等で、素早く目的とする被写体を監視し、その後の対応につなげることができる。
【0042】
本発明の実施の形態に係る監視システムＸにおいて、フォーカス制御部１１０は、算出された被写体距離にレンズをフォーカス後、焦点距離を変更することを特徴とする。
このように構成し、焦点距離の変更を開始する前に、監視カメラ１との被写体距離に応じてレンズをフォーカスさせる、すなわち、目的の被写体に対してズーム前にオートフォーカスすることで、フォーカス時間を短縮することができる。
このように構成し、焦点距離の変更を開始する前に、監視カメラ１との被写体距離に応じてレンズをフォーカスさせる、すなわち、目的の被写体に対してズーム前にオートフォーカスすることで、フォーカス時間を短縮することができる。
【0043】
本発明の実施の形態に係る監視システムＸにおいて、フォーカス制御部１１０は、被写体の動きが所定の閾値以上であった場合、監視カメラ１との被写体距離に応じたフォーカスを行わないことを特徴とする。
このように構成し、例えば、動作量が閾値以上であった場合に、被写体が動いているとして、オートフォーカスを行わないことで、更なるフォーカスの調整を行う手間を減らすことができる。結果として高速にフォーカスさせることができる。
このように構成し、例えば、動作量が閾値以上であった場合に、被写体が動いているとして、オートフォーカスを行わないことで、更なるフォーカスの調整を行う手間を減らすことができる。結果として高速にフォーカスさせることができる。
【0044】
本発明の実施の形態に係る監視システムＸにおいて、フォーカス制御部１１０は、焦点距離をテレ端に移動完了後に、レンズのフォーカスを再調整することを特徴とする。
このように構成することで、被写体の閾値未満の動きや誤差等で完全にピントが合っていなくても、レンズを合焦位置合わせることができる。この際、レンズは合焦位置に近い位置にあり、可動範囲が制限されるため、高速にフォーカスさせることができる。このため、ズーム後のオートフォーカス時間を短縮することもできる。
このように構成することで、被写体の閾値未満の動きや誤差等で完全にピントが合っていなくても、レンズを合焦位置合わせることができる。この際、レンズは合焦位置に近い位置にあり、可動範囲が制限されるため、高速にフォーカスさせることができる。このため、ズーム後のオートフォーカス時間を短縮することもできる。
【0045】
なお、上述の実施の形態では、被写体距離に合わせてフォーカスをしてから、ズームを行う例について説明した。
しかしながら、フォーカス制御部１１０は、被写体距離を算出した時点の焦点位置にレンズをフォーカスし、焦点距離の変更が完了していない場合、被写体距離の算出とレンズのフォーカスを再度行ってもよい。すなわち、フォーカス制御部１１０は、焦点距離の変更に連動させて、被写体距離に応じてレンズをフォーカスさせることも可能である。具体的には、ズーム中も合焦させる（ピントを合わせる）ようにしてもよい。または、上述の実施形態で記載したように、被写体距離に合わせてフォーカスをしてから、さらにズーム中も連動させてフォーカスするようにしてもよい。
しかしながら、フォーカス制御部１１０は、被写体距離を算出した時点の焦点位置にレンズをフォーカスし、焦点距離の変更が完了していない場合、被写体距離の算出とレンズのフォーカスを再度行ってもよい。すなわち、フォーカス制御部１１０は、焦点距離の変更に連動させて、被写体距離に応じてレンズをフォーカスさせることも可能である。具体的には、ズーム中も合焦させる（ピントを合わせる）ようにしてもよい。または、上述の実施形態で記載したように、被写体距離に合わせてフォーカスをしてから、さらにズーム中も連動させてフォーカスするようにしてもよい。
【0046】
図４により、このようなフォーカス制御部１１０の処理について説明する。
ここで、図４のステップＳ１００～ステップＳ１０２、Ｓ１０５は、図２のステップＳ１００～ステップＳ１０２、Ｓ１０５と同様の処理であるため説明を省略する。
しかしながら、図４のステップＳ１０３ｂの距離オートフォーカス制御処理では、算出された被写体距離その時点のズーム倍率、すなわちレンズの焦点位置に応じて、フォーカスを合わせる。すなわち、ズームの倍率により、フォーカスレンズの動きも連動させる。
さらに、ステップＳ１０４ｂのズーム処理においては、ズーム等を行うものの、ズーム中であっても、次のステップＳ１０６に処理を進める。
ここで、図４のステップＳ１００～ステップＳ１０２、Ｓ１０５は、図２のステップＳ１００～ステップＳ１０２、Ｓ１０５と同様の処理であるため説明を省略する。
しかしながら、図４のステップＳ１０３ｂの距離オートフォーカス制御処理では、算出された被写体距離その時点のズーム倍率、すなわちレンズの焦点位置に応じて、フォーカスを合わせる。すなわち、ズームの倍率により、フォーカスレンズの動きも連動させる。
さらに、ステップＳ１０４ｂのズーム処理においては、ズーム等を行うものの、ズーム中であっても、次のステップＳ１０６に処理を進める。
【0047】
この上で、ステップＳ１０６として、フォーカス制御部１１０は、ズーム完了か否かを判定する。フォーカス制御部１１０は、ズーム完了の場合、Ｙｅｓと判定する。フォーカス制御部１１０は、まだズームが完了していない場合、Ｎｏと判定する。 Ｙｅｓの場合、フォーカス制御部１１０は、処理をステップＳ１０５へ進める。
Ｎｏの場合、フォーカス制御部１１０は、処理をステップＳ１０１へ戻して、被写体距離と動作量の算出、被写体距離に応じたオートフォーカス制御を続ける。
Ｎｏの場合、フォーカス制御部１１０は、処理をステップＳ１０１へ戻して、被写体距離と動作量の算出、被写体距離に応じたオートフォーカス制御を続ける。
【0048】
このように構成することで、中長距離のテレ端監視を主用途とした装置で、被写体に対してズーム完了前にフォーカスし、ズーム中も合焦した画像を監視することが可能となる。すなわち、ズーム開始時からズーム完了時まで、常に合焦した画像が得られる。
【0049】
また、上述の実施形態においては、ズームの前に被写体距離を算出する例について説明した。
しかしながら、予距離算出部１００は、被写体の指示後、常に又は任意のタイミングで、被写体距離を算出することも可能である。
このように構成することで、より正確にフォーカスを行うことが可能となり、フォーカスの調整も容易になる。
しかしながら、予距離算出部１００は、被写体の指示後、常に又は任意のタイミングで、被写体距離を算出することも可能である。
このように構成することで、より正確にフォーカスを行うことが可能となり、フォーカスの調整も容易になる。
【0050】
上述の実施形態においては、動作量が閾値以上の場合は、距離オートフォーカス制御処理を行わないように記載した。
しかしながら、動作量の算出と合わせて距離方向の移動速度を算出し、これに合わせて被写体距離を算出して、フォーカスしてもよい。または、動作量の平均値からフォーカスを行うことも可能であってもよい。
このように構成することで、構成によっては、より高速なフォーカスを行うことが可能となる。
しかしながら、動作量の算出と合わせて距離方向の移動速度を算出し、これに合わせて被写体距離を算出して、フォーカスしてもよい。または、動作量の平均値からフォーカスを行うことも可能であってもよい。
このように構成することで、構成によっては、より高速なフォーカスを行うことが可能となる。
【0051】
上述の実施の形態では、監視カメラ１をスライダー付き設置台Ｕにより、スライドして移動させ、被写体距離を算出する例について説明した。
しかしながら、監視カメラ１を左右に移動させずに、複数台の監視カメラ１を用いて被写体距離を算出してもよい。
この場合、少なくとも二式の監視カメラ１を同じ被写体にパン制御した際の角度から、被写体距離を算出することが可能である。たとえば、予距離算出部１００は、二式の監視カメラ１を連動し、二式の光軸に対して垂直な線上から目的の被写体に対する角度の差分から目的の被写体までの距離を被写体距離として算出可能である。具体的に、図３の例でいうと、予距離算出部１００は、二台の監視カメラ１の角度φと距離対応データ２００との関係から、被写体距離ａを算出可能である。
しかしながら、監視カメラ１を左右に移動させずに、複数台の監視カメラ１を用いて被写体距離を算出してもよい。
この場合、少なくとも二式の監視カメラ１を同じ被写体にパン制御した際の角度から、被写体距離を算出することが可能である。たとえば、予距離算出部１００は、二式の監視カメラ１を連動し、二式の光軸に対して垂直な線上から目的の被写体に対する角度の差分から目的の被写体までの距離を被写体距離として算出可能である。具体的に、図３の例でいうと、予距離算出部１００は、二台の監視カメラ１の角度φと距離対応データ２００との関係から、被写体距離ａを算出可能である。
【0052】
この場合、被写体に対してズーム完了前に一方の監視カメラ１をフォーカスすることも、ズーム完了前に複数の監視カメラ１を全てフォーカスすることも可能であってもよい。
または、複数の監視カメラ１のレンズの合焦位置を少しずらして、最も合焦したものの合焦位置に合わせることで、オートフォーカス再調整処理を素早く行うようにしてもよい。
または、複数の監視カメラ１のレンズの合焦位置を少しずらして、最も合焦したものの合焦位置に合わせることで、オートフォーカス再調整処理を素早く行うようにしてもよい。
【0053】
上述の実施の形態では、パン制御により被写体距離を算出する例について記載した。
しかしながら、被写体距離を、比較できる基準物体との比較により算出することも可能である。さらに、画像処理により、被写体距離を算出してもよい。この場合、上述の被写体の動作量等から、被写体距離を算出することも可能である。
または、レーザー、電波、音波等を用いた測距デバイスにより、被写体距離を測定することも可能である。
しかしながら、被写体距離を、比較できる基準物体との比較により算出することも可能である。さらに、画像処理により、被写体距離を算出してもよい。この場合、上述の被写体の動作量等から、被写体距離を算出することも可能である。
または、レーザー、電波、音波等を用いた測距デバイスにより、被写体距離を測定することも可能である。
【0054】
上述の実施形態においては、サーバー３にて各機能部の処理を行うように記載した。
しかしながら、上述の各機能部の処理は、サーバー３で行わなくてもよく、監視カメラ１や端末２等で実行してもよい。また、この場合、サーバー３を用いない監視カメラ１及び端末２のみの監視システムに適用することも可能である。
このように構成することで、様々な構成に対応可能となる。
しかしながら、上述の各機能部の処理は、サーバー３で行わなくてもよく、監視カメラ１や端末２等で実行してもよい。また、この場合、サーバー３を用いない監視カメラ１及び端末２のみの監視システムに適用することも可能である。
このように構成することで、様々な構成に対応可能となる。
【0055】
また、本発明の実施の形態に係る撮像システムは、監視カメラ以外の画像データを取得して、ズームとＡＦを行う各種の撮像装置に適用できる。
【0056】
なお、上記実施の形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【0057】
１、１－１～１－ｎ 監視カメラ２ 端末３ サーバー５ ネットワーク１０ 制御部１１ 記憶部１００ 距離算出部１１０ フォーカス制御部２００ 距離対応データＵ 設置台Ｘ 撮像システム
【図1】
【図2】
【図3】
【図4】
【図5】