特許 7091473 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-17

(45)【発行日】2022-06-27

(54)【発明の名称】ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220620BHJP

   H04N 5/225 20060101ALI20220620BHJP

   G03B 15/00 20210101ALI20220620BHJP

   G03B 17/02 20210101ALI20220620BHJP

   G03B 5/00 20210101ALI20220620BHJP

【ＦＩ】

H04N5/232 480

H04N5/225 300

H04N5/225 400

H04N5/232 290

G03B15/00 S

G03B17/02

G03B5/00 J

G03B5/00 K

【請求項の数】 11

(21)【出願番号】P 2020557878

(86)(22)【出願日】2019-11-29

(86)【国際出願番号】 JP2019046891

(87)【国際公開番号】W WO2020111266

(87)【国際公開日】2020-06-04

【審査請求日】2021-03-22

(31)【優先権主張番号】P 2018224226

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】杉本 雅彦

(72)【発明者】

【氏名】増田 智紀

(72)【発明者】

【氏名】潘 毅

(72)【発明者】

【氏名】橋本 貴志

(72)【発明者】

【氏名】藤川 哲也

(72)【発明者】

【氏名】岸根 慶延

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－１２９７８５（ＪＰ，Ａ）

【文献】特開２０１３－１２６０７５（ＪＰ，Ａ）

【文献】特開２０１６－２４２３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２２５

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０２

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第１動作推奨条件、および前記第２動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御部と、
を備えるぶれ補正制御装置。

【請求項2】

前記動作制御部は、前記連続する複数の時点で構成される設定期間において、前記第１動作推奨条件を満たした時点の数が第１の設定数以上の場合、前記次の時点において、前記機械式補正部および前記電子式補正部のうちの前記機械式補正部のみを動作させる制御を行い、
前記設定期間において、前記第２動作推奨条件を満たした時点の数が第２の設定数以上の場合、前記次の時点において、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う請求項１に記載のぶれ補正制御装置。

【請求項3】

前記動作制御部は、前記設定期間において、前記第１動作推奨条件を満たした時点の数が前記第１の設定数未満で、かつ前記設定期間において、前記第２動作推奨条件を満たした時点の数が前記第２の設定数未満の場合、前記次の時点において、前の時点の前記機械式補正部および前記電子式補正部の動作状態を引き継ぐ請求項２に記載のぶれ補正制御装置。

【請求項4】

前記第１の設定数および前記第２の設定数のうちの少なくとも一方を変更する変更部を備える請求項２または請求項３に記載のぶれ補正制御装置。

【請求項5】

前記第１動作推奨条件は、前記関係量が設定量以上であるという条件であり、
前記第２動作推奨条件は、前記関係量が前記設定量未満であるという条件である請求項１から請求項４のいずれか１項に記載のぶれ補正制御装置。

【請求項6】

前記関係量は、前記撮像素子における前記被写体像の露光時間と、前記ぶれの振幅および前記ぶれの周波数と、前記露光時間内の前記ぶれの量とのうちの少なくともいずれか１つである請求項１から請求項５のいずれか１項に記載のぶれ補正制御装置。

【請求項7】

前記取得部は、連続するフレーム毎に前記関係量を取得する請求項１から請求項６のいずれか１項に記載のぶれ補正制御装置。

【請求項8】

監視カメラシステムに用いられる請求項１から請求項７のいずれか１項に記載のぶれ補正制御装置。

【請求項9】

請求項１から請求項８のいずれか１項に記載のぶれ補正制御装置を備える撮像装置。

【請求項10】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得ステップと、
前記取得ステップにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第１動作推奨条件、および前記第２動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御ステップと、
を備えるぶれ補正制御装置の作動方法。

【請求項11】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第１動作推奨条件、および前記第２動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御部として、
コンピュータを機能させるためのぶれ補正制御装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置に関する。

【背景技術】

【0002】

撮像装置により被写体を示す被写体光が結像されることで得られた被写体像のぶれ（以下、「被写体像のぶれ」、または単に「ぶれ」とも称する）を補正する補正部として、一般的に、機械式補正部と電子式補正部とが知られている。機械式補正部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることでぶれを補正する。電子式補正部は、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する。

【0003】

特開２０１３－１２６０７５号公報に記載の撮像装置は、機械式補正部と電子式補正部とを備えている。特開２０１３－１２６０７５号公報に記載の撮像装置では、撮像素子における電子シャッタのシャッタ速度（露光時間）と、ぶれの量とが取得される。そして、機械式補正部および電子式補正部が、露光時間とぶれの量に応じて、選択的に動作する。具体的には、露光時間が設定量よりも長い場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、露光時間が設定量以下の場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。また、ぶれの量が設定量以上の場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、ぶれの量が設定量よりも小さい場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の技術は、機械式補正部および電子式補正部を選択的に動作させる場合に、スムーズな画像を出力可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本開示のぶれ補正制御装置は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、第１動作推奨条件、および第２動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御部と、を備える。

【0006】

動作制御部は、連続する複数の時点で構成される設定期間において、第１動作推奨条件を満たした時点の数が第１の設定数以上の場合、次の時点において、機械式補正部および電子式補正部のうちの機械式補正部のみを動作させる制御を行い、設定期間において、第２動作推奨条件を満たした時点の数が第２の設定数以上の場合、次の時点において、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行うことが好ましい。

【0007】

動作制御部は、設定期間において、第１動作推奨条件を満たした時点の数が第１の設定数未満で、かつ設定期間において、第２動作推奨条件を満たした時点の数が第２の設定数未満の場合、次の時点において、前の時点の機械式補正部および電子式補正部の動作状態を引き継ぐことが好ましい。

【0008】

第１の設定数および第２の設定数のうちの少なくとも一方を変更する変更部を備えることが好ましい。

【0009】

第１動作推奨条件は、関係量が設定量以上であるという条件であり、第２動作推奨条件は、関係量が設定量未満であるという条件であることが好ましい。

【0010】

関係量は、撮像素子における被写体像の露光時間と、ぶれの振幅およびぶれの周波数と、露光時間内のぶれの量とのうちの少なくともいずれか１つであることが好ましい。

【0011】

取得部は、連続するフレーム毎に関係量を取得することが好ましい。

【0012】

監視カメラシステムに用いられることが好ましい。

【0013】

本開示の撮像装置は、上記いずれかに記載のぶれ補正制御装置を備える。

【0014】

本開示のぶれ補正制御装置の作動方法は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得ステップと、取得ステップにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、第１動作推奨条件、および第２動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御ステップと、を備える。

【0015】

本開示のぶれ補正制御装置の作動プログラムは、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得部と、取得部において取得した関係量であって、連続する複数の時点に対応する複数の関係量、第１動作推奨条件、および第２動作推奨条件に応じて、連続する複数の時点の次の時点において、機械式補正部および電子式補正部を選択的に動作させる制御を行う動作制御部として、コンピュータを機能させるためのプログラムである。

【発明の効果】

【0016】

本開示の技術によれば、機械式補正部および電子式補正部を選択的に動作させる場合に、スムーズな画像を出力可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することができる。

【図面の簡単な説明】

【0017】

【図1】監視カメラシステムを示す図である。

【図2】監視カメラのブロック図である。

【図3】監視カメラのＣＰＵのブロック図である。

【図4】第１動作推奨条件の内容を示す図である。

【図5】第２動作推奨条件の内容を示す図である。

【図6】フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。

【図7】記憶制御部の処理を説明するための図である。

【図8】動作制御部の処理の設定を示す表である。

【図9】フレームＦ５０～フレームＦ６０の露光時間の推移を示したグラフである。

【図10】図９のように露光時間が推移した場合に、図８の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１０Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を、図１０Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を、それぞれ示す。

【図11】図９のように露光時間が推移した場合に、図８の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１１Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を、図１１Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を、それぞれ示す。

【図12】図９のように露光時間が推移した場合に、図８の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１２Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を、図１２Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を、それぞれ示す。

【図13】図１０～図１２の説明をまとめたグラフである。

【図14】監視カメラの処理手順を示すフローチャートである。

【図15】本開示の技術の効果を示す図であり、図１５Ａは、フレームＦ７０～フレームＦ８０の露光時間の推移を示したグラフ、図１５Ｂは、１フレーム分の露光時間に応じて動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表、図１５Ｃは、図８の表で示した設定で動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表を、それぞれ示す。

【図16】動作制御部の処理の設定の別の例を示す表である。

【図17】動作制御部の処理の設定の別の例を示す表である。

【図18】動作制御部の処理の設定の別の例を示す表である。

【図19】第１の設定数および第２の設定数を変更する態様を示す図である。

【図20】ぶれ検出センサからのぶれの検出信号を高速フーリエ変換にかけ、各々振幅をもつ複数の異なる周波数のぶれに分解する様子を概念的に示す図である。

【図21】第２実施形態の第１動作推奨条件の内容を示す図である。

【図22】第２実施形態の第２動作推奨条件の内容を示す図である。

【図23】第２設定量を周波数が高くなるにつれて小さくなる量とし、第３設定量を振幅が大きくなるにつれて小さくなる量とする態様を示すグラフである。

【図24】第２設定量および第３設定量の変化のバリエーションを示すグラフであり、図２４Ａは、第２設定量および第３設定量を曲線的に変化させる例、図２４Ｂは、第２設定量および第３設定量を段階的に変化させる例を、それぞれ示す。

【図25】ある時間にぶれ検出センサで検出されたぶれに対する露光時間内のぶれの量を示す図である。

【図26】第３実施形態の第１動作推奨条件の内容を示す図である。

【図27】第３実施形態の第２動作推奨条件の内容を示す図である。

【図28】ぶれ補正制御装置の所在のバリエーションを示す図であり、図２８Ａは、管理装置にぶれ補正制御装置の機能をもたせた態様を、図２８Ｂは、監視カメラおよび管理装置とは別に、ぶれ補正制御装置を設けた態様を、それぞれ示す。

【発明を実施するための形態】

【0018】

以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。

【0019】

［第１実施形態］
図１において、監視カメラシステム２は、監視カメラ１０と、管理装置１１と、記憶装置１２とを備える。監視カメラ１０は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ１０は、生成した動画を管理装置１１に送信する。管理装置１１は、監視カメラ１０とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置１１は、監視カメラ１０からの動画を受信する。管理装置１１は、受信した動画を記憶装置１２に送信し、動画を記憶装置１２に記憶させる。

【0020】

図２において、監視カメラ１０は撮像光学系１５を有する。撮像光学系１５は、第１光学系１６、絞り１７、第２光学系１８、および補正光学系１９を備えている。第１光学系１６は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子２５の受光面に結像させる。絞り１７は、第１光学系１６から第２光学系１８に至る被写体像の光量を調整する。絞り１７にはアクチュエータ２０が取り付けられている。アクチュエータ２０は、ドライバ２１により駆動制御される。ドライバ２１の制御の下、アクチュエータ２０が駆動することで、絞り１７の開度が変更される。

【0021】

監視カメラ１０に与えられる振動（以下、単に「振動」とも称する）には、屋外であれば、自動車の通行による振動、風による振動、および道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、および人の出入りによる振動等がある。補正光学系１９は、振動による被写体像のぶれを補正するための光学系である。補正光学系１９にはアクチュエータ２２が取り付けられている。アクチュエータ２２は、ドライバ２３により駆動制御される。ドライバ２３の制御の下、アクチュエータ２２が駆動することで、補正光学系１９が光軸ＯＡに対して機械的に移動する。

【0022】

なお、本実施形態において、「ぶれ」とは、振動に起因して光軸ＯＡが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸ＯＡ」とは、第１光学系１６の対物レンズの光軸を指す。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して、ぶれにより光軸ＯＡが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。

【0023】

補正光学系１９とアクチュエータ２２とドライバ２３とで、機械式補正部２４が実現される。機械式補正部２４によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部２４は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系１９を移動させる。

【0024】

撮像光学系１５の後段には、撮像素子２５が配置されている。撮像素子２５は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子２５は、可視光、例えば、約７００ｎｍ以下の短波長側の光に基づく撮像を行う。ただし、本実施形態はこれに限定されず、撮像素子２５は、赤外光、例えば、約７００ｎｍよりも長波長側の光）に基づく撮像を行ってもよい。この場合、撮像素子２５の画素としては、赤外光に感度を有する光電変換素子を用いればよい。特に、短波近赤外光（ＳＷＩＲ；Short-wavelength infrared）に基づく撮像に対しては、撮像素子２５として、例えば、ＩｎＧａＡｓイメージセンサおよび／またはタイプ２型量子井戸構造（Ｔ２ＳＬ；Simulation of Type-II Quantum Well）イメージセンサ等を用いればよい。撮像素子２５は、ドライバ２６の制御の下、所定のフレームレートで、撮像光学系１５で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。

【0025】

監視カメラ１０は、ＡＦＥ（Analog Front End）３０、ＤＳＰ（Digital Signal Processor）３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ（Interface）３４、ＲＯＭ（Read Only Memory）３５、ＲＡＭ（Random Access Memory）３６、およびＣＰＵ（Central Processing Unit）３７等を有する。ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ３４、ＲＯＭ３５、ＲＡＭ３６、およびＣＰＵ３７は、バスライン３８を介して相互に接続されている。なお、ＲＯＭ３５、ＲＡＭ３６、ＣＰＵ３７、およびバスライン３８は、本開示の技術に係る「コンピュータ」の一例である。

【0026】

ＡＦＥ３０は、撮像素子２５からのアナログの撮像信号を受信する。ＡＦＥ３０は、アナログの撮像信号に対して、相関二重サンプリング、および自動ゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ（Analog/Digital）変換を行ってデジタルの撮像信号とする。なお、撮像素子２５はＭＯＳ（Metal Oxide Semiconductor）イメージセンサ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサでもよい。撮像素子２５がＣＭＯＳイメージセンサであった場合は、ＡＦＥ３０およびＤＳＰ３１は、その一部または全部がＣＭＯＳイメージセンサ内に一体的に組み込まれていてもよい。この場合、ＡＦＥ３０は、Ａ／Ｄ変換機能のみで構成されていてもよい。

【0027】

ＤＳＰ３１は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、および色補正処理等を指す。ＤＳＰ３１は、デジタル信号処理後の撮像信号を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からの撮像信号を、被写体像を表す画像として記憶する。

【0028】

電子式補正部３３は、画像メモリ３２に記憶された画像に画像処理を施すことで、被写体像のぶれを補正する。機械式補正部２４の場合と同様に、電子式補正部３３によるぶれの補正方法としては、周知の種々の方法を採用することができる。

【0029】

電子式補正部３３によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子２５は、撮像領域を、最終的に画像として出力する領域（以下、画像出力領域）よりも一回り大きくしておく。電子式補正部３３は、画像メモリ３２に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部３３は、ぶれに応じて、画像出力領域の切り出し位置を変更する。

【0030】

画像比較方法では、まず、電子式補正部３３は、画像メモリ３２から、時系列的に前後する画像を取得し、取得した時系列的に前後する画像を比較する。次に、電子式補正部３３は、画像を比較した結果を元に、先行の画像に対する後続の画像のずれ量およびずれ方向を算出する。そして、電子式補正部３３は、後続の画像を、算出したずれ量およびずれ方向が打ち消された画像に加工する。なお、以下では、機械式補正部２４および電子式補正部３３を区別して説明する必要がない場合、符号を付さずに「補正部」と称する。

【0031】

通信Ｉ／Ｆ３４は、画像メモリ３２から画像を読み出し、読み出した画像を管理装置１１に送信する。通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のＷＡＮ（Wide Area Network）が挙げられる。

【0032】

ＲＯＭ３５は、監視カメラ１０の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。ＲＡＭ３６は、ＣＰＵ３７が処理を実行するためのワークメモリである。ＣＰＵ３７は、ＲＯＭ３５に記憶されたプログラムをＲＡＭ３６へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ３７は、監視カメラ１０の各部の動作を統括的に制御する。

【0033】

ＣＰＵ３７には、ぶれ検出センサ４０、測光センサ４１、およびタッチパネルディスプレイ４２が接続されている。ぶれ検出センサ４０は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、およびロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）回りの回転ぶれを検出する。また、ぶれ検出センサ４０は、例えば、加速度センサである。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ４０は、ぶれの検出信号をＣＰＵ３７に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。

【0034】

測光センサ４１は、ＡＥ（Automatic Exposure）制御を行うために、１フレーム毎に被写体像の光量を測定する。測光センサ４１は、光量の測定信号をＣＰＵ３７に出力する。

【0035】

タッチパネルディスプレイ４２は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、ＣＰＵ３７の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ４２には、監視カメラ１０の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ４２は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。

【0036】

図３において、ＲＯＭ３５には、作動プログラム５０が記憶されている。作動プログラム５０は、監視カメラ１０をぶれ補正制御装置として機能させるためのプログラムである。なお、作動プログラム５０は、本開示の技術に係る「ぶれ補正制御装置の作動プログラム」の一例である。

【0037】

また、ＲＯＭ３５には、第１動作推奨条件５１、第２動作推奨条件５２、第１の設定数ＳＮ１、および第２の設定数ＳＮ２が記憶されている。第１動作推奨条件５１は、機械式補正部２４の動作が推奨される条件である。第２動作推奨条件５２は、電子式補正部３３の動作が推奨される条件である。

【0038】

ＣＰＵ３７は、作動プログラム５０を実行することで、ＲＡＭ３６等と協働して、ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３として機能する。ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３のうちの取得部６１と動作制御部６３とで、ぶれ補正制御装置６４が実現される。

【0039】

ＡＥ制御部６０は、測光センサ４１からの光量の測定信号を受信する。ＡＥ制御部６０は、受信した光量の測定信号に応じた露出値を設定する。ＡＥ制御部６０は、１フレーム毎に露出値を設定する。より詳しくは、ＡＥ制御部６０は、前のフレームの光量の測定信号に基づいて、次のフレームの露出値を設定する。

【0040】

ＡＥ制御部６０は、設定した露出値に応じた絞り１７の開度を算出する。ＡＥ制御部６０は、算出した開度に絞り１７の実際の開度を合わせるように、ドライバ２１を介してアクチュエータ２０を駆動させる。

【0041】

また、ＡＥ制御部６０は、設定した露出値に応じた、撮像素子２５における被写体像の露光時間を算出する。ＡＥ制御部６０は、算出した露光時間に実際の露光時間を合わせるように、ドライバ２６を介して撮像素子２５を駆動させる。ＡＥ制御部６０は、算出した露光時間を取得部６１に出力する。

【0042】

取得部６１は、ＡＥ制御部６０からの露光時間を取得する。取得部６１により取得された露光時間は、本開示の技術に係る「関係量」の一例であり、第１動作推奨条件５１および第２動作推奨条件５２の各々に関係する関係量に相当する。また、前述のように、ＡＥ制御部６０は、１フレーム毎に露出値を設定するので、露光時間も１フレーム毎に算出して、１フレーム毎に取得部６１に出力する。このため、取得部６１は、連続するフレーム毎に露光時間を取得する。この連続するフレームの各々の露光時間が取得部６１によって取得される時点が、本開示の技術に係る「予め定められた時点」の一例である。取得部６１は、取得した露光時間を記憶制御部６２に出力する。

【0043】

記憶制御部６２は、取得部６１からの露光時間をＲＡＭ３６に記憶する制御を行う。また、記憶制御部６２は、連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６から読み出し、読み出した複数の露光時間を動作制御部６３に出力する。

【0044】

動作制御部６３は、ぶれ検出センサ４０からのぶれの検出信号を受信する。動作制御部６３は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部２４および電子式補正部３３の動作を制御する。

【0045】

動作制御部６３は、ＲＯＭ３５から、第１動作推奨条件５１、第２動作推奨条件５２、第１の設定数ＳＮ１、および第２の設定数ＳＮ２を読み出す。そして、これら第１動作推奨条件５１、第２動作推奨条件５２、第１の設定数ＳＮ１、および第２の設定数ＳＮ２と、記憶制御部６２からの、連続する複数のフレームに対応する複数の露光時間とに応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部２４および電子式補正部３３を選択的に動作させる制御を行う。ここで、連続する複数のフレームの次のフレームが取得される時点が、本開示の技術に係る「連続する複数の時点の次の時点」の一例である。

【0046】

図４に示すように、第１動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件である。対して、図５に示すように、第２動作推奨条件５２は、露光時間が第１設定量ＴＨ１未満であるという条件である。このように、第１動作推奨条件５１および第２動作推奨条件５２は、一方を満たせば他方を満たさないという相反する条件である。

【0047】

図６は、フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。各フレームＦ１０～フレームＦ２０のうち、フレームＦ１０、フレームＦ１１、フレームＦ１３、およびフレームＦ１５～Ｆ１９は、露光時間が第１設定量ＴＨ１以上であるため、第１動作推奨条件５１を満たしている。これに対して、フレームＦ１２、フレームＦ１４、フレームＦ２０は、露光時間が第１設定量ＴＨ１未満であるため、第２動作推奨条件５２を満たしている。

【0048】

図７に示すように、記憶制御部６２は、設定期間ＳＰにおいて、最も古いフレームの露光時間を、最も新しいフレームの露光時間に順次更新しつつ、連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６に記憶させる。そして、この複数の露光時間のセットを、１フレーム毎に順次動作制御部６３に出力する。以下において、設定期間ＳＰとは、連続する複数のフレームが取得される期間を指す。

【0049】

図７では、設定期間ＳＰが５フレームであり、図６で示したフレームＦ１０～フレームＦ２０の露光時間がＲＯＭ３５に順次記憶されていく様子を示している。図７の左上は、フレームＦ１０～フレームＦ１４の露光時間がＲＯＭ３５に記憶されている状態である。この状態から１フレーム分の取得時間が経過した図７の右上では、図７の左上において最も古かったフレームＦ１０の露光時間が、最も新しいフレームＦ１５の露光時間に更新されている。以下同様に、図７の左下ではフレームＦ１２～フレームＦ１６の露光時間がＲＯＭ３５に記憶され、図７の右下ではフレームＦ１３～フレームＦ１７の露光時間がＲＯＭ３５に記憶される。

【0050】

図８の表７０に示すように、動作制御部６３は、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１以上の場合（Ｎ１≧ＳＮ１）、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。一方、動作制御部６３は、設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２以上の場合（Ｎ２≧ＳＮ２）、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。なお、以下の図では、「Ｍ」を円で囲んだマークで機械式補正部２４が示されており、「Ｅ」を円で囲んだマークで電子式補正部３３が示されている。

【0051】

また、動作制御部６３は、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１未満で、かつ設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２未満の場合（Ｎ１＜ＳＮ１、かつＮ２＜ＳＮ２）、次のフレームにおいて、前のフレームの機械式補正部２４および電子式補正部３３の動作状態を引き継ぐ。すなわち、前のフレームで動作していた補正部を、次のフレームにおいても動作させる。なお、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない起動時においては、動作制御部６３は、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。

【0052】

図８では、設定期間ＳＰが図７の場合と同じ５フレームで、第１の設定数ＳＮ１および第２の設定数ＳＮ２がともに４フレームの場合を例示している。この例では、第１動作推奨条件５１を満たしたフレームの数Ｎ１が４および５の場合（第２動作推奨条件５２を満たしたフレームの数Ｎ２が０および１の場合）に、次のフレームにおいて機械式補正部２４のみが動作される。一方、第２動作推奨条件５２を満たしたフレームの数Ｎ２が４および５の場合（第１動作推奨条件５１を満たしたフレームの数Ｎ１が０および１の場合）に、次のフレームにおいて電子式補正部３３のみが動作される。また、第１動作推奨条件５１を満たしたフレームの数Ｎ１、および第２動作推奨条件５２を満たしたフレームの数Ｎ２が、ともに２および３の場合に、次のフレームにおいて、前のフレームで動作していた補正部が動作される。

【0053】

図９は、フレームＦ５０～フレームＦ６０の露光時間の推移を示したグラフである。各フレームＦ５０～フレームＦ６０のうち、フレームＦ５０～フレームＦ５４は、露光時間が第１設定量ＴＨ１未満であるため、第２動作推奨条件５２を満たしている。対して、フレームＦ５５～フレームＦ６０は、露光時間が第１設定量ＴＨ１以上であるため、第１動作推奨条件５１を満たしている。

【0054】

図１０～図１２は、図９のように露光時間が推移した場合に、図８の表７０で示した設定で、具体的にいずれの補正部が動作するかを示した図である。まず、図１０Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を示している。フレームＦ５０～フレームＦ５４の露光時間は、全て第２動作推奨条件５２を満たしている。すなわち、第２動作推奨条件５２を満たしたフレームの数Ｎ２が５であり、第２の設定数ＳＮ２の４以上である。このため、動作制御部６３は、フレームＦ５５において電子式補正部３３のみを動作させる。

【0055】

続いて図１０Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を示している。フレームＦ５１～フレームＦ５５の露光時間は、フレームＦ５５を除いて、第２動作推奨条件５２を満たしている。すなわち、第２動作推奨条件５２を満たしたフレームの数Ｎ２が４であり、第２の設定数ＳＮ２の４以上である。このため、動作制御部６３は、図１０Ａの場合と同じく、フレームＦ５６において電子式補正部３３のみを動作させる。

【0056】

図１１Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を示している。フレームＦ５２～フレームＦ５６の露光時間は、フレームＦ５２～フレームＦ５４が第２動作推奨条件５２を満たし、フレームＦ５５、フレームＦ５６が第１動作推奨条件５１を満たしている。すなわち、第１動作推奨条件５１を満たしたフレームの数Ｎ１が２であり、第１の設定数ＳＮ１の４未満である。かつ、第２動作推奨条件５２を満たしたフレームの数Ｎ２が３であり、第２の設定数ＳＮ２の４未満である。このため、動作制御部６３は、フレームＦ５７において、フレームＦ５６の動作状態を引き継いで、電子式補正部３３のみを動作させる。

【0057】

続いて図１１Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を示している。フレームＦ５３～フレームＦ５７の露光時間は、フレームＦ５３、フレームＦ５４が第２動作推奨条件５２を満たし、フレームＦ５５～フレームＦ５７が第１動作推奨条件５１を満たしている。すなわち、第１動作推奨条件５１を満たしたフレームの数Ｎ１が３であり、第１の設定数ＳＮ１の４未満である。かつ、第２動作推奨条件５２を満たしたフレームの数Ｎ２が２であり、第２の設定数ＳＮ２の４未満である。このため、動作制御部６３は、図１１Ａの場合と同じく、フレームＦ５８において、フレームＦ５７の動作状態を引き継いで、電子式補正部３３のみを動作させる。

【0058】

図１２Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を示している。フレームＦ５４～フレームＦ５８の露光時間は、フレームＦ５４を除いて、第１動作推奨条件５１を満たしている。すなわち、第１動作推奨条件５１を満たしたフレームの数Ｎ１が４であり、第１の設定数ＳＮ１の４以上である。このため、動作制御部６３は、フレームＦ５９において機械式補正部２４のみを動作させる。

【0059】

続いて図１２Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を示している。フレームＦ５５～フレームＦ５９の露光時間は、全て第１動作推奨条件５１を満たしている。すなわち、第１動作推奨条件５１を満たしたフレームの数Ｎ１が５であり、第１の設定数ＳＮ１の４以上である。このため、動作制御部６３は、図１２Ａの場合と同じく、フレームＦ６０において機械式補正部２４のみを動作させる。

【0060】

図１０～図１２の説明をまとめると、図１３に示すようになる。すなわち、フレームＦ５５～フレームＦ５８までは、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される。しかし、フレームＦ５９からは、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される。

【0061】

次に、上記構成による作用について、図１４のフローチャートおよび図１５を参照して説明する。まず、ぶれを補正する指示がタッチパネルディスプレイ４２等によって受け付けられたことを条件に、作動プログラム５０にしたがってＣＰＵ３７によって実行されるぶれ補正処理について説明する。ぶれ補正処理は、図３に示すＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３としてＣＰＵ３７を機能させる処理である。

【0062】

図１４のステップＳＴ１００に示すように、ＡＥ制御部６０において、測光センサ４１からの光量の測定信号に応じた露出値が設定される。そして、露出値に応じた露光時間が算出される。露光時間はＡＥ制御部６０から取得部６１に出力される。

【0063】

取得部６１では、ＡＥ制御部６０からの露光時間が取得される（ステップＳＴ１１０）。このステップＳＴ１１０は、本開示の技術に係る「取得ステップ」の一例である。露光時間は取得部６１から記憶制御部６２に出力され、図７で示したように、記憶制御部６２によってＲＡＭ３６に記憶される（ステップＳＴ１２０）。

【0064】

監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合（ステップＳＴ１３０でＮＯ）は、動作制御部６３により、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１４０）。なお、監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合に、機械式補正部２４ではなく、電子式補正部３３を動作させてもよい。

【0065】

ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていた場合（ステップＳＴ１３０でＹＥＳ）、記憶制御部６２により、設定期間ＳＰ分の露光時間がＲＡＭ３６から読み出され、動作制御部６３に出力される。

【0066】

動作制御部６３では、記憶制御部６２からの設定期間ＳＰ分の露光時間と、第１設定量ＴＨ１との大小が比較される。そして、図４で示したように、動作制御部６３では、露光時間が第１設定量ＴＨ１以上の場合は、第１動作推奨条件５１を満たしたと判定される。また、図５で示したように、動作制御部６３では、露光時間が第１設定量ＴＨ１未満の場合は、第２動作推奨条件５２を満たしたと判定される。こうして、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１および第２動作推奨条件５２を満たしたフレームの数Ｎ２が判明する。

【0067】

動作制御部６３では、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１と第１の設定数ＳＮ１の大小が比較される（ステップＳＴ１５０）。また、動作制御部６３では、設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２と第２の設定数ＳＮ２の大小が比較される（ステップＳＴ１６０）。

【0068】

設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１以上の場合（ステップＳＴ１５０でＹＥＳ）、図１２で示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１７０）。一方、設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２以上の場合（ステップＳＴ１５０でＮＯ、ステップＳＴ１６０でＹＥＳ）、図１０で示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される（ステップＳＴ１８０）。

【0069】

設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１未満で、かつ設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２未満の場合（ステップＳＴ１５０、ステップＳＴ１６０でともにＮＯ）、図１１で示したように、動作制御部６３により、次のフレームにおいて、前のフレームの機械式補正部２４および電子式補正部３３の動作状態が引き継がれる（ステップＳＴ１９０）。ステップＳＴ１００から、ステップＳＴ１７０、ステップＳＴ１８０、ステップＳＴ１９０のいずれかまでの各処理は、監視カメラ１０の電源がオフされる（ステップＳＴ２００でＹＥＳ）まで繰り返し続けられる。なお、ステップＳＴ１７０、ステップＳＴ１８０、およびステップＳＴ１９０は、本開示の技術に係る「動作制御ステップ」の一例である。

【0070】

以上説明したように、ぶれ補正制御装置６４は、取得部６１と動作制御部６３とを備えている。取得部６１は、連続するフレーム毎に露光時間を取得する。動作制御部６３は、連続する複数のフレームに対応する複数の露光時間、機械式補正部２４の第１動作推奨条件５１、および電子式補正部３３の第２動作推奨条件５２に応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部２４および電子式補正部３３を選択的に動作させる制御を行う。このため、露光時間が第１設定量ＴＨ１の前後を１フレーム毎に変動する状況等においても、動作する補正部が１フレーム毎に切り替わるといったことがない。したがって、スムーズな画像を出力可能となる。

【0071】

より詳しくは、図１５ＡのフレームＦ７０～フレームＦ７７のように、露光時間が第１設定量ＴＨ１の前後を１フレーム毎に変動する状況を考える。図１５Ａに示す状況において、１フレーム分の露光時間に応じて、動作させる補正部を切り替える場合、図１５Ｂの表７２に示すように、フレームＦ７５～フレームＦ７８において、動作する補正部が、機械式補正部２４と電子式補正部３３とで１フレーム毎に切り替わる。対して、図８の表７０で示した設定で、動作させる補正部を切り替える場合、図１５Ｃの表７４に示すように、動作する補正部が切り替わるのはフレームＦ８０のみとなる。このように、本開示の技術によれば、スムーズな画像を出力可能であることが、確かに可能である。

【0072】

動作制御部６３は、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１以上の場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。また、動作制御部６３は、設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２以上の場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。したがって、こうした制約を設けない場合と比べて、動作する補正部が切り替わる頻度を抑えることができる。

【0073】

さらに、動作制御部６３は、設定期間ＳＰにおいて、第１動作推奨条件５１を満たしたフレームの数Ｎ１が第１の設定数ＳＮ１未満で、かつ設定期間ＳＰにおいて、第２動作推奨条件５２を満たしたフレームの数Ｎ２が第２の設定数ＳＮ２未満の場合、次のフレームにおいて、前のフレームの機械式補正部２４および電子式補正部３３の動作状態を引き継ぐ。このように、機械式補正部２４および電子式補正部３３のうちのいずれを動作させればよいかが判然としない場合に、無理に動作させる補正部を切り替えることなく現状を維持するので、動作する補正部が切り替わる頻度をさらに抑えることができる。

【0074】

第１動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件であり、第２動作推奨条件５２は、露光時間が第１設定量ＴＨ１未満であるという条件である。このように、第１動作推奨条件５１および第２動作推奨条件５２は比較的単純な内容であり、かつ相反する条件である。したがって、第１動作推奨条件５１を満たしているか否か、および第２動作推奨条件５２を満たしているか否かの判断が比較的容易である。

【0075】

監視カメラシステム２に用いられる監視カメラ１０に、ぶれ補正制御装置６４の機能をもたせている。監視カメラ１０は、監視対象をより高画質で撮像することが求められるので、スムーズな画像出力を可能とする必要性が高い。したがって、ぶれ補正制御装置６４を監視カメラシステム２に用いれば、より優れた効果を発揮することができる。

【0076】

なお、図８の表７０で示した設定に代えて、図１６の表８０に示す設定を採用してもよい。図１６では、設定期間ＳＰが５フレーム、第１の設定数ＳＮ１が４フレームと、図８の場合と同じであるが、第２の設定数ＳＮ２が３フレームである点が図８の場合と異なる。この例では、次のフレームにおいて機械式補正部２４のみが動作されるのは、第１動作推奨条件５１を満たしたフレームの数Ｎ１が４および５の場合と、図８の場合と同じである。ただし、次のフレームにおいて電子式補正部３３が動作されるのが、第２動作推奨条件５２を満たしたフレームの数Ｎ２が３～５の場合と、第２動作推奨条件５２を満たしたフレームの数Ｎ２が３の場合も加わる。その代わり、次のフレームにおいて、前のフレームで動作していた補正部が動作されるのは、第１動作推奨条件５１を満たしたフレームの数Ｎ１が３（第２動作推奨条件５２を満たしたフレームの数Ｎ２が２）の場合のみとなる。

【0077】

また、図１７の表８２に示す設定を採用してもよい。図１７では、設定期間ＳＰが１０フレーム、第１の設定数ＳＮ１が９フレーム、第２の設定数ＳＮ２が４フレームとされている。この例では、次のフレームにおいて機械式補正部２４のみが動作されるのは、第１動作推奨条件５１を満たしたフレームの数Ｎ１が９および１０の場合である。また、次のフレームにおいて電子式補正部３３が動作されるのは、第２動作推奨条件５２を満たしたフレームの数Ｎ２が４～１０の場合である。さらに、次のフレームにおいて、前のフレームで動作していた補正部が動作されるのは、第１動作推奨条件５１を満たしたフレームの数Ｎ１が７および８（第２動作推奨条件５２を満たしたフレームの数Ｎ２が２および３）の場合である。

【0078】

図１６および図１７で示したように、次のフレームにおいて機械式補正部２４のみが動作される機会と、次のフレームにおいて電子式補正部３３が動作される機会と、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会とは、均等でなくてもよい。

【0079】

次のフレームにおいて機械式補正部２４のみが動作される機会は、第１の設定数ＳＮ１が、設定期間ＳＰを構成するフレームの数に近い程、少なくなる。同様に、次のフレームにおいて電子式補正部３３のみが動作される機会は、第２の設定数ＳＮ２が設定期間ＳＰを構成するフレームの数に近い程、少なくなる。このため、第１の設定数ＳＮ１を、設定期間ＳＰを構成するフレームの数に近い値とし、かつ、第２の設定数ＳＮ２を、設定期間を構成するフレームの数から遠い値とすれば、機械式補正部２４の動作時間を減らすことが可能となる。

【0080】

機械式補正部２４は、前述のように、補正光学系１９を機械的に移動させる補正部である。このため、監視カメラ１０の寿命を考えると、なるべくならば機械式補正部２４の動作時間を減らしたいという要望がある。したがって、上記のように第１の設定数ＳＮ１および第２の設定数ＳＮ２を設定すれば、機械式補正部２４の動作時間を減らしたいという要望に応えることができる。

【0081】

さらに、図１８に示す表８４の設定を採用してもよい。図１８では、設定期間ＳＰが５フレーム、第１の設定数ＳＮ１が３フレーム、第２の設定数ＳＮ２が３フレームとされている。この例では、次のフレームにおいて機械式補正部２４のみが動作されるのは、第１動作推奨条件５１を満たしたフレームの数Ｎ１が３～５の場合である。また、次のフレームにおいて電子式補正部３３が動作されるのは、第２動作推奨条件５２を満たしたフレームの数Ｎ２が３～５の場合である。ただし、この例では、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会はない。このように、次のフレームにおいて、前のフレームで動作していた補正部が動作される機会を設けなくともよい。

【0082】

なお、図１９に示すように、第１の設定数ＳＮ１および第２の設定数ＳＮ２を変更可能としてもよい。

【0083】

図１９において、ＣＰＵ３７は、第１の設定数ＳＮ１および第２の設定数ＳＮ２を変更する変更部９０として機能する。変更部９０は、ユーザの求めに応じて、設定数変更画面９５をタッチパネルディスプレイ４２に表示させる。設定数変更画面９５は、第１の設定数ＳＮ１を変更するためのスピンボックス９６、第２の設定数ＳＮ２を変更するためのスピンボックス９７、設定ボタン９８、およびキャンセルボタン９９を備えている。

【0084】

スピンボックス９６およびスピンボックス９７が操作されて、第１の設定数ＳＮ１および第２の設定数ＳＮ２が所望の数値とされた後、設定ボタン９８が選択される。これにより、第１の設定数ＳＮ１および第２の設定数ＳＮ２の設定変更指示が変更部９０で受け付けられる。変更部９０は、設定変更指示を受けて、ＲＯＭ３５の第１の設定数ＳＮ１および第２の設定数ＳＮ２を、スピンボックス９６およびスピンボックス９７で設定された数値に書き換える。

【0085】

このように、第１の設定数ＳＮ１および第２の設定数ＳＮ２を変更する変更部９０を備えるので、あらゆる要望に臨機応変に対応することができる。具体的には、機械式補正部２４の動作時間を減らす設定にしたり、逆に電子式補正部３３の動作時間を減らす設定にしたり、機械式補正部２４および電子式補正部３３の動作時間が均等になる設定にしたりすることができる。

【0086】

なお、ユーザの設定変更指示に応じて、第１の設定数ＳＮ１および第２の設定数ＳＮ２を変更することに代えて、あるいは加えて、時間帯といった他の要素に応じて第１の設定数ＳＮ１および第２の設定数ＳＮ２を変更してもよい。例えば、機械式補正部２４の動作が推奨されるぶれが発生しやすいと考えられる時間帯（午前８時から午後５時まで等）は、第１の設定数ＳＮ１を、設定期間ＳＰを構成するフレームの数から遠い値とし、かつ、第２の設定数ＳＮ２を、設定期間ＳＰを構成するフレームの数に近い値として、機械式補正部２４の動作時間を増やす。対して、上記の時間帯以外は、第１の設定数ＳＮ１を、設定期間ＳＰを構成するフレームの数に近い値とし、かつ、第２の設定数ＳＮ２を、設定期間ＳＰを構成するフレームの数から遠い値として、電子式補正部３３の動作時間を増やす。

【0087】

なお、変更部９０で変更可能とする設定数は、第１の設定数ＳＮ１のみでもよいし、第２の設定数ＳＮ２のみでもよい。つまり、変更部９０で変更可能とする設定数は、第１の設定数ＳＮ１および第２の設定数ＳＮ２のうちの少なくとも一方でもよい。

【0088】

［第２実施形態］
図２０～図２４に示す第２実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。

【0089】

前述のように、監視カメラ１０に与えられる振動には様々な種類がある。このため、ぶれ検出センサ４０で検出されるぶれは、振幅および周波数が異なる様々なぶれを合成したものであると考えられる。そこで、第２実施形態においては、図２０に概念的に示すように、ぶれ検出センサ４０からのぶれの検出信号を高速フーリエ変換にかける。そして、高速フーリエ変換の結果に基づき、ぶれ検出センサ４０で検出されるぶれを、各々振幅をもつ複数の異なる周波数のぶれに分解する。第２実施形態では、こうして得られたぶれの振幅とぶれの周波数とを、関係量として取得部６１が取得する。なお、高速フーリエ変換にかけるぶれの検出信号は、例えば、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する加速度センサの検出信号である。

【0090】

振幅に対しては第２設定量ＴＨ２が設定され、周波数に対しては第３設定量ＴＨ３が設定される。図２１に示すように、第１動作推奨条件１１０は、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件である。すなわち、高速フーリエ変換によって振幅と周波数とに分解された複数のぶれのうち、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれが１つでもあれば、第１動作推奨条件１１０を満たしたことになる。対して図２２に示すように、第２動作推奨条件１１１は、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがないという条件である。なお、以降の処理は、関係量として、露光時間に代えてぶれの振幅とぶれの周波数とが採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。

【0091】

このように、第２実施形態では、関係量として、ぶれの振幅とぶれの周波数とが採用されている。そして、第１動作推奨条件１１０として、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件が採用されている。また、第２動作推奨条件１１１として、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがないという条件が採用されている。したがって、実際に発生しているぶれの種類に適応した補正部を、動作制御部６３が動作させることができる。

【0092】

図２３に示すように、第２設定量ＴＨ２は、周波数が高くなるにつれて小さくなる量であってもよい。このようにする理由は、振幅が同じで周波数が異なるぶれがあった場合、周波数が高いぶれ程、同じ露光時間内のぶれの量が多くなるためである。第２設定量ＴＨ２を、周波数が高くなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。

【0093】

また、第３設定量ＴＨ３は、振幅が大きくなるにつれて小さくなる量であってもよい。このようにする理由は、周波数が同じで振幅が異なるぶれがあった場合、振幅が大きいぶれ程、同じ露光時間内のぶれの量が多くなるためである。第３設定量ＴＨ３を、振幅が大きくなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。

【0094】

なお、図２３では、第２設定量ＴＨ２および第３設定量ＴＨ３が直線的に変化しているが、これに限定されない。第２設定量ＴＨ２が、周波数が高くなるにつれて小さくなる量となり、第３設定量ＴＨ３が、振幅が大きくなるにつれて小さくなる量となればよく、図２４Ａに示すように第２設定量ＴＨ２および第３設定量ＴＨ３を曲線的に変化させてもよい。また、図２４Ｂに示すように段階的に変化させてもよい。また、これらのバリエーションを組み合わせて、例えば、第２設定量ＴＨ２を直線的に変化させ、かつ、第３設定量ＴＨ３を曲線的に変化させる等してもよい。

【0095】

［第３実施形態］
図２５～図２７に示す第３実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。

【0096】

図２５は、ある時間にぶれ検出センサ４０で検出されたぶれＢＬに対する露光時間内のぶれの量を示す図である。ぶれＢＬの波形の頂点を跨がない露光時間Ｔ１の場合、ぶれの量は、露光時間Ｔ１の開始時と露光時間Ｔ１の終了時とのそれぞれのぶれの量の差分の絶対値Δ１である。対して、ぶれＢＬの波形の頂点を跨ぐ露光時間Ｔ２の場合、ぶれの量は、δＡとδＢを加算したΔ２である。ここで、δＡは、露光時間Ｔ２の開始時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。また、δＢは、露光時間Ｔ２の終了時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。第３実施形態では、こうして得られた露光時間内のぶれの量を、関係量として取得部６１が取得する。

【0097】

図２６に示すように、第１動作推奨条件１１５は、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件である。対して図２７に示すように、第２動作推奨条件１１６は、露光時間内のぶれの量が第４設定量ＴＨ４未満であるという条件である。なお、以降の処理は、関係量として、露光時間に代えて露光時間内のぶれの量が採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。

【0098】

このように、第３実施形態では、関係量として、露光時間内のぶれの量が採用されている。そして、第１動作推奨条件１１５として、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件が採用されている。また、第２動作推奨条件１１６として、露光時間内のぶれの量が第４設定量ＴＨ４未満であるという条件が採用されている。したがって、実際に発生しているぶれの量に適応した補正部を、動作制御部６３が動作させることができる。

【0099】

設定期間ＳＰを構成するフレームの数は、３フレーム以上であることが好ましい。

【0100】

第１実施形態と第２実施形態とを複合して実施してもよい。この場合、第１動作推奨条件は、露光時間が第１設定量ＴＨ１以上であって、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがある、という条件になる。また、第２動作推奨条件は、露光時間が第１設定量ＴＨ１未満であって、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがない、という条件になる。

【0101】

上記各実施形態では、監視カメラ１０にぶれ補正制御装置６４の機能をもたせているが、これに限らない。図２８Ａに示すように、監視カメラ１５０ではなく、管理装置１５１にぶれ補正制御装置１５２の機能をもたせてもよい。または図２８Ｂに示すように、監視カメラ２００および管理装置２０１とは別に、ぶれ補正制御装置２０２を設けてもよい。

【0102】

上記各実施形態では、設定期間ＳＰにおいて、第１動作推奨条件を満たしたフレームの数が第１の設定数ＳＮ１以上の場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行っているが、これに限らない。設定期間ＳＰにおいて、第１動作推奨条件を満たしたフレームの数が第１の設定数ＳＮ１以上の場合に、機械式補正部２４だけでなく、電子式補正部３３も補助的に動作させてもよい。例えば、機械式補正部２４が補正の８割を担い、電子式補正部３３が補正の２割を担うよう動作させる。こうして電子式補正部３３を補助的に動作させれば、機械式補正部２４の動作負担が減るため、より監視カメラ１０の寿命を延ばすことができる。

【0103】

上記各実施形態では、補正光学系１９を機械的に移動させる機械式補正部２４を例示したが、これに限らない。撮像素子２５を機械的に移動させる機械式補正部でもよいし、補正光学系１９および撮像素子２５の両方を機械的に移動させる機械式補正部でもよい。

【0104】

関係量を取得する予め定められた時点は、フレームで規定される時点でなくてもよい。例えば、関係量をぶれの振幅と周波数とする第２実施形態の場合は、関係量を取得する予め定められた時点を、ぶれ検出センサ４０の検出信号のサンプリング間隔で規定される時点としてもよい。

【0105】

同様に、設定期間を構成する連続する複数の時点も、連続する複数のフレームでなくてもよく、また、連続するフレーム毎に関係量を取得しなくてもよい。例えば奇数フレーム毎に関係量を取得してもよい。

【0106】

動画を撮像する場合だけでなく、秒単位の間隔で静止画を撮像する、いわゆるインターバル撮像に、本開示の技術を適用してもよい。この場合、消費電力を抑えるために、ぶれ検出センサ４０、測光センサ４１、およびＣＰＵ３７は、静止画の撮像の合間は起動させないでおき、静止画の撮像タイミングの例えば１０フレーム前となったら起動させてもよい。

【0107】

本開示の技術は、監視カメラ以外の撮像装置、例えば民生用のデジタルカメラ、スマートフォン、あるいはタブレット端末等に対しても適用することが可能である。

【0108】

上記各実施形態において、例えば、ＡＥ制御部６０、取得部６１、記憶制御部６２、動作制御部６３、変更部９０といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム５０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、および／またはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。いずれのプロセッサにもメモリが内蔵または接続されており、いずれのプロセッサもメモリを使用することで各種の処理を実行する。

【0109】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0110】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0111】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0112】

以上の記載から、以下の付記項１および付記項２に記載の発明を把握することができる。

【0113】

［付記項１］
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
前記取得プロセッサにおいて取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第１動作推奨条件、および前記第２動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。

【0114】

［付記項２］
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される第１動作推奨条件、および前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作が推奨される第２動作推奨条件の各々に関係する関係量を、予め定められた時点毎に取得し、
取得した関係量であって、連続する複数の時点に対応する複数の関係量、前記第１動作推奨条件、および前記第２動作推奨条件に応じて、前記連続する複数の時点の次の時点において、前記機械式補正部および前記電子式補正部を選択的に動作させる制御を行う、
ぶれ補正制御装置。

【0115】

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0116】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0117】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0118】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】