特許 7091474 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-17

(45)【発行日】2022-06-27

(54)【発明の名称】ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220620BHJP

   G03B 15/00 20210101ALI20220620BHJP

   G03B 17/02 20210101ALI20220620BHJP

   G03B 5/00 20210101ALI20220620BHJP

【ＦＩ】

H04N5/232 480

H04N5/232 450

H04N5/232 290

G03B15/00 S

G03B17/02

G03B5/00 J

G03B5/00 K

【請求項の数】 16

(21)【出願番号】P 2020557879

(86)(22)【出願日】2019-11-29

(86)【国際出願番号】 JP2019046892

(87)【国際公開番号】W WO2020111267

(87)【国際公開日】2020-06-04

【審査請求日】2021-03-22

(31)【優先権主張番号】P 2018224228

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】潘 毅

(72)【発明者】

【氏名】杉本 雅彦

(72)【発明者】

【氏名】増田 智紀

(72)【発明者】

【氏名】橋本 貴志

(72)【発明者】

【氏名】藤川 哲也

(72)【発明者】

【氏名】岸根 慶延

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－１２９７８５（ＪＰ，Ａ）

【文献】特開２０１３－１２６０７５（ＪＰ，Ａ）

【文献】特開２０１６－２４２３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０２

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部と、
を備えるぶれ補正制御装置。

【請求項2】

前記動作制御部は、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が前記設定期間継続した場合は、前記機械式補正部および前記電子式補正部のうちの前記機械式補正部のみを動作させる制御を行う請求項１に記載のぶれ補正制御装置。

【請求項3】

前記設定期間を変更する変更部を備える請求項１または請求項２に記載のぶれ補正制御装置。

【請求項4】

前記関係量は、前記撮像素子における前記被写体像の露光時間である請求項１から請求項３のいずれか１項に記載のぶれ補正制御装置。

【請求項5】

前記動作推奨条件は、前記露光時間が第１設定量以上であるという条件である請求項４に記載のぶれ補正制御装置。

【請求項6】

前記関係量は、前記ぶれの振幅と前記ぶれの周波数である請求項１から請求項５のいずれか１項に記載のぶれ補正制御装置。

【請求項7】

前記動作推奨条件は、前記振幅が第２設定量以上で、かつ、前記周波数が第３設定量以上のぶれがあるという条件である請求項６に記載のぶれ補正制御装置。

【請求項8】

前記第２設定量は、前記周波数が高くなるにつれて小さくなる量である請求項７に記載のぶれ補正制御装置。

【請求項9】

前記第３設定量は、前記振幅が大きくなるにつれて小さくなる量である請求項７または請求項８に記載のぶれ補正制御装置。

【請求項10】

前記関係量は、前記撮像素子における前記被写体像の露光時間内の前記ぶれの量である請求項１から請求項３のいずれか１項に記載のぶれ補正制御装置。

【請求項11】

前記動作推奨条件は、前記ぶれの量が第４設定量以上であるという条件である請求項１０に記載のぶれ補正制御装置。

【請求項12】

前記取得部は、連続するフレーム毎に前記関係量を取得する請求項１から請求項１１のいずれか１項に記載のぶれ補正制御装置。

【請求項13】

監視カメラシステムに用いられる請求項１から請求項１２のいずれか１項に記載のぶれ補正制御装置。

【請求項14】

請求項１から請求項１３のいずれか１項に記載のぶれ補正制御装置を備える撮像装置。

【請求項15】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、前記取得ステップにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御ステップと、
を備えるぶれ補正制御装置の作動方法。

【請求項16】

補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部として、
コンピュータを機能させるためのぶれ補正制御装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置に関する。

【背景技術】

【0002】

撮像装置により被写体を示す被写体光が結像されることで得られた被写体像のぶれ（以下、「被写体像のぶれ」、または単に「ぶれ」とも称する）を補正する補正部として、一般的に、機械式補正部と電子式補正部とが知られている。機械式補正部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることでぶれを補正する。電子式補正部は、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する。

【0003】

特開２０１３－１２６０７５号公報に記載の撮像装置は、機械式補正部と電子式補正部とを備えている。特開２０１３－１２６０７５号公報に記載の撮像装置では、撮像素子における電子シャッタのシャッタ速度（露光時間）と、ぶれの量とが取得される。そして、機械式補正部および電子式補正部が、露光時間とぶれの量に応じて、選択的に動作する。具体的には、露光時間が設定量よりも長い場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、露光時間が設定量以下の場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。また、ぶれの量が設定量以上の場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、ぶれの量が設定量よりも小さい場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の技術は、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本開示のぶれ補正制御装置は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部と、を備える。

【0006】

動作制御部は、取得部において取得した関係量が動作推奨条件を満たす状態が設定期間継続した場合は、機械式補正部および電子式補正部のうちの機械式補正部のみを動作させる制御を行うことが好ましい。

【0007】

設定期間を変更する変更部を備えることが好ましい。

【0008】

関係量は、撮像素子における被写体像の露光時間であることが好ましい。この場合、動作推奨条件は、露光時間が第１設定量以上であるという条件であることが好ましい。

【0009】

関係量は、ぶれの振幅とぶれの周波数であることが好ましい。この場合、動作推奨条件は、振幅が第２設定量以上で、かつ、周波数が第３設定量以上のぶれがあるという条件であることが好ましい。

【0010】

第２設定量は、周波数が高くなるにつれて小さくなる量であることが好ましい。また、第３設定量は、振幅が大きくなるにつれて小さくなる量であることが好ましい。

【0011】

関係量は、撮像素子における被写体像の露光時間内のぶれの量であることが好ましい。この場合、動作推奨条件は、ぶれの量が第４設定量以上であるという条件であることが好ましい。

【0012】

取得部は、連続するフレーム毎に関係量を取得することが好ましい。

【0013】

監視カメラシステムに用いられることが好ましい。

【0014】

本開示の撮像装置は、上記いずれかに記載のぶれ補正制御装置を備える。

【0015】

本開示のぶれ補正制御装置の作動方法は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、取得ステップにおいて取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御ステップと、を備える。

【0016】

本開示のぶれ補正制御装置の作動プログラムは、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部として、コンピュータを機能させるためのプログラムである。

【発明の効果】

【0017】

本開示の技術によれば、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することができる。

【図面の簡単な説明】

【0018】

【図1】監視カメラシステムを示す図である。

【図2】監視カメラのブロック図である。

【図3】監視カメラのＣＰＵのブロック図である。

【図4】動作推奨条件の内容を示す図である。

【図5】フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。

【図6】記憶制御部の処理を説明するための図である。

【図7】動作制御部の処理の設定を示す表である。

【図8】フレームＦ５０～フレームＦ６１の露光時間の推移を示したグラフである。

【図9】図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図９Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を、図９Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を、それぞれ示す。

【図10】図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１０Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を、図１０Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を、それぞれ示す。

【図11】図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１１Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を、図１１Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を、図１１Ｃは、フレームＦ５６～フレームＦ６０の露光時間に応じて、フレームＦ６１において動作させる補正部を選択する様子を、それぞれ示す。

【図12】図９～図１１の説明をまとめたグラフである。

【図13】監視カメラの処理手順を示すフローチャートである。

【図14】動作制御部の処理の設定の別の例を示す表である。

【図15】図１４の表で示した設定の場合の効果を示す図であり、図１５Ａは、フレームＦ７０～フレームＦ８０の露光時間の推移を示したグラフ、図１５Ｂは、１フレーム分の露光時間に応じて動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表、図１５Ｃは、図１４の表で示した設定で動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表を、それぞれ示す。

【図16】設定期間を変更する態様を示す図である。

【図17】ぶれ検出センサからのぶれの検出信号を高速フーリエ変換にかけ、各々振幅をもつ複数の異なる周波数のぶれに分解する様子を概念的に示す図である。

【図18】第２実施形態の動作推奨条件の内容を示す図である。

【図19】第２設定量を周波数が高くなるにつれて小さくなる量とし、第３設定量を振幅が大きくなるにつれて小さくなる量とする態様を示すグラフである。

【図20】第２設定量および第３設定量の変化のバリエーションを示すグラフであり、図２０Ａは、第２設定量および第３設定量を曲線的に変化させる例、図２０Ｂは、第２設定量および第３設定量を段階的に変化させる例を、それぞれ示す。

【図21】ある時間にぶれ検出センサで検出されたぶれに対する露光時間内のぶれの量を示す図である。

【図22】第３実施形態の動作推奨条件の内容を示す図である。

【図23】ぶれ補正制御装置の所在のバリエーションを示す図であり、図２３Ａは、管理装置にぶれ補正制御装置の機能をもたせた態様を、図２３Ｂは、監視カメラおよび管理装置とは別に、ぶれ補正制御装置を設けた態様を、それぞれ示す。

【発明を実施するための形態】

【0019】

以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。

【0020】

［第１実施形態］
図１において、監視カメラシステム２は、監視カメラ１０と、管理装置１１と、記憶装置１２とを備える。監視カメラ１０は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ１０は、生成した動画を管理装置１１に送信する。管理装置１１は、監視カメラ１０とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置１１は、監視カメラ１０からの動画を受信する。管理装置１１は、受信した動画を記憶装置１２に送信し、動画を記憶装置１２に記憶させる。

【0021】

図２において、監視カメラ１０は撮像光学系１５を有する。撮像光学系１５は、第１光学系１６、絞り１７、第２光学系１８、および補正光学系１９を備えている。第１光学系１６は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子２５の受光面に結像させる。絞り１７は、第１光学系１６から第２光学系１８に至る被写体像の光量を調整する。絞り１７にはアクチュエータ２０が取り付けられている。アクチュエータ２０は、ドライバ２１により駆動制御される。ドライバ２１の制御の下、アクチュエータ２０が駆動することで、絞り１７の開度が変更される。

【0022】

監視カメラ１０に与えられる振動（以下、単に「振動」とも称する）には、屋外であれば、自動車の通行による振動、風による振動、および道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、および人の出入りによる振動等がある。補正光学系１９は、振動による被写体像のぶれを補正するための光学系である。補正光学系１９にはアクチュエータ２２が取り付けられている。アクチュエータ２２は、ドライバ２３により駆動制御される。ドライバ２３の制御の下、アクチュエータ２２が駆動することで、補正光学系１９が光軸ＯＡに対して機械的に移動する。

【0023】

なお、本実施形態において、「ぶれ」とは、振動に起因して光軸ＯＡが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸ＯＡ」とは、第１光学系１６の対物レンズの光軸を指す。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して、ぶれにより光軸ＯＡが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。

【0024】

補正光学系１９とアクチュエータ２２とドライバ２３とで、機械式補正部２４が実現される。機械式補正部２４によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部２４は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系１９を移動させる。

【0025】

撮像光学系１５の後段には、撮像素子２５が配置されている。撮像素子２５は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子２５は、可視光、例えば、約７００ｎｍ以下の短波長側の光に基づく撮像を行う。ただし、本実施形態はこれに限定されず、撮像素子２５は、赤外光、例えば、約７００ｎｍよりも長波長側の光）に基づく撮像を行ってもよい。この場合、撮像素子２５の画素としては、赤外光に感度を有する光電変換素子を用いればよい。特に、短波近赤外光（ＳＷＩＲ；Short-wavelength infrared）に基づく撮像に対しては、撮像素子２５として、例えば、ＩｎＧａＡｓイメージセンサおよび／またはタイプ２型量子井戸構造（Ｔ２ＳＬ；Simulation of Type-II Quantum Well）イメージセンサ等を用いればよい。撮像素子２５は、ドライバ２６の制御の下、所定のフレームレートで、撮像光学系１５で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。

【0026】

監視カメラ１０は、ＡＦＥ（Analog Front End）３０、ＤＳＰ（Digital Signal Processor）３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ（Interface）３４、ＲＯＭ（Read Only Memory）３５、ＲＡＭ（Random Access Memory）３６、およびＣＰＵ（Central Processing Unit）３７等を有する。ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ３４、ＲＯＭ３５、ＲＡＭ３６、およびＣＰＵ３７は、バスライン３８を介して相互に接続されている。なお、ＲＯＭ３５、ＲＡＭ３６、ＣＰＵ３７、およびバスライン３８は、本開示の技術に係る「コンピュータ」の一例である。

【0027】

ＡＦＥ３０は、撮像素子２５からのアナログの撮像信号を受信する。ＡＦＥ３０は、アナログの撮像信号に対して、相関二重サンプリング、および自動ゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ（Analog/Digital）変換を行ってデジタルの撮像信号とする。なお、撮像素子２５はＭＯＳ（Metal Oxide Semiconductor）イメージセンサ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサでもよい。撮像素子２５がＣＭＯＳイメージセンサであった場合は、ＡＦＥ３０およびＤＳＰ３１は、その一部または全部がＣＭＯＳイメージセンサ内に一体的に組み込まれていてもよい。この場合、ＡＦＥ３０は、Ａ／Ｄ変換機能のみで構成されていてもよい。

【0028】

ＤＳＰ３１は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、および色補正処理等を指す。ＤＳＰ３１は、デジタル信号処理後の撮像信号を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からの撮像信号を、被写体像を表す画像として記憶する。

【0029】

電子式補正部３３は、画像メモリ３２に記憶された画像に画像処理を施すことで、被写体像のぶれを補正する。機械式補正部２４の場合と同様に、電子式補正部３３によるぶれの補正方法としては、周知の種々の方法を採用することができる。

【0030】

電子式補正部３３によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子２５は、撮像領域を、最終的に画像として出力する領域（以下、画像出力領域）よりも一回り大きくしておく。電子式補正部３３は、画像メモリ３２に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部３３は、ぶれに応じて、画像出力領域の切り出し位置を変更する。

【0031】

画像比較方法では、まず、電子式補正部３３は、画像メモリ３２から、時系列的に前後する画像を取得し、取得した時系列的に前後する画像を比較する。次に、電子式補正部３３は、画像を比較した結果を元に、先行の画像に対する後続の画像のずれ量およびずれ方向を算出する。そして、電子式補正部３３は、後続の画像を、算出したずれ量およびずれ方向が打ち消された画像に加工する。なお、以下では、機械式補正部２４および電子式補正部３３を区別して説明する必要がない場合、符号を付さずに「補正部」と称する。

【0032】

通信Ｉ／Ｆ３４は、画像メモリ３２から画像を読み出し、読み出した画像を管理装置１１に送信する。通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のＷＡＮ（Wide Area Network）が挙げられる。

【0033】

ＲＯＭ３５は、監視カメラ１０の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。ＲＡＭ３６は、ＣＰＵ３７が処理を実行するためのワークメモリである。ＣＰＵ３７は、ＲＯＭ３５に記憶されたプログラムをＲＡＭ３６へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ３７は、監視カメラ１０の各部の動作を統括的に制御する。

【0034】

ＣＰＵ３７には、ぶれ検出センサ４０、測光センサ４１、およびタッチパネルディスプレイ４２が接続されている。ぶれ検出センサ４０は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、およびロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）回りの回転ぶれを検出する。また、ぶれ検出センサ４０は、例えば、加速度センサである。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ４０は、ぶれの検出信号をＣＰＵ３７に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。

【0035】

測光センサ４１は、ＡＥ（Automatic Exposure）制御を行うために、１フレーム毎に被写体像の光量を測定する。測光センサ４１は、光量の測定信号をＣＰＵ３７に出力する。

【0036】

タッチパネルディスプレイ４２は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、ＣＰＵ３７の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ４２には、監視カメラ１０の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ４２は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。

【0037】

図３において、ＲＯＭ３５には、作動プログラム５０が記憶されている。作動プログラム５０は、監視カメラ１０をぶれ補正制御装置として機能させるためのプログラムである。なお、作動プログラム５０は、本開示の技術に係る「ぶれ補正制御装置の作動プログラム」の一例である。

【0038】

また、ＲＯＭ３５には、動作推奨条件５１と設定期間ＳＰが記憶されている。動作推奨条件５１は、機械式補正部２４の動作が推奨される条件である。設定期間ＳＰは、連続する複数のフレームの時系列で画定された期間である。

【0039】

ＣＰＵ３７は、作動プログラム５０を実行することで、ＲＡＭ３６等と協働して、ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３として機能する。ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３のうちの取得部６１と動作制御部６３とで、ぶれ補正制御装置６４が実現される。

【0040】

ＡＥ制御部６０は、測光センサ４１からの光量の測定信号を受信する。ＡＥ制御部６０は、受信した光量の測定信号に応じた露出値を設定する。ＡＥ制御部６０は、１フレーム毎に露出値を設定する。より詳しくは、ＡＥ制御部６０は、前のフレームの光量の測定信号に基づいて、次のフレームの露出値を設定する。

【0041】

ＡＥ制御部６０は、設定した露出値に応じた絞り１７の開度を算出する。ＡＥ制御部６０は、算出した開度に絞り１７の実際の開度を合わせるように、ドライバ２１を介してアクチュエータ２０を駆動させる。

【0042】

また、ＡＥ制御部６０は、設定した露出値に応じた、撮像素子２５における被写体像の露光時間を算出する。ＡＥ制御部６０は、算出した露光時間に実際の露光時間を合わせるように、ドライバ２６を介して撮像素子２５を駆動させる。ＡＥ制御部６０は、算出した露光時間を取得部６１に出力する。

【0043】

取得部６１は、ＡＥ制御部６０からの露光時間を取得する。取得部６１により取得された露光時間は、本開示の技術に係る「関係量」の一例であり、動作推奨条件５１に関係する関係量に相当する。また、前述のように、ＡＥ制御部６０は、１フレーム毎に露出値を設定するので、露光時間も１フレーム毎に算出して、１フレーム毎に取得部６１に出力する。このため、取得部６１は、連続するフレーム毎に露光時間を取得する。この連続するフレームの各々の露光時間が取得部６１によって取得される時点が、本開示の技術に係る「予め定められた時点」の一例である。取得部６１は、取得した露光時間を記憶制御部６２に出力する。

【0044】

記憶制御部６２は、取得部６１からの露光時間をＲＡＭ３６に記憶する制御を行う。また、記憶制御部６２は、連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６から読み出し、読み出した複数の露光時間を動作制御部６３に出力する。

【0045】

動作制御部６３は、ぶれ検出センサ４０からのぶれの検出信号を受信する。動作制御部６３は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部２４および電子式補正部３３の動作を制御する。

【0046】

動作制御部６３は、ＲＯＭ３５から、動作推奨条件５１および設定期間ＳＰを読み出す。そして、これら動作推奨条件５１および設定期間ＳＰと、記憶制御部６２からの、連続する複数のフレームに対応する複数の露光時間とに応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部２４および電子式補正部３３を選択的に動作させる制御を行う。

【0047】

より具体的には、動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合は、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。一方、動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる。

【0048】

図４に示すように、動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件である。

【0049】

図５は、フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。各フレームＦ１０～フレームＦ２０のうち、フレームＦ１０、フレームＦ１１、フレームＦ１３、フレームＦ１５～フレームＦ１９は、露光時間が第１設定量ＴＨ１以上であるため、動作推奨条件５１を満たしている。これに対して、フレームＦ１２、フレームＦ１４、フレームＦ２０は、露光時間が第１設定量ＴＨ１未満であるため、動作推奨条件５１を満たしていない。

【0050】

図６に示すように、記憶制御部６２は、最も古いフレームの露光時間を、最も新しいフレームの露光時間に順次更新しつつ、設定期間ＳＰを画定する連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６に記憶させる。そして、この複数の露光時間のセットを、１フレーム毎に順次動作制御部６３に出力する。

【0051】

図６では、設定期間ＳＰが５フレームであり、図５で示したフレームＦ１０～フレームＦ２０の露光時間がＲＯＭ３５に順次記憶されていく様子を示している。図６の左上は、フレームＦ１０～フレームＦ１４の露光時間がＲＯＭ３５に記憶されている状態である。この状態から１フレーム分の取得時間が経過した図６の右上では、図６の左上において最も古かったフレームＦ１０の露光時間が、最も新しいフレームＦ１５の露光時間に更新されている。以下同様に、図６の左下ではフレームＦ１２～フレームＦ１６の露光時間がＲＯＭ３５に記憶され、図６の右下ではフレームＦ１３～フレームＦ１７の露光時間がＲＯＭ３５に記憶される。

【0052】

図７の表７０に示すように、動作制御部６３は、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。一方、動作制御部６３は、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。なお、以下の図では、「Ｍ」を円で囲んだマークで機械式補正部２４が示されており、「Ｅ」を円で囲んだマークで電子式補正部３３が示されている。

【0053】

動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、とは、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合、と同義である。また、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、とは、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合、と同義である。

【0054】

図７では、設定期間ＳＰが図６の場合と同じ５フレームの場合を例示している。この例では、動作推奨条件５１を満たしたフレームの数Ｎが５の場合に、次のフレームにおいて機械式補正部２４のみが動作される。一方、動作推奨条件５１を満たしたフレームの数Ｎが０～４の場合に、次のフレームにおいて電子式補正部３３のみが動作される。

【0055】

図８は、フレームＦ５０～フレームＦ６１の露光時間の推移を示したグラフである。各フレームＦ５０～フレームＦ６１のうち、フレームＦ５０～フレームＦ５４は、露光時間が第１設定量ＴＨ１未満であるため、動作推奨条件５１を満たしていない。対して、フレームＦ５５～フレームＦ６１は、露光時間が第１設定量ＴＨ１以上であるため、動作推奨条件５１を満たしている。

【0056】

図９～図１１は、図８のように露光時間が推移した場合に、図７の表７０で示した設定で、具体的にいずれの補正部が動作するかを示した図である。まず、図９Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を示している。フレームＦ５０～フレームＦ５４の露光時間は、全て動作推奨条件５１を満たしていない。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが０であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、フレームＦ５５において電子式補正部３３のみを動作させる。

【0057】

続いて図９Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を示している。フレームＦ５１～フレームＦ５５の露光時間は、フレームＦ５５を除いて、動作推奨条件５１を満たしていない。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが１であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａの場合と同じく、フレームＦ５６において電子式補正部３３のみを動作させる。

【0058】

図１０Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を示している。フレームＦ５２～フレームＦ５６の露光時間は、フレームＦ５２～フレームＦ５４が動作推奨条件５１を満たさず、フレームＦ５５、フレームＦ５６が動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが２であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂの場合と同じく、フレームＦ５７において電子式補正部３３のみを動作させる。

【0059】

続いて図１０Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を示している。フレームＦ５３～フレームＦ５７の露光時間は、フレームＦ５３、フレームＦ５４が動作推奨条件５１を満たさず、フレームＦ５５～フレームＦ５７が動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが３であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂ、図１０Ａの場合と同じく、フレームＦ５８において電子式補正部３３のみを動作させる。

【0060】

図１１Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を示している。フレームＦ５４～フレームＦ５８の露光時間は、フレームＦ５４を除いて、動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが４であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂの場合と同じく、フレームＦ５９において電子式補正部３３のみを動作させる。

【0061】

続いて図１１Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を示している。フレームＦ５５～フレームＦ５９の露光時間は、全て動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが５であり、設定期間ＳＰを画定するフレームの数５と同じである。このため、動作制御部６３は、フレームＦ６０において機械式補正部２４のみを動作させる。

【0062】

さらに図１１Ｃは、フレームＦ５６～フレームＦ６０の露光時間に応じて、フレームＦ６１において動作させる補正部を選択する様子を示している。フレームＦ５６～フレームＦ６０の露光時間は、全て動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが５であり、設定期間ＳＰを画定するフレームの数５と同じである。このため、動作制御部６３は、図１１Ｂの場合と同じく、フレームＦ６１において機械式補正部２４のみを動作させる。

【0063】

図９～図１１の説明をまとめると、図１２に示すようになる。すなわち、フレームＦ５５～フレームＦ５９までは、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される。しかし、フレームＦ６０からは、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される。

【0064】

次に、上記構成による作用について、図１３のフローチャートを参照して説明する。まず、ぶれを補正する指示がタッチパネルディスプレイ４２等によって受け付けられたことを条件に、作動プログラム５０にしたがってＣＰＵ３７によって実行されるぶれ補正処理について説明する。ぶれ補正処理は、図３に示すＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３としてＣＰＵ３７を機能させる処理である。

【0065】

図１３のステップＳＴ１００に示すように、ＡＥ制御部６０において、測光センサ４１からの光量の測定信号に応じた露出値が設定される。そして、露出値に応じた露光時間が算出される。露光時間はＡＥ制御部６０から取得部６１に出力される。

【0066】

取得部６１では、ＡＥ制御部６０からの露光時間が取得される（ステップＳＴ１１０）。このステップＳＴ１１０は、本開示の技術に係る「取得ステップ」の一例である。露光時間は取得部６１から記憶制御部６２に出力され、図６で示したように、記憶制御部６２によってＲＡＭ３６に記憶される（ステップＳＴ１２０）。

【0067】

監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合（ステップＳＴ１３０でＮＯ）は、動作制御部６３により、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１４０）。なお、監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合に、機械式補正部２４ではなく、電子式補正部３３を動作させてもよい。

【0068】

ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていた場合（ステップＳＴ１３０でＹＥＳ）、記憶制御部６２により、設定期間ＳＰ分の露光時間がＲＡＭ３６から読み出され、動作制御部６３に出力される。

【0069】

動作制御部６３では、記憶制御部６２からの設定期間ＳＰ分の露光時間と、第１設定量ＴＨ１との大小が比較される。そして、図４で示したように、動作制御部６３では、露光時間が第１設定量ＴＨ１以上の場合は、動作推奨条件５１を満たしたと判定される。こうして、設定期間ＳＰにおいて、動作推奨条件５１を満たしたフレームの数Ｎが判明する。

【0070】

動作制御部６３では、動作推奨条件５１を満たしたフレームの数Ｎと設定期間ＳＰを画定するフレームの数が比較される（ステップＳＴ１５０）。

【0071】

動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、すなわち、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合（ステップＳＴ１５０でＹＥＳ）、図９、図１０、図１１Ａで示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される（ステップＳＴ１６０）。一方、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、すなわち、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合（ステップＳＴ１５０でＮＯ）、図１１Ｂ、図１１Ｃで示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１７０）。ステップＳＴ１００から、ステップＳＴ１６０、ステップＳＴ１７０のいずれかまでの各処理は、監視カメラ１０の電源がオフされる（ステップＳＴ１８０でＹＥＳ）まで繰り返し続けられる。なお、ステップＳＴ１６０およびステップＳＴ１７０は、本開示の技術に係る「動作制御ステップ」の一例である。

【0072】

以上説明したように、ぶれ補正制御装置６４は、取得部６１と動作制御部６３とを備えている。取得部６１は、連続するフレーム毎に露光時間を取得する。動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合は、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続する場合よりも、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続しない場合のほうが、確率としては高い。このため、電子式補正部３３の動作時間が増える。したがって、相対的に機械式補正部２４の動作時間を減らすことが可能となる。結果として、監視カメラ１０の寿命を延ばすことができる。

【0073】

動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、電子式補正部３３では補正が難しいぶれが発生していると考えられる。したがって、上記のような制御を行うことで、電子式補正部３３では補正が難しいぶれが発生している場合でも、適切に対処することができる。

【0074】

動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件で、比較的単純な内容である。したがって、動作推奨条件５１を満たしているか否かの判断が比較的容易である。

【0075】

監視カメラシステム２に用いられる監視カメラ１０に、ぶれ補正制御装置６４の機能をもたせている。監視カメラ１０は常時稼働している場合が多く、その分、民生用のデジタルカメラといった他の撮像装置と比べて、高い耐久性が求められる。このため、機械式補正部２４の動作時間を減らす必要性が高い。したがって、ぶれ補正制御装置６４を監視カメラシステム２に用いれば、より優れた効果を発揮することができる。

【0076】

なお、図７の表７０で示した設定に代えて、図１４の表８０に示す設定を採用してもよい。図１４では、設定期間ＳＰが２フレームとなっている。この例では、動作推奨条件５１を満たしたフレームの数Ｎが２の場合に、次のフレームにおいて機械式補正部２４のみが動作される。一方、動作推奨条件５１を満たしたフレームの数Ｎが０および１の場合に、次のフレームにおいて電子式補正部３３のみが動作される。

【0077】

ここで、図１５ＡのフレームＦ７０～フレームＦ７７のように、露光時間が第１設定量ＴＨ１の前後を１フレーム毎に変動する状況を考える。図１５Ａに示す状況において、１フレーム分の露光時間に応じて、動作させる補正部を切り替える場合、図１５Ｂの表８２に示すように、フレームＦ７５～フレームＦ８０において、フレームＦ７６、フレームＦ７８～８０の計４フレームで機械式補正部２４が動作する。対して、図１４の表８０で示した設定で、動作させる補正部を切り替える場合、図１５Ｃの表８４に示すように、機械式補正部２４が動作するのはフレームＦ７９、フレームＦ８０の計２フレームだけとなる。このように、設定期間ＳＰを画定するフレームの数を２とした場合においても、機械式補正部２４の動作時間を減らすことが可能となる。

【0078】

なお、図１６に示すように、設定期間ＳＰをユーザが設定変更可能としてもよい。

【0079】

図１６において、ＣＰＵ３７は、設定期間ＳＰを変更する変更部９０として機能する。変更部９０は、ユーザの求めに応じて、設定期間変更画面９５をタッチパネルディスプレイ４２に表示させる。設定期間変更画面９５は、設定期間ＳＰを画定するフレームの数を変更するためのスピンボックス９６、設定ボタン９７、およびキャンセルボタン９８を備えている。

【0080】

スピンボックス９６が操作されて、設定期間ＳＰを画定するフレームの数が所望の数値とされた後、設定ボタン９７が選択される。これにより、設定期間ＳＰを画定するフレームの数の設定変更指示が変更部９０で受け付けられる。変更部９０は、設定変更指示を受けて、ＲＯＭ３５の設定期間ＳＰを画定するフレームの数を、スピンボックス９６で設定された数値に書き換える。

【0081】

このように、設定期間ＳＰを変更する変更部９０を備えるので、あらゆる要望に臨機応変に対応することができる。具体的には、機械式補正部２４の動作時間を設定前よりも減らす設定にしたり、逆に機械式補正部２４の動作時間を設定前よりも増やす設定にしたりすることができる。

【0082】

設定期間ＳＰを画定するフレームの数は、大きい値とする程、機械式補正部２４の動作時間を減らすことが可能となる。ただし、設定期間ＳＰを画定するフレームの数をあまりに大きな値にしすぎると、電子式補正部３３では補正が難しいぶれが発生している場合に、適切に機械式補正部２４に動作が切り替わらなくなるおそれがある。このため、設定期間ＳＰを画定するフレームの数には、上限値を設けることが好ましい。

【0083】

設定期間ＳＰを画定するフレームの数を、時間帯といった他の要素に応じて変更してもよい。例えば、機械式補正部２４の動作が推奨されるぶれが発生しやすいと考えられる時間帯（午前８時から午後５時まで等）は、設定期間ＳＰを画定するフレームの数を比較的小さい値として、機械式補正部２４の動作時間を相対的に増やす。対して、上記の時間帯以外は、設定期間ＳＰを画定するフレームの数を比較的大きい値として、機械式補正部２４の動作時間を相対的に減らす。

【0084】

［第２実施形態］
図１７～図２０に示す第２実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。

【0085】

前述のように、監視カメラ１０に与えられる振動には様々な種類がある。このため、ぶれ検出センサ４０で検出されるぶれは、振幅および周波数が異なる様々なぶれを合成したものであると考えられる。そこで、第２実施形態においては、図１７に概念的に示すように、ぶれ検出センサ４０からのぶれの検出信号を高速フーリエ変換にかける。そして、高速フーリエ変換の結果に基づき、ぶれ検出センサ４０で検出されるぶれを、各々振幅をもつ複数の異なる周波数のぶれに分解する。第２実施形態では、こうして得られたぶれの振幅とぶれの周波数とを、関係量として取得部６１が取得する。なお、高速フーリエ変換にかけるぶれの検出信号は、例えば、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する加速度センサの検出信号である。

【0086】

振幅に対しては第２設定量ＴＨ２が設定され、周波数に対しては第３設定量ＴＨ３が設定される。図１８に示すように、動作推奨条件１１０は、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件である。すなわち、高速フーリエ変換によって振幅と周波数とに分解された複数のぶれのうち、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれが１つでもあれば、動作推奨条件１１０を満たしたことになる。なお、以降の処理は、関係量として、露光時間に代えてぶれの振幅とぶれの周波数とが採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。

【0087】

このように、第２実施形態では、関係量として、ぶれの振幅とぶれの周波数とが採用されている。そして、動作推奨条件１１０として、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件が採用されている。したがって、実際に発生しているぶれの種類に適応した補正部を、動作制御部６３が動作させることができる。

【0088】

図１９に示すように、第２設定量ＴＨ２は、周波数が高くなるにつれて小さくなる量であってもよい。このようにする理由は、振幅が同じで周波数が異なるぶれがあった場合、周波数が高いぶれ程、同じ露光時間内のぶれの量が多くなるためである。第２設定量ＴＨ２を、周波数が高くなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。

【0089】

また、第３設定量ＴＨ３は、振幅が大きくなるにつれて小さくなる量であってもよい。このようにする理由は、周波数が同じで振幅が異なるぶれがあった場合、振幅が大きいぶれ程、同じ露光時間内のぶれの量が多くなるためである。第３設定量ＴＨ３を、振幅が大きくなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。

【0090】

なお、図１９では、第２設定量ＴＨ２および第３設定量ＴＨ３が直線的に変化しているが、これに限定されない。第２設定量ＴＨ２が、周波数が高くなるにつれて小さくなる量となり、第３設定量ＴＨ３が、振幅が大きくなるにつれて小さくなる量となればよく、図２０Ａに示すように第２設定量ＴＨ２および第３設定量ＴＨ３を曲線的に変化させてもよい。また、図２０Ｂに示すように段階的に変化させてもよい。また、これらのバリエーションを組み合わせて、例えば、第２設定量ＴＨ２を直線的に変化させ、かつ、第３設定量ＴＨ３を曲線的に変化させる等してもよい。

【0091】

［第３実施形態］
図２１および図２２に示す第３実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。

【0092】

図２１は、ある時間にぶれ検出センサ４０で検出されたぶれＢＬに対する露光時間内のぶれの量を示す図である。ぶれＢＬの波形の頂点を跨がない露光時間Ｔ１の場合、ぶれの量は、露光時間Ｔ１の開始時と露光時間Ｔ１の終了時とのそれぞれのぶれの量の差分の絶対値Δ１である。対して、ぶれＢＬの波形の頂点を跨ぐ露光時間Ｔ２の場合、ぶれの量は、δＡとδＢを加算したΔ２である。ここで、δＡは、露光時間Ｔ２の開始時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。また、δＢは、露光時間Ｔ２の終了時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。第３実施形態では、こうして得られた露光時間内のぶれの量を、関係量として取得部６１が取得する。

【0093】

図２２に示すように、動作推奨条件１１５は、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件である。なお、以降の処理は、関係量として、露光時間に代えて露光時間内のぶれの量が採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。

【0094】

このように、第３実施形態では、関係量として、露光時間内のぶれの量が採用されている。そして、動作推奨条件１１５として、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件が採用されている。したがって、実際に発生しているぶれの量に適応した補正部を、動作制御部６３が動作させることができる。

【0095】

第１実施形態と第２実施形態とを複合して実施してもよい。この場合、動作推奨条件は、露光時間が第１設定量ＴＨ１以上であって、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがある、という条件になる。

【0096】

上記各実施形態では、監視カメラ１０にぶれ補正制御装置６４の機能をもたせているが、これに限らない。図２３Ａに示すように、監視カメラ１５０ではなく、管理装置１５１にぶれ補正制御装置１５２の機能をもたせてもよい。または図２３Ｂに示すように、監視カメラ２００および管理装置２０１とは別に、ぶれ補正制御装置２０２を設けてもよい。

【0097】

上記各実施形態では、露光時間等の関係量が動作推奨条件を満たす状態が設定期間ＳＰ継続した場合、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行っているが、これに限らない。露光時間等の関係量が動作推奨条件を満たす状態が設定期間ＳＰ継続した場合に、機械式補正部２４だけでなく、電子式補正部３３も補助的に動作させてもよい。例えば、機械式補正部２４が補正の８割を担い、電子式補正部３３が補正の２割を担うよう動作させる。こうして電子式補正部３３を補助的に動作させれば、機械式補正部２４の動作負担が減るため、より監視カメラ１０の寿命を延ばすことができる。

【0098】

上記各実施形態では、補正光学系１９を機械的に移動させる機械式補正部２４を例示したが、これに限らない。撮像素子２５を機械的に移動させる機械式補正部でもよいし、補正光学系１９および撮像素子２５の両方を機械的に移動させる機械式補正部でもよい。

【0099】

関係量を取得する予め定められた時点は、フレームで規定される時点でなくてもよい。例えば、関係量をぶれの振幅と周波数とする第２実施形態の場合は、関係量を取得する予め定められた時点を、ぶれ検出センサ４０の検出信号のサンプリング間隔で規定される時点としてもよい。

【0100】

同様に、設定期間を画定する連続する複数の時点も、連続する複数のフレームでなくてもよく、また、連続するフレーム毎に関係量を取得しなくてもよい。例えば奇数フレーム毎に関係量を取得してもよい。

【0101】

動画を撮像する場合だけでなく、秒単位の間隔で静止画を撮像する、いわゆるインターバル撮像に、本開示の技術を適用してもよい。この場合、消費電力を抑えるために、ぶれ検出センサ４０、測光センサ４１、およびＣＰＵ３７は、静止画の撮像の合間は起動させないでおき、静止画の撮像タイミングの例えば１０フレーム前となったら起動させてもよい。

【0102】

本開示の技術は、監視カメラ以外の撮像装置、例えば民生用のデジタルカメラ、スマートフォン、あるいはタブレット端末等に対しても適用することが可能である。

【0103】

上記各実施形態において、例えば、ＡＥ制御部６０、取得部６１、記憶制御部６２、動作制御部６３、変更部９０といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム５０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、および／またはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。いずれのプロセッサにもメモリが内蔵または接続されており、いずれのプロセッサもメモリを使用することで各種の処理を実行する。

【0104】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0105】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0106】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0107】

以上の記載から、以下の付記項１および付記項２に記載の発明を把握することができる。

【0108】

［付記項１］
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御プロセッサであり、前記取得プロセッサにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。

【0109】

［付記項２］
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を含み、
前記プロセッサは、
補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得し、
前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御し、取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う、
ぶれ補正制御装置。

【0110】

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0111】

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0112】

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

【0113】

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】