ホーム > 特許ランキング > 富士フイルム株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-03
(45)【発行日】2022-10-12
(54)【発明の名称】ぶれ補正装置、撮像装置、監視システム、及びプログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221004BHJP
H04N 5/225 20060101ALI20221004BHJP
G03B 5/00 20210101ALI20221004BHJP
【ＦＩ】
H04N5/232 480
H04N5/225 400
H04N5/232 290
G03B5/00 J
G03B5/00 K
【請求項の数】
12
(21)【出願番号】P 2021501980
(86)(22)【出願日】2020-02-17
(86)【国際出願番号】 JP2020006047
(87)【国際公開番号】W WO2020171015
(87)【国際公開日】2020-08-27
【審査請求日】2021-08-05
(31)【優先権主張番号】P 2019028843
(32)【優先日】2019-02-20
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】特許業務法人太陽国際特許事務所
(72)【発明者】
【氏名】藤川 哲也
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００６－１２８７８１（ＪＰ，Ａ）
【文献】特開２００８－２７１５２９（ＪＰ，Ａ）
【文献】特開２００９－１１１７７３（ＪＰ，Ａ）
【文献】特開２０１１－１０２９９２（ＪＰ，Ａ）
【文献】特開２０１６－０２４２３５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｇ０３Ｂ ５／００ － ５／０８
(57)【特許請求の範囲】
【請求項1】
撮像装置のぶれ量を検出するセンサと、前記撮像装置に含まれる光学素子を前記ぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正装置と、
前記撮像装置により撮像されることで得られた画像に対して、前記撮像装置での露光中の前記光学素子の動作状態に関する動作状態情報と前記ぶれ量とに基づいて画像処理を行うことで、前記ぶれを補正する電子式ぶれ補正回路と、
前記露光中に前記機械式ぶれ補正装置と前記電子式ぶれ補正回路とを既定の比率で分担して動作させた場合に前記動作状態情報、前記比率、前記ぶれ量、及び前記撮像装置での露光期間に応じて定まるフィルタを前記画像に対して適用することで前記ぶれを補正する補足ぶれ補正回路と、
を含むぶれ補正装置。
【請求項2】
前記フィルタは、前記露光中に生じるぶれが原因で前記画像内に現れる乱れを除去するフィルタである請求項１に記載のぶれ補正装置。【請求項3】
前記露光は１フレーム内での露光である請求項１又は請求項２に記載のぶれ補正装置。【請求項4】
前記動作状態情報は、前記露光期間中の前記光学素子が移動している期間と前記露光期間中の前記光学素子が移動していない期間とのうちの少なくとも一方を含む情報である請求項１から請求項３の何れか一項に記載のぶれ補正装置。【請求項5】
前記動作状態情報は、前記露光期間中の前記光学素子の移動軌跡を特定可能な情報を含む情報である請求項１から請求項４の何れか一項に記載のぶれ補正装置。【請求項6】
前記画像処理は、前記動作状態情報、前記比率、及び前記ぶれ量に応じて定められた切出位置に従って前記画像を切り出す処理を含む処理である請求項１から請求項５の何れか一項に記載のぶれ補正装置。【請求項7】
前記光学素子は、被写体を示す被写体光が光学部材により結像される撮像素子と前記光学部材とのうちの少なくとも一方である請求項１から請求項６の何れか一項に記載のぶれ補正装置。【請求項8】
前記センサは、前記ぶれの複数の周波数の各々について前記ぶれ量を検出し、前記比率は、前記周波数に応じて定められている請求項１から請求項７の何れか一項に記載のぶれ補正装置。
【請求項9】
前記センサは、一対の軸方向の各々について前記ぶれ量を検出し、前記比率は、前記軸方向に応じて定められている請求項１から請求項７の何れか一項に記載のぶれ補正装置。
【請求項10】
請求項１から請求項９の何れか一項に記載のぶれ補正装置と、撮像することで前記画像を生成するイメージセンサと、
を含む撮像装置。
【請求項11】
請求項１０に記載の撮像装置と、前記補足ぶれ補正回路での補正結果が反映された前記画像をディスプレイに対して表示させる制御、及び前記補正結果が反映された前記画像を示す画像データをメモリに対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
を含む監視システム。
【請求項12】
コンピュータに、撮像装置のぶれ量を検出するセンサによって検出された前記ぶれ量に基づいて、前記撮像装置に含まれる光学素子を移動させることで、ぶれを補正する機械式ぶれ補正処理と、
前記撮像装置により撮像されることで得られた画像に対して、前記撮像装置での露光中の前記光学素子の動作状態に関する動作状態情報と前記ぶれ量とに基づいて画像処理を行うことで、前記ぶれを補正する電子式ぶれ補正処理と、
前記露光中に前記機械式ぶれ補正処理と前記電子式ぶれ補正処理とを既定の比率で分担して動作させた場合に前記動作状態情報、前記比率、前記ぶれ量、及び前記撮像装置での露光期間に応じて定まるフィルタを前記画像に対して適用することで前記ぶれを補正する補足ぶれ補正処理と、を含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、ぶれ補正装置、撮像装置、監視システム、及びプログラムに関する。
【背景技術】
【0002】
以下の説明において、「ぶれ」とは、被写体を示す被写体光が光学系を介して受光面に結像される撮像装置において、被写体光が受光面に結像されることで得られる被写体像が、撮像装置に与えられた振動に起因して光学系の光軸と受光面との位置関係が変化することで変動する現象を指す。
【0003】
撮像装置の結像面に結像される被写体像は、光学像と、電子像である画像とに大別され、光学像のぶれは機械式補正部によって補正され、画像のぶれは電子式補正部によって補正される。被写体像のぶれを補正するには、検出されたぶれ量に基づいて導出されたぶれ補正量が用いられる。機械式補正部は、ぶれ補正量に基づいて光学系及び／又は撮像素子を機械的に移動させることでぶれを補正する。電子式補正部は、撮像されることで得られた画像に対してぶれに応じた切り出しを行うことでぶれを補正する（例えば、特開２０１３－１３５４４２号公報、特開２０１７－１５２９９５号公報、及び特開平９－１６３２１５号公報参照）。
【0004】
ところで、露光中に生じるぶれが原因で画像内に現れる乱れは電子式ぶれ補正では除去することができない。なぜならば、電子式ぶれ補正は、画像から一部の画像領域を切り出す処理であり、露光中に生じるぶれに対応していないからである。露光中に生じるぶれが原因で画像内に現れる乱れを抑制する方法としては、露光中に機械式ぶれ補正を行う方法、及び画像に対してフィルタを適用する方法が知られている（例えば、特開２００８－１２４７２８号公報参照）。
【発明の概要】
【0005】
本開示の技術に係る一つの実施形態は、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができるぶれ補正装置、撮像装置、監視システム、及びプログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の技術に係る第１の態様は、撮像装置のぶれ量を検出する検出部と、撮像装置に含まれる光学素子をぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正部と、撮像装置により撮像されることで得られた画像に対して、撮像装置での露光中の光学素子の動作状態に関する動作状態情報とぶれ量とに基づいて画像処理を行うことで、ぶれを補正する電子式ぶれ補正部と、露光中に機械式ぶれ補正部と電子式ぶれ補正部とを既定の比率で分担して動作させた場合に動作状態情報、比率、ぶれ量、及び撮像装置での露光期間に応じて定まるフィルタを画像に対して適用することでぶれを補正する補足ぶれ補正部と、を含むぶれ補正装置である。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
【0007】
本開示の技術に係る第２の態様は、フィルタは、露光中に生じるぶれが原因で画像内に現れる乱れを除去するフィルタである第１の態様に係るぶれ補正装置である。これにより、フィルタを用いずに画像内の乱れを除去する場合に比べ、露光中に生じるぶれが原因で画像内に現れる乱れを簡便に除去することができる。
【0008】
本開示の技術に係る第３の態様は、露光は１フレーム内での露光である第１の態様又は第２の態様に係るぶれ補正装置である。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、１フレーム内の露光中に生じるぶれが原因で１フレーム分の画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
【0009】
本開示の技術に係る第４の態様は、動作状態情報は、露光期間中の光学素子が移動している期間と露光期間中の光学素子が移動していない期間とのうちの少なくとも一方を含む情報である第１の態様から第３の態様の何れか１つの態様に係るぶれ補正装置である。これにより、露光期間中の光学素子が移動している期間及び露光期間中の光学素子が移動していない期間の何れもが動作状態情報に含まれていない場合に比べ、電子式ぶれ補正部及び補足ぶれ補正部の各々によるぶれの補正精度を高めることができる。
【0010】
本開示の技術に係る第５の態様は、動作状態情報は、露光期間中の光学素子の移動軌跡を特定可能な情報を含む情報である第１の態様から第４の態様の何れか１つの態様に係るぶれ補正装置である。これにより、露光期間中の光学素子の移動軌跡とは無関係な情報を用いて画像内の乱れを除去する場合に比べ、画像内の乱れを高精度に除去することができる。
【0011】
本開示の技術に係る第６の態様は、画像処理は、動作状態情報、比率、及びぶれ量に応じて定められた切出位置に従って画像を切り出す処理を含む処理である第１の態様から第５の態様の何れか１つの態様に係るぶれ補正装置である。これにより、動作状態情報、既定の比率、及びぶれ量とは無関係に定められた切出位置に従って画像を切り出す処理が行われる場合に比べ、ぶれを高精度に補正することができる。
【0012】
本開示の技術に係る第７の態様は、光学素子は、被写体を示す被写体光が光学部材により結像される撮像素子と光学部材とのうちの少なくとも一方である第１の態様から第６の態様の何れか１つの態様に係るぶれ補正装置である。これにより、光学素子が撮像素子の場合は撮像素子の可動域の範囲内でぶれを補正することができ、光学素子が光学部材の場合は光学部材の可動域の範囲内でぶれを補正することができ、光学素子が撮像素子及び光学部材の場合は撮像素子及び光学部材の各々の可動域の範囲内でぶれを補正することができる。
【0013】
本開示の技術に係る第８の態様は、検出部は、ぶれの複数の周波数の各々についてぶれ量を検出し、比率は、周波数に応じて定められている第１の態様から第７の態様の何れか１つの態様に係るぶれ補正装置である。これにより、複数の周波数の各々についてぶれ量が検出されるようにすることで、１つの周波数についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
【0014】
本開示の技術に係る第９の態様は、検出部は、一対の軸方向の各々についてぶれ量を検出し、比率は、軸方向に応じて定められている第１の態様から第７の態様の何れか１つの態様に係るぶれ補正装置である。これにより、１つの軸方向についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
【0015】
本開示の技術に係る第１０の態様は、第１の態様から第９の態様の何れか１つの態様に係るぶれ補正装置と、撮像することで画像を生成する撮像部と、を含む。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
【0016】
本開示の技術に係る第１１の態様は、第１０の態様に係る撮像装置と、補足ぶれ補正部での補正結果が反映された画像を表示部に対して表示させる制御、及び補正結果が反映された画像を示す画像データを記憶部に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、を含む監視システムである。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
【0017】
本開示の技術に係る第１２の態様は、コンピュータを、第１の態様から第９の態様の何れか１つの態様に係るぶれ補正装置に含まれる機械式ぶれ補正部、電子式ぶれ補正部、及び補足ぶれ補正部として機能させるためのプログラムである。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
【0018】
本開示の技術に係る第１３の態様は、撮像装置のぶれ量を検出するセンサと、プロセッサとを含み、プロセッサは、撮像装置に含まれる光学素子をぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正処理を行い、撮像装置により撮像されることで得られた画像に対して、撮像装置での露光中の光学素子の動作状態に関する動作状態情報とぶれ量とに基づいて画像処理を行うことで、ぶれを補正する電子式ぶれ補正処理を行い、露光中に機械式ぶれ補正処理と電子式ぶれ補正処理とを既定の比率で分担して動作させた場合に動作状態情報、比率、ぶれ量、及び撮像装置での露光期間に応じて定まるフィルタを画像に対して適用することでぶれを補正する補足ぶれ補正処理を行うぶれ補正装置である。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る監視システムの構成の一例を示す概略構成図である。
【図2】実施形態に係る監視カメラの光学系及び電気系の構成の一例を示すブロック図である。
【図3】実施形態に係る管理装置の電気系の構成の一例を示すブロック図である。
【図4】実施形態に係る監視カメラに含まれるＣＰＵの機能の一例を示す機能ブロック図である。
【図5】実施形態に係る監視カメラに含まれる電子式ぶれ補正部の処理内容の一例を示す概念図である。
【図6】実施形態に係る監視カメラに含まれるＣＰＵにより実現される補足ぶれ補正部の処理内容の一例を示す概念図である。
【図7】実施形態に係る監視カメラから管理装置に送信された補足補正画像の管理装置での処理内容の説明に供する概念図である。
【図8】実施形態に係る補正制御処理の流れの一例を示すフローチャートである。
【図10】実施形態に係る監視カメラに含まれるＣＰＵの機能の変形例を示す機能ブロック図である。
【図11】実施形態に係る監視カメラで用いられる比率情報の変形例を示す概念図である。
【図12】実施形態に係る補正制御プログラムが記憶された記憶媒体から、補正制御プログラムが監視カメラ内のコンピュータにインストールされる態様の一例を示す概念図である。
【発明を実施するための形態】
【0020】
添付図面に従って本開示の技術に係る実施形態の一例について説明する。
【0021】
先ず、以下の説明で使用される文言について説明する。
【0022】
ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。
【0023】
ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＡＦＥとは、“Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ”の略称を指す。ＤＳＰとは、“Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。
【0024】
ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。
【0025】
ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＷＡＮとは、“Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。
【0026】
ＦＩＲとは、“Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ”の略称を指す。ＩＩＲとは、“Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｐｏｎｓｅ”の略称を指す。ＳＮＲとは、例えば、“Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ－Ｒａｔｉｏ”の略称を指す。また、以下の説明において、ディスプレイに表示される「画像」以外で、「画像」と表現されている場合、「画像」には「画像を示すデータ」の意味も含まれる。
【0027】
図１において、監視システム２は、監視カメラ１０及び管理装置１１を備えている。監視システム２は、本開示の技術に係る「監視システム」の一例であり、監視カメラ１０は、本開示の技術に係る「撮像装置」の一例である。
【0028】
監視カメラ１０は、屋内外の柱又は壁等に設置され、被写体である監視対象を撮像し、撮像することで動画像を生成する。動画像には、撮像することで得られた複数フレームの画像が含まれている。監視カメラ１０は、撮像することで得た動画像を、通信ライン１２を介して管理装置１１に送信する。
【0029】
管理装置１１は、ディスプレイ１３及び二次記憶装置１４を備えている。ディスプレイ１３としては、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等が挙げられる。なお、ディスプレイ１３は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。
【0030】
二次記憶装置１４の一例としては、ＨＤＤが挙げられる。二次記憶装置１４は、ＨＤＤではなく、フラッシュメモリ、ＳＳＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリであればよい。なお、二次記憶装置１４は、本開示の技術に係る「記憶部（メモリ）」の一例である。
【0031】
管理装置１１では、監視カメラ１０によって送信された動画像が受信され、受信された動画像がディスプレイ１３に表示されたり、二次記憶装置１４に記憶されたりする。
【0032】
一例として図２に示すように、監視カメラ１０は、光学系１５及び撮像素子２５を備えている。撮像素子２５は、光学系１５の後段に位置している。光学系１５は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、監視対象側から撮像素子２５の受光面２５Ａ側にかけて、光学系１５の光軸ＯＡに沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。レンズ群１５Ｂには、光軸ＯＡに沿って各々移動可能なフォーカス用のレンズ及びズーム用のレンズ等が含まれている。フォーカス用のレンズ及びズーム用のレンズは、与えられた動力に応じて光軸ＯＡに沿って移動する。また、レンズ群１５Ｂには、防振レンズ１５Ｂ１が含まれている。防振レンズ１５Ｂ１は、与えられた動力に応じて防振レンズ１５Ｂ１の光軸に対して垂直方向に変動する。防振レンズ１５Ｂ１は、本開示の技術に係る「光学素子」及び「光学部材」の一例である。なお、本実施形態での垂直の意味には、完全な垂直の意味の他に、設計上及び製造上において許容される誤差を含む略垂直の意味も含まれる。
【0033】
このように構成された光学系１５によって、監視対象を示す監視対象光は、受光面２５Ａに結像される。なお、撮像素子２５は、本開示の技術に係る「撮像部（イメージセンサ）」の一例である。なお、ここでは、撮像素子２５として、ＣＣＤイメージセンサが採用されているが、これはあくまでも一例に過ぎず、撮像素子２５は、ＣＭＯＳイメージセンサ等の他のイメージセンサであってもよい。
【0034】
ところで、監視カメラ１０に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。そのため、監視カメラ１０では、監視カメラ１０に与えられた振動（以下、単に「振動」とも称する）に起因してぶれが生じる。
【0035】
なお、本実施形態において、「ぶれ」とは、監視カメラ１０において、デジタル画像が光軸ＯＡと受光面２５Ａとの位置関係が変化することで変動する現象を指す。換言すると、「ぶれ」とは、振動に起因して光軸ＯＡが傾くことによって、受光面２５Ａに結像されることで得られた光学像が変動する現象とも言える。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して光軸ＯＡが傾くことを意味する。
【0036】
そこで、監視カメラ１０は、ぶれを補正するため、機械式ぶれ補正部２９を備えている。すなわち、機械式ぶれ補正部２９は、ぶれの補正に供される。機械式ぶれ補正部２９及び後述の動作制御部３７Ａ（図４参照）は、本開示の技術に係る「機械式ぶれ補正部（機械式ぶれ補正装置）」の一例である。機械式ぶれ補正部は、機械式ぶれ補正処理を行うデバイス、いわゆるＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）を行うデバイスである。ここでは、ＯＩＳを例示しているが、ＯＩＳに代えてＢＩＳ（Ｂｏｄｙ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）を行うデバイスであってもよいし、ＯＩＳ及びＢＩＳを行うデバイスであってもよい。なお、本実施形態において、「ぶれの補正」には、ぶれを無くすという意味の他に、ぶれを低減するという意味も含まれる。
【0037】
機械式ぶれ補正部２９は、防振レンズ１５Ｂ１、アクチュエータ１７、ドライバ２３、及び位置検出センサ３９を備えている。防振レンズ１５Ｂ１は、本開示の技術に係る「光学素子」の一例である。
【0038】
機械式ぶれ補正部２９によるぶれの補正方法としては、周知の種々の方法を採用することができる。本実施形態では、ぶれの補正方法として、ぶれ量検出センサ４０（後述）によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれを補正する方法が採用されている。具体的には、ぶれを打ち消す方向に、ぶれを打ち消す量だけ防振レンズ１５Ｂ１を移動させることでぶれの補正が行われるようにしている。
【0039】
防振レンズ１５Ｂ１にはアクチュエータ１７が取り付けられている。アクチュエータ１７は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで防振レンズ１５Ｂ１を、防振レンズ１５Ｂ１の光軸に対して垂直方向に変動させる。なお、ここでは、アクチュエータ１７としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。
【0040】
アクチュエータ１７は、ドライバ２３により制御される。アクチュエータ１７がドライバ２３の制御下で駆動することで、防振レンズ１５Ｂ１の位置が光軸ＯＡに対して機械的に変動する。
【0041】
位置検出センサ３９は、防振レンズ１５Ｂ１の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ１５Ｂ１の現在位置とは、防振レンズ二次元平面内の現在位置を指す。防振レンズ二次元平面とは、防振レンズ１５Ｂ１の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。
【0042】
監視カメラ１０は、コンピュータ１９、ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式ぶれ補正部３３、通信Ｉ／Ｆ３４、ぶれ量検出センサ４０、二次記憶装置４２、及びＵＩ系デバイス４３を備えている。コンピュータ１９は、ＲＡＭ３５、ＲＯＭ３６、及びＣＰＵ３７を備えている。コンピュータ１９は、本開示の技術に係る「コンピュータ」の一例である。また、電子式ぶれ補正部３３及び後述の動作制御部３７Ａ（図４参照）は、本開示の技術に係る「電子式ぶれ補正部（電子式ぶれ補正回路）」の一例である。電子式ぶれ補正部は、電子式ぶれ補正処理を行うプロセッサ、いわゆる「ＥＩＳ（Ｅｌｅｃｔｒｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）」を行うプロセッサ（ＥＩＳプロセッサ）である。
【0043】
ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式ぶれ補正部３３、通信Ｉ／Ｆ３４、ＲＡＭ３５、ＲＯＭ３６、ＣＰＵ３７、ぶれ量検出センサ４０、二次記憶装置４２、及びＵＩ系デバイス４３は、バスライン３８に接続されている。また、ドライバ２３もバスライン３８に接続されている。
【0044】
ＲＯＭ３６には、監視カメラ１０用の各種プログラムが記憶されている。ＣＰＵ３７は、ＲＯＭ３６から各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ３５に展開する。ＣＰＵ３７は、ＲＡＭ３５に展開した各種プログラムに従って監視カメラ１０の全体を制御する。
【0045】
撮像素子２５には、ドライバ２６及びＡＦＥ３０の各々が接続されている。撮像素子２５は、ドライバ２６の制御の下、既定のフレームレートで監視対象を撮像する。ここで言う「既定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。
【0046】
受光面２５Ａは、マトリクス状に配置された複数の感光画素（図示省略）によって形成されている。撮像素子２５では、各感光画素が露光され、感光画素毎に光電変換が行われる。感光画素毎に光電変換が行われることで得られた電荷は、監視対象を示すアナログの撮像信号であり、アナログ画像として撮像素子２５に蓄積される。各感光画素は、アナログ画像が読み出される前後等のタイミングで、ＣＰＵ３７の制御の下、ドライバ２６によってリセットされる。各感光画素に対する露光期間は、シャッタスピードに従って定められ、シャッタスピードは、各感光画素に対するリセットのタイミング及びアナログ画像の読み出しのタイミングが制御されることで調節される。
【0047】
撮像素子２５には、ドライバ２６から垂直同期信号及び水平同期信号が入力される。垂直同期信号は、１フレーム分のアナログ画像の送信を開始するタイミングを規定する信号である。水平同期信号は、１水平ライン分のアナログ画像の出力を開始するタイミングを規定する信号である。撮像素子２５は、ドライバ２６から入力された垂直同期信号に従ってフレーム単位でのアナログ画像のＡＦＥ３０への出力を開始し、ドライバ２６から入力された水平同期信号に従って水平ライン単位でのアナログ画像のＡＦＥ３０への出力を開始する。
【0048】
ＡＦＥ３０は、撮像素子２５からのアナログ画像を受信する。換言すると、アナログ画像は、ＡＦＥ３０によって撮像素子２５から読み出される。ＡＦＥ３０は、アナログ画像に対して、相関二重サンプリング及びゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ変換を行うことで、デジタルの撮像信号であるデジタル画像を生成する。すなわち、監視カメラ１０では、撮像素子２５により監視対象が撮像されることで、監視対象を示すデジタル画像が得られる。ここで、デジタル画像は、本開示の技術に係る「画像」の一例である。
【0049】
なお、図２に示す例では、ＡＦＥ３０が撮像素子２５の外部に設けられているが、本開示の技術はこれに限定されず、ＡＦＥ３０は、撮像素子２５内に一体的に組み込まれていてもよい。
【0050】
ＤＳＰ３１は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。ＤＳＰ３１は、１フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からのデジタル画像を記憶する。
【0051】
ぶれ量検出センサ４０は、例えば、ジャイロセンサを含むデバイスであり、監視カメラ１０のぶれ量を検出する。換言すると、ぶれ量検出センサ４０は、一対の軸方向の各々についてぶれ量を検出する。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、及びロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）周りの回転ぶれの量を検出する。ぶれ量検出センサ４０は、ジャイロセンサによって検出されたピッチ軸ＰＡ周りの回転ぶれの量及びヨー軸ＹＡ周りの回転ぶれの量をピッチ軸ＰＡ及びヨー軸ＹＡに平行な２次元状の面内でのぶれ量に変換することで、監視カメラ１０のぶれ量を検出する。ぶれ量検出センサ４０は、本開示の技術に係る「検出部（センサ）」の一例である。ピッチ軸ＰＡの方向及びヨー軸ＹＡの方向は、本開示の技術に係る「一対の軸方向」の一例である。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上及び製造上において許容される誤差を含む略平行の意味も含まれる。
【0052】
ここでは、ぶれ量検出センサ４０の一例としてジャイロセンサを挙げているが、これはあくまでも一例であり、ぶれ量検出センサ４０は、加速度センサであってもよい。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡに平行な２次元状の面内でのぶれ量を検出する。ぶれ量検出センサ４０は、検出したぶれ量をＣＰＵ３７に出力する。
【0053】
また、ここでは、ぶれ量検出センサ４０という物理的なセンサによってぶれ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ３２に記憶された時系列的に前後するデジタル画像を比較することで得た動きベクトルをぶれ量として用いてもよい。また、物理的なセンサによって検出されたぶれ量と、画像処理によって得られた動きベクトルとに基づいて最終的に使用されるぶれ量が導出されるようにしてもよい。
【0054】
ＣＰＵ３７は、ぶれ量検出センサ４０によって検出されたぶれ量を取得し、取得したぶれ量に基づいて機械式ぶれ補正部２９及び電子式ぶれ補正部３３を制御する。ぶれ量検出センサ４０によって検出されたぶれ量は、機械式ぶれ補正部２９及び電子式ぶれ補正部３３の各々によるぶれの補正に用いられる。
【0055】
電子式ぶれ補正部３３は、ＡＳＩＣを含むデバイスである。電子式ぶれ補正部３３は、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて、画像メモリ３２内のデジタル画像に対して画像処理を施すことでぶれを補正する。
【0056】
なお、ここでは、電子式ぶれ補正部３３として、ＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、ＦＰＧＡ又はＰＬＤを含むデバイスであってもよい。また、例えば、電子式ぶれ補正部３３は、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの複数を含むデバイスであってもよい。また、電子式ぶれ補正部３３として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、電子式ぶれ補正部３３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0057】
通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースであり、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。監視カメラ１０と管理装置１１との間の通信を司る。
【0058】
二次記憶装置４２は、不揮発性のメモリであり、ＣＰＵ３７の制御下で、各種情報を記憶する。二次記憶装置４２としては、例えば、フラッシュメモリ、ＳＳＤ、ＥＥＰＲＯＭ、又はＨＤＤ等が挙げられる。
【0059】
ＵＩ系デバイス４３は、受付デバイス４３Ａ及びディスプレイ４３Ｂを備えている。受付デバイス４３Ａは、例えば、ハードキー及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ３７は、受付デバイス４３Ａによって受け付けられた各種指示を取得し、取得した指示に従って動作する。
【0060】
ディスプレイ４３Ｂは、ＣＰＵ３７の制御下で、各種情報を表示する。ディスプレイ４３Ｂに表示される各種情報としては、例えば、受付デバイス４３Ａによって受け付けられた各種指示の内容、及びデジタル画像等が挙げられる。
【0061】
一例として図３に示すように、管理装置１１は、ディスプレイ１３、二次記憶装置１４、制御装置６０、受付デバイス６２、及び通信Ｉ／Ｆ６６を備えている。制御装置６０は、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備えている。受付デバイス６２、ディスプレイ１３、二次記憶装置１４、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、ＲＡＭ６０Ｃ、及び通信Ｉ／Ｆ６６の各々は、バスライン７０に接続されている。
【0062】
ＲＯＭ６０Ｂには、管理装置１１用の各種プログラム（以下、単に「管理装置用プログラム」と称する）が記憶されている。ＣＰＵ６０Ａは、ＲＯＭ６０Ｂから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをＲＡＭ６０Ｃに展開する。ＣＰＵ６０Ａは、ＲＡＭ６０Ｃに展開した管理装置用プログラムに従って管理装置１１の全体を制御する。
【0063】
通信Ｉ／Ｆ６６は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６６は、ネットワークを介して、管理装置１１の通信Ｉ／Ｆ３４に対して通信可能に接続されており、管理装置１１との間で各種情報の伝送制御を行う。例えば、通信Ｉ／Ｆ６６は、管理装置１１に対してデジタル画像の送信を要求し、デジタル画像の送信の要求に応じて管理装置１１の通信Ｉ／Ｆ３４から送信されたデジタル画像を受信する。
【0064】
受付デバイス６２は、例えば、キーボード、マウス、及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ６０Ａは、受付デバイス６２によって受け付けられた各種指示を取得し、取得した指示に従って動作する。
【0065】
ディスプレイ１３は、ＣＰＵ６０Ａの制御下で、各種情報を表示する。ディスプレイ１３に表示される各種情報としては、例えば、受付デバイス６２によって受け付けられた各種指示の内容、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。
【0066】
二次記憶装置１４は、不揮発性のメモリであり、ＣＰＵ６０Ａの制御下で、各種情報を記憶する。二次記憶装置１４に記憶される各種情報としては、例えば、通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。
【0067】
このように、制御装置６０は、通信Ｉ／Ｆ６６によって受信されたデジタル画像をディスプレイ１３に対して表示させる制御、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させる制御を行う。
【0068】
なお、ここでは、デジタル画像をディスプレイ１３に対して表示させ、かつ、通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させるようにしているが、本開示の技術はこれに限定されない。例えば、デジタル画像のディスプレイ１３に対する表示とデジタル画像の二次記憶装置１４に対する記憶との何れかが行われるようにしてもよい。
【0069】
一例として図４に示すように、ＲＯＭ３６には、補正制御プログラム３６Ａが記憶されている。ＣＰＵ３７は、ＲＯＭ３６から補正制御プログラム３６Ａを読み出し、読み出した補正制御プログラム３６ＡをＲＡＭ３５に展開する。ＣＰＵ３７は、ＲＡＭ３５に展開した補正制御プログラム３６Ａを実行することで、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃとして動作する。補足ぶれ補正部３７Ｂは、本開示の技術に係る「補足ぶれ補正部（補足ぶれ補正回路）」の一例である。補足ぶれ補正部３７Ｂは、補足的なぶれ補正処理（補足ぶれ補正処理）を行うプロセッサである。
【0070】
二次記憶装置４２には、比率情報４２Ａが記憶されている。比率情報４２Ａは、撮像素子２５の露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３とを既定の比率で分担して作動させる場合に用いられる既定の比率（以下、単に「比率」とも称する）を示す情報である。ここで言う「露光中」とは、１フレーム内での露光中を指す。また、ここで言う「比率」とは、ぶれ量検出センサ４０により検出されたぶれ量を完全に打ち消すことができる補正の度合いを“１０”とした場合、“１０”のうちの何割ずつを機械式ぶれ補正部２９と電子式ぶれ補正部３３とに割り当てるかを示す比率を指す。
【0071】
比率は、一対の軸方向の各々に応じて定められている。すなわち、比率は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々に応じて定められている。図３に示す例では、ピッチ軸ＰＡ方向についての比率が、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ１：Ｙ１”であり、ヨー軸ＹＡ方向についての比率が、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ２：Ｙ２”である。ピッチ軸ＰＡ方向についての防振レンズ１５Ｂ１の可動域に限度がある場合、機械式ぶれ補正部２９に対してぶれ量の全てを補正させることは困難なので、例えば、“Ｘ１”を、可動域内で補正可能な補正の度合いを示す“６”とし、“Ｘ２”を“４”とする。ヨー軸ＹＡ方向についての比率である“Ｘ２”及び“Ｙ２”についても“Ｘ１”及び“Ｘ２”と同様の方法で定めることが可能である。
【0072】
動作制御部３７Ａは、二次記憶装置４２から比率情報４２Ａを取得する。また、動作制御部３７Ａは、ぶれ量検出センサ４０からぶれ量を取得する。更に、動作制御部３７Ａは、位置検出センサ３９から位置信号を取得する。
【0073】
動作制御部３７Ａは、撮像素子２５の露光中に、機械式ぶれ補正部２９と電子式ぶれ補正部３３とを比率情報４２Ａにより示される比率で分担して作動させる。機械式ぶれ補正部２９では、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について、ぶれ量検出センサ４０によって検出されたぶれ量のうちの比率に応じて定められたぶれ量に基づいて防振レンズ１５Ｂ１を上述の防振レンズ二次元平面内で移動させる。防振レンズ１５Ｂ１を防振レンズ二次元平面内で移動させることで、ぶれが補正される。
【0074】
動作制御部３７Ａは、撮像素子２５の露光中に、位置検出センサ３９から位置信号を複数回取得し、取得した複数の位置信号から、撮像素子２５の露光中の防振レンズ１５Ｂ１の動作状態に関する動作状態情報を生成する。動作状態情報としては、例えば、撮像素子２５の露光中の防振レンズ二次元平面内での防振レンズ１５Ｂ１の光軸の移動軌跡を特定可能な情報を含む情報が挙げられる。移動軌跡を特定可能な情報としては、防振レンズ二次元平面内での位置を特定可能な二次元座標が挙げられる。動作状態情報は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について生成される。なお、上記の「移動軌跡」は、本開示の技術に係る「露光期間中の光学素子の移動軌跡」の一例である。
【0075】
また、ここでは、防振レンズ二次元平面内での防振レンズ１５Ｂ１の光軸の移動軌跡を例示しているが、本開示の技術はこれに限定されない。例えば、防振レンズ１５Ｂ１の光軸の移動軌跡に代えて、防振レンズ１５Ｂ１の上端面の中心又は下端面の中心等の移動軌跡であってもよく、防振レンズ１５Ｂ１の移動軌跡として特定可能な箇所の移動軌跡であればよい。
【0076】
電子式ぶれ補正部３３は、画像メモリ３２から１フレーム分のデジタル画像を取得する。電子式ぶれ補正部３３は、１フレーム分のデジタル画像に対して、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について、動作状態情報と、ぶれ量検出センサ４０によって検出されたぶれ量のうちの比率に応じて定められたぶれ量とに基づいて画像処理を行う。このように１フレーム分のデジタル画像に対して画像処理（詳しくは後述）が行われることで、ぶれが補正される。電子式ぶれ補正部３３によって１フレーム分のデジタル画像に対してぶれが補正されることで得られた補正画像は補足ぶれ補正部３７Ｂに出力される。
【0077】
動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、位置検出センサ３９から位置信号を複数回取得し、取得した複数の位置信号から動作状態情報を生成する。また、動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、二次記憶装置４２から比率情報４２Ａを取得する。また、動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、ぶれ量検出センサ４０からぶれ量を取得する。更に、補足ぶれ補正部３７Ｂは、撮像素子２５の露光期間（以下、単に「露光期間」とも称する）を取得する。露光期間は、撮像素子２５に対して露光が行われている期間であり、撮像素子２５に対する露光の開始タイミングから露光の終了タイミングまでの時間が測定されることによって得られる。なお、以下では、撮像素子２５に対する露光の開始タイミングを単に「露光開始タイミング」と称し、撮像素子２５に対する露光の終了タイミングを単に「露光終了タイミング」と称する。
【0078】
補足ぶれ補正部３７Ｂは、電子式ぶれ補正部３３から補正画像を取得する。補足ぶれ補正部３７Ｂは、補正画像に対して、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間に応じて定まるフィルタを適用することでぶれを補正する。補足ぶれ補正部３７Ｂによって補正画像に対してぶれの補正が行われることで得られた補足補正画像は送信部３７Ｃに出力される。送信部３７Ｃは、補足補正画像を管理装置１１に送信する。
【0079】
電子式ぶれ補正部３３では、デジタル画像に対する画像処理の一例として、画像切出処理を含む処理が採用されている。画像切出処理とは、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に応じて定められた切出位置に従ってデジタル画像を切り出す処理を指す。すなわち、画像切出処理は、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に基づいて、画像メモリ３２に記憶されたデジタル画像から一部の画像領域を補正画像として切り出す処理である。
【0080】
画像切出処理が行われる場合、一例として図５に示すように、撮像素子２５の撮像領域２５Ｂ１が、ぶれが補正されたデジタル画像として出力する領域２５Ｂ２（以下、単に「画像出力領域２５Ｂ２」と称する）よりも広く設定された上で撮像が行われる。電子式ぶれ補正部３３では、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に基づいて切出領域特定情報が生成される。切出領域特定情報とは、デジタル画像内において補正画像として切り出す画像領域を特定する情報を指す。そして、電子式ぶれ補正部３３では、画像メモリ３２に記憶されたデジタル画像から、切出領域特定情報により特定された画像領域が補正画像として切り出される。
【0081】
ところで、一例として図６に示すように、電子式ぶれ補正部３３によってデジタル画像に対して画像処理が行われることで得られた補正画像内には乱れＮが現れる。乱れＮは、撮像素子２５の露光中のぶれに起因して生じる。電子式ぶれ補正部３３によって行われる画像切出処理は、デジタル画像から一部の画像領域（デジタル画像の一部）を補正画像として切り出す処理であり、露光中に生じるぶれに対応していないので、補正画像内に、露光中のぶれが原因で乱れＮが現れる。
【0082】
そこで、本実施形態では、ぶれの補正について、補足ぶれ補正部３７Ｂが、補正画像内から乱れＮを除去する補足的な処理を行う。すなわち、補足ぶれ補正部３７Ｂは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間に応じてフィルタを生成する。ここで言う「フィルタ」は、露光中に生じるぶれが原因で補足画像内に現れる乱れＮを除去するフィルタである。
【0083】
フィルタは、例えば、ＦＩＲフィルタである。ＦＩＲフィルタ自体は、正負を含む実数値の系列であり、系列の行数はタップ数と称され、実数値自体はタップ係数と称される。補足ぶれ補正部３７Ｂでは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間の各々を独立変数とし、タップ係数を従属変数とするタップ係数決定用演算式が予め定められており、タップ係数決定用演算式を用いてタップ係数が決定される。
【0084】
タップ係数決定用演算式は、例えば、実機による試験及び／又はシミュレーションが実施された結果に基づいて、補正画像内に現れる乱れＮが除去される演算式として予め導き出された演算式である。なお、ここで言う「乱れＮが除去される」とは、例えば、信号対ノイズ比（ＳＮＲ）が無限大になるデジタル画像、すなわち、乱れＮを含むぶれが含まれていないデジタル画像が得られることを意味する。
【0085】
補足ぶれ補正部３７Ｂでは、タップ係数決定用演算式を用いて決定されたタップ係数を有するＦＩＲフィルタが補正画像に対して適用されることで補正画像から乱れＮが除去される。すなわち、補正画像に対して、タップ係数決定用演算式を用いて決定されたタップ係数が畳み込み演算（積和算）されることで補正画像から乱れＮが除去される。このように、補正画像に対してＦＩＲフィルタによるフィルタリングが行われることで、補正画像から乱れＮが除去された補足補正画像が生成される。
【0086】
なお、本実施形態では、タップ係数決定用演算式を用いてタップ係数が決定される形態例を挙げて説明しているが、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間とタップ係数とを対応付けたタップ係数決定用テーブルを用いてタップ係数が決定されるようにしてもよい。また、ここでは、ＦＩＲフィルタを例示しているが、本開示の技術はこれに限定されず、例えば、ＩＩＲフィルタを用いてもよい。この場合、タップ係数に代えて、ＩＩＲフィルタで用いられるパラメータが、演算式又はテーブルを用いて、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間から決定されるようにすればよい。
【0087】
監視カメラ１０では、既定のフレームレートで監視対象が撮像素子２５によって撮像されることで得られた各デジタル画像について、補足ぶれ補正部３７Ｂによって補足補正画像が生成される。一例として図７に示すように、送信部３７Ｃには、補足ぶれ補正部３７Ｂでの補正結果がデジタル画像に反映されることで得られた補足補正画像が順次に入力される。送信部３７Ｃは、補足ぶれ補正部３７Ｂから入力された各補足補正画像を管理装置１１に送信する。
【0088】
管理装置１１では、送信部３７Ｃから送信された補足補正画像が制御装置６０に順次に入力される。そして、ディスプレイ１３は、制御装置６０の制御下で、制御装置６０に順次に入力された補足補正画像をライブビュー画像として表示し、二次記憶装置１４は、制御装置６０の制御下で、制御装置６０に順次に入力された補足補正画像を記憶する。ここでは、補足補正画像の表示と補足補正画像の記憶との双方が行われる形態例を挙げているが、本開示の技術はこれに限定されず、補足補正画像の表示と補足補正画像の記憶との何れかが行われるようにしてもよい。なお、制御装置６０は、本開示の技術に係る「制御装置」の一例である。
【0089】
【0090】
図８に示す補正制御処理では、先ず、ステップＳＴ１０で、動作制御部３７Ａは、機械式ぶれ補正部２９の作動と電子式ぶれ補正部３３の作動とを既定の比率で分担して開始させ、その後、補正制御処理はステップＳＴ１２へ移行する。
【0091】
本ステップＳＴ１０の処理が実行されることにより、機械式ぶれ補正部２９では、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれの補正が行われる。また、電子式ぶれ補正部３３では、最新の動作状態情報とぶれ量検出センサ４０によって検出されたぶれ量とに基づいて１フレーム分のデジタル画像に対して画像処理が行われることでぶれが補正され、補正画像が生成される。
【0092】
ステップＳＴ１２で、補足ぶれ補正部３７Ｂは、露光開始タイミングが到来したか否かを判定する。ステップＳＴ１２において、露光開始タイミングが到来していない場合は、判定が否定されて、補正制御処理は図９に示すステップＳＴ３６へ移行する。ステップＳＴ１２において、露光終了タイミングが到来した場合は、判定が肯定されて、補正制御処理はステップＳＴ１４へ移行する。
【0093】
ステップＳＴ１４で、補足ぶれ補正部３７Ｂは、露光期間の測定を開始し、その後、補正制御処理はステップＳＴ１６へ移行する。
【0094】
ステップＳＴ１６で、補足ぶれ補正部３７Ｂは、位置検出センサ３９からの位置信号に基づく動作状態情報の生成を開始し、その後、補正制御処理はステップＳＴ１８へ移行する。
【0095】
ステップＳＴ１８で、補足ぶれ補正部３７Ｂは、ぶれ量検出センサ４０からぶれ量を取得し、その後、補正制御処理はステップＳＴ２０へ移行する。
【0096】
ステップＳＴ２０で、補足ぶれ補正部３７Ｂは、露光終了タイミングが到来したか否かを判定する。ステップＳＴ２０において、露光終了タイミングが到来していない場合は、判定が否定されて、ステップＳＴ２０の判定が再び行われる。ステップＳＴ２０において、露光終了タイミングが到来した場合は、判定が肯定されて、補正制御処理はステップＳＴ２２へ移行する。
【0097】
ステップＳＴ２２で、補足ぶれ補正部３７Ｂは、露光期間の測定を終了し、その後、補正制御処理はステップＳＴ２４へ移行する。
【0098】
ステップＳＴ２４で、補足ぶれ補正部３７Ｂは、位置検出センサ３９からの位置信号に基づく動作状態情報の生成を終了し、その後、補正制御処理はステップＳＴ２６へ移行する。
【0099】
ステップＳＴ２６で、補足ぶれ補正部３７Ｂは、二次記憶装置４２から比率情報４２Ａを取得し、その後、補正制御処理はステップＳＴ２８へ移行する。
【0100】
ステップＳＴ２８で、補足ぶれ補正部３７Ｂは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、露光期間に基づいてフィルタ（例えば、上述したＦＩＲフィルタ）を生成し、その後、補正制御処理は図９に示すステップＳＴ３０へ移行する。
【0101】
本ステップＳＴ２８で用いられる動作状態情報は、ステップＳＴ２４で得られた動作状態情報である。また、本ステップＳＴ２８で用いられる比率情報４２Ａは、ステップＳＴ２６で取得された比率情報４２Ａである。また、本ステップＳＴ２８で用いられるぶれ量は、ステップＳＴ１８で取得されたぶれ量である。更に、本ステップＳＴ２８で用いられる露光期間は、ステップＳＴ２２で測定された露光期間である。
【0102】
図９に示すステップＳＴ３０で、補足ぶれ補正部３７Ｂは、露光期間において電子式ぶれ補正部３３によって生成された補正画像を取得し、その後、補正制御処理はステップＳＴ３２へ移行する。
【0103】
ステップＳＴ３２で、補足ぶれ補正部３７Ｂは、ステップＳＴ３０で取得した補正画像に対して、ステップＳＴ２８で生成したフィルタを適用することでぶれを補正する。すなわち、補足ぶれ補正部３７Ｂは、ステップＳＴ３０で取得した補正画像に対して、ステップＳＴ２８で生成したフィルタを適用することで補正画像内の乱れＮを除去する。ステップＳＴ３２の処理が実行された後、補正制御処理はステップＳＴ３４へ移行する。
【0104】
ステップＳＴ３４で、送信部３７Ｃは、ステップＳＴ３２の処理が実行されることによって補正画像内の乱れＮが除去されることで得られた補足補正画像を管理装置１１に送信し、その後、補正制御処理はステップＳＴ３６へ移行する。
【0105】
ステップＳＴ３６で、動作制御部３７Ａは、補正制御処理を終了する条件（以下、「補正制御処理終了条件」と称する）を満足したか否かを判定する。補正制御処理終了条件としては、例えば、補正制御処理を終了させる指示が受付デバイス４３Ａによって受け付けられた、との条件が挙げられる。ステップＳＴ３６において、補正制御処理終了条件を満足していない場合は、判定が否定されて、補正制御処理は図８に示すステップＳＴ１２へ移行する。ステップＳＴ３６において、補正制御処理終了条件を満足した場合は、判定が肯定されて、補正制御処理はステップＳＴ３８へ移行する。
【0106】
ステップＳＴ３８で、動作制御部３７Ａは、機械式ぶれ補正部２９の作動と電子式ぶれ補正部３３の作動とを終了させ、その後、補正制御処理が終了する。
【0107】
以上説明したように、監視カメラ１０では、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれが補正される。また、電子式ぶれ補正部３３によって、デジタル画像に対して、動作状態情報とぶれ量とに基づいて画像処理が行われることでぶれが補正される。電子式ぶれ補正部３３によるぶれの補正方法は、ぶれ量に応じてデジタル画像を切り出すことで実現される補正方法であり、露光中に生じるぶれに対応する補正方法ではない。
【0108】
そこで、監視カメラ１０では、露光中に生じるぶれを補正するために、露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３とを既定の比率で分担して作動させた場合に動作状態情報、既定の比率、ぶれ量、及び露光期間に応じてフィルタが生成される。そして、補足ぶれ補正部３７Ｂによって、フィルタが補正画像に対して適用されることでぶれが補正される。すなわち、フィルタが補正画像に対して適用されることで補正画像内での乱れＮが除去される。
【0109】
従って、監視カメラ１０によれば、機械式ぶれ補正部２９と電子式ぶれ補正部３３とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを機械式ぶれ補正部２９に依拠することなく除去することができる。
【0110】
また、監視カメラ１０では、電子式ぶれ補正部３３によって補正画像に対して適用されるフィルタとして、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを除去するフィルタが採用されている。従って、フィルタを用いずに乱れＮを除去する場合に比べ、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを簡便に除去することができる。
【0111】
また、監視カメラ１０では、動作状態情報は、１フレーム内の露光中の防振レンズ１５Ｂ１の動作状態に関する情報である。フィルタは、１フレーム内の露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３と既定の比率で分担して作動させた場合の動作状態情報、比率、ぶれ量、及び露光期間に応じて定められる。従って、機械式ぶれ補正部２９と電子式ぶれ補正部３３とで分担してぶれの補正を行った場合に、１フレーム内の露光中に生じるぶれが原因で１フレーム分の補正画像内に現れる乱れＮを機械式ぶれ補正部２９に依拠することなく除去することができる。
【0112】
また、監視カメラ１０では、動作状態情報として、露光期間中の防振レンズ１５Ｂ１の移動軌跡を特定可能な情報を含む情報が採用されている。従って、露光期間中の防振レンズ１５Ｂ１の移動軌跡とは無関係な情報を用いて補正画像内の乱れＮを除去する場合に比べ、補正画像内の乱れＮを高精度に除去することができる。
【0113】
また、監視カメラ１０では、動作状態情報、既定の比率、及びぶれ量に応じて定められた切出位置に従ってデジタル画像を切り出す画像切出処理が行われることによって補正画像が生成される。従って、動作状態情報、既定の比率、及びぶれ量とは無関係に定められた切出位置に従ってデジタル画像を切り出す処理が行われる場合に比べ、ぶれを高精度に補正することができる。
【0114】
また、監視カメラ１０では、防振レンズ１５Ｂ１を移動させることでぶれが補正される。従って、防振レンズ１５Ｂ１の可動域の範囲内でぶれを補正することができる。
【0115】
更に、監視カメラ１０では、ピッチ軸ＰＡ方向及びヨー軸ＹＡの各々についてぶれ量が検出され、既定の比率がピッチ軸ＰＡ方向及びヨー軸ＹＡの各々に応じて定められている。従って、１つの軸方向についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
【0116】
なお、上記実施形態では、防振レンズ１５Ｂ１を移動させることでぶれが補正される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、防振レンズ１５Ｂ１に代えて、撮像素子２５を防振レンズ二次元平面と平行な面内で移動させることでぶれが補正されるようにしてもよい。この場合、撮像素子２５の可動域の範囲内でぶれを補正することができる。また、この場合、防振レンズ１５Ｂ１が不要となるので、光学系１５の小型化を図ることができる。
【0117】
また、防振レンズ１５Ｂ１及び撮像素子２５の双方を移動させることでぶれが補正されるようにしてもよい。この場合、防振レンズ１５Ｂ１及び撮像素子２５の各々の可動域の範囲内でぶれを補正することができる。また、この場合、防振レンズ１５Ｂ１の可動域によって防振レンズ１５Ｂ１の移動が制限されることで補正し切れなかったぶれを、撮像素子２５を移動させることで補正することが可能となる。
【0118】
また、上記実施形態では、補足ぶれ補正部３７Ｂによって露光期間がリアルタイムで測定される形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、事前に露光期間が算出されるようにしてもよい。この場合、一例として図１０に示すように、ＣＰＵ３７は、露光期間算出部３７Ｄを有する。露光期間算出部３７Ｄは、受付デバイス４３Ａによってシャッタスピードを指示するシャッタスピード指示情報が受け付けられた場合に、シャッタスピード指示情報により指示されたシャッタスピードに基づいて露光期間を算出する。補足ぶれ補正部３７Ｂでは、露光期間算出部３７Ｄによって算出された露光期間と、動作状態情報、既定の比率、及びぶれ量に基づいてフィルタが生成される。
【0119】
また、上記実施形態では、一対の軸方向の各々についてぶれ量が検出され、比率が軸方向に応じて定められているが、本開示の技術はこれに限定されない。例えば、図１１に示すように、比率がぶれの周波数に応じて定められるようにしてもよい。
【0120】
図１１に示す例では、ぶれの周波数が低周波数と高周波数とに区分されている。低周波数についての比率は、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ１：Ｙ１”であり、高周波数についての比率は、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ２：Ｙ２”である。この場合、低周波数と高周波数との各々についてぶれ量が検出される。低周波数のぶれ量は、ぶれ量検出センサ４０によって検出されたぶれ量から、ローパスフィルタを用いて抽出され、高周波数のぶれ量は、ぶれ量検出センサ４０によって検出されたぶれ量から、ハイパスフィルタを用いて抽出されるようにすればよい。なお、低周波数と高周波数とを区分する閾値は、固定値であってもよいし、受付デバイス４３Ａによって受け付けられた指示に応じて変更可能な可変値であってもよい。
【0121】
このように、低周波数と高周波数との各々についてぶれ量が検出されるようにすることで、１つの周波数についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
【0122】
なお、ここでは、低周波数と高周波数とに区分けしたが、これに限らず、３つ以上の周波数に区分けした場合であっても、同様の方法でぶれ量を検出し、比率を定めるようにすればよい。
【0123】
また、上記実施形態では、動作状態情報として、防振レンズ１５Ｂ１の移動軌跡を特定可能な情報を含む情報を例示したが本開示の技術はこれに限定されない。動作状態情報には、露光期間中の防振レンズ１５Ｂ１が移動している期間と露光期間中の防振レンズ１５Ｂ１が移動していない期間のうちの少なくとも一方を含む情報であってもよい。これにより、露光期間中の防振レンズ１５Ｂ１が移動している期間及び露光期間中の防振レンズ１５Ｂ１が移動していない期間の何れもが動作状態情報に含まれていない場合に比べ、電子式ぶれ補正部３３及び補足ぶれ補正部３７Ｂの各々によるぶれの補正精度を高めることができる。
【0124】
また、上記実施形態では、１フレーム毎にフィルタが生成され、生成されたフィルタが、対応する１フレームの補正画像に対して適用される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、１つのフィルタが、複数のフレームに渡って使用されるようにしてもよい。また、予め定められた時間帯に限って、同一のフィルタが使用され続けるようにしてもよい。ここで言う「予め定められた時間帯」は、例えば、受付デバイス４３Ａによって受け付けられた指示に従って定められた時間帯であってもよいし、固定された時間帯であってもよい。
【0125】
また、複数フレームおきにフィルタが生成されるようにしてもよい。この場合、例えば、振動の発生頻度が比較的高い時間帯に対しては１フレーム毎にフィルタが生成されるようにし、振動の発生頻度が比較的低い時間帯に対しては複数フレーム毎にフィルタが生成されるようにしてもよい。
【0126】
ここで言う「比較的高い時間帯」及び「比較的低い時間帯」は、監視カメラ１０によって監視対象が撮像されることで蓄積された過去の複数のデジタル画像が解析されることによって得られた統計的なデータに基づいて定められるようにすればよい。また、「比較的高い時間帯」及び「比較的低い時間帯」は固定化されていてもよいし、受付デバイス４３Ａ等によって受け付けられた指示に従って変更可能な時間帯であってもよい。
【0127】
また、上記実施形態では、ＲＯＭ３６に補正制御プログラム３６Ａが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１２に示すように、補正制御プログラム３６Ａを記憶媒体１００に記憶させておいてもよい。この場合、記憶媒体１００に記憶されている補正制御プログラム３６Ａは、コンピュータ１９にインストールされ、ＣＰＵ３７は、補正制御プログラム３６Ａに従って、上述した補正制御処理を実行する。なお、記憶媒体１００は、非一時的記憶媒体である。記憶媒体１００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
【0128】
図１２に示す例では、ＣＰＵ３７は、単数のＣＰＵであるが、本開示の技術はこれに限定されず、複数のＣＰＵを採用してもよい。
【0129】
また、通信網（図示省略）を介してコンピュータ１９に接続される他のコンピュータ又はサーバ装置等の記憶部に補正制御プログラム３６Ａを記憶させておき、上述の監視カメラ１０の要求に応じて補正制御プログラム３６Ａがコンピュータ１９にダウンロードされるようにしてもよい。この場合、ダウンロードされた補正制御プログラム３６Ａがコンピュータ１９のＣＰＵ３７によって実行される。
【0130】
また、上記実施形態では、ＣＰＵ３７を例示したが、本開示の技術はこれに限らず、複数のＣＰＵを用いても良い。
【0131】
また、上記実施形態では、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃとして、コンピュータ１９によるソフトウェア構成により実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃは、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスによって実現されるようにしてもよい。また、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
【0132】
上記の補正制御処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、補正制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
【0133】
補正制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、補正制御処理を実行するハードウェア資源は１つのプロセッサであってもよい。
【0134】
１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃの各々の処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、補正制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃの各々の処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
【0135】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
【0136】
また、上記実施形態では、本開示の技術に係る撮像装置の一例として監視カメラ１０を挙げたが、本開示の技術はこれに限定されない。例えば、監視カメラ１０に代えて、携帯型のレンズ交換式カメラ、携帯型のレンズ固定式カメラ、パーソナル・コンピュータ、スマートデバイス、又はウェアラブル端末装置等の各種の電子機器に対しても本開示の技術は適用可能である。これらの電子機器であっても、上記各実施形態で説明した監視カメラ１０と同様の作用及び効果が得られる。
【0137】
また、上記の補正制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0138】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0139】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0140】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
