知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023058260
(43)【公開日】2023-04-25
(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04N 23/68 20230101AFI20230418BHJP
H04N 23/60 20230101ALI20230418BHJP
G03B 5/00 20210101ALI20230418BHJP
【ＦＩ】
H04N5/232 480
H04N5/232 290
G03B5/00 J
G03B5/00 K
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2021168168
(22)【出願日】2021-10-13
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】福田 崇徳
【テーマコード（参考）】
2K005
5C122
【Ｆターム（参考）】
2K005CA02
2K005CA14
2K005CA15
2K005CA23
2K005CA24
2K005CA28
2K005CA54
5C122EA41
5C122FA08
5C122FH12
5C122FH18
5C122HA78
5C122HA86
5C122HA88
5C122HB01
5C122HB06
5C122HB10
(57)【要約】
【課題】連続撮影等して得た複数の画像を合成することによって、低速シャッターで手ぶれを抑えて撮影した画像相当の画像を安定した精度で得ることができる技術を提供する。
【解決手段】連続撮像して生成した複数の画像を合成する撮像装置は、複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、算出部により算出された特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、選択部により選択された動きベクトルに基づいて複数の画像を合成する合成部と、を備える。
【選択図】図５
【解決手段】連続撮像して生成した複数の画像を合成する撮像装置は、複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、算出部により算出された特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、選択部により選択された動きベクトルに基づいて複数の画像を合成する合成部と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
連続撮像して生成した複数の画像を合成する撮像装置であって、
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、
前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、
前記選択部により選択された動きベクトルに基づいて前記複数の画像を合成する合成部と、
を備えることを特徴とする撮像装置。
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、
前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、
前記選択部により選択された動きベクトルに基づいて前記複数の画像を合成する合成部と、
を備えることを特徴とする撮像装置。
【請求項2】
前記算出部は、前記複数の画像間の局所的な動きに基づく第１動きベクトルを算出し、前記第１動きベクトルに基づいて前記撮像装置の姿勢変化に関する第２動きベクトルを算出することを特徴とする請求項１に記載の撮像装置。
【請求項3】
装置ぶれ補正部を有し、
前記算出部は、前記装置ぶれ補正部が出力する装置ぶれ補正量に基づいて前記第２動きベクトルを算出することを特徴とする請求項２に記載の撮像装置。
前記算出部は、前記装置ぶれ補正部が出力する装置ぶれ補正量に基づいて前記第２動きベクトルを算出することを特徴とする請求項２に記載の撮像装置。
【請求項4】
センサを有し、
前記算出部は、前記センサの出力を補助情報として用いて前記第２動きベクトルを算出することを特徴とする請求項２に記載の撮像装置。
前記算出部は、前記センサの出力を補助情報として用いて前記第２動きベクトルを算出することを特徴とする請求項２に記載の撮像装置。
【請求項5】
前記算出部は、前記撮像装置の姿勢変化を仮定し、前記仮定した姿勢変化と前記第１動きベクトルとの差が最小となる姿勢変化を求め、前記最小となる姿勢変化に基づいて前記第２動きベクトルを算出する請求項２に記載の撮像装置。
【請求項6】
前記選択部は、前記第１動きベクトルの信頼度が高い場合、且つ、前記第１動きベクトルと前記第２動きベクトルとの差分が第１閾値より大きい場合に、前記第２動きベクトルを選択することを特徴とする請求項２乃至５の何れか一項に記載の撮像装置。
【請求項7】
前記選択部は、前記第２動きベクトルの周辺に位置する複数の前記第１動きベクトルのばらつきが第２閾値より大きい場合に、前記第２動きベクトルを選択することを特徴とする請求項２乃至５の何れか一項に記載の撮像装置。
【請求項8】
前記算出部は、前記第１動きベクトルの周辺に位置する複数の前記第１動きベクトルに基づいて第３動きベクトルを算出することを特徴とする請求項２乃至７のいずれか一項に記載の撮像装置。
【請求項9】
前記選択部は、前記第１動きベクトルの信頼度が低い場合、且つ、前記第２動きベクトルと前記第３動きベクトルとの差分が第３閾値より小さい場合に、前記第２動きベクトルを選択することを特徴とする請求項８に記載の撮像装置。
【請求項10】
連続撮像されて生成された複数の画像を合成する画像処理方法であって、
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、
算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、
選択した前記動きベクトルに基づいて前記複数の画像を合成する、
ことを特徴とする画像処理方法。
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、
算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、
選択した前記動きベクトルに基づいて前記複数の画像を合成する、
ことを特徴とする画像処理方法。
【請求項11】
連続撮像されて生成された複数の画像を合成する画像処理をプロセッサに実行させるプログラムであって、前記画像処理は、
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、
算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、
選択した前記動きベクトルに基づいて前記複数の画像を合成する、
という処理を含むことを特徴とするプログラム。
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、
算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、
選択した前記動きベクトルに基づいて前記複数の画像を合成する、
という処理を含むことを特徴とするプログラム。
【請求項12】
連続撮像されて生成された複数の画像から動き領域を検出する画像処理装置であって、
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、
前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記複数の画像の動き領域を検出する検出部と、
を備えることを特徴とする画像処理装置。
前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、
前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記複数の画像の動き領域を検出する検出部と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、撮像装置、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
従来、連続撮影等して得た複数の画像を合成することによって低速シャッターで手ぶれを抑えて撮影した画像相当の画像を生成する手法が提案されている。例えば、特許文献１には、基準画像と参照画像の画像間の大域的な動きを反映したグローバル動きベクトルと、基準画像と参照画像の画像間の局所的な動きを反映したローカル動きベクトルとを算出し、グローバル動きベクトルとローカル動きベクトルから動領域情報を算出し、グローバル動きベクトルに基づき参照画像を補正した補正参照画像とローカル動きベクトルに基づき参照画像を補正した補正参照画像とを動領域情報により決定される合成比率で基準画像と合成するようにした画像合成装置が提案されている。この画像合成装置によれば、例えば、動く被写体（車等）の軌跡が表現されるように低速シャッターで手ぶれを抑えて撮影した画像相当の画像を生成することができる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５６８７５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の画像合成装置では、算出した動領域情報が動領域を示す場合に、動領域情報により決定される合成比率が、グローバル動きベクトルに基づき参照画像を補正した補正参照画像を１とし、ローカル動きベクトルに基づき参照画像を補正した補正参照画像を０として、基準画像との合成が行われる場合がある。これは、動領域をローカル動きベクトルに基づいて合成を行ってしまうと動く被写体の軌跡が表現されなくなってしまうことから、グローバル動きベクトルに基づいて合成を行う、という思想に基づくものと考えられる。
【0005】
しかしながら、このような場合の合成では、画像全体が一様に動いている場合にしか良好な合成画像が得られない虞がある。一般的なカメラの撮影では、カメラの光学的な歪みの影響や、手ぶれ（角度ぶれ）によるカメラの回転、あおりの影響や、手ぶれ（並進ぶれ）による視差の影響等があるため、動領域を一様にグローバル動きベクトルに基づいて合成してしまうと、動く被写体の背景領域のぶれを抑えることができず、局所的にぶれた画像が得られてしまう。
【0006】
また、画像全体において高信頼度で動きベクトルが算出されている場合にしか良好な合成画像が得られない虞もある。特許文献１の画像合成装置では、動領域情報をグローバル動きベクトルとローカル動きベクトルとの差分によって算出していることから、それぞれの動きベクトルが高信頼度で算出されていないと動領域情報を正しく算出することができない。そのため、特に低コントラストの被写体が撮影された画像を合成する場合には、ぶれた画像が得られ易くなってしまう。
【0007】
以上のような実情を踏まえ、本発明の一側面に係る目的は、連続撮影等して得た複数の画像を合成することによって、低速シャッターで手ぶれを抑えて撮影した画像相当の画像を安定した精度で得ることができる技術を提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様に係る装置は、連続撮像して生成した複数の画像を合成する撮像装置であって、前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、前記選択部により選択された動きベクトルに基づいて前記複数の画像を合成する合成部と、を備える。
【0009】
本発明の一態様に係る方法は、連続撮像されて生成された複数の画像を合成する画像処理方法であって、前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、選択した前記動きベクトルに基づいて前記複数の画像を合成する。
【0010】
本発明の一態様に係るプログラムは、連続撮像されて生成された複数の画像を合成する画像処理をプロセッサに実行させるプログラムであって、前記画像処理は、前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出し、算出した前記特性の異なる複数種類の動きベクトルの信頼度に基づいて、前記特性の異なる複数種類の動きベクトルのうちから動きベクトルを選択し、選択した前記動きベクトルに基づいて前記複数の画像を合成する、という処理を含む。
【0011】
本発明の他の一態様に係る装置は、連続撮像されて生成された複数の画像から動き領域を検出する画像処理装置であって、前記複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、前記算出部により算出された前記特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、前記複数の画像の動き領域を検出する検出部と、を備える。
【発明の効果】
【0012】
上記の態様によれば、連続撮影等して得た複数の画像を合成することによって、低速シャッターで手ぶれを抑えて撮影した画像相当の画像を安定した精度で得ることができる。
【図面の簡単な説明】
【0013】
【図1】第１の実施形態に係る撮像装置であるカメラの構成を例示する図である。
【図2】メイン処理の流れを例示するフローチャートである。
【図3】第１の実施形態に係る静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。
【図4】第１の実施形態に係る画像合成処理（Ｓ２１０）の具体例を模式的に示す図である。
【図5】第１の実施形態に係る画像合成処理（Ｓ２１０）の流れを例示するフローチャートである。
【図6】第１の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。
【図7】第１の実施形態に係る動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。
【図8】第１の実施形態に係る別の動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。
【図9】第１の実施形態に係る画像合成処理（Ｓ３０５）の流れを例示するフローチャートである。
【図10】局所領域、第１動きベクトル、第２動きベクトル、及び第３動きベクトルを例示する図である。
【図11】第１動きベクトル、第２動きベクトル、及び第３動きベクトルのスコープを例示する図である。
【図12】第２の実施形態に係る静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。
【図13】第３の実施形態に係る静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。
【図14】第３の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。
【図15】第４の実施形態に係る画像合成処理（Ｓ２１０）の具体例を模式的に示す図である。
【図16】第４の実施形態に係る画像合成処理（Ｓ２１０）の流れを例示するフローチャートである。
【図17】第４の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。
【図18】第４の実施形態に係る動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。
【図19】注目被写体を例示する図である。
【図20】血管領域判定処理の流れを例示するフローチャートである。
【図21】動領域／静領域判定処理（Ｓ１４０１）の流れを例示するフローチャートである。
【図22】動きベクトルの時間変化の一例を模式的に示す図である。
【図23】複数の動領域の一例を模式的に示す図である。
【発明を実施するための形態】
【0014】
＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置であるカメラの構成を例示する図である。図１に例示したカメラ１００は、レンズユニット２００及びボディユニット３００を含む。レンズユニット２００は、ボディユニット３００に対して着脱自在に構成されている。レンズユニット２００のボディユニット３００への装着は、レンズユニット２００に設けられたレンズ側マウント部２０１とボディユニット３００に設けられたボディ側マウント部３０１とが互いに勘合することにより行われる。これにより、レンズユニット２００がボディユニット３００に固定されると共に、レンズユニット２００に設けられたレンズ側通信コネクタ２０２とボディユニット３００に設けられたボディ側通信コネクタ３０２とが電気的に接続され、レンズユニット２００とボディユニット３００との間で通信が可能になる。
図１は、第１の実施形態に係る撮像装置であるカメラの構成を例示する図である。図１に例示したカメラ１００は、レンズユニット２００及びボディユニット３００を含む。レンズユニット２００は、ボディユニット３００に対して着脱自在に構成されている。レンズユニット２００のボディユニット３００への装着は、レンズユニット２００に設けられたレンズ側マウント部２０１とボディユニット３００に設けられたボディ側マウント部３０１とが互いに勘合することにより行われる。これにより、レンズユニット２００がボディユニット３００に固定されると共に、レンズユニット２００に設けられたレンズ側通信コネクタ２０２とボディユニット３００に設けられたボディ側通信コネクタ３０２とが電気的に接続され、レンズユニット２００とボディユニット３００との間で通信が可能になる。
【0015】
レンズユニット２００は、撮影レンズ２０３、レンズ駆動回路２０４、レンズ側姿勢変化検出部２０５、レンズ側防振制御回路２０６、絞り２０７、絞り駆動回路２０８、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ―Ｏｎｌｙ Ｍｅｍｏｒｙ）２０９、及びレンズ制御用マイクロコンピュータ（以下「ＬＣＰＵ」と称す）２１０を含む。
【0016】
撮影レンズ２０３は、被写体の光学像である被写体像を撮像素子３０８の撮像面に結像する。図１では、説明の便宜上、撮影レンズ２０３を１つのレンズとして示すが、実際には、フォーカスレンズ及び防振用レンズを含む複数のレンズから構成されている。撮影レンズ２０３は、更に、ズームレンズを含んでもよい。
【0017】
レンズ駆動回路２０４は、ＬＣＰＵ２１０の制御の下、撮影レンズ２０３（例えばフォーカスレンズ）を駆動する。また、レンズ駆動回路２０４は、ＬＣＰＵ２１０及びレンズ側防振制御回路２０６の制御の下、撮影レンズ２０３に含まれる防振用レンズを駆動する。レンズ駆動回路２０４は、例えば、ステッピングモータ及びモータドライバ（モータドライブ回路）を含んで構成される。
【0018】
レンズ側姿勢変化検出部２０５は、カメラ１００（詳しくはレンズユニット２００）の姿勢変化を検出する。レンズ側姿勢変化検出部２０５は、レンズ側Ｙ方向Ｇセンサ２０５１、レンズ側Ｘ方向Ｇセンサ２０５２、レンズ側ピッチジャイロセンサ２０５３、レンズ側ヨージャイロセンサ２０５４、及びレンズ側ロールジャイロセンサ２０５５を含む。これらのセンサは、カメラ１００（詳しくはレンズユニット２００）の各方向の加速度や角速度を検出する。
【0019】
ここで、カメラの各方向を定義しておく。カメラ１００のＸ方向、Ｙ方向、及びＺ方向を、カメラ１００の左右方向、上下方向、及び前後方向とする。なお、カメラ１００のＺ方向は、撮影レンズ２０３の光軸方向でもあり、カメラ１００のＸ方向及びＹ方向は、撮影レンズ２０３の光軸方向に直交し且つ互いに直交する２つの方向でもある。また、カメラ１００のピッチ方向を、カメラ１００のＸ方向の軸を回転軸とする回転方向とし、カメラ１００のヨー方向を、カメラ１００のＹ方向の軸を回転軸とする回転方向とし、カメラ１００のロール方向を、カメラ１００のＺ方向の軸を回転軸とする回転方向とする。
【0020】
レンズ側Ｙ方向Ｇセンサ２０５１は、カメラ１００のＹ方向の加速度を検出する。レンズ側Ｘ方向Ｇセンサ２０５２は、カメラ１００のＸ方向の加速度を検出する。レンズ側ピッチジャイロセンサ２０５３は、カメラ１００のピッチ方向の回転角速度を検出する。レンズ側ヨージャイロセンサ２０５４は、カメラ１００のヨー方向の回転角速度を検出する。レンズ側ロールジャイロセンサ２０５５は、カメラ１００のロール方向の回転角速度を検出する。
【0021】
レンズ側防振制御回路２０６は、ＬＣＰＵ２１０の制御の下、レンズ側姿勢変化検出部２０５の検出結果である、レンズ側Ｙ方向Ｇセンサ２０５１、レンズ側Ｘ方向Ｇセンサ２０５２、レンズ側ピッチジャイロセンサ２０５３、レンズ側ヨージャイロセンサ２０５４、及びレンズ側ロールジャイロセンサ２０５５の検出結果に基づいて、レンズ駆動回路２０４を制御することにより、撮像素子３０８の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮影レンズ２０３に含まれる防振用レンズを移動させる。なお、防振用レンズは、撮影レンズ２０３の光軸方向に直交する方向に移動可能である。
【0022】
絞り２０７は、開口面積を変化させることにより、撮像面に結像される被写体像の光量を調整する。これにより、露出の調整が行われる。絞り駆動回路２０８は、ＬＣＰＵ２１０の制御の下、絞り２０７を駆動する。絞り駆動回路２０８は、例えば、ステッピングモータ及びモータドライバを含んで構成される。
【0023】
ＥＥＰＲＯＭ２０９は、レンズユニット２００の動作を制御するプログラムや、そのプログラムの実行に必要なデータや、レンズユニット２００に関する情報等を記憶する。ＬＣＰＵ２１０は、プロセッサを含み、ＥＥＰＲＯＭ２０９に記憶されたプログラムを実行する。これにより、ＬＣＰＵ２１０は、レンズ側通信コネクタ２０２を経由してボディ制御用マイクロコンピュータ（以下「ＢＣＰＵ」と称す）３２９と通信を行い、ＢＣＰＵ３２９の制御の下、レンズユニット２００の各部を制御してレンズユニット２００の全体動作を制御する。ＬＣＰＵ２１０は、例えば、ＡＳＩＣ（Ａｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ―Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等により構成されてもよい。
【0024】
ボディユニット３００は、シャッター３０３、シャッターチャージ機構３０４、シャッター制御回路３０５、防塵機構３０６、防塵制御回路３０７、撮像素子３０８、撮像素子インターフェース回路（以下「撮像素子Ｉ／Ｆ回路」と称す）３０９、画像処理コントローラ３１０、記録メディア３１１、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１２、ＦＬＡＳＨ ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）（以下「フラッシュＲＯＭ」と称す）３１３、外部出力端子３１４、液晶モニター３１５、電子ビューファインダー３１６、撮像ステージ３１７、撮像ステージ駆動回路３１８、ボディ側姿勢変化検出部３１９、ボディ側防振制御回路３２０、ストロボ３２１、ストロボ駆動回路３２２、電源回路３２３、電池３２４、無線回路３２５、動作表示部３２６、カメラ操作ＳＷ（ＳＷｉｔｃｈ）３２７、ＥＥＰＲＯＭ３２８、及びＢＣＰＵ３２９を含む。
【0025】
シャッター３０３は、先幕３０３１及び後幕３０３２の開閉動作を行うことにより、撮像素子３０８の撮像面を露光状態又は遮光状態にする。シャッター３０３は、例えばフォーカルプレーンシャッターである。シャッターチャージ機構３０４は、ＢＣＰＵ３２９の制御の下、シャッター３０３の先幕３０３１と後幕３０３２を駆動するバネをチャージする。シャッター制御回路３０５は、ＢＣＰＵ３２９の制御の下、シャッター３０３の動作、詳しくは先幕３０３１と後幕３０３２の動作、を制御する。
【0026】
防塵機構３０６は、撮像素子３０８により撮像され得る塵埃を除去する。例えば、防塵機構３０６は、その除去を、超音波によりフィルタを振動させることにより行う。このようなフィルタは、超音波防塵フィルタとも称する。防塵制御回路３０７は、ＢＣＰＵ３２９の制御の下、防塵機構３０６の動作を制御する。
【0027】
撮像素子３０８は、撮像面に結像された被写体像を電気信号に変換する。すなわち、被写体像を撮像する。撮像素子３０８は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサである。
【0028】
撮像素子Ｉ／Ｆ回路３０９は、ＢＣＰＵ３２９の制御の下、撮像素子３０８の動作を制御すると共に、撮像素子３０８から出力される画像信号を画像処理コントローラ３１０へ出力する。なお、ＢＣＰＵ３２９による撮像素子Ｉ／Ｆ回路３０９の制御は、画像処理コントローラ３１０を経由して行われる。
【0029】
画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、撮像素子３０８から出力された画像信号に対してγ補正、色変換、デモザイキング等の各種の画像処理を施して画像データ（以下単に「画像」とも称す）を生成する。例えば、表示用（ライブビュー用も含む）に適した画像処理を施して表示用の画像を生成したり、記録用に適した画像処理を施して記録用の画像を生成したりする。なお、表示用に適した画像処理や記録用に適した画像処理を現像処理とも称す。また、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、複数の画像データ（複数フレームの画像データ）を用いて合成画像データ（以下単に「合成画像」とも称す）を生成する。ここで、複数の画像データは、カメラ１００で連続撮影（例えば連写）が行われたときに撮像素子３０８から出力された画像信号から生成されたものである。また、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、生成した合成画像に対して現像処理を施し、表示用の画像を生成したり記録用の画像を生成したりする。また、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、記録メディア３１１に記録された画像に対して伸張処理を含む画像処理を施して再生用の画像を生成する。
【0030】
なお、画像処理コントローラ３１０は、プロセッサを含んで構成されてもよい。この場合、プロセッサがプログラムを実行することで、画像処理コントローラ３１０の処理が行われてもよい。また、画像処理コントローラ３１０は、ＡＳＩＣやＦＰＧＡ等により構成されてもよい。
【0031】
記録メディア３１１は、ボディユニット３００に対して着脱自在なＳＤカード、コンパクトフラッシュ（登録商標）等の不揮発性の記録媒体である。なお、記録メディア３１１は、ボディユニット３００に内蔵されたハードディスクや半導体メモリ等でもよい。記録メディア３１１は、例えば、画像処理コントローラ３１０により生成された画像を記録する。
【0032】
ＳＤＲＡＭ３１２は、画像処理コントローラ３１０のワークエリアとして使用され、例えば、画像処理コントローラ３１０による処理中の画像が一時的に格納される。フラッシュＲＯＭ３１３は、画像処理コントローラ３１０による画像処理に必要な各種パラメータ等を記憶する。また、フラッシュＲＯＭ３１３は、画像処理コントローラ３１０のプロセッサが実行するプログラムや、そのプログラムの実行に必要なデータ等を記憶してもよい。
【0033】
外部出力端子３１４は、ケーブルを経由して外部装置と接続され、例えば、画像処理コントローラ３１０により生成された画像を外部装置へ出力する。液晶モニター３１５は、画像処理コントローラ３１０により生成された画像や各種情報等を表示する。電子ビューファインダー３１６は、液晶モニター３１５と同様に、画像処理コントローラ３１０により生成された画像や各種情報等を表示する。
【0034】
撮像ステージ３１７は、撮像素子３０８を撮像面に平行な方向へ移動させると共に、撮像素子３０８を、撮像面に直交する軸を回転軸として回転させる駆動機構である。撮像ステージ３１７は、撮像素子３０８を平行移動及び回転させるための複数のアクチュエータを含んで構成される。複数のアクチュエータは、例えばＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）である。撮像ステージ駆動回路３１８は、ＢＣＰＵ３２９及びボディ側防振制御回路３２０の制御の下、撮像ステージ３１７を駆動する。
【0035】
ボディ側姿勢変化検出部３１９は、カメラ１００（詳しくはボディユニット３００）の姿勢変化を検出する。ボディ側姿勢変化検出部３１９は、ボディ側Ｙ方向Ｇセンサ３１９１、ボディ側Ｘ方向Ｇセンサ３１９２、ボディ側ピッチジャイロセンサ３１９３、ボディ側ヨージャイロセンサ３１９４、及びボディ側ロールジャイロセンサ３１９５を含む。
【0036】
ボディ側Ｙ方向Ｇセンサ３１９１は、カメラ１００のＹ方向の加速度を検出する。ボディ側Ｘ方向Ｇセンサ３１９２は、カメラ１００のＸ方向の加速度を検出する。ボディ側ピッチジャイロセンサ３１９３は、カメラ１００のピッチ方向の回転角速度を検出する。ボディ側ヨージャイロセンサ３１９４は、カメラ１００のヨー方向の回転角速度を検出する。ボディ側ロールジャイロセンサ３１９５は、カメラ１００のロール方向の回転角速度を検出する。
【0037】
ボディ側防振制御回路３２０は、ＢＣＰＵ３２９の制御の下、ボディ側姿勢変化検出部３１９の検出結果である、ボディ側Ｙ方向Ｇセンサ３１９１、ボディ側Ｘ方向Ｇセンサ３１９２、ボディ側ピッチジャイロセンサ３１９３、ボディ側ヨージャイロセンサ３１９４、及びボディ側ロールジャイロセンサ３１９５の検出結果に基づいて、撮像ステージ駆動回路３１８を制御することにより、撮像素子３０８の撮像面に結像されている被写体像の像ぶれを打ち消す方向に撮像素子３０８を移動させる。
【0038】
ストロボ３２１は、露光動作であるシャッター３０３の動作に同期して発光する。ストロボ３２１は、光源として、例えばキセノンランプ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を含む。ストロボ駆動回路３２２は、ＢＣＰＵ３２９の制御の下、ストロボ３２１を駆動して発光させる。
【0039】
電源回路３２３は、ＢＣＰＵ３２９の制御の下、電池３２４の電圧を、カメラ１００の各部の回路が必要とする電圧に変換して供給する。無線回路３２５は、ＢＣＰＵ３２９の制御の下、図示しない外部装置と無線通信を行い、例えば、画像処理コントローラ３１０により生成された画像を外部装置へ出力する。動作表示部３２６は、カメラ１００の動作状態をユーザに通知するためのＬＥＤを備え、ＢＣＰＵ３２９の制御の下、カメラ１００の動作状態に応じてＬＥＤを点灯又は消灯させる。
【0040】
カメラ操作ＳＷ３２７は、カメラ１００の電源をオン状態又はオフ状態へ切り換えるための指示入力を受け付ける電源スイッチ（以下「電源ＳＷ」と称す）、撮影指示入力を受け付けるレリーズスイッチ、動作モードを静止画撮影モード、動画撮影モード、又は再生モードへ切り換えるための指示入力を受け付けるモード切換スイッチ、メニュー画面を表示する指示入力を受け付けるメニュースイッチ、メニュー画面上の項目を選択する指示入力を受け付ける選択スイッチ、選択された項目を確定する指示入力を受け付ける確定スイッチ等の各種スイッチを備える。メニュー画面は、液晶モニター３１５又は電子ビューファインダー３１６に表示される。例えば、撮影時のシャッタースピードや露出等の撮影条件は、メニュースイッチ、選択スイッチ、及び確定スイッチの操作により、メニュー画面から入力、設定が可能である。また、複数の静止画を合成して記録するモードである静止画合成モードは、メニュースイッチ、選択スイッチ、及び確定スイッチの操作により、メニュー画面から設定が可能である。静止画合成モードの設定は、メニュー画面から行われることに限られず、例えば、専用のスイッチを用いて行われてもよい。この場合は、カメラ操作ＳＷ３２７が、静止画合成モードを設定するための指示入力を受け付けるスイッチを備えてもよい。
【0041】
ＥＥＰＲＯＭ３２８は、カメラ１００の動作を制御するプログラムや、そのプログラムの実行に必要なデータ等を記憶する。ＢＣＰＵ３２９は、プロセッサを含み、ＥＥＰＲＯＭ３２８に記憶されたプログラムを実行する。これにより、ＢＣＰＵ３２９は、ボディ側通信コネクタ３０２を経由してＬＣＰＵ２１０と通信を行うと共に、カメラ１００の各部を制御してカメラ１００の全体動作を制御する。ＢＣＰＵ３２９は、例えば、ＡＳＩＣ又はＦＰＧＡ等により構成されてもよい。
【0042】
次に、カメラ１００において実行される処理について説明する。カメラ１００において実行される処理は、ＢＣＰＵ３２９の制御の下に行われる。図２は、カメラ１００において実行されるメイン処理の流れを例示するフローチャートである。
【0043】
図２に例示したメイン処理では、まず、ステップ（以下単に「Ｓ」という）１０１において、ＢＣＰＵ３２９は、カメラ操作ＳＷ３２７の電源ＳＷがオンにされたか否かを判定する。Ｓ１０１の判定結果がＮＯの場合は、Ｓ１０１の判定を繰り返す。
【0044】
一方、Ｓ１０１の判定結果がＹＥＳの場合、Ｓ１０２において、ＢＣＰＵ３２９は、カメラ初期化処理を行う。この処理では、例えば、レンズユニット２００に関する情報をＬＣＰＵ２１０から取得する等の処理が行われる。
【0045】
次に、Ｓ１０３において、ＢＣＰＵ３２７は、設定されている動作モードが、静止画撮影モード、動画撮影モード、及び再生モードのいずれであるかを判定する。なお、動作モードの切り換えは、カメラ操作ＳＷ３２７のモード切換スイッチにより行われる。
【0046】
Ｓ１０３の判定結果が静止画撮影モードである場合、Ｓ１０４において、ＢＣＰＵ３２９は、静止画撮影待機動作処理を行う。この処理では、被写体像を撮像してライブビュー用に適した画像処理を施して得た画像を液晶モニター３１５又は電子ビューファインダー３１６に表示する、という動作を繰り返すための処理、すなわちライブビュー動作を行うための処理が行われる。そして、Ｓ１０４の処理中において静止画撮影指示が為されると、Ｓ１０５において、ＢＣＰＵ３２９は、静止画撮影動作処理を行う。この処理の詳細については、図３を用いて後述する。
【0047】
次に、Ｓ１０６において、ＢＣＰＵ３２９は、静止画撮影動作が終了したか否かを判定する。Ｓ１０６の判定結果がＮＯの場合はＳ１０６の判定を繰り返し、Ｓ１０６の判定結果がＹＥＳの場合は処理がＳ１１２へ進む。
【0048】
一方、Ｓ１０３の判定結果が動画撮影モードである場合、Ｓ１０７において、ＢＣＰＵ３２９は、動画撮影待機動作処理を行う。この処理では、Ｓ１０４の処理と同様に、ライブビュー動作を行うための処理が行われる。そして、Ｓ１０７の処理中において動画撮影開始指示が為されると、Ｓ１０８において、ＢＣＰＵ３２９は、動画撮影動作処理を行う。この処理では、動画撮影終了指示が為されるまで、設定されているシャッタースピードや露出等の撮影条件に従って被写体の動画を撮影し、記録メディア３１１に記録する、という動画撮影動作を行うための処理が行われる。
【0049】
次に、Ｓ１０９において、ＢＣＰＵ３２９は、動画撮影動作が終了したか否かを判定する。Ｓ１０９の判定結果がＮＯの場合はＳ１０９の判定を繰り返し、Ｓ１０９の判定結果がＹＥＳの場合は処理がＳ１１２へ進む。
【0050】
一方、Ｓ１０３の判定結果が再生モードである場合は、Ｓ１１０において、ＢＣＰＵ３２９は、再生モード動作処理を行う。この処理では、例えば、記録メディア３１１に記録されている画像データを液晶モニター３１５に表示する、という再生モード動作を行うための処理が行われる。
【0051】
次に、Ｓ１１１において、ＢＣＰＵ３２９は、再生モード動作が終了したか否かを判定する。Ｓ１１１の判定結果がＮＯの場合はＳ１１１の判定を繰り返し、Ｓ１１１の判定結果がＹＥＳの場合は処理がＳ１１２へ進む。
【0052】
Ｓ１１２において、ＢＣＰＵ３２９は、カメラ操作ＳＷ３２７の電源ＳＷがオフにされたか否かを判定する。Ｓ１１２の判定結果がＮｏの場合は、処理がＳ１０３へ戻る。一方、Ｓ１１２の判定結果がＹＥＳの場合、Ｓ１１３において、ＢＣＰＵ３２９は、終了処理を行う。この処理では、例えば、撮影レンズ３を初期位置に戻す等の動作を行うための処理が行われる。Ｓ１１３の処理が終了すると、図２に例示したメイン処理が終了する。
【0053】
図３は、静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。図４は、画像合成処理（Ｓ２１０）の具体例を模式的に示す図である。これらの図を参照しながら、静止画撮影動作処理（Ｓ１０５）について詳細に説明する。なお、本実施形態に係る静止画撮影動作処理（Ｓ１０５）では、光学式手ぶれ補正（レンズ側防振制御回路２０６等による防振用レンズの移動及び又はボディ側防振制御回路３２０等による撮像素子３０８の移動）を行わないものとする。
【0054】
図３に例示した静止画撮影動作処理（Ｓ１０５）では、まず、Ｓ２０１において、ＢＣＰＵ３２７は、初期化処理を行う。この処理では、ＳＤＲＡＭ３１２をクリアするバッファクリア処理等が行われる。
【0055】
次に、Ｓ２０２において、ＢＣＰＵ３２９は、静止画合成モードが設定されているか否かを判定する。Ｓ２０２の判定結果がＹＥＳの場合は処理がＳ２０３へ進み、静止画合成モードによる静止画撮影動作処理が行われる。一方、Ｓ２０２の判定結果がＮＯの場合は処理がＳ２１４へ進み、通常の静止画撮影動作処理が行われる。
【0056】
詳しくは、Ｓ２０２の判定結果がＹＥＳの場合、Ｓ２０３において、ＢＣＰＵ３２９は、合成枚数を算出する。合成枚数は、後述する画像合成処理（Ｓ２１０）において、合成画像の生成に用いられる画像の数である。合成枚数は、例えば、設定されている撮影時のシャッタースピードに基づいて算出される。この場合、合成枚数は、低速シャッター撮影時のシャッタースピードに相当する時間を、設定されている撮影時のシャッタースピードで除算することにより算出されてもよい。但し、この場合は、算出結果の値が小数点以下を含む場合があり、必ずしも整数値にはならない。そこで、算出結果の値が小数点以下を含む場合は、小数点以下を切り捨て、切り上げ、又は四捨五入する等して、算出結果の値が必ず整数値になるようにしてもよい。なお、低速シャッター撮影時のシャッタースピードに相当する時間は、予め決められた時間であってもよいし、メニュー画面から入力又は選択、設定されるものであってもよい。
【0057】
次に、Ｓ２０４において、ＢＣＰＵ３２９は、露出を設定する。詳しくは、静止画撮影待機動作処理（図２のＳ１０４）の処理中に撮像素子３０８から読み出された画像信号に基づいて検出された被写体輝度に基づいて、絞り２０７の駆動及び撮像感度の設定を行う。絞り２０７の駆動は、ＬＣＰＵ２１０が絞り駆動回路２０８を制御することによって行われる。撮像感度の設定は、撮像素子Ｉ／Ｆ回路３０９が撮像素子３０８を制御することによって行われる。
【0058】
次に、Ｓ２０５において、ＢＣＰＵ３２９は、静止画撮像駆動を開始し、Ｓ２０６において、撮像素子Ｉ／Ｆ回路３０９は、ＢＣＰＵ３２９の制御の下、撮像素子３０８から１フレーム分の画像信号を読み出して画像処理コントローラ３１０へ出力する。次に、Ｓ２０７において、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、Ｓ２０６で撮像素子３０８から読み出された１フレーム分の画像信号に応じた画像を、ＳＤＲＡＭ３１２に格納する、という画像バッファリングを行う。このときにＳＤＲＡＭ３１２に格納された画像を、以下、「バッファリング画像」とも称す。
【0059】
次に、Ｓ２０８において、ＢＣＰＵ３２９は、撮影終了か否か、詳しくはＳ２０３で算出された合成枚数分のバッファリング画像がＳＤＲＡＭ３１２に格納されたか否かを判定する。Ｓ２０８の判定結果がＮＯの場合は、処理がＳ２０６に戻る。一方、Ｓ２０８の判定結果がＹＥＳの場合、Ｓ２０９において、ＢＣＰＵ３２９は、静止画撮像駆動を終了する。
【0060】
次に、Ｓ２１０において、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、ＳＤＲＡＭ３１２に格納されている合成枚数分のバッファリング画像を合成することによって、低速シャッターで手ぶれを抑えて撮影した画像相当の合成画像を生成する、という画像合成処理を行う。例えば、図４に示したように、合成枚数分のバッファリング画像４０１を合成することにより、低速シャッターで手ぶれを抑えて撮影した画像相当の合成画像４０２を生成する。このような画像合成処理（Ｓ２１０）の詳細については、図５を用いて後述する。
【0061】
Ｓ２１０の後のＳ２１１乃至Ｓ２１３では、次のような処理が行われる。まず、Ｓ２１１において、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、Ｓ２１０で生成された合成画像に対し現像処理を施す。詳しくは、Ｓ２１０で生成された合成画像に対して、表示用に適した画像処理を施して表示用の合成画像を生成すると共に、記録用に適した画像処理を施して記録用の合成画像を生成する。次に、Ｓ２１２において、ＢＣＰＵ３２９は、Ｓ２１１で生成された表示用の合成画像を液晶モニター３１５又は電子ビューファインダー３１６に表示する、という画像表示を行う。次に、Ｓ２１３において、ＢＣＰＵ３２９は、Ｓ２１１で生成された記録用の合成画像を記録メディア３１１に記録する、という静止画記録を行う。そして、Ｓ２１３の処理が終了すると、図３に例示した静止画撮影動作処理（Ｓ１０５）が終了する。
【0062】
一方、Ｓ２０２の判定結果がＮＯの場合、Ｓ２１４乃至Ｓ２１７では、Ｓ２０４乃至Ｓ２０６及びＳ２０９と同様の処理が行われる。Ｓ２１７の後のＳ２１１乃至Ｓ２１３では、次のような処理が行われる。まず、Ｓ２１１において、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、Ｓ２１６で撮像素子３０８から読み出された１フレーム分の画像信号に応じた画像に対し現像処理を施す。詳しくは、その画像に対して、表示用に適した画像処理を施して表示用の画像を生成すると共に、記録用に適した画像処理を施して記録用の画像を生成する。次に、Ｓ２１２において、ＢＣＰＵ３２９は、Ｓ２１１で生成された表示用の画像を液晶モニター３１５又は電子ビューファインダー３１６に表示する、という画像表示を行う。次に、Ｓ２１３において、ＢＣＰＵ３２９は、Ｓ２１１で生成された記録用の画像を記録メディア３１１に記録する、という静止画記録を行う。そして、Ｓ２１３の処理が終了すると、図３に例示した静止画撮影動作処理（Ｓ１０５）が終了する。
【0063】
図５は、画像合成処理（Ｓ２１０）の流れを例示するフローチャートである。図６は、第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。図７は、動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。図８は、別の動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。図９は、画像合成処理（Ｓ３０５）の流れを例示するフローチャートである。図１０は、局所領域、第１動きベクトル、第２動きベクトル、及び第３動きベクトルを例示する図である。図１１は、第１動きベクトル、第２動きベクトル、及び第３動きベクトルのスコープを例示する図である。これらの図を参照しながら、画像合成処理（Ｓ２１０）について詳細に説明する。なお、ここでは、ＳＤＲＡＭ３１２に格納されている合成枚数分のバッファリング画像をＮ個のバッファリング画像（１フレーム目からＮフレーム目までのＮ個のバッファリング画像）とする。
【0064】
図５に例示した画像合成処理（Ｓ２１０）では、はじめに、１フレーム目のバッファリング画像を基準画像とし、２フレーム目のバッファリング画像を参照画像として、Ｓ３０１乃至Ｓ３０５の処理が行われて両画像の画像合成が行われ、１番目の合成画像が保存される。次に、１フレーム目のバッファリング画像を基準画像とし、３フレーム目のバッファリング画像を参照画像として、Ｓ３０１乃至Ｓ３０４の処理が行われて動きベクトルが算出、選択される。そして、選択された動きベクトルに基づいてＳ３０５の処理が行われて１番目の合成画像と３フレーム目のバッファリング画像である参照画像の画像合成が行われる。以降、Ｎフレーム目のバッファリング画像を参照画像として動きベクトルの算出、選択と（Ｎ－１）番目の合成画像とＮフレーム目のバッファリング画像（参照画像）の画像合成が行われるまで、同様の処理が繰り返される。すなわち、図５に例示した画像合成処理は、基準画像を固定し参照画像とする画像を変更しながら、Ｎフレーム目のバッファリング画像を参照画像として動きベクトルを算出、選択し画像合成するまで、Ｓ３０１乃至Ｓ３０５の処理（基準画像と参照画像に基づく動きベクトルの算出、選択と選択された動きベクトルに基づく画像合成）を繰り返す処理である。なお、この例では１フレーム目のバッファリング画像を基準画像としたが、１フレーム目のバッファリング画像に限らず、２フレーム目やＮフレーム目のバッファリング画像を基準画像としてもよい。
【0065】
詳しくは、まず、Ｓ３０１において、画像処理コントローラ３１０は、基準画像と参照画像の画像間の動きベクトルを、テンプレートマッチング法等を用いて第１動きベクトルとして算出する。例えば、図１０に示したように、基準画像４１１に設定された複数（この例では２０個）の局所領域４１１ａの各々をテンプレートとして、各テンプレートに最も類似する参照画像４１２の局所領域４１２ａを探索することにより、各局所領域４１１ａの第１動きベクトル４１１ｂを算出する。
【0066】
このときの動きベクトルの算出には、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、又はＰＯＣ（Ｐｈａｓｅ－Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ）といった手法を用いることができる。ＳＡＤは、２つの画像間の画素値差分の絶対値の和が最小となる位置を動きベクトルとする手法である。ＮＣＣは、２つの画像間の正規化相互相関（とり得る値は－１～１）が１に最も近くなる位置を動きベクトルとする手法である。ＰＯＣは、２つの画像間の位相相関が最大となる位置を動きベクトルとする手法である。
【0067】
このような動きベクトルの算出では、２つの画像が全く同じであり位置的な変化が加わったのみであれば正確な動きベクトルの算出が可能であるが、一般には撮像ノイズや経時的な被写体の変化（例えば、羽ばたきながら飛んでいる鳥）等が存在し、２つの画像が全く同じにはならない。このように完全一致しない２つの画像を比較することになるため、動きベクトルを算出する際には、動きベクトルがどの程度正しく得られているかを示す指標として信頼度を取得する。信頼度は、動きベクトルの算出方法に応じた値である。例えば、ＳＡＤを用いて動きベクトルを算出する場合は、２つの画像間の画素値差分の絶対値の和の最小値が信頼度を表し、その最小値が閾値よりも小さければ信頼度が高く、閾値よりも大きければ信頼度が低いとなる。ＮＣＣを用いて動きベクトルを算出する場合は、２つの画像間の正規化相互相関が信頼度を表し、その相関値が閾値よりも大きければ信頼度が高く、閾値よりも小さければ信頼度が低いとなる。ＰＯＣを用いて動きベクトルを算出する場合は、２つの画像間の位相相関が信頼度を表し、その相関値が閾値よりも大きければ信頼度が高く、閾値よりも小さければ信頼度が低いとなる。
【0068】
第１動きベクトルの算出（図５のＳ３０１）が終了すると、Ｓ３０２において、画像処理コントローラ３１０は、第２動きベクトルを算出する。ここで、第２動きベクトル算出処理（Ｓ３０２）の詳細を、図６を用いて説明する。
【0069】
図６に例示した第２動きベクトル算出処理（Ｓ３０２）では、まず、Ｓ４０１において、画像処理コントローラ３１０は、後述の具体例に示すように、図５のＳ３０１で算出した第１動きベクトルを解析し、最尤推定等によってカメラ１００の姿勢変化を算出する。
【0070】
次に、Ｓ４０２及びＳ４０３において、画像処理コントローラ３１０は、基準画像の各局所領域の第２動きベクトルを算出する。詳しくは、Ｓ４０２において、画像処理コントローラ３１０は、基準画像において処理対象とされていない局所領域を処理対象として、後述の具体例に示すように、その処理対象局所領域の第２動きベクトルを算出する。次に、Ｓ４０３において、画像処理コントローラ３１０は、全ての局所領域の第２動きベクトルを算出したか否かを判定する。Ｓ４０３の判定結果がＮＯの場合は、処理がＳ４０２に戻る。一方、Ｓ４０３の判定結果がＹＥＳの場合は、図６に例示した第２動きベクトル算出処理が終了する。これにより、例えば、図１０に示したように、基準画像４１１の各局所領域４１１ａの第２動きベクトル４１１ｃが算出される。
【0071】
ここで、第２動きベクトル算出処理（Ｓ３０２）の具体例として、２つの具体例を説明する。１つは、カメラ１００の姿勢変化としてシフトぶれ（Ｘ方向、Ｙ方向）と回転ぶれ（ロール方向のぶれ）を考慮する場合の具体例であり、もう一つは、カメラ１００の姿勢変化が大きく且つ角度ぶれ（ピッチ方向、ヨー方向のぶれ）や光学系の歪みを考慮する場合の具体例である。
【0072】
＜カメラ１００の姿勢変化としてシフトぶれと回転ぶれを考慮する場合＞
この場合は、第１動きベクトルをＡｘｙとし、第１動きベクトルの基準座標を
とすると、基準画像の
における画像パターンと、参照画像の
における画像パターンとが一致する。
この場合は、第１動きベクトルをＡｘｙとし、第１動きベクトルの基準座標を
【数1】
【数2】
【数3】
【0073】
カメラ１００の姿勢変化は、未知のパラメータ（ｔｘ、ｔｙ、θ）を用いて、次の演算子として表せる。
なお、ｔｘ、ｔｙは、シフトぶれに対応するパラメータであり、θは、回転に対応するパラメータである。
【数4】
【0074】
この姿勢変化に従って画像全体が動いたと仮定すると、基準画像と参照画像の座標は、次の関係式で結ばれる。
【数5】
【0075】
しかしながら、様々な要因によって第１動きベクトルにばらつきがあるため、この関係式は完全には成り立たない。つまり、誤差をεとすると、この関係式は、次のように表せる。
【数6】
【0076】
そして、次の式に表す誤差の総和（二乗和χ２）が最小となるように姿勢変化を求めることで、画像の大域的な動きを判断できる。
【数7】
【0077】
この場合、姿勢変化が充分に小さいと仮定すれば、解析的にＲを決定可能である。よって、得られたＲを用いることで、第２動きベクトルＢｘｙを次の式により算出できる。
【数8】
【0078】
＜カメラ１００の姿勢変化が大きく且つ角度ぶれや光学系の歪みを考慮する場合＞
この場合、カメラ１００の姿勢変化は、未知のパラメータ（ψ、φ、θ）を用いて、次の演算子として表せる。
なお、ψ、φは、角度ぶれに対応するパラメータであり、θは、回転に対応するパラメータである。
また、光学的な歪みをＤｘｙとする。
この場合、カメラ１００の姿勢変化は、未知のパラメータ（ψ、φ、θ）を用いて、次の演算子として表せる。
【数9】
また、光学的な歪みをＤｘｙとする。
【0079】
このとき、基準画像と参照画像の座標は次の関係式で結ばれる。
なお、ｆは、焦点距離を表す。
【数10】
【0080】
そして、上述の場合と同様に、次の式に表す誤差の総和（二乗和χ２）が最小となるように姿勢変化を求めるとこで、画像の大域的な動きを判断できる。
【数11】
【0081】
但し、この場合は、非線形演算が含まれており、解析的には解けないため、数値計算によってＲを求める。そして、求めた姿勢変化のパラメータを用いて、第２動きベクトルＢｘｙを次の式により算出する。
この式は同次座標の表現となっているため、ｆ＝１として正規化することで２次元の動きベクトルの成分が得られる。
【数12】
【0082】
このようにして得られた第２動きベクトルは、大域的な動きを表しているものの、一般のグローバル動きベクトルとは異なる。例えば、画像に歪みがある場合や回転ぶれが発生している場合、第２動きベクトルは、画像全体で一様な動きベクトルとはならず、領域毎又は一部の領域で異なる動きベクトルが得られる。なお、第２動きベクトルは、必ずしもあらゆる影響を考慮して算出したものではなく推定値であるため、適切にマッチングできている領域に関しては第１動きベクトルの方が高精度となり、適切にマッチングできていない領域に関しては第２動きベクトルの方が高精度となる。
【0083】
第２動きベクトルの算出（図５のＳ３０２）が終了すると、Ｓ３０３において、画像処理コントローラ３１０は、第３動きベクトルを算出する。より詳しくは、各局所領域の第３動きベクトルを、周囲（又は周辺）の局所領域の第１動きベクトル（第１動きベクトルの周辺に位置する複数の第１動きベクトルでもある）に基づいて算出する。例えば、周囲８個（上、下、右、左、右斜め上、右斜め下、左斜め上、左斜め下）の局所領域の第１動きベクトルの統計値（平均値や最頻値等）を、第３動きベクトルとして算出してもよい。あるいは、撮影対象の物体の形状等を検出し、同じ物体の領域に含まれる局所領域の第１動きベクトルに限定して統計値を得るようにしてもよい。これにより、例えば、図１０に示したように、周囲の局所領域４１１ａについての第１動きベクトル４１１ｂに基づいて、各局所領域４１１ａの第３動きベクトル４１１ｄが算出される。
【0084】
なお、このような第３動きベクトルの算出は、撮影対象の物体がある程度の大きさを有し、被写体距離が急峻に変化しないことを仮定すると、周囲の動きベクトル（第１動きベクトル）から適切な動きベクトル（第３動きベクトル）を算出することが可能であるという前提に基づいている。
【0085】
奥行きのある被写体等では、カメラ１００の姿勢変化に基づく第２動きベクトルの推定が適切な結果を得ない領域が生じる場合がある。例えば、同じ姿勢変化でも、被写体距離が異なると、視差によって第１動きベクトルが異なってしまう。そのような領域に対しては、第３動きベクトルが最も高精度となる。
【0086】
このようにして図５のＳ３０１乃至Ｓ３０３で算出される第１動きベクトル、第２動きベクトル、及び第３動きベクトルは、そのスコープ（注目する画像領域の範囲）が異なると解釈できる。これらのスコープを図１１に例示する。図１１では、左側に第１動きベクトルのスコープ４２１ｂを例示し、中央に第２動きベクトルのスコープ４２１ｃを例示し、右側に第３動きベクトルのスコープ４２１ｄを例示する。なお、図１１では、基準画像４２１に８８（＝８×１１）個の局所領域４２１ａが設定されているものとする。各局所領域４２１ａは、各動きベクトルの算出位置に対応する。
【0087】
図１１に例示したように、第１動きベクトルは、最も狭い領域（例えばスコープ４２１ｂ）に注目した動きを表していると解釈できる。第２動きベクトルは、最も広い領域（画像全体）（例えばスコープ４２１ｃ）に注目した動きを表していると解釈できる。第３動きベクトルは、第１動きベクトルと第２動きベクトルの中間的な広さの領域（例えばスコープ４２１ｄ）に注目した動きを表していると解釈できる。
【0088】
画像中には様々な要素によるぶれが混在しているため、領域によって適したスコープの大きさが異なる。そこで、スコープを適応的に選択すること（後述する動きベクトルの選択）で効果的にぶれを抑えることが可能となる。また、被写体によっても最適なスコープは異なるため、被写体に応じてスコープを変更することも考えられる。例えば、細かい（複雑な）構造の被写体が撮影される場合にはスコープを小さくし、逆に、細かくない（単純な）構造の被写体が撮影される場合にはスコープを広げるようにしてもよい。
【0089】
第３動きベクトルの算出（図５のＳ３０３）が終了すると、Ｓ３０４において、画像処理コントローラ３１０は、局所領域毎に、Ｓ３０１乃至Ｓ３０３で算出した第１動きベクトル、第２動きベクトル、及び第３動きベクトルの何れか一つの動きベクトルを選択する。
【0090】
動きベクトルの選択は、例えば、次のような観点に基づいて行うことができる。
（１）第１動きベクトルの信頼度が高く、周囲の第１動きベクトルと比較して静止領域であると判断できれば、第１動きベクトルを選択する。このような部分は、静止被写体であってマッチングできている部分と考えることができる。
（２）第１動きベクトルの信頼度が高くても、周囲の第１動きベクトルと比較して動体領域の可能性があれば、第２動きベクトルを選択する。このような部分は、マッチングできている部分であるが動体被写体に影響されている部分と考えることができる。
（３）第１動きベクトルの信頼度が低くても、周囲の第１動きベクトルが第２動きベクトルに類似していれば、第２動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であるが、静止被写体の部分と考えることができる。
（４）第１動きベクトルの信頼度が低く、周囲の第１動きベクトルが第２動きベクトルと大きくずれていれば、第３動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であるが、並進ぶれ等の影響によって通常の静止被写体とは動きが異なる部分と考えることができる。
（１）第１動きベクトルの信頼度が高く、周囲の第１動きベクトルと比較して静止領域であると判断できれば、第１動きベクトルを選択する。このような部分は、静止被写体であってマッチングできている部分と考えることができる。
（２）第１動きベクトルの信頼度が高くても、周囲の第１動きベクトルと比較して動体領域の可能性があれば、第２動きベクトルを選択する。このような部分は、マッチングできている部分であるが動体被写体に影響されている部分と考えることができる。
（３）第１動きベクトルの信頼度が低くても、周囲の第１動きベクトルが第２動きベクトルに類似していれば、第２動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であるが、静止被写体の部分と考えることができる。
（４）第１動きベクトルの信頼度が低く、周囲の第１動きベクトルが第２動きベクトルと大きくずれていれば、第３動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であるが、並進ぶれ等の影響によって通常の静止被写体とは動きが異なる部分と考えることができる。
【0091】
なお、上記（１）、（２）に関し、静止被写体で正しくマッチングできていれば、第１動きベクトルと第２動きベクトルはおよそ一致する。一致していない場合は、動体被写体である可能性が高い。よって、第１動きベクトルと第２動きベクトルとの差分（｜第１動きベクトル－第２動きベクトル｜）Ａが閾値Ａ（第１閾値の一例）を超えている場合は、動体被写体と判断することができる。ここで、閾値Ａは、マッチングの精度や推定の精度から実施環境に合わせて決めることができる。例えば、第２動きベクトルの推定精度が高いほど閾値Ａを小さくする、といった具合に閾値Ａを決めることができる。
【0092】
また、上記（３）、（４）に関し、第３動きベクトルは、周囲の第１動きベクトルの統計値（例えば平均値）として得られるので、上述の”周囲の第１動きベクトル”を表す指標の一つとみなせる。よって、第２動きベクトルと第３動きベクトルの差分（｜第３動きベクトル－第２動きベクトル｜）Ｂを判断条件とし、その差分Ｂが閾値Ｂ（第３閾値の一例）を超えている場合には、（４）に従って第３動きベクトルを選択する。
【0093】
【0094】
まず、Ｓ５０１において、画像処理コントローラ３１０は、処理対象とされていない局所領域を処理対象として、その処理対象局所領域の第１動きベクトルが高信頼度であるか否かを判定する。この判定は、例えば、上述の第１動きベクトル算出処理（Ｓ３０１）の説明の際に述べた閾値を用いて行うことができる。
【0095】
Ｓ５０１の判定結果がＹＥＳの場合、Ｓ５０２において、画像処理コントローラ３１０は、処理対象局所領域における第１動きベクトルと第２動きベクトルとの差分（｜第１動きベクトル－第２動きベクトル｜）Ａを算出する。
【0096】
次に、Ｓ５０３において、画像処理コントローラ３１０は、差分Ａ＞閾値Ａであるか否かを判定する。Ｓ５０３の判定結果がＮＯの場合、Ｓ５０４において、画像処理コントローラ３１０は、第１動きベクトルを選択する。この場合は、上述の観点の（１）の場合でもある。一方、Ｓ５０３の判定結果がＹＥＳの場合、Ｓ５０５において、画像処理コントローラ３１０は、第２動きベクトルを選択する。この場合は、上述の観点の（２）の場合でもある。
【0097】
一方、Ｓ５０１の判定結果がＮＯの場合、Ｓ５０６において、画像処理コントローラ３１０は、処理対象局所領域における第２動きベクトルと第３動きベクトルとの差分（｜第３動きベクトル－第２動きベクトル｜）Ｂを算出する。
【0098】
次に、Ｓ５０７において、画像処理コントローラ３１０は、差分Ｂ＞閾値Ｂであるか否かを判定する。Ｓ５０７の判定結果がＮＯの場合、Ｓ５０８において、画像処理コントローラ３１０は、第２動きベクトルを選択する。この場合は、上述の観点の（３）の場合でもある。一方、Ｓ５０７の判定結果がＹＥＳの場合、Ｓ５０９において、画像処理コントローラ３１０は、第３動きベクトルを選択する。この場合は、上述の観点の（４）の場合でもある。
【0099】
Ｓ５０４、Ｓ５０５、Ｓ５０８、又はＳ５０９が終了すると、Ｓ５１０において、画像処理コントローラ３１０は、全ての局所領域の動きベクトルの選択が終了したか否かを判定する。Ｓ５１０の判定結果がＮＯの場合は、処理がＳ５０１に戻る。一方、Ｓ５１０の判定結果がＹＥＳの場合は、図７に例示した動きベクトル選択処理（Ｓ３０４）が終了する。
【0100】
なお、上述の観点に加えて、第１動きベクトルの信頼度が高くない場合の動きベクトルの選択に、第２動きベクトルとその周辺の第１動きベクトルとの偏差や分散等のばらつき（第２動きベクトルの周辺に位置する複数の第１動きベクトルのばらつきでもある）を表す量を指標とすることも有効である。この場合、ばらつきが閾値Ｃ（第２閾値の一例）よりも大きければ（例えば、分散≡Σ（周辺の第１動きベクトル－第２動きベクトル）２＞閾値Ｃであれば）、周辺の第１動きベクトルが別々の方向を向いていると判断することができる。第３動きベクトルは、中程度の領域の動きを表しているものの、第１動きベクトルのばらつきが大きい場合には意味をなさないため、その場合は第２動きベクトルを選択する。なお、平面の静止被写体を撮影して、第３動きベクトルを算出する際の範囲で第１動きベクトルがどの程度ばらつくかを測定し、その測定値を閾値Ｃとしてもよい。例えば、歪の大きいレンズを用いて撮影した場合は、一部の範囲で第１動きベクトルの向き、大きさの違いが大きくなるので、閾値Ｃを大きくする等してもよい。
【0101】
このような観点に基づく動きベクトル選択処理（Ｓ３０４）の詳細を、図８を用いて説明する。図８に例示した動きベクトル選択処理（Ｓ３０４）は、図７に例示した動きベクトル選択処理（Ｓ３０４）において、Ｓ５０１の判定結果がＮＯである場合の処理に、Ｓ６０１及びＳ６０２の処理が新たに追加されたものである。
【0102】
詳しくは、Ｓ５０１の判定結果がＮＯの場合に、Ｓ６０１において、画像処理コントローラ３１０は、処理対象局所領域の第２動きベクトルとその周辺の第１動きベクトルとの偏差や分散等のばらつきを算出する。例えば、分散のばらつきは、分散≡Σ（周辺の第１動きベクトル－第２動きベクトル）２である。
【0103】
次に、Ｓ６０２において、画像処理コントローラ３１０は、ばらつき＞閾値Ｃであるか否かを判定する。Ｓ６０２の判定結果がＹＥＳの場合は、処理がＳ５０８へ進む。この場合は、第２動きベクトルが選択されることになる。一方、Ｓ６０２の判定結果がＮＯの場合は、処理がＳ５０６へ進む。その他の処理については、図７に例示した動きベクトル選択処理（Ｓ３０４）と同様である。
【0104】
なお、図５の３０１乃至Ｓ３０３で算出される第１動きベクトル、第２動きベクトル、及び第３動きベクトルは、特性の異なる複数種類の局所的な動きベクトルの一例である。また、動きベクトル選択処理（Ｓ３０４）は、特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する処理の一例である。ここで、特性の異なる複数種類の局所的な動きベクトルの信頼度とは、第１動きベクトルの信頼度に限らず、例えば、第１動きベクトルと第２動きベクトルとの差分Ａや、第２動きベクトルと第３動きベクトルとの差分Ｂや、第２動きベクトルとその周辺の第１動きベクトルとの偏差や分散等のばらつきを表す量も含まれる。
【0105】
動きベクトル選択処理（図５のＳ３０４）が終了すると、Ｓ３０５において、画像処理コントローラ３１０は、ＢＣＰＵ３２９の制御の下、Ｓ３０４で選択された動きベクトルに基づいて、基準画像と参照画像を画像合成する。ここで、この画像合成処理（Ｓ３０５）の詳細を、図９を用いて説明する。
【0106】
図９に例示した画像合成処理（Ｓ３０５）では、基準画像の各画素に対してＳ７０１乃至Ｓ７０４の処理が行われることで画像合成が行われる。詳しくは、まず、Ｓ７０１において、画像処理コントローラ３１０は、基準画像において処理対象とされていない画素を処理対象画素として、その処理対象画素の座標値（ｘ，ｙ）を取得する。
【0107】
Ｓ７０２において、画像処理コントローラ３１０は、処理対象画素の位置の動きベクトルを取得する。詳しくは、処理対象画素の位置の動きベクトルが、動きベクトル選択処理（図５のＳ３０４）で選択された動きベクトルの中に含まれている場合には、その動きベクトルを取得する。すなわち、処理対象画素が局所領域の何れかに含まれている場合には、その局所領域において選択された動きベクトルを取得する。一方、処理対象画素の位置の動きベクトルが、動きベクトル選択処理で選択された動きベクトルの中に含まれていない場合には、動きベクトル選択処理で選択された動きベクトルのうちの、処理対象画素の位置の周辺の複数の動きベクトルを用いて補間演算を行うことで、処理対象画素の位置の動きベクトルを算出し、取得する。すなわち、処理対象画素が局所領域の何れにも含まれていない場合には、処理対象画素周辺の局所領域において選択された動きベクトルを用いて補間演算を行うことで、処理対象画素の位置の動きベクトルを算出し、取得する。
【0108】
なお、処理対象画素の位置の動きベクトルが、動きベクトル選択処理で選択された動きベクトルの中に含まれていたり、含まれていなかったりする理由は、動きベクトル選択処理で選択される動きベクトルが、例えば処理の軽減を目的として、図１０に示したように離散的に算出されているからである。仮に、全画素について動きベクトルが算出されるようにしておけば、処理対象画素の位置の動きベクトルを、単に、動きベクトル選択処理で選択された動きベクトルの中から取得すればよいことになる。
【0109】
このようにして処理対象画素の位置の動きベクトルが取得されると、Ｓ７０３において、画像処理コントローラ３１０は、Ｓ７０１で取得した処理対象画素の座標に対して、Ｓ７０２で取得した動きベクトルの分だけ移動した先の参照画像の画素値を取得する。
【0110】
次に、Ｓ７０４において、画像処理コントローラ３１０は、Ｓ７０３で取得した画素値を、処理対象画素の画素値に加算する。これにより、処理対象画素についての合成画像の画素値が得られる。
【0111】
次に、Ｓ７０５において、画像処理コントローラ３１０は、基準画像の全画素に対して処理が終了したか否かを判定する。Ｓ７０５の判定結果がＮＯの場合は、処理がＳ７０１に戻る。一方、Ｓ７０５の判定結果がＹＥＳの場合は、図９に例示した画像合成処理（Ｓ３０５）が終了する。このような画像合成処理（S３０５）により、基準画像と参照画像の合成画像が生成される。
【0112】
なお、上述の画像合成処理（Ｓ３０５）では、画像の合成方法として加算合成を採用することで、低速シャッターで撮影した画像相当の画像（低速シャッターで露出を稼くような効果）が得られるようにしたが、実現したい効果等によって、他の合成方法を採用することも可能である。例えば、画像の合成方法として加算平均合成を採用することで、露出を抑えつつ露光期間を延ばすような効果が得られるようにしてもよい。また、画像の合成方法として比較明合成を採用することで、高輝度の動体の動きを残すような効果が得られるようにしてもよい。また、画像の合成方法として比較暗合成を採用することで、高輝度の動体の動きを消すような効果が得られるようにしてもよい。また、画像の合成方法としてストロボモーション合成を採用することで、コマ撮りした被写体の動きを１コマに表現するような効果が得られるようにしてもよい。また、画像の合成方法として、高解像化（例えばハイレゾ）、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）、ノイズ低減、又は深度合成等の合成方法を採用することも可能である。
【0113】
画像合成処理（図５のＳ３０５）が終了すると、Ｓ３０６において、画像処理コントローラ３１０は、合成が終了したか否か（Ｎフレーム目のバッファリング画像までの画像合成が終了したか否か）を判定する。Ｓ３０５の判定結果がＮＯの場合は、処理がＳ３０１に戻る。一方、Ｓ３０５の判定結果がＹＥＳの場合は、図５に例示した画像合成処理（Ｓ２１０）が終了する。
【0114】
なお、画像処理コントローラ３１０は、このような図５に例示した画像合成処理（Ｓ２１０）を行うことから、複数の画像に基づいて特性の異なる複数種類の局所的な動きベクトルを算出する算出部と、その算出部により算出された特性の異なる複数種類の局所的な動きベクトルの信頼度に基づいて、その特性の異なる複数種類の局所的な動きベクトルのうちから動きベクトルを選択する選択部と、選択部により選択された動きベクトルに基づいて複数の画像を合成する合成部とを備えたものでもある。図５に例示した画像合成処理（Ｓ２１０）において、例えば、算出部はＳ３０１乃至Ｓ３０３の処理を行い、選択部はＳ３０４の処理を行い、合成部はＳ３０５の処理を行う。算出部、選択部、及び合成部は、例えば、画像処理コントローラ３１０のプロセッサがプログラムを実行することにより（所謂ソフトウェアにより）実現されてもよいし、回路等のハードウェアにより実現されてもよい。
【0115】
以上のように本実施形態によれば、スコープが異なる第１動きベクトル、第２動きベクトル、及び第３動きベクトルを算出し、適応的に動きベクトルを選択して画像合成を行うことで、低速シャッターで手ぶれを抑えて撮影した画像相当の画像を安定した精度で得ることができる。
【0116】
＜第２の実施形態＞
第２の実施形態は、図２に例示した静止画撮影動作処理（Ｓ１０５）において、更に、光学式手ぶれ補正を行うようにしたものである。
第２の実施形態は、図２に例示した静止画撮影動作処理（Ｓ１０５）において、更に、光学式手ぶれ補正を行うようにしたものである。
【0117】
図１２は、第２の実施形態に係る静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。図１２に例示した静止画撮影動作処理（Ｓ１０５）は、図３に例示した第１の実施形態に係る静止画撮影動作処理（Ｓ１０５）に対して、次の点が異なる。
【0118】
図１２に例示した静止画撮影動作処理（Ｓ１０５）では、Ｓ２０４（露出設定）とＳ２０５（静止画撮像駆動開始）の間のＳ８０１において、ＢＣＰＵ３２９は、光学式手ぶれ補正駆動を開始する。そして、Ｓ２０９（静止画撮像駆動終了）とＳ２１０（画像合成処理）の間のＳ８０２において、ＢＣＰＵ３２９は、その光学式手ぶれ補正駆動を終了する。また、Ｓ２１４（露出設定）とＳ２１５（静止画撮像駆動開始）の間のＳ８０３において、ＢＣＰＵ３２９は、光学式手ぶれ補正駆動を開始する。そして、Ｓ２１７（静止画撮像駆動終了）とＳ２１１（現像処理）の間のＳ８０４において、ＢＣＰＵ３２９は、その光学式手ぶれ補正駆動を終了する。なお、光学式手ぶれ補正駆動とは、レンズ側防振制御回路２０６等による防振用レンズの移動及び又はボディ側防振制御回路３２０等による撮像素子３０８の移動のことである。
【0119】
また、図１２に例示した静止画撮影動作処理（Ｓ１０５）において、画像合成処理（Ｓ２１０）では、第２動きベクトルの算出方法が第１の実施形態と異なる。その理由は、第１動きベクトルが光学式手ぶれ補正により補正しなかった手ぶれに対応していることから、カメラ１００の真の姿勢変化は、光学式手ぶれ補正による補正量を考慮して算出する必要があるからである。具体的には、補正量を動きベクトルに換算し、それを第１動きベクトルに加えた上で、カメラ１００の姿勢変化を推定する。そして、カメラ１００の姿勢変化から第２動きベクトルを算出する際は、補正量を動きベクトルに換算したものをカメラ１００の姿勢変化から差し引いて第２動きベクトルを算出する。なお、補正量は、例えば、レンズ側防振制御回路２０６及び又はボディ側防振制御回路３２０の出力に対応し、装置ぶれ補正量の一例である。レンズ側防振制御回路２０６及び又はボディ側防振制御回路３２０は、装置ぶれ補正量を出力する装置ぶれ補正部又は装置ぶれ補正回路の一例である。
【0120】
第２の実施形態では、第２動きベクトルを算出する際に、例えば、カメラ１００の姿勢変化としてシフトぶれと回転ぶれを考慮する場合は、次のようにして第２動きベクトルを算出することができる。
【0121】
手ぶれ補正によるカメラ１００の姿勢変化は、未知のパラメータ（Ｔｘ、Ｔｙ、Θ）を用いて、次の演算子として表せる。
なお、Ｔｘ、Ｔｙは、手振れ補正によるシフトぶれに対応するパラメータであり、Θは、手振れ補正による回転に対応するパラメータである。
【数13】
【0122】
基準画像と参照画像の座標は、次の関係式で結ばれる。
【数14】
【0123】
この関係式に基づいて、第１の実施形態と同様に、姿勢変化Ｒを算出することで、第２動きベクトルＢｘｙを次の式により算出できる。
【数15】
【0124】
以上のように第２の実施形態によれば、さらに光学式手ぶれ補正を行うようにしたことで、手ぶれ補正性能をより向上させることができる。また、光学式手ぶれ補正によりある程度の手ぶれを抑えることができるので、シャッタースピードの選択をより柔軟にすることができる。
【0125】
＜第３の実施形態＞
第３の実施形態は、第２動きベクトルを推定（算出）する際に、Ｇセンサ（加速度センサ）やジャイロセンサ等のセンサの出力を補助情報として用いるようにしたものである。第１の実施形態では、第１動きベクトルのみによる第２動きベクトルの推定が行われていたことから、例えば、動体被写体の領域で算出された第１動きベクトルが含まれるような場合に、第２動きベクトルの推定結果がずれる（即ち推定精度が下がる）可能性がある。そこで、第３の実施形態では、センサの出力を補助情報として用いて第２動きベクトルを推定することで、その推定精度を上げるようにした。
第３の実施形態は、第２動きベクトルを推定（算出）する際に、Ｇセンサ（加速度センサ）やジャイロセンサ等のセンサの出力を補助情報として用いるようにしたものである。第１の実施形態では、第１動きベクトルのみによる第２動きベクトルの推定が行われていたことから、例えば、動体被写体の領域で算出された第１動きベクトルが含まれるような場合に、第２動きベクトルの推定結果がずれる（即ち推定精度が下がる）可能性がある。そこで、第３の実施形態では、センサの出力を補助情報として用いて第２動きベクトルを推定することで、その推定精度を上げるようにした。
【0126】
図１３は、第３の実施形態に係る静止画撮影動作処理（Ｓ１０５）の流れを例示するフローチャートである。図１３に例示した静止画撮影動作処理（Ｓ１０５）は、図３に例示した第１の実施形態に係る静止画撮影動作処理（Ｓ１０５）に対して、次の点が異なる。
【0127】
図１３に例示した静止画撮影動作処理（Ｓ１０５）では、Ｓ２０６（画像読み出し）とＳ２０７（画像バッファリング）の間のＳ９０１において、ＢＣＰＵ３２９は、カメラ姿勢取得を行う。詳しくは、ＢＣＰＵ３２９は、カメラ姿勢として、レンズ側姿勢変化検出部２０５及び又はボディ側姿勢変化検出部３１９の出力（検出結果）を取得する。レンズ側姿勢変化検出部２０５の出力は、レンズ側Ｙ方向Ｇセンサ２０５１、レンズ側Ｘ方向Ｇセンサ２０５２、レンズ側ピッチジャイロセンサ２０５３、レンズ側ヨージャイロセンサ２０５４、及びレンズ側ロールジャイロセンサ２０５５の出力（検出結果）を含む。ボディ側姿勢変化検出部３１９の出力は、ボディ側Ｙ方向Ｇセンサ３１９１、ボディ側Ｘ方向Ｇセンサ３１９２、ボディ側ピッチジャイロセンサ３１９３、ボディ側ヨージャイロセンサ３１９４、及びボディ側ロールジャイロセンサ３１９５の出力（検出結果）を含む。Ｓ９０１で取得されたカメラ姿勢は、例えば、Ｓ２０７でＳＤＲＡＭ３１２に格納されるバッファリング画像に関連付けられてＳＤＲＡＭ３１２に格納される。
【0128】
また、図１３に例示した静止画撮影動作処理（Ｓ１０５）において、画像合成処理（Ｓ２１０）では、当該処理に含まれる第２動きベクトル算出処理（Ｓ３０２）が第１の実施形態と異なる。図１４は、第３の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。
【0129】
図１４に例示した第２動きベクトル算出処理では、まず、各局所領域に対し、Ｓ１００１乃至Ｓ１００３の処理が行われる。詳しくは、Ｓ１００１において、画像処理コントローラ３１０は、処理対象とされていない局所領域を処理対象として、処理対象局所領域の仮動きベクトルを算出する。この算出は、次のようにして行う。まず、補助情報を用いない場合（第１の実施形態の場合）と同様に、カメラ１００の姿勢変化による座標移動を定式化する。カメラ１００の姿勢変化としてシフトぶれと回転ぶれを考慮する場合は、第１の実施形態で説明したとおり、次の式となる。
【数16】
【0130】
第３の実施形態では、Ｇセンサ及びジャイロセンサの出力（例えばボディ側姿勢変化検出部３１９の出力）によりｔｘ、ｔｙ、θが得られており、Ｒを決定できることから、次の式により仮動きベクトルＢ´ｘｙを算出できる。
「仮」としている理由は、センサ出力が誤差を持ち得るため、この式で得られる動きベクトルは、真の第２動きベクトルに対してずれがあると考えられるからである。
【数17】
【0131】
次に、Ｓ１００２において、画像処理コントローラ３１０は、処理対象局所領域の第１動きベクトルと仮動きベクトルとの差分を算出する。次に、Ｓ１００３において、画像処理コントローラ３１０は、後述のカメラ姿勢推定（Ｓ１００５）で用いる第１動きベクトルを選別する。この選別では、Ｓ１００２で算出された差分が閾値よりも大きい場合は、当該処理対象局所領域の第１動きベクトルを除外し、その差分が閾値以下の場合は、当該処理対象局所領域の第１動きベクトルを採用する。
【0132】
次に、Ｓ１００４において、画像処理コントローラ３１０は、全ての局所領域に対する処理（選別）が終了したか否かを判定する。Ｓ１００４の判定結果がＮＯの場合は、処理がＳ１００１に戻る。
【0133】
一方、Ｓ１００４の判定結果がＹＥＳの場合、Ｓ１００５において、画像処理コントローラ３１０は、Ｓ１００３での選別により採用された第１動きベクトルを用いて、カメラ１００の姿勢変化を算出する。この算出は、第１動きベクトルとして、Ｓ１００３での選別により採用された第１動きベクトルのみを用いる以外は、第１の実施形態と同様である。Ｓ１００５の後は、第１の実施形態と同様の処理（Ｓ４０２、Ｓ４０３）が行われて、図１４に例示した第２動きベクトル算出処理が終了する。
【0134】
画像合成処理（Ｓ２１０）においては、第２動きベクトルを如何に高精度に算出できるかが性能に大きく影響することから、シフトぶれ、回転ぶれ、角度ぶれ、前後ぶれ、光学的な歪による影響、被写体の奥行きによる影響、といったできるだけ多くの要素を考慮して第２動きベクトルを算出することが望ましい。なお、シフトぶれ、回転ぶれは、解析的に算出できるので比較的容易に算出可能である。角度ぶれ、 前後ぶれは、数値的に算出可能である。光学的な歪による影響、被写体の奥行きによる影響は、数値的に算出可能であるものの、第１動きベクトルのみから高精度に算出することは難しい。
【0135】
第３の実施形態では、カメラ姿勢及び第２動きベクトルの算出精度を上げるために、Ｇセンサ及びジャイロセンサの出力を補助情報として用いた。Ｇセンサは、カメラ１００の並進ぶれ、前後ぶれを検出可能である。ジャイロセンサは、カメラ１００の角度ぶれ、回転ぶれを検出可能である。また、第３の実施形態では、カメラ１００が例えば地磁気センサを備えて、地磁気センサの出力を補助情報として用いてもよい。地磁気センサは、カメラ１００の大きな角度ぶれを検出可能である。また、第３の実施形態では、カメラ１００が超音波センサやＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを備えて、そのセンサの出力を補助情報として用いてもよい。超音波センサやＴＯＦセンサは、被写体距離を検出可能である。被写体距離を補助情報として用いれば、カメラ姿勢から第２動きベクトルを算出する際に、第１動きベクトルのみからでは推定が難しい奥行き情報も加味することができるため、より高い精度での第２動きベクトルの算出が可能となる。
【0136】
以上のように第３の実施形態によれば、Ｇセンサやジャイロセンサ等のセンサの出力を補助情報として用いて第２動きベクトルを推定することで、第２動きベクトルの推定精度を上げることができる。
【0137】
＜第４の実施形態＞
第４の実施形態は、画像合成処理（Ｓ２１０）の一部を変更することで、流し撮りにより撮影された画像相当の画像を生成するようにしたものである。具体的には、撮影者が低速シャッターでの撮影中に、意図的にカメラを移動させることにより、動体被写体が静止し、それ以外の被写体（背景被写体）が流れるような画像を生成するようにしたものである。この意図的な移動以外の手ぶれを抑えることができない場合に、局所的にぶれた画像が得られてしまう。
第４の実施形態は、画像合成処理（Ｓ２１０）の一部を変更することで、流し撮りにより撮影された画像相当の画像を生成するようにしたものである。具体的には、撮影者が低速シャッターでの撮影中に、意図的にカメラを移動させることにより、動体被写体が静止し、それ以外の被写体（背景被写体）が流れるような画像を生成するようにしたものである。この意図的な移動以外の手ぶれを抑えることができない場合に、局所的にぶれた画像が得られてしまう。
【0138】
図１５は、第４の実施形態に係る画像合成処理（Ｓ２１０）の具体例を模式的に示す図である。図１５に示したように、第４の実施形態では、合成枚数分のバッファリング画像４３１を合成することにより、流し撮りにより撮影した画像相当の合成画像４３２を生成する。このような画像合成処理の詳細を、図１６乃至図１９を参照しながら説明する。
【0139】
図１６は、第４の実施形態に係る画像合成処理（Ｓ２１０）の流れを例示するフローチャートである。図１７は、第４の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）の流れを例示するフローチャートである。図１８は、第４の実施形態に係る動きベクトル選択処理（Ｓ３０４）の流れを例示するフローチャートである。図１９は、注目被写体を例示する図である。
【0140】
図１６に例示した画像合成処理（Ｓ２１０）は、図５に例示した第１の実施形態に係る画像合成処理（Ｓ２１０）に対して、次の点が異なる。まず、図１６に例示した画像合成処理（Ｓ２１０）では、はじめにＳ１１０１において、画像処理コントローラ３１０は、基準画像から注目被写体を検出する。この検出は、例えば、撮像時のフォーカスポイントに基づいて、或いは、ディープラーニングによる動体物（車等）の検出等により、行うことができる。
【0141】
また、図１６に例示した画像合成処理（Ｓ２１０）では、第２動きベクトル算出処理（Ｓ３０２）として、図１７に例示した第２動きベクトル算出処理（Ｓ３０２）が行われる。図１７に例示した第２動きベクトル算出処理（Ｓ３０２）は、図６に例示した第１の実施形態に係る第２動きベクトル算出処理（Ｓ３０２）に対して、次の点が異なる。
【0142】
図１７に例示した第２動きベクトル算出処理（Ｓ３０２）では、カメラ姿勢推定（Ｓ４０１）の代わりに、Ｓ１２０１において、画像処理コントローラ３１０は、注目被写体動き推定を行う。この注目被写体動き推定では、Ｓ１１０１で検出された注目被写体の領域にスコープを限定した上で、第１動きベクトルから注目被写体の動きを推定する。すなわち、注目被写体の領域の第１動きベクトルから注目被写体の動きを推定する。例えば、図１９に例示した基準画像４４１の注目被写体（この例では車）の領域４４１ａの第１動きベクトルから注目被写体の動きを推定する。注目被写体動き推定の具体的な方法は、スコープを画像全体とする代わりに注目被写体の領域に限定すること以外は、カメラ姿勢推定（Ｓ４０１）と同様である。
【0143】
また、図１６に例示した画像合成処理（Ｓ２１０）では、動きベクトル選択処理（Ｓ３０４）として、図１８に例示した動きベクトル選択処理（Ｓ３０４）が行われる。図１８に例示した動きベクトル選択処理（Ｓ３０４）での動きベクトルの選択は、次のような観点に基づいて行われる。
【0144】
（１）第１動きベクトルの信頼度が高く、注目被写体の領域と判断できれば、第１動きベクトルを選択する。このような部分は、注目被写体であってマッチングできている部分と考えることができる。
（２）第１動きベクトルの信頼度が高くても、静止領域と判断できれば、第２動きベクトルを選択する。このような部分は、マッチングできている部分であるが静止被写体（注目被写体の背景）の部分と考えることができる。
（３）第１動きベクトルの信頼度が低くても、周囲の第１動きベクトルが第２動きベクトルと大きくずれていれば、第２動きベクトルを選択する。このような部分は、マッチングできているか否か判定できない部分であるが、静止被写体の部分と考えることができる。
（４）第１動きベクトルの信頼度が低く、周囲の第１動きベクトルが第２動きベクトルに類似していれば、第３動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であり、注目被写体と背景被写体との切り分けが難しい部分と考えることができる。
（２）第１動きベクトルの信頼度が高くても、静止領域と判断できれば、第２動きベクトルを選択する。このような部分は、マッチングできている部分であるが静止被写体（注目被写体の背景）の部分と考えることができる。
（３）第１動きベクトルの信頼度が低くても、周囲の第１動きベクトルが第２動きベクトルと大きくずれていれば、第２動きベクトルを選択する。このような部分は、マッチングできているか否か判定できない部分であるが、静止被写体の部分と考えることができる。
（４）第１動きベクトルの信頼度が低く、周囲の第１動きベクトルが第２動きベクトルに類似していれば、第３動きベクトルを選択する。このような部分は、マッチングできているか否か判断できない部分であり、注目被写体と背景被写体との切り分けが難しい部分と考えることができる。
【0145】
このような観点に基づく図１８に例示した動きベクトル選択処理（Ｓ３０４）は、図７に例示した第１の実施形態に係る動きベクトル選択処理（Ｓ３０４）に対して、次の点が異なる。まず、図１８に例示した動きベクトル選択処理（Ｓ３０４）では、Ｓ５０１の判定結果がＹＥＳの場合に、Ｓ５０２乃至Ｓ５０５に代えて、Ｓ１３０１乃至Ｓ１３０４の処理が行われる。詳しくは、Ｓ１３０１において、画像処理コントローラ３１０は、注目被写体の領域を分離する。次に、Ｓ１３０２において、画像処理コントローラ３１０は、処理対象局所領域が注目被写体の領域に含まれるか否かを判定する。Ｓ１３０２の判定結果がＹＥＳの場合、Ｓ１３０３において、画像処理コントローラ３１０は、第１動きベクトルを選択する。一方、Ｓ１３０２の判定結果がＮＯの場合、Ｓ１３０４において、画像処理コントローラ３１０は、第２動きベクトルを選択する。
【0146】
また、図１８に例示した動きベクトル選択処理（Ｓ３０４）では、Ｓ５０１の判定結果がＮＯであってＳ５０７の判定結果がＹＥＳの場合に第２動きベクトルが選択され、Ｓ５０１の判定結果がＮＯであってＳ５０７の判定結果がＮＯの場合に第３動きベクトルが選択される。
【0147】
以上のように第４の実施形態によれば、流し撮りにより撮影された画像相当の画像を生成することができる。つまり、流し撮りを意図した移動以外の手ぶれを抑えて低速シャッターで撮影した流し撮り画像相当の画像を安定した精度で得ることができる。なお、第４の実施形態では、更に動きベクトルの向きや大きさを制限することで、特定の方向のみ効果が現れないようにすることもできる。
【0148】
＜第５の実施形態＞
第５の実施形態は、第１乃至第４の実施形態で説明した技術の一部を、医療分野に応用したものである。医療分野では、撮像素子を先端に備えた内視鏡により生体内を観察し処置を施す場合に、血管の位置を知りたい状況がある。血管を避けて処置を行う場合や血管に処置を施す場合があるためである。このような場合に血管位置を検出する技術として、内視鏡により連続的に撮像される画像（内視鏡による撮像される動画像）において動きベクトルを検出することで血管領域を検出する技術が知られている。しかしながら、この技術では、内視鏡操作者の操作や生体の揺れによって内視鏡先端の撮像素子の姿勢が変化することで動きベクトルの検出精度が低下し、結果として血管領域の検出精度が低下する、という課題がある。そこで、第５の実施形態では、このような動きベクトルに基づく血管領域の検出に、第１乃至第４の実施形態で説明した技術の一部を適用することで、その課題を解決するようにした。
第５の実施形態は、第１乃至第４の実施形態で説明した技術の一部を、医療分野に応用したものである。医療分野では、撮像素子を先端に備えた内視鏡により生体内を観察し処置を施す場合に、血管の位置を知りたい状況がある。血管を避けて処置を行う場合や血管に処置を施す場合があるためである。このような場合に血管位置を検出する技術として、内視鏡により連続的に撮像される画像（内視鏡による撮像される動画像）において動きベクトルを検出することで血管領域を検出する技術が知られている。しかしながら、この技術では、内視鏡操作者の操作や生体の揺れによって内視鏡先端の撮像素子の姿勢が変化することで動きベクトルの検出精度が低下し、結果として血管領域の検出精度が低下する、という課題がある。そこで、第５の実施形態では、このような動きベクトルに基づく血管領域の検出に、第１乃至第４の実施形態で説明した技術の一部を適用することで、その課題を解決するようにした。
【0149】
第５の実施形態では、撮像素子を先端に備えた内視鏡とコンピュータ（例えば、メモリとメモリに記憶されたプログラムを実行するプロセッサとを含む）とを備える内視鏡システムが、動きベクトルに基づく血管領域の検出を行う。
【0150】
詳しくは、内視鏡システムは、内視鏡による生体内の動画像の撮像を開始すると、Ｎフレーム目（例えば１フレーム目）のフレーム画像を基準画像とし、それ以降のフレーム画像を参照画像として、参照画像が取得される度に、基準画像と参照画像との間で各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルの算出を繰り返す。具体的には、基準画像とＮ＋１フレーム目のフレーム画像である参照画像との間での各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルを算出し、次に、基準画像とＮ＋２フレーム目のフレーム画像である参照画像との間での各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルを算出し、といった具合に、その算出を繰り返す。ここで、第１動きベクトル、第２動きベクトル、及び第３動きベクトルの算出方法は、第１の実施形態と同様である。
【0151】
また、内視鏡システムは、内視鏡による生体内の動画像の撮像を開始すると、血管領域判定処理を開始する。ここで、血管領域判定処理の詳細を、図２０乃至図２３を用いて説明する。図２０は、血管領域判定処理の流れを例示するフローチャートである。図２１は、動領域／静領域判定処理（Ｓ１４０１）の流れを例示するフローチャートである。図２２は、動きベクトルの時間変化の一例を模式的に示す図である。図２３は、複数の動領域の一例を模式的に示す図である。
【0152】
図２０に例示した血管領域判定処理では、まず、Ｓ１４０１において、内視鏡システムは、基準画像と参照画像（例えばＮ＋１フレーム目のフレーム画像）との間で算出された各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルに基づいて、各局所領域が動領域（動き領域）であるか静領域であるかを判定する動領域／静領域判定処理を行う。ここで、動領域／静領域判定処理（Ｓ１４０１）の詳細を、図２１を用いて説明する。
【0153】
図２１に例示した動領域／静領域判定処理（Ｓ１４０１）では、Ｓ１５０１乃至Ｓ１５０３において、内視鏡システムは、図７に例示した第１の実施形態に係る動きベクトル選択処理（Ｓ３０４）のＳ５０１乃至Ｓ５０３と同様の処理を行う。そして、Ｓ１５０３の判定結果がＮＯの場合、Ｓ１５０４において、内視鏡システムは、処理対象局所領域を静領域として判定する。一方、Ｓ１５０３の判定結果がＹＥＳの場合、Ｓ１５０５において、内視鏡システムは、処理対象局所領域を動領域として判定すると共に、第１動きベクトル－第２動きベクトルを、当該動領域の動きベクトルとして採用する。
【0154】
一方、Ｓ１５０１の判定結果がＮＯの場合、Ｓ１５０６及びＳ１５０７において、内視鏡システムは、図７に例示した第１の実施形態に係る動きベクトル選択処理（Ｓ３０４）のＳ５０６及びＳ５０７と同様の処理を行う。そして、Ｓ１５０７の判定結果がＮＯの場合、Ｓ１５０８において、内視鏡システムは、処理対象局所領域を静領域として判定する。一方、Ｓ１５０７の判定結果がＹＥＳの場合、Ｓ１５０９において、内視鏡システムは、処理対象局所領域を動領域として判定すると共に、第３動きベクトルを、当該動領域の動きベクトルとして採用する。
【0155】
そして、Ｓ１５０４、Ｓ１５０５、Ｓ１５０８、又はＳ１５０９の後、Ｓ１５１０において、内視鏡システムは、全ての局所領域の判定が終了したか否かを判定する。Ｓ１５１０の判定結果がＮＯの場合は、処理がＳ１５０１に戻る。一方、Ｓ１５１０の判定結果がＹＥＳの場合は、図２１に例示した動領域／静領域判定処理（Ｓ１４０１）が終了する。
【0156】
このようにして動領域／静領域判定処理（図２０のＳ１４０１）が終了すると、Ｎ＋２フレーム目以降のフレーム画像である参照画像毎に算出された各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルに基づいて、Ｓ１４０１で動領域として判定された局所領域（以下、「局所動領域」という）の各々に対し、Ｓ１４０２乃至Ｓ１４０４の処理が行われる。
【0157】
詳しくは、Ｓ１４０２において、内視鏡システムは、処理対象とされていない局所動領域を処理対象として、上述のＮ＋２フレーム目以降のフレーム画像である参照画像毎に算出された各局所領域の第１動きベクトル、第２動きベクトル、及び第３動きベクトルに基づいて、処理対象局所動領域の動きベクトルとして採用された動きベクトル（図２１のＳ１５０５又はＳ１５０９で採用された動きベクトル）の変化周波数を検出する。例えば、処理対象局所動領域の動きベクトルとして採用された動きベクトルの時間変化が図２２に示したものであった場合には、その変化周波数が検出される。
【0158】
次に、Ｓ１４０３において、内視鏡システムは、Ｓ１４０２で検出された変化周波数が、心拍周波数に一致するか否かを判定する。この判定では、例えば、心拍周波数と判断可能な範囲（０．７５～１．５Ｈｚ）に変化周波数が含まれている場合に一致、そうでない場合には不一致、と判定される。
【0159】
Ｓ１４０３の判定結果がＹＥＳの場合、Ｓ１４０４において、内視鏡システムは、処理対象局所動領域を血管領域として判定し、処理がＳ１４０５に進む。一方、Ｓ１４０３の判定結果がＮＯの場合は、Ｓ１４０４をスキップして処理がＳ１４０５に進む。なお、Ｓ１４０２で算出した変化周波数が、例えば、０．２～０．３Ｈｚの範囲に含まれる場合は、呼吸器系の生体（臓器や神経等）の領域と判定することもできる。
【0160】
そして、Ｓ１４０５において、内視鏡システムは、全ての局所動領域に対する処理（血管領域判定）が終了したか否かを判定する。Ｓ１４０５の判定結果がＮＯの場合は、処理がＳ１４０２に戻る。一方、Ｓ１４０５の判定結果がＹＥＳの場合は、図２０に例示した血管領域判定処理が終了する。このような血管領域判定処理により、例えば、図２３に示したように、臓器領域５０１、血管領域５０２、神経領域５０３といった複数の動領域の中から、血管領域５０２の検出が可能となる。
【0161】
以上のように第５の実施形態によれば、内視鏡操作者の操作や生体の揺れ等によって撮像素子の姿勢変化が生じたとしても、動きベクトルの検出精度を向上させることで血管の領域（位置）をより正確に検出することができ、適切な処置が可能となる。
【0162】
以上に説明した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。本発明は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【符号の説明】
【0163】
１００ カメラ
２００ レンズユニット
２０１ レンズ側マウント部
２０２ レンズ側通信コネクタ
２０３ 撮影レンズ
２０４ レンズ駆動回路
２０５ レンズ側姿勢変化検出部
２０６ レンズ側防振制御回路
２０７ 絞り
２０８ 絞り駆動回路
２０９ ＥＥＰＲＯＭ
２１０ レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００ ボディユニット
３０１ ボディ側マウント部
３０２ ボディ側通信コネクタ
３０３ シャッター
３０４ シャッターチャージ機構
３０５ シャッター制御回路
３０６ 防塵機構
３０７ 防塵制御回路
３０８ 撮像素子
３０９ 撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３１０ 画像処理コントローラ
３１１ 記録メディア
３１２ ＳＤＲＡＭ
３１３ ＦＬＡＳＨ ＲＯＭ（フラッシュＲＯＭ）
３１４ 外部出力端子
３１５ 液晶モニター
３１６ 電子ビューファインダー
３１７ 撮像ステージ
３１８ 撮像ステージ駆動回路
３１９ ボディ側姿勢変化検出部
３２０ ボディ側防振制御回路
３２１ ストロボ
３２２ ストロボ駆動回路
３２３ 電源回路
３２４ 電池
３２５ 無線回路
３２６ 動作表示部
３２７ カメラ操作ＳＷ
３２８ ＥＥＰＲＯＭ
３２９ ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
４０１、４３１ バッファリング画像
４０２、４３２ 合成画像
４１１、４２１、４４１ 基準画像
４１１ａ、４１２ａ、４２１ａ 局所領域
４１１ｂ 第１動きベクトル
４１１ｃ 第２動きベクトル
４１１ｄ 第３動きベクトル
４１２ 参照画像
４２１ｂ、４２１ｃ、４２１ｄ スコープ
４４１ａ 注目被写体領域
５０１ 臓器領域
５０２ 血管領域
５０３ 神経領域
２０５１ レンズ側Ｙ方向Ｇセンサ
２０５２ レンズ側Ｘ方向Ｇセンサ
２０５３ レンズ側ピッチジャイロセンサ
２０５４ レンズ側ヨージャイロセンサ
２０５５ レンズ側ロールジャイロセンサ
３０３１ 先幕
３０３２ 後幕
３１９１ ボディ側Ｙ方向Ｇセンサ
３１９２ ボディ側Ｘ方向Ｇセンサ
３１９３ ボディ側ピッチジャイロセンサ
３１９４ ボディ側ヨージャイロセンサ
３１９５ ボディ側ロールジャイロセンサ
２００ レンズユニット
２０１ レンズ側マウント部
２０２ レンズ側通信コネクタ
２０３ 撮影レンズ
２０４ レンズ駆動回路
２０５ レンズ側姿勢変化検出部
２０６ レンズ側防振制御回路
２０７ 絞り
２０８ 絞り駆動回路
２０９ ＥＥＰＲＯＭ
２１０ レンズ制御用マイクロコンピュータ（ＬＣＰＵ）
３００ ボディユニット
３０１ ボディ側マウント部
３０２ ボディ側通信コネクタ
３０３ シャッター
３０４ シャッターチャージ機構
３０５ シャッター制御回路
３０６ 防塵機構
３０７ 防塵制御回路
３０８ 撮像素子
３０９ 撮像素子インターフェース回路（撮像素子Ｉ／Ｆ回路）
３１０ 画像処理コントローラ
３１１ 記録メディア
３１２ ＳＤＲＡＭ
３１３ ＦＬＡＳＨ ＲＯＭ（フラッシュＲＯＭ）
３１４ 外部出力端子
３１５ 液晶モニター
３１６ 電子ビューファインダー
３１７ 撮像ステージ
３１８ 撮像ステージ駆動回路
３１９ ボディ側姿勢変化検出部
３２０ ボディ側防振制御回路
３２１ ストロボ
３２２ ストロボ駆動回路
３２３ 電源回路
３２４ 電池
３２５ 無線回路
３２６ 動作表示部
３２７ カメラ操作ＳＷ
３２８ ＥＥＰＲＯＭ
３２９ ボディ制御用マイクロコンピュータ（ＢＣＰＵ）
４０１、４３１ バッファリング画像
４０２、４３２ 合成画像
４１１、４２１、４４１ 基準画像
４１１ａ、４１２ａ、４２１ａ 局所領域
４１１ｂ 第１動きベクトル
４１１ｃ 第２動きベクトル
４１１ｄ 第３動きベクトル
４１２ 参照画像
４２１ｂ、４２１ｃ、４２１ｄ スコープ
４４１ａ 注目被写体領域
５０１ 臓器領域
５０２ 血管領域
５０３ 神経領域
２０５１ レンズ側Ｙ方向Ｇセンサ
２０５２ レンズ側Ｘ方向Ｇセンサ
２０５３ レンズ側ピッチジャイロセンサ
２０５４ レンズ側ヨージャイロセンサ
２０５５ レンズ側ロールジャイロセンサ
３０３１ 先幕
３０３２ 後幕
３１９１ ボディ側Ｙ方向Ｇセンサ
３１９２ ボディ側Ｘ方向Ｇセンサ
３１９３ ボディ側ピッチジャイロセンサ
３１９４ ボディ側ヨージャイロセンサ
３１９５ ボディ側ロールジャイロセンサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】