(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022188690
(43)【公開日】2022-12-21
(54)【発明の名称】撮像装置、画像処理装置、画像処理方法、記憶媒体
(51)【国際特許分類】
H04N 5/232 20060101AFI20221214BHJP
H04N 5/238 20060101ALI20221214BHJP
H04N 5/235 20060101ALI20221214BHJP
G06T 3/00 20060101ALI20221214BHJP
【ＦＩ】
H04N5/232 290
H04N5/238
H04N5/235 300
G06T3/00 780
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2021096922
(22)【出願日】2021-06-09
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】小野村 研一
【テーマコード（参考）】
5B057
5C122
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CE10
5B057DA07
5B057DA08
5B057DA16
5B057DA20
5B057DB02
5B057DB09
5C122EA37
5C122FA09
5C122FB16
5C122FC06
5C122FC07
5C122FF05
5C122FF11
5C122FG02
5C122FH09
5C122FH11
5C122FH18
5C122FH23
5C122HB01
5C122HB02
(57)【要約】
【課題】ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる撮像装置等を提供する。
【解決手段】撮像装置１は、レンズ１１と撮像素子２３と本体側マイクロコンピュータ４１を備える。コンピュータ４１は、複数枚の第１の画像データと、第１の画像データより露光時間が長い第２の画像データとを撮像素子２３に取得させ、第１の画像データと第２の画像データとを用いて動き領域を検出し、複数枚の第１の画像データを用いて動き検出情報を取得する。コンピュータ４１は、動き領域であるか否かに応じて合成方法を変更して、１枚の合成画像データを生成する。
【選択図】図１
【解決手段】撮像装置１は、レンズ１１と撮像素子２３と本体側マイクロコンピュータ４１を備える。コンピュータ４１は、複数枚の第１の画像データと、第１の画像データより露光時間が長い第２の画像データとを撮像素子２３に取得させ、第１の画像データと第２の画像データとを用いて動き領域を検出し、複数枚の第１の画像データを用いて動き検出情報を取得する。コンピュータ４１は、動き領域であるか否かに応じて合成方法を変更して、１枚の合成画像データを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被写体の光学像を結像するレンズと、
前記光学像を露光して画像データを生成する撮像素子と、
露光時間が異なる複数枚の画像データに周波数解析を行って、前記画像データ中の動き領域を検出する第１の動き検出部と、
露光時刻が異なる複数枚の画像データにブロックマッチングを行って、前記画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、
複数枚の画像データを合成して１枚の合成画像データを生成する画像合成部と、
前記撮像素子、前記第１の動き検出部、前記第２の動き検出部、および前記画像合成部を制御する制御部と、
を備え、
前記制御部は、
前記撮像素子に、第１の露光時間の露光を複数回行わせて、露光時刻が異なる複数枚の第１の画像データを取得させ、
前記撮像素子に、前記第１の露光時間より長い第２の露光時間の露光を行わせて、第２の画像データを取得させ、
前記第１の画像データと前記第２の画像データとを用いて前記第１の動き検出部に前記動き領域を検出させ、
前記複数枚の第１の画像データを用いて前記第２の動き検出部に前記動き検出情報を取得させ、
前記画像合成部に、前記動き領域であるか否かに応じて、前記動き検出情報に基づき前記複数枚の第１の画像データから前記合成画像データを生成する方法を変更させる、
ことを特徴とする撮像装置。
前記光学像を露光して画像データを生成する撮像素子と、
露光時間が異なる複数枚の画像データに周波数解析を行って、前記画像データ中の動き領域を検出する第１の動き検出部と、
露光時刻が異なる複数枚の画像データにブロックマッチングを行って、前記画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、
複数枚の画像データを合成して１枚の合成画像データを生成する画像合成部と、
前記撮像素子、前記第１の動き検出部、前記第２の動き検出部、および前記画像合成部を制御する制御部と、
を備え、
前記制御部は、
前記撮像素子に、第１の露光時間の露光を複数回行わせて、露光時刻が異なる複数枚の第１の画像データを取得させ、
前記撮像素子に、前記第１の露光時間より長い第２の露光時間の露光を行わせて、第２の画像データを取得させ、
前記第１の画像データと前記第２の画像データとを用いて前記第１の動き検出部に前記動き領域を検出させ、
前記複数枚の第１の画像データを用いて前記第２の動き検出部に前記動き検出情報を取得させ、
前記画像合成部に、前記動き領域であるか否かに応じて、前記動き検出情報に基づき前記複数枚の第１の画像データから前記合成画像データを生成する方法を変更させる、
ことを特徴とする撮像装置。
【請求項2】
前記画像合成部は、前記撮像素子により生成される前記画像データよりも高解像度の前記合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記レンズにより結像される前記光学像の光量を調節する光学絞りをさらに備え、
前記制御部は、前記第２の画像データの露光量が、前記第１の画像データの露光量と同等になるように、前記光学絞りを制御することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記第２の画像データの露光量が、前記第１の画像データの露光量と同等になるように、前記光学絞りを制御することを特徴とする請求項１に記載の撮像装置。
【請求項4】
前記レンズと前記撮像素子との間に配置されたメカニカルシャッタをさらに備え、
前記制御部は、前記撮像素子の露光時間を前記メカニカルシャッタにより制御することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記撮像素子の露光時間を前記メカニカルシャッタにより制御することを特徴とする請求項１に記載の撮像装置。
【請求項5】
前記撮像素子は、電子シャッタの機能を備え、
前記制御部は、前記撮像素子の露光時間を前記電子シャッタにより制御することを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記撮像素子の露光時間を前記電子シャッタにより制御することを特徴とする請求項１に記載の撮像装置。
【請求項6】
前記撮像素子は、複数の画素が配列された複数のラインを備え、
前記電子シャッタは、前記複数のラインの内の、第１ライン群と第２ライン群とで異なる露光時間を制御可能であり、
前記制御部は、
前記第１ライン群に前記第１の露光時間の露光を行わせて、前記第１ライン群に係る前記第１の画像データを取得させると同時に、前記第２ライン群に前記第２の露光時間の露光を行わせて、前記第２ライン群に係る前記第２の画像データを取得させ、
前記第１ライン群に係る前記第１の画像データと、前記第２ライン群に係る前記第２の画像データとを用いて、前記第１の動き検出部に前記動き領域を検出させる、
ことを特徴とする請求項５に記載の撮像装置。
前記電子シャッタは、前記複数のラインの内の、第１ライン群と第２ライン群とで異なる露光時間を制御可能であり、
前記制御部は、
前記第１ライン群に前記第１の露光時間の露光を行わせて、前記第１ライン群に係る前記第１の画像データを取得させると同時に、前記第２ライン群に前記第２の露光時間の露光を行わせて、前記第２ライン群に係る前記第２の画像データを取得させ、
前記第１ライン群に係る前記第１の画像データと、前記第２ライン群に係る前記第２の画像データとを用いて、前記第１の動き検出部に前記動き領域を検出させる、
ことを特徴とする請求項５に記載の撮像装置。
【請求項7】
前記制御部は、
前記画像合成部に、前記動き領域における前記動き検出情報の取得が失敗した領域については、前記合成画像データに画素を配置せず、前記動き領域における前記動き検出情報の取得が成功した領域、および前記動き領域以外の領域については、前記動き検出情報に基づき前記合成画像データに画素を配置することを、前記複数枚の第１の画像データについて行わせ、同一位置に配置された画素数に応じた正規化を行わせて、前記合成画像データを生成させる、
ことを特徴とする請求項１に記載の撮像装置。
前記画像合成部に、前記動き領域における前記動き検出情報の取得が失敗した領域については、前記合成画像データに画素を配置せず、前記動き領域における前記動き検出情報の取得が成功した領域、および前記動き領域以外の領域については、前記動き検出情報に基づき前記合成画像データに画素を配置することを、前記複数枚の第１の画像データについて行わせ、同一位置に配置された画素数に応じた正規化を行わせて、前記合成画像データを生成させる、
ことを特徴とする請求項１に記載の撮像装置。
【請求項8】
前記第１の動き検出部は、前記複数枚の画像データにフィルタ処理を施して抽出したエッジ成分の差を解析すること、または前記複数枚の画像データにフーリエ変換を施して抽出した周波数成分の差を解析すること、により前記周波数解析を行う、
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項9】
露光時刻が異なる第１の露光時間の複数枚の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データと、を記憶するメモリと、
前記第１の画像データと前記第２の画像データとに周波数解析を行って、画像データ中の動き領域を検出する第１の動き検出部と、
前記複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する画像合成部と、
を備えることを特徴とする画像処理装置。
前記第１の画像データと前記第２の画像データとに周波数解析を行って、画像データ中の動き領域を検出する第１の動き検出部と、
前記複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する画像合成部と、
を備えることを特徴とする画像処理装置。
【請求項10】
第１の露光時間の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データとに周波数解析を行って、画像データ中の動き領域を検出し、
露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得し、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する、
ことを特徴とする画像処理方法。
露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得し、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する、
ことを特徴とする画像処理方法。
【請求項11】
コンピュータに、
第１の露光時間の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データとに周波数解析を行わせて、画像データ中の動き領域を検出させ、
露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行わせて、画像データ中の被写体像の動き検出情報を取得させ、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更させ、前記複数枚の第１の画像データを合成させて前記合成画像データを生成させる、
ためのコンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体。
第１の露光時間の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データとに周波数解析を行わせて、画像データ中の動き領域を検出させ、
露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行わせて、画像データ中の被写体像の動き検出情報を取得させ、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更させ、前記複数枚の第１の画像データを合成させて前記合成画像データを生成させる、
ためのコンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データ中の被写体像の動きを検出して、複数枚の画像データを合成する撮像装置、画像処理装置、画像処理方法、記憶媒体に関する。
【背景技術】
【0002】
複数枚の画像データを合成して、１枚の合成画像を生成する技術は、従来より提案されている。画像合成技術は、例えば、撮影画像よりも高解像度の画像、撮影画像よりもダイナミックレンジの広い画像、などを生成するために用いられる。
【0003】
ところで、複数枚の画像を合成する際、画像に手ぶれや移動する被写体がある場合、動き検出を行って、検出結果に基づき画像を位置合わせしてから合成する必要がある。画像データ中の被写体像の動き検出は、一般に、ブロックマッチング（ＢＭ：Block Matching）法を利用することが多い。ＢＭ法は、例えば画素値の差分を用いるために、位置検出の精度を高めるには、露光時間が同じ２画像間で行うことが好ましい。
【0004】
例えば、特開２０１４－１６０９８７号公報には、露光時間が異なる２枚の画像からハイダイナミックレンジ（ＨＤＲ）画像を合成する際に、１枚の長露光画像を撮像する期間内に２枚の短露光画像を撮像し、２枚の短露光画像に基づき動き検出を行うことが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１４－１６０９８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＢＭ法は、第１の画像中の基準となる部分画像との差異が最小になるような部分画像を第２の画像中に探索して、部分画像同士の動きを検出する技術である。このためＢＭ法では、繰り返しパターンがある被写体（網目模様、レンガ塀など）、またはランダムテクスチャの被写体（揺れる水面、揺れる木々など）に対して、動きを誤検出する、または動きを検出できないことがある。誤検出した動き、または検出できない結果に基づき複数枚の画像を合成すると、合成画像にアーティファクトが生じ、画質がかえって劣化することがある。
【0007】
本発明は上記事情に鑑みてなされたものであり、ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる撮像装置、画像処理装置、画像処理方法、記憶媒体を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の一態様による撮像装置は、被写体の光学像を結像するレンズと、前記光学像を露光して画像データを生成する撮像素子と、露光時間が異なる複数枚の画像データに周波数解析を行って、前記画像データ中の動き領域を検出する第１の動き検出部と、露光時刻が異なる複数枚の画像データにブロックマッチングを行って、前記画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、複数枚の画像データを合成して１枚の合成画像データを生成する画像合成部と、前記撮像素子、前記第１の動き検出部、前記第２の動き検出部、および前記画像合成部を制御する制御部と、を備え、前記制御部は、前記撮像素子に、第１の露光時間の露光を複数回行わせて、露光時刻が異なる複数枚の第１の画像データを取得させ、前記撮像素子に、前記第１の露光時間より長い第２の露光時間の露光を行わせて、第２の画像データを取得させ、前記第１の画像データと前記第２の画像データとを用いて前記第１の動き検出部に前記動き領域を検出させ、前記複数枚の第１の画像データを用いて前記第２の動き検出部に前記動き検出情報を取得させ、前記画像合成部に、前記動き領域であるか否かに応じて、前記動き検出情報に基づき前記複数枚の第１の画像データから前記合成画像データを生成する方法を変更させる。
【0009】
本発明の一態様による画像処理装置は、露光時刻が異なる第１の露光時間の複数枚の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データと、を記憶するメモリと、前記第１の画像データと前記第２の画像データとに周波数解析を行って、画像データ中の動き領域を検出する第１の動き検出部と、前記複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得する第２の動き検出部と、前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する画像合成部と、を備える。
【0010】
本発明の一態様による画像処理方法は、第１の露光時間の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データとに周波数解析を行って、画像データ中の動き領域を検出し、露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得し、前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更し、前記複数枚の第１の画像データを合成して前記合成画像データを生成する。
【0011】
本発明の一態様による記憶媒体は、コンピュータに、第１の露光時間の第１の画像データと、前記第１の露光時間より長い第２の露光時間の第２の画像データとに周波数解析を行わせて、画像データ中の動き領域を検出させ、露光時刻が異なる前記第１の露光時間の複数枚の第１の画像データにブロックマッチングを行わせて、画像データ中の被写体像の動き検出情報を取得させ、前記動き領域であるか否かに応じて、前記動き検出情報に基づき１枚の合成画像データを生成する方法を変更させ、前記複数枚の第１の画像データを合成させて前記合成画像データを生成させる、ためのコンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体である。
【発明の効果】
【0012】
本発明の撮像装置、画像処理装置、画像処理方法、記憶媒体によれば、ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態における撮像装置の構成を示すブロック図。
【図2】上記第１の実施形態の撮像装置における合成画像生成時の処理を示すフローチャート。
【図3】上記第１の実施形態における第１動き検出の処理を示すフローチャート。
【図4】上記第１の実施形態における第２動き検出の処理を示すフローチャート。
【図5】上記第１の実施形態における短露光画像ＦＳ（ｎ）配置の処理を示すフローチャート。
【図6】上記第１の実施形態における短露光画像および長露光画像の撮影順序を示すタイミングチャート。
【図7】上記第１の実施形態において、ブロックマッチングを説明するための図。
【図8】上記第１の実施形態において、ブロックマッチングに適さない領域の例を説明するための図。
【図9】上記第１の実施形態において、短露光画像と長露光画像に対する周波数解析の例を示す図。
【図10】上記第１の実施形態において、周波数解析に用いるフィルタの一例を示す図。
【図11】本発明の第２の実施形態において、ラインに応じて露光時間を異ならせることができる撮像素子の例を示す図。
【図12】上記第２の実施形態における、ラインに応じた短露光画像および長露光画像の撮影順序を示すタイミングチャート。
【図13】上記第２の実施形態の撮像装置における合成画像生成時の処理を示すフローチャート。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
［第１の実施形態］
［第１の実施形態］
【0015】
【0016】
なお、本実施形態においては、撮像装置１としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。また、デジタルカメラとしてレンズ交換式のものを例に挙げているが、レンズ一体型であっても構わない。
【0017】
撮像装置１は、レンズマウント等を用いて、交換式レンズ２とカメラ本体３とを着脱自在に接続して構成されている。
【0018】
交換式レンズ２は、レンズ１１と、光学絞り１２と、レンズドライバ１３と、絞りドライバ１４と、レンズ側マイクロコンピュータ１５と、フラッシュメモリ１６と、を備えている。
【0019】
レンズ１１は、例えば１枚以上の光学レンズを含む撮影光学系として構成され、被写体の光学像（被写体像）をカメラ本体３の後述する撮像素子２３上に結像するレンズ部である。
【0020】
光学絞り１２は、レンズ１１から撮像素子２３へ向かう光束の通過範囲を制御することで、レンズ１１により結像される被写体像の光量を調節する。
【0021】
レンズドライバ１３は、レンズ側マイクロコンピュータ１５からの指令に基づき、レンズ１１を駆動してフォーカス位置の調整を行う。
【0022】
絞りドライバ１４は、レンズ側マイクロコンピュータ１５からの指令に基づき、光学絞り１２を駆動して開口径を変化させる。この光学絞り１２の駆動により、被写体像の明るさが変化し、ボケの大きさなども変化する。
【0023】
フラッシュメモリ１６は、レンズ側マイクロコンピュータ１５により実行される制御プログラムや、交換式レンズ２に関する各種の情報を記録する記録媒体である。
【0024】
レンズ側マイクロコンピュータ１５は、レンズドライバ１３、絞りドライバ１４、フラッシュメモリ１６、および後述するインタフェース（Ｉ／Ｆ）２７と接続されている。そして、レンズ側マイクロコンピュータ１５は、インタフェース２７を経由して後述する本体側マイクロコンピュータ４１と通信し、本体側マイクロコンピュータ４１からの指令を受けて、フラッシュメモリ１６に記録されている情報の読出／書込を行い、レンズドライバ１３および絞りドライバ１４を制御する。さらに、レンズ側マイクロコンピュータ１５は、この交換式レンズ２に関する各種の情報を本体側マイクロコンピュータ４１へ送信する。
【0025】
次に、カメラ本体３は、メカニカルシャッタ２１と、シャッタドライバ２２と、撮像素子２３と、撮像素子ドライバ２４と、像ぶれ補正機構２５と、像ぶれ補正ドライバ２６と、インタフェース（Ｉ／Ｆ）２７と、アナログ処理回路２８と、アナログ／デジタル変換器（Ａ／Ｄ変換器）２９と、バス３０と、ＤＲＡＭ（Dynamic Random Access Memory）３１と、ＡＦ（Autofocus）処理回路３２と、ＡＥ（Auto Exposure）処理回路３３と、画像処理回路３４と、ＬＣＤ（Liquid Crystal Display）ドライバ３５と、ＬＣＤ３６と、メモリインタフェース（メモリＩ／Ｆ）３７と、記録媒体３８と、操作デバイス３９と、フラッシュメモリ４０と、本体側マイクロコンピュータ４１と、を備えている。
【0026】
メカニカルシャッタ２１は、レンズ１１と撮像素子２３との間に配置され、レンズ１１からの光束が撮像素子２３へ到達する時間を制御する。メカニカルシャッタ２１は、例えばシャッタ幕を走行させる構成の光学シャッタである。
【0027】
シャッタドライバ２２は、本体側マイクロコンピュータ４１からの指令に基づいてメカニカルシャッタ２１を駆動し、メカニカルシャッタ２１を開閉するものである。
【0028】
シャッタドライバ２２は、本体側マイクロコンピュータ４１の指令により、例えば静止画撮影時にメカニカルシャッタ２１を駆動して、撮像素子２３への光束の到達時間、つまり撮像素子２３による被写体の露光時間を制御する。
【0029】
一方、シャッタドライバ２２は、本体側マイクロコンピュータ４１の指令により、例えば動画撮影時あるいはライブビュー時には、メカニカルシャッタ２１を開放状態に維持する。このときの各フレーム画像の取得は、撮像素子２３が備える電子シャッタの機能により行われる。ただし、電子シャッタを、静止画撮影時に用いても勿論構わない。
【0030】
撮像素子２３は、複数の画素が所定の画素ピッチで２次元状に配列された画素部を有し、複数の画素により被写体像を露光して電気的な画像データを生成する撮像部である。すなわち、撮像素子２３は、撮像制御部である本体側マイクロコンピュータ４１の制御に基づき、レンズ１１および光学絞り１２により結像された被写体像を光電変換して、アナログ画像信号を生成する。
【0031】
本実施形態の撮像素子２３は、カラーフィルタを備えるカラー撮像素子として構成されていて、フィルタ色が異なる複数種類の画素を含んでいる。具体的に、画素の種類は、Ｇ（緑色）フィルタが配置されたＧ画素、Ｒ（赤色）フィルタが配置されたＲ画素、およびＢ（青色）フィルタが配置されたＢ画素の３種類がある。さらに、Ｇ画素は、Ｒ画素と同一ライン上に配置されたＧｒ画素と、Ｂ画素と同一ライン上に配置されたＧｂ画素と、の２種類に分類される。
【0032】
より具体的に、撮像素子２３のカラーフィルタは、原色ベイヤ配列でＲフィルタ、Ｇフィルタ、およびＢフィルタがモザイク状に配列されている。
【0033】
ここに、原色ベイヤ配列は、公知のように、（２，２）画素を複数種類の画素の基本配列とし、基本配列の対角位置にＧ画素を配置し、残りの対角位置にＲ画素とＢ画素とをそれぞれ配置した構成となっている（後述する図１１参照）。このとき、Ｒ画素と同一ライン上に配置されたＧ画素がＧｒ画素、Ｂ画素と同一ライン上に配置されたＧ画素がＧｂ画素となるのは、上述した通りである。
【0034】
そして、撮像素子２３は、（２，２）画素の基本配列が、２次元方向に周期的に繰り返されて構成されている。
【0035】
なお、撮像素子２３の画素配列は、ベイヤ配列に限るものではなく、その他の任意の画素配列であっても構わない。従って、基本配列も（２，２）画素に限定されるものではない。
【0036】
撮像素子ドライバ２４は、本体側マイクロコンピュータ４１からの指令に基づいて撮像素子２３を駆動し、撮像素子２３に撮像を行わせるものである。
【0037】
像ぶれ補正機構２５は、所定の可動範囲内において、レンズ１１の光軸に垂直な方向に、被写体像と撮像素子２３との位置を相対的にシフトするものである。図１に示す像ぶれ補正機構２５は、撮像素子２３をシフトすることにより、被写体像と撮像素子２３との位置を相対的にシフトして像ぶれを抑制するものとなっている。ただし、この構成に限定されるものではなく、レンズ１１の少なくとも一部を移動して像ぶれを補正する像ぶれ補正機構２５であってもよいし、撮像素子２３をシフトする構成と、レンズ１１の少なくとも一部を移動する構成と、の両方を備える像ぶれ補正機構２５であっても構わない。
【0038】
具体的に、像ぶれ補正機構２５は、例えばホール素子とボイスコイルモータとを含み、撮像素子２３を含む撮像ユニットをボイスコイルモータの磁力で宙に浮かせて、ホール素子により位置を検出しながら、磁力を制御することにより位置を移動するものとなっている。ただし、像ぶれ補正機構２５は、ボイスコイルモータおよびホール素子を用いる構成に限定されるものではなく、その他の駆動源や位置検出部を用いた適宜の構成を採用して構わない。
【0039】
像ぶれ補正ドライバ２６は、像ぶれ補正機構２５を制御して、撮像素子２３に結像される被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御部である。像ぶれ補正ドライバ２６は、本体側マイクロコンピュータ４１からの制御命令に基づき、像ぶれ補正機構２５の制御状態のフィードバックを受けて、像ぶれ補正機構２５を制御する。
【0040】
ここに、画素ずらしは、画素ずらし超解像撮影モードが設定された場合に、被写体像と撮像素子２３との相対的な位置を、画素ピッチ 、または画素ピッチよりも小さい移動単位（例えば、１画素ピッチ単位、０．５画素ピッチ単位、０．３画素ピッチ単位など）でずらす処理である。
【0041】
また、本体側マイクロコンピュータ４１は、例えば、撮像装置１に生じている手ぶれ等のぶれ量を検出するための図示しないぶれ量検出センサ等の出力に基づいて、像ぶれ補正ドライバ２６を制御するための制御命令を生成する。そして、像ぶれ補正ドライバ２６は、本体側マイクロコンピュータ４１からの制御命令に基づき、検出された像ぶれを打ち消すように（つまり、検出された像ぶれ方向の逆方向に、検出された像ぶれの大きさのシフト量だけ）撮像素子２３をシフトするよう像ぶれ補正機構２５を制御することで、像ぶれ補正を行う。
【0042】
インタフェース２７は、レンズ側マイクロコンピュータ１５と、本体側マイクロコンピュータ４１とを、双方向に通信できるように接続する。
【0043】
アナログ処理回路２８は、撮像素子２３から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
【0044】
Ａ／Ｄ変換器２９は、アナログ処理回路２８から出力されたアナログ画像信号をデジタル画像信号（ＲＡＷ（ロー）画像データ）に変換する。
【0045】
バス３０は、撮像装置１内のある場所で発生した各種のデータや制御信号を、撮像装置１内の他の場所へ転送するための転送路である。本実施形態におけるバス３０は、Ａ／Ｄ変換器２９、ＤＲＡＭ３１と、ＡＦ処理回路３２と、ＡＥ処理回路３３と、画像処理回路３４と、ＬＣＤドライバ３５と、メモリＩ／Ｆ３７と、本体側マイクロコンピュータ４１と、に接続されている。
【0046】
Ａ／Ｄ変換器２９から出力されたＲＡＷ画像データは、バス３０を経由して転送され、ＤＲＡＭ３１に一旦記憶される。
【0047】
ＤＲＡＭ３１は、上述したＲＡＷ画像データ、画像処理回路３４等において処理された画像データ等の各種データを一時的に記憶する記憶素子である。
【0048】
ＡＦ処理回路３２は、バス３０を経由して入力されるＲＡＷ画像データから高周波成分の信号を抽出して、ＡＦ（オートフォーカス）積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ１１のＡＦ駆動に用いられる。なお、ＡＦがこのようなコントラストＡＦに限定されないことは勿論であり、例えば専用のＡＦセンサ（あるいは撮像素子２３上のＡＦ用画素）を用いて位相差ＡＦを行うように構成しても構わない。
【0049】
ＡＥ処理回路３３は、バス３０を経由して入力されるＲＡＷ画像データから輝度成分を抽出し、抽出した輝度成分に基づき適正露光条件（適正露光を与える、例えばＴｖ，Ａｖ，Ｓｖ等の各値）を算出する。ここで算出された適正露光条件は、自動露出（ＡＥ）制御に用いられる。ＡＥ制御の具体例は、Ａｖ値に基づく光学絞り１２の制御、Ｔｖ値に基づくメカニカルシャッタ２１の制御、あるいはＴｖ値に基づく撮像素子２３の露光タイミング制御（いわゆる電子シャッタの制御）、Ｓｖ値に基づくアナログ処理回路２８のゲイン制御（あるいは画像処理回路３４等のデジタルゲイン制御）等である。
【0050】
画像処理回路３４は、バス３０を経由して入力されるＲＡＷ画像データに対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの各種の画像処理を行う。なお、静止画や動画を記録媒体３８に記録する際あるいは記録媒体３８から読み出す際のデータ圧縮／データ伸張は、この画像処理回路３４により行っても構わないし、専用の圧縮伸張回路を設けて行うようにしてもよい。
【0051】
ＬＣＤドライバ３５は、表示デバイス駆動部であり、画像処理回路３４により画像処理された後にＤＲＡＭ３１に記憶されている画像データを読み出して、読み出した画像データを映像信号に変換し、ＬＣＤ３６を駆動制御して映像信号に基づく画像をＬＣＤ３６に表示させる。
【0052】
ＬＣＤ３６は、表示デバイスであり、上述したようなＬＣＤドライバ３５の駆動制御により、画像を表示すると共に、この撮像装置１に係る各種の情報を表示する。ここでは表示デバイスとしてＬＣＤ３６を用いたが、これに限らず、有機ＥＬ（有機エレクトロルミネッセンス）などの他の表示デバイスを用いても構わない。
【0053】
メモリＩ／Ｆ３７は、記録媒体３８へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体３８からの画像データの読み出しも行う。
【0054】
記録媒体３８は、画像データを不揮発に記録する記録部であり、例えばカメラ本体３に着脱できるメモリカード等により構成されている。ただし、記録媒体３８は、メモリカードに限定されず、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であってもよい。また、記録媒体３８は、カメラ本体３に内蔵されるタイプのものであっても構わない。こうして、記録媒体３８は、撮像装置１に固有の構成であることに限定されない。
【0055】
操作デバイス３９は、この撮像装置１に対する各種の操作入力を行うためのものであり、電源ボタン、レリーズボタン、再生ボタン、メニューボタン、十字キー、ＯＫボタン等の操作ボタン類を含んでいる。電源ボタンは、撮像装置１の電源をオン／オフするために用いる。レリーズボタンは、画像の撮影開始を指示するために用いる。レリーズボタンは、例えば２段式操作ボタンとして構成され、１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを備える。再生ボタンは、記録画像の再生を行うために用いる。メニューボタンは、撮像装置１の設定等を行うために用いる。十字キーは、例えば項目の選択操作に用いる。ＯＫボタンは、例えば選択項目の確定操作に用いる。
【0056】
ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（静止画撮影モード、画素ずらし超解像撮影モード、動画撮影モード等）、記録モード、再生モード、像ぶれ補正機能のオン／オフなどが含まれている。操作デバイス３９に対して操作が行われると、操作デバイス３９は、操作内容に応じた信号を本体側マイクロコンピュータ４１へ出力する。
【0057】
フラッシュメモリ４０は、本体側マイクロコンピュータ４１により実行される処理プログラム（画像を撮影するための撮影プログラム、撮像した画像に基づき高解像度画像を合成するための画像処理プログラム等を含む）と、この撮像装置１に係る各種の情報と、を不揮発に記録する、コンピュータにより読み取りできる一時的でない記録媒体である。ここに、フラッシュメモリ４０が記録する情報としては、例えば、撮像装置１を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値などが含まれる。このフラッシュメモリ４０が記録する情報は、本体側マイクロコンピュータ４１により読み取られる。
【0058】
本体側マイクロコンピュータ４１は、撮像装置１を統括的に制御する制御部を構成する。本体側マイクロコンピュータ４１は、カメラ本体３内の各部を制御すると共に、インタフェース２７を経由してレンズ側マイクロコンピュータ１５に指令を送信し交換式レンズ２を制御する。本体側マイクロコンピュータ４１は、ユーザにより操作デバイス３９から操作入力が行われると入力された情報を解析し、フラッシュメモリ４０に記録されている処理プログラムに従って、フラッシュメモリ４０から処理に必要なパラメータを読み込んで、種々の演算処理等を行いながら、操作内容に応じた各種のシーケンスを実行する。
【0059】
また、本体側マイクロコンピュータ４１は、ＡＥ処理回路３３により算出されたＡｖ値に基づき、光学絞り１２を制御する。この制御は、レンズドライバ１３を経由して、レンズ側マイクロコンピュータ１５およびレンズドライバ１３により行われる。本体側マイクロコンピュータ４１は、ＡＥ処理回路３３により算出されたＳｖ値に基づき、アナログ処理回路２８のゲイン制御（あるいは画像処理回路３４のデジタルゲイン制御）を行う。
【0060】
さらに、本体側マイクロコンピュータ４１は、静止画撮影時および画素ずらし超解像撮影時に、ＡＥ処理回路３３により算出されたＴｖ値に基づくメカニカルシャッタ２１（あるいは、上述した電子シャッタ）の制御を、シャッタドライバ２２（あるいは撮像素子ドライバ２４）を経由して行う。
【0061】
像ぶれ補正機能がオンに設定されていて、かつ、撮像装置１に画素ずらし超解像撮影モードが設定されている場合には、像ぶれ補正ドライバ２６を経由した本体側マイクロコンピュータ４１の制御の下に、像ぶれ補正機構２５が像ぶれ補正と画素ずらしとを行う。
【0062】
本体側マイクロコンピュータ４１は、撮像装置１に画素ずらし超解像撮影モードが設定された場合、フラッシュメモリ４０に記憶された高解像度画像を合成するための画像処理プログラムに従い、画素ずらしを行いながら取得される複数枚の画像データを合成して、１枚の合成画像データ（高解像度画像データ）を生成する。ここに、高解像度画像は、撮像素子２３から得られる１フレームの画像よりも解像度が高い画像である。従って、本体側マイクロコンピュータ４１、フラッシュメモリ４０、および画像データを記憶するＤＲＡＭ３１は、画像合成部として機能するプロセッサである。
【0063】
なお、ここでは本体側マイクロコンピュータ４１を含むプロセッサが画像合成部として機能する例を挙げたが、これに限定されるものではなく、例えば画像処理回路３４が画像合成部として機能してもよいし、図示しない別のプロセッサが画像合成部として機能するように構成しても構わない。プロセッサは、メモリに記憶されたコンピュータプログラム（ソフトウェア）に従ってＣＰＵが処理を行うコンピュータとして構成される以外に、ＦＰＧＡ（Field Programmable Gate Array）などにより構成されていてもよいし、処理を専用に行う電子回路により構成されていても構わない。
【0064】
本実施形態の構成例では、本体側マイクロコンピュータ４１を含むプロセッサが、第１の動き検出部として機能し、露光時間が異なる複数枚の画像データに周波数解析を行って、画像データ中の動き領域を検出する。
【0065】
また、本体側マイクロコンピュータ４１を含むプロセッサは、第２の動き検出部として機能し、露光時刻が異なる複数枚の画像データにブロックマッチング（ＢＭ：Block Matching）を行って、画像データ中の被写体像の動き検出情報を取得する。
【0066】
さらに、本体側マイクロコンピュータ４１を含むプロセッサは、撮像素子２３、第１の動き検出部、第２の動き検出部、および画像合成部を制御する制御部として機能する。
【0067】
【0068】
高解像度画像を生成するための複数枚の画像を撮影するときに、像ぶれ補正機能がオフであると、複数枚の画像の周辺部では写っている被写体が一致せず、画像の周辺部において高解像度画像を生成できなくなる。従って、画素ずらし超解像撮影モードでは、像ぶれ補正機能がオンになっていることを基本とするのが好ましい。このため以下では、像ぶれ補正機能がオンに設定されていて、画素ずらし超解像撮影モードが設定されているものとして説明する。なお 、三脚にカメラを固定して撮影する場合は、像ぶれ補正機能をオフとして、像ぶれ補正機能による誤差要因を抑制してもよい。
【0069】
処理を開始すると、ＡＥ処理回路３３により設定された適正露光条件に基づいて短露光時間Ｓ（第１の露光時間）および長露光時間Ｌ（第１の露光時間より長い第２の露光時間）を設定すると共に、画素ずらし超解像撮影モードに基づく合成枚数Ｎを設定する（ステップＳ１）。
【0070】
撮影枚数をカウントするためのカウンタｎに０を設定して（ステップＳ２）、ｎ＜Ｎであるか否かを判定する（ステップＳ３）。
【0071】
ここで、ｎ＜Ｎであると判定された場合、短露光時間Ｓで短露光画像ＦＳ（ｎ）（第１の画像データ）を撮影する（ステップＳ４）。その後、ｎをインクリメントしてから（ステップＳ５）、ステップＳ３に戻る。ステップＳ３においてｎ≧Ｎになったと判定されるまで、ステップＳ４およびステップＳ５の処理を繰り返して行う。これにより、プロセッサを構成する本体側マイクロコンピュータ４１は、撮像素子２３に短露光時間Ｓの露光を複数回行わせて、露光時刻が異なる複数枚の短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）を取得させる。ここで、図６は、短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）および長露光画像ＦＬの撮影順序を示すタイミングチャートである。
【0072】
ステップＳ３において、ｎ≧Ｎであると判定された場合、プロセッサを構成する本体側マイクロコンピュータ４１は、撮像素子２３に長露光時間Ｌの露光を行わせて、長露光画像ＦＬ（第２の画像データ）を取得させる（ステップＳ６）。つまり、長露光画像ＦＬは、図６に示すように、短露光画像ＦＳ（Ｎ－１）の次に撮影される。このとき、本体側マイクロコンピュータ４１は、長露光画像ＦＬの露光量が、短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）の露光量と同等になるように、光学絞り１２を制御する。
【0073】
なお、短露光画像ＦＳ（ｎ）および長露光画像ＦＬを撮影する際の露光時間の制御は、例えばメカニカルシャッタ２１により行う。この場合、電子シャッタよりも幕速が早いために、動く被写体の歪み（いわゆるローリングシャッタ歪み）を小さくできる。
【0074】
または、露光時間の制御を、例えば撮像素子２３の電子シャッタにより行ってもよい。電子シャッタはメカニカルシャッタ２１のようなシャッタチャージが不要であるために、露光間のタイムラグを短縮できる。これにより、最初の短露光画像ＦＳ（０）と、最後の短露光画像ＦＳ（Ｎ－１）との間における動く被写体の移動量を小さくできる。
【0075】
さらに、図６に示す撮影順序では、長露光画像ＦＬを最後に撮影しているが、例えば最初に長露光画像ＦＬを撮影してから複数枚の短露光画像を撮影しても良い。この場合には、第１動き検出は、長露光画像ＦＬと最初に撮影された短露光画像（つまり、長露光画像ＦＬと最も撮影時刻が近く、相関性が高い短露光画像）とを用いて行うとよい。さらに、これらの例に限らず、その他の順序で長露光画像ＦＬを撮影しても構わない。
【0076】
また、図６に示す例では、長露光画像ＦＬを１枚だけ撮影しているが、２枚以上撮影して動き検出情報量を増やしてもよい。
【0077】
長露光画像ＦＬを撮影したら、本体側マイクロコンピュータ４１を含むプロセッサは、第１動き検出の処理を行う（ステップＳ７）。図３は第１動き検出の処理を示すフローチャートである。
【0078】
図３の処理に入ると、図９の２Ａ欄に示す長露光画像ＦＬの着目領域に周波数解析フィルタ演算（フィルタ処理）を行うことを、例えば着目領域をラスタスキャン順で移動しながら行って、図９の２Ｂ欄に示す長露光フィルタ画像ＷＬを生成する（ステップＳ２１）。
【0079】
図９は、短露光画像ＦＳ（Ｎ－１）と長露光画像ＦＬに対する周波数解析の例を示す図である。図１０は、周波数解析に用いるフィルタの一例を示す図である。図１０に示すフィルタは、２次元ラプラシアンフィルタであり、２次元のエッジを抽出できる基本的なフィルタの１つである。なお、周波数解析に用いるフィルタは、２次元ラプラシアンフィルタに限定されず、エッジ抽出フィルタにも限定されない。
【0080】
次に、図９の１Ａ欄に示す短露光画像ＦＳ（Ｎ－１）の着目領域に周波数解析フィルタ演算を行うことを、例えば着目領域をラスタスキャン順で移動しながら行って、図９の１Ｂ欄に示す短露光フィルタ画像ＷＳ（Ｎ－１）を生成する（ステップＳ２２）。ここで、複数の短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）の中の、短露光画像ＦＳ（Ｎ－１）を用いる理由は、撮影時刻が長露光画像ＦＬに最も近く、長露光画像ＦＬとの相関性が最も高いためである（図６参照）。
【0081】
長露光画像ＦＬは、短露光画像ＦＳ（Ｎ－１）と比べると、移動する被写体の画像部分（図示の例ではトラックの画像部分）がぶれてエッジが不明瞭になる（図９における、１Ｂ欄の白枠部分と２Ｂ欄の白枠部分を参照）。このため、長露光フィルタ画像ＷＬは、短露光フィルタ画像ＷＳ（Ｎ－１）と比べると、移動する被写体の画像部分に検出されるエッジ成分が減少する。そこで、エッジ成分が多い短露光フィルタ画像ＷＳ（Ｎ－１）から、エッジ成分が少ない長露光フィルタ画像ＷＬを減算して、差分画像を生成する（ステップＳ２３）。
【0082】
さらに、差分画像におけるノイズの影響を低減するために、差分画像に平滑化フィルタをかけて、平滑化差分画像を生成する（ステップＳ２４）。なお、ノイズの影響を考慮しなくてもよい場合には、このステップＳ２４の処理を省略しても構わない。
【0083】
平滑化差分画像において、ある閾値以上のエッジ成分が残っている画素領域（長露光画像においてエッジ成分が減少した画素領域）を動き領域に設定して（ステップＳ２５）、図２に示す処理にリターンする。なお、 周波数解析の方法として、フィルタを用いる方法の他、フーリエ変換により周波数成分を抽出して長露光画像ＦＬと短露光画像ＦＳ（Ｎ－１）の周波数成分の差を解析してもよい。
【0084】
ステップＳ７の第１動き検出の処理を行ったら、１フレームの画像よりも画素数が多い合成画像Ｐに対して短露光画像ＦＳ（ｎ）の各画素を配置する処理に入る。まず、最初に撮影した短露光画像ＦＳ（０）の各画素を合成画像Ｐに配置する（ステップＳ８）。
【0085】
次に、カウンタｎに１を設定して（ステップＳ９）、ｎ＜Ｎであるか否かを判定する（ステップＳ１０）。
【0086】
ここで、ｎ＜Ｎであると判定された場合、本体側マイクロコンピュータ４１を含むプロセッサは、第２動き検出の処理を行う（ステップＳ１１）。図４は、第２動き検出の処理を示すフローチャートである。
【0087】
図４の処理に入ると、短露光画像ＦＳ（０）にテンプレート領域Ｒ０を設定する（ステップＳ３１）。図７は、ブロックマッチングを説明するための図である。図７のＡ欄は、短露光画像ＦＳ（０）内の探索領域ＲＡに、複数画素で構成されるテンプレート領域Ｒ０を設定した様子を示している。なお、探索領域ＲＡは、テンプレート領域Ｒ０を含む、テンプレート領域Ｒ０よりも大きい領域である。
【0088】
次に、図７のＢ欄に示すように、ｎ≧１の短露光画像ＦＳ（ｎ）内の探索領域ＲＢに、ターゲット領域Ｒ１を設定する（ステップＳ３２）。ターゲット領域Ｒ１は、テンプレート領域Ｒ０と同じ大きさの領域である。短露光画像ＦＳ（ｎ）における探索領域ＲＢは、短露光画像ＦＳ（０）における探索領域ＲＡと同一位置に、探索領域ＲＡと同じ大きさで設定される。ターゲット領域Ｒ１の初期位置は、例えば、テンプレート領域Ｒ０と同一位置に設定する。
【0089】
そして、テンプレート領域Ｒ０とターゲット領域Ｒ１とで画素毎の差分絶対値の積算値ＳＡＤ（Sum of Absolute Difference）を、例えば、
ＳＡＤ＝Σ｜Ｒ１（ｉ，ｊ）－Ｒ０（ｉ，ｊ）｜
により算出する（ステップＳ３３）。ここで、（ｉ，ｊ）はターゲット領域Ｒ１およびテンプレート領域Ｒ０内における画素座標であり、Σは領域内の（ｉ，ｊ）についてとる。また、絶対値を算出するのは、正のエッジ成分の強度と負のエッジ成分の強度との両方を評価するためである。
ＳＡＤ＝Σ｜Ｒ１（ｉ，ｊ）－Ｒ０（ｉ，ｊ）｜
により算出する（ステップＳ３３）。ここで、（ｉ，ｊ）はターゲット領域Ｒ１およびテンプレート領域Ｒ０内における画素座標であり、Σは領域内の（ｉ，ｊ）についてとる。また、絶対値を算出するのは、正のエッジ成分の強度と負のエッジ成分の強度との両方を評価するためである。
【0090】
なお、ここでは計算量が小さいＳＡＤを算出したが、これに代えて、より計算量が大きいＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）などを算出しても構わない。
【0091】
次に、探索領域ＲＢ内におけるターゲット領域Ｒ１の移動が終了したか否かを判定する（ステップＳ３４）。ここで移動が終了していないと判定された場合には、探索領域ＲＢ内においてターゲット領域Ｒ１を移動し（ステップＳ３５）、ステップＳ３３へ戻ってＳＡＤを算出する。
【0092】
こうして、ステップＳ３４においてターゲット領域Ｒ１の移動が終了したと判定された場合には、ＳＡＤが最小値となるターゲット領域Ｒ１の位置（図７のＢ欄において破線で示すターゲット領域Ｒ１の位置）が、テンプレート領域Ｒ０が移動した位置として探索され、図７のＢ欄において白抜き矢印で示すような移動ベクトル（動き検出情報）が検出される（ステップＳ３６）。
【0093】
なお、ステップＳ３６において、移動ベクトルが正しく検出されない場合には、ステップＳ３６の処理を行う時点で設定されていたテンプレート領域Ｒ０について、動き検出が失敗した旨の情報をＤＲＡＭ３１等に記憶しておく。移動ベクトルが正しく検出されない場合の例は、ＳＡＤの最小値が所定の閾値よりも大きい場合（つまり、ターゲット領域Ｒ１の被写体とテンプレート領域Ｒ０の被写体との整合性が所定値よりも低い場合）、ＳＡＤの最小値は所定の閾値以下であるが、ＳＡＤが最小値となるターゲット領域Ｒ１が複数探索された場合、などである。
【0094】
続いて、短露光画像ＦＳ（０）内におけるテンプレート領域Ｒ０の移動が終了したか否かを判定し（ステップＳ３７）、移動が終了していないと判定された場合には、短露光画像ＦＳ（０）内においてテンプレート領域Ｒ０を移動する（ステップＳ３８）。テンプレート領域Ｒ０は、短露光画像ＦＳ（０）内において、例えばラスタスキャン順で移動される。その後、ステップＳ３２へ戻って上述したような処理を行う。
【0095】
ステップＳ３７において、テンプレート領域Ｒ０の移動が終了したと判定された場合には、図２に示す処理にリターンする。
【0096】
図８は、ブロックマッチングに適さない領域の例を説明するための図である。図８の例では、画像内に右方向に移動するトラックの画像部分があり、コンテナの画像部分に繰り返しパターン（繰り返し模様）があるものとする。
【0097】
図８のＡ欄に示すように、短露光画像ＦＳ（０）におけるコンテナの画像部分にテンプレート領域Ｒ０を設定し、ｎ≧１の短露光画像ＦＳ（ｎ）にターゲット領域Ｒ１を設定して、探索領域ＲＢ内においてターゲット領域Ｒ１を移動したとする。すると、例えば複数の位置にあるターゲット領域Ｒ１－１，Ｒ１－２において、ＳＡＤの最小値が算出される。正しい移動ベクトルが検出されるべきターゲット領域が仮にＲ１－１であるとしても、ターゲット領域Ｒ１－２でもＳＡＤの最小値が算出されると、Ｒ１－１とＲ１－２の何れの領域が正しい移動ベクトルを与えるかを判断できない。すると、正しい移動ベクトルが検出できず、コンテナの画像部分に動きがあるかどうかも判断できない。
【0098】
このような点を考慮して、本体側マイクロコンピュータ４１を含むプロセッサは、ステップＳ１１に続く、ＦＳ（ｎ）配置の処理を行う（ステップＳ１２）。図５は、短露光画像ＦＳ（ｎ）配置の処理を示すフローチャートである。
【0099】
図５の処理に入ると、短露光画像ＦＳ（ｎ）内における画素の１つを対象画素に設定し、対象画素が動き領域内の画素であるか否かを判定する（ステップＳ４１）。
【0100】
ここで動き領域内の画素であると判定された場合には、さらに、第２動き検出が成功した画素であるか否かを判定する（ステップＳ４２）。
【0101】
ステップＳ４１において動き領域内の画素でないと判定された場合、またはステップＳ４２において第２動き検出が成功した画素であると判定された場合には、ステップＳ１１の第２動き検出においてブロックマッチングにより得られた移動ベクトルに応じて、合成画像Ｐの内に対象画素を配置する（ステップＳ４３）。すなわち、本体側マイクロコンピュータ４１は、動き領域における動き検出情報の取得が成功した領域、および動き領域以外の領域について、動き検出情報に基づき、合成画像データに画素を配置する。
【0102】
一方、ステップＳ４２において、第２動き検出が失敗した画素であると判定された場合には、ステップＳ４３の処理をスキップする。すなわち、本体側マイクロコンピュータ４１は、動き領域における動き検出情報の取得が失敗した領域について、合成画像データに画素を配置しない。これにより、移動ベクトルが正確に算出されない場合にアーティファクトが生じないようにし、画質が劣化するのを抑制できる。
【0103】
次に、短露光画像ＦＳ（ｎ）内の全ての画素を対象画素にした処理が行われたか否かを判定し（ステップＳ４４）、まだ対象画素になっていない画素がある場合には、対象画素の画素位置を移動してから（ステップＳ４５）、ステップＳ４１へ戻って上述した処理を行う。
【0104】
こうして、ステップＳ４４において、短露光画像ＦＳ（ｎ）内の全ての画素を対象画素にした処理が行われたと判定された場合には、図２に示す処理にリターンする。
【0105】
ステップＳ１２の処理を行ったら、ｎをインクリメントしてから（ステップＳ１３）、ステップＳ１０に戻る。ステップＳ１０においてｎ≧Ｎになったと判定されるまで、ステップＳ１１～ステップＳ１３の処理を繰り返して行う。これにより、短露光画像ＦＳ（１）～ＦＳ（Ｎ－１）の各画素が合成画像Ｐに配置される。
【0106】
ステップＳ１０において、ｎ≧Ｎであると判定された時点で、ステップＳ８において処理されたＦＳ（０）を含めて、短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）の各画素が、Ｓ４３の処理をスキップした場合を除いて合成画像Ｐに配置されている。
【0107】
続いて、本体側マイクロコンピュータ４１を含むプロセッサは、配置された各画素に基づき、合成画像Ｐを生成する（ステップＳ１４）。合成画像Ｐ内には、複数の短露光画像から１つ以上の画素が配置された画素位置が存在し、１つの画素も配置されていない画素位置が存在することもある。そこで、複数の画素が配置された画素位置については、画素値の積算値を画素数で割ることで正規化された画素値を算出する。また、１つの画素も配置されていない画素位置については、正規化された周辺の画素値から補間を行って、画素値を算出する。
【0108】
合成画像が生成されたら、本体側マイクロコンピュータ４１の制御により、必要に応じてＬＣＤ３６に合成画像を表示すると共に、記録媒体３８へ合成画像を記録して（ステップＳ１５）、図２の処理から図示しないメイン処理にリターンする。
【0109】
このような第１の実施形態によれば、露光時間が異なる複数枚の画像データに周波数解析を行って動き領域を検出し、露光時刻が異なる複数枚の画像データにブロックマッチングを行って動き検出情報を取得し、動き領域における動き検出情報の取得が失敗した領域については、合成画像データに画素を配置しないようにした。このために、ブロックマッチングが苦手な画像部分があってもアーティファクトの発生を防ぎ、画質が劣化するのを抑制できる。これにより、撮像素子２３により生成される画像データよりも高解像度の合成画像データを、適切に生成できる。
【0110】
また、第２の画像データの露光量が、第１の画像データの露光量と同等になるように、光学絞り１２を制御することで、周波数解析の精度を向上できる。
【0111】
さらに、露光時間をメカニカルシャッタ２１により制御する場合には、動く被写体の歪みを小さくできる。一方、露光時間を撮像素子２３の電子シャッタにより制御する場合には、露光間のタイムラグを短縮して、動く被写体の移動量を小さくできる。
［第２の実施形態］
［第２の実施形態］
【0112】
図１１から図１３は本発明の第２の実施形態を示したものであり、図１１はラインに応じて露光時間を異ならせることができる撮像素子の例を示す図である。この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
【0113】
本実施形態における撮像装置１の構成は、第１の実施形態の図１に示した構成と基本的に同様である。ただし、撮像素子２３が、複数の画素が配列された複数のラインの内の、第１ライン群と第２ライン群とで異なる露光時間を制御可能な電子シャッタを備える構成となっている。
【0114】
図１１に示すように、撮像素子２３は、原色ベイヤ配列でＲ画素、Ｇｒ画素、Ｂ画素、およびＧｂ画素が配列されている。（２，２）画素の基本配列でなるライン（基本配列ライン）（Ｒ画素およびＧｒ画素のラインと、該ラインに隣接するＢ画素およびＧｂ画素のラインでなる２ライン）に着目したときに、例えば奇数番目の基本配列ラインをラインＡ、偶数番目の基本配列ラインをラインＢと呼ぶことにする。このとき、撮像素子２３は、第２ライン群を構成するラインＡと、第１ライン群を構成するラインＢとで、異なる露光時間を制御可能となっている。
【0115】
図１２は、ラインＡ，Ｂに応じた短露光画像ＦＡＳ（ｎ），ＦＢＳ（ｎ）および長露光画像ＦＡＬ（Ｎ）の撮影順序を示すタイミングチャートである。図１３は、撮像装置１における合成画像生成時の処理を示すフローチャートである。
【0116】
【0117】
ステップＳ４の処理に代えて、ラインＡ，Ｂで短露光画像ＦＳ（ｎ）を撮影する（ステップＳ４Ａ）。具体的に、図１２に示すように、ラインＡで短露光画像ＦＡＳ（ｎ）を取得し、ラインＢで短露光画像ＦＢＳ（ｎ）を取得して、ＦＡＳ（ｎ）とＦＢＳ（ｎ）とを１つの画像にまとめることで、短露光画像ＦＳ（ｎ）が生成される。
【0118】
ステップＳ６の処理に代えて、図１２に示すように、ラインＡ（第２ライン群）で長露光画像ＦＡＬ（Ｎ）を取得し、ラインＢ（第１ライン群）で短露光画像ＦＢＳ（Ｎ）を取得する（ステップＳ６Ａ）。なお、ラインＡで短露光画像ＦＡＳ（Ｎ）を取得し、ラインＢで長露光画像ＦＢＬ（Ｎ）を取得しても構わない。この場合には、ラインＡが第１ライン群となり、ラインＢが第２ライン群となる。
【0119】
すなわち、プロセッサを構成する本体側マイクロコンピュータ４１は、撮像素子２３の第１ライン群に第１の露光時間の露光を行わせて、第１ライン群に係る第１の画像データを取得させると同時に、撮像素子２３の第２ライン群に第１の露光時間より長い第２の露光時間の露光を行わせて、第２ライン群に係る第２の画像データを取得させる。
【0120】
この処理を行うことで、長露光画像ＦＡＬ（Ｎ）と短露光画像ＦＢＳ（Ｎ）は同時に取得され、異なる撮影時刻に取得する場合よりも、画像の相関性を高めることができる。このとき、相関性をより一層高めるために、長露光画像ＦＡＬ（Ｎ）の露光中心時刻と短露光画像ＦＢＳ（ｎ）の露光中心時刻とを一致させることが好ましい。
【0121】
ステップＳ７の処理に代えて、長露光画像ＦＡＬ（Ｎ）と短露光画像ＦＢＳ（Ｎ）とを用いて第１動き検出を行う（ステップＳ７Ａ）。第１動き検出の処理は、用いる画像が長露光画像ＦＡＬ（Ｎ）および短露光画像ＦＢＳ（Ｎ）になる点を除いて、図３に示した処理と同様である。
【0122】
すなわち、プロセッサを構成する本体側マイクロコンピュータ４１は、第１ライン群に係る第１の画像データと、第２ライン群に係る第２の画像データとを用いて、動き領域を検出する。
【0123】
長露光画像ＦＡＬ（Ｎ）と短露光画像ＦＢＳ（Ｎ）は、画像の解像度がそれぞれ通常の半分となるが、第１動き検出において、周波数解析を行うには支障のない解像度の画像である。しかしこれらの画像は、解像度を重視する高解像度の画像合成には用いない。画像合成に用いるのは、ラインＡとラインＢを同じ短露光時間Ｓに設定して取得した、フル解像度の短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）とする。また、第２動き検出において、ブロックマッチングに用いるのもフル解像度の短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）である。
【0124】
従って、ステップＳ８以降の処理は、図２と同様である。
【0125】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、同時に取得した相関性の高い長露光画像ＦＡＬ（Ｎ）および短露光画像ＦＢＳ（Ｎ）を用いて周波数解析を行うようにしたために、画像データ中の動き領域を、より高精度に検出することができる。
【0126】
なお、上述では本発明が撮像装置である場合を主として説明したが、これに限定されるものではなく、露光時刻が異なる第１の露光時間の複数枚の第１の画像データと、第１の露光時間より長い第２の露光時間の第２の画像データと、に基づき合成画像を生成する画像処理装置であっても構わない。
【0127】
具体的に、撮像装置１において、例えば短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）と長露光画像ＦＬとを取得して記録媒体３８に記憶する。次に、記録媒体３８をＣＰＵおよびメモリを有するコンピュータに接続して、短露光画像ＦＳ（０）～ＦＳ（Ｎ－１）と長露光画像ＦＬとを、コンピュータのメモリに記憶させる。また、コンピュータのメモリには、高解像度画像を合成するためのコンピュータプログラムが記憶されている。このコンピュータプログラムをコンピュータに実行させることで、第１の動き検出、第２の動き検出、および画像合成の処理を行わせても構わない。この場合、ＣＰＵおよびメモリを有するコンピュータが画像処理装置として機能することになる。
【0128】
さらに、本発明は、撮像装置、画像処理装置に限らず、撮像装置と同様の処理を行う撮像方法、画像処理装置と同様の処理を行う画像処理方法、コンピュータに撮像方法と同様の処理を行わせるためのコンピュータプログラム、コンピュータに画像処理方法と同様の処理を行わせるためのコンピュータプログラム、これらのコンピュータプログラムの何れかを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体、等であっても構わない。
【0129】
ここで、コンピュータプログラム製品を記憶する記憶媒体の幾つかの例は、フレキシブルディスクもしくはＣＤ－ＲＯＭ等の可搬記憶媒体、またはＨＤＤ（ハードディスク）、ＳＳＤ（Solid State Drive）等の記憶媒体などである。記憶媒体に記憶されるのは、コンピュータプログラムの全部に限らず、一部であっても構わない。また、コンピュータプログラムの全体もしくは一部を、通信ネットワークを経由して流通または提供してもよい。利用者は、記憶媒体からコンピュータプログラムをコンピュータにインストールすることで、または通信ネットワークを経由してコンピュータプログラムをダウンロードしコンピュータにインストールすることで、コンピュータプログラムがコンピュータにより読み取られて、動作の全部もしくは一部が実行され、上述した撮像装置、画像処理装置の動作を実行することができる。
【0130】
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【0131】
１…撮像装置
２…交換式レンズ
３…カメラ本体
１１…レンズ
１２…光学絞り
１３…レンズドライバ
１４…絞りドライバ
１５…レンズ側マイクロコンピュータ
１６…フラッシュメモリ
２１…メカニカルシャッタ
２２…シャッタドライバ
２３…撮像素子
２４…撮像素子ドライバ
２５…像ぶれ補正機構
２６…像ぶれ補正ドライバ
２７…インタフェース
２８…アナログ処理回路
２９…Ａ／Ｄ変換器
３０…バス
３１…ＤＲＡＭ
３２…ＡＦ処理回路
３３…ＡＥ処理回路
３４…画像処理回路
３５…ＬＣＤドライバ
３６…ＬＣＤ
３７…メモリＩ／Ｆ
３８…記録媒体
３９…操作デバイス
４０…フラッシュメモリ
４１…本体側マイクロコンピュータ
２…交換式レンズ
３…カメラ本体
１１…レンズ
１２…光学絞り
１３…レンズドライバ
１４…絞りドライバ
１５…レンズ側マイクロコンピュータ
１６…フラッシュメモリ
２１…メカニカルシャッタ
２２…シャッタドライバ
２３…撮像素子
２４…撮像素子ドライバ
２５…像ぶれ補正機構
２６…像ぶれ補正ドライバ
２７…インタフェース
２８…アナログ処理回路
２９…Ａ／Ｄ変換器
３０…バス
３１…ＤＲＡＭ
３２…ＡＦ処理回路
３３…ＡＥ処理回路
３４…画像処理回路
３５…ＬＣＤドライバ
３６…ＬＣＤ
３７…メモリＩ／Ｆ
３８…記録媒体
３９…操作デバイス
４０…フラッシュメモリ
４１…本体側マイクロコンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】