特開2024-35445画像処理装置、画像処理方法、およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035445
(43)【公開日】2024-03-14
(54)【発明の名称】画像処理装置、画像処理方法、およびコンピュータプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20240307BHJP
H04N 25/10 20230101ALI20240307BHJP
G06T 3/4053 20240101ALI20240307BHJP
G03B 7/00 20210101ALI20240307BHJP
【ＦＩ】
H04N5/232 290
H04N9/07 A
G06T3/40 730
G03B7/00
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022139901
(22)【出願日】2022-09-02
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】小野村 研一
【テーマコード（参考）】
2H002
5B057
5C065
5C122
【Ｆターム（参考）】
2H002GA00
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5B057CE06
5B057DA07
5B057DB02
5B057DB06
5B057DB09
5C065BB10
5C065BB48
5C065CC09
5C065DD01
5C122EA38
5C122FH04
5C122FH09
5C122FH11
5C122FH18
5C122HA42
5C122HA88
5C122HB01
(57)【要約】
【課題】画質の高い高解像度画像をより安定して生成できる画像処理装置等を提供する。
【解決手段】画像処理装置は、画像処理部２８を備える。画像処理部２８は、複数の画像と位置ずれ量とを取得し対象画素位置を決定する（Ｓ３３）。画像処理部２８は、第１の画素配置法により、対象画素の近傍領域内の各画素の位置と、対象画素位置と、の距離指標に応じた比率を算出し（Ｓ３５）、対象画素の画素値を比率に基づき分配した重み付け画素値を算出し、重み付け画素値の積算画素値（Ｓ３６）および比率積算値（Ｓ３７）を算出し、積算画素値および比率積算値に基づき画素値を算出して、高解像度画像を生成する。
【選択図】図４
【解決手段】画像処理装置は、画像処理部２８を備える。画像処理部２８は、複数の画像と位置ずれ量とを取得し対象画素位置を決定する（Ｓ３３）。画像処理部２８は、第１の画素配置法により、対象画素の近傍領域内の各画素の位置と、対象画素位置と、の距離指標に応じた比率を算出し（Ｓ３５）、対象画素の画素値を比率に基づき分配した重み付け画素値を算出し、重み付け画素値の積算画素値（Ｓ３６）および比率積算値（Ｓ３７）を算出し、積算画素値および比率積算値に基づき画素値を算出して、高解像度画像を生成する。
【選択図】図４
【特許請求の範囲】
【請求項1】
画像処理部を備え、
前記画像処理部は、
位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得し、
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する、
ことを特徴とする画像処理装置。
前記画像処理部は、
位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得し、
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する、
ことを特徴とする画像処理装置。
【請求項2】
前記画像処理部は、前記積算画素値を前記比率積算値に基づき正規化して、前記画素値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記画像処理部は、前記高解像度画像空間上の着目画素の前記比率積算値に応じて、前記着目画素の正規化された前記積算画素値と、前記着目画素の周辺の複数の画素の正規化された前記積算画素値の平均値と、をそれぞれの混合割合で混合して、前記着目画素の前記画素値を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記画像処理部は、前記混合割合を、前記高解像度画像空間の総画素数と、前記複数の画像の合計画素数と、に基づき算出することを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記画像処理部は、前記距離指標が小さいほど、前記比率を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記高解像度画像空間は、複数の画素を、一方向と、前記一方向に交差する他方向とに配列して構成され、
前記距離指標は、２次元の前記高解像度画像空間上における、前記近傍領域内の各画素の位置と前記対象画素位置との、前記一方向の第１距離と、前記他方向の第２距離と、であることを特徴とする請求項５に記載の画像処理装置。
前記距離指標は、２次元の前記高解像度画像空間上における、前記近傍領域内の各画素の位置と前記対象画素位置との、前記一方向の第１距離と、前記他方向の第２距離と、であることを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記距離指標は、２次元の前記高解像度画像空間上における、前記近傍領域内の各画素の位置と、前記対象画素位置との直線距離であることを特徴とする請求項５に記載の画像処理装置。
【請求項8】
前記画像処理部は、前記第１の画素配置法と、第２の画素配置法と、の何れか一方により高解像度画像を生成可能であり、
前記第２の画素配置法において、
前記対象画素位置に基づき、前記高解像度画像空間上において前記対象画素に最も近接した最近接画素を決定し、
前記対象画素の画素値を、前記最近接画素の画素値に積算して積算画素値を算出し、
前記最近接画素の比率積算値に１を積算し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成し、
前記画像処理部は、前記複数の画像の合計画素数が、前記高解像度画像空間の総画素数の、１以上の所定数倍である場合に、前記第１の画素配置法に代えて、前記第２の画素配置法により高解像度画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記第２の画素配置法において、
前記対象画素位置に基づき、前記高解像度画像空間上において前記対象画素に最も近接した最近接画素を決定し、
前記対象画素の画素値を、前記最近接画素の画素値に積算して積算画素値を算出し、
前記最近接画素の比率積算値に１を積算し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成し、
前記画像処理部は、前記複数の画像の合計画素数が、前記高解像度画像空間の総画素数の、１以上の所定数倍である場合に、前記第１の画素配置法に代えて、前記第２の画素配置法により高解像度画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記近傍領域は、前記対象画素の画素位置を含む２×２画素の領域、３×３画素の領域、または４×４画素の領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項10】
位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得し、
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する、
ことを特徴とする画像処理方法。
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する、
ことを特徴とする画像処理方法。
【請求項11】
コンピュータに、
位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得させ、
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定させ、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定させ、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出させ、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出させ、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出させ、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出させ、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成させる、
ことを特徴とするコンピュータプログラム。
位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得させ、
前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定させ、
第１の画素配置法により、
前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定させ、
前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出させ、
前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出させ、
前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出させ、
前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出させ、
前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成させる、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、位置ずれがある複数の画像から高解像度画像を生成する画像処理装置、画像処理方法、およびコンピュータプログラムに関する。
【背景技術】
【0002】
位置ずれがある複数の画像から高解像度画像を生成する画像処理装置は、従来から提案されている。
【0003】
例えば、国際公開ＷＯ２０１９／０９２８４４号公報には、複数の画像の位置ずれ量を検出し、検出された位置ずれ量に基づき各画像の画素情報を位置合わせして高解像度画像空間上で合成し、高解像度合成画像を生成する技術が記載されている。該公報にはさらに、位置合わせ誤差を評価した結果に基づいて、高解像度合成画像を補正することが記載されている。
【0004】
こうした従来の高解像度画像合成では、撮像して得られた画像の各画素の画素値を、高解像度画像空間上において該当画素に最も近い位置の画素に配置する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】国際公開ＷＯ２０１９／０９２８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来の高解像度画像合成技術において、高解像度画像に画素値が配置されない対象画素がある場合、対象画素の周辺にある画素の画素値から補間処理を行って、対象画素の画素値を生成する。このとき、高解像度画像の全画素数に対する、複数枚の撮像画像のトータルの画素数が十分でないと、画素値が配置されない画素が多くなる。すると、対象画素から離れた位置にある周辺画素の画素値も補間処理に用いることになり、解像度の低下、つまり画質の低下が著しくなってしまう。
【0007】
こうして、従来の高解像度画像合成技術では、高解像度画像の全画素数と、複数枚の撮像画像のトータルの画素数と、の大小関係が変化すると、生成される高解像度画像の画質が急激に低下することがあった。
【0008】
本発明は上記事情に鑑みてなされたものであり、画質の高い高解像度画像をより安定して生成できる画像処理装置、画像処理方法、およびコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明の一態様による画像処理装置は、画像処理部を備え、前記画像処理部は、位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得し、前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、第１の画素配置法により、前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する。
【0010】
本発明の一態様による画像処理方法は、位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得し、前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定し、第１の画素配置法により、前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定し、前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出し、前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出し、前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出し、前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出し、前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成する。
【0011】
本発明の一態様によるコンピュータプログラムは、コンピュータに、位置ずれがある複数の画像と、前記複数の画像の位置ずれ量と、を取得させ、前記位置ずれ量に基づき、前記複数の画像の中の対象画素の、高解像度画像空間上の対象画素位置を決定させ、第１の画素配置法により、前記対象画素位置に基づき、前記高解像度画像空間上における前記対象画素の近傍領域を決定させ、前記近傍領域内の各画素の位置と、前記対象画素位置と、の距離に関連する大きさを示す距離指標に応じた比率を算出させ、前記対象画素の画素値を、前記近傍領域内の各画素に、前記比率に基づき重み付けして分配した重み付け画素値を算出させ、前記重み付け画素値を前記高解像度画像空間上の画素位置毎に積算して積算画素値を算出させ、前記比率を前記高解像度画像空間上の画素位置毎に積算して比率積算値を算出させ、前記高解像度画像空間上の画素位置毎に、前記積算画素値と前記比率積算値とに基づき画素値を算出し、高解像度画像を生成させる。
【発明の効果】
【0012】
本発明の画像処理装置および画像処理方法によれば、画質の高い高解像度画像をより安定して生成できる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態における撮像装置の構成を示すブロック図である。
【図2】上記第１の実施形態において、画素ずらし超解像撮影モードにおける画像処理部の処理を示すフローチャートである。
【図3】上記第１の実施形態における画素配置法決定処理を示すフローチャートである。
【図4】上記第１の実施形態における近傍画素分配法処理を示すフローチャートである。
【図5】上記第１の実施形態における特定位置配置法処理を示すフローチャートである。
【図6】上記第１の実施形態において、高解像度画像空間における対象画素の２×２画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【図7】上記第１の実施形態において、近傍画素分配法により近傍領域の各画素に分配される重み付け画素値と比率との例を示す図表である。
【図8】上記第１の実施形態において、高解像度画像空間における対象画素の２×２画素の近傍領域に、対象画素の画素値を特定位置配置法で配置する例を示す図である。
【図9】上記第１の実施形態において、特定位置配置法により近傍領域の最近接画素に配置される画素値と比率との例を示す図表である。
【図10】上記第１の実施形態において、比率積算値が０でない画素の正規化処理の一例を説明するための図表である。
【図11】上記第１の実施形態において、高解像度空間内の着目画素について、着目画素自体の正規化された画素値と、周辺画素の正規化された画素値とを用いて、どのように補間処理を行うかを説明するためのグラフである。
【図12】上記第１の実施形態において、高解像度空間内の着目画素の補間処理の例を示す図表である。
【図13】本発明の第２の実施形態において、高解像度画像空間における対象画素の３×３画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【図14】上記第２の実施形態において、近傍画素分配法により近傍領域の各画素に分配される重み付け画素値と比率との例を示す図表である。
【図15】上記第２の実施形態において、対象画素の画素位置の条件に応じて定まる正規化の除数ＤＮを示す図表である。
【図16】本発明の第３の実施形態において、高解像度画像空間における対象画素の４×４画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【図17】上記第３の実施形態において、近傍画素分配法により近傍領域の各画素に分配される重み付け画素値と比率との例を示す図表である。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
［第１の実施形態］
［第１の実施形態］
【0015】
【0016】
なお、本実施形態では、撮像装置がデジタルカメラである例を説明する。ここでは、デジタルカメラがレンズ交換式である例を挙げるが、レンズ一体型であっても構わない。さらに、デジタルカメラに限定されず、撮像装置は、撮像機能を備える任意の装置であってよい。
【0017】
撮像装置は、交換式レンズ１とカメラ本体２とを備える。交換式レンズ１とカメラ本体２とは、レンズマウント等を用いて着脱自在に接続される。
【0018】
交換式レンズ１は、レンズ１１と、光学絞り１２と、レンズドライバ１３と、絞りドライバ１４と、フラッシュメモリ１５と、レンズ側マイクロコンピュータ１６と、を備える。
【0019】
レンズ１１は、例えば１枚以上の光学レンズを含む撮影光学系である。レンズ１１は、被写体の光学像（被写体像）をカメラ本体２の後述する撮像素子２２上に結像する。レンズ１１は、フォーカス位置を調整するためのフォーカスレンズを含む。
【0020】
光学絞り１２は、レンズ１１から撮像素子２２へ向かう光束の通過範囲（開口径）を制御し、被写体像の光量を調節する。
【0021】
レンズドライバ１３は、レンズ側マイクロコンピュータ１６からの指令に基づき、レンズ１１のフォーカスレンズを駆動してフォーカス位置の調整を行う。
【0022】
絞りドライバ１４は、レンズ側マイクロコンピュータ１６からの指令に基づき、光学絞り１２を駆動して開口径を変化させる。光学絞り１２の開口径が変化すると、被写体像の明るさおよびボケの大きさなどが変化する。
【0023】
フラッシュメモリ１５は、レンズ側マイクロコンピュータ１６により実行される制御プログラム、および交換式レンズ１に関する各種の情報を記録する記録媒体である。
【0024】
レンズ側マイクロコンピュータ１６は、レンズドライバ１３、絞りドライバ１４、フラッシュメモリ１５、および後述するインタフェース（Ｉ／Ｆ）２９と接続されている。レンズ側マイクロコンピュータ１６は、インタフェース２９を経由して、後述する本体側マイクロコンピュータ４０と通信する。レンズ側マイクロコンピュータ１６は、本体側マイクロコンピュータ４０からの指令を受けて、フラッシュメモリ１５に記録されている情報の読出／書込を行い、交換式レンズ１に関する各種の情報を本体側マイクロコンピュータ４０へ送信する。また、レンズ側マイクロコンピュータ１６は、本体側マイクロコンピュータ４０からの指令を受けて、レンズドライバ１３および絞りドライバ１４を制御する。
【0025】
次に、カメラ本体２は、メカニカルシャッタ２１と、撮像素子２２と、像ぶれ補正機構２３と、アナログ処理回路２４と、アナログ／デジタル変換器（Ａ／Ｄ変換器）２５と、バス２６と、ＤＲＡＭ（Dynamic Random Access Memory）２７と、画像処理部２８と、インタフェース（Ｉ／Ｆ）２９と、シャッタドライバ３１と、撮像素子ドライバ３２と、像ぶれ補正ドライバ３３と、メモリインタフェース（メモリＩ／Ｆ）３４と、記録媒体３５と、ＬＣＤ（Liquid Crystal Display）ドライバ３６と、ＬＣＤ３７と、操作デバイス３８と、フラッシュメモリ３９と、本体側マイクロコンピュータ４０と、を備えている。
【0026】
メカニカルシャッタ２１は、レンズ１１と撮像素子２２との間に配置される。メカニカルシャッタ２１は、レンズ１１からの光束が撮像素子２２へ到達する時間を制御する。メカニカルシャッタ２１は、例えばシャッタ幕を走行させる構成の光学シャッタである。
【0027】
シャッタドライバ３１は、本体側マイクロコンピュータ４０からの指令に基づいてメカニカルシャッタ２１を駆動し、メカニカルシャッタ２１を開閉する。シャッタドライバ３１は、静止画撮影時に、メカニカルシャッタ２１が開く時間を制御し、つまり撮像素子２２の露光時間を制御する。
【0028】
また、シャッタドライバ３１は、動画撮影時あるいはライブビュー時に、メカニカルシャッタ２１を開放状態に維持する。このとき、各フレーム画像の取得は、撮像素子２２が備える電子シャッタの機能により行われる。なお、静止画撮影時に電子シャッタを用いても構わない。
【0029】
撮像素子２２は、複数の画素が所定の画素ピッチで２次元状に配列された画素エリアを有する。撮像素子２２は、複数の画素により被写体像を露光して電気的な画像データを生成する。例えば、撮像素子２２は、アナログ撮像素子として構成され、被写体像を光電変換（撮像）して、アナログ画像信号を生成する。なお、撮像素子２２を、後述するアナログ処理回路２４およびＡ／Ｄ変換器２５の機能を備えたデジタル撮像素子として構成し、デジタル画像信号を出力するようにしても構わない。
【0030】
本実施形態の撮像素子２２は、複数色のカラーフィルタを備えるカラー撮像素子として構成されている。原色フィルタを備える場合、画素の種類は、Ｇ（緑色）フィルタが配置されたＧ画素、Ｒ（赤色）フィルタが配置されたＲ画素、およびＢ（青色）フィルタが配置されたＢ画素の３種類がある。具体例を挙げれば、原色ベイヤ配列は、公知のように、（２，２）画素を基本配列とし、（２，２）画素の一方の対角位置にＧ画素を配置し、他方の対角位置にＲ画素とＢ画素とをそれぞれ配置した構成となっている。撮像素子２２の画素エリアは、（２，２）画素の基本配列が２次元上に周期的に繰り返されている。
【0031】
なお、撮像素子２２の画素配列は、ベイヤ配列に限らず、その他の任意の画素配列であっても構わない。従って、基本配列も（２，２）画素に限定されない。また、カラーフィルタも原色系に限らず、補色系を用いてもよい。さらに、撮像素子２２は、モノクロ撮像素子であっても構わない。
【0032】
撮像素子ドライバ３２は、本体側マイクロコンピュータ４０からの指令に基づいて撮像素子２２を駆動し、撮像素子２２に撮像させる。
【0033】
像ぶれ補正機構２３は、所定の可動範囲内において、レンズ１１の光軸に垂直な方向に、被写体像と撮像素子２２との少なくとも一方をシフトして、相対的な位置を調整する。図１に示す像ぶれ補正機構２３は、例えば、撮像素子２２をシフトして像ぶれを抑制する。ただし、これに限定されない。例えば、像ぶれ補正機構２３は、レンズ１１の少なくとも一部を移動して撮像素子２２上に結像される被写体像をシフトし、像ぶれを補正する構成であっても構わない。または、撮像素子２２をシフトする構成と、レンズ１１の少なくとも一部を移動する構成と、の両方を備える像ぶれ補正機構２３を採用してもよい。
【0034】
具体的に、像ぶれ補正機構２３は、例えばホール素子とボイスコイルモータとを含み、撮像素子２２を含む撮像ユニットをボイスコイルモータの磁力で宙に浮かせて、ホール素子により位置を検出しながら、磁力を制御することにより位置を移動する。ただし、この構成に限定されず、ボイスコイルモータ以外の駆動源、および／またはホール素子以外の位置検出デバイスを用いた適宜の構成の像ぶれ補正機構２３を採用して構わない。
【0035】
像ぶれ補正ドライバ３３は、撮像装置の手ぶれ等によるぶれ量を検出するぶれ量検出センサを備えている。ぶれ量検出センサは、例えば、加速度センサ、角速度センサ（ジャイロセンサ）などを備える。像ぶれ補正ドライバ３３は、検出されたぶれ量に基づき、像ぶれ補正機構２３を制御して、撮像素子２２に結像される被写体像の位置を安定化する像ぶれ補正を行う。像ぶれ補正ドライバ３３は、本体側マイクロコンピュータ４０からの指令に基づき、像ぶれ補正機構２３を制御する。
【0036】
また、像ぶれ補正ドライバ３３は、画素ずらし超解像撮影モードにおいて、像ぶれ補正機構２３を制御して、高解像度画像を生成するための画素ずらしを行う。ここで、高解像度画像は、撮像素子２２から得られる１フレームの撮像画像よりも解像度が高い画像である。
【0037】
画素ずらしは、被写体像と撮像素子２２との相対的な位置を、画素ピッチ、または画素ピッチよりも小さいピッチの移動単位でずらす処理である。移動単位の例として、１画素ピッチ単位、０．５画素ピッチ単位、０．３画素ピッチ単位などが挙げられる。
【0038】
なお、ここでは、像ぶれ補正ドライバ３３および像ぶれ補正機構２３が画素ずらしを行って高解像度画像を生成する例を説明するが、これに限定されない。例えば、手ぶれによる被写体像と撮像素子２２との相対的な位置の変化を利用して、高解像度画像を生成しても構わない。従って、能動的な画素ずらしを用いるに限らず、受動的な画素ずらしを用いてもよい。
【0039】
アナログ処理回路２４は、撮像素子２２から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップする。
【0040】
Ａ／Ｄ変換器２５は、アナログ処理回路２４から出力されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換器２５により変換されたデジタル画像データは、ＲＡＷ画像データと呼ばれる。
【0041】
バス２６は、撮像装置内のある場所で発生した各種のデータや指令（制御信号）を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス２６は、Ａ／Ｄ変換器２５、ＤＲＡＭ２７と、画像処理部２８と、メモリＩ／Ｆ３４と、ＬＣＤドライバ３６と、本体側マイクロコンピュータ４０と、を含む各部に接続されている。
【0042】
Ａ／Ｄ変換器２５から出力されたＲＡＷ画像データは、バス２６を経由して転送され、ＤＲＡＭ２７に一旦記憶される。
【0043】
ＤＲＡＭ２７は、上述したＲＡＷ画像データ、画像処理部２８等において処理された画像データ等の各種データを一時的に記憶する記憶素子である。
【0044】
画像処理部２８は、バス２６を経由して入力されるＲＡＷ画像データに対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの各種の画像処理を行う。画像処理部２８が、記録／表示用画像を生成する処理は、現像処理と呼ばれる。
【0045】
さらに、画像処理部２８は、画素ずらし超解像撮影モードが設定された場合に、位置ずれがある複数の画像から高解像度画像を生成する処理を行う。画像処理部２８が高解像度画像を生成する処理については、後でより詳細に説明する。
【0046】
なお、一般的に、記録媒体３５に静止画や動画を記録する際には、データ圧縮が行われる。また、記録媒体３５から静止画や動画を読み出す際には、データ伸張が行われる。こうしたデータ圧縮／データ伸張を、画像処理部２８が行ってもよいし、専用の圧縮伸張回路を別途に設けて行っても構わない。
【0047】
画像処理部２８は、例えば、メモリに記憶されたコンピュータプログラム（ソフトウェア）に従ってＣＰＵ（Central Processing Unit：中央処理装置）等のプロセッサが処理を行うコンピュータとして構成されてもよい。この場合、画像処理部２８を本体側マイクロコンピュータ４０と一体に構成して、本体側マイクロコンピュータ４０が画像処理部２８の機能を果たすようにしても構わない。従って、メモリとして、フラッシュメモリ３９、ＤＲＡＭ２７などを用いてよい。また、画像処理部２８は、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのプログラマブルな回路であってもよい。さらに、画像処理部２８は、通常のＩＣ（Integrated Circuit）で構成された規定の処理を行う回路（画像処理回路）であっても構わない。
【0048】
インタフェース２９は、レンズ側マイクロコンピュータ１６と、本体側マイクロコンピュータ４０とを、双方向に通信可能に接続する。
【0049】
メモリＩ／Ｆ３４は、記録媒体３５への画像データの記録、および記録媒体３５からの画像データの読み出しを行う。
【0050】
記録媒体３５は、画像データを含む各種データを不揮発に記録する。記録媒体３５の一例は、カメラ本体２に着脱できるメモリカードである。ただし、記録媒体３５は、メモリカードに限定されず、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であってもよい。また、記録媒体３５は、カメラ本体２に内蔵されるタイプでも構わない。記録媒体３５は、撮像装置に固有の構成であることに限定されない。
【0051】
ＬＣＤドライバ３６は、画像処理部２８により画像処理されてＤＲＡＭ２７に記憶されている画像データを読み出して映像信号に変換し、映像信号に基づく画像をＬＣＤ３７に表示させる。
【0052】
ＬＣＤ３７は、ＬＣＤドライバ３６の駆動制御により、画像や各種の情報を表示する。なお、撮像装置が備える表示デバイスは、ＬＣＤ３７に限らず、有機ＥＬ（有機エレクトロルミネッセンス）などの他のデバイスであっても構わない。
【0053】
操作デバイス３８は、ユーザが操作して、撮像装置に対する各種の操作入力を行う操作装置である。操作デバイス３８は、電源ボタン、レリーズボタン、再生ボタン、メニューボタン、十字キー、ＯＫボタン等の操作ボタン類を含んでいる。電源ボタンは、撮像装置の電源をオン／オフする。レリーズボタンは、画像の撮影開始を指示する。レリーズボタンは、例えば２段式操作ボタンとして構成され、１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを備える。再生ボタンは、記録画像の再生を行う。メニューボタンは、撮像装置の設定等を行う。十字キーは、例えば項目の選択操作に用いる。ＯＫボタンは、例えば選択項目の確定操作に用いる。
【0054】
ここで、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（静止画撮影モード、画素ずらし超解像撮影モード、動画撮影モード等）、記録モード、再生モード、像ぶれ補正機能のオン／オフなどが含まれている。操作デバイス３８に対して操作が行われると、操作デバイス３８は、操作内容に応じた信号を本体側マイクロコンピュータ４０へ出力する。
【0055】
フラッシュメモリ３９は、本体側マイクロコンピュータ４０により実行される処理プログラム（コンピュータプログラム）と、撮像装置に係る各種の情報と、を不揮発に記録する、コンピュータにより読み取りできる一時的でない記録媒体である。
【0056】
フラッシュメモリ３９が記録する撮像装置に係る各種の情報は、撮像装置を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値などを含む。
【0057】
また、フラッシュメモリ３９が記録する処理プログラムは、画像を撮影するための撮影プログラムを含む。さらに、本体側マイクロコンピュータ４０が画像処理部２８の機能を果たす場合は、処理プログラムが、複数の画像から高解像度画像を合成するための画像処理プログラム等を含む。
【0058】
本体側マイクロコンピュータ４０は、撮像装置を統括的に制御する制御部である。本体側マイクロコンピュータ４０は、例えば、ＣＰＵ等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）等のプロセッサが、フラッシュメモリ３９等の記憶装置に記憶された処理プログラムを読み込んで実行することにより、各部の機能を果たすように構成されている。ただし、これに限定されず、本体側マイクロコンピュータ４０の少なくとも一部が電子回路として構成されていても構わない。
【0059】
本体側マイクロコンピュータ４０は、カメラ本体２内の各部を制御すると共に、インタフェース２９を経由してレンズ側マイクロコンピュータ１６へ指令を送信し、交換式レンズ１を制御する。
【0060】
本体側マイクロコンピュータ４０は、操作デバイス３８が操作された場合には、操作デバイス３８から入力された情報を解析する。本体側マイクロコンピュータ４０は、フラッシュメモリ３９に記録されている処理プログラムに従って、操作デバイス３８からの入力に応じた各種のシーケンスを実行する。本体側マイクロコンピュータ４０は、シーケンスを実行する際に、フラッシュメモリ３９およびＤＲＡＭ２７から処理に必要なパラメータを読み込んで、種々の演算処理等を行う。
【0061】
なお、レンズ１１のフォーカスレンズを制御するためのフォーカス演算処理は、本体側マイクロコンピュータ４０により行ってもよいし、画像処理部２８により行ってもよいし、専用のＡＦ（Auto Focus）処理回路を設けて行っても構わない。本体側マイクロコンピュータ４０は、フォーカス演算処理の結果に基づき、Ｉ／Ｆ２９およびレンズ側マイクロコンピュータ１６を経由して、レンズドライバ１３によりフォーカスレンズを駆動する。
【0062】
また、自動露出（ＡＥ：Auto Exposure）制御のための適正露光条件の演算処理は、本体側マイクロコンピュータ４０により行ってもよいし、画像処理部２８により行ってもよいし、専用のＡＥ処理回路を設けて行っても構わない。適正露光条件が決定されると、例えば、光学絞り１２と、メカニカルシャッタ２１または撮像素子２２の素子シャッタと、アナログ処理回路２４のゲイン（および／または画像処理部２８等のデジタルゲイン）と、が制御される。
【0063】
なお、像ぶれ補正機能がオンに設定され、かつ、画素ずらし超解像撮影モードが設定されている場合、本体側マイクロコンピュータ４０の制御の下に、像ぶれ補正ドライバ３３が像ぶれ補正機構２３に像ぶれ補正と画素ずらしとを行わせる。そして、本体側マイクロコンピュータ４０は、撮像素子ドライバ３２を制御して、高解像度画像を生成するために用いる、位置ずれがある複数の撮像画像を、撮像素子２２に取得させる。
【0064】
図２は、第１の実施形態において、画素ずらし超解像撮影モードにおける画像処理部２８の処理を示すフローチャートである。なお、図２以降の処理は、モノクロ撮像素子により取得されるモノクロ画像にはそのまま適用できる。また、カラー撮像素子により取得されるカラー画像の場合には、色毎の画像に適用される。このとき、ＯＢ減算を行った後の色毎の画像に適用するとよい。なお、デモザイク処理を行った後の色毎の画像を用いて図２の処理を行ってもよいが、後で説明する図２のステップＳ１１において補間処理を行うため、デモザイク処理前の色毎の画像を用いても構わない。
【0065】
ユーザが操作デバイス３８を操作して画素ずらし超解像撮影モードを設定すると、本体側マイクロコンピュータ４０の制御の下に、画像処理部２８により図２の処理が開始され、高解像度画像の合成に用いる撮像画像の枚数Ｎを画像処理部２８が設定する（ステップＳ１）。
【0066】
撮像画像の枚数Ｎは、予め定められた枚数を設定してもよい。また、画素ずらし超解像撮影モードとして、生成される高解像度画像の解像度が異なる複数のモードを用意しておき、ユーザが操作デバイス３８を操作して何れかのモードを選択することで、モードに応じた撮像画像の枚数Ｎが設定されるようにしてもよい。もしくは、ユーザが操作デバイス３８を操作して、撮像画像の枚数Ｎを手動で設定しても構わない。
【0067】
枚数Ｎを設定したら、さらに画像処理部２８は、画素配置法決定処理を行う（ステップＳ２）。
【0068】
図３は、第１の実施形態における画素配置法決定処理を示すフローチャートである。
【0069】
この処理に入ると、画像処理部２８は、閾値Ｔｈを設定する（ステップＳ２１）。ここで、１枚の撮像画像の画素数をｋとし、高解像度画像空間の総画素数をｍとする。このとき、閾値Ｔｈを、（ｍ／ｋ）以上の所定数に設定してもよい。
【0070】
この場合、（ｋ×Ｔｈ）≧ｍとなるから、Ｎ≧ＴｈとなるＮに対して、（ｋ×Ｎ）≧ｍとなる。つまり、Ｎ≧Ｔｈの場合、Ｎ枚の撮像画像の合計画素数（ｋ×Ｎ）が、高解像度画像空間の総画素数ｍの、１以上の所定数倍になる。
【0071】
画像処理部２８は、設定した閾値Ｔｈと、合成枚数Ｎとを比較して、Ｎ＜Ｔｈであるか否かを判定する（ステップＳ２２）。
【0072】
ここで、Ｎ＜Ｔｈであると判定した場合、画像処理部２８は、画素配置法を近傍画素分配法（第１の画素配置法）に決定する（ステップＳ２３）。
【0073】
合成枚数Ｎが閾値Ｔｈ未満である場合、後述する特定位置配置法（第２の画素配置法）では画素値が配置されない画素が多くなり、Ｎが小さくなるほど画質が急激に低下する。従って、Ｎ＜Ｔｈの場合、画素配置法を、画質がより安定して、解像度の点で有利になると考えられる近傍画素分配法に決定する。
【0074】
また、ステップＳ２２においてＮ≧Ｔｈであると判定した場合、画像処理部２８は、画素配置法を特定位置配置法（第２の画素配置法）に決定する（ステップＳ２４）。
【0075】
合成枚数Ｎが閾値Ｔｈ以上である場合、特定位置配置法でも画素値が高解像度画像空間の各画素に十分に配置されると期待される。そして、後述するように、近傍画素分配法は高解像度画像空間内の複数の画素に画素値が分配されるが、特定位置配置法は画素値の分配がない。このため、特定位置配置法は、画素値が配置されない画素が少なければ、解像度の点で近傍画素分配法よりも有利になると考えられる。従って、Ｎ≧Ｔｈの場合、画素配置法を特定位置配置法に決定する。
【0076】
ここで、具体的な数値の例を挙げて説明する。例えば、１枚の撮像画像の画素数ｋをｋ＝２０（Ｍｐｉｘｅｌ）、高解像度画像空間の総画素数ｍをｍ＝８０（Ｍｐｉｘｅｌ）とする。このとき、閾値Ｔｈを、例えば（ｍ／ｋ）（＝４）以上の所定数である８に設定する。このような前提条件において、例えば、合成枚数Ｎ＝６（＜８）の場合に画素配置法を近傍画素分配法に決定し、合成枚数Ｎ＝１０（≧８）の場合に特定位置配置法に決定する。
【0077】
こうして、本実施形態では、１枚の撮像画像の画素数ｋと、合成枚数Ｎと、高解像度画像空間の総画素数ｍとに応じて、より画質的に有利な画素配置法を選択して合成を行うハイブリッド方式を採用している。
【0078】
ステップＳ２３またはステップＳ２４の処理を行ったら、図２の処理にリターンする。
【0079】
ステップＳ２において画素配置法を決定したら、画像処理部２８は、撮像画像の枚数をカウントするカウンタｎに１を設定し（ステップＳ３）、ｎ＞Ｎであるか否かを判定する（ステップＳ４）。
【0080】
ここで、ｎ≦Ｎであると判定した場合、画像処理部２８は、本体側マイクロコンピュータ４０の制御により撮像素子２２が撮像したｎ枚目の撮像画像を取得する（ステップＳ５）。
【0081】
そして、画像処理部２８は、ステップＳ２において決定された画素配置法が、近傍画素分配法であるか、または特定位置配置法であるかを判定する（ステップＳ６）。
【0082】
ここで、近傍画素分配法であると判定した場合、画像処理部２８は、近傍画素分配法処理を行う（ステップＳ７）。
【0083】
図４は、第１の実施形態における近傍画素分配法処理を示すフローチャートである。
【0084】
図４の処理に入ると、画像処理部２８は、取得したｎ枚目の撮像画像中における対象画素を設定する（ステップＳ３１）。対象画素は任意の順序で設定できるが、例えば、撮像画像の左上角の画素からラスタスキャン順に設定してもよい。
【0085】
次に、画像処理部２８は、位置ずれ取得部として機能し、対象画素の位置ずれ量を取得する（ステップＳ３２）。画像処理部２８は、像ぶれ補正ドライバ３３から出力される位置ずれ量を、本体側マイクロコンピュータ４０およびバス２６を経由して取得する。
【0086】
なお、全画素が同時に露光される場合には、位置ずれ量は撮像画像の全体でグローバルな量となる。一方、画素毎に露光タイミングが異なる場合、位置ずれ量は画素毎のローカルな量となる場合がある。従って、位置ずれ量がローカルな量である場合、ステップＳ３２の処理を画素毎に行う。また、位置ずれ量がグローバルな量である場合、１画素目にステップＳ３２で取得した位置ずれ量を、２画素目以降にも適用して構わない。そして、位置ずれ量がグローバルな量である場合、１枚目の撮像画像を基準画像とした位置ずれ量を取得すれば良いため、ｎ＝１のときは位置ずれ量が０となる。
【0087】
画像処理部２８は、位置ずれ量を考慮して、高解像度画像空間における対象画素の位置を決定する（ステップＳ３３）。
【0088】
画像処理部２８は、ステップＳ３３で決定した対象画素の位置に基づき、高解像度画像空間における対象画素の近傍領域を決定する（ステップＳ３４）。
【0089】
図６は、第１の実施形態において、高解像度画像空間における対象画素の２×２画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【0090】
２×２画素の近傍領域に関し、左上の画素をＡ、右上の画素をＢ、左下の画素をＣ、右下の画素をＤとする。このとき、２×２画素の近傍領域は、画素Ａの中心位置と、画素Ｂの中心位置と、画素Ｃの中心位置と、画素Ｄの中心位置と、で囲まれる四角内に対象画素が含まれる領域として設定される。
【0091】
高解像度画像空間は、複数の画素を、一方向と、一方向に交差する他方向とに配列して構成されている。
【0092】
具体的に、近傍領域の横方向（右方向）をｘ方向、ｘ方向に直交する縦方向（下方向）をｙ方向とし、画素Ａの中心位置を原点（０，０）とし、１画素ピッチを長さ１として、近傍領域の（ｘ，ｙ）座標を設定する。すると、画素Ｂの中心位置は（１，０）、画素Ｃの中心位置は（０，１）、画素Ｄの中心位置は（１，１）となる。
【0093】
このとき、対象画素の画素位置（ｘ，ｙ）は、０≦ｘ≦１、０≦ｙ≦１の範囲に入る。図６では、対象画素の画素位置が（ｘ，ｙ）＝（０．３，０．２）となる一例を示している。
【0094】
画像処理部２８は、対象画素の画素値を近傍領域の各画素Ａ，Ｂ，Ｃ，Ｄへ配分する比率ＲＡ，ＲＢ，ＲＣ，ＲＤを、対象画素の画素位置（ｘ，ｙ）と、各画素Ａ，Ｂ，Ｃ，Ｄの中心位置と、の距離に基づき決定する（ステップＳ３５）。
【0095】
比率ＲＡ，ＲＢ，ＲＣ，ＲＤの算出は、近傍領域内の各画素Ａ，Ｂ，Ｃ，Ｄの位置と、対象画素の画素位置（ｘ，ｙ）と、の距離に関連する大きさを示す距離指標に応じて行う。
【0096】
比率ＲＡ，ＲＢ，ＲＣ，ＲＤの第１の決定法は、２次元の高解像度画像空間上における、近傍領域内の各画素Ａ，Ｂ，Ｃ，Ｄの位置と、対象画素の画素位置（ｘ，ｙ）との直線距離を距離指標として、直線距離に基づき決定する方法（実距離法）である。
【0097】
この場合、対象画素と画素Ａとの距離ＤＡは、
ＤＡ＝√（ｘ２＋ｙ２）
対象画素と画素Ｂとの距離ＤＢは、
ＤＢ＝√｛（１－ｘ）２＋ｙ２｝
対象画素と画素Ｃとの距離ＤＣは、
ＤＣ＝√｛ｘ２＋（１－ｙ）２｝
対象画素と画素Ｄとの距離ＤＤは、
ＤＤ＝√｛（１－ｘ）２＋（１－ｙ）２｝
となる。
ＤＡ＝√（ｘ２＋ｙ２）
対象画素と画素Ｂとの距離ＤＢは、
ＤＢ＝√｛（１－ｘ）２＋ｙ２｝
対象画素と画素Ｃとの距離ＤＣは、
ＤＣ＝√｛ｘ２＋（１－ｙ）２｝
対象画素と画素Ｄとの距離ＤＤは、
ＤＤ＝√｛（１－ｘ）２＋（１－ｙ）２｝
となる。
【0098】
このとき、比率ＲＡ，ＲＢ，ＲＣ，ＲＤは、一例として、各距離ＤＡ，ＤＢ，ＤＣ，ＤＤの逆数を用いて次のように決定できる（ただし、実距離法による比率ＲＡ，ＲＢ，ＲＣ，ＲＤの決定方法は、下記の一例に限定されない）。
ＲＡ＝（１／ＤＡ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＢ＝（１／ＤＢ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＣ＝（１／ＤＣ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＤ＝（１／ＤＤ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＡ＝（１／ＤＡ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＢ＝（１／ＤＢ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＣ＝（１／ＤＣ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
ＲＤ＝（１／ＤＤ）／｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝
【0099】
距離ＤＡ，ＤＢ，ＤＣ，ＤＤの何れか１つが０になるとき（なお、距離ＤＡ，ＤＢ，ＤＣ，ＤＤの２つ以上が同時に０になることはない）は、距離が０となる画素の極限値として得られる比率が１となり、距離が０の画素に対象画素の画素値が全て配分されることが分かる。
【0100】
第１の決定法を用いると、加算および減算に加えて、２乗演算、平方根演算、および逆数演算が必要になり、さらに正規化のための除数｛（１／ＤＡ）＋（１／ＤＢ）＋（１／ＤＣ）＋（１／ＤＤ）｝も対象画素の画素位置（ｘ，ｙ）に依存する。このため、第１の決定法は、処理負荷が比較的大きい。
【0101】
そこで、本実施形態では、次に説明するような比率の第２の決定法を用いる。
【0102】
比率ＲＡ，ＲＢ，ＲＣ，ＲＤの第２の決定法は、距離指標を、２次元の高解像度画像空間上における、近傍領域内の各画素Ａ，Ｂ，Ｃ，Ｄの位置と、対象画素の画素位置（ｘ，ｙ）との、一方向（ｘ方向）の第１距離（ｘ方向距離）と、他方向（ｙ方向）の第２距離（ｙ方向距離）と、に設定して、比率を決定する方法（分割距離法）である。
【0103】
すなわち、比率ＲＡ，ＲＢ，ＲＣ，ＲＤを、対象画素の画素位置（ｘ，ｙ）と、各画素Ａ，Ｂ，Ｃ，Ｄの中心位置と、のｘ方向の距離およびｙ方向の距離に基づき決定する。この場合、
対象画素と画素Ａとのｘ方向距離ＤＡｘはｘ、ｙ方向距離ＤＡｙはｙ、
対象画素と画素Ｂとのｘ方向距離ＤＢｘは（１－ｘ）、ｙ方向距離ＤＢｙはｙ、
対象画素と画素Ｃとのｘ方向距離ＤＣｘはｘ、ｙ方向距離ＤＣｙは（１－ｙ）、
対象画素と画素Ｄとｘ方向距離ＤＤｘは（１－ｘ）、ｙ方向距離ＤＤｙは（１－ｙ）
となる。
対象画素と画素Ａとのｘ方向距離ＤＡｘはｘ、ｙ方向距離ＤＡｙはｙ、
対象画素と画素Ｂとのｘ方向距離ＤＢｘは（１－ｘ）、ｙ方向距離ＤＢｙはｙ、
対象画素と画素Ｃとのｘ方向距離ＤＣｘはｘ、ｙ方向距離ＤＣｙは（１－ｙ）、
対象画素と画素Ｄとｘ方向距離ＤＤｘは（１－ｘ）、ｙ方向距離ＤＤｙは（１－ｙ）
となる。
【0104】
そして、画素Ａへ配分する比率ＲＡを（１－ＤＡｘ）×（１－ＤＡｙ）／ＤＮ、画素Ｂへ配分する比率ＲＢを（１－ＤＢｘ）×（１－ＤＢｙ）／ＤＮ、画素Ｃへ配分する比率ＲＣを（１－ＤＣｘ）×（１－ＤＣｙ）／ＤＮ、画素Ｄへ配分する比率ＲＤを（１－ＤＤｘ）×（１－ＤＤｙ）／ＤＮとする。
【0105】
ここで、ＤＮは正規化のための除数であり、計算すると、
ＤＮ＝（１－ＤＡｘ）×（１－ＤＡｙ）＋（１－ＤＢｘ）×（１－ＤＢｙ）
＋（１－ＤＣｘ）×（１－ＤＣｙ）＋（１－ＤＤｘ）×（１－ＤＤｙ）
＝（１－ｘ）×（１－ｙ）＋ｘ×（１－ｙ）＋（１－ｘ）×ｙ＋ｘ×ｙ
＝１
となる。
ＤＮ＝（１－ＤＡｘ）×（１－ＤＡｙ）＋（１－ＤＢｘ）×（１－ＤＢｙ）
＋（１－ＤＣｘ）×（１－ＤＣｙ）＋（１－ＤＤｘ）×（１－ＤＤｙ）
＝（１－ｘ）×（１－ｙ）＋ｘ×（１－ｙ）＋（１－ｘ）×ｙ＋ｘ×ｙ
＝１
となる。
【0106】
つまり、第２の決定法では、画素Ａへ配分する比率ＲＡが（１－ｘ）×（１－ｙ）、画素Ｂへ配分する比率ＲＢがｘ×（１－ｙ）、画素Ｃへ配分する比率ＲＣが（１－ｘ）×ｙ、画素Ｄへ配分する比率ＲＤがｘ×ｙとなる。すなわち、各画素へ配分する比率は、１からｘ方向距離を引いた値と、１からｙ方向距離を引いた値と、の乗算値である。
【0107】
こうして、第２の決定法を用いると、減算および乗算を行えば足り、正規化のための除数ＤＮも対象画素の画素位置（ｘ，ｙ）に依存しない定数になるため、処理負荷を軽減できる。
【0108】
画像処理部２８が、距離指標として直線距離を用いる第１の決定法（実距離法）と、距離指標としてｘ，ｙ方向距離を用いる第２の決定法（分割距離法）と、の何れを用いる場合においても、距離指標が小さいほど比率が大きくなる。
【0109】
画像処理部２８は、算出部および積算部として機能し、対象画素の画素値を、各画素Ａ，Ｂ，Ｃ，Ｄへ配分する比率ＲＡ，ＲＢ，ＲＣ，ＲＤに基づき重み付けした重み付け画素値を算出し、算出した重み付け画素値を各画素へ分配して画素位置毎に積算し、積算画素値を算出する（ステップＳ３６）。
【0110】
対象画素の画素値をＺとすると、対象画素の画素位置が（ｘ，ｙ）＝（０．３，０．２）である場合の近傍領域の各画素Ａ，Ｂ，Ｃ，Ｄに分配される重み付け画素値を図７に示す。図７は、第１の実施形態において、近傍画素分配法により近傍領域の各画素に分配される重み付け画素値と比率との例を示す図表である。
【0111】
【0112】
具体的な数値例では、画素Ａに０．５６×Ｚの重み付け画素値が分配されて、画素Ａの既存の積算画素値に積算される。同様に、画素Ｂに０．２４×Ｚの重み付け画素値が分配されて、画素Ｂの既存の積算画素値に積算される。画素Ｃに０．１４×Ｚの重み付け画素値が分配されて、画素Ｃの既存の積算画素値に積算される。画素Ｄに０．０６×Ｚの重み付け画素値が分配されて、画素Ｄの既存の積算画素値に積算される。
【0113】
ここで、１枚の撮像画像内の各画素を順次に対象画素としたとき、高解像度画像空間内のある画素（例えば、画素Ａとする）が、複数の対象画素の複数の近傍領域に含まれることがある。この場合、画素Ａに対して、複数の対象画素から画素値の分配が複数回行われ、分配された画素値が順次積算される。加えて、１枚の撮像画像に対して画素Ａに積算された画素値が、さらに、Ｎ枚の撮像画像に渡って積算される。
【0114】
そこで、画像処理部２８は、画素Ａ（画素Ｂ，Ｃ，Ｄも同様）に対して積算された画素値を正規化するために、高解像度画像空間上の画素位置毎に積算した比率である比率積算値を、次のように算出する。
【0115】
すなわち、画像処理部２８は、各画素Ａ，Ｂ，Ｃ，Ｄへ配分する比率を、各画素Ａ，Ｂ，Ｃ，Ｄの比率積算値に積算する（ステップＳ３７）。従って、図７に示す例では、画素Ａの比率積算値に０．５６が積算され、画素Ｂの比率積算値に０．２４が積算され、画素Ｃの比率積算値に０．１４が積算され、画素Ｄの比率積算値に０．０６が積算される。
【0116】
画像処理部２８は、ｎ枚目の撮像画像中における全ての画素を対象画素に設定したか否かを判定する（ステップＳ３８）。ここで、まだ対象画素に設定していない画素がある場合には、ステップＳ３１へ戻って上述した処理を行う。一方、全ての画素を対象画素に設定した場合には、図２の処理にリターンする。
【0117】
また、ステップＳ６において特定位置配置法であると判定した場合、画像処理部２８は、特定位置配置法処理を行う（ステップＳ８）。
【0118】
図５は、第１の実施形態における特定位置配置法処理を示すフローチャートである。
【0119】
図５の処理に入ると、画像処理部２８は、ステップＳ３１と同様に、取得したｎ枚目の撮像画像中における対象画素を設定する（ステップＳ４１）。
【0120】
次に、画像処理部２８は、ステップＳ３２と同様に位置ずれ取得部として機能し、対象画素の位置ずれ量を取得する（ステップＳ４２）。なお、位置ずれ量がグローバルな量である場合、ｎ＝１のときに位置ずれ量が０となるのは上述の通りである。
【0121】
画像処理部２８は、ステップＳ３３と同様に、位置ずれ量を考慮して、高解像度画像空間における対象画素の位置を決定する（ステップＳ４３）。
【0122】
画像処理部２８は、ステップＳ３４と同様に、対象画素の位置に基づき、高解像度画像空間における対象画素の近傍領域を決定する（ステップＳ４４）。
【0123】
画像処理部２８は、近傍領域内において、対象画素の位置に基づき、対象画素に最も近接した最近接画素を決定する（ステップＳ４５）。
【0124】
図８は、第１の実施形態において、高解像度画像空間における対象画素の２×２画素の近傍領域に、対象画素の画素値を特定位置配置法で配置する例を示す図である。
【0125】
対象画素の画素位置が（ｘ，ｙ）＝（０．３，０．２）である図示の例では、近傍領域の各画素Ａ，Ｂ，Ｃ，Ｄの内の、最近接画素は画素Ａとなる。最近接画素の決定は、上述した比率の第１の決定法または第２の決定法を用いて行ってもよい。
【0126】
例えば、最近接画素の決定を比率の第１の決定法を用いて行う場合、対象画素の画素位置（ｘ，ｙ）と、各画素Ａ，Ｂ，Ｃ，Ｄの中心位置と、の直線距離が最小になる画素を最近接画素に決定すればよい。
【0127】
また、最近接画素の決定を比率の第２の決定法を用いて行う場合、第２の決定法で算出した比率が最大の画素を最近接画素に決定すればよい。上述したように、最近接画素の決定を、第２の決定法を用いて行えば、第１の決定法を用いて行う場合よりも処理負荷を軽減できる。
【0128】
なお、図５の処理では近傍領域を決定してから最近接画素を決定したが、最近接画素は、近傍領域を決定しなくても高解像度画像空間において一意に決定される。従って、ステップＳ４４の処理を省略して、ステップＳ４５において、高解像度画像空間内の最近接画素を決定しても構わない。
【0129】
画像処理部２８は、算出部および積算部として機能し、対象画素の画素値Ｚを、最近接画素に配置して積算し、積算画素値を算出する（ステップＳ４６）。
【0130】
図９は、第１の実施形態において、特定位置配置法により近傍領域の最近接画素に配置される画素値と比率との例を示す図表である。
【0131】
【0132】
画像処理部２８は、最近接画素の比率積算値に比率１を積算する（ステップＳ４７）。なお、特定位置配置法では、画素が配置される（比率１）か、または配置されない（比率０）かの何れかとなるため、比率は画素カウント値、比率積算値は画素カウント積算値と呼ぶこともできる。
【0133】
画像処理部２８は、ｎ枚目の撮像画像中における全ての画素を対象画素に設定したか否かを判定する（ステップＳ４８）。ここで、まだ対象画素に設定していない画素がある場合には、ステップＳ４１へ戻って上述した処理を行う。一方、全ての画素を対象画素に設定した場合には、図２の処理にリターンする。
【0134】
ステップＳ７またはステップＳ８の処理を行ったら、画像処理部２８は、撮像画像の枚数をカウントするカウンタｎに格納される数を１増加して（ステップＳ９）、ステップＳ４の判定を行う。
【0135】
こうして、ステップＳ１で設定された合成枚数Ｎの撮像画像の処理が済むまで、ステップＳ４～Ｓ９の処理を繰り返して行う。
【0136】
ステップＳ４において、画像処理部２８が、ｎ＞Ｎであると判定した場合、高解像度空間の各画素の画素値の正規化処理を行う（ステップＳ１０）。正規化処理は、高解像度空間内における比率積算値が０でない画素を順に着目画素とし、着目画素の積算画素値を、着目画素の比率積算値で割ることにより行われる。
【0137】
図１０は、第１の実施形態において、比率積算値が０でない画素の正規化処理の一例を説明するための図表である。
【0138】
図１０に示す例は、合成枚数Ｎが４の場合に、４枚の撮像画像から着目画素に分配された重み付け画素値と、比率と、の一例を示している。
【0139】
【0140】
また、着目画素の比率積算値は、
０．７×０．８＋０．２×０．６＋０．３×０．７＋０．５×１．０
＝０．５６＋０．１２＋０．２１＋０．５＝１．３９
となる。
０．７×０．８＋０．２×０．６＋０．３×０．７＋０．５×１．０
＝０．５６＋０．１２＋０．２１＋０．５＝１．３９
となる。
【0141】
従って、着目画素の正規化された画素値は、１５３．７／１．３９＝１１０．６となる。一般に、画素Ａの積算画素値をａ、画素Ａの比率積算値をｒａとすると、画素Ａの正規化画素値＜ａ＞は、＜ａ＞＝ａ／ｒａにより算出される。
【0142】
正規化処理を行ったら、高解像度空間内の各画素を順に着目画素として、補間処理を行う（ステップＳ１１）。補間処理は、着目画素の周辺の画素の正規化された画素値を用いて、着目画素の画素値を補間する処理である。
【0143】
図１１は、第１の実施形態において、高解像度空間内の着目画素について、着目画素自体の正規化された画素値と、周辺画素の正規化された画素値とを用いて、どのように補間処理を行うかを説明するためのグラフである。図１２は、第１の実施形態において、高解像度空間内の着目画素の補間処理の例を示す図表である。図１２は、合成枚数Ｎが、例えばＮ＝１０であるときの数値の一例を示している。
【0144】
図１２のＡ欄に示すように、着目画素を画素Ａとし、画素Ａの上、左、右、および下に隣接する画素をそれぞれＢ，Ｃ，Ｄ，Ｅとする。さらに、画素Ａ，Ｂ，Ｃ，Ｄ，Ｅの正規化画素値を＜ａ＞，＜ｂ＞，＜ｃ＞，＜ｄ＞，＜ｅ＞とする。
【0145】
画素Ｂ，Ｃ，Ｄ，Ｅの正規化画素値＜ｂ＞，＜ｃ＞，＜ｄ＞，＜ｅ＞の平均値を、画素Ａに対する補間候補値＜ｂｃｄｅ＞とすると、
＜ｂｃｄｅ＞＝（＜ｂ＞＋＜ｃ＞＋＜ｄ＞＋＜ｅ＞）／４
である。
＜ｂｃｄｅ＞＝（＜ｂ＞＋＜ｃ＞＋＜ｄ＞＋＜ｅ＞）／４
である。
【0146】
補間処理は、画素Ａの正規化画素値＜ａ＞と、画素Ａに対する補間候補値＜ｂｃｄｅ＞と、を混合して補間値を算出することにより行う。
【0147】
正規化画素値＜ａ＞の混合割合をα、補間候補値＜ｂｃｄｅ＞の混合割合をβ＝（１－α）とすると、画素Ａの補間値［ａ］は、次のように算出される。
［ａ］＝α×＜ａ＞＋β×＜ｂｃｄｅ＞
［ａ］＝α×＜ａ＞＋β×＜ｂｃｄｅ＞
【0148】
図１１に示すように、混合割合αは、画素Ａの比率積算値ｒａが０のときは０となり、比率積算値ｒａに対して単調増加し、ｒａ≧２．５のときに１．０となる。また、混合割合βは、画素Ａの比率積算値ｒａが０のときは１．０となり、比率積算値ｒａに対して単調減少し、ｒａ≧２．５のときに０となる。
【0149】
高解像度空間内における着目画素の比率積算値が大きいということは、撮像画像の画素値が着目画素に多く分配されていることを意味する。このため、比率積算値が大きいほど、着目画素の正規化画素値の信頼性が高いと考えられる。そこで、比率積算値が大きく信頼性が高い着目画素は、画像の解像度を重視し、着目画素自体の画素値を多く混合して画素値を算出する。 一方、比率積算値が小さい着目画素は、正規化画素値の信頼性が低いと考えられる。そこで、安定性を重視し、周囲の画素値を多く混合して、着目画素の画素値を算出する。
【0150】
こうして、図１１に示すグラフは、着目画素の比率積算値が大きいほど着目画素自体の画素値を重視して最終的な画素値を算出するための、混合割合α，βの一例を示している。
【0151】
なお、図１１では、混合割合αの単調増加区間、および混合割合βの単調減少区間は１次関数となっているが、これに限らず、正規化条件であるα＋β＝１を満たしていれば、適宜の関数を用いて構わない。
【0152】
また、混合割合αの単調増加、および混合割合βの単調減少が一定値（α＝１、β＝０）に移行する閾値ｒａｔｈを２．５としているが、閾値ｒａｔｈは２．５に限定されない。例えば、閾値ｒａｔｈを、高解像度画像空間の総画素数ｍと、Ｎ枚の撮像画像の合計画素数（ｋ×Ｎ）と、に基づき算出してもよい。
【0153】
具体的に、（ｋ×Ｎ）／ｍは、高解像度画像空間における着目画素の比率積算値の平均値を与える。従って、（ｋ×Ｎ）／ｍが２．５以下の場合は、閾値ｒａｔｈ＝２．５を維持し、（ｋ×Ｎ）／ｍが２．５より大きい場合は、閾値ｒａｔｈを２．５より大きくしても構わない。
【0154】
図１２のＡ欄の各画素Ａ，Ｂ，Ｃ，Ｄ，Ｅに記載した数値は、比率積算値ｒａ，ｒｂ，ｒｃ，ｒｄ，ｒｅの数値例をそれぞれ示している。
【0155】
図１２の１Ａ欄の例では、ｒａ＝１．０、ｒｂ＝３．５、ｒｃ＝０．６、ｒｄ＝４．２、ｒｅ＝１．２である。ｒａが１．０のとき、図１１に示すように、α＝０．４、β＝０．６となる。各画素Ａ，Ｂ，Ｃ，Ｄ，Ｅの積算画素値をそれぞれａ，ｂ，ｃ，ｄ，ｅとすると、画素Ａの補間値［ａ］は、図１２の１Ｂ欄のように算出される。
【0156】
図１２の２Ａ欄の例では、ｒａ＝３．０、ｒｂ＝３．５、ｒｃ＝０．６、ｒｄ＝４．２、ｒｅ＝１．２である。ｒａが３．０のとき、図１１に示すように、α＝１．０、β＝０．０となる。すると、画素Ａの補間値［ａ］は、図１２の２Ｂ欄のように［ａ］＝＜ａ＞として算出される。
【0157】
つまり、ｒａ≧２．５のときには、画素Ａの正規化画素値＜ａ＞をそのまま補間値［ａ］とすることになる。従って、ステップＳ１１の補間処理は、高解像度空間内における、比率積算値が２．５未満の全ての画素について行えば足りる。
【0158】
なお、上述では、補間候補値を、着目画素Ａの周辺の上、下、左、右の４つの画素の画素値から算出する例を示したが、左上、右上、左下、右下の４つの画素の画素値を加えて、合計８つの画素の画素値から算出してもよい。このときには、補間候補値を算出する際の、上、下、左、右の４つの画素の重みと、左上、右上、左下、右下の４つの画素との重みと、を異ならせてもよい。さらに、これらに限らず、適宜の数の周辺画素の画素値から、適宜の重み付けを行って補間候補値を算出して構わない。
【0159】
ステップＳ１１の処理を行うことで、高解像度空間内の全画素の正規化された画素値が決定される。こうして、画像処理部２８は、高解像度空間内の画素値を生成する画素値生成部、および高解像度画像を合成する高解像度合成部として機能する。
【0160】
画像処理部２８は、高解像度空間の画像に現像処理を行う（ステップＳ１２）。現像処理は、上述のように記録／表示用画像を生成する処理であり、ここでは、ホワイトバランス（ＷＢ）ゲイン、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの処理が含まれる。
【0161】
こうして、現像処理が行われた高解像度画像が生成されたら、必要に応じて、記録媒体３５へ記録し、ＬＣＤ３７へ表示する等を行って、１枚の高解像度画像の撮影を終了する。
【0162】
第１の実施形態によれば、合成枚数Ｎが閾値Ｔｈ未満である場合、近傍画素分配法（第１の画素配置法）により対象画素の画素値を近傍領域内の画素に分配するようにしたために、画質の高い高解像度画像をより安定して生成できる。
【0163】
また、合成枚数Ｎが閾値Ｔｈ以上である場合、特定位置配置法（第２の画素配置法）により対象画素の画素値を最近接画素に配置するようにしたために、より高い解像度の高解像度画像を生成できる。
【0164】
そして、着目画素の比率積算値に応じて、着目画素の正規化された積算画素値と、着目画素の周辺の複数の画素の正規化された積算画素値の平均値と、をそれぞれの混合割合で混合するため、着目画素の画素値の信頼性を向上できる。
【0165】
距離指標を、２次元の高解像度画像空間上における、近傍領域内の各画素の位置と対象画素位置との、一方向の第１距離および他方向の第２距離とすることで、演算の処理負荷を軽減できる。
［第２の実施形態］
［第２の実施形態］
【0166】
図１３から図１５は本発明の第２の実施形態を示したものである。図１３は、第２の実施形態において、高解像度画像空間における対象画素の３×３画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【0167】
第２の実施形態において、第１の実施形態と同様である部分に同一の符号を付して説明を適宜省略する。第２の実施形態では、第１の実施形態と異なる点を主に説明する。
【0168】
近傍画素分配法を用いる場合、対象画素の画素値を、第１の実施形態では２×２画素の近傍領域に分配したが、第２の実施形態は３×３画素の近傍領域に分配する。
【0169】
３×３画素の近傍領域に関し、左上の画素からラスタスキャン順に、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉとする。このとき、対象画素が含まれる画素Ｅを取り囲む３×３画素の領域が、近傍領域として設定される。
【0170】
画素Ａの中心位置を原点（０，０）とし、右方向をｘ方向、下方向をｙ方向とし、１画素ピッチを長さ１として、近傍領域の（ｘ，ｙ）座標を設定する。すると、画素Ｂの中心位置は（１，０）、画素Ｃの中心位置は（２，０）、画素Ｄの中心位置は（０，１）、画素Ｅの中心位置は（１，１）、画素Ｆの中心位置は（２，１）、画素Ｇの中心位置は（０，２）、画素Ｈの中心位置は（１，２）、画素Ｉの中心位置は（２，２）となる。
【0171】
このとき、対象画素の画素位置（ｘ，ｙ）は、０．５≦ｘ≦１．５、０．５≦ｙ≦１．５の範囲に入る。この範囲において、対象画素から近傍画素への距離の最大値は、ｘ方向およびｙ方向共に、１．５となる。具体例を挙げれば、（ｘ，ｙ）＝（０．５，０．５）のとき、画素Ｉの中心位置（２，２）とのｘ方向距離ＤＩｘは１．５、ｙ方向距離ＤＩｙは１．５となる。
【0172】
そこで、対象画素の画素値を近傍領域の各画素Ａ～Ｉへ配分する比率ＲＡ～ＲＩを、ｘ方向距離が１．５、かつｙ方向距離が１．５であるときに０になるように調整する。すると、距離指標としてｘ方向距離およびｙ方向距離を用いる第２の決定法（分割距離法）を用いた場合、比率は、次のように表現される。
｛１．５－（ｘ方向の距離）｝×｛１．５－（ｙ方向の距離）｝／ＤＮ
｛１．５－（ｘ方向の距離）｝×｛１．５－（ｙ方向の距離）｝／ＤＮ
【0173】
各画素Ａ～Ｉの比率ＲＡ～ＲＩおよび重み付け画素値を具体的に示したのが図１４である。図１４は、第２の実施形態において、近傍画素分配法により近傍領域の各画素に分配される重み付け画素値と比率との例を示す図表である。図１４においても、対象画素の画素値をＺとしている。
【0174】
図１４に示した各数式のＤＮは、３×３画素の近傍領域内の全て比率の合計を１に正規化するための除数である。図１４の比率欄におけるＡ～Ｉ各欄の分子を合計することで正規化のための除数ＤＮが算出される。図１５は、第２の実施形態において、対象画素の画素位置（ｘ，ｙ）の条件に応じて定まる正規化の除数ＤＮを示す図表である。
【0175】
図１５に示す正規化の除数ＤＮは、対象画素の画素位置（ｘ，ｙ）に依存する値となって定数にはならない。しかし、距離指標として直線距離を用いる第１の決定法（実距離法）のような平方根演算等は不要であるため、第１の決定法（実距離法）よりも処理負荷を軽減できる。ただし、処理負荷が大きくなっても構わなければ、第１の決定法（実距離法）を用いてもよいことは、第１の実施形態と同様である。
【0176】
そして、距離指標として第１の決定法（実距離法）と第２の決定法（分割距離法）との何れを用いる場合においても、距離指標が小さいほど比率が大きくなるのは、第１の実施形態と同様である。
【0177】
第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏する。
【0178】
また、第２の実施形態によれば、３×３画素の近傍領域に対象画素の画素値を配置することで、画像の解像度はやや低下するものの、高解像度画像をより安定して生成できる。
［第３の実施形態］
［第３の実施形態］
【0179】
図１６および図１７は本発明の第３の実施形態を示したものである。図１６は、第３の実施形態において、高解像度画像空間における対象画素の４×４画素の近傍領域に、対象画素の画素値を近傍画素分配法で分配する例を示す図である。
【0180】
第３の実施形態において、第１，２の実施形態と同様である部分に同一の符号を付して説明を適宜省略する。第３の実施形態では、第１，２の実施形態と異なる点を主に説明する。
【0181】
第３の実施形態は、近傍画素分配法において、対象画素の画素値を４×４画素の近傍領域に分配する。
【0182】
４×４画素の近傍領域に関し、左上の画素からラスタスキャン順に、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍ、Ｎ、Ｏ、Ｐとする。このとき、４×４画素の近傍領域は、画素Ｆの中心位置と、画素Ｇの中心位置と、画素Ｊの中心位置と、画素Ｋの中心位置と、で囲まれる四角内に対象画素が含まれる領域として設定される。
【0183】
画素Ａの中心位置を原点（０，０）とし、右方向をｘ方向、下方向をｙ方向とし、１画素ピッチを長さ１として、近傍領域の（ｘ，ｙ）座標を設定する。すると、画素Ｂの中心位置は（１，０）、画素Ｃの中心位置は（２，０）、画素Ｄの中心位置は（３，０）、画素Ｅの中心位置は（０，１）、画素Ｆの中心位置は（１，１）、画素Ｇの中心位置は（２，１）、画素Ｈの中心位置は（３，１）、画素Ｉの中心位置は（０，２）、画素Ｊの中心位置は（１，２）、画素Ｋの中心位置は（２，２）、画素Ｌの中心位置は（３，２）、画素Ｍの中心位置は（０，３）、画素Ｎの中心位置は（１，３）、画素Ｏの中心位置は（２，３）、画素Ｐの中心位置は（３，３）となる。
【0184】
このとき、対象画素の画素位置（ｘ，ｙ）は、１≦ｘ≦２、１≦ｙ≦２の範囲に入る。この範囲において、対象画素から近傍画素への距離の最大値は、ｘ方向およびｙ方向共に、２となる。具体例を挙げれば、（ｘ，ｙ）＝（１，１）のとき、画素Ｐの中心位置（３，３）とのｘ方向距離ＤＰｘは２、ｙ方向距離ＤＰｙは２となる。
【0185】
そこで、対象画素の画素値を近傍領域の各画素Ａ～Ｐへ配分する比率ＲＡ～ＲＰを、ｘ方向距離が２、かつｙ方向距離が２であるときに０になるように調整する。すると、距離指標としてｘ方向距離およびｙ方向距離を用いる第２の決定法（分割距離法）を用いた場合、比率は、次のように表現される。
｛２－（ｘ方向の距離）｝×｛２－（ｙ方向の距離）｝／ＤＮ
ここで、ＤＮは正規化のための除数である。
｛２－（ｘ方向の距離）｝×｛２－（ｙ方向の距離）｝／ＤＮ
ここで、ＤＮは正規化のための除数である。
【0186】
【0187】
図１７の比率欄におけるＡ～Ｐ各欄の分子を合計することで正規化のための除数ＤＮが算出され、算出結果はＤＮ＝１６となる。すると、上記の比率は、次のように表現される。
｛２－（ｘ方向の距離）｝×｛２－（ｙ方向の距離）｝／１６
｛２－（ｘ方向の距離）｝×｛２－（ｙ方向の距離）｝／１６
【0188】
除数ＤＮは、対象画素の画素位置（ｘ，ｙ）に依存しない定数になる。このため、距離指標として直線距離を用いる第１の決定法（実距離法）よりも処理負荷を軽減できる。ただし、処理負荷が大きくなっても構わなければ、第１の決定法（実距離法）を用いても構わないことは、上述した各実施形態と同様である。
【0189】
こうして算出した除数ＤＮに基づいて、各画素Ａ～Ｐの比率ＲＡ～ＲＰおよび重み付け画素値を具体的に示したのが図１７である。
【0190】
第３の実施形態において、距離指標として第１の決定法（実距離法）と第２の決定法（分割距離法）との何れを用いる場合においても、距離指標が小さいほど比率が大きくなるのは、上述した各実施形態と同様である。
【0191】
第３の実施形態によれば、上述した第１，２の実施形態とほぼ同様の効果を奏する。
【0192】
また、第３の実施形態によれば、４×４画素の近傍領域に対象画素の画素値を配置することで、画像の解像度はさらに低下するものの、高解像度画像をさらに安定して生成できる。
【0193】
なお、第１～第３の実施形態から、第２の決定法（分割距離法）において、近傍領域内の各画素に対象画素の画素値を配分する比率を、より一般に、次のように表現できる。
【0194】
すなわち、ｎ，ｍを２以上の整数としたとき、ｎ×ｍ画素の近傍領域に対して、近傍領域内の左上の画素の中心位置を原点（０，０）とし、右方向をｘ方向、下方向をｙ方向とし、１画素ピッチを長さ１として、近傍領域の（ｘ，ｙ）座標を設定する。
【0195】
さらに、対象画素から近傍領域内のある画素までの、ｘ方向の距離をＤＸ、ｙ方向の距離をＤＹ、対象画素から近傍領域内の任意の画素までの、ｘ方向の距離として取り得る最大値をＤＸｍａｘ、ｙ方向の距離として取り得る最大値をＤＹｍａｘ、正規化の除数をＤＮとする。このとき、比率は、次のようになる。
｛ＤＸｍａｘ－ＤＸ｝×｛ＤＹｍａｘ－ＤＹ｝／ＤＮ
｛ＤＸｍａｘ－ＤＸ｝×｛ＤＹｍａｘ－ＤＹ｝／ＤＮ
【0196】
ここで、除数ＤＮは、座標（０，０）～（ｎ，ｍ）のｎ×ｍ画素の近傍領域内の全画素に対して、｛ＤＸｍａｘ－ＤＸ｝×｛ＤＹｍａｘ－ＤＹ｝を合計した値として算出される。
【0197】
このように、第２の決定法（分割距離法）を適用する近傍領域は、２×２～４×４画素の領域に限定されず、正方領域にも限定されない。
【0198】
なお、上述では本発明が、画像処理装置である場合を主として説明したが、これに限定されるものではない。本発明は、画像処理装置を含む、例えば撮像装置などの装置であってもよい。本発明は、画像処理装置と同様の処理を行う画像処理方法であってもよい。本発明は、コンピュータに画像処理装置と同様の処理を行わせるためのコンピュータプログラムであってもよい。本発明は、前記コンピュータプログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であってもよい。
【0199】
また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【符号の説明】
【0200】
１…交換式レンズ
２…カメラ本体
１１…レンズ
１２…光学絞り
１３…レンズドライバ
１４…絞りドライバ
１５…フラッシュメモリ
１６…レンズ側マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…像ぶれ補正機構
２４…アナログ処理回路
２５…Ａ／Ｄ変換器
２６…バス
２７…ＤＲＡＭ
２８…画像処理部
２９…インタフェース
３１…シャッタドライバ
３２…撮像素子ドライバ
３３…像ぶれ補正ドライバ
３４…メモリＩ／Ｆ
３５…記録媒体
３６…ＬＣＤドライバ
３７…ＬＣＤ
３８…操作デバイス
３９…フラッシュメモリ
４０…本体側マイクロコンピュータ
２…カメラ本体
１１…レンズ
１２…光学絞り
１３…レンズドライバ
１４…絞りドライバ
１５…フラッシュメモリ
１６…レンズ側マイクロコンピュータ
２１…メカニカルシャッタ
２２…撮像素子
２３…像ぶれ補正機構
２４…アナログ処理回路
２５…Ａ／Ｄ変換器
２６…バス
２７…ＤＲＡＭ
２８…画像処理部
２９…インタフェース
３１…シャッタドライバ
３２…撮像素子ドライバ
３３…像ぶれ補正ドライバ
３４…メモリＩ／Ｆ
３５…記録媒体
３６…ＬＣＤドライバ
３７…ＬＣＤ
３８…操作デバイス
３９…フラッシュメモリ
４０…本体側マイクロコンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】