特許 6857006 撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6857006

(24)【登録日】2021年3月23日

(45)【発行日】2021年4月14日

(54)【発明の名称】撮像装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210405BHJP

【ＦＩ】

   H04N5/232 290

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2016-206729(P2016-206729)

(22)【出願日】2016年10月21日

(65)【公開番号】特開2018-67868(P2018-67868A)

(43)【公開日】2018年4月26日

【審査請求日】2019年8月20日

(73)【特許権者】

【識別番号】517419180

【氏名又は名称】ナンチャン オー−フィルム オプティカル−エレクトロニック テック カンパニー リミテッド

(74)【代理人】

【識別番号】110000291

【氏名又は名称】特許業務法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】酒本 章人

(72)【発明者】

【氏名】萩原 泰文

(72)【発明者】

【氏名】安藤 洋史

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１３−０２１５０９（ＪＰ，Ａ）

【文献】 特開２０１０−１４１６６１（ＪＰ，Ａ）

【文献】 特開平０６−２６１２３８（ＪＰ，Ａ）

【文献】 特開２００５−１９８１５５（ＪＰ，Ａ）

【文献】 特開２０１０−２６３６１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ５／２０

(57)【特許請求の範囲】

【請求項1】

光学レンズおよび固体撮像素子を備える撮像装置において、前記固体撮像素子により出力されるとともに複数の領域に分けられる画像の各領域の前記光学レンズによる点広がり関数と、前記画像のデジタルズームによる画像拡大時のぼけ関数との両方に基づいて算出される補正データを記憶する記憶手段と、撮影される前記画像毎に前記記憶手段から前記補正データを抽出し、抽出された前記補正データを用いて撮影された前記画像毎に前記点広がり関数および前記ぼけ関数に基づく前記画像の劣化を補正するための演算処理を施す演算処理手段とを備えることを特徴とする撮像装置。

【請求項2】

前記補正データは、前記点広がり関数と前記ぼけ関数とをそれぞれフーリエ変換によって周波数領域に変換してから互いに乗算し、乗算結果の逆数を求め、求めた逆数に逆フーリエ変換を行って実空間領域のデコンボリューションフィルタに変換して前記記憶手段に記憶されていることを特徴とする請求項１に 記載の撮像装置。

【請求項3】

撮影された前記画像中のエッジ強度を検出するエッジ検出手段を備え、
前記演算処理手段は、前記エッジ検出手段で検出された前記画像の各位置のエッジ強度に応じて、前記演算処理による補正の強さを調整することを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

焦点距離の異なる前記レンズおよび前記固体撮像素子を備える複数の撮影ユニットと、撮影時のズーム倍率によって複数の前記撮影ユニットからの前記画像の出力を切り替える切替手段とを備え、
前記記憶手段は、各撮影ユニットに対応する前記補正データを記憶し、
前記演算処理手段は、各撮影ユニットに対応する前記補正データを用いて前記撮影ユニットから出力される前記画像を補正する演算処理を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学レンズと固体撮像素子を備える撮像装置に関する。

【背景技術】

【0002】

一般に、光学レンズと固体撮像素子を備え、撮影した被写体の像を画像データに変換し、これを電子的信号に変換する撮像装置を有するデジタルカメラが知られている。この撮像装置は、デジタルカメラに使用されるだけではなく、カメラモジュールとして、モバイル機器であるスマートフォンやタブレット等に組み込まれている。このような撮像装置で撮影された画像データは、主に光学収差により、点光源からの光線が１点に収束せず光学的なボケが発生して画質が劣化する。このボケに対応した光線の広がりを表すのが点広がり関数(PSF:Point Spread Function)である。このＰＳＦは、画像の領域の位置（画像中心からの距離：像高）によって異なっている。

【0003】

上述のような光学収差によるボケに対しては、例えば、以下のような処理が行われる。すなわち、レンズの光学収差等の光学特性によって劣化した画像にエッジ強調フィルタ処理（ラプラシアンフィルタ等）が行われるのが一般的である。しかし、エッジ強調フィルタ処理を強くすると、エッジ周辺に不要なオーバーシュートやアンダーシュートが発生し易くなってしまう。画像の周辺部に渡って高品質の画像を得るためにはＰＳＦによる補正が必要となる。たとえば、カメラモジュール毎にＰＳＦを測定し、これを補正用のデータとして演算処理を行って画像の領域毎、およびカメラモジュール毎の固体差などを補正する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−１７７９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

一方、近年、特にスマートフォンなどのモバイル機器に採用されるカメラモジュールにおいては、ズーム機能が重要視されている。光学ズーム機構はレンズユニット内にレンズの移動機構が必要であり、モジュールサイズが大きく高価になるとともに落下衝撃に対して脆弱になってしまう虞がある。このような観点からモバイル機器は画像処理による画像拡大機能、いわゆるデジタルズーム機能が重視されている。一般的なデジタルズームでは、最近隣補間法、線形補間法、三次畳込補間法等による間処理やエッジ強調フィルタ処理などの処理が施されるが、エッジ強調フィルタ処理では、上述のようにエッジ近傍でオーバーシュートやアンダーシュートが発生し、不自然な画像になってしまう虞がある。また、線形補間や３次畳込補間は基本的にサンプリング時に失われた高周波数成分を復元することはできない。したがって、補間処理に加えて高周波成分を復元する処理を行う必要がある。以上のことから、デジタルズームを多用する撮像装置においては、光学特性による画像劣化に対応する処理と、拡大処理による画像劣化に対する処理をそれぞれ行う必要がある。このため、復元処理の処理量が多くなってしまう。また、フレームレイトの高い動画の撮影中にデジタルズームを使用して拡大率を変更するような場合に、撮像装置の演算処理装置に高い処理能力が要求されたり、フレームレイトやデジタルズームの拡大率の変更操作等が制限されたりする虞がある。

【0006】

本発明は、前記事情に鑑みてなされたもので、撮像装置におけるレンズの光学特性による画質劣化とズーム時の画像拡大処理による画質劣化を効率的に補正し、デジタルズームされた画像であっても自然な高解像度画像を得ることができる撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

前記目的を達成するために、本発明の撮像装置は、光学レンズおよび固体撮像素子を備える撮像装置において、前記固体撮像素子により出力されるとともに複数の領域に分けられる画像の各領域の前記光学レンズによる点広がり関数と、前記画像のデジタルズームによる画像拡大時のぼけ関数との両方に基づいて算出される補正データを記憶する記憶手段と、撮影される前記画像毎に前記記憶手段から前記補正データを抽出し、抽出された前記補正データを用いて撮影された前記画像毎に前記点広がり関数および前記ぼけ関数に基づく前記画像の劣化を補正するための演算処理を施す演算処理手段とを備えることを特徴とする。

【0008】

このような構成によれば、デジタルズームが行われる撮像装置において、光学レンズの光学特性（光学収差等）による撮影された画像の劣化と、デジタルズームによる画像拡大処理に基づく撮影された画像の劣化を、これら２種類の劣化に対して、一元化された補正データを用いて、効率的に補正することが可能となる。
すなわち、光学レンズの光学特性による画像の劣化に係る点広がり関数と、拡大処理による画像の劣化に係るボケ関数との両方に対応する補正データを用いてデジタルズームされた画像を効率的に補正することができる。

【0009】

本発明の前記構成において、前記補正データは、前記点広がり関数と前記ぼけ関数とをそれぞれフーリエ変換によって周波数領域に変換してから互いに乗算し、乗算結果の逆数を求め、求めた逆数に逆フーリエ変換を行って実空間領域のデコンボリューションフィルタに変換して前記記憶手段に記憶されていることが好ましい。

【0010】

このような構成によれば、光学レンズの光学特性による画像劣化に対応する点広がり関数と、拡大処理による画像劣化に対応するボケ関数とを組み合わせた補正データを用いて効率的にデジタルズームされた画像を補正することができる。

【0011】

また、本発明の前記構成において、撮影された前記画像中のエッジ強度を検出するエッジ検出手段を備え、
前記演算処理手段は、前記エッジ検出手段で検出された前記画像の各位置のエッジ強度に応じて、前記演算処理による補正の強さを調整することが好ましい。

【0012】

このような構成によれば、上述の点広がり関数とボケ関数とに基づく補正をする際に、エッジ強度が低く部分、すなわち、光の強度の位置の違いによる変化が少なく、光の強度が平坦な状態となっている画像上の領域に、エッジ強度が高い部分と同様の補正を行うことで、かえってノイズが増加してしまうのを防止することができる。補正の強さの違いは、例えば、エッジ強度が所定値より低い場合に補正を行わず、所定値より高い場合に補正を行うものであってもよい。また、エッジ強度に上限値と下限値を設定し、エッジ強度が下限値の場合に補正を行わず、上限値以上の場合に上述の補正を行い、上限値と下限値の間の場合に、上述の補正を弱くして行うものとしてもよい。すなわち、エッジ強度を複数段階に分け、エッジ強度の強さに反比例するように補正の強さを設定するものとしてもよい。

【0013】

また、本発明の前記構成において、焦点距離の異なる前記レンズおよび前記固体撮像素子を備える複数の撮影ユニットと、撮影時のズーム倍率によって複数の前記撮影ユニットからの前記画像の出力を切り替える切替手段とを備え、
前記記憶手段は、各撮影ユニットに対応する前記補正データを記憶し、
前記演算処理手段は、各撮影ユニットに対応する前記補正データを用いて前記撮影ユニットから出力される前記画像を補正する演算処理を行うことが好ましい。

【0014】

このような構成によれば、焦点距離が異なる複数の撮影ユニットを有し、これら撮影ユニットから出力される画像を切り替えることで、交換レンズを交換するように拡大率を変更できる構成において、複数の撮影ユニットからの画像の切替とデジタルズームを組み合わせることで、性能を光学ズームに近づけるような場合でも、それぞれの撮影ユニットと対応する上述の補正データで補正することにより、効率的に画像を補正することができる。

【発明の効果】

【0015】

本発明によれば、撮像装置に使われているレンズの光学特性の一つである点広がり関数から画像の領域毎の解像度劣化と、ズーム操作による画像拡大処理の結果発生するボケとを効率的に補正でき、より容易に高画質な画像を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の第１の実施の形態の撮像装置を示すブロック図である。

【図2】同、撮像装置の画像補正演算部を示すブロック図である。

【図3A】同、解像度チャートの一部の理想的な画像（Ａ）を示す図である。

【図3B】同、解像度チャートの一部を撮影して得られた劣化している画像（Ｂ）を示す図である。

【図3C】同、画像（Ａ）と画像（Ｂ）の輝度変化を比較するグラフである。

【図3D】同、画像（Ａ）に対する画像（Ｂ）の輝度変化を微分した値を示す図である。

【図4A】同、解像度チャートの一部の理想的な画像（Ａ）を示す図である。

【図4B】同、解像度チャートの一部を撮影・拡大して劣化している画像（Ｂ）を示す図である。

【図4C】同、画像（Ａ）と画像（Ｂ）の輝度変化を比較するグラフである。

【図4D】同、画像（Ａ）に対する画像（Ｂ）の輝度変化を微分した値を示す図である。

【図5】本発明の第２の実施の形態の撮像装置を示すブロック図である。

【図6A】一方のレンズで撮影した画像を示す図である。

【図6B】図６Ａの画像の復元画像を示す図である。

【図6C】他方のレンズで撮影した画像を示す図である。

【図6D】図６Ｃの画像の復元画像を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態を説明する。
（第１の実施の形態）
まず、本発明の第１の実施の形態を説明する。
図１に示すように、本発明の第１の実施の形態に係る撮像装置は、被写体からの光を結像させるための光学レンズ１と、光学レンズ１により被写体の像が受光面に結像された際に、光を信号電荷に変換し、画像データを生成してこの画像データを示す画像信号を出力する固体撮像素子２と、固体撮像素子２から出力された画像信号にデモザイク処理（内挿処理）を行うデモザイク部３と、デモザイク処理された画像データをズームとして拡大する拡大処理部４と、画像データを示すＲＧＢ信号を輝度信号と色差信号に変換するＹＣ分離部５と、画像データを復元するための補正データを保持するための記憶回路（メモリ）である補正データ保持部６とを備える。

【0018】

また、撮像装置は、上述の輝度信号に対して補正データ保持部６に記憶された補正データを用いて補正のための演算を行う画像補正演算部７と、補正された輝度信号に色差信号のタイミングを合わせるタイミング調整部８と、画像補正演算部７における処理によって発生した不要ノイズを低減するノイズ低減部９と、補正された輝度信号と、遅延された色差信号とを合成して出力する合成部１０とを備える。

【0019】

上述の画像補正演算部７は、画像補正演算に必要なＮ×Ｎの画像データを保持するための記憶部である画像データ保持部１１と、デコンボリューションフィルタ処理を行うデコンボリューション演算部１２と、画像データのエッジ強度を検出するエッジ検出部１３と、Ｎ×Ｎの画像データの中の輝度差を計算する輝度差算出部１４と、デコンボリューション演算部１２およびエッジ検出部１３の出力値から画素値を算出する加算部１５と、色の調整を行うカラーマトリクス調整部１６とを備える。

【0020】

光学レンズ１は、一枚でも複数枚からなるレンズ群であってもよい。固体撮像素子２は、例えば、ＣＣＤやＣＭＯＳ等を用いたものであっても良い。また、固体撮像素子２は、カラーフィルタが設けられ、カラーフィルタの各色に応じた信号電荷を生成し、この信号電荷の値を内蔵されたアナログ―デジタル変換回路を通してデジタル化して画像データを得るようになっている。

【0021】

デモザイク部３は、固体撮像素子２から出力される画像データのデモザイク処理を行うもので、カラーフィルタの各画素の色以外の色の画素値を周囲の画素のデータに応じて算出（補間：内挿）するもので、例えばカラーフィルタが赤となる画素における青、緑の値を算出し、カラーフィルタが緑となる画素における青、赤の値を算出し、カラーフィルタが青となる画素における赤、緑の値を算出するものである。

【0022】

拡大処理部４は、デモザイク部３でデモザイク処理された画像データをユーザの操作等に基づくズーム指令ａに応じて任意の倍率で拡大する。その際には、補間により画素数を増加させる。なお、拡大処理部４は、ズーム指令ａとして拡大が指示されていない場合は、例えば、入力した画像をそのまま出力する。
ＹＣ分離部５は、拡大処理部４から出力される画像データとしてのＲＧＢデータを輝度、色差のデータに変換するもので、人間の目が輝度に敏感であることを利用して輝度（Ｙ）のみに後述する補正処理を行うためのものである。

【0023】

補正データ保持部６は、得られた画像データを復元するための補正データを保持するための記憶回路（メモリ）であり、ズーム指令ａおよび画像データ上の位置を示す位置信号ｂに基づいて、保持された補正データを切り替えて出力する。ここで、ズーム指令ａには、画像データをズームする際の拡大率が含まれている。また、位置信号ｂは、例えば、画像データ上の位置を座標等で示すものであり、ズームする前の画像データ上の位置を示すものである。ズームの際に、元画像の拡大の基点が必ず元画像の同じ位置となる場合に、基点となる位置を座標の原点としてもよいし、位置を基点からの距離で表してもよい。

【0024】

補正データは、後述のように、レンズの光学収差等の光学特性による画像データの劣化を復元する光学補正データと、デジタルズームとしての拡大処理による画像データの劣化を復元する倍率補正データとをかけ合わせたものであり、元画像データ上の位置と、拡大率によって異なる補正データが補正データ保持部６に格納される。なお、拡大率が違う場合に、拡大率に対応するパラメータで基準となる補正データから演算により拡大率に対応する補正データを算出するようにしてもよい。

【0025】

画像補正演算部７は、ＹＣ分離部５からの画像データの輝度信号の読み出しと同時に補正データ保持部６からの補正データの読み出しを行い、その内容に基づいて画像データの補正を行う。画像補正演算部７の詳細については後述する。
タイミング調整部８はＹＣ分離部５から出力された色差信号のタイミングを画像補正演算部７と合わせるために遅延処理を行う。

【0026】

ノイズ低減部９は、画像補正演算部７における処理によって発生した不要ノイズを低減するもので、メディアンフィルタ、イプシロンフィルタ、バイラテラルフィルタなどが適宜用いられるが、周辺画素の輝度情報（輝度の絶対値、輝度差など）を判定して適応的にフィルタ強度を変更してもよい。このようなノイズ低減処理は、場合によっては省略可能である。
合成部１０は、ノイズ低減部９から出力される復元された輝度信号と、タイミング調整部８から出力される色差信号とを合成し、ＲＧＢ、ＹＵＶ、ＲＡＷなど必要に応じた画像フォーマットに変換して、画像装置からの最終的な出力として画像データを出力する。

【0027】

図２に示すように、画像補正演算部７における画像データ保持部１１は、ＹＣ分離部５からの画像データの輝度信号を記憶するものであり、画像補正演算に必要なＮ×Ｎ画素の画像データを各画素事に記憶している。
デコンボリューション演算部１２は、画像データ保持部１１から入力されるＮ×Ｎの輝度信号と補正データ保持部６から読み出された補正データを要素毎に掛け合わせ、さらに加算することによって上述のＮ×Ｎの画像データにおける中心位置での画素値（デコンボリューション演算部１２の出力値ｄ）を得る。本実施の形態ではＮ＝９とした。

【0028】

エッジ検出部１３は、画像データ保持部１１のデータのうち中心部Ｍ×Ｍを使って、画像の、垂直、水平方向のエッジ強度を計算し、これをエッジ検出部１３の出力値ｅとしている。エッジ検出にはＭ＝３のソーベルフィルタを用い、垂直、水平方向の２乗平均を算出している。なお、エッジ強度は、他のアルゴリズムを用いて求めても構わない。
デコンボリューション演算部１２、エッジ検出部１３の出力値とから加算部１５で次のアルゴリズムによって注目画素の画素値を計算する。

【0029】

【数1】

【0030】

ここで、
ｄ：デコンボリューション演算部１２の出力値（補正後の画素値）
ｅ：エッジ検出部１３の出力値
Ｉ：注目画素値（補正前の画素値）
th_H、th_L：エッジ強度閾値
α：デコンボリューション演算結果と元画像との混合比率
前記th_H、th_L、αなどのパラメータは適宜決定することが可能であり、設計時や試作時や製品の製造時等において、画像を見ながら適宜決定され、場合によっては撮影シーンによって適応的に変更可能に設定しても良い。
この加算部１５での処理は、後述するデコンボリューション演算部１２での画像の補正処理後に行われるものであり、エッジ検出部１３の出力値ｅによって、補正の強さを変更するためのものである。エッジ検出部１３の出力値ｅには、上述のように上下２点の閾値th_H、th_Lが設定されている。エッジ強度の出力値ｅが下側の閾値th_L以下の場合は、加算部１５からの出力値を補正前の画像データの注目画素の画素値Iとする。すなわち、画像データの各画素におけるエッジ強度の出力値ｅが下側の閾値th_L以下となる画素においては、画像データの画素値を補正しない。
エッジ強度の出力値ｅが上側の閾値th_H以上の場合は、加算部１５からの出力値を補正後の画像データの注目画素の画素値、すなわち、デコンボリューション演算部１２の出力値ｄとする。すなわち、画像データの各画素におけるエッジ強度の出力値ｅが上側の閾値th_H以上となる画素においては、画素値を補正する。
エッジ強度の出力値ｅが上側の閾値th_Hと下側の閾値th_Lとの間の場合は、加算部１５からの出力値ｄを補正前の画像データの注目画素の画素値Iと、補正後となるデコンボリューション演算部１２の出力値ｄとを合成した値とする。すなわち、画像データの各画素におけるエッジ強度の出力値ｅが下側の閾値th_Lと上側の閾値th_Hとの間となる画素においては、画素値を補正前の画素値Iと補正後の画素値の間となる値とする。

【0031】

なお、エッジ強度の閾値を一つとして、閾値以上の場合に加算部１５からの出力値を補正後の画像データの注目画素の画素値、すなわち、デコンボリューション演算部１２の出力値ｄとし、エッジ強度の出力値ｅが閾値以下の場合は、加算部１５からの出力値を補正前の画像データの注目画素の画素値Iとしてもよい。また、閾値を３つ以上とし、補正前の画素値と、補正後の画素値の間に複数段階の補正前の画素値と補正後の画素値を合成した画素値を当てはめるようにしてもよい。このように、エッジ強度が低い部分では、補正をしなかったり、補正の強さを低くしたりすることで、輝度の位置の違いによる変化が少ない部分で補正を行うことでかえって輝度変化が大きくなってノイズが発生するのを防止している。

【0032】

加算部１５（画像補正演算部７）からの出力はＹＣ分離部５からの色差信号と合成部１０で合成され、ＲＧＢ信号に戻される。その後カラーマトリクス調整部１６で色の調整を行って最終的な画像データを得る。

【0033】

次に、レンズの点広がり関数（ＰＳＦ）と拡大によるボケ関数を用いた画像補正用データの作成について概念図を用いて説明する。
図３Ａは被写体となる解像度チャートの一部を拡大した被写体であり、言い換えれば、被写体を撮影した劣化の無い理想的な画像（Ａ）である。図３Ｂは撮像装置で同じ部分を撮影し何ら処理をしていないが劣化がある画像（Ｂ）である。図３Ｃは、図３Ａ、図３Ｂの矢印に示すように画像（Ａ）、（Ｂ）をスキャンした場合に対応するもので、元の被写体を撮影した際の理想的な画像（Ａ）における光の強度（輝度）の矢印上の位置による変化と、拡大した画像（Ｂ）における光の強度（輝度）の矢印上の位置による変化を画素毎に１次元で示したものである。なお、横軸は画素単位で矢印上の各画素を示し、縦軸は輝度（強度）であるが、強度は、同一スケールになるよう規格化してある。図３Ｄは図３Ａの画像（Ａ）に対する図３Ｂの画像（Ｂ）の輝度変化を微分したもので、レンズの点広がり関数に相当し、固体撮像素子２の受光面上では、広がって分布する。すなわち、図３（Ａ）の輝度変化に図３Ｄを実空間上で畳み込み積分（コンボリューション）されたものに相当し、これが実際に撮影された画像である図３Ｂの画像（Ｂ）となる。
得られた画像（Ｂ）から理想的な画像（Ａ）に復元するには図３Ｄおよび図３Ｃに示した画像Ｂの輝度変化をフーリエ変換して空間周波数領域に展開し、図３Ｄに示す値で除した後にフーリエ逆変換すればよいことは一般に知られている。

【0034】

一方、ズーム処理による画像拡大時には、例えば、元の画素数のまま画像の大きさを拡大すると一画素の面積が拡大される。「この場合に画像を拡大しても画素数が同じため画像の解像度が低くなって見える。そこで、補間により画素数を増やした場合に、拡大した画像と、元の画像とを同じ大きさとして比較すると、元画像の画素サイズに対して補間により拡大された画像の画素が小さくなる。
このように元画像に対して拡大画像の画素サイズが相対的に小さくなることにより図４に示すように空間周波数を高くする必要があるが、一般的に用いられる単純な補間処理では元のサンプリング周波数が下がったことになり、解像度が劣化して見える。
ここで、図４Ａおよび図４Ｂは解像度チャートの一部となる画像を示すものであり、図４Ａは、拡大前の理想的な元画像である画像（Ａ）を示し、図４Ｂは、拡大後の画像である画像（Ｂ）を示している。図４（Ｃ）は、図４Ａ、図４Ｂの矢印に示すように画像（Ａ）、（Ｂ）をスキャンした場合の輝度（光の強度）の変化を示すものであり、横軸が画像（Ａ）、（Ｂ）の矢印上の各位置の画素を示し、縦軸が輝度を示している。

【0035】

解像度の劣化は図４Ｃに示すように輝度変化が緩やかになったことに起因し、図４Ａの画像（Ａ）に図４Ｄのようなぼけ関数が畳み込まれたことにより、拡大された図４Ｂの画像（Ｂ）となり、解像度が劣化したことになる。したがって前述したレンズの点広がり関数による解像度劣化の補正と同様に、図４Ｂの画像（Ｂ）の輝度変化および図４Ｄのぼけ関数の値をそれぞれフーリエ変換し図４Ｄのぼけ関数の値で除した後フーリエ逆変換によって戻せば画像（Ａ）と略同等の解像度の拡大画像が求められる。

【0036】

数式としては下記のように表される。
G：被写体の輝度分布、I：撮影された画像の輝度分布、P：点広がり関数
I=G*P （１）
F(I)=F(G*P)=F(G)×F(P) （２）
G=F^-1(F(I)/F(P))=I*F^-1(1/F(P)) （３）
なお、記号*は畳み込み積分を、F()、F^-1()はそれぞれフーリエ変換、およびフーリエ逆変換を表すものとする。一般的にF^-1(1/F(P))はデコンボリューションフィルタと呼ばれる。

【0037】

さらに、画像拡大時には下記のように表される。
I’=I*B=G*P*B （４）
なおI’：拡大画像、B：拡大によるボケ関数
I‘からGを復元するためには下記のようにすればよい。
G=I*F^-1(1/F(P))*F^-1(1/F(B)) （５）
デコンボリューションフィルタは通常(2N+1)×(2N+1)のマトリックスで表現されるので１画素の演算処理は(2N+1)×(2N+1)回の乗算処理と加算処理が必要となる。

【0038】

画像拡大時には上述の演算処理を２回逐次的に行う必要があり、さらに１段目の畳み込み積分の結果を得るには少なくともさらに次のＮ列分の画像データ入力を待たなければならない。本発明においては（５）の式を次のように変形し、予め倍率に応じた補正データ（デコンボリューションフィルタ）を計算して保持しておくことにより、演算回数を減らすことができる。
=I*F^-1(1/(F(P)×1/F(B)))=I*F^-1(1/(F(P)×F(B))) （６）

【0039】

なお、レンズの点広がり関数は光学設計値、撮像装置組立後の実測値、あるいはこれらを基にした適当な関数への置き換え、などが適宜採用可能である。適当な関数とはガウス関数、ローレンツ関数、適当な多項式などである。光学設計値、測定値を用いる場合は画質を見ながら、広がり幅を適当に補正して最適値を選ぶことができる。

【0040】

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。
図５に示すように、本発明の第２の実施の形態に係る撮像装置は、図１に示す第１の実施の形態の撮像装置に、光学レンズ１および固体撮像素子２とは別に、さらに光学レンズ１’および固体撮像素子２’を加えるとともに、固体撮像素子２からの出力信号と、固体撮像素子２’からの出力信号を切り替える切り替え回路１７が追加されている。光学レンズ１および固体撮像素子２と、光学レンズ１’および固体撮像素子２’とからそれぞれ撮影ユニットが構成されている。
光学レンズ１および光学レンズ１’は、視野角または焦点距離の異なったものを用いており、光学的に倍率が異なっている。たとえば光学レンズ１に対して光学レンズ１’の焦点距離が１：２になっていれば光学的に２倍ズームに相当し、撮像装置全体のズーム比Ｚが１≧Ｚ＞２の場合は光学レンズ１を備える固体撮像素子２から信号を出力させ、Ｚ≧２の場合は光学レンズ１’を備える固体撮像素子２’からの信号が出力されるように、切り替え回路１７で切り替える。その他の構成は第１の実施の形態の撮像装置と同様である。

【0041】

なお、固体撮像素子２および２’は同一の仕様のもでも、異なった仕様のものでも構わないが、後者の場合はズーム比の調整など仕様によって合わせる必要がある。
第２の実施の形態においても、各撮影ユニットで撮影された画像データに対して第１の実施の形態で行われた上述の処理を行うようになっている。したがって、第２の実施の形態の撮像装置では、例えば、画像を出力する撮影ユニットを切り替えるか、二つの撮影ユニットからそれぞれ出力される画像の信号を切り替えることにより、撮影ユニットの数だけ段階的に画像拡大率を光学的に変更可能で、さらにデジタルズームを用いて連続的に拡大率を変更する際に、上述のように、光学特性に基づく点広がり関数と、拡大処理によるボケ関数とに基づく補正データを作成して記憶しておくことにより、この補正データを用いて効率的に光学特性と拡大処理とによる画像の劣化を復元することができる。

【0042】

図６は、本発明による撮像装置で得られた画像の一部を示す。
図６Ａは、光学レンズ１と固体撮像素子２の組合せによる通常画像、図６Ｂは第1の実施の形態における補正方法により通常画像を補正した補正画像、図６Ｃ、図６Ｄは、ズーム比を２とした場合の光学レンズ１’側の画像であり、同様に通常画像と補正画像を示している。
いずれの場合も本発明により良好な画質が得られていることが分かる。

【0043】

なお、上述の各実施の形態の撮像装置において、固体撮像素子２（２’）からの出力信号に対する処理を行う演算処理部分が撮像装置となるカメラモジュール内にあっても、カメラモジュールの外にあってもよく、この場合には、カメラモジュールとその外部の演算処理部分とから撮像装置が構成されていてもよい。また、演算処理部分は、専用回路であってもよいし、プログラムされた汎用回路であっても良いし、専用回路と汎用回路を組み合わせたものであってもよい。また、撮像装置がスマートフォンやタブレット等の汎用の演算処理装置を有する電子機器に組み込まれている場合に、上述の演算処理部分の全部または一部を電子機器側のアプリケーション（プログラム）に基づいて作動する電子機器側の演算処理装置としてもよい。

【符号の説明】

【0044】

１ 光学レンズ
２ 固体撮像素子
６ 補正データ保持部（記憶手段）
７ 画像補正演算部（演算処理手段）
１３ エッジ検出部（エッジ検出手段）
１７ 切り替え回路（切替手段）

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】