特開 2024-98938 画像に含まれた欠陥を補正する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024098938

(43)【公開日】2024-07-24

(54)【発明の名称】画像に含まれた欠陥を補正する装置

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240717BHJP

【ＦＩ】

G06T5/00 705

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023022161

(22)【出願日】2023-02-16

(31)【優先権主張番号】10-2023-0004026

(32)【優先日】2023-01-11

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】キム ジン ス

(72)【発明者】

【氏名】キム テ ヒョン

(72)【発明者】

【氏名】ペ ジョン ヒョン

(72)【発明者】

【氏名】アン サン ウ

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CE02

5B057CE04

5B057CE06

(57)【要約】

【課題】画像に含まれた欠陥を画像処理によって補正する。
【解決手段】画像プロセッサ１００は、２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得する取得部１１０と、互いに対角線方向に位置する第１画素データ及び第４画素データの平均値に基づいて第１ガイド画像を取得するガイド画像生成部１２０と、第１ガイド画像に含まれた高周波成分及び画像データを用いて生成された結果画像を出力する画像演算部１３０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得する取得部と、
互いに対角線方向に位置する上記第１画素データ及び上記第４画素データの平均値に基づいて第１ガイド画像を取得するガイド画像生成部と、
上記第１ガイド画像に含まれた高周波成分及び上記画像データを用いて生成された結果画像を出力する画像演算部と、を含むことを特徴とする画像プロセッサ。

【請求項2】

上記ガイド画像生成部は、
互いに対角線方向に位置する上記第２画素データ及び上記第３画素データの平均値に基づいて第２ガイド画像を取得することを特徴とする請求項１に記載の画像プロセッサ。

【請求項3】

上記画像演算部は、
上記第１ガイド画像に含まれた第１高周波成分または上記第２ガイド画像に含まれた第２高周波成分のうち少なくとも１つを用いて上記結果画像を生成することを特徴とする請求項２に記載の画像プロセッサ。

【請求項4】

上記画像演算部は、
上記第１ガイド画像に関する第１重み、及び上記第２ガイド画像に関する第２重みに応じて上記結果画像を生成することを特徴とする請求項３に記載の画像プロセッサ。

【請求項5】

上記画像演算部は、
上記第１ガイド画像及び上記第２ガイド画像のうち上記画像データとより類似するガイド画像に関する重みをより高く設定することを特徴とする請求項４に記載の画像プロセッサ。

【請求項6】

上記ガイド画像生成部は、
上記画像データに基づいて上記第１画素データ及び上記第４画素データの平均値を含む第１平均値セットを取得し、
上記第１平均値セットのフィッティングカーブを用いて上記第１平均値セットより解像度の増加した上記第１ガイド画像を取得することを特徴とする請求項１に記載の画像プロセッサ。

【請求項7】

上記画像演算部は、
上記第１ガイド画像からローパスフィルタが適用された上記第１ガイド画像を減算して、上記第１ガイド画像に含まれた上記高周波成分を取得することを特徴とする請求項１に記載の画像プロセッサ。

【請求項8】

上記画像演算部は、
上記画像データにローパスフィルタを適用してぼけた画像データを取得し、
上記第１ガイド画像に含まれた上記高周波成分を上記ぼけた画像データに追加して上記結果画像を生成することを特徴とする請求項１に記載の画像プロセッサ。

【請求項9】

上記結果画像は、
上記画像データより上記画像データの少なくとも一部領域に含まれた位相差による欠陥の減少した画像であることを特徴とする請求項１に記載の画像プロセッサ。

【請求項10】

２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得する段階と、
互いに対角線方向に位置する上記第１画素データ及び上記第４画素データの平均値に基づいて第１ガイド画像を取得する段階と、
上記第１ガイド画像に含まれた高周波成分及び上記画像データを用いて結果画像を生成する段階と、を含むことを特徴とする画像処理方法。

【請求項11】

互いに対角線方向に位置する上記第２画素データ及び上記第３画素データの平均値に基づいて第２ガイド画像を取得する段階をさらに含むことを特徴とする請求項１０に記載の画像処理方法。

【請求項12】

上記結果画像を生成する段階は、
上記第１ガイド画像に含まれた第１高周波成分または上記第２ガイド画像に含まれた第２高周波成分のうち少なくとも１つを用いて上記結果画像を生成する段階を含むことを特徴とする請求項１１に記載の画像処理方法。

【請求項13】

上記結果画像を生成する段階は、
上記第１ガイド画像に関する第１重み、及び上記第２ガイド画像に関する第２重みに応じて上記結果画像を生成する段階を含むことを特徴とする請求項１２に記載の画像処理方法。

【請求項14】

上記結果画像を生成する段階は、
上記第１ガイド画像及び上記第２ガイド画像のうち上記画像データとより類似するガイド画像に関する重みをより高く設定する段階を含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項15】

上記第１ガイド画像を取得する段階は、
上記画像データに基づいて上記第１画素データ及び上記第４画素データの平均値を含む第１平均値セットを取得する段階と、
上記第１平均値セットのフィッティングカーブを用いて上記第１平均値セットより解像度の増加した上記第１ガイド画像を取得する段階と、を含むことを特徴とする請求項１０に記載の画像処理方法。

【請求項16】

上記結果画像を生成する段階は、
上記第１ガイド画像からローパスフィルタが適用された上記第１ガイド画像を減算して、上記第１ガイド画像に含まれた上記高周波成分を取得する段階を含むことを特徴とする請求項１０に記載の画像処理方法。

【請求項17】

上記結果画像を生成する段階は、
上記画像データにローパスフィルタを適用してぼけた画像データを取得する段階と、
上記第１ガイド画像に含まれた上記高周波成分を上記ぼけた画像データに追加して上記結果画像を生成する段階と、を含むことを特徴とする請求項１０に記載の画像処理方法。

【請求項18】

上記結果画像は、
上記画像データの少なくとも一部領域に含まれた位相差による欠陥の減少した画像であることを特徴とする請求項１０に記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像に含まれた欠陥を画像処理によって補正する技術に関する。

【背景技術】

【0002】

近年、高画素画像センサに対する要求に応じて画素のサイズが小型化することで、１つのマイクロレンズの下に２つ以上のフォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ、以下、ＰＤ）が配置される形態の画像センサが開発されている。例えば、画像センサは各画素ごとに１つのマイクロレンズを含むように構成されることができるだけでなく、２×２に配列された４つの画素が１つのマイクロレンズを共有するように構成されることができる。４つの画素が１つのマイクロレンズを共有する形態の画像センサはＡ４Ｃ（ａｌｌ ４－ｃｏｕｐｌｅｄ）センサということができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

２つ以上の画素が１つのマイクロレンズを共有する形態の画像センサを介して撮影された画像は位相差による欠陥を含む。例えば、Ａ４Ｃセンサを介して撮影された画像は焦点の設定されていない領域で生じた位相差による欠陥を含む。

【0004】

Ａ４Ｃセンサで１つのマイクロレンズを通過した光は２つ以上（例えば、４つ）の画素に分かれて入射する。従って、Ａ４Ｃセンサを含む装置は、撮影する場面のうち焦点の合う第１被写体から入射した光は位相差が生じないが、焦点の合わない第２被写体から入射した光は位相差が生じた画像を取得する。

【課題を解決するための手段】

【0005】

本開示の実施例による画像プロセッサは、２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得する取得部と、互いに対角線方向に位置する上記第１画素データ及び上記第４画素データの平均値に基づいて第１ガイド画像を取得するガイド画像生成部と、上記第１ガイド画像に含まれた高周波成分及び上記画像データを用いて生成された結果画像を出力する画像演算部と、を含んでもよい。

【0006】

本開示の実施例による画像処理方法は、２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得する段階と、互いに対角線方向に位置する上記第１画素データ及び上記第４画素データの平均値に基づいて第１ガイド画像を取得する段階と、上記第１ガイド画像に含まれた高周波成分及び上記画像データを用いて結果画像を生成する段階と、を含んでもよい。

【発明の効果】

【0007】

本開示によると、Ａ４Ｃセンサを含む装置は撮影された画像に含まれた欠陥（例えば、位相差による欠陥）を画像処理によって減少させることができる。また、装置は位相差による欠陥は減少させながらも撮影された画像に含まれたディテールは最大限に保持することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施例による画像プロセッサの構成を概略的に説明するための図である。

【図2】本発明の実施例による画像プロセッサ及び画像センサの構成を概略的に説明するための図である。

【図3】本発明の実施例によって画像プロセッサがＧ（ｇｒｅｅｎ）補間を行う方法の例示を説明するための図である。

【図4】本発明の実施例によって画像プロセッサが画像データに基づいてガイド画像を取得する方法を説明するための図である。

【図5】本発明の実施例によって画像プロセッサがガイド画像を取得する具体的な方法を説明するための図である。

【図6】本発明の実施例によって画像プロセッサがガイド画像を用いて画像データより欠陥の減少した結果画像を取得する方法を説明するための図である。

【図7】本発明の実施例によって位相差による欠陥の減少した結果画像の例示を説明するための図である。

【図8】本発明の実施例によって欠陥の減少した結果画像を取得する方法の流れを説明するための図である。

【図9】本発明の実施例によって欠陥の減少した結果画像を取得する具体的な方法の流れを説明するための図である。

【発明を実施するための形態】

【0009】

本明細書または出願に開示されている本発明の概念による実施例の特定の構造的または機能的説明は本発明の概念による実施例を説明する目的でのみ例示されており、本発明の概念による実施例は様々な形態で実施することができ、本明細書または出願に説明された実施例に限定されると解釈すべきではない。

【0010】

以下において、本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0011】

図１は本発明の実施例による画像プロセッサの構成を概略的に説明するための図である。

【0012】

図１を参照すると、画像プロセッサ１００は、取得部１１０、ガイド画像生成部１２０、及び画像演算部１３０を含んでもよい。

【0013】

取得部１１０は２×２に配列された第１画素データ、第２画素データ、第３画素データ、及び第４画素データを含む画像データを取得することができる。画像データについては図２を参照して後述する。

【0014】

ガイド画像生成部１２０は、互いに対角線方向に位置する第１画素データ及び第４画素データの平均値に基づいて第１ガイド画像を取得することができる。ガイド画像生成部１２０は互いに対角線方向に位置する第２画素データ及び第３画素データの平均値に基づいて第２ガイド画像を取得することができる。ガイド画像については図４及び図５を参照して後述する。

【0015】

画像演算部１３０は第１ガイド画像に含まれた高周波成分を用いて画像データより欠陥の減少した画像を生成することができる。画像演算部１３０は上記生成された欠陥の減少した画像を出力することができる。欠陥の減少した画像生成については図６を参照して後述する。本開示において、欠陥の減少した画像は結果画像ということができる。

【0016】

画像演算部１３０は第１ガイド画像に含まれた第１高周波成分または第２ガイド画像に含まれた第２高周波成分のうち少なくとも１つを用いて上記欠陥の減少した画像を生成することができる。例えば、画像演算部１３０は第１ガイド画像に関する第１重み、及び第２ガイド画像に関する第２重みに応じて上記欠陥の減少した画像を生成することができる。重みについては図６を参照して後述する。

【0017】

図２は本発明の実施例による画像プロセッサ及び画像センサの構成を概略的に説明するための図である。図２では、図１で説明した構成及びその他の追加構成についてより詳細に説明する。

【0018】

図２を参照すると、画像プロセッサ１００は、受信部１１２、Ｇ補間部１１４、ガイド画像生成部１２０、画像演算部１３０、及びＲ／Ｂ補間部１４０を含んでもよい。図２に示す受信部１１２及びＧ補間部１１４は図１の取得部１１０に含まれてもよい。また、画像プロセッサ１００は受信部１１２を介して画像センサ２００からＲＡＷデータを受信することができる。画像プロセッサ１００は欠陥の減少したＲＧＢ画像を外部モジュール３００に出力することができる。

【0019】

画像センサ２００は画素アレイ２１０を介してＲＡＷデータを取得することができる。画素アレイ２１０は２つ以上の画素が１つのマイクロレンズを共有するように構成されてもよい。例えば、画素アレイ２１０は２×２に配列された第１画素２１１、第２画素２１２、第３画素２１３、及び第４画素２１４を含んでもよい。第１画素２１１、第２画素２１２、第３画素２１３、及び第４画素２１４は同じ色（例えば、Ｇ（ｇｒｅｅｎ））に対応するカラーフィルタを含んでもよい。また、第１画素２１１、第２画素２１２、第３画素２１３、及び第４画素２１４は１つのマイクロレンズを共有することができる。本開示では、１つのマイクロレンズを共有する２つ以上の画素（例えば、第１画素２１１、第２画素２１２、第３画素２１３、及び第４画素２１４）は１つの単位画素（ｕｎｉｔ ｐｉｘｅｌ）に含まれるということができる。

【0020】

２つ以上の画素が１つのマイクロレンズを共有する形態の画像センサ２００を介して撮影されたＲＡＷデータは位相差による欠陥を含むことができる。例えば、画像センサ２００を介して取得したＲＡＷデータは焦点の設定されていない領域で生じた位相差による欠陥を含むことができる。画像センサ２００に入射した光のうち１つのマイクロレンズを通過した光は、４つの画素（例えば、第１画素２１１、第２画素２１２、第３画素２１３、及び第４画素２１４）に分かれて入射することができる。従って、画像センサ２００は、撮影される場面のうち焦点の合う第１被写体から入射した光は位相差が生じないが、焦点の合わない第２被写体から入射した光は位相差が生じたＲＡＷデータを取得することができる。

【0021】

画像センサ２００はＲＡＷデータを出力することができる。ＲＡＷデータは画素アレイ２１０を介して取得した画素値を含むことができる。ＲＡＷデータは２つ以上の色に対応する画素値を含むことができる。例えば、ＲＡＷデータはＧ色に対応する画素値、Ｒ色に対応する画素値、及びＢ色に対応する画素値を含むことができる。

【0022】

画像プロセッサ１００は受信部１１２を介して画像センサ２００からＲＡＷデータを受信することができる。受信部１１２はＲＡＷデータをＧ補間部１１４に提供することができる。

【0023】

Ｇ補間部１１４はＲＡＷデータに対してＧ補間（ｇｒｅｅｎ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を行うことができる。例えば、Ｇ補間部１１４はＲＡＷデータに含まれた画素値のうちＲ色及びＢ色に対応する画素値をＧ色に対応するように補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）することができる。Ｇ補間部１１４で行われる補間については図３を参照して後述する。

【0024】

Ｇ補間部１１４はＧ色に補間された画像データを取得することができる。本開示では、画像データはＲＡＷデータに基づいてＧ補間が行われたデータを示すことができる。従って、画像データに含まれた画素データ（例えば、第１画素データ、第２画素データ、第３画素データ、第４画素データ）はＧ色に対応することができる。また、Ｇ補間部１１４は位相差による欠陥を含むＲＡＷデータに基づいて画像データを取得するため、画像データも位相差による欠陥を含むことができる。

【0025】

ガイド画像生成部１２０は画像データに基づいて第１ガイド画像及び／または第２ガイド画像を取得することができる。ガイド画像については図４及び図５を参照して後述する。

【0026】

画像演算部１３０はガイド画像に基づいて画像データより欠陥の減少した画像を取得することができる。画像演算部１３０は欠陥の減少した画像をＲ／Ｂ補間部１４０に提供することができる。上記欠陥の減少した画像とは、ＲＡＷデータまたは画像データの少なくとも一部領域に含まれた位相差による欠陥の減少した画像であることができる。本開示では、欠陥の減少した画像を結果画像ということができる。即ち、本開示における結果画像は、図２の欠陥の減少した画像に対応することができる。欠陥の減少した画像については図６を参照して後述する。

【0027】

Ｒ／Ｂ補間部１４０は欠陥の減少した画像に対してＲ補間及びＢ補間を行うことができる。ガイド画像生成部１２０及び画像演算部１３０はＧ色に補間された画像データに基づいて欠陥の減少した画像を生成するため、欠陥の減少した画像はＧ色に対応することができる。従って、Ｒ／Ｂ補間部１４０は欠陥の減少した画像に含まれた画素値の一部に対してＲ補間またはＢ補間を行うことができる。例えば、Ｒ／Ｂ補間部１４０は欠陥の減少した画像に含まれた画素値のうちＧ補間が行われる前にＲ色（またはＢ色）に対応していた画素値をＲ色（またはＢ色）に対応するように補間することができる。

【0028】

Ｒ／Ｂ補間部１４０はＧ補間部１１４でＲ（またはＢ）色をＧ色に変換することによる前後比率を用いてＧ色の画素値をＲ（またはＢ）色に再変換することができる。例えば、Ｒ／Ｂ補間部１４０は欠陥の減少した画像に含まれたＧ色の画素値にＲ／Ｇ比率（またはＢ／Ｇ比率）を乗じてＲ（またはＢ）色に変換することができる。

【0029】

画像プロセッサ１００はＲ／Ｂ補間部１４０を介して欠陥の減少したＲＧＢ画像を取得することができる。画像プロセッサ１００は欠陥の減少したＲＧＢ画像を外部モジュール３００に出力することができる。例えば、外部モジュール３００はＡＰ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）、メモリ、またはディスプレイであってもよい。その他にも、外部モジュール３００は、画像プロセッサ１００が欠陥の減少したＲＧＢ画像を出力することができる様々な部品または装置であってもよい。

【0030】

図３は本発明の実施例によって画像プロセッサがＧ（ｇｒｅｅｎ）補間を行う方法の例示を説明するための図である。図３で説明するＧ補間は図２のＧ補間部１１４が行うものと理解することができる。

【0031】

Ｇ補間部１１４はＲＡＷデータ３１０に含まれた画素値のうちＲ色またはＢ色に対応する画素値をＧ色に補間することができる。例えば、Ｇ補間部１１４はＲＡＷデータ３１０に含まれた画素値のうちＲ色に対応する第１画素値Ｒ１、第２画素値Ｒ２、第３画素値Ｒ３、及び第４画素値Ｒ４をＧ色に変換してＧ色に対応する第１画素データＧ’１、第２画素データＧ’２、第３画素データＧ’３、第４画素データＧ’４を取得することができる。

【0032】

Ｇ補間部１１４はローカル領域の色比率（ｃｏｌｏｒ ｒａｔｉｏ）を用いてＧ補間を行うことができる。例えば、Ｇ補間部１１４は、数式１を用いてＲ色に対応する第１画素値Ｒ１をＧ色に対応する第１画素データＧ’１に変換することができる。

【0033】

【数1】

【0034】

数式１を参照すると、Ｇ補間部１１４は補間対象である第１画素値Ｒ１の周囲に位置する画素値に基づいてＧ色とＲ色との比率を計算し、上記計算した比率に第１画素値Ｒ１を乗じてＧ色の第１画素データＧ’１を取得することができる。

【0035】

または、Ｇ補間部１１４はローカル領域の色比率の他に様々な方法を用いてＧ補間を行うこともできる。例えば、Ｇ補間部１１４は線形補間（ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）や多項式カーブフィッティング（ｐｏｌｙｎｏｍｉａｌ ｃｕｒｖｅ ｆｉｔｔｉｎｇ）などを用いてＲＡＷデータ３１０に対してＧ補間を行うことができる。

【0036】

参照番号３２０は、ＲＡＷデータ３１０に含まれた画素値のうちＲ色に対応する画素値Ｒ１、Ｒ２、Ｒ３、Ｒ４に対してＧ補間が行われた様子を示す。Ｇ補間部１１４は、ＲＡＷデータ３１０に含まれた画素値のうちＲ色に対応する画素値Ｒ１、Ｒ２、Ｒ３、Ｒ４だけでなく、Ｂ色に対応する画素値に対してもＧ補間を行うことができる。Ｇ補間部１１４は、ＲＡＷデータ３１０に含まれたＲ色及び／またはＢ色に対応する画素値をＧ色に変換して画像データ（不図示）を取得することができる。

【0037】

また、本開示では、画像プロセッサ１００がＲＡＷデータ３１０をＧ色に補間することを前提に説明しているが、これは一例に過ぎず、本開示の権利範囲は制限しない。例えば、画像プロセッサ１００は、ＲＡＷデータをＧ色に補間する代わりに、Ｒ色、Ｂ色、またはその他の色に補間して画像データを取得する場合も本開示を適用することができる。

【0038】

図４は本発明の実施例によって画像プロセッサが画像データに基づいてガイド画像を取得する方法を説明するための図である。

【0039】

図４を参照すると、画像データ４００は２×２に配列された第１画素データ４０１、第２画素データ４０２、第３画素データ４０３、及び第４画素データ４０４を含んでもよい。画像データ４００はＲＡＷデータ３１０に基づいてＧ補間されたデータを示すことができる。第１画素データ４０１、第２画素データ４０２、第３画素データ４０３、及び第４画素データ４０４はＲＡＷデータ３１０に含まれたＧ色に対応する画素値であるか、またはＲＡＷデータ３１０に含まれたＲ（またはＢ）色に対応する画素値がＧ色に補間された値であってもよい。または、第１画素データ４０１、第２画素データ４０２、第３画素データ４０３、及び第４画素データ４０４は１つのマイクロレンズを共有する１つの単位画素を介して取得した画素データであってもよい。

【0040】

ガイド画像生成部１２０は互いに対角線方向に位置する第１画素データ４０１及び第４画素データ４０４の平均値４１１に基づいて第１ガイド画像４１５を取得することができる。例えば、ガイド画像生成部１２０は、画像データ４００に基づいて第１画素データ４０１及び第４画素データ４０４の平均値４１１を含む第１平均値セット４１０を取得することができる。ガイド画像生成部１２０は、第１平均値セット４１０を用いて第１平均値セット４１０より解像度の増加した第１ガイド画像４１５を取得することができる。ガイド画像生成部１２０が第１平均値セット４１０を用いて第１ガイド画像４１５を取得する方法については、図５を参照して後述する。

【0041】

ガイド画像生成部１２０は互いに対角線方向に位置する第２画素データ４０２及び第３画素データ４０３の平均値４２１に基づいて第２ガイド画像４２５を取得することができる。例えば、ガイド画像生成部１２０は、画像データ４００に基づいて第２画素データ４０２及び第３画素データ４０３の平均値４２１を含む第２平均値セット４２０を取得することができる。ガイド画像生成部１２０は、第２平均値セット４２０を用いて第２平均値セット４２０より解像度の増加した第２ガイド画像４２５を取得することができる。

【0042】

図４を参照すると、ガイド画像生成部１２０は単位画素内で互いに対角線方向に位置する画素から取得した画素データを平均演算することができる。ガイド画像生成部１２０は、１つのマイクロレンズを通過して４つの画素に入射した光のうち、対角線方向に位置する２つの画素に入射した光を用いてガイド画像（例えば、第１ガイド画像４１５、第２ガイド画像４２５）を取得することができる。

【0043】

ガイド画像生成部１２０は、単位画素内で互いに対角線方向に位置する画素データ（例えば、第１画素データ４０１と第４画素データ４０４、または第２画素データ４０２と第３画素データ４０３）を平均演算することにより、画像データ４００に含まれた位相差による欠陥を減少させることができる。ガイド画像生成部１２０が画像データ４００に基づいて第１平均値セット４１０（または第２平均値セット４２０）を取得することにより、画像データ４００に含まれた位相差による欠陥が除去されることができる。画像データ４００に含まれた欠陥は、１つのマイクロレンズを通過した光が２×２に配列された４つの画素に分けられることにより、行方向及び列方向に生じる位相差によるものであることができる。しかし、ガイド画像生成部１２０が画像データ４００に含まれた対角線方向の画素データを平均演算すると、行方向の位相差と列方向の位相差が相殺されるため、画像データ４００に含まれた位相差による欠陥が除去されることができる。

【0044】

画像プロセッサ１００は、ガイド画像生成部１２０で取得したガイド画像（例えば、第１ガイド画像４１５、第２ガイド画像４２５）に含まれた高周波成分を用いて、画像データ４００より欠陥の減少した画像を生成することができる。ただし、画像プロセッサ１００がガイド画像に含まれた高周波成分を用いて欠陥の減少した画像を生成するためには、画像データ４００とガイド画像（例えば、第１ガイド画像４１５、第２ガイド画像４２５）の解像度が一致しなければならない。

【0045】

ただし、平均演算によって取得した平均値セット（例えば、第１平均値セット４１０、第２平均値セット４２０）は画像データ４００に対して解像度が１／４であることができる。例えば、平均値セットの横長及び縦長は、画像データ４００の横長及び縦長に対してそれぞれ１／２であることができる。従って、ガイド画像生成部１２０は、平均値セット（例えば、第１平均値セット４１０、第２平均値セット４２０）をリサイズして画像データ４００のサイズに対応するガイド画像（例えば、第１ガイド画像４１５、第２ガイド画像４２５）を取得することができる。図５では、ガイド画像生成部１２０が平均値セット（例えば、第１平均値セット４１０、第２平均値セット４２０）をリサイズしてガイド画像（例えば、第１ガイド画像４１５、第２ガイド画像４２５）を取得する方法の例示を説明する。

【0046】

図５は本発明の実施例によって画像プロセッサがガイド画像を取得する具体的な方法を説明するための図である。

【0047】

図５を参照すると、ガイド画像生成部１２０は第１平均値セット４１０をリサイズして第１ガイド画像４１５を取得することができる。例えば、ガイド画像生成部１２０は、第１平均値セット４１０を用いて第１平均値セット４１０より解像度の増加した第１ガイド画像４１５を取得することができる。第１ガイド画像４１５の解像度は画像データ４００の解像度に対応することができる。図５では、ガイド画像生成部１２０が第１平均値セット４１０に基づいて第１ガイド画像４１５を取得することについて説明するが、図５で説明する内容はガイド画像生成部１２０が第２平均値セット４２０に基づいて第２ガイド画像４２５を取得する場合も適用することができる。

【0048】

図５を参照すると、第１平均値セット４１０は平均値（例えば、ＡＶＧ００、ＡＶＧ０１、ＡＶＧ０２など）を含んでもよい。第１平均値セット４１０に含まれた平均値は、画像データ４００に含まれた画素データのうち１つの単位画素に含まれ、互いに対角線方向（例えば、左上端及び右下端）に位置する画素データ（例えば、第１画素データ４０１と第４画素データ４０４）の平均値であってもよい。また、第１平均値セット４１０に含まれた平均値はＡＶＧＡＢということができ、ＡＶＧＡＢはＡ＋１番目の行、Ｂ＋１番目の列に位置する平均値を示すことができる。

【0049】

ガイド画像生成部１２０は、第１平均値セット４１０のフィッティングカーブを用いて第１平均値セット４１０より解像度の増加した第１ガイド画像４１５を取得することができる。

【0050】

例えば、１番目の行を中心に説明すると、ＡＶＧ００の座標は（－４、０）、ＡＶＧ０１の座標は（－２、０）、ＡＶＧ０２の座標は（０、０）、ＡＶＧ０３の座標は（２、０）、及びＡＶＧ０４の座標は（４、０）であることができる。数式２は上記５つの座標に該当する値（ＡＶＧ００、ＡＶＧ０１、ＡＶＧ０２、ＡＶＧ０３、ＡＶＧ０４）を通るフィッティングカーブに該当することができる。

【0051】

【数2】

【0052】

数式２において、ｘは座標、ｙは座標に該当する値（平均値）に対応することができる。ガイド画像生成部１２０は数式２のｃｏｅｆ０、ｃｏｅｆ１、ｃｏｅｆ２、ｃｏｅｆ３、及びｃｏｅｆ４を取得するために、数式２に１番目の行の平均値を代入することができる。数式３は、数式２のｘに座標－４、－２、０、２、及び４を代入し、数式２のｙに各座標に該当する平均値ＡＶＧ００、ＡＶＧ０１、ＡＶＧ０２、ＡＶＧ０３、及びＡＶＧ０４を代入した数式を示す。

【0053】

【数3】

【0054】

数式３を行列（ｍａｔｒｉｘ）形態で示すと、数式４の通りである。

【0055】

【数4】

【0056】

数式４に含まれた座標に関する行列の逆行列（ｉｎｖｅｒｓｅ ｍａｔｒｉｘ）を両辺に乗じると、数式５の通りである。

【0057】

【数5】

【0058】

ガイド画像生成部１２０は数式５を用いてｃｏｅｆ０、ｃｏｅｆ１、ｃｏｅｆ２、ｃｏｅｆ３、及びｃｏｅｆ４を取得することができる。ガイド画像生成部１２０は、取得したｃｏｅｆ０、ｃｏｅｆ１、ｃｏｅｆ２、ｃｏｅｆ３、及びｃｏｅｆ４に基づいて１番目の行に含まれた平均値（ＡＶＧ００、ＡＶＧ０１、ＡＶＧ０２、ＡＶＧ０３、ＡＶＧ０４）を通るフィッティングカーブ（数式２）を取得することができる。

【0059】

ガイド画像生成部１２０は上記数式２に対応するフィッティングカーブを用いて（－５、０）、（－３、０）、（－１、０）、（１、０）、（３、０）、及び（５、０）座標に該当するｙ値を計算することができる。例えば、ガイド画像生成部１２０はフィッティングカーブに対応する数式２にｘ＝１を代入することにより、（１、０）座標に該当するｙ値（例えば、第１ガイド画像４１５に含まれる画素値）を取得することができる。

【0060】

図５に関して第１平均値セット４１０の１番目の行に基づいて説明したが、ガイド画像生成部１２０は第１平均値セット４１０に含まれた他の平均値に対しても図５で説明した方法を適用することができる。

【0061】

ガイド画像生成部１２０は、第１平均値セット４１０のフィッティングカーブ（例えば、数式２）を用いて第１平均値セット４１０より解像度が４倍向上した第１ガイド画像４１５を取得することができる。例えば、ガイド画像生成部１２０は、第１平均値セット４１０に対して横長が２倍、縦長が２倍増加した第１ガイド画像４１５を取得することができる。第１ガイド画像４１５は画像データ４００と一致する解像度を有することができる。

【0062】

図６は本発明の実施例によって画像プロセッサがガイド画像を用いて画像データより欠陥の減少した結果画像を取得する方法を説明するための図である。

【0063】

画像演算部１３０は、ガイド画像に含まれた高周波成分を用いて画像データ４００より欠陥の減少した画像６３０を生成することができる。例えば、画像演算部１３０は、第１ガイド画像４１５に含まれた第１高周波成分６１５を画像データ４００に追加して画像データ４００より欠陥の減少した画像６３０を取得することができる。他の例を挙げると、画像演算部１３０は、第１ガイド画像４１５に含まれた第１高周波成分６１５または第２ガイド画像４２５に含まれた第２高周波成分６２５のうち少なくとも１つを画像データ４００に追加して欠陥の減少した画像６３０を生成することができる。本開示における欠陥の減少した画像６３０は、結果画像ということができる。

【0064】

図６を参照すると、画像演算部１３０は、画像データ４００にローパスフィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を適用してぼけた画像データ６００を取得することができる。例えば、画像演算部１３０は画像データ４００にカーネル（ｋｅｒｎｅｌ）を用いて平均値フィルタリング（ｍｅａｎ ｆｉｌｔｅｒｉｎｇ）を行うことができる。

【0065】

図２で説明したように、画像データ４００は位相差による欠陥を含むことができる。そのため、画像演算部１３０は画像データ４００にローパスフィルタを適用することにより、画像データ４００の全体的な形態は保持しながらも位相差による欠陥は減少したぼけた画像データ６００を取得することができる。ただし、画像演算部１３０は、画像データ４００から欠陥は最大限減少させながら画像データ４００に含まれた高周波成分は最大限に保持するために、ぼけた画像データ６００に高周波成分（例えば、第１高周波成分６１５及び／または第２高周波成分６２５）を追加して欠陥の減少した画像６３０を生成することができる。

【0066】

画像演算部１３０はガイド画像（例えば、４１５、４２５）にローパスフィルタ（例えば、平均値フィルタ）を適用することにより、ぼけたガイド画像（例えば、６１０、６２０）を取得し、ガイド画像（例えば、４１５、４２５）からぼけたガイド画像（例えば、６１０、６２０）を減算することによってガイド画像（例えば、４１５、４２５）に含まれた高周波成分（例えば、６１５、６２５）を取得することができる。例えば、画像演算部１３０は、第１ガイド画像４１５からローパスフィルタが適用された第１ガイド画像６１０を減算して第１ガイド画像に含まれた第１高周波成分６１５を取得することができる。また、画像演算部１３０は、第２ガイド画像４２５からローパスフィルタが適用された第２ガイド画像６２０を減算して第２ガイド画像に含まれた第２高周波成分６２５を取得することができる。

【0067】

第１ガイド画像４１５と第２ガイド画像４２５は、互いに異なる対角線方向に画素データを平均演算して生成されたため、互いに異なる方向のテクスチャをより多く含むことができる。例えば、第１ガイド画像４１５は、画像データ４００に含まれたテクスチャのうち左上端から右下端に向かう方向、即ち「＼」方向のテクスチャを第２ガイド画像４２５より多く保存することができる。また、第２ガイド画像４２５は、画像データ４００に含まれたテクスチャのうち右上端から左下端に向かう方向、即ち「／」方向のテクスチャを第１ガイド画像４１５より多く保存することができる。従って、画像演算部１３０は、第１ガイド画像４１５の第１高周波成分６１５と第２ガイド画像４２５の第２高周波成分６２５を一緒に用いるか、または選択的に用いることで、より良い品質の欠陥の減少した画像６３０を取得することができる。

【0068】

画像演算部１３０は、第１ガイド画像４１５に関する第１重みａ１、及び第２ガイド画像４２５に関する第２重みａ２に応じて欠陥の減少した画像６３０を生成することができる。例えば、画像演算部１３０は、第１高周波成分６１５に第１重みａ１を乗じた値及び第２高周波成分６２５に第２重みａ２を乗じた値をぼけた画像データ６００に追加して欠陥の減少した画像６３０を生成することができる。

【0069】

画像演算部１３０は様々な方式で第１重みａ１と第２重みａ２を決めてもよい。画像演算部１３０は、第１ガイド画像４１５及び第２ガイド画像４２５のうち画像データ４００とより類似するガイド画像に関する重みをより高く設定することができる。

【0070】

例えば、画像演算部１３０は、第１ガイド画像４１５と画像データ４００の類似度に基づいて第１重みａ１を決め、第２ガイド画像４２５と画像データ４００の類似度に基づいて第２重みａ２を決めてもよい。数式６はガイド画像（例えば、４１５、４２５）と画像データ４００の類似度に基づいて決まった重み（例えば、ａ１、ａ２）を表す。

【0071】

【数6】

【0072】

他の例を挙げると、画像演算部１３０は、第１ガイド画像４１５と第２ガイド画像４２５のうち画像データ４００とより類似するガイド画像（例えば、４１５、４２５）の高周波成分（例えば、６１５、６２５）をより多く画像データ４００に追加できるように、重み（例えば、ａ１、ａ２）を適応的（ａｄａｐｔｉｖｅ）に決めてもよい。数式７は適応的に決まった重み（例えば、ａ１、ａ２）を表す。

【0073】

【数7】

【0074】

さらに他の例を挙げると、画像演算部１３０は、第１ガイド画像４１５と第２ガイド画像４２５のうち画像データ４００とより類似するガイド画像（例えば、４１５、４２５）の高周波成分（例えば、６１５、６２５）のみを選択的に画像データ４００に追加できるように、重み（例えば、ａ１、ａ２）を決めてもよい。数式８は選択的に決まった重み（例えば、ａ１、ａ２）を表す。

【0075】

【数8】

【0076】

数式６～数式８において、Ｉｎｔｐ_Ｇは画像データ４００、Ｇｕｉｄｅ_１は第１ガイド画像４１５、Ｇｕｉｄｅ_２は第２ガイド画像４２５を表すことができる。また、数式６～数式８で説明した方式の他にも、画像演算部１３０は様々な方式で第１重みａ１と第２重みａ２を決めることができる。

【0077】

画像演算部１３０は、図６に関して説明した方式で欠陥の減少した画像６３０を取得することができる。本開示では、欠陥の減少した画像６３０は画像データ４００の少なくとも一部領域に含まれた位相差による欠陥の減少した画像であることができる。また、画像演算部１３０は、ぼけた画像データ６００に第１高周波成分６１５または第２高周波成分６２５の少なくとも１つを追加することにより、画像データ４００より位相差による欠陥は減少しながら画像データ４００に含まれた高周波成分が保持（例えば、鮮明度や鮮鋭度が保持）された欠陥の減少した画像６３０を取得することができる。

【0078】

図７は本発明の実施例によって位相差による欠陥の減少した結果画像の例示を説明するための図である。

【0079】

図２を参照すると、画像プロセッサ１００は画像センサ２００からＲＡＷデータを受信することができ、本開示による画像処理を介して欠陥の減少したＲＧＢ画像を生成し出力することができる。図７の参照番号７１０は上記ＲＡＷデータに対応する画像の例示であり、参照番号７２０は上記欠陥の減少したＲＧＢ画像の例示である。参照番号７１０と参照番号７２０を比較すると、参照番号７１０は焦点の合わない領域に位相差による欠陥を含むことができ、参照番号７２０は焦点の合わない領域であっても位相差による欠陥を含まないことができる。画像プロセッサ１００は、図１～図６で説明した方式を用いて参照番号７１０より位相差による欠陥の減少した参照番号７２０の画像を取得することができる。

【0080】

図８は本発明の実施例によって欠陥の減少した結果画像を取得する方法の流れを説明するための図である。図８で説明する段階は、図１または図２の画像プロセッサ１００、または画像プロセッサ１００に含まれた構成（例えば、１１０、１２０、１３０）によって行われると理解することができる。

【0081】

段階Ｓ８０１では、画像プロセッサ１００（例えば、取得部１１０）は、２×２に配列された第１画素データ４０１、第２画素データ４０２、第３画素データ４０３、及び第４画素データ４０４を含む画像データ４００を取得することができる。

【0082】

段階Ｓ８０３では、画像プロセッサ１００（例えば、ガイド画像生成部１２０）は、互いに対角線方向に位置する第１画素データ４０１及び第４画素データ４０４の平均値４１１に基づいて第１ガイド画像４１５を取得することができる。

【0083】

段階Ｓ８０５では、画像プロセッサ１００（例えば、画像演算部１３０）は、第１ガイド画像４１５に含まれた高周波成分（例えば、第１高周波成分６１５）及び画像データ４００を用いて、結果画像（例えば、画像データ４００より欠陥の減少した画像６３０）を生成することができる。

【0084】

図９は本発明の実施例によって欠陥の減少した結果画像を取得する具体的な方法の流れを説明するための図である。図９で説明する段階は、図１または図２の画像プロセッサ１００、または画像プロセッサ１００に含まれた構成（例えば、１１０、１２０、１３０）によって行われると理解することができる。

【0085】

段階Ｓ９０１では、画像プロセッサ１００（例えば、受信部１１２）は画像センサ２００からＲＡＷデータを受信することができる。

【0086】

段階Ｓ９０３では、画像プロセッサ１００（例えば、Ｇ補間部１１４）はＧ補間により画像データ４００を取得することができる。

【0087】

段階Ｓ９０５では、画像プロセッサ１００（例えば、画像演算部１３０）は、画像データ４００にローパスフィルタを適用してぼけた画像データ６００を取得することができる。段階Ｓ９０５は、段階Ｓ９０７及びＳ９０９とは独立して行われてもよく、段階が行われる前後関係は限定されない。

【0088】

段階Ｓ９０７では、画像プロセッサ１００（例えば、ガイド画像生成部１２０）は、画像データ４００に含まれた画素データ（例えば、第１画素データ４０１と第４画素データ４０４、または第２画素データ４０２と第３画素データ４０３）の平均値に基づいて第１ガイド画像４１５及び／または第２ガイド画像４２５を取得することができる。

【0089】

段階Ｓ９０９では、画像プロセッサ１００（例えば、画像演算部１３０）は、第１ガイド画像４１５に含まれた第１高周波成分６１５を取得するか、及び／または第２ガイド画像４２５に含まれた第２高周波成分６２５を取得することができる。

【0090】

段階Ｓ９１１では、画像プロセッサ１００（例えば、画像演算部１３０）は、ぼけた画像データ６００に第１高周波成分６１５及び／または第２高周波成分６２５を追加することができる。

【0091】

段階Ｓ９１３では、画像プロセッサ１００（例えば、画像演算部１３０）は、結果画像（例えば、欠陥の減少した画像６３０）を生成することができる。

【0092】

段階Ｓ９１５では、画像プロセッサ１００（例えば、Ｒ／Ｂ補間部１４０）は、Ｒ、Ｂ補間により欠陥の減少したＲＧＢ画像（例えば７２０）を生成することができる。

【符号の説明】

【0093】

１００ 画像プロセッサ
１１０ 取得部
１２０ ガイド画像生成部
１３０ 画像演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】