特開 2024-100663 画像処理装置および画像ブラーリング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100663

(43)【公開日】2024-07-26

(54)【発明の名称】画像処理装置および画像ブラーリング方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240719BHJP

   G06T 5/70 20240101ALI20240719BHJP

   H04N 23/957 20230101ALI20240719BHJP

【ＦＩ】

H04N23/60 500

G06T5/00 705

H04N23/957

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023127711

(22)【出願日】2023-08-04

(31)【優先権主張番号】10-2023-0006098

(32)【優先日】2023-01-16

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】キム テ ヒョン

(72)【発明者】

【氏名】キム ジン ス

(72)【発明者】

【氏名】ペ ジョン ヒョン

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CB01

5B057CB08

5B057CD02

5B057CE04

5B057CE06

5B057CE08

5B057CH09

5B057DA07

5B057DB06

5B057DB09

5B057DC01

5B057DC08

5C122EA12

5C122EA68

5C122FB05

5C122FC06

5C122FH10

5C122FH11

5C122FH15

5C122FH18

5C122FH22

5C122FH23

5C122HA88

5C122HB01

5C122HB09

5C122HB10

(57)【要約】

【課題】ピクセル値に含まれた深さ情報に基づいて背景にブラー動作を行い、背景に行われたブラー動作の強度を調節する画像処理装置および画像処理方法を提供する。
【解決手段】本技術は、画像処理システムに関し、本技術による画像処理装置１００は、外部から受信した画像のピクセル値に基づいて生成された画像のサブ画像のインフォーカス領域とアウトフォーカス領域を決定し、アウトフォーカス領域でサブ画像間のディスパリティ値を算出する画像前処理部１１０、およびディスパリティ値に基づいて決定されたブラー動作の強度に応じてアウトフォーカス領域でブラー動作を行い、ブラー動作の行われたサブ画像を合成する画像合成部１２０を含むことができる。
【選択図】図５

【特許請求の範囲】

【請求項1】

外部から受信した画像のピクセル値に基づいて生成された前記画像のサブ画像のインフォーカス領域とアウトフォーカス領域を決定し、前記アウトフォーカス領域で前記サブ画像間のディスパリティ値を算出する画像前処理部と、
前記アウトフォーカス領域でブラー動作の行われたブラー画像を生成する画像合成部と、を含み、
前記ブラー動作の強度は、前記ディスパリティ値に基づいて決定されることを特徴とする画像処理装置。

【請求項2】

前記画像前処理部は、
画像センサに含まれる複数のマイクロレンズそれぞれに対応するサブピクセル値をサンプリングし、サンプリングしたサブピクセル値に基づいて前記サブ画像を生成する画像分割部をさらに含み、
前記サブ画像の数は、同じマイクロレンズに対応するサブピクセル値の数と同じであることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像前処理部は、
前記サブ画像において位置の同じサブピクセル値の最大値と最小値との差を予め決定されたしきい値と比較し、前記差が前記しきい値より小さいサブピクセルの位置を前記インフォーカス領域として決定する領域検出部をさらに含むことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像前処理部は、
前記アウトフォーカス領域に対応するサブピクセル値差、サブピクセル値のランキング差または前記サブ画像から検出される特徴を利用して前記ディスパリティ値を計算するディスパリティ算出部をさらに含むことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記画像合成部は、
予め決定された比率に応じて前記ディスパリティ値を増加させる画像ブラー部をさらに含み、
前記ディスパリティ値の増加に対応して前記ブラー動作の強度が変更されることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記画像ブラー部は、
前記サブ画像のうち基準画像を設定し、前記基準画像を除いた残りのサブ画像のサブピクセル値を前記基準画像に対応する方向に移動させることを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記画像ブラー部は、
前記予め決定された比率と前記ディスパリティ値に基づいて前記残りのサブ画像のサブピクセル値の移動距離を決定し、サブピクセル値が移動された前記残りのサブ画像を生成することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記画像合成部は、
前記アウトフォーカス領域で同じ位置に対応する前記基準画像のサブピクセル値と前記残りのサブ画像のサブピクセル値との平均値を計算し、前記平均値に基づいてブラー画像を生成することを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記画像合成部は、
前記アウトフォーカス領域で前記サブ画像を合成した中間画像を生成し、前記ディスパリティ値に基づいて前記中間画像にフィルタを適用する画像ブラー部をさらに含むことを特徴とする請求項１に記載の画像処理装置。

【請求項10】

前記画像ブラー部は、
前記中間画像にガウシアンフィルタを適用し、前記ディスパリティ値に応じて前記ガウシアンフィルタの尖鋭度を変更することを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記画像ブラー部は、
前記ディスパリティ値が大きいほどカーブの尖鋭度の低いガウシアンフィルタのカーブを選択することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記画像ブラー部は、
前記中間画像に適用するフィルタの強度を予め決定された比率に応じて調節することを特徴とする請求項９に記載の画像処理装置。

【請求項13】

外部から受信した画像のデータに基づいてサブ画像を生成するステップと、
前記サブ画像のインフォーカス領域とアウトフォーカス領域を決定するステップと、
前記アウトフォーカス領域でディスパリティ値を算出するステップと、
前記アウトフォーカス領域で前記ディスパリティ値に基づいてブラー動作の行われたブラー画像を生成するステップと、を含むことを特徴とする画像処理方法。

【請求項14】

前記サブ画像を生成するステップは、
複数のマイクロレンズを含む画像センサから画像データを受信するステップと、
前記画像データをサンプリングして前記サブ画像を生成するステップと、をさらに含み、
前記サブ画像の数は、前記複数のマイクロレンズそれぞれに対応するサブピクセルの数と同じであることを特徴とする請求項１３に記載の画像処理方法。

【請求項15】

前記アウトフォーカス領域を決定するステップは、
前記サブ画像で位置の同じサブピクセル値の最大値と最小値との差を予め決定されたしきい値と比較するステップと、
前記差が前記しきい値より大きいか、または同じサブピクセルの位置を前記アウトフォーカス領域として決定するステップと、をさらに含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項16】

前記ディスパリティ値を算出するステップは、
前記アウトフォーカス領域に対応するサブピクセル値の差、サブピクセル値のランキング差またはサブ画像から検出される特徴のうち少なくとも１つに基づいて前記ディスパリティ値を計算することを特徴とする請求項１３に記載の画像処理方法。

【請求項17】

前記ブラー画像を生成するステップは、
予め決定された比率と前記ディスパリティ値に基づいて前記ブラー動作の強度を決定するステップを含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項18】

前記ブラー画像を生成するステップは、
前記サブ画像のうち基準画像を設定するステップと、
前記基準画像を除いた残りのサブ画像のサブピクセル値を前記ブラー動作の強度に基づいて予め決定された方向に移動させるステップと、
前記基準画像と前記サブピクセル値が移動された前記残りのサブ画像に基づいて前記ブラー画像を合成するステップと、をさらに含むことを特徴とする請求項１７に記載の画像処理方法。

【請求項19】

前記ブラー画像を生成するステップは、
前記サブ画像が合成された中間画像を生成するステップと、
前記ディスパリティ値に応じて前記アウトフォーカス領域に適用されるガウシアンフィルタの尖鋭度を決定するステップと、
前記中間画像に前記ガウシアンフィルタを適用するステップと、をさらに含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項20】

複数のマイクロレンズおよび前記複数のマイクロレンズそれぞれにＮ個ずつ対応する複数のサブピクセルを含み、前記複数のサブピクセルにおいて明るさと位相に関する情報を含む画像データを生成する画像センサと、
前記画像データに基づいてＮ個のサブ画像を生成し、前記Ｎ個のサブ画像のアウトフォーカス領域を決定し、前記アウトフォーカス領域に含まれるサブピクセルのディスパリティ値を算出する画像前処理部と、
前記ディスパリティ値に基づいて決定されたブラー動作の強度に応じて前記アウトフォーカス領域で前記ブラー動作を行う画像合成部と、を含むことを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関し、より具体的には、本発明は、画像処理装置および画像ブラーリング方法に関する。

【背景技術】

【0002】

画像センサは、一般的にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサに分けることができる。最近、製造コストが安く、消費電力が少なく、周辺回路との集積が容易なＣＭＯＳ画像センサが注目されている。

【0003】

スマートフォン、タブレットＰＣ、デジタルカメラなどに含まれる画像センサは、外部客体から反射された光を電気的な信号に変換することで、外部客体に対する画像情報を取得することができる。画像信号処理装置は、画像センサから取得した電気的な信号を変換するか、または画像品質を向上させる動作を行うことができる。

【0004】

画像信号処理装置は、画像の背景をぼかすブラー動作を行うことができる。ブラー動作によって画像に含まれたメインオブジェクトを強調することができる。ブラー動作は、２つ以上のモバイルカメラを通じて取得した電気的な信号を演算して行うことができる。ただし、ブラー動作を行うことによって、画像処理演算の複雑度が増加し、画像の画質が劣化する恐れがある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、ピクセル値に含まれた深さ情報に基づいて背景にブラー動作を行い、背景に行われたブラー動作の強度を調節する画像処理装置および画像処理方法を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例による画像処理装置は、外部から受信した画像のピクセル値に基づいて生成された前記画像のサブ画像のインフォーカス領域とアウトフォーカス領域を決定し、前記アウトフォーカス領域で前記サブ画像間のディスパリティ値を算出する画像前処理部および前記ディスパリティ値に基づいて前記アウトフォーカス領域で行われるブラー動作の強度を調節し、前記ブラー動作の行われたサブ画像を合成する画像合成部を含むことができる。

【0007】

本発明の実施例による画像処理装置の動作方法は、外部から受信した画像のピクセル値に基づいて前記画像のサブ画像を生成するステップと、生成された前記画像のサブ画像のインフォーカス領域とアウトフォーカス領域を決定するステップと、前記アウトフォーカス領域で前記サブ画像間のディスパリティ値を算出するステップと、前記ディスパリティ値に基づいて前記アウトフォーカス領域で行われるブラー動作の強度を調節し、前記ブラー動作の行われたサブ画像を合成するステップと、を含むことができる。

【0008】

本発明の実施例による画像処理システムは、複数のマイクロレンズを含み、すべてのピクセルで位相に関する情報を含むピクセル値を生成する画像センサと、前記画像センサから受信したピクセル値に基づいて画像のサブ画像を前記複数のマイクロレンズそれぞれに対応するピクセルの数だけ生成し、前記サブ画像のピクセル値と予め決定されたしきい値に基づいて前記サブ画像のアウトフォーカス領域を決定し、前記アウトフォーカス領域に含まれるピクセルのディスパリティ値を算出する画像前処理部と、前記ディスパリティ値に基づいて前記アウトフォーカス領域に含まれるピクセルの位置で行われるブラー動作の強度を調節し、前記ブラー動作が前記アウトフォーカス領域でのみ行われたブラー画像を生成する画像合成部と、を含むことができる。

【発明の効果】

【0009】

本技術によれば、１つのカメラを利用して画像に含まれた背景をブラー処理することができ、ブラー動作の強度を調節できる画像処理システムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例による画像処理装置を説明するための図である。

【図2】本発明の実施例による画像センサに含まれたマイクロレンズを説明するための図である。

【図3】本発明の実施例によるインフォーカス領域を説明するための図である。

【図4】本発明の実施例によるアウトフォーカス領域を説明するための図である。

【図5】本発明の実施例による画像処理動作を示すブロック図である。

【図6】本発明の実施例によるサブ画像を生成する方法を説明するための図である。

【図7】本発明の実施例によるアウトフォーカス領域を検出する方法を説明するための図である。

【図8】本発明の実施例によるディスパリティ値を計算する方法を説明するための図である。

【図9】本発明の実施例によるサブピクセル値差を利用してディスパリティ値を計算する方法を説明するための図である。

【図10】本発明の実施例によるサブピクセル値のランキング差を利用してディスパリティ値を計算する方法を説明するための図である。

【図11】本発明の実施例によるディスパリティ値をスケーリングしてブラー動作の強度を調節する方法を説明するための図である。

【図12】本発明の実施例によるガウシアンフィルタの尖鋭度を変更してブラー動作の強度を調節する方法を説明するための図である。

【図13】本発明の実施例によるディスパリティ値とガウシアンフィルタの尖鋭度をマッピングする表である。

【図14】本発明の実施例による背景にブラー動作を行う方法を説明するためのフローチャートである。

【図15】本発明の実施例によるブラー画像を生成する方法を説明するためのフローチャートである。

【図16】本発明の他の実施例によるブラー画像を生成する方法を説明するためのフローチャートである。

【図17】本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【発明を実施するための形態】

【0011】

本明細書または出願に開示されている本発明の概念による実施例について特定の構造的または機能的説明は、単に本発明の概念による実施例を説明する目的で例示されたものであり、本発明の概念による実施例は、多様な形態で実施することができ、本明細書または出願に説明された実施例に限定されるものと解釈されてはならない。

【0012】

以下において、本発明の属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるほど詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0013】

図１は、本発明の実施例による画像処理装置を説明するための図である。

【0014】

図１を参照すると、画像処理装置１００は、画像前処理部１１０及び画像合成部１２０を含むことができる。画像処理装置１００は、複数のピクセルを含む画像センサから複数のピクセル値を受信することができる。

【0015】

画像前処理部１１０は、外部から受信した画像のピクセル値に基づいて生成された画像のサブ画像のインフォーカス領域とアウトフォーカス領域を決定することができる。画像前処理部１１０は、アウトフォーカス領域でサブ画像間のディスパリティ値を算出することができる。画像前処理部１１０は、画像分割部１１１、領域検出部１１２、およびディスパリティ算出部１１３をさらに含んでもよい。

【0016】

画像分割部１１１は、画像センサに含まれる複数のマイクロレンズそれぞれに対応するサブピクセル値をサンプリングすることができる。画像分割部１１１は、サンプリングされたサブピクセル値に基づいて複数のサブ画像を生成することができる。本発明の実施例では、画像分割部１１１が生成するサブ画像の数は、同じマイクロレンズに対応するサブピクセル値の数と同じであり得る。

【0017】

領域検出部１１２は、サブ画像において位置の同じサブピクセルの最大値と最小値との差を予め決定されたしきい値と比較することができる。領域検出部１１２は、比較結果に基づいてサブピクセルの位置をインフォーカス領域またはアウトフォーカス領域として決定することができる。

【0018】

ディスパリティ算出部１１３は、アウトフォーカス領域に該当するサブピクセル値の差またはサブピクセル値のランキング差を利用してサブ画像間のディスパリティ値を計算することができる。本発明の他の実施例では、ディスパリティ算出部１１３は、サブ画像に含まれた特徴（ｆｅａｔｕｒｅ）を検出し、検出された特徴（ｆｅａｔｕｒｅ）を利用してサブ画像間のディスパリティ値を計算することができる。

【0019】

画像合成部１２０は、ディスパリティ値に基づいてアウトフォーカス領域に行われるブラー動作の強度を調節することができる。画像合成部１２０は、ブラー動作の行われたサブ画像を合成したブラー画像を生成することができる。画像合成部１２０は、画像ブラー部１２１をさらに含んでもよい。

【0020】

画像ブラー部１２１は、予め決定された比率に応じてディスパリティ値を増加させることができる。サブ画像間のディスパリティが増加すると、アウトフォーカス領域に行われるブラー動作の強度が増加することができる。本発明の他の実施例では、画像ブラー部１２１は、アウトフォーカス領域にブラーフィルタを適用することができる。適用されるブラーフィルタの強度は、ディスパリティ値に応じて変わり得る。

【0021】

図１に示されてはいないが、複数のピクセルを含む画像センサは、レンズを介して入力されたオブジェクトに対する画像データを生成することができる。画像データは、複数のピクセル値を含むことができる。画像センサは、光学系を形成するレンズとピクセルに対応するマイクロレンズを含むことができる。本発明の実施例では、画像センサは、生成した複数のピクセル値を画像処理装置１００に伝達することができる。

【0022】

図２は、本発明の実施例による画像センサに含まれるマイクロレンズを説明するための図である。

【0023】

図２を参照すると、１つのマイクロレンズに複数のピクセルが対応することができる。図２は、１つのマイクロレンズに４つのピクセルが対応する場合を例示的に示している。本発明の明細書において、マイクロレンズを共有するか、またはマイクロレンズに対応するピクセルはサブピクセルと呼ぶことができる。

【0024】

図２において、サブピクセルは、カラーフィルタを含むピクセルであり得る。本発明の明細書において、グリーンカラーピクセルは、グリーンカラーフィルタを含むピクセルを意味することができ、他のカラーピクセルも同様である。隣接する４つのグリーンカラーピクセルが１つのマイクロレンズに対応することができる。同様に、４つのレッドカラーピクセルと４つのブルーカラーピクセルも１つのマイクロレンズに対応することができる。マイクロレンズは、サブピクセルに共有されることができ、共有するマイクロレンズが同じサブピクセルに含まれるカラーフィルタの色は同じであり得る。

【0025】

図２では、１６個のサブピクセルが４つのマイクロレンズに対応している。サブピクセルは、マイクロレンズの下部に位置することができる。同じマイクロレンズに対応する複数のサブピクセルのカラーは同じであり得る。

【0026】

例えば、レッドカラーピクセル２１０は、マイクロレンズ２２０に対応することができる。レッドカラーピクセル２１０は、サブピクセルの位置によって第１サブピクセル、第２サブピクセル、第３サブピクセル、または第４サブピクセルに区分されることができる。マイクロレンズ２２０を介して光がレッドカラーピクセル２１０に入射されることができる。サブピクセルの位置によってレッドカラーピクセル２１０で生成されるピクセル値が変わり得る。ピクセル値の差に基づいてピクセルの位相情報を算出できるので、レッドカラーピクセル２１０のピクセル値は位相情報を含むことができる。同様に、４つのブルーカラーピクセルまたは４つのグリーンカラーピクセルのピクセル値も位相情報を含むことができる。本発明の実施例では、ピクセルの位相情報に基づいて画像の深さ情報を算出することができる。

【0027】

本発明の実施例は、１つのマイクロレンズに４つのサブピクセルが対応する場合に限定されない。１つのマイクロレンズに対応するサブピクセルの数は様々であり得る。この場合にも、同じマイクロレンズに対応するサブピクセルのカラーは同じであり、サブピクセルのピクセル値はすべて位相情報を含むことができる。

【0028】

本発明の実施例では、画像センサは、すべてのピクセルで位相に関する情報を含むピクセル値を生成することができる。

【0029】

図３は、本発明の実施例によるインフォーカス領域を説明するための図である。

【0030】

図３を参照すると、物体３１０から反射された光がマイクロレンズ３２０を介してサブピクセル３３０に到達することができる。マイクロレンズ３２０を通過する光がサブピクセル３３０の一点に集まる場合をインフォーカスと呼ぶことができる。１つのマイクロレンズに複数のサブピクセルが対応する場合、インフォーカス領域は、カラーの同じピクセルの一面にマイクロレンズ３２０を通過した光が収束する領域を意味することができる。

【0031】

図３のように、インフォーカス領域では、マイクロレンズ３２０を通過した光が一点に収束するため、１つのマイクロレンズを共有するサブピクセル３３０のピクセル値の差がほとんどないことができる。サブピクセル３３０のピクセル値の差が予め決定されたしきい値より少ない場合をインフォーカス領域ということができる。

【0032】

ピクセル値に基づいて、画像でインフォーカス領域であると決定された領域でブラー動作が行われなくてもよい。本発明の実施例では、インフォーカス領域でブラー動作を行うことなく出力できるので、画像全体に対するブロック動作を行うときよりも全体演算量を減少させることができる。本発明の実施例では、ピクセル値に基づいてインフォーカス領域に該当する深さを基準として設定して画像の深さ情報を取得することができる。

【0033】

図４は、本発明の実施例によるアウトフォーカス領域を説明するための図である。

【0034】

図４を参照すると、マイクロレンズを介してサブピクセルに入射される光が収束しなくてもよい。マイクロレンズを通過した光がサブピクセルの一点に集まらない場合をアウトフォーカスと呼ぶことができる。１つのマイクロレンズに複数のサブピクセルが対応する場合、アウトフォーカス領域は、マイクロレンズを通過した光がカラーの同じピクセルではない点で収束する領域を意味することができる。

【0035】

図４では、マイクロレンズを通過した光がサブピクセルを通過して収束する場合４１０と、マイクロレンズを通過した光が収束する点がマイクロレンズとサブピクセルとの間に位置する場合４２０を例示的に示している。画像においてアウトフォーカスに含まれるサブピクセルのピクセル値は、カラーが同じで位置が隣接する場合でも、ピクセル値の差が予め決定されたしきい値より大きいことができる。アウトフォーカス領域に含まれるサブピクセルのピクセル値を利用して物体の深さ情報を計算することができる。

【0036】

アウトフォーカス領域は、画像で背景として判断され、ブラー動作が行われることができる。本発明の実施例では、アウトフォーカス領域の深さ情報はインフォーカス領域と相対的に判断されることができる。

【0037】

図５は、本発明の実施例による画像処理動作を示すブロック図である。

【0038】

図５を参照すると、画像処理装置１００は、受信した画像データを利用してブラー画像を生成することができる。画像データはピクセル値であり得る。

【0039】

画像分割部１１１は、画像データに基づいて画像の分割されたサブ画像を生成することができる。画像分割部１１１は、複数のマイクロレンズそれぞれに対応するサブピクセル値をサンプリングすることができる。画像分割部１１１は、画像を、サブピクセル値を含むサブ画像に分割する画像分割動作を行うことができる。同じサブ画像に含まれるサブピクセル値は、マイクロレンズでサンプリングされる位置が同じであり得る。

【0040】

領域検出部１１２は、領域検出動作を行って、サブピクセルがインフォーカス領域に含まれるかまたはアウトフォーカス領域に含まれるか決定することができる。領域検出部１１２は、サブ画像において位置の同じサブピクセルの最大値と最小値との差を予め決定されたしきい値と比較することができる。領域検出部１１２は、最大値と最小値との差がしきい値より小さいサブピクセルの位置をインフォーカス領域に含めることができる。領域検出部１１２は、差がしきい値より大きか、または同じサブピクセルの位置をアウトフォーカス領域に含めることができる。

【0041】

ディスパリティ算出部１１３は、サブ画像間のディスパリティ値を計算するディスパリティ計算動作を行うことができる。本発明の実施例では、ディスパリティ値は、アウトフォーカス領域に該当するサブピクセル値の差またはサブピクセル値のランキング差を利用して計算することができる。

【0042】

本発明の他の実施例では、ディスパリティ値は、サブ画像から検出された特徴（ｆｅａｔｕｒｅ）に基づいて計算することができる。例えば、ディスパリティ算出部１１３は、特徴（ｆｅａｔｕｒｅ）の稠密の程度に基づいてＤｅｎｓｅ－ＳＩＦＴ方式でディスパリティ値を計算することができる。

【0043】

本発明の実施例では、画像分割動作、領域検出動作及びディスパリティ検出動作は、画像前処理動作に含まれてもよい。画像前処理部１１０は、画像背景に対するブラー処理前に画像前処理動作を行うことができる。

【0044】

画像合成部１２０は、画像の背景にのみブラー動作が行われたブラー画像を生成することができる。画像合成部１２０は、ディスパリティ値が変更されたサブ画像を合わせてブラー画像を生成することができる。画像合成部１２０は、サブ画像を合わせた中間画像にブラーフィルタを適用してブラー画像を生成することができる。

【0045】

画像ブラー部１２１は、アウトフォーカス領域にのみブラー動作を行うことができる。画像ブラー部１２１は、行われるブラー動作の強度を調節することができる。

【0046】

画像ブラー部１２１は、予め決定された比率に応じてディスパリティ値を増加させることができる。本発明の実施例では、ブラー動作の強度は、変更されるディスパリティ値に応じて調節することができる。

【0047】

画像ブラー部１２１は、サブ画像のうち基準画像を設定することができる。画像ブラー部１２１は、基準画像を除いた残りのサブ画像のサブピクセル値を基準画像に対応する方向に移動させることができる。具体的には、画像ブラー部１２１は、基準画像の水平方向にサブ画像のうち１つのサブ画像のサブピクセル値を移動させることができる。同様に、画像ブラー部１２１は、基準画像の垂直方向または斜め方向にサブ画像のサブピクセル値を移動させることができる。

【0048】

画像ブラー部１２１は、予め決定された比率とディスパリティ値に基づいて、残りのサブ画像のサブピクセル値の移動距離を決定することができる。サブピクセル値が移動されたサブ画像間のディスパリティ値は、増加することができる。

【0049】

本発明の実施例では、画像合成部１２０は、アウトフォーカス領域で同じ位置に対応する基準画像のサブピクセル値と残りのサブ画像のサブピクセル値との平均値を計算することができる。画像合成部１２０は、サブピクセルの平均値を含むブラー画像を生成することができる。本発明の他の実施例では、画像合成部１２０は、同じ位置に対応する基準画像のサブピクセル値と残りのサブ画像のサブピクセル値との中央値をアウトフォーカス領域のサブピクセル値とするブラー画像を生成することができる。

【0050】

本発明の他の実施例では、画像ブラー部１２１は、アウトフォーカス領域で同じ位置に対応するサブ画像のサブピクセル値の平均値を含む中間画像を先に生成することができる。画像ブラー部１２１は、ディスパリティ値に基づいて中間画像にフィルタを適用することができる。

【0051】

画像ブラー部１２１は、中間画像にガウシアンフィルタを適用してブラー動作を行うことができる。画像ブラー部１２１は、ディスパリティ値に応じてガウシアンフィルタの尖鋭度を変更することができる。本発明の実施例では、画像ブラー部１２１は、ディスパリティ値が大きいほどカーブの尖鋭度の低いガウシアンフィルタのカーブを選択して中間画像に適用することができる。本発明の実施例では、ガウシアンフィルタの尖鋭度は、アウトフォーカス領域に含まれるサブピクセルごとに互いに異なるように適用することができる。

【0052】

画像ブラー部１２１は、中間画像に適用するフィルタの強度を予め決定された比率に応じて調節することができる。本発明の実施例では、ユーザから受信したディスパリティ値とガウシアンフィルタの尖鋭度がマッチングされた表に基づいて、中間画像にガウシアンフィルタを適用することができる。

【0053】

図６は、本発明の実施例によるサブ画像を生成する方法を説明するための図である。

【0054】

図６を参照すると、１６個のピクセルからなる画像が、４つのサブピクセルからなる４つのサブ画像に分割されることができる。サブ画像に含まれるサブピクセル値は、元画像においてカラーが同じピクセルであり得る。具体的には、元画像でのピクセルの位置によってサブ画像に含まれるサブピクセルを決定することができる。

【0055】

図６のように、第１ピクセルグループ６１０、第２ピクセルグループ６２０、第３ピクセルグループ６３０、及び第４ピクセルグループ６４０で元画像を構成することができる。第１ピクセルグループ６１０と第４ピクセルグループ６４０のカラーはグリーンであり、第２ピクセルグループ６２０のカラーはレッドであり、第３ピクセルグループ６３０のカラーはブルーであり得る。

【0056】

第１ピクセルグループ６１０は、グループ内の位置によって第１サブピクセル（１番位置）、第２サブピクセル（２番位置）、第３サブピクセル（３番位置）、および第４サブピクセル（４番位置）を含むことができる。同様に、第２ピクセルグループ６２０、第３ピクセルグループ６３０、および第４ピクセルグループ６４０もそれぞれ第１サブピクセル、第２サブピクセル、第３サブピクセル、および第４サブピクセルを含むことができる。

【0057】

画像分割部１１１は、ピクセルグループ６１０、６２０、６３０、６４０においてそれぞれ１つのサブピクセルをサンプリングすることができる。画像分割部１１１は、ピクセルグループ６１０、６２０、６３０、６４０において位置の同じサブピクセルをサンプリングすることができる。例えば、第１ピクセルグループ６１０の第１サブピクセル、第２ピクセルグループ６２０の第１サブピクセル、第３ピクセルグループ６３０の第１サブピクセル、第４ピクセルグループ６４０の第１サブピクセルがサンプリングされ、画像分割部１１１は、サンプリングされたサブピクセルに基づいて第１サブ画像６５０を生成することができる。同様に、第２サブ画像６６０、第３サブ画像６７０、および第４サブ画像６８０が生成されて、元画像は４つのサブ画像６５０、６６０、６７０、６８０に分割されることができる。

【0058】

図７は、本発明の実施例によるアウトフォーカス領域を検出する方法を説明するための図である。

【0059】

図７を参照すると、領域検出部１１２は、サブ画像７１０、７２０、７３０、７４０それぞれの位置ごとにインフォーカス領域に該当するか否かを判断することができる。サブ画像７１０、７２０、７３０、７４０それぞれの位置において領域検出部１１２は、サブ画像７１０、７２０、７３０、７４０のサブピクセル値のうち最大値と最小値を検出することができる。最大値と最小値との差が予め決定されたしきい値より小さい場合、領域検出部１１２は、該当サブピクセルの位置をインフォーカス領域であると決定することができる。最大値と最小値との差が予め決定されたしきい値より大きか、または同じサブピクセルの位置は、サブ画像においてアウトフォーカス領域として検出されることができる。

【0060】

第１サブ画像７１０の（１、１）位置に対応するサブピクセル値はＡであり、第２サブ画像７２０の（１、１）位置に対応するサブピクセル値はＢであり、第３サブ画像７３０の（１、１）位置に対応するサブピクセル値はＣであり、第４サブ画像７４０の（１、１）位置に対応するサブピクセル値はＤであることができる。領域検出部１１２は、以下の数式によってサブ画像７１０、７２０、７３０、７４０の（１、１）位置をインフォーカス領域またはアウトフォーカス領域として決定することができる。

【0061】

＜数式＞
ｉｆ｛ｍａｘ（Ａ，Ｂ，Ｃ，Ｄ）－ｍｉｎ（Ａ，Ｂ，Ｃ，Ｄ）＜ｔｈｒｅｓｈｏｌｄ，ｉｎ－ｆｏｃｕｓ｝
ｏｔｈｅｒｗｉｓｅ，ｏｕｔ－ｆｏｃｕｓ

【0062】

図７において、ｍａｘ（Ａ，Ｂ，Ｃ，Ｄ）－ｍｉｎ（Ａ，Ｂ，Ｃ，Ｄ）＜ｔｈｒｅｓｈｏｌｄの条件が満たされると、サブ画像７１０、７２０、７３０、７４０の（１、１）位置はインフォーカス領域として検出されることができる。同様に、サブ画像７１０、７２０、７３０、７４０の（５、３）位置に対応するサブピクセル値（Ｅ，Ｆ，Ｇ，Ｈ）に基づいてサブ画像７１０、７２０、７３０、７４０の（５、３）位置はアウトフォーカス領域として検出されることができる。

【0063】

図８は、本発明の実施例によるディスパリティ値を計算する方法を説明するための図である。

【0064】

図８を参照すると、元画像から第１サブ画像６５０、第２サブ画像６６０、第３サブ画像６７０、および第４サブ画像６８０が生成されることができる。ディスパリティ算出部１１３は、サブ画像６５０、６６０、６７０、６８０のアウトフォーカス領域についてのみディスパリティ値を算出することができる。

【0065】

本発明の実施例では、ディスパリティ算出部１１３は、第１サブ画像６５０と第４サブ画像６８０のディスパリティ値を計算８１０し、第２サブ画像６６０と第３サブ画像６７０のディスパリティ値を計算８２０することができる。ディスパリティ算出部１１３は、ディスパリティ値の平均値をサブ画像６５０、６６０、６７０、６８０のディスパリティ値として決定することができる。本発明の実施例では、元画像において斜め方向に位置するサブピクセルで構成されるサブ画像間のディスパリティを計算して演算量を最小化することができる。

【0066】

本発明の他の実施例では、ディスパリティ算出部１１３は、第１サブ画像６５０、第２サブ画像６６０、第３サブ画像６７０、および第４サブ画像６８０間のディスパリティをすべて計算することができる。ディスパリティ算出部１１３は、計算したディスパリティ値の平均値をサブ画像のディスパリティ値として決定することができる。すべてのサブ画像間のディスパリティ値を計算すると、ディスパリティ値の正確度を向上させることができる。

【0067】

本発明の他の実施例では、ディスパリティ算出部１１３は、同じ位置に対応する複数のディスパリティ値のうち、最大値または最小値を該当位置のディスパリティ値として決定することができる。

【0068】

図９は、本発明の実施例によるサブピクセル値差を利用してディスパリティ値を計算する方法を説明するための図である。

【0069】

図９を参照すると、第１サブ画像９１０と第４サブ画像９２０が示されている。第１サブ画像９１０において、ディスパリティを計算する位置Ｔを中心にサブピクセル値差を計算する範囲９１１を設定することができる。同様に、第４サブ画像９２０においてもディスパリティ計算範囲９２１を設定することができる。

【0070】

図９において、例示的にディスパリティを比較するカーネル９１２，９２２の大きさを３×３に設定することができる。ディスパリティ算出部１１３は、ディスパリティを計算する範囲９１１、９２１でカーネル９１２、９２１を移動させながらサブピクセル値差が最小となる位置Ｐを第４サブ画像で検出することができる。

【0071】

ディスパリティを計算する位置Ｔとサブピクセル値との差が最小となる位置Ｐ間の距離が、サブ画像においてディスパリティを計算する位置Ｔのディスパリティ値であり得る。ディスパリティ算出部１１３は、同じ方式で第１サブ画像９１０と第４サブ画像９２０のアウトフォーカス領域に含まれるサブピクセルの位置でディスパリティ値を計算することができる。

【0072】

図１０は、本発明の実施例によるサブピクセル値のランキング差を利用してディスパリティ値を計算する方法を説明するための図である。

【0073】

図１０を参照すると、ディスパリティを計算するサブ画像のカーネルに含まれたサブピクセル値のランキング差を利用してアウトフォーカス領域のディスパリティ値を計算することができる。

【0074】

図１０において、ピクセル値１０１０は、図９の第１サブ画像９１０のカーネル９１２のサブピクセル値であると仮定することができる。ピクセル値１０２０は、図９の第４サブ画像９２０のカーネル９２２のサブピクセル値であると仮定することができる。ディスパリティ算出部１１３は、ピクセル値１０１０とピクセル値１０２０との差を計算せずに、ピクセル値１０１０のランキング１０３０を決定することができる。同様に、ディスパリティ算出部１１３は、サブピクセル値１０２０のランキング１０４０を決定することができる。ディスパリティ算出部１１３は、第１サブ画像９１０のランキング１０３０と第４サブ画像のランキング１０４０とを比較してカーネルのランキング差１０５０を計算することができる。

【0075】

図１０において、ピクセル値１０１０とピクセル値１０２０は互いに異なるが、第１サブ画像９１０のランキング１０３０と第４サブ画像９２０のランキング１０４０は互いに同じであり得る。ディスパリティ算出部１１３は、カーネルのランキング差１０５０に基づいてディスパリティ値を決定することができる。本発明の実施例では、カーネルのランキング差１０５０を合算してディスパリティ値を計算することができる。

【0076】

本発明の実施例では、サブピクセル値差ではなくサブピクセル値のランキング差を利用すると、ノイズが発生する場合でもディスパリティ値の計算の正確度を向上させることができる。本発明の他の実施例では、ディスパリティ算出部１１３は、サブ画像に含まれた特徴（ｆｅａｔｕｒｅ）を検出し、検出された特徴（ｆｅａｔｕｒｅ）を利用してサブ画像間のディスパリティ値を計算することができる。例えば、ディスパリティ値は、サブ画像から検出された特徴（ｆｅａｔｕｒｅ）の稠密の程度に基づいてＤｅｎｓｅ－ＳＩＦＴ方式で計算することができる。

【0077】

図１１は、本発明の実施例によるディスパリティ値をスケーリングしてブラー動作の強度を調節する方法を説明するための図である。

【0078】

図１１を参照すると、サブ画像のサブピクセル値がスケーリング値に応じて移動されることができる。図１１において、４つのサブ画像１１１０、１１２０、１１３０、１１４０のサブピクセル値の移動によってブラー動作の強度を調節することができる。

【0079】

画像ブラー部１２１は、予め決定された比率に応じてディスパリティ値を増加させることができる。画像ブラー部１２１は、４つのサブ画像１１１０、１１２０、１１３０、１１４０のうち第１サブ画像１１１０を基準画像として設定することができる。基準画像１１１０のサブピクセル値は移動されず、画像ブラー部１２１は残りのサブ画像１１２０、１１３０、１１４０のサブピクセル値が移動される方向を基準画像１１１０に応じて決定することができる。

【0080】

基準画像１１１０のターゲット位置Ｔのディスパリティ値を１ピクセルであると仮定することができる。図１１において、水平方向のサブ画像である第２サブ画像１１２０のターゲット位置Ｔに対応する水平ピクセル値Ｈが示されている。垂直方向のサブ画像である第３サブ画像１１３０のターゲット位置Ｔに対応する垂直ピクセル値Ｖを図１１に示すことができる。対角方向のサブ画像である第４サブ画像１１４０のターゲット位置Ｔに対応する対角ピクセル値Ｄが同様に図１１に示されている。

【0081】

例えば、画像ブラー部１２１は、予め決定された比率に応じて、ディスパリティ値を３倍にスケーリングすることができる。基準画像１１１０を除くサブ画像１１２０、１１３０、１１４０のサブピクセル値を基準画像１１１０に対応する方向に移動させることができる。ディスパリティ値のスケーリングに対応して、第２サブ画像１１２０のターゲット位置Ｔに対応する水平ピクセル値Ｈは、水平方向に３ピクセルだけ移動されることができる。同様に、第３サブ画像１１３０のターゲット位置Ｔに対応する垂直ピクセル値Ｖは、垂直方向に３ピクセルだけ移動されることができる。第４サブ画像１１４０のターゲット位置Ｔに対応する対角ピクセル値Ｄは、対角方向に３ピクセルだけ移動されることができる。

【0082】

画像ブラー部１２１は、ディスパリティ値に応じてピクセル値が移動されたサブ画像１１２０、１１３０、１１４０と基準画像１１１０のサブピクセル値の平均値を含むブラー画像を生成することができる。本発明の他の実施例では、画像ブラー部１２１は、ピクセル値が移動されたサブ画像１１２０、１１３０、１１４０と基準画像１１１０のサブピクセル値の中央値を含むブラー画像を生成することができる。

【0083】

画像ブラー部１２１は、アウトフォーカス領域に対応するサブピクセル値だけを合算して背景のみにブラー動作を行うことができる。本発明の実施例では、ディスパリティ値をスケーリングする比率は、ユーザから受信した情報に応じて決定できる。

【0084】

図１２は、本発明の実施例によるガウシアンフィルタの尖鋭度を変更してブラー動作の強度を調節する方法を説明するための図である。

【0085】

図１２を参照すると、画像ブラー部１２１は、サブ画像のピクセル値を合算して中間画像を生成することができる。図１２においては、中間画像を示すことができる。図１２において、陰影部分は、アウトフォーカス領域を示すことができる。図１２において、陰影部分の数字は、アウトフォーカス領域のディスパリティ値であり得る。

【0086】

画像ブラー部１２１は、中間画像において陰影部分のみにガウシアンフィルタを適用してブラー画像を生成することができる。本発明の実施例では、中間画像が生成されると、サブ画像に発生したノイズを除去することができる。画像ブラー部１２１は、ディスパリティ値に応じてガウシアンフィルタの尖鋭度を変更してブラー画像を生成することができる。

【0087】

本発明の実施例では、中間画像のインフォーカス領域は、ガウシアンフィルタが適用されなくてもよい。画像ブラー部１２１は、中間画像のアウトフォーカス領域に予め決定された大きさのガウシアンフィルタを利用してブラー動作を行うことができる。

【0088】

本発明の実施例では、中間画像のディスパリティ値が大きいほど、該当位置に適用されるガウシアンフィルタのカーブの尖鋭度は低くなることができる。カーブの尖鋭度の低いガウシアンフィルタが中間画像に適用されると、ブラー動作の強度は増加することができる。

【0089】

本発明の実施例では、アウトフォーカス領域のディスパリティ値が１のピクセルに適用されるガウシアンフィルタのカーブの尖鋭度は、ディスパリティ値が２のピクセルに適用されるガウシアンフィルタのカーブの尖鋭度より高いことができる。すなわち、ディスパリティ値が大きいほど、行われるブラー動作の強度は増加することができる。図１２では、ディスパリティ値が１から６まで算出された場合を示している。

【0090】

本発明の他の実施例では、中間画像のディスパリティ値に応じて、ガウシアンフィルタのカーネルサイズは変わり得る。例えば、ディスパリティ値が大きいほど、該当位置に適用されるガウシアンフィルタのカーネルサイズは増加することができる。ガウシアンフィルタのカーネルサイズが大きいほど、ブラー動作の強度は増加することができる。

【0091】

図１３は、本発明の実施例によるディスパリティ値とガウシアンフィルタの尖鋭度をマッピングした表である。

【0092】

図１３を参照すると、ガウシアンフィルタの尖鋭度を示すガウシアンシグマ値がディスパリティ値とマッピングされている。図１３において、ディスパリティ値が増加するほど、ガウシアンシグマ値が増加することができる。本発明の実施例では、ガウシアンシグマ値が大きいほどガウシアンフィルタのカーブの尖鋭度が低いことができる。

【0093】

本発明の実施例では、ガウシアンシグマ値の増加度合いは、ディスパリティ値の増加度合いに比例しなくてもよい。図１３に示すディスパリティ値とガウシアンシグマ値のマッチングは例に過ぎず、様々なマッチング関係があり得る。

【0094】

図１３の表を図１２に適用すると、中間画像のアウトフォーカス領域にガウシアンフィルタを適用することができる。画像ブラー部１２１は、中間画像のディスパリティ値に応じてカーブの尖鋭度の異なるガウシアンフィルタをアウトフォーカス領域に含まれるピクセル値に適用することができる。例えば、ディスパリティ値が３のアウトフォーカス領域のサブピクセルに適用されるガウシアンフィルタのシグマ値は、ディスパリティ値が４の領域のサブピクセルに適用されるガウシアンフィルタのシグマ値と異なってもよい。

【0095】

本発明の実施例では、ユーザから受信した情報に応じて、ディスパリティ値とマッピングされるガウシアンシグマ値が変わり得る。例えば、ユーザ情報に応じて、図１３のディスパリティ値５に対応するガウシアンシグマ値が６．０から８．０に変更されることができる。ガウシアンシグマ値が変更されると、該当位置に適用されるガウシアンフィルタのカーブの尖鋭度も変更されることができる。

【0096】

図１４は、本発明の実施例による背景にブラー動作を行う方法を説明するためのフローチャートである。

【0097】

図１４を参照すると、画像処理装置は、画像のアウトフォーカス領域に行われるブラー動作の強度を調節することができる。

【0098】

ステップＳ１４１０において、画像分割部は、外部から受信したサブピクセル値に基づいて画像のサブ画像を生成することができる。画像分割部は、マイクロレンズにそれぞれ対応するピクセルグループごとに少なくとも１つのサブピクセル値をサンプリングすることができる。画像分割部は、サンプリングしたサブピクセル値に基づいて複数のサブ画像を生成することができる。本発明の実施例では、画像分割部が生成するサブ画像の数は、同じマイクロレンズに対応するサブピクセル値の数と同一であり得る。図６の説明はステップＳ１４１０に対する説明に対応されることができる。

【0099】

本発明の実施例では、ステップＳ１４２０の前にサブピクセルのカラーに関する情報を予め決定された１つのカラーに関する情報に変更することができる。例えば、レッドカラーに関する情報とブルーカラーに関する情報をグリーンカラーに関する情報に変更すると、その後の動作での演算量を最適化させることができる。本発明の他の実施例では、ピクセル値のカラーに関する情報は、明るさに関する情報に変更することができる。

【0100】

ステップＳ１４２０において、領域検出部は、生成されたサブ画像のインフォーカス領域とアウトフォーカス領域を決定することができる。領域検出部は、サブ画像において位置の同じサブピクセル値の最大値と最小値との差を予め決定されたしきい値と比較することができる。

【0101】

領域検出部は、最大値と最小値との差がしきい値より小さいサブピクセルの位置をインフォーカス領域として決定できる。インフォーカス領域に該当するサブピクセル値については、追加的な演算や画像信号処理動作を行わなくてもよい。領域検出部は、差がしきい値より大きいか、または同じサブピクセルの位置をアウトフォーカス領域として決定できる。アウトフォーカス領域に該当するサブピクセル値については、ブラー動作を行うことができる。図７に対する説明はステップＳ１４２０に対する説明に対応されることができる。

【0102】

ステップＳ１４３０において、ディスパリティ算出部は、サブ画像のアウトフォーカス領域に対するディスパリティ値を算出することができる。ディスパリティ算出部は、アウトフォーカス領域に対応するサブピクセル値のピクセル値差を利用してサブ画像間のディスパリティ値を計算することができる。本発明の他の実施例では、ディスパリティ算出部は、サブピクセル値のランキング差を利用してサブ画像間のディスパリティ値を計算することができる。本発明のさらに他の実施例では、ディスパリティ算出部は、サブ画像から検出された特徴（ｆｅａｔｕｒｅ）の稠密の程度に基づいてサブ画像間のディスパリティ値を計算することができる。図８、図９、および図１０に対する説明はステップＳ１４３０に対する説明に対応されることができる。

【0103】

ステップＳ１４４０において、画像合成部は、アウトフォーカス領域でディスパリティ値に基づいてブラー動作が行われたブラー画像を生成することができる。画像合成部がディスパリティ値に基づいてブラー動作の強度を調節し、ブラー動作が行われたサブ画像を合成する方法は、図１５で説明されることができる。画像合成部が中間画像にディスパリティ値に基づいてガウシアンフィルタを適用してブラー画像を生成する方法は、図１６で説明されることができる。

【0104】

本発明の実施例では、ステップＳ１４２０の前にカラーに関する情報を変更したことに対応して、ステップＳ１４４０の後に変更されたカラーに関する情報が変更前のカラーに関する情報に復元されることができる。

【0105】

本発明の実施例では、画像センサを介してセンシングされた画像の解像度は減少するが、画像に含まれた背景にブラー動作が行われたブラー画像を生成することができる。同じマイクロレンズに対応するカラーピクセルの数によって変更される解像度は変わり得る。例えば、１つのマイクロレンズに対応するサブピクセルの数が４個であれば、ブラー画像の解像度は原本画像の１／４に減少し得る。本発明の実施例では、解像度が減少するのとは反対に、同じマイクロレンズに対応するカラーピクセルの数によって行われるブラー動作の正確度は増加することができる。

【0106】

図１５は、本発明の実施例によるブラー画像を生成する方法を説明するためのフローチャートである。

【0107】

図１５を参照すると、画像ブラー部は、予め決定された比率に応じてディスパリティ値を増加させることができる。画像ブラー部は、ディスパリティ値に基づいてサブ画像でアウトフォーカス領域に対応するサブピクセル値を移動させることができる。

【0108】

ステップＳ１５１０において、画像ブラー部は、サブ画像のうち１つのサブ画像を基準画像として設定することができる。基準画像は、サブ画像のうちから任意に選択することができる。

【0109】

ステップＳ１５２０において、画像ブラー部は、サブピクセル値の移動距離を決定することができる。サブピクセル値の移動距離は、サブピクセル値の移動方向によって変わり得る。サブピクセル値が移動されると、サブ画像間のディスパリティ値が増加することができる。ディスパリティ値が増加すると、ブラー画像は原本画像よりさらにぼけて見えることができる。

【0110】

ステップＳ１５３０において、画像ブラー部は、ディスパリティ値がスケーリングされたサブ画像に基づいてブラー画像を合成することができる。画像ブラー部は、位置の同じサブピクセル値の平均値を含むブラー画像を生成することができる。ブラー画像は、原本画像より解像度が落ちる可能性がある。図１１に対する説明は図１５に対する説明に対応されることができる。

【0111】

図１６は、本発明の他の実施例によるブラー画像を生成する方法を説明するためのフローチャートである。

【0112】

図１６を参照すると、画像ブラー部は、ディスパリティ値に基づいて中間画像のアウトフォーカス領域に適用されるガウシアンフィルタの尖鋭度を決定することができる。

【0113】

ステップＳ１６１０において、画像ブラー部は、サブ画像で位置の同じサブピクセル値の平均値を含む中間画像を生成することができる。サブ画像でアウトフォーカス領域として検出された位置と中間画像のアウトフォーカス領域の位置は同一であってもよい。

【0114】

ステップＳ１６２０において、画像ブラー部は、ディスパリティ値に応じて中間画像に適用するガウシアンフィルタの尖鋭度を決定することができる。本発明の実施例では、中間画像のインフォーカス領域は、ガウシアンフィルタが適用されなくてもよい。画像ブラー部は、中間画像のアウトフォーカス領域に予め決定された大きさのガウシアンフィルタを利用してブラー動作を行うことができる。

【0115】

本発明の実施例では、中間画像のディスパリティ値が大きいほど、該当位置に適用されるガウシアンフィルタのカーブの尖鋭度は低くなることができる。カーブの尖鋭度の低いガウシアンフィルタが中間画像に適用されると、ブラー動作の強度は増加することができる。

【0116】

ステップＳ１６３０において、画像ブラー部は、アウトフォーカス領域にガウシアンフィルタの適用されたブラー画像を生成することができる。サブピクセル値に適用されるガウシアンフィルタの尖鋭度は互いに異なってもよい。画像ブラー部は、中間画像のディスパリティ値が大きいほどカーブの尖鋭度の低いガウシアンフィルタをサブピクセル値に適用することができる。図１２及び図１３に対する説明は図１６に対する説明に対応されることができる。

【0117】

図１７は、本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【0118】

図１７を参照すると、電子装置２０００は、画像センサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入力装置２０５０、及び出力装置２０６０を含むことができる。図１７に示されてはいないが、電子装置２０００は、ビデオカード、サウンドカード、メモリーカード、ＵＳＢ装置などと通信したり、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含むことができる。

【0119】

画像センサ２０１０は、入射光に相応する画像データを生成することができる。画像データは、プロセッサ２０２０に転送されて処理されることができる。出力装置２０６０は、画像データを表示することができる。記憶装置２０３０は、画像データを記憶することができる。プロセッサ２０２０は、画像センサ２０１０、出力装置２０６０、および記憶装置２０３０の動作を制御することができる。

【0120】

プロセッサ２０２０は、画像センサ２０１０から受信されるピクセルデータを処理する演算を行い、処理された画像データを出力する画像処理装置であることができる。ここで、処理は、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであり得る。

【0121】

プロセッサ２０２０は、画像センサ２０１０とは独立したチップで具現されることができる。例えば、プロセッサ２０２０は、マルチ－チップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されることができる。本発明の他の実施例では、プロセッサ２０２０は、画像センサ２０１０の一部として含まれて、１つのチップで具現されることができる。

【0122】

プロセッサ２０２０は、電子装置２０００の動作を実行し、制御することができる。本発明の実施例によれば、プロセッサ２０２０は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）であることができる。プロセッサ２０２０は、アドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）、及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０、入力装置２０５０、及び出力装置２０６０に連結されて、通信を行うことができる。

【0123】

本発明の実施例では、プロセッサ２０２０は、受信した画像データに基づいて原本画像をサブ画像に分割し、サブ画像でインフォーカス領域とアウトフォーカス領域を検出し、サブ画像間のディスパリティ値を計算する前処理動作を行うことができる。プロセッサ２０２０は、ディスパリティ値に応じてアウトフォーカス領域でブラー動作を行い、サブ画像を合成してブラー画像を生成することができる。この際、ディスパリティ値に応じて行われるブラー動作の強度は変わり得る。本発明の実施例によれば、サブ画像のアウトフォーカス領域でのみブラー動作が行われるので、演算の複雑度が低くなることができる。

【0124】

記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）、およびあらゆる形態の不揮発性メモリ装置などを含むことができる。

【0125】

メモリ装置２０４０は、電子装置２０００の動作に必要なデータを記憶することができる。例えば、メモリ装置２０４０は、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ； ＳＲＡＭ）等の揮発性メモリ装置及びＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）並びにフラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置を含むことができる。プロセッサ２０２０は、メモリ装置２０４０に記憶された命令セットを実行して画像センサ２０１０と出力装置２０６０を制御することができる。

【0126】

入力装置２０５０は、キーボード、キーパッド、マウスなどの入力手段を含み、出力装置２０６０は、プリンタ装置、ディスプレイなどの出力手段を含むことができる。

【0127】

画像センサ２０１０は、様々な形態のパッケージで具現されることができる。例えば、画像センサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ （ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを用いて具現されることができる。

【0128】

一方、電子装置２０００は、画像センサ２０１０を利用するすべてのコンピューティングシステムと解釈されることができる。電子装置２０００は、パッケージングされたモジュール、部品などの形態で具現されることができる。例えば、電子機器２０００は、デジタルカメラ、モバイル装置、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートパソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ドライブレコーダー、ロボット、自律走行車両などで具現されることができる。

【0129】

本発明の範囲は、前記詳細な説明より後述する特許請求の範囲によって表され、特許請求の範囲の意味および範囲そしてその等価概念から導出される全ての変更または変形された形態は本発明の範囲に含まれるものと解釈されるべきである。

【符号の説明】

【0130】

１００ 画像処理装置
１１０ 画像前処理部
１１１ 画像分割部
１１２ 領域検出部
１１３ ディスパリティ算出部
１２０ 画像合成部
１２１ 画像ブラー部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】