特開 2024-88563 画像処理装置及びボケ画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024088563

(43)【公開日】2024-07-02

(54)【発明の名称】画像処理装置及びボケ画像生成方法

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240625BHJP

【ＦＩ】

G06T5/00 705

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023007854

(22)【出願日】2023-01-23

(31)【優先権主張番号】10-2022-0179694

(32)【優先日】2022-12-20

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】山本 邦浩

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC03

5B057CD05

5B057CE04

5B057CE08

5B057DA17

5B057DB02

5B057DB09

5B057DC30

(57)【要約】      （修正有）

【課題】ボケ動作の実行の演算量を減少させる画像処理装置及びボケ画像生成方法を提供する。
【解決手段】画像処理装置１００は、外部から受信した画素データに基づいて画像の背景領域を抽出し、背景領域がダウンスケールされた低解像度のサブ画像を生成する前処理部１１０と、低解像度のサブ画像にボケ動作が行われた中間画像を生成し、中間画像を元の解像度にアップスケールする背景ボケ部１２０と、アップスケールした中間画像に画像の前景領域を合成したボケ画像を生成する画像合成部１３０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

外部から受信した画素データに基づいて画像の背景領域を抽出し、上記背景領域がダウンスケールされた低解像度のサブ画像を生成する前処理部と、
上記低解像度のサブ画像にボケ動作が行われた中間画像を生成し、上記中間画像を元の解像度にアップスケールする背景ボケ部と、
アップスケールした上記中間画像に上記画像の前景領域を合成したボケ画像を生成する画像合成部と、を含むことを特徴とする画像処理装置。

【請求項2】

上記前処理部は、
上記ボケ動作の強度に基づいて上記低解像度のサブ画像のターゲット解像度を決め、上記ターゲット解像度に応じてダウンスケール動作を行うことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

上記前処理部は、
上記ボケ動作の強度が大きいほど、上記ターゲット解像度を小さく決めることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

上記前処理部は、
上記画像の深度情報に基づいて上記背景領域と上記前景領域を決めることを特徴とする請求項２に記載の画像処理装置。

【請求項5】

上記前処理部は、
バイリニア補間方式で上記ダウンスケール動作を行い、上記ターゲット解像度を有する上記低解像度のサブ画像を生成することを特徴とする請求項２に記載の画像処理装置。

【請求項6】

上記背景ボケ部は、
上記ボケ画像の被写界深度に基づいて上記ボケ動作の強度を決め、上記ボケ動作の強度に応じて上記ボケ動作を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項7】

上記背景ボケ部は、
上記被写界深度が浅いほど上記ボケ動作の強度を大きく決めることを特徴とする請求項６に記載の画像処理装置。

【請求項8】

上記背景ボケ部は、
上記ボケ動作の強度に対応する点広がり関数のカーネルを生成し、上記低解像度のサブ画像と上記カーネルの畳み込み演算を行うことを特徴とする請求項６に記載の画像処理装置。

【請求項9】

上記背景ボケ部は、
上記ターゲット解像度に基づいて上記カーネルのサイズを決めることを特徴とする請求項８に記載の画像処理装置。

【請求項10】

上記背景ボケ部は、
上記ダウンスケール動作に対応して上記中間画像に対するアップスケール動作を行うことを特徴とする請求項２に記載の画像処理装置。

【請求項11】

上記背景ボケ部は、
バイキュービック補間方式で上記アップスケール動作を行い、上記元の解像度を有する上記中間画像を生成することを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

上記前処理部は、
上記被写界深度に基づいて抽出される上記背景領域のサイズを決めることを特徴とする請求項６に記載の画像処理装置。

【請求項13】

外部から受信した画素データに基づいて画像の背景領域を抽出する段階と、
上記背景領域にダウンスケール動作が行われた低解像度のサブ画像を生成する段階と、
上記低解像度のサブ画像にボケ動作を行う段階と、
上記ボケ動作が行われた中間画像を元の解像度にアップスケールする段階と、
アップスケールした上記中間画像と上記画像の前景領域を合成する段階と、を含むことを特徴とする画像処理方法。

【請求項14】

上記背景領域を抽出する段階は、
上記画像の深度情報に基づいて上記背景領域を決める段階と、
上記ボケ画像の被写界深度に基づいて上記背景領域のサイズを決める段階と、を含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項15】

上記低解像度のサブ画像を生成する段階は、
上記被写界深度に基づいて上記低解像度のサブ画像のターゲット解像度を決める段階と、
上記ターゲット解像度に応じて上記背景領域にバイリニア補間方式で上記ダウンスケール動作を行う段階と、を含むことを特徴とする請求項１４に記載の画像処理方法。

【請求項16】

上記ボケ動作を行う段階は、
上記ターゲット解像度に基づいて上記ボケ動作の強度を決める段階と、
上記ボケ動作の強度に対応する点広がり関数のカーネルを生成する段階と、
上記低解像度のサブ画像と上記カーネルの畳み込み演算を行う段階と、を含むことを特徴とする請求項１５に記載の画像処理方法。

【請求項17】

上記点広がり関数のカーネルを生成する段階は、
上記ターゲット解像度に基づいて上記カーネルのサイズを決める段階を含むことを特徴とする請求項１６に記載の画像処理方法。

【請求項18】

上記アップスケールする段階は、
上記ターゲット解像度に対応する上記元の解像度を決める段階と、
上記中間画像をバイキュービック補間方式でアップスケールする段階と、
上記元の解像度を有する上記中間画像を生成する段階と、を含むことを特徴とする請求項１５に記載の画像処理方法。

【請求項19】

上記中間画像と上記前景領域を合成する段階は、
上記前景領域と解像度が同一の上記中間画像に上記前景領域を合成したボケ画像を生成する段階を含むことを特徴とする請求項１３に記載の画像処理方法。

【請求項20】

輝度情報と深度情報を含む画素データを生成するイメージセンサと、
上記画素データに基づいて画像の背景領域がボケ処理されたボケ画像を生成する画像処理装置と、を含み、
上記画像処理装置は、
上記深度情報に基づいて上記画素データに基づいて画像の背景領域を抽出し、上記背景領域に行われるボケ動作の強度に基づいて上記背景領域に対する低解像度のサブ画像を生成する前処理部と、
上記低解像度のサブ画像に上記ボケ動作が行われた中間画像を生成し、上記中間画像の解像度を増加させる背景ボケ部と、
上記画像の前景領域に解像度が増加した上記中間画像を合成する画像合成部と、を含むことを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置に関し、より具体的には、画像処理装置及びボケ画像生成方法に関する。

【背景技術】

【0002】

レフレックスカメラは光学系の被写界深度を調整してボケ効果の発生した画像を生成することができる。ＣＩＳイメージセンサはセンサのサイズが小さくてボケ効果の発生した画像が生成しにくい側面がある。

【0003】

画像処理装置は映像処理動作を行って画像にボケ効果を発生させることができる。映像処理動作が行われる画像の解像度が大きいほど、映像処理を行うための演算量が増加することができる。演算量が増加することによってボケ動作を行った高解像度の画像の生成のための費用が増加することができる。

【0004】

ボケ動作の実行の演算量はセンシングされた画像の解像度を下げることにより、減少することができる。画質の劣化なしにボケ動作の実行の演算量を減少させることができるのであれば、ボケ効果が発生した高解像度の画像を取得することができる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の実施例は、抽出した画像の背景領域の解像度を下げてボケ動作を行い、ボケ動作の後で元の解像度に復元することで演算量の減少したボケ動作を行う画像処理装置及び画像処理方法を提供する。

【課題を解決するための手段】

【0006】

本発明の実施例による画像処理装置は、外部から受信した画素データに基づいて画像の背景領域を抽出し、上記背景領域がダウンスケールされた低解像度のサブ画像を生成する前処理部と、上記低解像度のサブ画像にボケ動作が行われた中間画像を生成し、上記中間画像を元の解像度にアップスケールする背景ボケ部と、アップスケールした上記中間画像に上記画像の前景領域を合成したボケ画像を生成する画像合成部と、を含んでもよい。

【0007】

本発明の実施例による画像処理方法は、外部から受信した画素データに基づいて画像の背景領域を抽出する段階と、上記背景領域にダウンスケール動作が行われた低解像度のサブ画像を生成する段階と、上記低解像度のサブ画像にボケ動作を行う段階と、上記ボケ動作が行われた中間画像を元の解像度にアップスケールする段階と、アップスケールした上記中間画像と上記画像の前景領域を合成する段階と、を含んでもよい。

【0008】

本発明の実施例による画像処理装置は、外部から受信した画素データに基づいて画像の背景領域を抽出し、上記背景領域に行われるボケ動作の強度に基づいて上記背景領域に対する低解像度のサブ画像を生成する前処理部と、上記低解像度のサブ画像に上記ボケ動作が行われた中間画像を生成し、上記中間画像の解像度を増加させる背景ボケ部と、上記画像の前景領域に解像度が増加した上記中間画像を合成する画像合成部と、を含んでもよい。

【発明の効果】

【0009】

本技術によると、画像の背景領域に対する解像度を下げてボケ動作を行うことで演算量を最小化し、ボケ処理した背景領域の解像度を元の解像度に復元することで高品質の画像を生成する画像処理装置及び画像処理方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例による画像処理装置を説明するための図である。

【図2】本発明の実施例によるボケ画像を生成する方法を説明するためのフローチャートである。

【図3】本発明の実施例によるボケ動作を行う方法を説明するためのフローチャートである。

【図4】本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【発明を実施するための形態】

【0011】

本明細書または出願に開示の本発明の概念に係る実施例に対する特定の構造的または機能的説明は本発明の概念に係る実施例を説明するためだけに例示されており、本発明の概念に係る実施例は様々な形態で実施でき、本明細書または出願に説明の実施例に限定されると解釈すべきではない。

【0012】

以下では、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を容易に実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0013】

図１は本発明の実施例による画像処理装置を説明するための図である。

【0014】

図１を参照すると、画像処理装置１００は、受信した画素データに基づいて背景領域をボケ処理したボケ画像を生成することができる。画像処理装置１００が受信した画素データは輝度情報及び深度情報を含んでもよい。ＰＤＡＦ画素を含むイメージセンサは輝度情報と深度情報を含む画素データを生成して画像処理装置１００に伝達することができる。イメージセンサに含まれたｉＴｏＦセンサまたはｄＴｏＦセンサを介して画素データに深度情報が含まれてもよい。

【0015】

画像処理装置１００は、前処理部１１０、背景ボケ部１２０、及び画像合成部１３０を含んでもよい。本発明の実施例において、画像処理装置１００はボケ動作の演算量を最小化するために背景領域に対する解像度を調整することができる。画像処理装置は画像を背景領域と前景領域に分けて映像処理動作を行うことができる。

【0016】

前処理部１１０は画像をキャプチャーした画素データを受信することができる。前処理部１１０は、外部から受信した画素データに基づいて画像の背景領域を抽出することができる。画像は深度情報によって背景領域と前景領域に分けられる。本発明の実施例では、背景領域のみにボケ動作が行われてもよい。前景領域はボケ動作が行われた背景領域と合成されてもよい。

【0017】

前処理部１１０は背景領域を含む背景画像の解像度を下げることができる。背景画像の解像度は行われるボケ動作の強度によって変わってもよい。前処理部１１０は画像の背景領域がダウンスケールされた低解像度のサブ画像を生成することができる。

【0018】

前処理部１１０はボケ動作の強度に基づいて低解像度のサブ画像のターゲット解像度を決めることができる。前処理部１１０はターゲット解像度に応じて背景画像に対するダウンスケール動作を行うことができる。本発明の実施例における前処理部１１０は、ボケ動作の強度が大きいほど、ターゲット解像度を小さく決めることができる。

【0019】

前処理部１１０は画像の深度情報に基づいて画像の背景領域と前景領域を決めることができる。前処理部１１０はボケ動作の強度に基づいて背景領域のサイズを決めることができる。例えば、前処理部１１０はボケ動作の強度が大きいほど、背景領域のサイズを小さく決めることができる。背景領域が大きいほど、ボケ画像にボケ動作を行う領域が増えることができる。

【0020】

前処理部１１０はバイリニア補間方式でダウンスケール動作を行ってもよい。バイリニア補間方式は一実施例に過ぎず、画像の解像度を変更する様々な方法でダウンスケーリング動作を行ってもよい。ダウンスケール動作に対応して背景画像は解像度が低くなり得る。バイリニア補間方式でダウンスケールを行う技術は既知の技術であるため、本発明の明細書ではダウンスケールに対する詳細な説明を省略する。前処理部１１０はターゲット解像度を有する低解像度のサブ画像を生成することができる。

【0021】

背景ボケ部１２０は低解像度のサブ画像にボケ動作が行われた中間画像を生成することができる。背景ボケ部１２０はボケ動作を行った後、中間画像を元の解像度にアップスケールすることができる。

【0022】

背景ボケ部１２０はボケ画像の被写界深度に基づいてボケ動作の強度を決めることができる。例えば、背景ボケ部１２０は被写界深度が浅いほど、ボケ動作の強度を大きく決めることができる。画像において正焦点に対応する部分が狭いほど、被写界深度は浅いと表現することができる。本発明の実施例において、被写界深度に対する情報はユーザから取得することができる。背景ボケ部１２０は決まったボケ動作の強度に応じて低解像度のサブ画像にボケ動作を行うことができる。

【0023】

背景ボケ部１２０はボケ動作の強度に対応する点広がり関数のカーネルを生成することができる。本発明の実施例において、点広がり関数は一点に対する広がり程度を表す関数であってもよい。点広がり関数のカーネルは点広がり関数の傾いた方向と程度を示すことができる。

【0024】

背景ボケ部１２０は低解像度のサブ画像とカーネルの畳み込み演算を行うことができる。畳み込み演算を通して画像にボケ効果を再現することができる。背景ボケ部１２０は畳み込み演算を行って背景領域をボケ処理することができる。本発明の実施例において、背景ボケ部１２０は点広がり関数のカーネルを用いてレンズの焦点によるボケ効果をデジタル的に再現することができる。

【0025】

背景ボケ部１２０はターゲット解像度に基づいて点広がり関数のカーネルのサイズを決めることができる。カーネルのサイズは畳み込み演算が行われる画像の解像度によって異なってもよい。例えば、画像の解像度が大きいほど、カーネルのサイズが増加してもよい。

【0026】

本発明の実施例では、画像にボケ効果を再現するために点広がり関数を用いる方法について説明しているが、これは一実施例に過ぎず、画像にボケ効果を再現する方法は多様であってもよい。また、点広がり関数のカーネルと画像の畳み込み演算は既知の技術であるため、本発明の明細書では畳み込み演算に対する詳細な説明を省略することができる。

【0027】

背景ボケ部１２０はダウンスケール動作に対応して中間画像に対するアップスケール動作を行うことができる。背景ボケ部１２０はダウンスケール動作により減少した解像度だけ中間画像の解像度を増加させることができる。

【0028】

背景ボケ部１２０はバイキュービック補間方式でアップスケール動作を行うことができる。 ダウンスケーリング動作と同様に、バイキュービック補間方式のアップスケーリング動作は一実施例に過ぎず、画像の解像度を変更する様々な方式でアップスケーリング動作が行われてもよい。バイキュービック補間方式でアップスケールを行って画像の解像度を向上させる技術は既知の技術であるため、本発明の明細書ではアップスケールに対する詳細な説明を省略する。背景ボケ部１２０は中間画像の解像度がダウンスケールされる前の元の解像度になるようアップスケールすることができる。

【0029】

画像合成部１３０は背景領域が抽出された画像から前景画像を取得することができる。画像合成部１３０はアップスケールされた中間画像に画像の前景領域を合成したボケ画像を生成することができる。前景領域は解像度の変更またはボケ動作が行われていないため、画質の劣化が生じないことがある。

【0030】

本発明の実施例において、前景画像とアップスケールされた中間画像の解像度は同じであってもよい。ボケ画像の解像度はキャプチャーした画像の解像度と同じであってもよい。背景領域の解像度を下げてボケ動作を行った後、元の解像度に解像度を向上させたため、背景領域は前景領域と解像度が同じであることができる。画像合成部１３０は解像度が同一の前景領域と背景領域を合成することができる。

【0031】

本発明の実施例において、ボケ動作の全体の演算量はボケ動作の強度またはボケ画像の被写界深度に応じて変わってもよい。例えば、ボケ動作の強度が弱いほど、全体の演算量が減少することができる。

【0032】

本発明の実施例では、全体の演算量が減少するにつれてボケ動作の処理速度が速くなり、ボケ動作の実行による負荷が減少することができる。また、キャプチャー画像の前景画像の解像度は変更されないため、前景画像の画質劣化が発生せず、高品質のボケ画像を生成することができる。

【0033】

ボケ動作は本質的に画像を劣化させる動作であるため、背景領域の解像度を下げてボケ動作を行ってから解像度を復元した画像と、元の解像度の背景領域をボケ処理した画像とを比較しても画像の画質の差がほとんどない場合がある。画像の解像度を下げてからボケ動作を行って元の解像度に復元する本願発明の全体の演算量は、元の解像度の背景領域をボケ処理する演算量より少なくなり得る。

【0034】

本発明の実施例では、前処理部１１０が背景画像の解像度を約１／４倍に減少させると仮定することができる。例えば、キャプチャーされた画像の解像度が４ｋの場合、低解像度のサブ画像の解像度は１０２４×７６８であることができる。本発明の他の実施例では、前処理部１１０は解像度が２ｋの画像に基づいて解像度が１０２４×７６８の低解像度のサブ画像を生成して、背景画像の解像度を半分に減少させることができる。

【0035】

低解像度のサブ画像の解像度が約１／４倍になったことに対応して、点広がり関数のカーネルサイズも約１／４倍になることができる。具体的には、元の解像度に対応する点広がり関数のカーネルサイズが３１画素×３１画素であれば、低解像度のサブ画像に対応する点広がり関数のカーネルサイズは９画素×９画素であることができる。このとき、カーネルサイズの減少による畳み込み演算量は約１／１６倍になることができる。また、低解像度のサブ画像の解像度が約１／４倍になったことに対応して低解像度のサブ画像の画素数は約１／１６倍になることができる。

【0036】

ボケ動作の実行による全体の演算量は、畳み込み演算が行われる画像の画素数とカーネルのサイズによって決められる。具体的には、低解像度のサブ画像の画素数はキャプチャー画像対比で約１／１６倍であり、カーネルサイズの減少による演算減少量も約１／１６倍であるため、全体の演算量は解像度を変更せずに行われる演算量の約１／２５６倍が減少することができる。ボケ動作の演算量が少なくなるため、ボケ動作の行われた中間画像の解像度を元の解像度に変更する動作を行ってもボケ動作の全体の演算量は元の解像度の画像にボケ動作を行う演算量より少なくなり得る。

【0037】

本発明の他の実施例では、前処理部１１０はボケ画像の被写界深度に基づいて抽出される背景領域を決めることができる。例えば、被写界深度が深いほど、前処理部１１０は画像の前景領域を広く決め、画像の背景領域を狭く決めることができる。

【0038】

前処理部１１０はボケ画像の被写界深度に基づいて背景画像のターゲット解像度を決めることができる。被写界深度が浅いほど、低解像度のサブ画像のターゲット解像度は低くなり得る本発明の実施例では、ターゲット解像度が低いほど、点広がり関数のカーネルのサイズが小さくなることができる。カーネルサイズの縮小に対応して、ボケ動作の演算量は元の解像度の画像に対するボケ動作の演算量より少なくなることができる。

【0039】

図２は本発明の実施例によるボケ画像を生成する方法を説明するためのフローチャートである。

【0040】

図２を参照すると、画像処理装置はキャプチャー画像の背景領域に対するボケ動作を行うことができる。画像処理装置は演算処理を通して背景領域がボケ処理されたボケ画像を生成することができる。本発明の実施例では、画像処理装置はボケ動作が行われる背景領域に対する解像度を減少させることで、ボケ動作の演算量を減少させることができる。

【0041】

段階Ｓ２１０において、前処理部は画素データから画像の背景領域を抽出することができる。前処理部は画像の深度情報に基づいて画像の背景領域と前景領域を区分することができる。ボケ画像の被写体深度が浅いほど、背景領域が広くなり得る。

【0042】

段階Ｓ２２０において、前処理部は背景領域に対する低解像度のサブ画像を生成することができる。前処理部は背景領域に行われるボケ動作の強度に基づいて低解像度のサブ画像のターゲット解像度を決めることができる。前処理部は、背景領域を含む背景画像に対するダウンスケール動作を行ってターゲット解像度を有する低解像度のサブ画像を生成することができる。

【0043】

本発明の他の実施例において、前処理部はボケ画像の被写界深度に基づいて低解像度のサブ画像のターゲット解像度を決めることができる。前処理部はターゲット解像度に応じて背景領域にバイリニア補間方式でダウンスケール動作を行うことができる。

【0044】

段階Ｓ２３０において、背景ボケ部は低解像度のサブ画像にボケ動作を行うことができる。ボケ動作の強度はボケ画像の被写界深度に応じて決められる。例えば、被写界深度が浅いほど、ボケ動作の強度が強くなることができる。ボケ動作の強度が強くなるほど、背景領域の解像度が低くなることができる。ボケ動作の実行に対応してターゲット解像度を有する中間画像が生成されることができる。

【0045】

段階Ｓ２４０において、背景ボケ部は中間画像の解像度を増加させることができる。背景ボケ部は中間画像に対するアップスケール動作を行って中間画像の解像度を元の解像度に変更することができる。本発明の実施例では、バイリニア補間、バイキュービック補間などの様々な方式で画像の解像度を変更してもよい。

【0046】

本発明の他の実施例において、背景ボケ部はアップスケール動作を行って中間画像の解像度を元の解像度とは異なるように変更することができる。背景ボケ部は中間画像をバイキュービック補間方式でアップスケールすることができる。

【0047】

段階Ｓ２５０において、画像合成部は、画像の前景領域とアップスケールされた中間画像とを合成してボケ画像を生成することができる。ボケ画像は背景領域のみにボケ動作が行われた画像であってもよい。ボケ画像の前景領域と背景領域の解像度は同じであることができる。

【0048】

図２の各段階は図１の説明に代えられる。

【0049】

図３は本発明の実施例によるボケ動作を行う方法を説明するためのフローチャートである。

【0050】

図３を参照すると、背景ボケ部は低解像度のサブ画像にボケ動作を行うことができる。背景ボケ部は、背景領域に直接ボケ動作を行わずに解像度を変更してボケ動作を行ってから中間画像の解像度を元の解像度に変更することができる。本発明の実施例では、背景領域の解像度を変更することで、ボケ動作に関する全体の演算量を減らすことができる。

【0051】

段階Ｓ３１０において、背景ボケ部は背景領域に行われるボケ動作の強度を決めることができる。背景ボケ部はボケ画像の被写界深度に基づいてボケ動作の強度を決めることができる。本発明の他の実施例において、ボケ動作の強度は低解像度のサブ画像のターゲット解像度に応じて決められる。

【0052】

段階Ｓ３２０において、背景ボケ部は決められたボケ動作の強度に対応する点広がり関数のカーネルを生成することができる。点広がり関数のカーネルサイズは畳み込み演算が行われる画像に応じて決められる。点広がり関数のカーネルサイズに応じて畳み込み演算量が変わってもよい。カーネルサイズが小さいほど畳み込み演算量が少なくなり、画像処理装置の演算負荷が少なくなることができる。

【0053】

段階Ｓ３３０において、背景ボケ部は低解像度のサブ画像と点広がり関数のカーネルの畳み込み演算を行うことができる。点広がり関数の畳み込み演算が行われた画像は光学系のボケ効果がデジタル的に再現されることができる。背景ボケ部は低解像度のサブ画像にボケ効果を具現することができる。

【0054】

段階Ｓ３４０において、背景ボケ部は低解像度のサブ画像にボケ動作が行われた中間画像を生成することができる。このとき、中間画像の解像度は低解像度のサブ画像と同じであることができる。畳み込み演算の対象画像の解像度が元の解像度よりも低いため、畳み込み演算の全体の演算量が減少することができる。

【0055】

図３の各段階は図１の説明の一部に代えられる。

【0056】

図４は本発明の実施例による画像処理装置を含む電子装置を示すブロック図である。

【0057】

図４を参照すると、電子装置２０００は、イメージセンサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入力装置２０５０及び出力装置２０６０を含んでもよい。図４には示されていないが、電子装置２０００はビデオカード、サウンドカード、メモリカード、ＵＳＢ機器などと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

【0058】

イメージセンサ２０１０は入射光に相応する画像データを生成することができる。画像データはプロセッサ２０２０に伝達されて処理されてもよい。イメージセンサ２０１０はレンズを介して入力された（またはキャプチャーされた）オブジェクトに対する画像データを生成することができる。レンズは光学系を形成する少なくとも１つのレンズを含んでもよい。

【0059】

イメージセンサ２０１０は複数の画素を含んでもよい。イメージセンサ２０１０は撮影された画像に対応する複数の画素値を複数の画素で生成することができる。イメージセンサ２０１０で生成された複数の画素値は画素データとしてプロセッサ２０２０に伝送されてもよい。即ち、イメージセンサ２０１０はシングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）に対応する複数の画素値を生成することができる。

【0060】

出力装置２０６０は画像データを表示することができる。記憶装置２０３０は画像データを保存することができる。プロセッサ２０２０はイメージセンサ２０１０、出力装置２０６０、及び記憶装置２０３０の動作を制御することができる。

【0061】

プロセッサ２０２０はイメージセンサ２０１０から受信する画素データを処理する演算を行い、処理した画像データを出力する画像処理装置であってもよい。ここで、処理は、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。

【0062】

本発明の実施例において、プロセッサ２０２０は受信した画素データから画像の背景領域と前景領域を分けることができる。プロセッサ２０２０は背景領域に行われるボケ動作の強度に基づいて低解像度のサブ画像のターゲット解像度を決め、背景領域に対するダウンスケール動作を行って低解像度のサブ画像を生成することができる。プロセッサ２０２０は低解像度のサブ画像にボケ動作が行われた中間画像を生成し、中間画像を元の解像度にアップスケールすることができる。プロセッサ２０２０はアップスケールした中間画像に画像の前景領域を合成し、合成したボケ画像を出力することができる。プロセッサ２０２０の画像のボケ処理方法は全体の演算量を減少させることができる。ボケ動作の強度に応じて減少する演算量が変わってもよい。プロセッサ２０２０はボケ画像の被写界深度に応じて全体の演算量を調整することができる。

【0063】

プロセッサ２０２０はイメージセンサ２０１０とは独立したチップで具現されてもよい。例えば、プロセッサ２０２０はマルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されてもよい。本発明の他の実施例では、プロセッサ２０２０はイメージセンサ２０１０の一部として含まれ、１つのチップで具現されることもできる。

【0064】

プロセッサ２０２０は電子装置２０００の動作を実行及び制御することができる。本発明の実施例によると、プロセッサ２０２０はマイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）またはアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ、ＡＰ）であってもよい。プロセッサ２０２０はアドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０及び入出力装置２０５０に接続されて通信を行うことができる。

【0065】

記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）、及び全ての形態の不揮発性メモリ装置などを含んでもよい。

【0066】

メモリ装置２０４０は電子装置２０００の動作に必要なデータを保存することができる。例えば、メモリ装置２０４０は動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＴＡＭ）などの揮発性メモリ装置と、イーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）などの不揮発性メモリ装置と、を含んでもよい。プロセッサ２０２０はメモリ装置２０４０に保存された命令語セットを実行してイメージセンサ２０１０と出力装置２０６０を制御することができる。

【0067】

入力装置２０５０はキーボード、キーパッド、マウスなどの入力手段を含み、出力装置２０６０はプリンタ、ディスプレイなどの出力手段を含んでもよい。

【0068】

イメージセンサ２０１０は様々な形態のパッケージで具現されてもよい。例えば、イメージセンサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを利用して具現されてもよい。

【0069】

一方、電子装置２０００はイメージセンサ２０１０を利用する全てのコンピューティングシステムと解釈することができる。電子装置２０００はパッケージ化されたモジュール、部品などの形態で具現されてもよい。例えば、電子装置２０００はデジタルカメラ、モバイル機器、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ブラックボックス、ロボット、自律走行車両などで具現されてもよい。

【0070】

本発明の範囲は上記の詳細な説明ではなく、添付の特許請求の範囲によって示され、特許請求の範囲の意味と範囲及びその等価概念から導出される全ての変更または変形された形態は本発明の範囲に含まれると解釈すべきである。

【符号の説明】

【0071】

１００ 画像処理装置
１１０ 前処理部
１２０ 背景ボケ部
１３０ 画像合成部

【図1】

【図2】

【図3】

【図4】