特開 2024-80560 イメージにボケ効果を適用する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080560

(43)【公開日】2024-06-13

(54)【発明の名称】イメージにボケ効果を適用する方法及び装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240606BHJP

   G06T 5/20 20060101ALI20240606BHJP

【ＦＩ】

H04N23/60 500

G06T5/20

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023001635

(22)【出願日】2023-01-10

(31)【優先権主張番号】10-2022-0165871

(32)【優先日】2022-12-01

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】310024033

【氏名又は名称】エスケーハイニックス株式会社

【氏名又は名称原語表記】ＳＫ ｈｙｎｉｘ Ｉｎｃ．

【住所又は居所原語表記】２０９１， Ｇｙｅｏｎｇｃｈｕｎｇ－ｄａｅｒｏ，Ｂｕｂａｌ－ｅｕｂ，Ｉｃｈｅｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000796

【氏名又は名称】弁理士法人三枝国際特許事務所

(72)【発明者】

【氏名】足立 裕樹

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE04

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC03

5B057DC40

5C122FH09

5C122FH11

5C122FH14

5C122FH21

5C122FH22

5C122FH23

5C122HA75

5C122HA88

5C122HB01

5C122HB05

5C122HB06

5C122HB10

(57)【要約】

【課題】映像処理によりイメージにボケ効果を適用する。
【解決手段】イメージプロセッサは、距離情報または色情報のうち少なくとも１つに基づいてイメージに適用されるカーネルの形状を決め、カーネルを利用してイメージの少なくとも一部領域がブラー処理されたボケイメージを生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

距離情報または色情報のうち少なくとも１つに基づいてイメージに適用されるカーネルの形状を決めるカーネル決定部と、
上記カーネルを利用して上記イメージの少なくとも一部領域をブラー処理したボケイメージを出力するカーネル適用部と、を含むことを特徴とするイメージプロセッサ。

【請求項2】

上記カーネル決定部は、
上記イメージに対応する場面のうち焦点の設定された被写体との距離に基づいて決められる第１パラメータを利用して上記カーネルの形状を決めることを特徴とする請求項１に記載のイメージプロセッサ。

【請求項3】

上記カーネル決定部は、
上記イメージに含まれた画素データに対応する色に基づいて決められる第２パラメータを利用して上記カーネルの形状を決めることを特徴とする請求項１に記載のイメージプロセッサ。

【請求項4】

上記カーネル決定部は、
上記色の波長に基づいて上記第２パラメータを決めることを特徴とする請求項３に記載のイメージプロセッサ。

【請求項5】

上記カーネル決定部は、
上記イメージに含まれた画素データに対応する色に基づいて決められる第３パラメータに基づいて上記カーネルの外郭部のサイズを決めることを特徴とする請求項１に記載のイメージプロセッサ。

【請求項6】

上記カーネル決定部は、
上記イメージに対応する場面との距離に基づいて決められる第４パラメータを利用して上記カーネルの中央部のサイズを決めることを特徴とする請求項１に記載のイメージプロセッサ。

【請求項7】

上記カーネルは、
フレネル（Ｆｒｅｓｎｅｌ）カーネルであることを特徴とする請求項１に記載のイメージプロセッサ。

【請求項8】

上記イメージを顔に該当する顔領域とその他の領域に該当する背景領域とに区分する顔検出部をさらに含むことを特徴とする請求項１に記載のイメージプロセッサ。

【請求項9】

上記顔検出部は、
上記イメージに対する顔検出を行って顔検出領域を識別し、
上記顔検出領域に含まれた画素のうち画素間の色差が閾値未満である少なくとも一部の画素を含む上記顔領域を決めることを特徴とする請求項８に記載のイメージプロセッサ。

【請求項10】

上記カーネル適用部は、
上記カーネルを利用して上記背景領域をブラー処理して上記ボケイメージを生成することを特徴とする請求項８に記載のイメージプロセッサ。

【請求項11】

撮影される場面の距離情報を取得する距離センサと、
上記場面のイメージを取得するイメージセンサと、
上記距離情報及び上記イメージの色情報に基づいて上記イメージに適用されるカーネルの形状を決め、
上記カーネルを利用して上記イメージの少なくとも一部領域をブラー処理したボケイメージを生成し、上記生成されたボケイメージを出力するイメージプロセッサと、を含むことを特徴とするイメージ処理装置。

【請求項12】

上記イメージプロセッサは、
上記場面のうち焦点の設定された被写体との距離に基づいて決められる第１パラメータを利用して上記カーネルの形状を決めることを特徴とする請求項１１に記載のイメージ処理装置。

【請求項13】

上記イメージプロセッサは、
上記イメージに含まれた画素データに対応する色に基づいて決められる第２パラメータを利用して上記カーネルの形状を決めることを特徴とする請求項１１に記載のイメージ処理装置。

【請求項14】

上記イメージプロセッサは、
上記イメージに含まれた画素データに対応する色に基づいて決められる第３パラメータに基づいて上記カーネルの外郭部のサイズを決めることを特徴とする請求項１１に記載のイメージ処理装置。

【請求項15】

上記カーネルは、
フレネル（Ｆｒｅｓｎｅｌ）カーネルであることを特徴とする請求項１１に記載のイメージ処理装置。

【請求項16】

距離センサを介して撮影される場面の距離情報を取得する段階と、
イメージセンサを介して上記場面のイメージを取得する段階と、
上記距離情報及び上記イメージの色情報に基づいて上記イメージに適用されるカーネルの形状を決める段階と、
上記決められたカーネルを利用して上記イメージの少なくとも一部領域がブラー処理されたボケイメージを生成する段階と、を含むことを特徴とするイメージ処理方法。

【請求項17】

上記カーネルの形状を決める段階は、
上記場面のうち焦点の設定された被写体との距離に基づいて決められる第１パラメータを利用して上記カーネルの形状を決める段階を含むことを特徴とする請求項１６に記載のイメージ処理方法。

【請求項18】

上記カーネルの形状を決める段階は、
上記イメージに含まれた画素データに対応する色に基づいて決められる第２パラメータを利用して上記カーネルの形状を決める段階を含むことを特徴とする請求項１６に記載のイメージ処理方法。

【請求項19】

上記イメージに含まれた画素データに対応する色に基づいて決められる第３パラメータに基づいて上記カーネルの外郭部のサイズを決める段階をさらに含むことを特徴とする請求項１６に記載のイメージ処理方法。

【請求項20】

上記場面との距離に基づいて決められる第４パラメータを利用して上記カーネルの中央部のサイズを決める段階をさらに含むことを特徴とする請求項１６に記載のイメージ処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像処理によりイメージにボケ効果を適用する技術に関する。

【背景技術】

【0002】

ＤＳＬＲなどのカメラは焦点深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）を調整して主な被写体以外の背景をぼかすことで、主な被写体を目立たせるアウトフォーカス（ｏｕｔ ｆｏｃｕｓ）という撮影手法を利用する。ただし、最近ではモバイル装置などに搭載されるカメラモジュールが小型化するに伴って焦点深度の調整が難しくなり、電子装置は撮影されたイメージに対する映像処理によりアウトフォーカスイメージと類似するイメージを取得している。

【0003】

電子装置は撮影されたイメージに対する映像処理としてボケ（ｂｏｋｅｈ）効果を適用する。電子装置は撮影されたイメージのうち焦点が設定された主な被写体は鮮明に保持し、主な被写体以外の背景はブラー（ｂｌｕｒ）処理してボケ効果が適用されたイメージ（以下、ボケイメージ）を生成する。例えば、電子装置はイメージのうち背景領域に対して指定されたカーネル（ｋｅｒｎｅｌ）を通じて畳み込み演算（ｃｏｎｖｏｌｕｔｉｏｎ）を行うことで、背景をブラー処理することができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子装置は映像処理によりボケ効果を適用するために、通常、ガウスカーネル（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）で畳み込み演算を行う。ただし、レンズの回折によって実際のレンズを通じたＰＳＦ（ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）は、ガウス関数（Ｇａｕｓｓｉａｎ ｆｕｎｃｔｉｏｎ）と異なる分布を有するため、ガウスカーネルを利用したボケ効果は実際のレンズを用いて撮影されたアウトフォーカスイメージとは違いがある。

【課題を解決するための手段】

【0005】

本開示の実施例によるイメージプロセッサは、距離情報または色情報のうち少なくとも１つに基づいてイメージに適用されるカーネルの形状を決めるカーネル決定部と、上記カーネルを利用して上記イメージの少なくとも一部領域をブラー処理したボケイメージを出力するカーネル適用部と、を含むことができる。

【0006】

本開示の実施例によるイメージ処理装置は、撮影される場面の距離情報を取得する距離センサと、上記場面のイメージを取得するイメージセンサと、上記距離情報及び上記イメージの色情報に基づいて上記イメージに適用されるカーネルの形状を決め、上記カーネルを利用して上記イメージの少なくとも一部領域がブラー処理されたボケイメージを生成するイメージプロセッサと、を含むことができる。

【0007】

本開示の実施例によるイメージ処理方法は、距離センサを介して撮影される場面の距離情報を取得する段階と、イメージセンサを介して上記場面のイメージを取得する段階と、上記距離情報及び上記イメージの色情報に基づいて上記イメージに適用されるカーネルの形状を決める段階と、上記決められたカーネルを利用して上記イメージの少なくとも一部領域がブラー処理されたボケイメージを生成する段階と、を含むことができる。

【発明の効果】

【0008】

本開示によると、電子装置はボケ効果を適用することによって実際のレンズの回折を再現することができるため、実際のレンズを用いて撮影されたアウトフォーカスイメージとさらに類似するボケイメージを取得することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施例による装置を説明するための図である。

【図2】本発明の実施例によるイメージセンサを説明するための図である。

【図3】本発明の実施例による装置に含まれる構成を説明するための図である。

【図4】本発明の実施例によるフレネルカーネル（Ｆｒｅｓｎｅｌ ｋｅｒｎｅｌ）を説明するための図である。

【図5】本発明の実施例によるフレネルカーネルの断面を説明するための図である。

【図6】本発明の実施例によって生成されたボケイメージの例示を説明するための図である。

【図7】本発明の実施例によって顔領域と背景領域を区分する方法を説明するための図である。

【図8】本発明の実施例によってボケイメージを生成する方法の流れを説明するための図である。

【発明を実施するための形態】

【0010】

本明細書または出願に開示されている本発明の概念による実施例の特定の構造的または機能的説明は、本発明の概念による実施例を説明するためだけに例示されており、本発明の概念による実施例は様々な形態で実施されてもよく、本明細書または出願に説明されている実施例に限定されると解釈すべきではない。

【0011】

本開示において、「ＡまたはＢ」、「ＡまたはＢのうち少なくとも１つ」、「Ａ及びＢのうち少なくとも１つ」、「Ａ、ＢまたはＣ」、「Ａ、ＢまたはＣのうち少なくとも１つ」、及び「Ａ、Ｂ、及びＣのうち少なくとも１つ」などの表現のそれぞれは、その表現が該当する表現に羅列されている項目の何れか１つ、またはそれらのすべての可能な組み合わせを含むことができる。

【0012】

以下では、本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるほど詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

【0013】

図１は本発明の実施例による装置を説明するための図である。

【0014】

図１を参照すると、装置１０はイメージセンサ１００、イメージプロセッサ２００、及び距離センサ３００を含んでもよい。例えば、装置１０はデジタルカメラ、モバイル機器、スマートフォン、タブレットＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、または様々な目的のカメラを含む装置であってもよい。また、図１の装置１０は、他の電子装置内に実装される部品やモジュール（例えば、カメラモジュール）であってもよい。装置１０はイメージ処理装置と称することができる。

【0015】

イメージセンサ１００はＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサで具現されてもよい。イメージセンサ１００はレンズ（不図示）を介して入射した光に対するイメージデータを生成することができる。例えば、イメージセンサ１００はレンズを介して入射した被写体の光情報を電気的信号に変換してイメージプロセッサ２００に提供することができる。上記レンズは光学系を形成する少なくとも１つのレンズを含んでもよい。

【0016】

イメージセンサ１００は複数の画素を含んでもよい。イメージセンサ１００は複数の画素により撮影された場面に対応する複数の画素値ＤＰＸｓを生成することができる。イメージセンサ１００は上記生成された複数の画素値ＤＰＸｓをイメージプロセッサ２００に伝送することができる。即ち、イメージセンサ１００は複数の画素により取得したイメージデータをイメージプロセッサ２００に提供することができる。

【0017】

イメージプロセッサ２００はイメージセンサ１００から受信したイメージデータに対してイメージ処理を行うことができる。例えば、イメージプロセッサ２００は上記イメージデータに対して補間、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、色調補正、画質補正、またはサイズ調整のうち少なくとも１つを行うことができる。イメージプロセッサ２００は上記イメージ処理によって品質が改善されたイメージデータ、またはイメージ効果が付与されたイメージデータを取得することができる。

【0018】

距離センサ３００は外部物体との距離を測定することができる。例えば、距離センサ３００はＴＯＦ（ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ）センサであって、出力された変調光が外部物体によって反射された反射光を利用して外部物体の距離を識別することができる。装置１０は距離センサ３００を利用して撮影中の場面に含まれた少なくとも１つの客体の距離を識別し、各画素ごとの距離情報を含む深度イメージを生成することができる。他の例として、距離センサ３００はステレオビジョンセンサ（ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｓｅｎｓｏｒ）であり、２つのカメラを用いて撮影された場面間の視差（ｄｉｓｐａｒｉｔｙ）を利用して外部物体との距離を識別することができる。さらに他の例として、距離センサ３００は単眼イメージを介して深度を推定するディープラーニングモジュールであってもよい。単眼深度推定モジュールは１枚の２次元イメージから該当場面の深度を推定して外部物体との距離情報または距離に相応する情報を取得することができる。その他にも、距離センサ３００は外部物体との距離情報または距離に関する情報を取得することができるように多様に構成されてもよい。

【0019】

イメージプロセッサ２００は距離センサ３００から撮影される場面の距離情報を取得することができる。イメージプロセッサ２００は上記距離情報を利用してイメージセンサ１００から受信したイメージに対してボケ効果を適用することができる。ボケ効果を適用する方法については、図３～図５を参照して後述する。

【0020】

図１を参照すると、イメージプロセッサ２００はイメージセンサ１００とは独立したチップで具現されてもよい。この場合、イメージセンサ１００のチップとイメージプロセッサ２００のチップは１つのパッケージ、例えば、マルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されることができる。ただし、これに限定されず、本発明の他の実施例によると、イメージプロセッサ２００はイメージセンサ１００の一部として含まれて１つのチップで具現されてもよい。

【0021】

図２は本発明の実施例によるイメージセンサを説明するための図である。

【0022】

図２を参照すると、イメージセンサ１００は画素アレイ１１０、行デコーダ１２０、タイミング生成器１３０、及び信号変換器１４０を含んでもよい。また、イメージセンサ１００は出力バッファ１５０をさらに含んでもよい。

【0023】

画素アレイ１１０は行（ｒｏｗ）方向と列（ｃｏｌｕｍｎ）方向に配列された複数の画素を含んでもよい。それぞれの画素は該当画素に入射した光の強さに対応する画素信号ＶＰＸｓを生成することができる。イメージセンサ１００は画素アレイ１１０の行ごとに複数の画素信号ＶＰＸｓをリードアウトすることができる。複数の画素信号ＶＰＸｓはそれぞれアナログタイプの画素信号であってもよい。

【0024】

画素アレイ１１０はカラーフィルタアレイ１１１を含んでもよい。複数の画素のそれぞれは対応するカラーフィルタアレイ１１１を通過した入射光に相応する画素信号を出力することができる。

【0025】

カラーフィルタアレイ１１１は各画素に入射する光の特定波長（例えば、赤、緑、青）のみを通過させるカラーフィルタを含んでもよい。カラーフィルタアレイ１１１により、各画素の画素信号は特定波長の光の強さに対応する値を示すことができる。

【0026】

画素アレイ１１０は、カラーフィルタアレイ１１１の下部に形成された複数の光電変換素子（ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｃｏｎｖｅｒｓｉｏｎ ｅｌｅｍｅｎｔ）を含む光電変換層１１３を含んでもよい。複数の画素のそれぞれは光電変換層１１３を介して入射光に対応する光電荷を生成することができる。複数の画素は上記生成された光電荷を蓄積し、蓄積された光電荷に相応する画素信号ＶＰＸｓを生成することができる。

【0027】

光電変換層１１３はそれぞれの画素に対応する光電変換素子を含んでもよい。例えば、光電変換素子はフォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピン留めフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ）のうち少なくとも１つであってもよい。複数の画素は光電変換層１１３を介して各画素に入射した光に対応する光電荷を生成することができ、少なくとも１つのトランジスタを介して上記光電荷に対応する電気的信号を取得することができる。

【0028】

行デコーダ１２０はタイミング生成器１３０から出力されたアドレスと制御信号に応答して画素アレイ１１０において複数の画素が配列された複数の行のうち１つの行（ｒｏｗ）を選択することができる。イメージセンサ１００は行デコーダ１２０の制御に応じて画素アレイ１１０に含まれた複数の画素のうち特定行に含まれた行の画素をリードアウトすることができる。

【0029】

信号変換器１４０はアナログタイプの複数の画素信号ＶＰＸｓをデジタルタイプの複数の画素値ＤＰＸｓに変換することができる。信号変換器１４０はタイミング生成器１３０から出力された制御信号に応答して画素アレイ１１０から出力された信号のそれぞれに対してＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）を行い、ＣＤＳした信号のそれぞれをアナログ－デジタル変換してデジタル信号のそれぞれを出力することができる。デジタル信号のそれぞれは対応するカラーフィルタアレイ１１１を通過した入射光の強さに対応する信号であってもよい。

【0030】

信号変換器１４０はＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）ブロックと、ＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）ブロックと、を含んでもよい。ＣＤＳブロックは、画素アレイ１１０に含まれた列ラインから提供される基準信号と映像信号のセットを順にサンプリング及びホールディング（ｓａｍｐｌｉｎｇ ａｎｄ ｈｏｌｄｉｎｇ）することができる。即ち、ＣＤＳブロックは、列のそれぞれに対応する基準信号と映像信号のレベル差を利用してリードアウトノイズが減少した信号を取得することができる。ＡＤＣブロックは、ＣＤＳブロックから出力されるそれぞれの列に対するアナログ信号をデジタル信号に変換して画素データを出力することができる。そのために、ＡＤＣブロックは各列に対応する比較器及びカウンタを含んでもよい。

【0031】

出力バッファ１５０は信号変換器１４０から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。具体的には、出力バッファ１５０は信号変換器１４０から提供されるそれぞれの列単位の画素データをラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は信号変換器１４０から出力される画素データを一時保存し、タイミング生成器１３０の制御に応じて画素データを順に出力することができる。本発明の実施例によって、出力バッファ１５０は省略されてもよい。

【0032】

図３は本発明の実施例による装置に含まれる構成を説明するための図である。

【0033】

図３を参照すると、装置１０は、イメージセンサ１００、距離センサ３００、イメージプロセッサ２００、及びディスプレイ３９０を含んでもよい。イメージプロセッサ２００は、顔検出器２１０、マスク生成器２２０、及びフレネルカーネル演算器２３０を含んでもよい。

【0034】

イメージセンサ１００は画素アレイ１１０を介してイメージＩを取得することができ、取得したイメージＩをイメージプロセッサ２００に提供することができる。上記イメージＩは、図１及び図２で説明した複数の画素値ＤＰＸｓを含むイメージデータを示すことができる。

【0035】

距離センサ３００は撮影される場面に対する距離情報ｄを取得することができ、取得した距離情報ｄをイメージプロセッサ２００に提供することができる。本開示における距離情報ｄは、イメージＩに含まれた少なくとも１つの被写体と装置１０の間の距離に対する情報を示すことができる。

【0036】

イメージプロセッサ２００は、イメージセンサ１００から取得したイメージＩ及び距離センサ３００から取得した距離情報ｄに基づいてボケイメージＩ’を生成することができる。イメージプロセッサ２００はフレネルカーネル演算器２３０を介してイメージＩにボケ効果を適用することができ、ボケ効果が適用されたボケイメージＩ’を取得することができる。フレネルカーネル演算器２３０はイメージＩに対してフレネルカーネルＦを利用した畳み込み演算を行ってボケイメージＩ’を生成することができる。フレネルカーネルＦに対しては図４及び図５を参照して後述する。

【0037】

フレネルカーネル演算器２３０はカーネル決定部２３１及びカーネル適用部２３２を含んでもよい。イメージプロセッサ２００はイメージＩに適用されるカーネルを決めるカーネル決定部２３１と、上記カーネルを利用してイメージＩの少なくとも一部領域をブラー処理してボケイメージＩ’を生成及び出力するカーネル適用部２３２と、を含んでもよい。例えば、カーネル決定部２３１は、イメージＩの色情報または距離センサ３００から取得した距離情報ｄのうち少なくとも１つを用いてフレネルカーネルＦの形状、外郭部のサイズ、または中央部のサイズのうち少なくとも１つを決めることができる。また、カーネル適用部２３２はカーネル決定部２３１で決められたカーネルをイメージＩに適用してボケイメージＩ’を生成することができる。

【0038】

イメージプロセッサ２００は顔検出器２１０を介してイメージＩに含まれた顔を検出することができる。顔検出器２１０はイメージＩに基づいて顔の位置を検出することができる。例えば、顔検出器２１０はイメージＩに対してＨａａｒ機能またはＣａｓｃａｄｅ分類器を利用して顔に該当する領域を検出することができる。本開示における顔検出器２１０は顔検出部と称することもできる。

【0039】

イメージプロセッサ２００はマスク生成器２２０を介してイメージＩを顔に該当する顔領域とその他の領域に該当する背景領域に分けることができる。例えば、マスク生成器２２０は、顔検出器２１０を介して検出された顔の位置に基づいて顔領域を決めることができる。本開示において、顔領域はマスクｍと称し、マスク生成器２２０はマスク生成部と称することもできる。

【0040】

ディスプレイ３９０はイメージプロセッサ２００から受信したボケイメージＩ’を表示することができる。装置１０はディスプレイ３９０を介してボケイメージＩ’を表示及び／または出力することができる。これにより、装置１０はディスプレイ３９０を利用してボケイメージＩ’をユーザに提供することができる。ただし、装置１０に含まれたディスプレイ３９０に対する説明は例示的なものであり、本開示の権利範囲を限定するものではない。例えば、図３では、ボケイメージＩ’がディスプレイ３９０に伝達されることが示されているが、イメージプロセッサ２００は、ボケイメージＩ’をディスプレイ３９０の他にもメモリまたはＡＰ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）などの多様な構成に提供することができる。

【0041】

図４は本発明の実施例によるフレネルカーネル（Ｆｒｅｓｎｅｌ ｋｅｒｎｅｌ）を説明するための図である。図５は本発明の実施例によるフレネルカーネルの断面を説明するための図である。

【0042】

本開示によると、装置１０はガウスカーネル（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）と区別されるフレネルカーネル（Ｆｒｅｓｎｅｌ ｋｅｒｎｅｌ）Ｆを利用してボケイメージＩ’を生成することができる。イメージプロセッサ２００はカーネル決定部２３１を介してフレネルカーネルＦを決め、カーネル適用部２３２を介してイメージＩをフレネルカーネルＦで畳み込み演算してボケイメージＩ’を生成することができる。図４のグラフ４００はカーネル決定部２３１で決められたフレネルカーネルＦの一例を示す。図５のグラフ５００は図４に示すフレネルカーネルＦの断面を示す。

【0043】

本開示のフレネルカーネルＦは数式１によって定義されることができる。

【0044】

【数1】

【0045】

数式１において、Ｃ_（ｘ）及びＳ_（ｘ）はフレネル積分関数であり、数式２により定義されることができる。本開示におけるカーネルＦ_ｉ，ｊはフレネル積分関数を利用して定義された関数であるため、フレネルカーネルと称することができる。

【0046】

【数2】

【0047】

数式１を参照すると、フレネルカーネルＦ_ｉ，ｊは、第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０を含んでもよい。イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０を決め、決められたパラメータに基づいてフレネルカーネルＦ_ｉ，ｊを決めることができる。イメージプロセッサ２００（例えば、カーネル適用部２３２）は、上記決められたフレネルカーネルＦ_ｉ，ｊを利用してボケイメージＩ’を生成することができる。

【0048】

第１パラメータｚは撮影された場面のうち焦点の設定された被写体との距離に基づいて決められたパラメータであってもよい。イメージプロセッサ２００は焦点の設定された被写体との距離（または焦点距離）に基づいて第１パラメータｚを決めることができる。イメージプロセッサ２００は焦点の設定された位置までの距離をｚ_０とすると、ｚ_０を１０ｍｍに規格化して第１パラメータｚを決めることができる。即ち、第１パラメータｚは、ｚ＝ｚ_０［ｍｍ］／１０［ｍｍ］という数式によって計算されることができる。例えば、焦点の設定された被写体と装置１０との間の距離が５００ｍｍである場合、イメージプロセッサ２００は第１パラメータｚ＝５００／１０＝５０であると決めることができる。一実施例において、イメージプロセッサ２００は距離センサ３００から撮影される場面の距離情報を取得し、上記距離情報に基づいて第１パラメータｚを決めることができる。

【0049】

第２パラメータλはイメージに含まれた画素データに対応する色に基づいて決められるパラメータであってもよい。例えば、第２パラメータλはフレネルカーネルＦ_ｉ，ｊが適用される画素の色に基づいて決められたパラメータであってもよい。イメージプロセッサ２００はボケ効果が適用される画素の色の波長に基づいて第２パラメータλを決めることができる。イメージプロセッサ２００はブラー対象となる画素の色の波長をλ_０とすると、λ_０を１０００ｎｍに規格化して第２パラメータλを決めることができる。即ち、第２パラメータλはλ＝λ_０［ｎｍ］／１０００［ｎｍ］という数式によって計算されることができる。例えば、フレネルカーネルを適用する画素の色が緑（Ｇ）である場合、λ_０＝５５０ｎｍであるため、イメージプロセッサ２００は第２パラメータλ＝５５０／１０００＝０．５５と決めることができる。

【0050】

第３パラメータｅはイメージに含まれた画素データに対応する色に基づいて決められるパラメータであってもよい。例えば、第３パラメータｅはフレネルカーネルＦ_ｉ，ｊが適用される画素の色に基づいて決められたパラメータであってもよい。イメージプロセッサ２００はボケ効果が適用される画素の色の波長に基づいて第３パラメータｅを決めることができる。イメージプロセッサ２００はブラー対象となる画素の色の波長の４倍を１０００ｎｍで割った値が第４パラメータｅであると決めることができる。例えば、フレネルカーネルを適用する画素の色が緑である場合、イメージプロセッサ２００は第３パラメータｅ＝４×５５０／１０００≒２と決めることができる。

【0051】

第４パラメータｒ_０は撮影された場面との距離に基づいて決められたパラメータであってもよい。例えば、装置１０が撮影したイメージの中には焦点の設定された第１被写体及び焦点の設定されていない第２被写体が含まれていることがある。第１被写体には焦点が設定されているため、第１被写体と装置１０との距離は装置１０が焦点を設定した距離（または焦点距離）と一致することができる。イメージプロセッサ２００は第２被写体に対応するイメージ領域にフレネルカーネルＦ_ｉ，ｊを適用する場合、第１被写体と第２被写体との距離差に基づいてｒ_０を決めることができる。即ち、イメージプロセッサ２００はボケ効果の適用対象である被写体と焦点距離の間の距離ｄ_０に基づいてｒ_０を計算することができる。例えば、イメージプロセッサ２００は、被写体と焦点距離の間の距離がｄ_０の場合、ｒ_０＝ｄ_０［ｍｍ］／１０［ｍｍ］という数式によって第４パラメータｒ_０を決めることができる。一実施例では、イメージプロセッサ２００は距離センサ３００から撮影される場面の距離情報を取得し、上記距離情報に基づいて第４パラメータｒ_０を決めることができる。

【0052】

イメージプロセッサ２００（例えば、カーネル適用部２３２）は、数式３を通じてイメージＩ_ｉｊに基づいてボケイメージＩ’_ｘ，ｙを取得することができる。イメージプロセッサ２００（例えば、カーネル適用部２３２）はボケ効果が適用されるそれぞれの画素位置ごとにフレネルカーネルＦ_ｉ，ｊを適用してボケイメージＩ’_ｘ，ｙを取得することができる。

【0053】

【数3】

【0054】

イメージプロセッサ２００は数式４を通じてボケ強度を調整することができる。例えば、イメージプロセッサ２００はボケイメージＩ’_ｘ，ｙに対して重み付けｗ_ｋをかけてボケ強度が調整されたイメージＩ’’_ｘ，ｙを取得することができる。

【0055】

【数4】

【0056】

数式１及び図５のグラフ５００をともに参照すると、フレネルカーネルＦ_ｉ，ｊは、第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０によって決められてもよい。例えば、イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０に基づいてフレネルカーネルＦ_ｉ，ｊのサイズ及び形状を決めることができる。

【0057】

イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第１パラメータｚ及び第２パラメータλに基づいてフレネルカーネルＦ_ｉ，ｊの形状を決めることができる。イメージプロセッサ２００はフレネルカーネルの適用対象である画素（または、ボケ効果が適用される画素、ブラー処理される画素）に応じて決められる第１パラメータｚ及び第２パラメータλに基づいて、該当画素に適用されるフレネルカーネルＦ_ｉ，ｊの形状を決めることができる。

【0058】

例えば、イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第１パラメータｚ及び第２パラメータλに基づいてフレネルカーネルＦ_ｉ，ｊの突起部５０１の形状を決めることができる。イメージプロセッサ２００は、第１パラメータｚまたは第２パラメータλのうち少なくとも１つのパラメータを利用してフレネルカーネルＦ_ｉ，ｊの突起部５０１の形状を決めることができる。例えば、イメージプロセッサ２００は、第１パラメータｚまたは第２パラメータλに応じて突起部５０１の形状、位置、高さ、段差、または数のうち少なくとも１つを決めることができる。イメージプロセッサ２００は、第１パラメータｚまたは第２パラメータλのうち少なくとも１つを通じてフレネルカーネルＦ_ｉ，ｊの形状を調整／制御することができる。

【0059】

イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第３パラメータｅに基づいてフレネルカーネルＦ_ｉ，ｊの外郭部のサイズを決めることができる。図５を参照すると、イメージプロセッサ２００は、第３パラメータｅに応じてフレネルカーネルＦ_ｉ，ｊのエンベロープ（ｅｎｖｅｌｏｐｅ）部分のサイズを決めることができる。イメージプロセッサ２００は、第３パラメータｅが大きいほどカーネルの外郭部のサイズを増加させることができ、第３パラメータｅが小さいほどカーネルの外郭部のサイズを減少させることができる。イメージプロセッサ２００は第３パラメータｅに応じてカーネルのエンベロープ部分の拡大を制御することができる。

【0060】

イメージプロセッサ２００（例えば、カーネル決定部２３１）は、第４パラメータｒ_０に基づいてフレネルカーネルＦ_ｉ，ｊの中央部のサイズを決めることができる。図５を参照すると、イメージプロセッサ２００は、第４パラメータｒ_０に応じてフレネルカーネルＦ_ｉ，ｊの中央部の直径を決めることができる。イメージプロセッサ２００は、第４パラメータｒ_０が大きいほどカーネルの中央部分のサイズを増加させることができ、第４パラメータｒ_０が小さいほどカーネルの中央部分のサイズを減少させることができる。

【0061】

図５を参照すると、カーネルのサイズ（またはカーネルの直径）は第４パラメータｒ_０と第３パラメータｅの和であるｒ_０＋ｅであってもよい。

【0062】

図４及び図５で説明した内容によると、フレネルカーネルＦ_ｉ，ｊは実際のレンズの回折効果を反映して定義されたカーネルであるため、フレネルカーネルＦ_ｉ，ｊを利用して畳み込み演算されたボケイメージＩ’は実際のレンズの回折が再現されたイメージであることができる。装置１０はフレネルカーネルＦ_ｉ，ｊを通じたボケ効果を適用することによって実際のレンズの回折を再現することができる。これにより、装置１０は、実際のレンズを介してアウトフォーカスイメージを撮影することは困難であるが、アウトフォーカスイメージと類似するボケイメージＩ’を取得することができる。

【0063】

図６は本発明の実施例によって生成されたボケイメージの例示を説明するための図である。

【0064】

図６を参照すると、イメージ６１０は図３のイメージＩの一部領域に対応し、ボケイメージ６２０は図３のボケイメージＩ’の一部領域に対応することができる。

【0065】

イメージプロセッサ２００はイメージセンサ１００からイメージＩを取得し、距離センサ３００から距離情報を取得することができる。上記イメージＩには特定画素の色に対する色情報が含まれてもよい。イメージプロセッサ２００は距離情報及び色情報に基づいてイメージＩに適用されるカーネルＦを決めることができる。例えば、イメージプロセッサ２００は距離情報及び色情報に基づいてカーネルＦの第１パラメータｚ及び第２パラメータλを決めることができ、第１パラメータｚ及び第２パラメータλに基づいてカーネルＦの形状を決めることができる。他の例として、イメージプロセッサ２００は距離情報及び色情報に基づいてカーネルＦの第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０を決めることができ、第１パラメータｚ、第２パラメータλ、第３パラメータｅ、及び第４パラメータｒ_０に基づいてカーネルＦの形状及びサイズを決めることができる。イメージプロセッサ２００は上記決められたカーネルＦを利用してイメージＩの一部領域（例えば、背景領域）がブラー処理されたボケイメージＩ’を生成することができる。

【0066】

図６を参照すると、イメージ６１０及びボケイメージ６２０は、図３のボケイメージＩ’のうちブラー処理された上記一部領域（例えば、背景領域）に該当することができる。イメージプロセッサ２００はカーネルＦを利用してイメージ６１０がブラー処理されたボケイメージ６２０を取得することができる。イメージプロセッサ２００は撮影された場面のうち背景領域に該当するイメージ６１０にカーネルＦを適用してブラー処理された背景領域に該当するボケイメージ６２０を取得することができる。

【0067】

フレネルカーネルＦを利用して生成されたボケイメージ６２０は、実際のレンズによる回折効果は再現されたイメージであってもよい。従って、既存のガウスカーネルを利用して生成されたボケイメージと比較して、本開示によるボケイメージ６２０は焦点深度の調整によって撮影されたアウトフォーカスイメージとより一層類似することができる。

【0068】

図７は本発明の実施例によって顔領域及び背景領域を区分する方法を説明するための図である。

【0069】

図７を参照すると、イメージ７１０は、イメージプロセッサ２００がイメージセンサ１００から取得したイメージＩの一例である。イメージプロセッサ２００はイメージセンサ１００から主な被写体が人物であるイメージ７１０を取得することができる。

【0070】

イメージプロセッサ２００はイメージ７１０に対して顔検出（ｆａｃｅ ｄｅｔｅｃｔｉｏｎ）を行うことができる。例えば、イメージプロセッサ２００はイメージ７１０に対してＨａａｒ機能及び／またはＣａｓｃａｄｅ分類器を利用した顔検出を行うことができる。

【0071】

イメージプロセッサ２００（例えば、顔検出器２１０）は、イメージ７１０に対する顔検出を行って顔検出領域７２０を識別することができる。イメージプロセッサ２００（例えば、顔検出器２１０）はイメージ７１０において顔が含まれていると判断される位置を顔検出領域７２０と決めることができる。

【0072】

イメージプロセッサ２００（例えば、マスク生成器２２０）は顔検出領域７２０に含まれた画素のうち画素間の色の差が閾値未満である少なくとも一部の画素を含む顔領域７３１を決めることができる。例えば、イメージプロセッサ２００は顔検出領域７２０に含まれた各画素の色値（例えば、ＲＧＢ値）を３次元ベクトルと見なすことができ、３次元ベクトルとみなされた上記色値を利用して周辺画素との規格化されたコサイン類似度を計算することができる。イメージプロセッサ２００は、装置１０に予め設定された分散値または任意で設定された分散値を利用して上記コサイン類似度を判定するための閾値を算出することができる。上記閾値は輝度の影響を受けない値であってもよい。イメージプロセッサ２００は上記色値が上記閾値以下の領域は同じ色と判断することができ、上記閾値を超える領域は異なる色であると判断することができる。イメージプロセッサ２００（例えば、マスク生成器２２０）は顔検出領域７２０に含まれた画素のうち同じ色と判断される領域を顔領域７３１（またはマスクｍ）と決めることができる。即ち、イメージプロセッサ２００は上記閾値を利用して顔検出領域７２０に含まれた画素を顔領域７３１に含まれた画素とその他の画素とに区分及び／または分類することができる。

【0073】

イメージプロセッサ２００（例えば、マスク生成器２２０）は、上記決められた顔領域７３１ではない残りの領域を背景領域７３２と決めることができる。即ち、イメージプロセッサ２００はイメージ７１０を顔に該当する顔領域７３１とその他の領域に該当する背景領域７３２とに区分することができる。

【0074】

イメージプロセッサ２００（例えば、カーネル適用部２３２）はカーネルＦを利用してイメージ７１０のうち背景領域７３２をブラー処理することができる。イメージプロセッサ２００（例えば、カーネル適用部２３２）はイメージ７１０のうち主な被写体に該当する顔領域７３１にはカーネルＦを適用せず、その他の背景領域７３２にカーネルＦを適用することができる。

【0075】

図８は本発明の実施例によってボケイメージを生成する方法の流れを説明するための図である。

【0076】

段階Ｓ８１０では、装置１０は距離センサ３００を介して撮影される場面の距離情報ｄを取得することができる。上記距離情報ｄは撮影される場面に含まれるそれぞれの被写体と装置１０との距離に対する情報を含んでもよい。

【0077】

段階Ｓ８２０では、装置１０はイメージセンサ１００を介して上記場面のイメージＩを取得することができる。上記イメージＩは焦点の設定された被写体（例えば、顔）が鮮明に現れ、焦点が設定されていない背景領域も比較的鮮明に現れるイメージであってもよい。

【0078】

段階Ｓ８３０では、装置１０は上記距離情報ｄ及び上記イメージＩの色情報に基づいてイメージに適用されるカーネルＦの形状を決めることができる。上記色情報はカーネルＦが適用される画素の色の波長を示すことができる。例えば、装置１０は距離情報ｄに基づいて焦点の設定された被写体との距離を識別することができ、焦点の設定された被写体との距離を利用して第１パラメータｚを決めることができる。装置１０は、第１パラメータｚに基づいてカーネルＦの形状を決めることができる。他の例として、装置１０は色情報に基づいて上記イメージＩに含まれた画素データの色を識別することができ、上記色の波長を利用して第２パラメータλを決めることができる。装置１０は第２パラメータλに基づいてカーネルＦの形状を決めることができる。

【0079】

段階Ｓ８４０では、装置１０は上記決められたカーネルを利用してイメージＩの少なくとも一部領域がブラー処理されたボケイメージＩ’を生成することができる。装置１０は上記イメージＩのうち主な被写体ではない背景領域がブラー処理されたボケイメージＩ’を生成することができる。例えば、装置１０は図７で識別された顔領域７３１にはカーネルＦを適用せず、背景領域７３２にはカーネルＦを適用することができる。これにより、装置１０はイメージ７１０のうち背景領域７３２がブラー処理されたボケイメージを取得することができる。

【符号の説明】

【0080】

１０ 装置
１００ イメージセンサ
２００ イメージプロセッサ
２１０ 顔検出器
２２０ マスク生成器
２３０ フレネルカーネル演算器
２３１ カーネル決定部
２３２ カーネル適用部
３００ 距離センサ
３９０ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】