特許 6903816 画像処理方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6903816

(24)【登録日】2021年6月25日

(45)【発行日】2021年7月14日

(54)【発明の名称】画像処理方法および装置

(51)【国際特許分類】

   H04N 5/232 20060101AFI20210701BHJP

   G03B 15/00 20210101ALI20210701BHJP

   G06T 5/00 20060101ALI20210701BHJP

   G06T 5/50 20060101ALI20210701BHJP

   H04N 5/225 20060101ALI20210701BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 H

   G06T5/00 710

   G06T5/50

   H04N5/225 800

【請求項の数】13

【全頁数】23

(21)【出願番号】特願2020-503756(P2020-503756)

(86)(22)【出願日】2018年10月31日

(65)【公表番号】特表2020-528702(P2020-528702A)

(43)【公表日】2020年9月24日

(86)【国際出願番号】CN2018113095

(87)【国際公開番号】WO2019085951

(87)【国際公開日】20190509

【審査請求日】2020年1月23日

(31)【優先権主張番号】201711060087.1

(32)【優先日】2017年11月1日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】オウヤン、ダン

(72)【発明者】

【氏名】タン、グオフイ

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０１４−０１４０７６（ＪＰ，Ａ）

【文献】 特開２００６−１７４０６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ ５／５０

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

画像処理方法であって、
第１のカメラを制御して複数の第１の画像を取り込み、第２のカメラを制御して複数の第２の画像を取り込むこと（１０１）と、
前記複数の第１の画像から第１の基準画像を取得し、前記複数の第２の画像から第２の基準画像を取得すること（１０２）であって、前記第２の基準画像および前記第１の基準画像が関連付けて取り込まれ、１対の画像を形成すること（１０２）と、
第１のスレッドにより前記複数の第１の画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成し、前記合成およびノイズ低減された画像を予め設定された画像処理方策に従って処理して目標画像を生成し、第２のスレッドにより前記第１の基準画像および前記第２の基準画像に基づいて被写界深度情報を取得すること（１０３）と、
前記被写界深度情報に従って前記目標画像の背景領域をぼかすこと（１０４）と
を含み、
前記複数の第１の画像から前記第１の基準画像を取得し、前記複数の第２の画像から前記第２の基準画像を取得すること（１０２）が、
前記複数の第１の画像から第１の画像のセットを選択することであって、前記第１の画像のセットの各第１の画像が所定の鮮明度より大きい鮮明度を有することと、
前記複数の第２の画像から第２の画像のセットを選択することであって、前記第２の画像のセットの各第２の画像が前記第１の画像のセットの当該第１の画像とともに１対の画像を形成することと、
前記第１の画像のセットから前記第１の基準画像を選択し、前記第２の画像のセットから前記第２の基準画像を選択することと
を含む、画像処理方法。

【請求項2】

前記第１のカメラを制御して前記複数の第１の画像を取り込み、前記第２のカメラを制御して前記複数の第２の画像を取り込むこと（１０１）が、
撮影環境の明るさを検出することと、
前記明るさが所定の閾値未満であることを検出したのに応答して、前記第１のカメラを制御して前記複数の第１の画像を取り込み、前記第２のカメラを制御して前記複数の第２の画像を取り込むことと
を含む、請求項１に記載の方法。

【請求項3】

前記第１のスレッドにより前記複数の第１の画像に対して前記合成およびノイズ低減処理を実行して前記合成およびノイズ低減された画像を生成すること（１０３）が、
前記複数の第１の画像内の同じ位置に対応する画素の値を読み出すことと、
前記値の平均値を計算することと、
前記平均値を、前記合成およびノイズ低減された画像内の同じ位置に対応する前記画素の値として決定することと
を含む、請求項１〜２のいずれかに記載の方法。

【請求項4】

前記被写界深度情報に従って前記目標画像の背景領域をぼかすこと（１０４）が、
前景領域の第１の被写界深度および前記背景領域の第２の被写界深度を取得することと、
前記第１の被写界深度および前記第２の被写界深度に応じてぼかし度を生成することと、
前記ぼかし度に応じて前記目標画像の前記背景領域をぼかすことと
を含む、請求項１〜３のいずれかに記載の方法。

【請求項5】

前記前景領域の前記第１の被写界深度および前記背景領域の前記第２の被写界深度を取得することが、
取込みパラメータを取得することと、式および前記取込みパラメータに従って前記前景領域の前記第１の被写界深度および前記背景領域の前記第２の被写界深度を決定することと
を含む、
または、
前記第１のカメラおよび前記第２のカメラによって取得された現在の取込み済み画像のデータに従って焦点領域を越える撮像領域の被写界深度マップを取得することと、前記被写界深度マップに従って前記前景領域の前記第１の被写界深度および前記背景領域の前記第２の被写界深度を決定することと
を含む、請求項４に記載の方法。

【請求項6】

前記ぼかし度に応じて前記目標画像の前記背景領域をぼかすことが、
前記ぼかし度および画素の被写界深度に応じて前記目標画像の前記背景領域内の各画素のぼかし係数を取得することと、
各画素の前記ぼかし係数に応じて前記目標画像の前記背景領域をぼかすことと
を含む、請求項５に記載の方法。

【請求項7】

前記第１のスレッドによって実行される前記合成およびノイズ低減処理の第１の時間の長さを取得し、前記第２のスレッドにより前記被写界深度情報を取得する第２の時間の長さを取得すること（２０１）と、
前記第１の時間の長さと前記第２の時間の長さとの差に応じて前記画像処理方策を設定すること（２０２）と
をさらに含む、請求項１〜６のいずれかに記載の方法。

【請求項8】

前記明るさが前記所定の閾値以上であることを検出したのに応答して、前記第１のカメラを制御して第１の画像フレームを取り込み、前記第２のカメラを制御して第２の画像フレームを取り込むこと（３０１）と、
前記第１のスレッドにより前記予め設定された画像処理方策に従って前記第１の画像フレームを処理して前記目標画像を生成し、前記第２のスレッドにより前記第１の画像フレームおよび前記第２の画像フレームに基づいて前記被写界深度情報を取得すること（３０２）と、
前記被写界深度情報に従って前記目標画像の前記背景領域をぼかすこと（３０３）と
をさらに含む、請求項２に記載の方法。

【請求項9】

前記第２のスレッドにより前記被写界深度情報を取得する時間の長さを取得することと、
前記第２のスレッドにより前記被写界深度情報を取得する時間の長さに応じて前記画像処理方策を設定することと
をさらに含む、請求項８に記載の方法。

【請求項10】

メモリとプロセッサと前記メモリ上に保存され前記プロセッサ上で実行可能なコンピュータプログラムとを備えるコンピュータ装置であって、前記プロセッサが前記コンピュータプログラムを実行するときに、前記プロセッサが請求項１〜９のいずれかに記載の画像処理方法を実行させられる、コンピュータ装置。

【請求項11】

画像処理方法であって、
第１のカメラを制御して第１の画像を取り込み、第２のカメラを制御して第２の画像を取り込むことと、
第１のスレッドにより予め設定された画像処理方策に従って前記第１の画像を処理して目標画像を生成し、第２のスレッドにより前記第１の画像および前記第２の画像に基づいて被写界深度情報を取得することと、
前記被写界深度情報に従って前記目標画像の背景領域をぼかすことと
を含み、
前記第２のスレッドにより前記被写界深度情報を取得する時間の長さを取得することと、
前記第２のスレッドにより前記被写界深度情報を取得する時間の長さに応じて前記画像処理方策を設定することと
をさらに含む画像処理方法。

【請求項12】

撮影環境の明るさを検出すること
をさらに含む、請求項１１に記載の方法であって、
前記撮影環境の前記明るさが所定の閾値未満であることを検出したのに応答して、
前記第１のカメラを制御して前記第１の画像を取り込み、前記第２のカメラを制御して前記第２の画像を取り込むことが、前記第１のカメラを制御して複数の第１の画像を取り込み、前記第２のカメラを制御して複数の第２の画像を取り込むことを含み、
前記第１のスレッドにより前記予め設定された画像処理方策に従って前記第１の画像を処理して前記目標画像を生成し、前記第２のスレッドにより前記第１の画像および前記第２の画像に基づいて被写界深度情報を取得することが、
前記複数の第１の画像から第１の基準画像を取得し、前記複数の第２の画像から第２の基準画像を取得することであって、前記第２の基準画像および前記第１の基準画像が関連付けて取り込まれ１対の画像を形成することと、
第１のスレッドにより前記複数の第１の画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成し、前記予め設定された画像処理方策に従って前記合成およびノイズ低減された画像を処理して前記目標画像を生成し、前記第２のスレッドにより前記第１の基準画像および前記第２の基準画像に基づいて被写界深度情報を取得することと
を含む、方法。

【請求項13】

前記第１のスレッドによって実行される前記合成およびノイズ低減処理の第１の時間の長さを取得し、前記第２のスレッドにより前記被写界深度情報を取得する第２の時間の長さを取得することと、
前記第１の時間の長さと前記第２の時間の長さとの差に応じて前記画像処理方策を設定することと
をさらに含む、請求項１２に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年１１月１日に出願された中国特許出願第２０１７１１０６００８７．１号明細書に基づいており、同特許出願の優先権を主張するものであり、その内容全体は参照により本明細書に組み込まれるものとする。

【0002】

本開示は、画像処理技術に関し、より詳細には、画像処理方法および装置（ｄｅｖｉｃｅ）に関する。

【背景技術】

【0003】

端末装置の生産技術の進歩に伴い、端末装置のほとんどが、通常は被写界深度情報（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ ｉｎｆｏｒｍａｔｉｏｎ）を取得するように構成されたデュアルカメラ（ｄｕａｌ ｃａｍｅｒａｓ）を採用しており、したがって、ユーザの多様化取込み要件（ｄｉｖｅｒｓｉｆｉｃａｔｉｏｎ ｃａｐｔｕｒｉｎｇ ｒｅｑｕｉｒｅｍｅｎｔｓ）が被写界深度情報に従って関連する画像処理を実行することによって満たされ得る。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示は画像処理方法および装置を提供する。

【0005】

本開示の諸実施形態は画像処理方法を提供する。画像処理方法は、第１のカメラを制御して複数の第１の画像を取り込み、第２のカメラを制御して複数の第２の画像を取り込むことと、複数の第１の画像から第１の基準画像を取得し、複数の第２の画像から第２の基準画像を取得することであって、第２の基準画像および第１の基準画像が関連付けて取り込まれ、１対の画像を形成することと、第１のスレッドにより複数の第１の画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成し、合成およびノイズ低減された画像を予め設定された画像処理方策に従って処理して目標画像を生成し、第２のスレッドにより第１の基準画像および第２の基準画像に基づいて被写界深度情報を取得することと、被写界深度情報に従って目標画像の背景領域をぼかすことと、を含む。

【0006】

一実施形態では、第１のカメラを制御して複数の第１の画像を取り込み、第２のカメラを制御して複数の第２の画像を取り込むことは、撮影環境（ｃａｐｔｕｒｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ）の明るさを検出することと、この明るさが所定の閾値未満であることを検出したのに応答して、第１のカメラを制御して複数の第１の画像を取り込み、第２のカメラを制御して複数の第２の画像を取り込むことと、を含む。

【0007】

一実施形態では、複数の第１の画像から第１の基準画像を取得し、複数の第２の画像から第２の基準画像を取得することは、複数の第１の画像から第１の画像のセットを選択することであって、第１の画像のセットの各第１の画像が所定の鮮明度より大きい鮮明度を有することと、複数の第２の画像から第２の画像のセットを選択することであって、第２の画像のセットの各第２の画像が第１の画像のセットの当該第１の画像とともに１対の画像を形成することと、第１の画像のセットから第１の基準画像を選択し、第２の画像のセットから第２の基準画像を選択することと、を含む。

【0008】

一実施形態では、第１のスレッドにより複数の第１の画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成することは、複数の第１の画像内の同じ位置に対応する画素の値を読み出すことと、その値の平均値を計算することと、その平均値を、合成およびノイズ低減された画像内の同じ位置に対応する画素の値として決定することと、を含む。

【0009】

一実施形態では、被写界深度情報に従って目標画像の背景領域をぼかすことは、前景領域の第１の被写界深度および背景領域の第２の被写界深度を取得することと、第１の被写界深度および第２の被写界深度に応じてぼかし度（ｂｌｕｒｒｉｎｇ ｄｅｇｒｅｅ）を生成することと、ぼかし度に応じて目標画像の背景領域をぼかすことと、を含む。

【0010】

一実施形態では、前景領域の第１の被写界深度および背景領域の第２の被写界深度を取得することは、取込みパラメータ取込みパラメータを取得することと、式および取込みパラメータに従って前景領域の第１の被写界深度および背景領域の第２の被写界深度を決定することと、を含む。

【0011】

一実施形態では、前景領域の第１の被写界深度および背景領域の第２の被写界深度を取得することは、第１のカメラおよび第２のカメラによって取得された現在の取込み済み画像のデータに従って焦点領域を越える撮像領域の被写界深度マップを取得することと、被写界深度マップに従って前景領域の第１の被写界深度および背景領域の第２の被写界深度を決定することと、を含む。

【0012】

一実施形態では、ぼかし度に応じて目標画像の背景領域をぼかすことは、ぼかし度および画素の被写界深度に応じて目標画像の背景領域内の各画素のぼかし係数（ｂｌｕｒｒｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することと、各画素のぼかし係数に応じて目標画像の背景領域をぼかすことと、を含む。

【0013】

一実施形態では、方法は、第１のスレッドによって実行される合成およびノイズ低減処理の第１の時間の長さを取得し、第２のスレッドにより被写界深度情報を取得する第２の時間の長さを取得することと、第１の時間の長さと第２の時間の長さとの差に応じて画像処理方策を設定することと、をさらに含む。

【0014】

一実施形態では、方法は、明るさが所定の閾値以上であることを検出したのに応答して、第１のカメラを制御して第１の画像フレームを取り込み、第２のカメラを制御して第２の画像フレームを取り込むことと、第１のスレッドにより予め設定された画像処理方策に従って第１の画像フレームを処理して目標画像を生成し、第２のスレッドにより第１の画像フレームおよび第２の画像フレームに基づいて被写界深度情報を取得することと、被写界深度情報に従って目標画像の背景領域をぼかすことと、をさらに含む。

【0015】

一実施形態では、方法は、第２のスレッドにより被写界深度情報を取得する時間の長さを取得することと、第２のスレッドにより被写界深度情報を取得する時間の長さに応じて画像処理方策を設定することと、をさらに含む。

【0016】

本開示の諸実施形態は、メモリとプロセッサとメモリ上に格納されプロセッサ上で実行可能なコンピュータプログラムとを含むコンピュータ装置をさらに提供する。プロセッサがコンピュータプログラムを実行すると、プロセッサは上述の画像処理方法を実行させられる。

【0017】

本開示の諸実施形態は画像処理方法をさらに提供する。画像処理方法は、第１のカメラを制御して第１の画像を取り込み、第２のカメラを制御して第２の画像を取り込むことと、第１のスレッドにより予め設定された画像処理方策に従って第１の画像を処理して目標画像を生成し、第２のスレッドにより第１の画像および第２の画像に基づいて被写界深度情報を取得することと、被写界深度情報に従って目標画像の背景領域をぼかすことと、を含む。

【0018】

一実施形態では、方法は、第２のスレッドにより被写界深度情報を取得する時間の長さを取得することと、第２のスレッドにより被写界深度情報を取得する時間の長さに応じて画像処理方策を設定することと、をさらに含む。

【0019】

一実施形態では、方法は、撮影環境の明るさを検出することをさらに含む。撮影環境の明るさが所定の閾値未満であることを検出したのに応答して、第１のカメラを制御して第１の画像を取り込み、第２のカメラを制御して第２の画像を取り込むことは、第１のカメラを制御して複数の第１の画像を取り込み、第２のカメラを制御して複数の第２の画像を取り込むことを含む。第１のスレッドにより予め設定された画像処理方策に従って第１の画像を処理して目標画像を生成し、第２のスレッドにより第１の画像および第２の画像に基づいて被写界深度情報を取得することは、複数の第１の画像から第１の基準画像を取得し、複数の第２の画像から第２の基準画像を取得することであって、第２の基準画像および第１の基準画像が関連付けて取り込まれ、１対の画像を形成することと、第１のスレッドにより複数の第１の画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成し、予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標画像を生成し、第２のスレッドにより第１の基準画像および第２の基準画像に基づいて被写界深度情報を取得することと、を含む。

【0020】

一実施形態では、方法は、第１のスレッドによって実行される合成およびノイズ低減処理の第１の時間の長さを取得し、第２のスレッドにより被写界深度情報を取得する第２の時間の長さを取得することと、第１の時間の長さと第２の時間の長さとの差に応じて画像処理方策を設定することと、をさらに含む。

【0021】

本開示の諸実施形態の追加の態様および利点は、以下の説明において部分的に与えられ、以下の説明から部分的に明らかになり、または本開示の諸実施形態の実践から学ぶであろう。

【0022】

本開示の諸実施形態のこれらおよびその他の態様および利点は、図面を参照してなされる以下の説明から明らかになり、より容易に理解されるであろう。

【図面の簡単な説明】

【0023】

【図1】本開示の一実施形態による画像処理方法のフローチャートである。

【図2】本開示の一実施形態による三角測量測定の原理を示す概略図である。

【図3】本開示の一実施形態によるデュアルカメラで被写界深度情報を取得するプロセスを示す概略図である。

【図4】本開示の別の実施形態による画像処理方法のフローチャートである。

【図5】本開示の別の実施形態による画像処理方法のフローチャートである。

【図6】本開示の一実施形態による画像処理方法を実施するシナリオを示す概略図である。

【図7】本開示の特定の一実施形態による画像処理方法のフローチャートである。

【図8】本開示の一実施形態による画像処理装置のブロック図である。

【図9】本開示の別の実施形態による画像処理装置のブロック図である。

【図10】本開示の別の実施形態による画像処理装置のブロック図である。

【図11】本開示の一実施形態による画像処理回路を示す概略図である。

【発明を実施するための形態】

【0024】

次に、例示的な諸実施形態が詳細に参照され、それらの実施形態の例が添付図面に示されているが、図面全体を通して同じまたは類似の参照番号は、同じまたは類似の要素あるいは同じまたは類似の機能を有する要素を表す。図面を参照して以下に説明する諸実施形態は例示的なものにすぎず、本開示を説明するために使用され、本開示を制限するものとして理解されるべきではない。

【0025】

従来技術では、被写界深度情報を取得するのに長い時間がかかるので、被写界深度情報に基づく関連画像処理の時間が長く、それにより画像処理効率が低下する。

【0026】

本開示の諸実施形態による画像処理方法、画像処理装置、および装置について、添付の図面を参照しながら以下に説明する。

【0027】

本開示の実施形態による画像処理方法の実行対象は、携帯電話、タブレットコンピュータ、携帯情報端末、ウェアラブル装置など、デュアルカメラを有するハードウェア装置であり得る。ウェアラブル装置は、スマートブレスレット、スマートウォッチ、スマートメガネなどであり得る。

【0028】

図１は、本開示の一実施形態による画像処理方法のフローチャートである。図１に示すように、この方法は以下を含むことができる。

【0029】

ブロック１０１で、第１のカメラ（すなわち、本開示の実施形態における１次カメラ）を制御して複数の第１の画像（複数の１次画像とも呼ばれる）を取り込み、同時に第２のカメラ（すなわち、実施形態における２次カメラ）を制御して複数の第２の画像（複数の２次画像とも呼ばれる）を取り込む。

【0030】

この実施形態では、１次カメラによって取り込まれた１次画像および２次カメラによって取り込まれた２次画像に基づいて、１次画像および２次画像内の同一物体の被写界深度情報が取得される。１次画像は、最終実画像の基本画像として構成される。１次画像および２次画像に基づいて被写界深度情報を取得するときに１次画像と２次画像との有意差のために被写界深度情報を正確に取得することができないという状況、または、１次画像の不鮮明さのために最終実画像の画質が悪いという状況を回避するために、１次カメラを制御して複数の１次画像を取り込み、同時に２次カメラを制御して複数の２次画像を取り込み、したがって、１次画像と２次画像の最適化対は、複数の１次画像および複数の２次画像から選択され、それにより被写界深度情報取得の精度および最終画像の画質を改善することができる。

【0031】

従来技術では、デュアルカメラは、弱光環境（ｌｏｗ ｌｉｇｈｔ ｅｎｖｉｒｏｎｍｅｎｔ）下では画像化効果が不十分であり、強光環境（ｈｉｇｈ ｌｉｇｈｔ ｅｎｖｉｒｏｎｍｅｎｔ）下では十分な光により画像化効果が高い。強光環境では、１次画像および２次画像は高い画像鮮明度を有し、この場合、１次カメラは１つの１次画像を取り込むように制御され、同時に２次カメラは１つの２次画像を取り込むように制御され、被写界深度情報を取得する精度を確保することができ、より良い画像化効果を得ることができる。したがって、処理圧力を解放するために、複数の１次画像および複数の２次画像は弱光環境下でのみ取り込まれる。

【0032】

一実施形態では、撮影環境の明るさが、例えば端末装置内の光学センサによって検出される。検出された明るさが所定の閾値未満である場合、現在の環境が端末装置の画像化効果に影響を与える可能性があることを示し、したがって、１次カメラは複数の１次画像を取り込むように制御され、同時に２次カメラは複数の２次画像を取り込むように制御される。

【0033】

所定の閾値は、多くの実験データに従って決定され、周囲の明るさが画像化効果に影響を与えるかどうかを決定するように構成された基準明るさであり得る。所定の閾値は、端末装置の撮像ハードウェアに関連していてもよい。撮像ハードウェアの光感度が高いほど、所定の閾値は低下する。

【0034】

ブロック１０２で、第１の基準画像（基準１次画像とも呼ばれる）が複数の１次画像から選択され、関連付けて取り込まれ、基準１次画像とともに１対の画像を形成する第２の基準画像（基準２次画像とも呼ばれる）が複数の２次画像から選択される。基準１次画像および基準２次画像が関連付けて取り込まれることは、基準１次画像および基準２次画像が同時に取り込まれること、または基準１次画像および基準２次画像が所定の取込み方策に従って取り込まれることを意味することができる。例えば、所定の取込み方策は、１次カメラによって取り込まれたｎ番目の１次画像が基準１次画像として構成され、２次カメラによって取り込まれたｎ番目の２次画像が基準２次画像として構成されることを意味することができる。

【0035】

ブロック１０３で、複数の１次画像に対して合成およびノイズ低減処理が第１のスレッドによって実行されて合成およびノイズ低減された画像を生成し、合成およびノイズ低減された画像は予め設定された画像処理方策に従って処理されて目標１次画像を生成し、同時に、２次スレッドにより基準１次画像および基準２次画像に基づいて被写界深度情報が取得される。

【0036】

上述のように、デュアルカメラを備えたシステムは、１次画像および２次画像に基づいて被写界深度情報を取得する。デュアルカメラで被写界深度情報を取得するプロセスを明確に説明するために、デュアルカメラで被写界深度情報を取得する原理について添付の図面を参照しながら説明する。

【0037】

実際には、被写界深度情報は、両眼の視覚の助けを借りて人間の目によって取得され、この原理は、デュアルカメラに適しており、図２に示す三角測量測定の原理によって実現される。図２に示すように、実際の空間に、撮像物体、２つのカメラの位置Ｏ_ＲおよびＯ_Ｔ、２つのカメラの焦点面が示されている。焦点面と２つのカメラが配置されている面との間の距離はｆである。２つのカメラは焦点面上に画像を形成する。

【0038】

ＰおよびＰ’は、異なる画像内の同一物体の位置を表す。Ｐと点Ｐを有する画像の左境界との間の距離はＸ_Ｒであり、Ｐ’と点Ｐ’を有する画像の左境界との間の距離はＸ_Ｔである。Ｏ_ＲおよびＯ_Ｔは、同一平面にありかつ互いに距離Ｂを隔てる２つのカメラを表す。

【0039】

三角測量測定の原理に基づいて、物体と２つのカメラが配置されている平面との間の距離がＺであるので、式

【数1】

【0040】

を確立することができる。

【0041】

式

【数2】

【0042】

を導き出すことができる、ただし、ｄは、異なる画像内の同一物体の位置相互間の距離差を表す。Ｂおよびｆは一定であるので、Ｚはｄに応じて取得することができる。

【0043】

三角測量測定に加えて、１次画像の被写界深度情報を取得するために他の手法が使用され得る。例えば、１次カメラおよび２次カメラが同じシナリオに関して画像を取り込む場合、シナリオ内の物体とカメラとの間の距離は変位差、すなわち１次カメラと２次カメラとの間のジェスチャ差に比例する。本開示の一実施形態では、比例関係に従って距離Ｚが取得され得る。

【0044】

例えば、図３に示すように、１次画像は１次カメラによって取り込まれ、２次画像は２次カメラによって取り込まれる。１次画像と２次画像との差が計算され、視差画像（ｄｉｓｐａｒｉｔｙ ｉｍａｇｅ）で表される。視差画像は、２つの異なる画像内の同じ点の間の変位差を示す。変位差は三角測量測定ではＺに比例するので、視差画像は被写界深度情報を伝達する画像として使用され得る。

【0045】

上述したように、デュアルカメラが被写界深度情報を取得する場合、同一物体の位置が異なる画像で取得される必要がある。デュアルカメラが被写界深度情報を取得するにより取り込まれた画像が近接している場合、被写界深度情報を取得する精度および効率は向上させることができる。

【0046】

本開示の諸実施形態では、１次カメラおよび２次カメラが複数の１次画像および複数の２次画像を同時に取り込むので、１次画像および２次画像は同時に取り込まれる１対の画像に属していて近接しており、したがって、取得された被写界深度情報の精度は、合成およびノイズ低減処理の前に、元の１次画像および２次画像に従って被写界深度情報を取得することにより確保することができる。

【0047】

上述のように、画像が弱光環境下で取り込まれる場合、複数の１次画像および複数の２次画像のノイズ点は高い。この場合、被写界深度情報を取得する精度をさらに向上させるために、合成およびノイズ低減処理は複数の２次画像に対して実行することができ、被写界深度情報は、合成およびノイズ低減された２次画像および１次画像に従って取得することができる。

【0048】

一実施形態では、基準１次画像は複数の１次画像から選択され、基準２次画像は複数の２次画像から選択される。実際には、取込みプロセス中に、１次画像および２次画像は、複数の１次画像および複数の２次画像を取得するために同じ頻度で取り込まれる。同時に取り込まれた１次画像および２次画像は１対の画像に属する。例えば、時系列順に従って、１次カメラによって取り込まれた複数の１次画像は、１次画像１１、１次画像１２、・・・などを含む。２次カメラによって取り込まれた複数の２次画像は、２次画像２１、２次画像２２、・・・などを含む。１次画像１１および２次画像２１は１対の画像に属する。１次画像１２および２次画像２２は１対の画像に属する。被写界深度情報を取得する精度および効率をさらに向上させるために、高鮮明度を有する基準１次画像は複数の１次画像から選択することができる。複数の画像内に多くのフレームがある場合、選択効率を向上させるために、１次画像のいくつかのフレームおよび２次画像のいくつかの対応するフレームが画像鮮明度に応じて選択され得る。基準１次画像および基準２次画像は、最上位の画像鮮明度を有する１次画像および対応する２次画像から選択される。

【0049】

さらに、被写界深度を取得するのに長い時間がかかるので、第１のスレッドは、複数の１次画像に対して合成およびノイズ低減処理を実行して目標１次画像を生成するために使用され、同時に第２のスレッドは、基準１次画像および基準２次画像に基づいて被写界深度情報を取得するために使用される。一方、被写界深度情報が取得されるときには、合成およびノイズ低減処理は、目標１次画像を取得するために複数の１次画像に対して実行され、したがって、ぼかし処理は、被写界深度情報が取得された後で被写界深度情報および目標１次画像に従って実行することができる。最初に被写界深度情報を取得し、次いで１次画像に対して合成およびノイズ低減処理を実行する方法と比べると、画像処理効率は向上する。他方、合成およびノイズ低減処理が複数の１次画像に対して実行されることにより、目標１次画像は明瞭な細部および高画質を有することが可能になり、したがって、ぼかし処理を施された画像は良好な効果を有する。

【0050】

マルチフレーム合成およびノイズ低減処理をよりよく理解するために、マルチフレーム構成およびノイズ低減処理が弱光環境下で１次画像に対して実行されることについて説明する。

【0051】

周囲光が低い場合、端末装置などの撮像装置は通常、光感度を自動的に上げる方法で画像を取り込む。ただし、この方法で光感度を自動的に上げると、画像内にノイズを引き起こす。マルチフレーム合成およびノイズ低減処理は、画像内のノイズ点を低減し、高光感度で取り込まれた画像の画質を向上させることを目的としている。この原理は、ノイズ点が無秩序であるという予備知識に基づいている。複数の画像が連続して取り込まれた後、同じ位置にあるノイズ点は、レッドノイズ点、グリーンノイズ点、ホワイトノイズ点とすることができる、あるいはノイズ点がなくてもよく、したがってスクリーニング条件が以下のように実行され得る。ノイズに属する画素点（すなわちノイズ点）は、同じ位置に対応し、複数の画像内に位置する画素点の値に応じて選別される。画素点の値は、画素点内のいくつかの画素を含む。画素点に含まれる画素が多いほど、画素点の値は高くなり、対応する画像の鮮明さは高くなる。さらに、ノイズ点が排除された後、ノイズ点を除去する効果を実現するために、ノイズ点に対して所定のアルゴリズムに従って色推測および画素置換を実行することができる。プロセス後、画質の低損失でのノイズ低減効果を実現することができる。

【0052】

単純なマルチフレーム合成およびノイズ低減手法として、複数の画像が取り込まれた後、同じ位置に対応する複数の画像内の画素点の値が読み出され、合成画像内の画素点の値として加重平均値を計算するために平均化される。このようにして、高鮮明度の画像が取得され得る。

【0053】

さらに、第２のスレッドにより被写界深度情報を取得する時間の長さと第１のスレッドによって実行される合成およびノイズ低減処理の時間の長さとの間には時間差がある。画像処理効率をさらに向上させるために、この時間差を最大限に活用することにより他の画像処理操作を実行することができる。

【0054】

環境の明るさが比較的高い場合および環境の明るさが比較的低い場合の第１のスレッドおよび第２のスレッドの実施態様について説明する。

【0055】

撮影環境の明るさが所定の閾値未満である場合、スレッドの実施態様について以下のように説明することができる。

【0056】

一実施形態では、第１のスレッドにより複数の１次画像に対して合成およびノイズ低減処理を実行して目標１次画像を生成することは、複数の１次画像に対して合成およびノイズ低減処理を実行し、第１のスレッドにより予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標１次画像を生成することを含むことができる。

【0057】

予め設定された画像処理方策は、フィルタ適用操作や美化操作などを含むことができる。第２のスレッドが長い時間をかけて被写界深度情報を取得するのと同時に、第１のスレッドは合成およびノイズ低減処理以外の画像処理操作を実行することができ、したがって、第１のスレッドにかかる時間と第２のスレッドにかかる時間との時間差は、ぼかし処理が実行される前により多くの画像処理操作を完了するために使用され、それにより画像処理効率をさらに向上させることができる。ぼかし処理が実行される前に、より多くの画像処理操作が合成およびノイズ低減された画像に基づいて実施され、合成およびノイズ低減された画像は高画質を有するので、より多くの画像処理操作は、さらに良い処理効果を達成することができる。

【0058】

例えば、第２のスレッドが長い時間をかけて被写界深度情報を取得するのと同時に、合成およびノイズ低減処理に加えて、第１のスレッドは、合成およびノイズ低減された画像に対して美化操作を実行して目標１次画像を生成することができる。ぼかし処理が実行されるとき、画像には美化操作を施され、このことは画像処理効率を大幅に向上させる。

【0059】

実際には、第１のスレッドにかかる時間と第２のスレッドにかかる時間との時間差を最大限に活用するために、第１のスレッドが操作を終了するときと第２のスレッドが操作を終了するときとは互いに近接することができる。さらに、この時間差に応じて、画像処理方策は、第２のスレッドが操作を終了したときに画像処理方策に対応する操作を終了できるようにするように設定され得る。

【0060】

一実施形態では、図４に示すように、ブロック１０３の前に、画像処理方法は以下をさらに含むことができる。

【0061】

ブロック２０１で、第１のスレッドによって実行される合成およびノイズ低減処理の第１の時間の長さと第２のスレッドにより被写界深度情報を取得する第２の時間の長さとが取得され得る。

【0062】

第１の時間の長さは、端末装置の処理システムの運転速度と１次画像のいくつかのフレームとに関連している。第１の時間の長さは、相関アルゴリズムを使用して、端末装置の処理システムの運転速度と１次画像フレームの数とに応じて計算することができる。第２の時間の長さは、端末装置の処理システムの運転速度と画像鮮明度とに関連している。第２の時間の長さは、相関アルゴリズムを使用して、端末装置の処理システムの運転速度と基準１次画像および基準２次画像の画像鮮明度とに応じて計算することができる。

【0063】

ブロック２０２で、画像処理方策は、第１の時間の長さと第２の時間の長さとの差に応じて設定される。

【0064】

異なる画像処理操作には異なる時間がかかる。第１の時間の長さと第２の時間の長さとの差を最大限に活用するために、画像処理方策は、第１の時間の長さと第２の時間の長さとの差に応じて、より多くの画像処理操作をその時間差内で終了できるようにするように設定され得る。

【0065】

例えば、合成およびノイズ低減処理の時間の長さが４００ｍｓであり、フィルタ適用操作の時間の長さが２００ｍｓであり、美化操作の時間の長さが２００ｍｓであり、被写界深度情報を取得する時間の長さが８００ｍｓであるときに、現在のシナリオが美化操作およびフィルタ適用操作を含む場合、美化操作およびフィルタ適用操作は第１のスレッド内に設定され、したがって、第２のスレッドが被写界深度情報を取得した後、フィルタ適用操作および美化操作は、第１のスレッドによって取得された目標１次画像に対して完了し、それにより画像処理効果は大幅に改善される。

【0066】

撮影環境の明るさが所定の閾値以上であるとき、スレッドの並列処理メカニズムは以下のように実施される。

【0067】

本開示の一実施形態では、図５に示すように、ブロック１０１の後、方法は以下をさらに含むことができる。

【0068】

ブロック３０１で、撮影環境の明るさが所定の閾値以上であることを検出したのに応答して、１次カメラを制御して１次画像フレームを取り込み、同時に、２次カメラを制御して２次画像フレームを取り込む。

【0069】

撮影環境の明るさが所定の閾値以上であるとき、現在の環境は良好な明るさ条件を有しており、デュアルカメラの画質が高いことを示す。画像を取り込み、画像化圧力を解放する効率を向上させるために、１次カメラを制御して１次画像フレームを取り込み、同時に、２次カメラを制御して２次画像フレームを取り込み、したがって１次画像フレームは撮像に使用することができ、１次画像フレームおよび２次画像フレームは被写界深度情報を取得するために使用することができる。

【0070】

ブロック３０２で、第１のスレッドにより予め設定された画像処理方策に従って１次画像を処理して目標１次画像を生成し、同時に、第２のスレッドにより１次画像および２次画像に基づいて被写界深度情報を取得する。

【0071】

ブロック３０３で、被写界深度情報に従って目標１次画像の背景領域をぼかす。

【0072】

第１のスレッドにより予め設定された画像処理方策に従って１次画像を処理して目標１次画像を生成し、例えば、１次画像に対してノイズ除去するなどの最適化操作を実行し、同時に、第２のスレッドにより１次画像および２次画像に基づいて被写界深度情報を取得することにより、撮像に使用される目標１次画像は、被写界深度情報を取得するのと同時に取得することができ、目標１次画像の背景領域は、被写界深度情報に従ってぼかすことができる。

【0073】

一方、被写界深度情報を取得するのと同時に、１次画像を処理して目標１次画像を取得し、したがって、被写界深度情報が取得された後、目標１次画像は被写界深度情報に従って直接ぼかすことができる。最初に被写界深度情報を取得し、次いで１次画像を処理する方法と比べると、画像処理効率は改善される。他方、強光環境下で取り込まれた目標１次画像を処理することによって取得された目標１次画像は明瞭な細部および高画質を有し、したがって、ぼかし処理を施された画像は良好な効果を有する。

【0074】

この実施形態では、第１のスレッドと第２のスレッドとの間の時間差を最大限に活用するために、第２のスレッドにより被写界深度情報を取得する時間の長さを取得することができ、画像処理方策を時間の長さに応じて設定し、それによって、画像処理方策に対応する美化操作やフィルタ適用操作などの操作を、第２のスレッドによって実行される操作が完了したときに完了できるようにすることができる。

【0075】

例えば、１次画像を処理して目標１次画像を取得する時間の長さが４００ｍｓであり、フィルタ適用操作の時間の長さが２００ｍｓであり、美化操作の時間の長さが２００ｍｓであり、被写界深度情報を取得する時間の長さが８００ｍｓであると仮定すると、現在のシナリオが美化操作およびフィルタ適用操作を含む場合、フィルタ適用操作および美化操作は第１のスレッド内に設定され、したがって、第２のスレッドが被写界深度情報を取得した後、第１のスレッドによって取得された目標１次画像に対するフィルタ適用操作および美化操作は完了し、それによって画像処理効果は大幅に改善される。

【0076】

ブロック１０４で、目標１次画像の背景領域を被写界深度情報に従ってぼかす。

【0077】

被写界深度情報に従って目標１次画像の背景領域をぼかす方法は、以下の方法を含めて多くあるが、これらの方法に限定されるものではない。

【0078】

可能な実施態様として、前景領域の第１の被写界深度情報および背景領域の第２の被写界深度情報は、被写界深度情報および焦点領域に従って取得され、ぼかし度は、第１の被写界深度情報および第２の被写界深度情報に従って生成され、目標１次画像の背景領域は、ぼかし度に応じてぼかされ、したがって、様々な度合いのぼかしは種々の被写界深度情報に従って実行され、それによって、ぼやけた画像をより自然なものにするとともに層状化効果を高めることができる。

【0079】

カメラが取り込まれた物体に焦点を合わされた後、物体が存在する焦点の前から後ろまでの空間深度範囲は被写界深度と呼ばれ、人間の目に利用可能な高鮮明度画像が空間深度範囲内に形成される。焦点領域の前方の撮像範囲は前景領域の第１の被写界深度であり、焦点領域の後方の高鮮明度画像を形成する領域は背景領域の第２の被写界深度である。

【0080】

前景領域の第１の被写界深度情報および背景領域の第２の被写界深度情報を決定する様々な方法が、様々なアプリケーションシナリオに使用され得る。

【0081】

方法１
取込みのための関連パラメータを取得することができ、前景領域の第１の被写界深度情報および背景領域の第２の被写界深度情報をカメラ用の式に従って決定することができる。

【0082】

この実施形態では、１次カメラの許容錯乱円の直径、Ｆ数、焦点距離、合焦距離などのパラメータを取得することができ、第１の被写界深度は、式：第１の被写界深度＝（Ｆ数＊許容錯乱円の直径＊合焦距離の２乗）／（焦点距離の２乗＋Ｆ数＊許容錯乱円の直径＊合焦距離）に従って計算することができ、前景は第１の被写界深度情報に従って区別され、第２の被写界深度は、式：第２の被写界深度＝（Ｆ数＊許容錯乱円の直径＊合焦距離の２乗）／（焦点距離の２乗−Ｆ数＊許容錯乱円の直径＊合焦距離）に従って計算することができる。

【0083】

方法２
焦点領域を越える撮像領域の被写界深度マップは、デュアルカメラによって取得された現在の取り込まれた画像のデータに従って決定され、焦点領域の前方の前景領域の第１の被写界深度および焦点領域の後方の第２の被写界深度は被写界深度マップに従って決定され得る。

【0084】

この実施形態では、２つのカメラが異なる位置にあるので、取り込まれるべき目標物体に関して２つの後方カメラ間に一定の角度差および一定の距離差があり、したがって、２つのカメラによって取得されるプレビュー画像は一定の位相差を有する。

【0085】

例えば、取り込まれるべき目標物体上の点Ａの場合、１次カメラのプレビュー画像内の点Ａに対応する画素点の座標は（３０，５０）とすることができ、２次カメラのプレビュー画像内の点Ａに対応する画素点の座標は（３０，４８）とすることができる。２つのプレビュー画像内の点Ａに対応する画素点間の位相差は、５０−４８＝２である。

【0086】

この実施形態では、被写界深度情報と位相差との関係は、実験データまたはカメラパラメータに従って事前に確立することができ、したがって、被写界深度情報は、２つのカメラによって取得されたプレビュー画像内の当該点に対応する画素点間の位相差に応じて検索することができる。このようにして、第１の被写界深度情報および第２の被写界深度情報を容易に取得することができる。

【0087】

ぼかし度に応じて目標１次画像の背景領域をぼかすために様々な方法が使用され得る。

【0088】

例１
各画素のぼかし係数が、目標１次画像の背景領域内の画素のぼかし度および被写界深度情報に従って取得される。ぼかし係数はぼかし度に関連している。ぼかし係数が大きいほど、ぼかし度は高くなる。例えば、目標１次画像の背景領域内の各画素のぼかし度と被写界深度との積を計算して、画素のぼかし係数を取得する。目標１次画像の背景領域は、各画素のぼかし係数に応じてぼかされる。

【0089】

例２
第２の被写界深度と焦点領域内の被写界深度との差が大きいほど、対応する背景領域は焦点領域から離れて遠くなり、対応する背景領域と焦点領域との相関が小さくなり、対応するぼかし度は大きくなる。この実施形態では、第２の被写界深度と焦点領域の被写界深度との差とぼかし度との間の関係が事前に保存される。この関係では、第２の被写界深度と焦点領域の被写界深度との差が大きいほど、対応するぼかし度は大きくなる。目標１次画像の背景領域の第２の被写界深度と焦点領域の被写界深度との差が取得され、対応するぼかし度は、その差に応じて上記の関係について照会することによって取得され、対応する被写界深度の背景領域はぼかし度に応じてぼかされる。

【0090】

本開示の実施形態による画像処理方法の実施態様について、アプリケーションシナリオと併せて十分に説明する。

【0091】

第１のシナリオ
図６に示すように、取込み命令を取得した後、１次カメラおよび２次カメラを制御して、４つの１次画像フレームおよび４つの２次画像フレームを同時に取り込む。取込みシーケンスに従って、４つの１次画像フレームには、１１、１２、１３および１４の番号が付けられている。４つの２次画像フレームには、２１、２２、２３および２４の番号が付けられている。

【0092】

基準１次画像１２は複数の１次画像から選択され、基準１次画像とともに１対の画像を形成するために取り込まれる２次１次２２は複数の２次画像から選択される。合成およびノイズ低減処理は複数の１次画像に対して実行され、美化操作は、目標１次画像を取得するために第１のスレッドにより合成およびノイズ低減された画像に対して実行され、同時に、被写界深度情報は、第２のスレッドにより基準１次画像１２および基準２次画像２２に従って取得される。１次画像に対して実行される合成およびノイズ低減処理の時間の長さが４００ｍｓであり、美化操作の時間の長さが４００ｍｓであり、被写界深度情報を取得する時間の長さが４００ｍｓである場合、従来技術では、被写界深度情報の取得と１次画像の合成およびノイズ除去とが順番に実行され、したがって処理時間の長さは１６００ｍｓである。しかしながら、本開示によって提供される画像処理方法によれば、処理時間の長さは８００ｍｓであり、したがって画像処理効率は大幅に改善される。さらに、複数の１次画像は１次カメラによって取り込まれ、合成およびノイズ低減処理は複数の１次画像に対して実行され、したがって、画像処理が弱光環境下でただ１つの１次画像に対して低品質で実行されるために画像処理効果が低いという問題が回避され、それによって画像処理効果を向上させることができる。

【0093】

第２のシナリオ
このシナリオでは、現在の環境の明るさに応じてマルチフレームノイズ低減を採用するかどうかが決定される。マルチフレームノイズ低減は弱光環境で使用されるが、強光環境では使用されない。図７に示すように、撮影環境の明るさが検出される。明るさが所定の閾値未満である場合、現在の環境が弱光を有することを示し、上記のシステムは、複数の１次画像および２次画像を同時に取り込むように１次カメラおよび２次カメラを制御する。複数の１次画像のうちの１つが基準１次画像として選択され、基準１次画像に対応する基準２次画像が選択される（第２の１次画像が基準１次画像として選択される場合、第２の２次画像が選択される）。

【0094】

合成およびノイズ低減処理は複数の１次画像に対して実行され、合成およびノイズ低減された画像は第１のスレッドによって画像処理方策に従って処理されて目標１次画像が生成され、同時に、第２のスレッドでは、被写界深度情報は基準１次画像および基準２次画像に従って取得され、したがって、合成およびノイズ低減処理と被写界深度情報の取得とが同期して実行され得る。被写界深度情報は、マルチフレーム合成およびノイズ低減処理の前の画像を使用して取得され、したがって被写界深度情報を取得する精度が確保される。

【0095】

また、図７に示すように、スレッドには被写界深度情報を取得するのに時間がかかるので、合成およびノイズ低減処理の後、美化操作およびフィルタ適用操作は、スレッドにより合成およびノイズ低減された画像に対して実行され得る。２つのスレッドが対応する操作を完了した後、背景ぼかしは、被写界深度情報に従って目標１次画像に対して実行されて最終目標画像が取得される。このようにして、最終目標画像のノイズ点が減少し、美化およびファイラ適用効果を実現することができ、したがって、ポートレート画像の効果が大幅に改善され、処理時間の長さはあまり増大しない。

【0096】

本開示の諸実施形態による画像処理方法では、１次カメラを制御して複数の１次画像を取り込み、同時に２次カメラを制御して複数の２次画像を取り込む。基準１次画像は複数の１次画像から取得され、基準１次画像とともに１対の画像を形成するように取り込まれた基準２次画像は複数の２次画像から取得される。第１のスレッドは複数の１次画像に対して合成およびノイズ低減処理を実行し、予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標１次画像を生成し、同時に、第２のスレッドは基準１次画像および基準２次画像に従って被写界深度情報を取得する。目標１次画像の背景領域は被写界深度情報に従ってぼかされる。このようにして、画像処理は、被写界深度情報を取得する時間の長さと複数の１次画像に対するマルチフレーム合成およびノイズ低減処理の時間の長さとの時間差を最大限に活用することによって実現され、したがって、取得済み被写界深度情報の精度および画像処理効率が改善される。

【0097】

上記の実施形態を実施するために、本開示は画像処理装置をさらに提供する。図８は、本開示の一実施形態による画像処理装置のブロック図である。図８に示すように、画像処理装置は、取込みモジュール１００、第１の取得モジュール２００、第２の取得モジュール３００、および処理モジュール４００を含む。

【0098】

取込みモジュール１００は、１次カメラを制御して複数の１次画像を取り込み、同時に２次カメラを制御して複数の２次画像を取り込むように構成される。

【0099】

一実施形態では、図９に示すように、図８を参照して説明した実施形態に基づいて、取込みモジュール１００は検出ユニット１１０および取込みユニット１２０を含む。

【0100】

検出ユニット１１０は、撮影環境の明るさを検出するように構成される。

【0101】

取込みユニット１２０は、明るさが所定の閾値未満であることを検出したのに応答して、１次カメラを制御して複数の１次画像を取り込み、同時に２次カメラを制御して複数の２次画像を取り込むように構成される。

【0102】

第１の取得モジュール２００は、複数の１次画像から基準１次画像を取得し、複数の２次画像から基準２次画像を取得するように構成され、基準２次画像は、基準１次画像が取り込まれるのと同時に取り込まれる。

【0103】

第２の取得モジュール３００は、複数の１次画像に対して合成およびノイズ低減処理を実行し、第１のスレッドにより予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標１次画像を生成し、同時に第２のスレッドにより基準１次画像および基準２次画像に基づいて被写界深度情報を取得するように構成される。

【0104】

処理モジュール４００は、被写界深度情報に従って目標１次画像の背景領域をぼかすように構成される。

【0105】

一実施形態では、図１０に示すように、図８を参照して説明した実施形態に基づいて、画像処理装置は、第３の取得モジュール５００および設定モジュール６００をさらに含むことができる。

【0106】

第３の取得モジュール５００は、第１のスレッドによって実行される合成およびノイズ低減処理の第１の時間の長さを取得し、第２のスレッドにより被写界深度情報を取得する第２の時間の長さを取得するように構成される。

【0107】

設定モジュール６００は、第１の時間の長さと第２の時間の長さとの差に応じて画像処理方策を設定するように構成される。

【0108】

前述の方法実施形態の説明は、本開示の実施形態による装置にも適用可能であり、実施原理は同様であるので、本明細書では説明しない。

【0109】

画像処理装置の上記のモジュールは単なる提示的なものである。他の実施形態では、画像処理装置は、画像処理装置の機能の全部または一部を実施するために様々なモジュールに分割され得る。

【0110】

本開示の諸実施形態による画像処理装置では、１次カメラは複数の１次画像を取り込むように制御され、同時に２次カメラは複数の２次画像を取り込むように制御される。基準１次画像は複数の１次画像から取得され、基準１次画像とともに１対の画像を形成するように取り込まれた基準２次画像は複数の２次画像から取得される。第１のスレッドは複数の１次画像に対して合成およびノイズ低減処理を実行し、予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標１次画像を生成し、同時に、第２のスレッドは基準１次画像および基準２次画像に従って被写界深度情報を取得する。目標１次画像の背景領域は被写界深度情報に従ってぼかされる。このようにして、画像処理は、被写界深度情報を取得する時間の長さと複数の１次画像に対するマルチフレーム合成およびノイズ低減処理の時間の長さとの時間差を最大限に活用することによって実現され、したがって、取得済み被写界深度情報の精度および画像処理効率が改善される。

【0111】

上記の実施形態を実施するために、本開示はコンピュータ装置をさらに提供する。上記のコンピュータ装置は画像処理回路を含む。画像処理回路は、画像信号処理（ＩＳＰ）ラインを定義するための様々な処理ユニットを含むハードウェアコンポーネントおよび／またはソフトウェアコンポーネントによって実施され得る。図１１は、本開示の一実施形態による画像処理回路の概略図である。図１１に示すように、記述を簡単にするために、本開示の実施形態に関連する画像処理技術の態様だけが示されている。

【0112】

図１１に示すように、画像処理回路は、ＩＳＰプロセッサ１０４０および制御論理装置１０５０を含む。撮像装置１０１０によって取り込まれた画像データは、最初にＩＳＰプロセッサ１０４０によって処理される。ＩＳＰプロセッサ１０４０は画像データを分析して、撮像装置１０１０の１つまたは複数の制御パラメータを決定するおよび／またはための画像統計情報を取り込む。撮像装置１０１０は、１つまたは複数のレンズ１０１２とイメージセンサ１０１４とを有するカメラを含むことができる。イメージセンサ１０１４は、カラーフィルタアレイ（ベイヤーフィルタ（Ｂａｙｅｒ ｆｉｌｔｅｒ）など）を含むことができる。イメージセンサ１０１４は、イメージセンサ１０１４の各撮像画素によって取り込まれた光強度および波形情報を取得することができ、ＩＳＰプロセッサ１０４０によって処理され得る元の画像データのセットを提供する。センサ１０２０は、センサ１０２０のインタフェースタイプに基づいて元の画像データをＩＳＰプロセッサ１０４０に提供する。センサ１０２０のインタフェースは、標準のモバイルイメージングアーキテクチャ（ＳＭＩＡ）インタフェース、他のシリアルもしくはパラレルカメラインタフェース、または上記のインタフェースを組み合わせたものを利用することができる。

【0113】

ＩＳＰプロセッサ１０４０は、様々な形態に応じて画素ごとに元の画像データを処理する。例えば、各撮像画素は、８、１０、１２、または１４ビットのビット深度を有することができる。ＩＳＰプロセッサ１０４０は、元の画像データに対して１つまたは複数の画像処理操作を実行し、画像データの統計情報を収集することができる。画像処理操作は、同じまたは異なるビット深度の精度で実行され得る。

【0114】

ＩＳＰプロセッサ１０４０は、画像記憶装置１０３０から画素データを受信することができる。例えば、元の画素データは、センサ１０２０のインタフェースから画像記憶装置１０３０に送信され得る。画像記憶装置１０３０内の元の画素データは、処理のためにＩＳＰプロセッサ１０４０にさらに提供される。画像記憶装置１０３０は、メモリの一部、記憶装置、または電子装置内の別個の特定の記憶装置であってもよく、直接メモリアクセス（ＤＭＡ）の機能を含むことができる。

【0115】

センサ１０２０または画像記憶装置１０３０のインタフェースから元の画像データを受信すると、ＩＳＰプロセッサ１０４０は、タイムドメインフィルタリングなど、１つまたは複数の画像処理操作を実行することができる。処理済み画像データは、表示する前にさらなる処理を実行することができるように、画像記憶装置１０３０に送信されてもよい。ＩＳＰプロセッサ１０４０は、画像記憶装置１０３０から処理済みデータを受信し、元のドメインならびにＲＧＢおよびＹＣｂＣｒの色空間内の処理済みデータに対して画像データ処理を実行することができる。処理済み画像データは、ユーザによって見られるためのディスプレイ１０７０に出力され得る、かつ／またはグラフィックス処理ユニット（ＧＰＵ）によってさらに処理され得る。加えて、ＩＳＰプロセッサ１０４０の出力はさらに画像記憶装置１０３０に送信することができ、ディスプレイ１０７０は画像記憶装置１０３０から画像データを読み取ることができる。一実施形態では、画像記憶装置１０３０は、１つまたは複数のフレームブラファ（ｆｒａｍｅ ｂｌｕｆｆｅｒｓ）を実装するように構成することができる。さらに、ＩＳＰプロセッサ１０４０の出力は、符号化／復号されるためのエンコーダ／デコーダ１０６０に送信することができる。符号化された画像データは保存され、ディスプレイ１０７０に表示される前に復号され得る。エンコーダ／デコーダ１０６０は、ＣＰＵもしくはＧＰＵまたはコプロセッサによって実装され得る。

【0116】

ＩＳＰプロセッサ１０４０によって決定された統計データは、制御論理装置１０５０に送信され得る。例えば、統計データは、レンズ１０１２の自動露出、自動ホワイトバランス、自動焦点合わせ、シンチレーション検出、黒レベル補正、およびシェーディング補正を施されたイメージセンサ１０４０の統計情報を含むことができる。制御論理装置１０５０は、１つまたは複数のルーチン（ファームウェア）を実行するためのプロセッサおよびマイクロコントローラを含むことができる。１つまたは複数のルーチンは、受信された統計データに従って撮像装置１０１０の制御パラメータを決定することができる。例えば、制御パラメータには、センサ１０２０の制御パラメータ（利得、露出制御の積分時間など）、カメラのフラッシュ制御パラメータ、レンズ１０１２の制御パラメータ（焦点合わせやズーミング焦点距離など）、またはこれらの制御パラメータを組み合わせたものが含まれ得る。ＩＳＰの制御パラメータには、自動ホワイトバランスおよび色調整（例えば、ＲＧＢ処理中）のための利得レベルおよび色補正マトリクスとレンズ１０１２のシェーディング補正パラメータとが含まれ得る。

【0117】

図１１の画像処理技術は、１次カメラを制御して複数の１次画像を取り込み、同時に２次カメラを制御して複数の２次画像を取り込むことと、複数の１次画像から基準１次画像を取得し、複数の２次画像から基準２次画像を取得することであって、基準２次画像および基準１次画像が関連付けて取り込まれ、１対の画像を形成することと、第１のスレッドにより複数の１次画像に対して合成およびノイズ低減処理を実行して合成およびノイズ低減された画像を生成し、予め設定された画像処理方策に従って合成およびノイズ低減された画像を処理して目標１次画像を生成し、同時に第２のスレッドにより基準１次画像および基準２次画像に基づいて被写界深度情報を取得することと、被写界深度情報に従って目標１次画像の背景領域をぼかすことと、を含む画像処理方法を実施するために使用することができる。

【0118】

上記の実施形態を実施するために、本開示は、非一時的コンピュータ可読記憶媒体をさらに提供する。記憶媒体内の命令がプロセッサによって実行されると、プロセッサは画像処理方法を実行させられる。

【0119】

本明細書全体を通して「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「いくつかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「一例（ａｎ ｅｘａｍｐｌｅ）」、「特定の例（ａ ｓｐｅｃｉｆｉｃ ｅｘａｍｐｌｅ）」、または「いくつかの例（ｓｏｍｅ ｅｘａｍｐｌｅｓ）」への言及は、その実施形態または例に関連して記述される特定の特徴、構造、材料、または特性が本開示の少なくとも１つの実施形態または例に含まれることを意味する。本明細書では、前述の用語の例示的な説明は、必ずしも同じ実施形態または例を指すものではない。さらに、特定の特徴、構造、材料、または特性は、１つまたは複数の実施形態または例において任意の適当な態様で組み合わされ得る。さらに、当業者なら、本開示に記述される実施形態または例において様々な実施形態または様々な特性を組み合わせることができるであろう。

【0120】

さらに、「第１の（ｆｉｒｓｔ）」および「第２の（ｓｅｃｏｎｄ）」という用語は説明のためにのみ用いられ、相対的重要性を指摘または含意するあるいは指示した技術的特徴の数を指摘または含意すると見なすことはできない。したがって、「第１の」および「第２の」で定義される特徴は、これらの特徴のうちの少なくとも１つを含むまたは含意することがある。本開示の説明では、「複数の（ａ ｐｌｕｒａｌｉｔｙ ｏｆ）」は、特に指定されない限り、２つまたは３つ以上を意味する。

【0121】

フローチャートに記載されている、または他の方法で本明細書に記載されているプロセスまたは方法は、そのプロセス内の特定の論理的機能またはステップを実現するための実行可能命令のコードの１つまたは複数のモジュール、セグメントまたは部分を含むと理解することができ、本開示の好ましい実施形態の範囲は他の実施態様を含み、実行の順序は、図示または議論されているものとは異なることがあり、関連する機能に従って、その機能を果たすために同時にもしくは部分的に同時に、または逆の順序で実行することを含み、このことは当業者なら理解するであろう。

【0122】

本明細書に他の態様で記載されている、またはフローチャートに示されている論理および／またはステップ、例えば、論理的機能を実現するための実行可能命令の特定のシーケンス表は、具体的には、命令実行システム、装置または機器（コンピュータをベースとするシステム、プロセッサを備えるシステム、あるいは命令実行システム、装置および機器から命令を取得し、この命令を実行することができる他のシステムなど）によって使用されるべき任意のコンピュータ可読媒体で、あるいは命令実行システム、装置および機器と組み合わせて使用されるべき任意のコンピュータ可読媒体で実現することができる。本明細書に関して、「コンピュータ可読媒体」は、命令実行システム、装置または機器によって、あるいは命令実行システム、装置または機器と組み合わせて使用されるべきプログラムを含める、保存する、通信する、伝達する、または転送するのに適応できる任意の装置であり得る。コンピュータ可読媒体のより具体的な例としては、１つまたは複数の電線を有する電子接続（電子装置）、携帯用コンピュータ筐体（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、および携帯用コンパクトディスクリードオンリメモリ（ＣＤＲＯＭ）があるが、これらに限定されるものではない。加えて、コンピュータ可読媒体は、その上にプログラムを印刷することができる紙または他の適切な媒体であってもよく、これは、例えば、紙または他の適切な媒体は、光学的に走査され、次いで他の適切な方法で編集、解読または処理されて、必要なときに電子的方法でプログラムを得ることができ、次いでプログラムはコンピュータメモリに保存することができるからである。

【0123】

本開示の各部分は、ハードウェア、ソフトウェア、ファームウェアまたはこれらを組み合わせたものによって実現され得ることが理解されるべきである。上記の実施形態では、複数のステップまたは方法が、メモリに保存され適切な命令実行システムによって実行されるソフトウェアまたはファームウェアによって実現され得る。例えば、本開示の各部分がハードウェアによって実現される場合、同様に別の実施形態では、ステップまたは方法は、当技術分野で知られている下記の技法、すなわち、データ信号の論理関数を実現するための論理ゲート回路を有するディスクリート論理回路、適切な組み合わせ論理ゲート回路を有するアプリケーション専用集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのうちの１つまたはそれらを組み合わせたものによって実現され得る。

【0124】

当業者なら、本開示のための上記の例示した方法におけるステップの全部または一部が関連するハードウェアにプログラムで命令することによって実現され得ること、プログラムがコンピュータ可読記憶媒体に保存され得ること、ならびにプログラムがコンピュータ上で走るときに本開示の方法実施形態におけるステップのうちの１つまたはステップの組み合わせを含むこと、を理解するであろう。

【0125】

加えて、本開示の諸実施形態の各機能セルが処理モジュール内に統合されてもよく、またはこれらのセルが別個の物理的存在であってもよく、または２つ以上のセルが処理モジュール内に統合される。統合モジュールは、ハードウェアの形でまたはソフトウェア機能モジュールの形で実現され得る。統合モジュールがソフトウェア機能モジュールの形で実現され、スタンドアロン製品として販売または使用される場合、統合モジュールはコンピュータ可読記憶媒体に保存され得る。

【0126】

上述した記憶媒体は、リードオンリメモリ、磁気ディスク、ＣＤなどとすることができる。以上、本開示の諸実施形態について示し説明してきたが、上記の実施形態は単なる説明であり、本開示を限定するものと解釈してはならないことを理解すべきであり、当業者には、本開示の精神、原理、および範囲から逸脱することなく、実施形態に変更、代替、および修正がなされ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】