▶ 北京小米移動軟件有限公司の特許一覧 ▶ ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022168818
(43)【公開日】2022-11-08
(54)【発明の名称】画像処理方法、装置及び記憶媒体
(51)【国際特許分類】
G06T 5/00 20060101AFI20221031BHJP
【ＦＩ】
G06T5/00 730
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2021177390
(22)【出願日】2021-10-29
(31)【優先権主張番号】202110455875.0
(32)【優先日】2021-04-26
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(71)【出願人】
【識別番号】520274253
【氏名又は名称】ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド
(74)【代理人】
【識別番号】110002734
【氏名又は名称】特許業務法人藤本パートナーズ
(72)【発明者】
【氏名】張 鵬
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC02
5B057CD05
5B057CE05
5B057CE06
5B057CE11
(57)【要約】 （修正有）
【課題】ハイダイナミックレンジイメージングにおいて、目標画像の輝度をより適切にする、画像処理方法、装置及び記憶媒体を提供する。
【解決手段】方法は、収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップと、各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
【選択図】図１
【解決手段】方法は、収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップと、各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像処理方法であって、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む、
ことを特徴とする画像処理方法。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む、
ことを特徴とする画像処理方法。
【請求項2】
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む、
ことを特徴とする請求項２に記載の方法。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項4】
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む、
ことを特徴とする請求項３に記載の方法。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む、
ことを特徴とする請求項３に記載の方法。
【請求項5】
調整された結合サブ画像に基づいて、目標画像を得るステップは、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む、
ことを特徴とする請求項２に記載の方法。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む、
ことを特徴とする請求項２に記載の方法。
【請求項6】
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップは、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む、
ことを特徴とする請求項１～５のいずれか一項に記載の方法。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む、
ことを特徴とする請求項１～５のいずれか一項に記載の方法。
【請求項7】
画像処理装置であって、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュールと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュールと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュールと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュールと、を含む、
ことを特徴とする画像処理装置。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュールと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュールと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュールと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュールと、を含む、
ことを特徴とする画像処理装置。
【請求項8】
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む、
ことを特徴とする請求項７に記載の装置。
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む、
ことを特徴とする請求項７に記載の装置。
【請求項9】
前記第４の決定モジュールは、さらに、
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される、
ことを特徴とする請求項８に記載の装置。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項10】
前記第４の決定モジュールは、さらに、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される、
ことを特徴とする請求項９に記載の装置。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される、
ことを特徴とする請求項９に記載の装置。
【請求項11】
前記第２の決定モジュールは、さらに、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される、
ことを特徴とする請求項８に記載の装置。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される、
ことを特徴とする請求項８に記載の装置。
【請求項12】
前記調整モジュールは、さらに、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される、
ことを特徴とする請求項７～１１のいずれか一項に記載の装置。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される、
ことを特徴とする請求項７～１１のいずれか一項に記載の装置。
【請求項13】
画像処理装置であって、
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、実行時に、上記請求項１～６のいずれか一項に記載の画像処理方法におけるステップを実現するように構成される、
ことを特徴とする画像処理装置。
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、実行時に、上記請求項１～６のいずれか一項に記載の画像処理方法におけるステップを実現するように構成される、
ことを特徴とする画像処理装置。
【請求項14】
非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、前記装置が上記請求項１～６のいずれか一項に記載の画像処理方法におけるステップを実行できるようにする、
非一時的なコンピュータ読み取り可能な記憶媒体。
非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像技術分野に関し、特に、画像処理方法、装置及び記憶媒体に関する。
【背景技術】
【0002】
ハイダイナミックレンジイメージング（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ、ＨＤＲＩ又はＨＤＲ）は、コンピュータグラフィックス及び映画撮影技術において、普通のデジタル画像技術よりも大きい露光ダイナミックレンジ（すなわち、より大きい明暗差）を実現するための一連の技術である。ハイダイナミックレンジイメージングは、実世界で太陽光が最も暗い影に直射するような広い範囲の輝度を正確に表示することを目的とする。
【0003】
ハイダイナミックレンジイメージングは、同一のシーン、異なる露光度での複数の写真を撮影し、それらを合理的に結合することを中心的な思想とする。現在、ハイダイナミックレンジイメージング領域のほとんどは、従来の画像アルゴリズムによって実現されており、典型的な結合方法は、画像特徴ピラミッドに基づいて結合する。しかしながら、従来の画像アルゴリズム画像を処理する過程において、陰や逆光の人物像シーンに対する結合効果が比較的悪く、人の顔が暗すぎて、シャープ化が深刻で、輝度や肌の色が不自然である。
【発明の概要】
【0004】
本開示は、画像処理方法、装置及び記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本開示の実施例の第１の態様によれば、画像処理方法を提供し、前記画像処理方法は、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
【0006】
選択可能に、前記方法は、
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
【0007】
選択可能に、前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
【0008】
選択可能に、前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
【0009】
選択可能に、調整された結合サブ画像に基づいて、目標画像を得るステップは、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
【0010】
選択可能に、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップは、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む。
【0011】
本開示の実施例の第２の態様によれば、画像処理装置を提供し、前記画像処理装置は、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュールと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュールと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュールと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュールと、を含む。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュールであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュールと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュールと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュールと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュールと、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュールと、を含む。
【0012】
選択可能に、前記装置は、
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む。
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む。
【0013】
選択可能に、前記第４の決定モジュールは、さらに
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
【0014】
選択可能に、前記第４の決定モジュールは、さらに、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
【0015】
選択可能に、前記第２の決定モジュールは、さらに、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
【0016】
選択可能に、前記調整モジュールは、さらに、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される。
【0017】
本開示の実施例の第３の態様によれば、画像処理装置を提供し、前記画像処理装置は、
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、実行時に、上記第１の態様内のいずれかの画像処理方法におけるステップを実現するように構成される。
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含み、
前記プロセッサは、実行時に、上記第１の態様内のいずれかの画像処理方法におけるステップを実現するように構成される。
【0018】
本開示の実施例の第４の態様によれば、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、前記装置が第１の態様のいずれかの画像処理方法におけるステップを実行できるようにする非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
【発明の効果】
【0019】
本開示の実施例により提供される技術案は、以下の有益な効果を含むことができる。
本開示の実施例では、処理対象画像を結合し、結合サブ画像を得た後、設定された輝度調整パラメータに基づいて結合サブ画像の輝度を調整することができ、例えば、輝度調整パラメータに基づいて結合サブ画像に対して輝度向上処理を行うか、又は輝度調整パラメータに基づいて結合サブ画像の輝度を低下させることができ、このようにして、調整された結合サブ画像に基づいて目標画像を構築する過程において、最終的に得られた目標画像の輝度をより適切にすることができる。
本開示の実施例では、処理対象画像を結合し、結合サブ画像を得た後、設定された輝度調整パラメータに基づいて結合サブ画像の輝度を調整することができ、例えば、輝度調整パラメータに基づいて結合サブ画像に対して輝度向上処理を行うか、又は輝度調整パラメータに基づいて結合サブ画像の輝度を低下させることができ、このようにして、調整された結合サブ画像に基づいて目標画像を構築する過程において、最終的に得られた目標画像の輝度をより適切にすることができる。
【0020】
以上の一般的な説明及び以下の詳細な説明は、例示的かつ説明的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
【図面の簡単な説明】
【0021】
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本開示に適合する実施例を示し、明細書とともに本開示の原理を説明することに用いられる。
【図1】例示的な一実施例に係る画像処理方法のフロー概略図である。
【図2】例示的な一実施例に係るラプラスピラミッドの概略図である。
【図3】例示的な一実施例に係る線形区分の概略図である。
【図4】例示的な一実施例に係る別の画像処理方法のフロー概略図である。
【図5】例示的な一実施例に係る画像処理装置のブロック図である。
【図6】例示的な一実施例に係る画像処理装置１２００のブロック図である。
【図7】例示的な一実施例に係る別の画像処理装置１３００のブロック図である。
【発明を実施するための形態】
【0022】
ここで、例示的な実施例を説明し、その例を図面に示す。以下の説明が図面に関連する場合、異なる図面における同じ数字は、別段の表示がない限り、同じ又は類似の要素を表す。以下の例示的な実施例に記載された実施形態は、本開示と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に記載された本開示のいくつかの態様に合致する装置及び方法の一例に過ぎない。
【0023】
【0024】
ステップ１０１において、収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立し、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であり、
ステップ１０２において、各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定し、
ステップ１０３において、前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得て、
ステップ１０４において、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整し、
ステップ１０５において、調整された結合サブ画像に基づいて、目標画像を得る。
ステップ１０２において、各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定し、
ステップ１０３において、前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得て、
ステップ１０４において、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整し、
ステップ１０５において、調整された結合サブ画像に基づいて、目標画像を得る。
【0025】
本開示の実施例に係る画像処理方法を携帯端末又は固定端末を含む電子機器に適用することができ、ここで、携帯端末は、携帯電話、タブレット、ノートパソコンなどを含み、固定端末は、パーソナルコンピュータを含む。他の選択可能な実施例において、当該画像処理方法は、サーバ及び処理センタなどを含むネットワーク側の装置において実行することができる。
【0026】
別のいくつかの実施例において、当該電子機器が画像収集モジュールを有してもよく、ここで、画像収集モジュールは、画像収集機能を有するカメラであってもよい。
【0027】
実現の過程では、画像収集モジュールに基づいてＭフレームの処理対象画像を収集することができ、ここで、各フレームの処理対象画像の露光度が異なる。別のいくつかの実施例において、当該電子機器以外の他の電子機器によってＭフレームの処理対象画像を予め収集し、実現の過程では、他の電子機器によって収集されたＭフレームの処理対象画像を当該電子機器に入力することができる。つまり、電子機器に付属する画像収集モジュールに基づいて処理対象画像の収集を行うことができるし、当該電子機器以外の他の電子機器に基づいて処理対象画像の収集を行うこともできる。
【0028】
電子機器が携帯電話であることを例として、実現の過程では、携帯電話に付属する画像収集モジュールに基づいてＭフレームの処理対象画像を収集し、Ｍ個の第１の画像集合を構築することができる。いくつかの実施例において、Ｍが正整数、例えば、４であってもよく、すなわち、４フレームの処理対象画像を収集することができる。
【0029】
ここで、第１の画像集合が処理対象画像のラプラスピラミッドであってもよい。つまり、本開示の実施例において、Ｍフレームの処理対象画像が得られた後、各フレームの処理対象画像に対してラプラスピラミッドを構築することができる。処理対象画像のラプラスピラミッドは、ピラミッド状に配列され、解像度が段階的に変化し、同一のフレームの処理対象画像（オリジナル画像）からの一連の画像集合であり、ステップダウンサンプリングによって取得することができる。
【0030】
図２は、例示的な一実施例に係るラプラスピラミッドの概略図であり、図２に示すように、第１の画像集合がラプラスピラミッドであり、Ｎが４であることを例として、ラプラスピラミッドの底部が処理対象画像の高解像度表示であり、頂部が低解像度表示である。第１層（頂部）の解像度が３２×３２であり、第２層の解像度が６４×６４であり、第３層の解像度が１２８×１２８であり、第４層（底部）の解像度が２５６×２５６である。
【0031】
別のいくつかの実施例において、先ず処理対象画像に対してガウス平滑化処理を行い、処理対象画像に対してガウス平滑化処理を行った後、ステップダウンサンプリングによって当該処理対象画像のラプラスピラミッドを取得することもできる。
【0032】
本開示の実施例において、第１の画像集合が得られた後、各フレームの処理対象画像の輝度情報に基づいて、第１の画像集合における各層の処理対処画像に対応する結合重みを決定することができる。ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。例えば、処理対象画像の輝度値、コントラスト、飽和度などの特徴に基づいて、第１の画像集合における各層の処理対象画像に対応する結合重みを計算することができる。例えば、各層の処理対象サブ画像の結合重みを個別に計算するか、又は解像度が最も大きい一層の処理対象サブ画像の結合重みを計算してから、ダウンサンプリングを行い、他の層の結合重みを取得することができる。
【0033】
別のいくつかの実施例において、第１の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、各層の結合重みに対して正規化処理を行うこともできる。いくつかの実施例において、重み曲線が、平均値及び分散値が異なるガウス曲線である。別のいくつかの実施例において、結合重みに対して正規化処理を行った後、各層の処理対象サブ画像が１つの結合重みに対応し、これにより、各層の処理対象サブ画像に対応する結合重みに基づいて、各フレームの処理対象画像の重みのガウスピラミッドを取得することができ、Ｍフレームの処理対象画像がＭ個の重みを有するガウスピラミッドに対応する。
【0034】
本開示の実施例において、第１の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、異なる処理対象画像の特徴と詳細を結合するように、Ｍ個の第１の画像集合における対応する階層の処理対象サブ画像に対して結合重みに基づいて結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を取得することができる。
【0035】
例えば、結合重みに基づいて、第１の画像集合における各層の処理対象画像に対して重み付けを行い、重み付けされた処理対象サブ画像を合計し、各層の結合サブ画像を取得することができ、すなわち、対応するラプラスピラミッドを取得することができる。つまり、本開示において、重みのガウスピラミッド及び処理対象画像のラプラスピラミッドの各層に対して重み合計を行うことにより、結合画像のラプラスピラミッドを取得することができる。
【0036】
本開示の実施例において、結合重みに基づいてＭ個の第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を実行する過程において、設定された輝度調整パラメータに基づいてＮ個の結合サブ画像における少なくとも１つの結合サブ画像の輝度を調整し、調整された結合サブ画像に基づいて目標画像を取得することができる。
【0037】
別のいくつかの実施例において、結合重みに基づいてＭ個の第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行った後、設定された輝度調整パラメータに基づいて、Ｎ個の結合サブ画像における少なくとも１つの画像の輝度を調整し、調整された結合サブ画像に基づいて、目標画像を取得することができる。
【0038】
本開示の実施例において、処理対象画像を結合し、結合サブ画像が得られた後、設定された輝度調整パラメータに基づいて結合サブ画像の輝度を調整することができ、例えば、輝度調整パラメータに基づいて結合サブ画像に対して輝度向上処理を行うか、又は輝度調整パラメータに基づいて結合サブ画像の輝度を低下させることができ、このようにして、調整された結合サブ画像に基づいて目標画像を構築する過程において、最終的に得られた目標画像の輝度をより適切にすることができる。
【0039】
いくつかの実施例において、設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップは、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するステップを含む。
【0040】
ここで、Ｎが４である場合を例として、図２に示すように、図２における後ろから第２層（Ｎ－１層）の結合サブ画像の輝度を調整することができ、後ろから第２層の解像度が比較的高いので、解像度が高い結合サブ画像の輝度を調整することは、解像度が比較的低い結合サブ画像の輝度を調整するよりも、最終的に得られた目標画像の輝度をより適切なものにした上で、最終的に得られた目標画像の鮮鋭度をより高くすることができる。
【0041】
もちろん、別のいくつかの実施例において、第Ｎ－２層に位置する結合サブ画像の輝度を調整するか、又は第Ｎ－３層の結合サブ画像の輝度を調整するか、又は第Ｎ－１層及び第Ｎ－２層に位置する結合サブ画像の輝度を同時に調整することができる。具体的な調整方式は、結合サブ画像の階層又は必要に応じて設定することができ、ここでは具体的に限定しない。
【0042】
いくつかの実施例において、前記方法は、
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするステップと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するステップと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップと、をさらに含む。
【0043】
ここで、Ｍフレームの処理対象画像が得られた後、Ｍフレームの処理対象画像の輝度情報に基づいて、Ｍフレームの処理対象画像をソートし、ソート結果に基づいてＭフレームの処理対象画像から標準露光画像を決定することができる。ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。
【0044】
輝度情報が処理対象画像の輝度値であることを例として、処理対象画像の輝度値に基づいて、Ｍフレームの処理対象画像をソートし、ソート結果に基づいて処理対象画像から標準露光画像を決定することができる。例えば、設定位置にソートされた処理対象画像を標準露光画像として決定することができ、ここで、設定位置は、中間位置などを含むことができる。いくつかの実施例において、設定位置は、必要に応じて設定することができ、例えば、経験に基づいて設定するか、又は履歴データに基づいて設定することができる。
【0045】
ここで、Ｍが５であり、すなわち、５フレームの処理対象画像がある場合を例として、ここで、第１の処理対象画像の輝度値が５ルクス（ｌｕｘ）であり、第２の処理対象画像の輝度値が４ルクスであり、第３の処理対象画像の輝度値が７ルクスであり、第４の処理対象画像の輝度値が２ルクスであり、第５の処理対象画像の輝度値が３ルクスである。第２の処理対象画像が中間位置にあるので、第２の処理対象画像を標準露光画像として決定することができる。
【0046】
本開示の実施例において、標準露光画像が決定された後、標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、輝度調整パラメータを決定することができる。ここで、現在調整対象の結合サブ画像が第Ｎ－１層に位置する結合サブ画像であってもよいし、もちろん、他の階層に位置する結合サブ画像であってもよいし、ここで具体的に限定しない。
【0047】
本開示の実施例において、設定位置にある処理対象画像の輝度が比較的適切なので、設定位置の処理対象画像を標準露光画像として決定し、標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、輝度調整パラメータを一括して決定することにより、輝度調整パラメータをより正確にすることができる。
【0048】
別のいくつかの実施例において、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係を予め確立することもできる。これにより、実現中、標準露光画像が決定された場合、標準露光画像の輝度情報及び予め確立されたマッピング関係に基づいて、輝度調整パラメータを決定し、当該輝度調整パラメータに基づいて調整対象の結合サブ画像の輝度を調整することができる。
【0049】
いくつかの実施例において、前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するステップは、
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定するステップと、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップと、を含む。
【0050】
ここで、標準露光画像における各画像領域の第１の平均輝度値、及び現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、第１の平均輝度値及び第２の平均輝度値に基づいて輝度調整パラメータを決定することができる。平均値を計算することにより、得られた輝度調整パラメータをより均一にし、調整された結合サブ画像の輝度をより適切にすることができる。
【0051】
別のいくつかの実施例において、画像処理アルゴリズムに基づいて標準露光画像における第１の目標領域（例えば、顔領域）の第３の平均輝度値を決定し、画像処理アルゴリズムに基づいて現在の調整対象の結合サブ画像における第２の目標領域（例えば、顔領域）の第４の平均輝度値を決定し、第３の平均輝度値及び第４の平均輝度値に基づいて輝度調整パラメータを決定することもできる。これにより、目標領域の輝度を目的に合わせて調整することができ、例えば、目標領域の輝度がより自然になるように、顔の輝度を調整することができる。
【0052】
いくつかの実施例において、前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するステップは、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するステップを含む。
【0053】
本開示の実施例において、第１の平均輝度値と第２の平均輝度値との差を輝度調整パラメータとして決定した後、輝度調整パラメータに基づいてＮ個の結合サブ画像における少なくとも１つの結合サブ画像の輝度を調整する際に、当該少なくとも１つの結合サブ画像の輝度及び当該輝度調整パラメータを直接加算し、目標輝度値を得て、当該少なくとも１つの結合サブ画像の輝度を当該目標輝度値に調整することができる。つまり、当該結合サブ画像の輝度値を当該標準露光画像の輝度値と同じになるように調整することができる。
【0054】
いくつかの実施例において、調整された結合サブ画像に基づいて、目標画像を得るステップは、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得るステップと、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るステップと、を含む。
【0055】
ここで、Ｎ個の画像における少なくとも１つの結合サブ画像の輝度を調整した後、結合画像に対応するラプラスピラミッドを取得することができ、この場合、結合画像に対応するラプラスピラミッドの最上層から回帰し、最小解像度からアップサンプリングして上位層の特徴と重畳し、結合画像を取得することができる。
【0056】
本開示の実施例において、結合画像の再構築中、ある層（例えば、第Ｎ－１層）で結合サブ画像に対して区分された線形輝度向上を行うことができ、図３は、例示的な一実施例に係る線形区分の概略図であり、図３に示すように、横座標が調整対象の結合サブ画像の輝度値であり、縦座標が標準露光画像の輝度値である。本開示の実施例において、調整対象の結合サブ画像の輝度がより適切になるように、調整対象の結合サブ画像に対して区分された線形マッピングを行うことができる。区分された線形輝度向上では、調整対象の結合サブ画像における顔領域の平均輝度及び標準露光画像における顔領域の平均輝度によって区分されたノードを決定し、当該ノードの後に調整対象の結合サブ画像の輝度を調整することができる。例えば、調整対象の結合サブ画像の輝度を標準露光画像の輝度と同じになるように調整する。
【0057】
別のいくつかの実施例において、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係を予め確立することもできる。これにより、実現中、標準露光画像が決定された場合、標準露光画像の輝度情報及び予め確立されたマッピング関係に基づいて、輝度調整パラメータを決定し、当該輝度調整パラメータに基づいて調整対象の結合サブ画像の輝度を調整することができる。
【0058】
ここで、標準露光画像の輝度情報と調整対象の結合サブ画像の輝度情報とのマッピング関係は、以下のように表すことができ、
ｙ＝ａｘ＋ｂ （１）
式（１）において、ｙは調整対象の結合サブ画像の輝度情報を表し、ｘは標準露光画像の輝度情報を表し、ａは変化係数であり、ｂは定数項である。
ｙ＝ａｘ＋ｂ （１）
式（１）において、ｙは調整対象の結合サブ画像の輝度情報を表し、ｘは標準露光画像の輝度情報を表し、ａは変化係数であり、ｂは定数項である。
【0059】
ここで、ａ及びｂの数値を必要に応じて設定することができ、例えば、ａ＝１、ｂ＝０であり、ａ＝１、ｂ＝０である場合、調整対象の結合サブ画像の輝度情報を標準露光画像の輝度情報の輝度情報と同じになるように調整することができる。
【0060】
本開示の実施例において、結合画像が得られた後、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得することができ、例えば、結合画像のラプラスピラミッド及び標準露光画像のラプラスピラミッドを構築し、結合画像及び標準露光画像の輝度情報に基づいてラプラスピラミッドにおける各層の結合対象サブ画像の結合重みを取得し、各層の結合対象サブ画像の結合重みに基づいて結合画像及び標準露光画像に対して重み付け結合処理を行い、目標画像を取得することができる。これにより、結合画像及び標準露光画像の特徴及び詳細を結合し、目標画像がより自然になるようにすることができる。
【0061】
【0062】
ステップ４０１において、Ｍフレームの処理対象画像を入力する。
【0063】
実現の過程では、画像収集モジュールに基づいてＭフレームの処理対象画像を収集することができ、ここで、各フレームの処理対象画像の露光度が異なる。別のいくつかの実施例において、当該電子機器以外の他の電子機器によってＭフレームの処理対象画像を予め収集し、実現の過程では、他の電子機器によって収集されたＭフレームの処理対象画像を当該電子機器に入力することができる。つまり、電子機器に付属する画像収集モジュールに基づいて処理対象画像の収集を行うことができるし、当該電子機器以外の他の電子機器に基づいて処理対象画像の収集を行うこともできる。
【0064】
ステップ４０２において、各フレームの処理対象画像のラプラスピラミッドを構築する。
【0065】
本開示の実施例において、Ｍフレームの処理対象画像が得られた後、各フレームの処理対象画像に対してラプラスピラミッドを構築することができる。処理対象画像のラプラスピラミッドは、ピラミッド状に配列され、解像度が段階的に変化し、同一のフレームの処理対象画像（オリジナル画像）からの一連の画像集合であり、ステップダウンサンプリングによって取得することができる。
【0066】
ステップ４０３において、各フレームの処理対象画像の輝度情報に基づいて、ラプラスピラミッドにおける各層の処理対象サブ画像に対応する結合重みを決定する。
【0067】
ここで、輝度情報は、処理対象サブ画像の輝度値、コントラスト、飽和度などの情報を含むことができる。例えば、処理対象画像の輝度値、コントラスト、飽和度などの特徴に基づいて、第１の画像集合における各層の処理対象画像に対応する結合重みを計算することができる。例えば、各層の処理対象サブ画像の結合重みを個別に計算するか、又は解像度が最も大きい一層の処理対象サブ画像の結合重みを計算してから、ダウンサンプリングを行い、他の層の結合重みを取得することができる。
【0068】
ステップ４０４において、結合重みに基づいて、ラプラスピラミッドにおける各層の処理対象サブ画像に対して重み付け結合を行い、結合画像のラプラスピラミッドを取得する。
【0069】
本開示の実施例において、第１の画像集合における各層の処理対象サブ画像に対応する結合重みが得られた後、異なる処理対象画像の特徴及び詳細を結合するように、Ｍ個の第１の画像集合における対応する階層の処理対象サブ画像に対して結合重みに基づいて結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を取得することができる。
【0070】
ステップ４０５において、結合画像のラプラスピラミッドを再構築し、再構築中に、区分された線形輝度向上を行い、結合画像を取得する。
【0071】
本開示の実施例において、結合重みに基づいてＭ個の第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行う中、設定された輝度調整パラメータに基づいて、Ｎ個の結合サブ画像における少なくとも１つの結合サブ画像の輝度を調整し、調整された結合サブ画像に基づいて、結合画像を取得することができる。
【0072】
ステップ４０６において、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得する。
【0073】
本開示の実施例において、結合画像が得られた後、結合画像及び標準露光画像に対して結合処理を行い、目標画像を取得することができ、例えば、結合画像のラプラスピラミッド及び標準露光画像のラプラスピラミッドを構築し、結合画像及び標準露光画像の輝度情報に基づいてラプラスピラミッドにおける各層の結合対象サブ画像の結合重みを取得し、各層の結合対象サブ画像の結合重みに基づいて結合画像及び標準露光画像に対して重み付け結合処理を行い、目標画像を取得することができる。これにより、結合画像及び標準露光画像の特徴及び詳細を結合し、目標画像がより自然になるようにすることができる。
【0074】
図５は、例示的な一実施例に係る画像処理装置のブロック図であり、図５に示すように、当該画像処理装置５００は、電子機器に適用され、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュール５０１であって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュール５０１と、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュール５０２と、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュール５０３と、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュール５０４と、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュール５０５と、を主に含む。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するように構成される構築モジュール５０１であって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数である構築モジュール５０１と、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するように構成される第１の決定モジュール５０２と、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るように構成される結合モジュール５０３と、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するように構成されている調整モジュール５０４と、
調整された結合サブ画像に基づいて、目標画像を得るように構成される第２の決定モジュール５０５と、を主に含む。
【0075】
いくつかの実施例において、前記装置４００は、
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む。
Ｍフレームの前記処理対象画像の輝度情報に基づいて、Ｍフレームの前記処理対象画像をソートするように構成されるソートモジュールと、
ソート結果に基づいて、Ｍフレームの前記処理対象画像から標準露光画像を決定するように構成される第３の決定モジュールと、
前記標準露光画像の輝度情報及び現在の調整対象の結合サブ画像の輝度情報に基づいて、前記輝度調整パラメータを決定するように構成される第４の決定モジュールと、をさらに含む。
【0076】
いくつかの実施例において、前記第４の決定モジュールは、さらに、
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
前記標準露光画像における各画像領域の第１の平均輝度値、及び前記現在の調整対象の結合サブ画像における各画像領域の第２の平均輝度値を決定し、
前記第１の平均輝度値及び前記第２の平均輝度値に基づいて、前記輝度調整パラメータを決定するように構成される。
【0077】
いくつかの実施例において、前記第４の決定モジュールは、さらに、
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
前記第１の平均輝度値と前記第２の平均輝度値との差を前記輝度調整パラメータとして決定するように構成される。
【0078】
いくつかの実施例において、前記第２の決定モジュール５０５は、さらに、
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整した後、各層の前記結合サブ画像に対して重畳処理を行い、結合画像を得て、
前記結合画像及び前記標準露光画像に対して結合処理を行い、前記目標画像を得るように構成される。
【0079】
いくつかの実施例において、前記調整モジュール５０４は、さらに、
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される。
前記輝度調整パラメータに基づいて、第Ｎ－１層に位置する結合サブ画像の輝度を調整するように構成される。
【0080】
上記実施例における装置について、各モジュールが操作を実行する具体的な形態は、当該方法に関連する実施例において詳細に説明したが、ここで詳細に説明しない。
【0081】
図６は、例示的な一実施例に係る画像処理装置１２００のブロック図である。例えば、装置１２００が携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療デバイス、フィットネスデバイス、携帯情報端末などであってもよい。
【0082】
図６を参照して、装置１２００は、処理コンポーネント１２０２、メモリ１２０４、電源コンポーネント１２０６、マルチメディアコンポーネント１２０８、オーディオコンポーネント１２１０、入力／出力（Ｉ／Ｏ）インタフェース１２１２、センサコンポーネント１２１４、及び通信コンポーネント１２１６の１つ又は複数を含むことができる。
【0083】
処理コンポーネント１２０２は、通常、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作など、装置１２００の全体的な操作を制御する。処理コンポーネント１２０２は、命令を実行して上記方法の全部又は一部のステップを完成するための１つ又は複数のプロセッサ１２２０を含むことができる。また、処理コンポーネント１２０２は、処理コンポーネント１２０２と他のコンポーネントとの間のインタラクションを容易にするための１つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント１２０２は、マルチメディアコンポーネント１２０８と処理コンポーネント１２０２との間のインタラクションを容易にするためのメディアモジュールを含むことができる。
【0084】
メモリ１２０４は、デバイス１２００での操作を支援するように、様々なデータを記憶するように構成される。これらのデータの例は、連絡先データ、電話帳データ、メッセージ、画像、動画などの装置１２００で操作するためのいずれかのアプリケーション又は方法の命令を含む。メモリ１２０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、ディスク、光ディスクなどの任意のタイプの一時的又は非一時的な記憶媒体、又はそれらの組み合わせによって実現することができる。
【0085】
電源コンポーネント１２０６は、装置１２００の様々なコンポーネントに電力を提供する。電源コンポーネント１２０６は、電源管理システム、１つ又は複数の電源、及び装置１２００の電力の生成、管理及び分配に関連する他のコンポーネントを含むことができる。
【0086】
マルチメディアコンポーネント１２０８は、前記装置１２００とユーザとの間に１つの出力インタフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含むことができる。スクリーンは、タッチパネルを含む場合、ユーザからの入力信号を受信するためのタッチスクリーンとして実現することができる。タッチパネルは、タッチ、スライド及びタッチパネル上のジェスチャーを検知するための１つ又は複数のタッチセンサを含む。前記タッチセンサは、タッチ又はスライド動作の境界線を検知するだけではなく、前記タッチ又はスライド操作に関連する持続時間及び圧力も検出する。いくつかの実施例において、メディア１２０８は、１つのフロントカメラ及び／又はリアカメラを含む。フロントカメラ及び／又はリアカメラは、デバイス１２００が、撮影モード又はビデオモードなどの操作モードにある場合、外部のメディアデータを受信することができる。各フロントカメラ及びリアカメラは、１つの固定する光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有してもよい。
【0087】
オーディオコンポーネント１２１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント１２１０は、１つのマイクロフォン（ＭＩＣ）を含み、マイクロフォンは、装置１２００が呼び出しモード、記録モード及び音声認識モードなどの操作モードにある場合、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ１２０４に記憶されるか、又は通信コンポーネント１２１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント１２１０は、オーディオ信号を出力するためのスピーカーをさらに含む。
【0088】
Ｉ／Ｏインタフェース１２１２は、処理コンポーネント１２０２と周辺インタフェースモジュールとの間にインタフェースを提供し、上記周辺インタフェースモジュールは、キーパッド、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、音量ボタン、起動ボタン及びロックボタンを含むが、これらに限定されない。
【0089】
センサコンポーネント１２１４は、装置１２００のために様々な方面の状態評価を提供するための１つ又は複数のセンサを含む。例えば、センサコンポーネント１２１４は、デバイス１２００のオン／オフ状態、コンポーネントの相対的な位置付けを検出することができ、例えば、前記コンポーネントが装置１２００のディスプレイ及びキーパッドであり、センサコンポーネント１２１４は、装置１２００又は装置１２００の１つのコンポーネントの位置変化、ユーザと装置１２００との接触の有無、装置１２００の方位又は加速／減速及び装置１２００の温度変化を検出することもできる。センサコンポーネント１２１４は、物理的接触が一切ない場合、近傍の物体の存在を検出するための接近センサを含むことができる。センサコンポーネント１２１４は、撮像アプリケーションで使用するためのＣＭＯＳ又はＣＣＤ画像センサなどの光センサをさらに含むことができる。いくつかの実施例において、当該センサコンポーネント１２１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。
【0090】
通信コンポーネント１２１６は、装置１２００と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。装置１２００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント１２１６は、放送チャンネルを介して外部放送管理システムからの放送信号又は放送に関連する情報を受信する。例示的な一実施例において、前記通信コンポーネント１２１６は、近距離通信を容易にするために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術、及び他の技術に基づいて実現することができる。
【0091】
例示的な実施例において、装置１２００は、上記方法を実現するために、１つ又は複数のアプリケーション特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。
【0092】
例示的な実施例において、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体、例えば、命令を含むメモリ１２０４をさらに提供し、上記命令は、上記方法を完成するように、装置１２００のプロセッサ１２２０によって実行することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などであってもよい。
【0093】
非一時的なコンピュータ読み取り可能な記憶媒体は、前記記憶媒体における命令が画像処理装置のプロセッサによって実行される場合、画像処理装置が１つの画像処理方法を実行することを可能にし、前記方法は、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
【0094】
図７は、例示的な一実施例に係る別の画像処理装置１３００のブロック図である。例えば、装置１３００は、サーバとして提供されてもよい。図７を参照すると、装置１３００は、１つ又は複数のプロセッサ、及び処理コンポーネント１３２２によって実行可能な命令を記憶するためのメモリ１３３２によって表されるメモリリソース、例えば、アプリケーションをさらに含む処理コンポーネント１３２２を含む。メモリ１３３２に記憶されているアプリケーションは、それぞれが一群の命令に対応する１つ又は複数のモジュールを含むことができる。また、処理コンポーネント１３２２は、上記画像処理方法を実行するように、命令を実行するように構成され、前記方法は、
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
収集されたＭフレームの処理対象画像に基づいて、Ｍ個の第１の画像集合を確立するステップであって、各フレームの前記処理対象画像は、設定された順序で階層的に配列されたＮ個の処理対象サブ画像を含む前記第１の画像集合に対応し、異なる階層に位置する前記処理対象サブ画像が異なる解像度表現を有し、Ｍ及びＮがいずれも正整数であるステップと、
各フレームの前記処理対象画像の輝度情報に基づいて、各前記第１の画像集合における各層の前記処理対象サブ画像に対応する結合重みを決定するステップと、
前記結合重みに基づいて、Ｍ個の前記第１の画像集合における対応する階層の処理対象サブ画像に対して結合処理を行い、前記設定された順序で階層的に配列されたＮ個の結合サブ画像を得るステップと、
設定された輝度調整パラメータに基づいて、Ｎ個の前記結合サブ画像における少なくとも１つの前記結合サブ画像の輝度を調整するステップと、
調整された結合サブ画像に基づいて、目標画像を得るステップと、を含む。
【0095】
装置１３００は、装置１３００の電源管理を実行するように構成される１つの電源コンポーネント１３２６、装置１３００をネットワークに接続するように構成される１つの有線又は無線ネットワークインタフェース１３５０、１つ又は複数の（Ｉ／Ｏ）インタフェース１３５８をさらに含むことができる。装置１３００は、Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＭなどのメモリ１３３２に記憶されている操作システムを実行することができる。
【0096】
当業者であれば、明細書を考慮して本明細書に開示された開示を実践した後、本開示の他の実施形態を容易に想到し得る。本開示は、本開示のいかなる変形、用途又は適応的な変化をカバーすることを意図し、これらの変形、用途又は適応的な変化は、本開示の一般的な原理に従い、本開示に開示されていない当分野における周知技術又は慣用的な技術手段を含む。明細書及び実施例は、単なる例示的なものとして見なされ、本開示の真の範囲及び精神は、本開示の請求項によって示される。
【0097】
本開示は、以上に説明され、図面に示された正確な構造に限定されず、その範囲を逸脱することなく、様々な修正及び変更が可能であることを理解すべきである。本開示の範囲は、添付された特許請求の範囲のみによって限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】