特開 2019-212275 画像処理方法、画像処理装置および電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-212275(P2019-212275A)

(43)【公開日】2019年12月12日

(54)【発明の名称】画像処理方法、画像処理装置および電子機器

(51)【国際特許分類】

   G06T 5/00 20060101AFI20191115BHJP

   H04N 5/232 20060101ALI20191115BHJP

【ＦＩ】

   G06T5/00 710

   G06T5/00 705

   H04N5/232 290

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2018-225453(P2018-225453)

(22)【出願日】2018年11月30日

(31)【優先権主張番号】201810583369.8

(32)【優先日】2018年6月7日

(33)【優先権主張国】CN

(71)【出願人】

【識別番号】518427708

【氏名又は名称】北京曠視科技有限公司

【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＫＵＡＮＧＳＨＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】▲黄▼ ▲海▼斌

(72)【発明者】

【氏名】巫 奇豪

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA01

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE03

5B057CE05

5B057CE08

5B057DC16

5C122EA22

5C122FH03

5C122FH09

5C122FH11

5C122FH18

5C122HA48

5C122HB01

(57)【要約】      （修正有）

【課題】画像処理技術分野に関し、画像処理方法、装置及び電子機器を提供する。
【解決手段】画像処理方法は、処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成し、ノイズリダクション画像から抽出された対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成し、ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る。
【効果】対象領域画像に対してディテール強化処理を行うため、得られる出力画像はより鮮鋭であり、表示効果がより良好になる。
【選択図】図２

【特許請求の範囲】

【請求項1】

処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するステップと、
前記ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出するステップと、
前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するステップと、
前記ノイズリダクション画像を前記ディテール強化画像と融合させて出力画像を得るステップと
を含むことを特徴とする、画像処理方法。

【請求項2】

前記処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するステップは、
前記処理待ち画像をノイズリダクションネットワークに入力し、前記ノイズリダクションネットワークの出力を前記ノイズリダクション画像とすることを含み、
前記ノイズリダクションネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用し、
前記ノイズリダクション画像と前記処理待ち画像は同じサイズである
ことを特徴とする、請求項１に記載の画像処理方法。

【請求項3】

前記畳み込み-逆畳み込みニューラルネットワークは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）及び逆畳み込みニューラルネットワーク（Ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を含み、
前記畳み込みニューラルネットワークは、少なくとも一つの畳み込みレイヤーを備え、前記少なくとも一つの畳み込みレイヤーにおける各畳み込みレイヤーは、１つ又は複数の第１畳み込みカーネルを備え、前記第１畳み込みカーネルによって、前記処理待ち画像の画素行列にわたってからノイズリダクション特徴マップを取得し、
前記逆畳み込みニューラルネットワークは、前記畳み込みニューラルネットワークと対称する構造を利用し、前記逆畳み込みニューラルネットワークは、少なくとも一つの逆畳み込みレイヤーを備え、前記少なくとも一つの逆畳み込みレイヤーにおける各逆畳み込みレイヤーは、対応する畳み込みレイヤーと同じ数の第２畳み込みカーネルを備え、第２畳み込みカーネルによって、前記ノイズリダクション特徴マップの特徴行列にわたってからノイズリダクション画像を得る
ことを特徴とする、請求項２に記載の画像処理方法。

【請求項4】

前記ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出するステップは、
畳み込みニューラルネットワークを利用する対象抽出ネットワークにより、前記ノイズリダクション画像内における前記撮影対象物の存在領域を特定することと、
前記ノイズリダクション画像から前記撮影対象物の存在領域を分離して前記対象領域画像を得ることと
を含むことを特徴とする、請求項１に記載の画像処理方法。

【請求項5】

前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するステップは、
前記対象領域画像をディテール強化ネットワークに入力し、前記ディテール強化ネットワークの出力を前記ディテール強化画像とすることを含み、
前記ディテール強化ネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用し、
前記ディテール強化画像と前記対象領域画像は同じサイズである
ことを特徴とする、請求項１に記載の画像処理方法。

【請求項6】

前記ノイズリダクション画像を前記ディテール強化画像と融合させて出力画像を得るステップは、
前記ディテール強化画像で、前記ノイズリダクション画像における前記対象領域画像を置き換えるステップと、
前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形的に融合するステップと
を含むことを特徴とする、請求項１に記載の画像処理方法。

【請求項7】

前記ディテール強化画像で前記ノイズリダクション画像における前記対象領域画像を置き換えるステップは、
次の式により、前記置換処理を実現するステップを含み、

【数3】

ただし、Ｒ＿ｆｉｎａｌは出力画像であり、Ｒ＿２０６は前記ディテール強化画像であり、Ｒ＿２０２は前記ノイズリダクション画像であり、ａは前記対象領域画像の前記ノイズリダクション画像における存在領域であり、１−ａは前記ノイズリダクション画像における前記対象領域画像以外の領域である
ことを特徴とする、請求項６に記載の画像処理方法。

【請求項8】

前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形的に融合するステップは、
平滑化フィルタリングまたはウェーブレット再構成（ｗａｖｅｌｅｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）によって、前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形的に融合することを含む
ことを特徴とする、請求項６に記載の画像処理方法。

【請求項9】

前記処理待ち画像に対してノイズリダクション処理を行うステップの前に、さらに、
複数の訓練画像ペアを含む訓練画像サンプルセットを取得するステップと、
前記訓練画像サンプルセットを利用してノイズリダクションネットワーク、前記対象抽出ネットワーク、またはディテール強化ネットワークを訓練するステップと
を含むことを特徴とする、請求項２ないし５のいずれか一項に記載の画像処理方法。

【請求項10】

各訓練画像ペアは、同じ撮影環境でそれぞれ取得された一つの第１画像と一つの第２画像とを含み、
前記第１画像を取得するステップは、設定された第１の露光時間および第１の感度パラメータに従って前記第１画像を撮影して取得することを含み、
前記第２画像を取得するステップは、設定された第２の露光時間および第２の感度パラメータに従って前記第２画像を撮影して取得することを含み、
前記第２の露光時間は前記第１の露光時間よりも長く、前記第２の感度パラメータは前記第１の感度パラメータよりも小さい
ことを特徴とする、請求項９に記載の画像処理方法。

【請求項11】

前記処理待ち画像に対してノイズリダクション処理を行うステップの前に、さらに、
現在の撮影環境における光の輝度が、設定された輝度閾値未満であるか否かを判断するステップと、
そうである場合、撮影した画像を前記処理待ち画像とするステップと
を含むことを特徴とする、請求項１に記載の画像処理方法。

【請求項12】

処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するノイズリダクションモジュールと、
前記ノイズリダクション画像から前記撮影対象物に対応する対象領域画像を抽出する対象抽出モジュールと、
前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するディテール強化モジュールと、
前記ノイズリダクション画像を前記ディテール強化画像と融合させて出力画像を得る融合モジュールと
を備えることを特徴とする、画像処理装置。

【請求項13】

画像収集装置と、メモリと、プロセッサとを備える電子機器であって、
前記画像収集装置は、画像データを収集することに用いられ、
前記メモリには、プロセッサ上で動作可能なコンピュータプログラムが格納され、前記プロセッサにより、前記コンピュータプログラムを実行する時に請求項１ないし１１のいずれか１項に記載の方法のステップを実現する
ことを特徴とする、電子機器。

【請求項14】

コンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される時に請求項１ないし１１のいずれか一項に記載の方法のステップを実行する、ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理技術分野に関し、特に、画像処理方法、装置、および電子機器に関する。

【背景技術】

【0002】

光が足りない場合には、スマートフォンのような電子機器によって撮影された画像には、局所的なノイズが多く、撮影対象物のディテールが失われることがしばしば発生する。電子機器によって暗い環境で撮影された写真の場合、現在の画像処理技術は通常、ノイズリダクション方法を使用して画像内のノイズの一部を除去するが、既存のノイズリダクション方法によると、スミアの感じが強くて、画像の重要な部分のディーテルを復元することができないため、画像の歪みを引き起こす可能性がある。

【発明の概要】

【0003】

そこで、本開示の目的は、画像の鮮鋭度を向上させ、既存のノイズリダクション方法による画像の歪みを改善することができる画像処理方法、装置及び電子機器を提供することである。

【課題を解決するための手段】

【0004】

上記目的を達成するために、本開示は、以下の技術案を提供する。

【0005】

第１方面では、本開示の一実施形態は、
処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するステップと、
前記ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出するステップと、
前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するステップと、
前記ノイズリダクション画像を前記ディテール強化画像と融合させて出力画像を取得するステップと
を含む、画像処理方法を提供する。

【0006】

第１方面を参照する上で、本開示の実施例は第１方面の第１の可能な実施態様を提供する。前記処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するステップは、
前記処理待ち画像をノイズリダクションネットワークに入力して前記ノイズリダクションネットワークの出力を前記ノイズリダクション画像とすることを含み、前記ノイズリダクションネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用し、前記ノイズリダクション画像と前記処理待ち画像は同じサイズである。

【0007】

第１方面の第１の可能な実施形態を参照する上で、本開示の実施例は、第１方面の第２の可能な実施態様を提供する。ここで、前記畳み込み-逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと逆畳み込みニューラルネットワークを含み、
前記畳み込みニューラルネットワークは、少なくとも一つの畳み込みレイヤーを備え、前記少なくとも一つの畳み込みレイヤーの各畳み込みレイヤーは、１つ又は複数の第１の畳み込みカーネルを備え、前記第１の畳み込みカーネルによって、前記処理待ち画像の画素行列にわたってノイズリダクション特徴マップを取得し、
前記逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと対称する構造を利用し、前記逆畳み込みニューラルネットワークは、少なくとも一つの逆畳み込みレイヤーを備え、前記少なくとも一つの逆畳み込みレイヤーの各逆畳み込みレイヤーは、対応する畳み込みレイヤと同じ数の第２の畳み込みカーネルを備え、前記第２の畳み込みカーネルによって、前記ノイズリダクション特徴マップの特徴行列にわたってノイズリダクション画像を取得する。

【0008】

第１方面を参照する上で、本開示の実施例は、第１方面の第３の可能な実施態様を提供する。ここで、前記ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出するステップは、
畳み込みニューラルネットワークを利用する対象抽出ネットワークにより、前記ノイズリダクション画像における前記撮影対象物の存在領域を特定することと、
前記ノイズリダクション画像から前記撮影対象物の存在領域を分離して前記対象領域画像を取得することと、を含む。

【0009】

第１方面を参照する上で、本開示の実施例は、第１方面の第４の可能な実施態様を提供する。前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するステップは、
前記対象領域画像をディテール強化ネットワークに入力し、前記ディテール強化ネットワークの出力を前記ディテール強化画像とすることを含み、前記ディテール強化ネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用し、前記ディテール強化画像と前記対象領域イメージは同じサイズである。

【0010】

第１方面を参照する上で、本開示の実施例は、第１方面の第５の可能な実施態様を提供する。前記ノイズリダクション画像を前記詳細強化画像と融合させて出力画像を得るステップは、
前記ディテール強化画像で、前記ノイズリダクション画像における前記対象領域画像を置き換えるステップと、
前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形的に融合するステップと、を含む。

【0011】

第１方面の第５の可能な実施態様を参照する上で、本開示の実施例は、第１方面の第６の可能な実施態様を提供する。前記ディテール強化画像で、前記ノイズリダクション画像における前記対象領域画像を置き換えるステップは、
次の式により、前記置き換え処理を実現すること、を含み、

【数1】

ただし、Ｒ＿ｆｉｎａｌは出力画像であり、Ｒ＿２０６は前記ディテール強化画像であり、Ｒ＿２０２は前記ノイズリダクション画像であり、ａは前記対象領域画像の前記ノイズリダクション画像における存在領域であり、１−ａは前記ノイズリダクション画像における対象領域画像以外の領域である。

【0012】

第１方面の第５の可能な実施態様を参照する上で、本開示の実施例は、第１方面の第７の可能な実施態様を提供する。前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形的に融合するステップは、
平滑化フィルタリングまたはウェーブレット再構成（ｗａｖｅｌｅｔ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）により、前記ディテール強化画像と前記ノイズリダクション画像とが交差する境界領域を線形融合すること、を含む。

【0013】

第１方面の第１ないし第４の可能な実施態様のいずれか一つを参照する上で、本開示の実施例は、第１方面の第８の可能な実施態様を提供する。ここで、前記処理待ち画像に対してノイズリダクション処理を行うステップの前に、この方法は、さらに、
複数の訓練画像ペアを含む訓練画像サンプルセットを取得するステップと、
前記訓練画像サンプルセットを使用して前記ノイズリダクションネットワーク、対象抽出ネットワーク、およびディテール強化ネットワークを訓練するステップと、を含む。

【0014】

第１方面の第８の可能な実施態様を参照する上で、本開示の実施例は、第１方面の第9の可能な実施態様を提供する。各訓練画像ペアは、同じ撮影環境でそれぞれ取得された第１画像と第２画像とを含み、
前記第１画像を取得するステップは、設定された第１の露光時間および第１の感度パラメータに従って前記第１画像を取得することを含み、
前記第２画像を取得するステップは、設定された第２の露光時間および第２の感度パラメータに従って前記第２画像を取得することを含み、
前記第２の露光時間は前記第１の露光時間よりも長く、前記第２の感度パラメータは前記第１の感度パラメータよりも小さい。

【0015】

第１方面の第６の可能な実施態様を参照する上で、本開示の実施例は、第１方面の第７の可能な実施態様を提供する。ここで、前記第２の露光時間は前記第１の露光時間の４−８倍である。

【0016】

第１方面を参照する上で、本開示の実施例は、第１方面の第７の可能な実施態様を提供する。前記処理待ち画像に対してノイズリダクション処理を行うステップの前に、前記方法は、さらに、
現在の撮影環境における光の輝度が、設定された輝度閾値未満であるか否かを判断するステップと、
そうである場合、撮影された画像を処理待ち画像とするステップと、を含む。

【0017】

第２方面では、本開示の実施例は、さらに、画像処理装置を提供する。前記画像処理装置は、
処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するノイズリダクションモジュールと、
前記ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出する対象抽出モジュールと、
前記対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するディテール強化モジュールと、
前記ノイズリダクション画像を前記ディテール強化画像と融合させて出力画像を得る融合モジュールと、を備える。

【0018】

第３方面では、本開示の実施例は、画像収集装置、メモリ、およびプロセッサを備える電子機器を提供する。
前記画像収集装置は、画像データを収集するために用いられ、
前記メモリには、プロセッサ上で実行可能なコンピュータプログラムが格納されており、前記コンピュータプログラムが、前記プロセッサによって実行される時に第１方面のいずれか一つの方法に記載のステップを実現する。

【0019】

第４方面では、本開示の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが格納されており、前記コンピュータプログラムが、プロセッサによって実行される時に第１方面のいずれか一つの方法に記載のステップを実現する。

【0020】

本開示の実施例によれば、以下の有益な効果を奏する。

【0021】

本開示の実施例によって提供される画像処理方法、装置、及び電子機器は、処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を得た後、ノイズリダクション画像から抽出した対象領域画像に対してディテール強化処理を行ってディテール強化画像を得る。そして、ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る。対象領域画像に対してディテール強化処理を行うため、既存のノイズリダクション方法に起因する画像歪みの問題が改善され、得られる出力画像がより鮮鋭になり、表示効果が向上される。

【0022】

本開示の他の特徴および利点は、以下の説明に記載される。あるいは、いくつかの特徴および利点は、明細書から推論または疑義なく確定できる、または本明細書に記載される技術の実施によって得られる。

【0023】

本開示の上記の目的、特徴および利点は、添付の特許請求の範囲の記載からより明らかになるであろう。

【図面の簡単な説明】

【0024】

本開示の具体的な実施形態または先行技術における技術案をより明確に説明するために、以下、具体的な実施形態または先行技術の説明に必要とされる図面を簡単に説明する。以下で説明する図面は、本開示のいくつかの実施形態であり、当業者は、これらの図面に基づいて、創造的な作業なしに、他の図面を得ることができるのは、明らかであろう。

【0025】

【図1】本開示の一実施例に係る電子機器の概略構成図である。

【図2】本開示の一実施例に係る画像処理方法のフローチャートである。

【図3】本開示の一実施例に係る畳み込み-逆畳み込みニューラルネットワークの概略構成図である。

【図4】本開示の一実施例に係る画像処理装置の構成ブロック図である。

【発明を実施するための形態】

【0026】

本開示の実施例の目的、技術案及び利点をより明らかにするために、以下、図面を参照しながら、本開示の技術案を明確かつ完全に説明する。説明する実施例は、本開示の一部の実施例であり、全ての実施例ではないことは、明らかであろう。本開示の実施例に基づいて、当業者によって創造的な作業なしに得られる他のすべての実施例は、本開示の保護範囲内にある。以下、本開示の実施例について詳細に説明する。
実施例１：

【0027】

まず、図１を参照して、本開示の一実施例に係る画像処理方法及び装置を実現するための電子機器１００の一例を説明する。

【0028】

図１に示すように、電子機器１００は、１つ以上のプロセッサ１０２、１つ以上の記憶装置１０４、入力装置１０６、出力装置１０８、および画像収集装置１１０を備え、これらの構成要素は、バスシステム１１２及び/又は他の形態の接続機構（図示せず）によって相互接続されている。図１に示す電子機器１００の構成要素および構造は、単なる例示であり、限定するものではなく、必要に応じて他の構成要素および構成を有してもよいことに留意すべきである。

【0029】

前記プロセッサ１０２は、中央処理装置（CPU）またはデータ処理能力及び/又は命令実行能力を有する他の形式の処理装置であってもよく、前記電子機器１００内の他の構成要素を制御して所望の機能を実行させることができる。

【0030】

前記記憶装置１０４は、揮発性メモリ及び/又は不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含む１つ以上のコンピュータプログラム製品を含む。前記揮発性メモリは、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）及び/又はキャッシュなどを含む。前記不揮発性メモリは、例えば、読み取り専用メモリー（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ハードディスク、フラッシュメモリ等を含む。１つ以上のコンピュータプログラム命令を前記コンピュータ読み取り可能な記憶媒体に格納することができ、プロセッサ１０２は、後述する本開示の実施形態におけるクライアント機能（プロセッサによって実装される）及び/又は他の所望の機能を実現するためにプログラム命令を実行することができる。様々なアプリケーションおよび様々なデータ、例えばアプリケーションによって使用及び/又は生成される様々なデータなども、前記コンピュータ読み取り可能な記憶媒体に格納されることができる。

【0031】

前記入力装置１０６は、ユーザが命令を入力するために使用する装置であり、キーボード、マウス、マイクロホン、タッチスクリーンなどのうちの１つ以上を備えることができる。

【0032】

前記出力装置１０８は、様々な情報（例えば、画像または音声）を外部（例えば、ユーザ）に出力することができ、さらに、ディスプレイ、スピーカなどの１つ以上を備えることができる。

【0033】

前記画像収集装置１１０は、ユーザが所望する画像（例えば、写真、ビデオなど）を撮影し、他の構成要素によって使用されるように撮影した画像を記憶装置１０４に格納することができる。

【0034】

例示的には、本開示の一実施例による画像処理方法および装置を実施するための例示的な電子機器は、スマートフォンまたはタブレットなどの移動端末として実装されてもよい。
実施例２：

【0035】

本実施例は、画像処理方法を提供する。添付図面のフローチャートに示す各ステップは、コンピュータによって実行可能な命令セットであるコンピュータシステム上で実行されてもよい。フローチャートにおいて論理的な順序を示すが、場合によっては、示されている順序とは異なる順序で示したステップ又は説明したステップを実行してもよい。以下、本実施例について詳細に説明する。

【0036】

図２は、本開示の一実施例に係る画像処理方法のフローチャートを示す。図２に示すように、該方法は、ステップS２０２、ステップS２０４、ステップS２０６、及びステップS２０８を含む。

【0037】

ステップS２０２において、処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成する。

【0038】

処理待ち画像は、スマートフォンまたは電子カメラなどの電子機器によって撮影された画像であってもよい。例えば、撮影環境が暗い場合、光が足りないため、電子機器の感光素子によって撮影されたダーク画像は、通常、局所的なノイズが多く、撮影対象物のディテールが失われることが発生する。上記のダーク画像に対して、本開示の実施例によって提供される画像処理方法を利用して処理すれば、より鮮鋭な画像を得ることができる。

【0039】

電子機器によって撮影された画像を、いずれも処理待ち画像として処理し、本開示の実施例によって提供される画像処理方法によって処理してもよい。電子機器の電力を節約して電子機器の撮影を高速化するために、ダーク画像のような、鮮鋭化処理すべき画像のみを処理待ち画像としてもよい。例えば、電子機器によって写真をとる場合、まず、現在の撮影環境における光の輝度が、設定された輝度閾値未満であるか否かを判断してもよい。具体的には、現在の撮影環境における光の輝度は、感光センサなどの感光素子によって感知してもよい。現在の撮影環境における光の輝度が設定された輝度の閾値よりも小さい場合には、電子機器によって現在撮影された画像はダーク画像とみなされ、該ダーク画像を処理待ち画像として画像処理を行う。

【0040】

処理待ち画像に対して、事前に訓練されたノイズリダクションネットワークによってノイズリダクション処理を行ってもよい。処理待ち画像をノイズリダクションネットワークに入力し、ノイズリダクションネットワークが出力するノイズリダクション画像を取得する。ノイズリダクション画像は、処理待ち画像と同じサイズである。ノイズリダクションネットワークは、図３に示す畳み込み-逆畳み込みニューラルネットワーク利用することができる。該畳み込み-逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと逆畳み込みニューラルネットワークとを含む。ここで、畳み込みニューラルネットワークと逆畳み込みニューラルネットワークは、対称する構造を取ることができる。

【0041】

畳み込みニューラルネットワークは、処理待ち画像のノイズを低減し、処理待ち画像のノイズリダクション特徴マップを得ることに用いられる。逆畳み込みニューラルネットワークは、ノイズリダクション特徴マップを処理待ち画像のサイズにマッピングし、処理待ち画像と同じサイズのノイズリダクション画像を得ることに用いられる。

【0042】

例示的に、ノイズリダクションネットワークの畳み込みニューラルネットワークは、少なくとも一つの畳み込みレイヤーを備え、前記少なくとも一つの畳み込みレイヤーの各畳み込みレイヤーは、入力画像の画素行列から画像ノイズを低減して有用な情報を抽出するための第１の畳み込みカーネルを一つ以上備える。第１の畳み込みカーネルによって、あるステップ長に従って入力画像の画素行列にわたって少なくとも１つのノイズリダクション特徴値を得る。ノイズリダクション特徴マップは、少なくとも１つのノイズリダクション特徴値から構成される。ここで、第１の畳み込みレイヤーの入力画像は処理待ち画像であり、残りの畳み込みレイヤーの入力画像は直前の畳み込みレイヤーの出力画像である。逆畳み込み演算は、畳み込み演算の逆演算であり、ノイズリダクションネットワークの逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと対称する構造を利用してもよい。逆畳み込みニューラルネットワークは、少なくとも一つの逆畳み込みレイヤーを備える。それに、少なくとも一つの逆畳み込みレイヤーにおける各層の逆畳み込みレイヤーは、対応する畳み込みレイヤーと同じ数の第２の畳み込みカーネルを備えることができる。逆畳み込みレイヤーを通過した後に、処理待ち画像と同じサイズのノイズリダクション画像を得ることができる。

【0043】

例えば、図３に示すように、サイズ２５６×２５６×３の処理待ち画像をノイズリダクションネットワークに入力し、畳み込みニューラルネットワークによって１６×１６×５１２のノイズリダクション特徴マップを得る。ノイズリダクション特徴マップは、逆畳み込みニューラルネットワークを通過した後に、２５６×２５６×３のノイズリダクション画像を得ることができる。

【0044】

ステップS２０４において、ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出する。

【0045】

本開示の実施例において、撮影対象物は、歩行者であってもよいし、人体の一部（例えば、顔）であってもよいし、動物や物体、例えば、あるランドマークビルや何らかのアイコンロゴなどであってもよい。本実施例では、これを限定しない。

【0046】

ある実施例では、対象抽出ネットワークによってノイズリダクション画像における撮影対象物の存在領域を特定してもよい。対象抽出ネットワークには、順次接続された畳み込みレイヤー、深層残留ネットワーク、地域推奨ネットワーク、関心領域プーリングレイヤー、及び完全接続レイヤーを備える畳み込みニューラルネットワークを利用することができる。対象抽出ネットワークは、一つの畳み込みレイヤー、複数の深層残留ネットワーク、一つの地域推奨ネットワーク、一つの関心領域プーリングレイヤー、および一つの完全接続レイヤーを備えることができる。

【0047】

例えば、撮影対象物が人の顔である場合、対象抽出ネットワークは、人の顔の特徴を識別するための予め訓練された畳み込みニューラルネットワークを利用することができる。あるステップ長で、矩形のスライディングウィンドウを使用してノイズ画像上にスライドし、スライディングウィンドウ内の画像を畳み込みニューラルネットワークの入力とする。畳み込みニューラルネットワークの出力が０であれば、人の顔が検出されていないことを意味する。畳み込みニューラルネットワークの出力が１であれば、人の顔が検出されたことを意味する。人の顔が位置する領域を、撮影対象物の存在領域として特定し、ノイズリダクション画像から撮影対象物の存在領域を分離して対象領域画像を得る。

【0048】

なお、ノイズリダクション画像から抽出される対象領域の画像は、１つである可能性もあるし、複数である可能性もある。例えば、ノイズリダクション画像に複数の人の顔が含まれる場合には、複数の対象領域画像を抽出できる。

【0049】

ステップS２０６において、対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成する。

【0050】

対象領域画像を事前に訓練されたディテール強化ネットワークに入力し、ディテール強化ネットワークの出力をディテール強化画像とする。ディテール強化ネットワークは、図３に示す畳み込み-逆畳み込みニューラルネットワークを利用してもよい。ディテール強化ネットワークが出力するディテール強化画像は、対象領域画像と同じサイズである。

【0051】

ノイズリダクションネットワークのネットワーク構造と同様に、ディテール強化ネットワークは、畳み込みニューラルネットワークおよび逆畳み込みニューラルネットワークを備えてもよい。畳み込みニューラルネットワークおよび逆畳み込みニューラルネットワークは、対称する構造を利用することができる。

【0052】

畳み込みニューラルネットワークは、対象領域画像のディテール特徴を抽出してディテール特徴マップを得るために用いられる。逆畳み込みニューラルネットワークは、ディテール特徴マップを対象領域画像サイズにマッピングして処理待ち画像と同じサイズのディテール強化画像を得るために用いられる。

【0053】

例えば、ディテール強化ネットワークの畳み込みニューラルネットワークは、少なくとも一つの畳み込みレイヤーを備え、各畳み込みレイヤは、入力画像の画素行列からディテール特徴情報を抽出するための１つ又は複数の畳み込みカーネルを備える。畳み込みカーネルによって、あるステップ長に従って入力画像の画素行列にわたって少なくとも１つのディテール特徴値を取得する。ディテール特徴マップは、少なくとも１つのディテール特徴値から構成される。ここで、第１の畳み込みレイヤの入力画像は、対象領域画像であり、残りの畳み込みレイヤの入力画像は、直前の畳み込みレイヤの出力画像である。ディテール強化ネットワークの逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと対称する構造を利用することができる。それに、逆畳み込みレイヤの各レイヤは、対応する畳み込みレイヤと同じ数の畳み込みカーネルを備えることができる。逆畳み込みレイヤを通過した後、対象領域画像と同じサイズのディテール強化画像を得ることができる。

【0054】

ノイズリダクション画像から複数の対象領域画像が抽出された場合には、各対象領域画像を個別にディテール強化ネットワークに入力して対応するディテール強化画像を得ることができる。即ち、複数の対象領域画像に応じて、複数のディテール強化画像を得る。

【0055】

ステップS２０８では、ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る。

【0056】

ディテール強化画像でノイズリダクション画像における対象領域画像を置き換えることができる。ディテール強化画像とノイズリダクション画像とが交差する境界領域を線形融合（ｌｉｎｅａｒ ｒｅｓｏｌｕｔｉｏｎ）することにより、より鮮鋭な出力画像を得ることができる。

【0057】

上記したディテール強化画像でノイズリダクション画像における対象領域画像を置き換える処理は、以下の式で表すことができる。

【数2】

【0058】

ただし、Ｒ＿ｆｉｎａｌは出力画像であり、Ｒ＿２０６はステップＳ２０６で得られたディテール強化画像であり、Ｒ＿２０２はステップＳ２０２で得られたノイズリダクション画像であり、ａは対象領域画像のノイズリダクション画像における存在領域である。１−ａはノイズリダクション画像における対象領域画像以外の領域である。

【0059】

ディテール強化画像とノイズリダクション画像とが交差する境界領域については、平滑化フィルタリングやウェーブレット再構成により線形融合を行うことができる。

【0060】

複数のディテール強化画像がある場合、各ディテール強化画像で、ノイズリダクション画像における対応する対象領域画像を置き換えてから、各ディテール強化画像とノイズリダクション画像とが交差する境界領域を線形融合してより鮮鋭な出力画像を得ることにしてもよい。

【0061】

上記したノイズリダクションネットワーク、対象抽出ネットワーク及びディテール強化ネットワークを画像のディテール強化に直接適用してより正確で信頼性の高い結果を出力するためには、事前にノイズリダクションネットワーク、対象抽出ネットワーク及びディテール強化ネットワークを訓練する必要がある。以下、ノイズリダクションネットワーク、対象抽出ネットワーク、およびディテール強化ネットワークの訓練プロセスについて詳細に説明する。

【0062】

複数の訓練画像ペアを含む訓練画像サンプルセットを取得する。各訓練画像ペアは、同じ撮影環境においてそれぞれ取得される一つの第１画像および一つの第２画像を含む。第１画像は初期画像とも呼ばれ、第２画像はクリア画像とも呼ばれる。初期画像は、設定された第１の露光時間および第１の感度パラメータに従って撮影されたものであり、クリア画像は、設定された第２の露光時間および第２の感度パラメータに従って撮影されたものである。第２の露光時間は第１の露光時間よりも長く、第２の感度パラメータは第１の感度パラメータよりも小さい。

【0063】

例えば、撮影環境が暗い場合には、通常の撮影パラメータ（第１の露光時間と第１の感度パラメータを含む）を用いて電子機器により初期画像が撮影される。電子機器の感光素子で受光される光が足りないため、初期画像にはノイズが多く、被写体のディテールが失われるという現象がある。暗い光の下でクリア画像を得るためには、同一の撮影環境において、電子機器が画像を撮影する時の露光時間を長くして光の入射量を増加させる。露光時間を長くすると同時に、感度パラメータを下げて露光オーバーを防止する。すなわち、設定された第２の露光時間および第２の感度パラメータに応じて、クリア画像が撮影される。例えば、第２の露光時間は、第１の露光時間の４−８倍であってもよい。第２の感度パラメータは、設定された最小値よりも大きい、かつ、第１の感度パラメータよりも小さいとしてもよい。上記の方法により、多数の訓練画像ペアを取得して訓練画像サンプルセットを形成することができる。

【0064】

ノイズリダクションネットワーク、対象抽出ネットワークまたはディテール強化ネットワークを訓練する場合、訓練画像サンプルセットから一つの訓練画像ペアをランダムに選択してそのうちの初期画像をノイズリダクションネットワークに入力する。初期画像は、まず、ノイズリダクションネットワークの畳み込みニューラルネットワークを通過して初期画像のノイズリダクション特徴マップを得る。ノイズリダクション特徴マップは、少なくとも１つのノイズリダクション特徴値を含む。次に、逆畳み込みニューラルネットワークを通過し、初期画像のノイズリダクション特徴マップを初期画像のサイズにマッピングして、初期画像のノイズリダクション画像を得る。対象抽出ネットワークにより、初期画像のノイズリダクション画像における撮影対象物の存在領域を特定して初期画像の対象領域画像を取得する。初期画像の対象領域画像をディテール強化ネットワークに入力する。初期画像の対象領域画像は、まず、ディテール強化ネットワークの畳み込みニューラルネットワークを通過して初期画像の対象領域画像に対応するディテール特徴マップを得る。次に、逆畳み込みニューラルネットワークを通過し、ディテール特徴マップを対象領域画像のサイズにマッピングして初期画像の対象領域画像に対応するディテール強化画像を得る。該ディテール強化画像を初期画像のノイズリダクション画像と融合させて初期画像に対応する出力画像を得る。

【0065】

初期画像に対応する出力画像とクリア画像とを比較し、前記初期画像に対応する出力画像とクリア画像との間の誤差が設定誤差未満になるまで、ノイズリダクションネットワーク、対象抽出ネットワーク、およびディテール強化ネットワークのパラメータを調整することで、ノイズリダクションネットワーク、対象抽出ネットワーク、およびディテール強化ネットワークの訓練を完了した後、現在のパラメータをノイズリダクションネットワーク、対象抽出ネットワーク、およびディテール強化ネットワークのパラメータとする。

【0066】

本開示の実施例によって提供される画像処理方法は、処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を得た後、ノイズリダクション画像から抽出した対象領域画像に対してディテール強化処理を行ってディテール強化画像を得て、ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る。対象領域画像に対してディテール強化処理を行うため、得られる出力画像はより鮮鋭であり、表示効果がより良好となる。特に、ダーク画像を処理する場合、ダーク画像の欠落したディテールを補完して強化し、画像の鮮鋭度を改善することができる。

【0067】

本開示の実施例におけるノイズリダクションネットワークとディテール強化ネットワークの両方は、畳み込み-逆畳み込みニューラルネットワークを利用し、ノイズリダクション及びディテール強化の効果を高め、画像処理の効率を改善する。同時に、本開示の実施例は、撮影パラメータを調整することによって暗い光の下でクリア画像を取得し、クリア画像と初期画像とから訓練画像ペアを構成し、ノイズリダクションネットワーク、対象抽出ネットワークおよびディテール強化ネットワークを訓練することで、ノイズネットワーク、対象抽出ネットワーク、およびディテール強化ネットワーク内の各パラメータの精度を向上させる。
実施例３：

【0068】

第２の実施例の画像処理方法に対応して、本実施例は、画像処理装置を提供する。図４は、本開示の一実施例に係る画像処理装置の概略構成図である。図４に示すように、該画像処理装置は、
処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を生成するノイズリダクションモジュール４１と、
ノイズリダクション画像から撮影対象物に対応する対象領域画像を抽出する対象抽出モジュール４２と、
対象領域画像に対してディテール強化処理を行ってディテール強化画像を生成するディテール強化モジュール４３と、
ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る融合モジュール４４と、を備える。

【0069】

ノイズリダクションモジュール４１は、さらに、処理待ち画像をノイズリダクションネットワークに入力し、ノイズリダクションネットワークの出力をノイズリダクション画像とすることに用いられる。ノイズリダクションネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用する。ノイズリダクションネットワークが出力するノイズリダクション画像は、処理待ち画像と同じサイズである。畳み込み-逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークおよび逆畳み込みニューラルネットワークを備える。畳み込みニューラルネットワークは、少なくとも一つの畳み込みレイヤーを備え、少なくとも１つの畳み込みレイヤーにおける各畳み込みレイヤーは、少なくとも１つの第１の畳み込みカーネルを備える。第１の畳み込みカーネルによって、処理待ち画像の画素行列にわたってノイズリダクション特徴マップを得る。逆畳み込みニューラルネットワークは、畳み込みニューラルネットワークと対称する構造を利用する。逆畳み込みニューラルネットワークは、少なくとも１つの逆畳み込みレイヤーを備え、少なくとも１つの逆畳み込みレイヤーにおける各逆畳み込みレイヤーは、対応する畳み込みレイヤーと同じ数の第２の畳み込みカーネルを備える。第２の畳み込みカーネルによって、ノイズリダクション特徴マップの特徴行列にわたってノイズリダクション画像を得る。

【0070】

対象抽出モジュール４２は、さらに、対象抽出ネットワークにより、ノイズリダクション画像における撮影対象物の存在領域を特定することに用いられる。対象抽出ネットワークは、畳み込みニューラルネットワークを利用する。ノイズリダクション画像から撮影対象物の存在領域を分離して対象領域画像を取得する。

【0071】

ディテール強化モジュール４３は、さらに、対象領域画像をディテール強化ネットワークに入力し、ディテール強化ネットワークの出力をディテール強化画像とすることに用いられる。ディテール強化ネットワークは、畳み込み-逆畳み込みニューラルネットワークを利用する。ディテール強化画像と対象領域画像とは同じサイズである。

【0072】

融合モジュール４４は、さらに、ディテール強化画像で、ノイズリダクション画像における対象領域画像を置き換えることと、ディテール強化画像とノイズリダクション画像とが交差する境界領域を線形融合することに用いられる。

【0073】

さらに、上記画像処理装置は、さらに、訓練モジュールを備えてもよい。訓練モジュールは、ノイズリダクションモジュール４１に接続され、複数の訓練画像ペアを含む訓練画像サンプルセットを取得することに用いられる。訓練画像サンプルセットを利用して前記ノイズリダクションネットワーク、対象抽出ネットワーク、及びディテール強化ネットワークを訓練する。各訓練画像ペアは、同じ撮影環境でそれぞれ取得された一つの第１画像と一つの第２画像とを含む。第１画像を取得するステップは、設定された第１の露光時間および第１の感度パラメータに従って初期画像を取得することを含む。第２画像を取得するステップは、設定された第２の露光時間および第２の感度パラメータに従って、クリア画像を取得することを含む。第２の露光時間は第１の露光時間よりも長く、第２の感度パラメータは第１の感度パラメータよりも小さい。

【0074】

上記画像処理装置は、さらに、判断モジュールを備えてもよい。判断モジュールは、訓練モジュールとノイズリダクションモジュール４１との間に接続され、現在の撮影環境における光の輝度が設定輝度閾値未満であるか否かを判断する。そうである場合、撮影された画像を処理待ち画像とする。

【0075】

本実施例によって提供される装置の原理および技術的効果は、前述した実施例と同様であるため、説明の便宜上、装置実施例において言及されないところは、前述した方法実施例の対応する内容を参照すればよい。

【0076】

本開示の実施例に係る画像処理装置は、処理待ち画像に対してノイズリダクション処理を行ってノイズリダクション画像を得た後、ノイズリダクション画像から抽出した対象領域画像に対してディテール強化処理を行ってディテール強化画像を得て、ノイズリダクション画像をディテール強化画像と融合させて出力画像を得る。対象領域画像に対してディテール強化処理を行うため、得られる出力画像はより鮮鋭であり、表示効果がより良好になる。

【0077】

また、本開示の実施例は、画像収集装置と、メモリと、プロセッサとを備える電子機器を提供する。画像収集装置は、画像データを収集する。メモリには、プロセッサ上で実行可能なコンピュータプログラムが格納されている。プロセッサは、コンピュータプログラムを実行する時に前述の方法実施例によって提供される方法のステップを実現する。

【0078】

さらに、本実施例は、コンピュータ読み取り可能な記憶媒体を提供する。前記コンピュータ読み取り可能な記憶媒体にはコンピュータプログラムが格納されている。前記コンピュータプログラムは、前記プロセッサによって実行される時に前記方法実施例によって提供される方法のステップを実行する。

【0079】

本開示の実施例によって提供される画像処理方法および装置のコンピュータプログラム製品は、プログラムコードを格納したコンピュータ読み取り可能な記憶媒体を含む。前記プログラムコードに含まれる命令は、前述の方法実施例で説明した方法を実行するために用いられる。具体的な実現については、方法実施例を参照すればよいので、ここではその説明を省略する。

【0080】

前記の機能は、ソフトウェア機能ユニットの形で実装されてスタンドアロン製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に格納されてもよい。このような理解に基づいて、本開示の技術的解決策は、事実上、或いは、従来技術に寄与する部分、またはその技術的解決策の一部は、ソフトウェア製品の形で具体化されてもよい。このコンピュータソフトウェア製品は、記憶媒体に格納されており、コンピュータ（パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであり得る）に本開示の各実施例に記載の方法の全て又は一部のステップを実行させるためのいくつかの命令を含む。上記記憶媒体には、Ｕディスク、携帯型のハードディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、光ディスクなどのようなプログラムコードを記憶可能な媒体が含まれる。

【0081】

最後に、上記の実施例は本開示の特定の実施例に過ぎず、本開示の技術的解決策を説明するためのものであり、本開示を限定するものではない。本開示の保護範囲はこれに限定されない。以上、前記実施例を参照しながら本開示を詳細に説明したが、当業者であれば、本開示が開示した技術的範囲内で、上記実施例に記載の技術案を修正したり、容易に変更したり、一部の技術的特徴を置き換えたりすることが可能であることは言うまでもない。このような修正、変更、または置換は、本開示の実施例の技術的解決策の精神および範囲から逸脱することなく、本開示の保護範囲内にある。よって、本開示の保護範囲は、添付の特許請求の範囲に従うべきである。

【図1】

【図2】

【図3】

【図4】