▶ テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッドの特許一覧
特表2022-510622画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-27
(54)【発明の名称】画像処理モデルの訓練方法、画像処理方法、ネットワーク機器、及び記憶媒体
(51)【国際特許分類】
G06T 1/40 20060101AFI20220120BHJP
G06T 5/00 20060101ALI20220120BHJP
【ＦＩ】
G06T1/40
G06T5/00 700
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021529409
(86)(22)【出願日】2020-03-04
(85)【翻訳文提出日】2021-05-25
(86)【国際出願番号】 CN2020077699
(87)【国際公開番号】W WO2020199831
(87)【国際公開日】2020-10-08
(31)【優先権主張番号】201910259016.7
(32)【優先日】2019-04-01
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】514187420
【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ガオ，ホォンユン
(72)【発明者】
【氏名】タオ，シン
(72)【発明者】
【氏名】ジィア，ジィアヤ
(72)【発明者】
【氏名】タイ，ユィウィン
(72)【発明者】
【氏名】シェン，シアオヨン
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE03
5B057DA17
5B057DB02
5B057DB09
(57)【要約】
ボケ画像を処理するための画像処理モデルの訓練方法、画像処理方法、及びネットワーク機器において、画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含む。訓練方法は、訓練用のサンプル対を取得するステップであり、サンプル対には、鮮明画像とボケ画像とが含まれる、ステップ（Ｓ３０１）と、画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップ（Ｓ３０２）と、回復画像及び鮮明画像に基づいて、画像処理モデルにおける第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新ことにより、訓練後の画像処理モデルを取得するステップ（Ｓ３０３）と、を含む。第１ネットワークのネットワークパラメータと第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、選択的共有条件は、第１ネットワークと第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
【特許請求の範囲】
【請求項1】
ネットワーク機器が実行する、ボケ画像を処理するための画像処理モデルの訓練方法であって、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応しており、
前記方法は、
訓練用のサンプル対を取得するステップであり、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得するステップと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、
方法。
【請求項2】
前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１に記載の方法。
【請求項3】
前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項２に記載の方法。
【請求項4】
前記選択的共有条件は、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられる場合に、前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとは、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータは、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータは、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとは、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータは、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータは、共有するネットワークパラメータである、
ことを含む、
請求項２に記載の方法。
【請求項5】
前記第１ネットワークは、第１スケールに対応し、前記第２ネットワークは、第２スケールに対応し、前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する前記ステップは、
前記第１スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得するステップと、
前記第１ネットワークを呼び出して、前記第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得するステップと、
前記第２スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得するステップと、
前記第２ネットワークを呼び出して、前記第２鮮明度のボケ画像と、前記中間画像とに基づいて、鮮明度回復処理を行うことにより、回復画像を取得するステップと、
を含む、請求項１に記載の方法。
【請求項6】
前記鮮明度回復処理は、画像に対して特徴抽出処理を行うことと、
多段残差関数を用いて、特徴抽出処理後の画像に対して特徴変換処理を行うことと、
特徴変換処理後の画像に対して特徴再構築処理を行うことと、
を含む、請求項５に記載の方法。
【請求項7】
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することは、前記画像処理モデルの最適化関数を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記最適化関数の値を決定するステップと、
前記最適化関数の値を減少させる原則に従って、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、
を含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
訓練用のサンプル対を取得する前記ステップは、訓練用の画像シーケンスフレームを取得するステップであり、前記画像シーケンスフレームには、少なくとも２フレームの画像が含まれる、ステップと、
前記画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、前記鮮明画像に関連する複数フレームの参照画像を決定するステップと、
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得し、前記ボケ画像及び前記鮮明画像を用いて、訓練用のサンプル対を構築するステップと、
を含む、請求項１乃至６のいずれか一項に記載の方法。
【請求項9】
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得することは、前記複数フレームの参照画像を重ね合わせて平均を求めることにより、前記鮮明画像に対応するボケ画像を取得するステップ、
を含む、請求項８に記載の方法。
【請求項10】
ネットワーク機器が実行する画像処理方法であって、処理対象の元画像を取得するステップであり、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであり、
前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、
前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、
前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、
前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、
ステップと、
前記ターゲット画像を出力するステップと、
を含む、方法。
【請求項11】
前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１０に記載の方法。
【請求項12】
前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１１に記載の方法。
【請求項13】
ボケ画像を処理するための画像処理モデルの訓練装置であって、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応しており、前記装置は、
訓練用のサンプル対を取得し、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい取得ユニットと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する処理ユニットと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する更新ユニットと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、
装置。
【請求項14】
前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１３に記載の装置。
【請求項15】
前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１４に記載の装置。
【請求項16】
前記選択的共有条件は、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられる場合に、前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータが、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータが、共有するネットワークパラメータである、
ことを含む、
請求項１４に記載の装置。
【請求項17】
画像処理装置であって、処理対象の元画像を取得し、前記元画像の鮮明度が所定閾値よりも小さい取得ユニットと、
処理ユニットであり、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得し、
前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、
前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、
前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、
前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、
処理ユニットと、
前記ターゲット画像を出力する出力ユニットと、
を含む、装置。
【請求項18】
前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる、
請求項１７に記載の装置。
【請求項19】
ネットワーク機器であって、プロセッサと、
前記プロセッサに接続されたメモリと、を備え、
前記メモリには、機械で読み取り可能な命令が記憶されており、
前記機械で読み取り可能な命令は、プロセッサによって実行されると、請求項１乃至１２のいずれか一項に記載の方法を実行させる、
ネットワーク機器。
【請求項20】
複数の命令を含むコンピュータプログラムであって、前記命令は、プロセッサによってロードされ、実行されると、請求項１乃至１２のいずれか一項に記載の方法を実行させる、
ように構成されている、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年４月１日に中国特許庁に提出された、出願番号が第２０１９１０２５９０１６．７号であり、発明の名称が「画像処理モデルの訓練方法、画像処理方法、及び関連機器」である、中国特許出願に基づく優先権を主張し、その全ての内容が、参照することにより本願に組み込まれている。
【0002】
本願は、インターネットの技術分野に関する。具体的には、画像処理の技術分野に関し、特には、ボケ画像を処理するための画像処理モデルの訓練方法、画像処理方法、ボケ画像を処理するための画像処理モデルの訓練装置、画像処理装置、ネットワーク機器、及びコンピュータ記憶媒体に関する。
【背景技術】
【0003】
画像ボケ除去は、画像処理の重要な研究方向であり、ボケ画像においてボケにより失われた細部情報を回復することを目的とする。ニューラルネットワークモデルの研究の推進に伴い、画像処理モデルに基づく画像ボケ除去方法では、従来の方法よりも優れた効果が得られる。いわゆる画像処理モデルは、ボケ画像に対して画像ボケ除去処理を行うことにより、鮮明画像を取得するためのニューラルネットワークモデルである。どのようなモデル訓練により性能が完璧な画像処理モデルを取得するかが、後続の画像ボケ除去処理の効果には特に重要である。従来のモデル訓練方法において、通常、ボケ画像が、複数の異なるボケ領域で構成されていると考えられ、異なるボケ領域に対して畳み込みモデル仮定を行うことにより、異なる領域の鮮明画像をそれぞれ復元して、画像処理モデルを訓練する。具体的には、まず、ボケ画像を異なる領域に分割する必要がある。次に、異なる領域に対して、畳み込みカーネル推定及び画像逆畳み込みという２つの処理を連続的に反復することにより、各領域のボケ除去効果を段階的に最適化し、最後に、ボケ除去後の各領域を合成することにより、完全な鮮明画像を取得する。
【発明の概要】
【0004】
本願の実施例では、ネットワーク機器が実行する、ボケ画像を処理するための画像処理モデルの訓練方法が提供されている。前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応している。前記方法は、
訓練用のサンプル対を取得するステップであって、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得するステップと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
訓練用のサンプル対を取得するステップであって、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得するステップと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
【0005】
また、本願の実施例では、ネットワーク機器が実行する画像処理方法が提供されている。前記方法は、
処理対象の元画像を取得するステップであって、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであって、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、ステップと、
前記ターゲット画像を出力するステップと、を含む。
処理対象の元画像を取得するステップであって、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであって、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、ステップと、
前記ターゲット画像を出力するステップと、を含む。
【0006】
本願の実施例では、ボケ画像を処理するための画像処理モデルの訓練装置が提供されておいる。前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応している。前記装置は、
訓練用のサンプル対を取得し、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい取得ユニットと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する処理ユニットと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する更新ユニットと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
訓練用のサンプル対を取得し、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい取得ユニットと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する処理ユニットと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する更新ユニットと、を含み、
前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
【0007】
本願の実施例では、画像処理装置が提供されている。前記装置は、
処理対象の元画像を取得し、前記元画像の鮮明度が所定閾値よりも小さい取得ユニットと、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得し、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる処理ユニットと、
前記ターゲット画像を出力する出力ユニットと、を含む。
処理対象の元画像を取得し、前記元画像の鮮明度が所定閾値よりも小さい取得ユニットと、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得し、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる処理ユニットと、
前記ターゲット画像を出力する出力ユニットと、を含む。
【0008】
本願の実施例では、ネットワーク機器が提供されている。前記ネットワーク機器は、プロセッサと、前記プロセッサに接続されたメモリと、を備え、前記メモリには、機械読み取り可能な命令が記憶され、前記機械読み取り可能な命令は、プロセッサによって実行されると、本願の実施例に記載の画像処理モデルの訓練方法及び画像処理方法を実行させることが可能である。
【0009】
また、本願の実施例では、複数の命令を記憶したコンピュータ読み取り可能な記憶媒体が提供されている。前記命令は、プロセッサによってロードされ、実行されると、本願の実施例に記載の画像処理モデルの訓練方法及び画像処理方法を実行させるように構成される。
【0010】
本願の実施例の構成をより明確に説明するために、以下に、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているに過ぎず、当業者であれば、創造的な労働をすることなく、これらの図面から他の図面を得ることもできる。
【図面の簡単な説明】
【0011】
【図1】本願の実施例で提供される画像処理モデルの構成の模式図である。
【図2A】本願の実施例で提供される１段残差関数の構成の模式図である。
【図2B】本願の実施例で提供される２段残差関数に対応する２段ネストスキップ接続の構成と直列接続の構成との対比模式図である。
【図2C】本願の実施例で提供される３段残差関数に対応する３段ネストスキップ接続の構成の模式図である。
【図2D】本願の実施例で提供される特徴変換ユニットの内部構成の模式図である。
【図3A】本願の実施例で提供される画像処理モデルの訓練方法のシーンの模式図である。
【図3B】本願の実施例で提供される画像処理モデルの訓練方法のフローの模式図である。
【図3C】本願の実施例における鮮明度回復処理の具体的なフローチャートである。
【図4】本願の実施例で提供されるボケ画像の研究結果の模式図である。
【図5A】本願の実施例で提供されるネットワークパラメータの割り当ての模式図である。
【図5B】本願の実施例で提供される他のネットワークパラメータの割り当ての模式図である。
【図6A】本願の他の実施例で提供される画像処理モデルの訓練方法のフローの模式図である。
【図6B】本願の実施例における訓練用のサンプル対を取得する方法のフローチャートである。
【図6C】本願の実施例におけるステップＳ６０２において画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行う方法のフローチャートである。
【図7】願の実施例で提供される画像処理方法のフローの模式図である。
【図8】本願の実施例で提供される画像処理モデルの訓練装置の構成の模式図である。
【図9】本願の実施例で提供される画像処理装置の構成の模式図である。
【図10】本願の実施例で提供されるネットワーク機器の構成の模式図である。
【発明を実施するための形態】
【0012】
以下、本願の実施例の図面を参照しながら、本願の実施例の構成を明確かつ完全に説明する。
【0013】
人工知能技術は、総合的な学科であり、関連する分野が幅広く、ハードウェアレベルの技術もソフトウェアレベルの技術もある。人工知能の基礎技術には、一般的に、例えば、センサ、人工知能専用チップ、クラウドコンピューティング、分散記憶、ビッグデータ処理技術、操作／インタラクティブシステム、メカトロニクスなどの技術が含まれる。人工知能のソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術、及び、機械学習／深層学習などのいくつかの方面を含む。
【0014】
現在、深層学習は、機械学習の技術及び研究分野の１つであり、階層構成を有する人工ニューラルネットワークを構築することにより、コンピュータシステムにおいて人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を実現する。
【0015】
深層学習（ＤＬ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）のビジョン分野での適用が成功しているため、研究者は、深層学習を画像処理分野にも導入し、大量の訓練画像を用いて深層学習ニューラルネットワークモデルを訓練することにより、深層学習ニューラルネットワークモデルが画像処理、例えば、ボケ画像の処理を行うことを可能にする。
【0016】
画像ボケは、画像の撮像によくある問題である。例えば、ユーザが動的なシーン又は暗い環境にいる場合、動的なシーンにおける物体の動き及び／又は撮像カメラの動きによって、撮像された画像に様々な程度のボケが発生する。また、例えば、ユーザが対象物を撮像するとき、ユーザの手のわずかなブレによっても、撮像された画像に様々な程度のボケが発生する。ユーザは、撮像されたボケ画像に直面すると、鮮明画像を取得するために、通常、再撮像を選択する。ここでのボケ画像とは、鮮明度が所定閾値よりも小さい画像を指し、鮮明画像とは、鮮明度が所定閾値よりも大きい画像を指し、鮮明度とは、画像における各細部のテクスチャ及びその境界の明瞭度を指す。しかしながら、カメラの動き、物体の動き、及び手ブレなどの様々な要因により、ユーザが再撮像を複数回行っても鮮明画像を取得できない可能性がある。また、いくつかの瞬間スナップショットの撮像シーンでは、ユーザは、通常、２回目の撮像機会がない。例えば、高速で動く自動車／汽車で窓外の風景を撮像するシーン、又は、迅速に動く物体を静止シーンで撮像するシーンのいずれにおいても、ユーザは、再撮像する機会がない。
【0017】
ボケ画像を処理する過程において、ボケ画像の実際の撮像シーンは、非常に複雑であり、カメラの動き、撮像シーンにおける物体の動きなどの複数の要因を含む。そこで、従来のモデル訓練方法では、全ての動きボケ領域に対する畳み込みモデル仮定を満たすことができないため、訓練された画像処理モデルは、画像のボケ除去性能が悪い。また、モデル訓練では、ボケ画像に対して、分割してからそれぞれ計算して合成するという処理を行う必要があるため、そのモデル訓練効率が低い。
【0018】
これに基づき、本願の実施例では、ボケ画像を処理するための画像処理モデルが提供されている。該画像処理モデルは、ボケ画像に対して鮮明度回復処理を行うことにより、鮮明画像を取得するために用いることができる。
【0019】
本願の実施例で提供されるボケ画像を処理するための画像処理モデルは、少なくとも２つの異なるスケールのネットワークをスケールの大きい順又は小さい順に直列に接続して形成することができ、異なるスケールのネットワークは、異なる鮮明度のボケ画像に対して鮮明度回復処理を行うことができる。ネットワークのスケールは、該ネットワークに入力された画像の鮮明度の大きさを表すためのものである。つまり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応する。粗スケールは、元のボケ画像をより小さい解像度にダウンサンプリングすることにより、鮮明度の高い画像を取得することを表し、該画像のボケ程度が相対的に低いが、細スケールは、元のボケ画像をより大きい解像度にダウンサンプリングすることにより、鮮明度の低い画像を取得することを表し、該画像のボケ程度が相対的に高い。図１に示すように（図１において、画像処理モデルが３つのネットワークを含む場合を例として説明する）、該画像処理モデルは、粗スケールネットワーク１１、中スケールネットワーク１２、及び、細スケールネットワーク１３などの３つの異なるスケールのネットワークを含んでもよい。ここで、この３つの異なるスケールのネットワークのうち、粗スケールネットワーク１１のスケールが最大であり、中スケールネットワーク１２のスケールが２番目に大きく、細スケールネットワーク１３のスケールが最小である。各ネットワークは、いずれもコーデックネットワークであり、具体的には、複数の異なるチャネル数の特徴抽出ユニット１１１（図１において黒色ユニットで示されている）、特徴変換ユニット１１２（図１において灰色ユニットで示されている）、及び、特徴再構築ユニット１１３（図１において白色ユニットで示されている）を含んでもよい。各ユニットのチャネル数は、経験値又はサービスニーズに基づいて設定することができ、例えば、３２チャネル、６４チャネル、及び、１２８チャネルなどに設定する。いくつかの実施例では、特徴抽出ユニット１１１、特徴変換ユニット１１２、及び、特徴再構築ユニット１１３は、いずれも１つ以上の畳み込み層を含んでもよく、各畳み込み層それぞれは、２つの３×３の畳み込みカーネルを含んでもよい。２つの３×３の畳み込みカーネルを採用すると、パラメータ量を低減し、モデル訓練速度を向上させることができる。説明すべきものとして、図１は、画像処理モデルの構成を模式的に示すものに過ぎず、本願の実施例で提供された画像処理モデルの構成を限定するものではない。例えば、画像処理モデルにおけるネットワーク数は、図１に示す３つに限定されず、２つや４つなどであってもよい。また、例えば、各畳み込み層それぞれは、３つの３×３の畳み込みカーネル、又は、１つの５×５の畳み込みカーネルなどを含んでもよい。
【0020】
任意の２つのネットワークにおける特徴抽出ユニット１１１のネットワークパラメータは、互いに独立し、かつ／あるいは、任意の２つのネットワークにおける特徴再構築ユニット１１３のネットワークパラメータは、互いに独立している。任意の２つのネットワークにおける特徴変換ユニット１１２のネットワークパラメータは、互いに共有される。いくつかの実施例では、特徴変換ユニット１１２は、少なくとも２つの残差ユニットを含んでもよく、各残差ユニットそれぞれは、２つ以上の畳み込み層を含んでもよく、各残差ユニットの間は、多段ネストスキップ接続の構成で接続されてもよい。ここで、１つの残差ユニットの定義は、式１．１を参照すればよい。
【0021】
【数1】
【0022】
【0023】
【数3】
【0024】
上記画像処理モデルに対して、本願の実施例では、該画像処理モデルの訓練更新をより良く行い、画像処理モデルのボケ除去性能を最適化し、モデル訓練効率を向上させるモデル訓練方式がさらに提供されている。該モデル訓練方式で画像処理モデルの訓練更新を行う際に、対をなすボケ画像及び鮮明画像を取得し、画像処理モデルにおける各ネットワークを順次に呼び出して、訓練用のボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する。次に、回復画像及び鮮明画像に基づいて、画像処理モデルにおける各ネットワークのネットワークパラメータを更新してもよい。ここで、各ネットワークは、画像に対して鮮明度回復処理を行うとき、いずれも複数の符号化段階及び複数の復号化段階を含んでもよい（図１において、３つの符号化段階及び３つの復号化段階を例として説明する）。各符号化段階において、まず、特徴抽出ユニット１１１を呼び出して、受信された画像に対して特徴抽出を行い、次に、特徴変換ユニット１１２を呼び出して、特徴抽出処理後の画像に対して特徴変換処理を行ってもよい。各復号化段階において、まず、特徴変換ユニット１１２を呼び出して、受信された画像に対して特徴変換処理を行い、次に、特徴再構築ユニット１１３を呼び出して、特徴変換処理後の画像に対して特徴再構築処理を行ってもよい。
【0025】
上記の説明に基づき、本願の実施例では、ボケ画像を処理するための画像処理モデルの訓練方法、装置、ネットワーク機器、及び、記憶媒体が提供されている。
【0026】
ここで、該画像処理モデルの訓練装置は、具体的に、ネットワーク機器、例えば、端末又はサーバ等の機器に組み込まれてもよい。ここでの端末は、スマート端末、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない。例えば、図３Ａを参照すると、ネットワーク機器３１は、鮮明度が所定閾値よりも大きい鮮明画像と、鮮明度が前記所定閾値よりも小さく、前記鮮明画像に対応するボケ画像とが含まれる訓練用のサンプル対を取得し、前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得し、前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得してもよい。
【0027】
本願の実施例で提供された、ボケ画像を処理するための画像処理モデルの訓練方法は、ネットワーク機器によって実行されてもよい。図３Ｂを参照すると、ボケ画像を処理するための該画像処理モデルの訓練方法は、以下のステップＳ３０１～Ｓ３０３を含んでもよい。
【0028】
Ｓ３０１では、訓練用のサンプル対を取得し、サンプル対には、鮮明画像と、該鮮明画像に対応するボケ画像とが含まれる。
【0029】
訓練用のサンプル対を取得する際に、データ駆動方式を用いて、鮮明画像と、該鮮明画像に対応するボケ画像とを取得してもよい。いわゆるデータ駆動方式とは、カメラの連続する複数フレームの画像を重ね合わせて、動的なシーンのボケをシミュレートすることにより、動的なシーンでのボケ画像及び鮮明画像を取得する方式である。ここで、鮮明画像の鮮明度は所定閾値よりも大きく、ボケ画像の鮮明度は所定閾値よりも小さい。ここでの所定閾値は、経験値又は実際のサービスニーズ（例えば、画像処理モデルのボケ除去性能の精度のニーズ）に基づいて設定してもよい。データ駆動方式を用いて、対をなす鮮明画像及びボケ画像を取得すると、サンプル対の収集の難しさを低下させることができる。
【0030】
Ｓ３０２では、画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する。
【0031】
本願の実施例では、画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、第１ネットワークは、第１スケールに対応し、第２ネットワークは、第２スケールに対応する。第１スケールと第２スケールとの値が異なり、第１スケールの値は、第２スケールの値より大きくてもよく、即ち、第１スケールは、粗スケールであってもよく、第２スケールは、細スケールであってもよい。画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行う際に、第１ネットワーク及び第２ネットワークを順次に呼び出して、ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得してもよい。説明すべきものとして、画像処理モデルが、他のネットワーク、例えば、第３ネットワークや第４ネットワークなどをさらに含む場合、第１ネットワーク、第２ネットワーク、及び、他のネットワークを呼び出して、ボケ画像に対して鮮明度回復処理を行ってもよい。
【0032】
ここでの鮮明度回復処理とは、画像の鮮明度を向上させる処理である。図３Ｃは、本願の実施例における鮮明度回復処理の具体的なフローチャートである。いくつかの実施例では、図３Ｃに示すように、鮮明度回復処理は、具体的に、以下のステップＳ３２１～Ｓ３２３を含む。
【0033】
Ｓ３２１では、画像に対して特徴抽出処理を行う。
【0034】
具体的には、画像に対して複数回の畳み込み操作を行うことにより、画像の特徴抽出処理を実現してもよいし、特徴抽出アルゴリズムを用いて、画像に対して特徴抽出処理を行ってもよい。ここでの特徴抽出アルゴリズムは、ローカルバイナリパターン（ＬＢＰ：Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ）アルゴリズム、勾配方向ヒストグラム（ＨＯＧ：Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）特徴抽出アルゴリズム、スピードアップロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）アルゴリズムなどを含むが、これらに限定されない。
【0035】
Ｓ３２２では、多段残差関数を用いて、特徴抽出処理後の画像に対して特徴変換処理を行う。
【0036】
ここでの多段残差関数とは、段数が２以上である残差関数を指す。
【0037】
Ｓ３２３では、特徴変換処理後の画像に対して特徴再構築処理を行う。
【0038】
具体的には、特徴変換処理後の画像に対して複数回の逆畳み込み操作を行うことにより、特徴変換処理後の画像の特徴再構築処理を実現してもよい。
【0039】
Ｓ３０３では、回復画像及び鮮明画像に基づいて、画像処理モデルにおける第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得している。
【0040】
動的なシーンで撮像されたボケ画像（図４の左側に示される画像）を検討すると、図４の左側に示された画像において、背景領域における建築部分の画像が鮮明であるが、前景領域における群衆部分の画像がボケていることが分かる。前景領域における１つのボケた画像領域２１と、背景領域における１つの鮮明な画像領域２２とを任意に選択し、選択されたこれらの２つの画像領域を画像ピラミッドで分析した。その分析結果は、図４の右側を参照すればよい。図４の右側に示された分析結果から分かるように、背景領域における画像領域２２に対してダウンサンプリング処理を行った後では、その画像エッジがダウンサンプリング後に依然として鮮明であるが、前景領域における画像領域２１に対してダウンサンプリング処理を行った後では、その画像エッジがダウンサンプリング後にますます鮮明になる。画像処理モデルにおける異なるスケールのネットワークに対して、同じ特徴抽出パラメータを割り当てると、画像処理モデルは、鮮明な画像特徴及びボケた画像特徴を同時に抽出することができない。したがって、本願の実施例では、異なるスケールのネットワークの特徴抽出ユニットに対して、異なる特徴抽出パラメータを割り当てる。これにより、異なるスケールのネットワークが自スケールでの重要な画像情報を学習できるようにして、異なるスケールでの画像特徴をより多く抽出することができる。
【0041】
異なるスケールのネットワークにおける特徴変換ユニットの特徴変換機能は、類似しており、いずれも、対応するボケ画像特徴を鮮明画像特徴に変換することを目的とするため、本願の実施例では、図５Ａに示すように、異なるスケールのネットワークの特徴抽出ユニットに対して、同じ特徴変換パラメータを割り当てる。図５Ａにおける上から下への３行は、それぞれ、粗スケールから細スケールまでの３つのネットワークを表し、ここで、ＦＥは、特徴抽出ユニットを表し、Ｔは、特徴変換ユニットを表し、同一の背景は、同じパラメータを表す。さらに、特徴変換は、異なるスケールと同じスケールでの機能が類似するため、図５Ｂに示すように、同一のスケールのネットワークにおける各特徴変換ユニットに対して、同じ特徴変換パラメータを割り当ててもよい。説明すべきものとして、図５Ａ及び図５Ｂは、いずれも、各ネットワークの符号化段階のみを模式的に表すものであり、その復号化段階は、図５Ａ及び図５Ｂに示されていない。
【0042】
上記の説明に基づき、画像処理モデルにおける第１ネットワーク及び第２ネットワークに対して、第１ネットワークのネットワークパラメータと第２ネットワークのネットワークパラメータとの間が選択的共有条件を満たすように設定してもよく、選択的共有条件は、第１ネットワークと第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。具体的には、ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、選択的共有条件は、第１ネットワークと第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、第１ネットワークの特徴変換パラメータと第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであり、即ち、第１ネットワークの特徴変換パラメータと第２ネットワークの特徴変換パラメータとが、同じネットワークパラメータであることを指示するために用いられる。選択的共有条件は、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、第１ネットワークの特徴抽出パラメータと第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであり、第１ネットワークの特徴抽出パラメータと第２ネットワークの特徴抽出パラメータとが、異なるネットワークパラメータであることを指示するために用いられる。いくつかの実施例では、ネットワークパラメータは、特徴再構築パラメータをさらに含み、選択的共有条件は、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、第１ネットワークの特徴再構築パラメータと第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであり、即ち、第１ネットワークの特徴再構築パラメータと第２ネットワークの特徴再構築パラメータとが、異なるネットワークパラメータであることを指示するためにも用いられる。
【0043】
ここで、選択的共有条件は、具体的に、第１ネットワークの特徴変換パラメータと第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられる場合、以下の２種類の実施形態を含んでもよい。（１）特徴変換パラメータの数が１よりも大きいとき、図５Ａの右側の画像に示すように、第１ネットワークの複数の特徴変換パラメータと第２ネットワークの複数の特徴変換パラメータとは、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータは、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータは、互いに独立したネットワークパラメータである。（２）特徴変換パラメータの数が１よりも大きいとき、図５Ｂの右側の画像に示すように、第１ネットワークの複数の特徴変換パラメータと第２ネットワークの複数の特徴変換パラメータとは、共有するネットワークパラメータであり、第１ネットワークの各特徴変換パラメータは、共有するネットワークパラメータであり、第２ネットワークの各特徴変換パラメータは、共有するネットワークパラメータである。
【0044】
本願の実施例における画像処理モデルは、少なくとも、第１スケールの第１ネットワークと、第２スケールの第２ネットワークとを含む。第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータ及び独立したネットワークパラメータが存在するため、画像処理モデルは、ボケ画像に対して鮮明度回復処理を行う際に、ボケ画像におけるより多くの画像特徴を学習して、正確な回復画像を取得することができる。正確な回復画像及び鮮明画像に基づいて、第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新すると、訓練後の画像処理モデルのボケ除去性能を向上させることができる。また、第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータが存在するため、画像処理モデルのパラメータ数を減少させ、モデル訓練効率を向上させることができる。また、対応付けられる鮮明画像及びボケ画像を用いて、画像処理モデルに対してエンドツーエンドの訓練学習を行うことにより、ボケ画像の各動きボケ領域を分割する必要がなく、かつ、ボケ画像に対していかなる仮定を行う必要もなく、訓練後の画像処理モデルのボケ除去性能及びモデル訓練効率をさらに向上させることができる。
【0045】
本願の実施例で提供される、ボケ画像を処理するための画像処理モデルの他の訓練方法のフローの模式図である図６Ａを参照されたい。該画像処理モデルの訓練方法は、ネットワーク機器によって実行されてもよい。図６Ａを参照すると、該画像処理モデルの訓練方法は、以下のステップＳ６０１～Ｓ６０５を含んでもよい。
【0046】
Ｓ６０１では、訓練用のサンプル対を取得する。サンプル対には、鮮明画像と、鮮明画像に対応するボケ画像とが含まれる。
【0047】
ネットワーク機器は、大量のサンプル対を取得し、これらの大量のサンプル対を用いて、画像処理モデルに対して後続のモデル訓練更新操作を行ってもよい。一実施形態では、ボケ画像の生成は、通常、撮像時にカメラが動くか、又は、撮像シーンにおける物体が動くことによるものである。本質的には、カメラのシャッタースピードが十分に速くないため、カメラの動き、又は、撮像シーンにおける物体の動きにより、シャッターが開いてから閉じるまでの時間帯内にカメラのセンサが収集したものは、ある一定の位置の輝度だけではなく、該時間帯内での関連位置の全ての輝度の積分であり、これが画像のボケを招く。研究によると、関連位置の全ての輝度の積分が、カメラで撮像された連続フレームの画像において、隣接する連続画像の和を求めることとして近似できることが示されている。
【0048】
図６Ｂは、本願の実施例における訓練用のサンプル対を取得する方法のフローチャートである。図６Ｂに示すように、訓練用のサンプル対を取得することは、具体的に、以下のステップＳ６１１～Ｓ６１３を含んでもよい。
【0049】
ステップＳ６１１では、訓練用の画像シーケンスフレームを取得する。
【0050】
いくつかの実施例では、該画像シーケンスフレームは、アクションカメラ（例えば、ＧｏＰｒｏ高速カメラ）及びネットワーク機器の高速モードを採用して大量のビデオを収集し、収集されたビデオに対して画像フレーム解析を行うことにより取得してもよい。該ビデオは、２４０フレーム／秒の高速ビデオであってもよく、１２０フレーム／秒の高速ビデオなどであってもよい。
【0051】
ステップＳ６１２では、画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、鮮明画像に関連する複数フレームの参照画像を決定する。
【0052】
いくつかの実施例では、参照画像が鮮明画像に関連することは、参照画像のフレームシーケンス番号と鮮明画像のフレームシーケンス番号との差が所定の差値よりも小さいことを指す。例えば、鮮明画像のフレームシーケンス番号が５であり、即ち、鮮明画像が画像シーケンスフレームにおける第５フレームの画像であり、所定の差値が３であるとすると、画像シーケンスフレームにおける第３フレームの画像、第４フレームの画像、第６フレームの画像、及び、第７フレームの画像をいずれも参照画像としてもよい。
【0053】
ステップＳ６１３では、複数フレームの参照画像に基づいて、鮮明画像に対応するボケ画像を取得し、ボケ画像及び鮮明画像を用いて、訓練用のサンプル対を構築する。
【0054】
いくつかの実施例では、複数フレームの参照画像に基づいて、鮮明画像に対応するボケ画像を取得する具体的な実施形態は、複数フレームの参照画像を重ね合わせて平均を求めることにより、鮮明画像に対応するボケ画像を取得することであってもよい。
【0055】
Ｓ６０２では、画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する。
【0056】
本願の実施例では、画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、第１ネットワークは、第１スケールに対応し、第２ネットワークは、第２スケールに対応し、第１スケールと第２スケールとの値が異なる。上記から分かるように、異なるスケールのネットワークは、異なる鮮明度のボケ画像に対して鮮明度回復処理を行うことができる。
【0057】
図６Ｃは、本願の実施例におけるステップＳ６０２において画像処理モデルを呼び出して、ボケ画像に対して鮮明度回復処理を行う方法のフローチャートである。図６Ｃに示すように、該方法は、以下のステップＳ６２１～Ｓ６２４を含む。
【0058】
ステップＳ６２１では、第１スケールに従って、ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得する。
【0059】
ステップＳ６２２では、第１ネットワークを呼び出して、第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得する。
【0060】
いくつかの実施例では、第１ネットワークは、式１．４に示す式を用いて、第１鮮明度のボケ画像に対して鮮明度回復処理を行ってもよい。
【0061】
【数4】
【0062】
ステップＳ６２３では、第２スケールに従って、ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得する。
【0063】
ステップＳ６２４では、第２ネットワークを呼び出して、第２鮮明度のボケ画像と、中間画像とに基づいて、鮮明度回復処理を行うことにより、回復画像を取得する。
【0064】
いくつかの実施例では、第２ネットワークは、式１．５に示す式を用いて、第２鮮明度のボケ画像と、中間画像とに基づいて、鮮明度回復処理を行ってもよい。
【0065】
【数5】
【0066】
説明すべきものとして、画像処理モデルが少なくとも３つのネットワークを含む場合、画像処理モデルの接続順序に従って、各ネットワークを順次に呼び出して、ボケ画像に対して鮮明度回復処理を行ってもよい。画像処理モデルにおける１番目のネットワークは、式１．４に示す式を用いて、鮮明度回復処理を行ってもよいが、画像処理モデルにおける１番目のネットワーク以外の残りの任意のネットワークは、いずれも、式１．６に示す式を用いて、鮮明度回復処理を行ってもよく、最後のネットワークが鮮明度回復処理を行うことにより取得された画像は、回復画像である。
【0067】
【数6】
【0068】
Ｓ６０３では、画像処理モデルの最適化関数を取得する。
【0069】
Ｓ６０４では、回復画像及び鮮明画像に基づいて、最適化関数の値を決定する。
【0070】
Ｓ６０５では、最適化関数の値を減少させる原則に従って、画像処理モデルにおける第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する。
【0071】
ネットワーク機器は、上記ステップＳ６０１～Ｓ６０２を採用して大量のサンプル対の回復画像及び鮮明画像を取得し、対をなす回復画像及び鮮明画像を大量取得した後、ステップＳ６０３～Ｓ６０５を実行してもよい。ここで、ステップＳ６０３～Ｓ６０５において、画像処理モデルの最適化関数は、式１．７に示すようなものであってもよい。
【0072】
【数7】
【0073】
最適化関数を取得した後で、回復画像及び鮮明画像を最適化関数に代入して、最適化関数の値を決定し、次に、最適化関数の値を減少させる原則に従って、最適化関数の値が最小化されて画像処理モデルが収束状態にあるまで、画像処理モデルにおける第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを連続的に更新してもよい。説明すべきものとして、画像処理モデルは、第１ネットワーク及び第２ネットワーク以外の他のネットワークをさらに含んでもよい。この場合、最適化関数の値を決定した後で、最適化関数の値を減少させる原則に従って、画像処理モデルにおける他のネットワークのネットワークパラメータを連続的に更新してもよい。
【0074】
本願の実施例におけるボケ画像を処理するための画像処理モデルは、少なくとも、第１スケールの第１ネットワークと、第２スケールの第２ネットワークとを含む。第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータ及び独立したネットワークパラメータが存在するため、画像処理モデルは、ボケ画像に対して鮮明度回復処理を行う際に、ボケ画像におけるより多くの画像特徴を学習して、正確な回復画像を取得することができる。正確な回復画像及び鮮明画像に基づいて、第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新すると、訓練後の画像処理モデルのボケ除去性能を向上させることができる。また、第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータが存在するため、画像処理モデルのパラメータ数を減少させ、モデル訓練効率を向上させることができる。また、対応付けられる鮮明画像及びボケ画像を用いて、画像処理モデルに対してエンドツーエンドの訓練学習を行うことにより、ボケ画像の各動きボケ領域を分割する必要がなく、かつ、ボケ画像に対していかなる仮定を行う必要もなく、訓練後の画像処理モデルのボケ除去性能及びモデル訓練効率をさらに向上させることができる。
【0075】
上記の画像処理モデルの関連説明に基づき、本願の実施例では、画像処理方法がさらに提供されている。該画像処理方法は、図３Ａにおけるネットワーク機器によって実行されてもよい。図７を参照すると、該画像処理方法は、以下のステップＳ７０１～Ｓ７０３を含んでもよい。
【0076】
Ｓ７０１では、処理対象の元画像を取得する。
【0077】
元画像の鮮明度が所定閾値よりも小さく、処理対象の元画像を取得する方式は、以下の２種類を含んでもよい。
【0078】
（１）処理対象の元画像を自発的に取得する。
【0079】
具体的には、撮像コンポーネントを呼び出して画像を撮像する際に、ネットワーク機器は、撮像コンポーネントが動的なシーン又は暗い環境にあることを検出すると、撮像コンポーネントで撮像された画像の鮮明度が所定閾値よりも小さいか否かを自発的に検出してもよい。所定閾値よりも小さい場合、ネットワーク機器は、自発的に、該撮像コンポーネントで撮像された画像を処理対象の元画像としてもよい。例えば、あるエリアの環境状況をネットワーク機器の撮像コンポーネントが撮像する際に、ネットワーク機器は、該エリアの過去環境データに基づいて、通常、該エリアに人や車の流れがあると決定すると、撮像コンポーネントが動的な環境にあると考えられ、このとき、撮像コンポーネントで撮像された画像の鮮明度が所定閾値よりも小さいか否かを自発的に検出してもよい。所定閾値よりも小さい場合、ネットワーク機器は、自発的に、該撮像コンポーネントで撮像された画像を処理対象の元画像としてもよい。また、例えば、ネットワーク機器の撮像コンポーネントが画像を撮像する際に、ネットワーク機器は、光センサ又は撮像コンポーネントによって、撮像コンポーネントの位置する環境の光線が所定の光線値よりも低いことを検出すると、撮像コンポーネントが暗い環境にあると考えられ、この時、撮像コンポーネントで撮像された画像の鮮明度が所定閾値よりも小さいか否かを自発的に検出してもよい。所定閾値よりも小さい場合、ネットワーク機器は、自発的に、該撮像コンポーネントで撮像された画像を処理対象の元画像としてもよい。
【0080】
（２）ユーザの指示に従って処理対象の元画像を取得する。
【0081】
一実施形態において、ネットワーク機器は、ユーザがネットワーク機器の撮像コンポーネントを使用して画像を撮像したことを検出すると、撮像コンポーネントで撮像された画像を取得し、ユーザによる閲覧のために、撮像された画像をユーザインタフェースに表示してもよい。ユーザは、該撮像された画像が鮮明でなく、その鮮明度が所定閾値よりも小さいことを発見すると、ネットワーク機器に画像処理指示を入力してもよい。ネットワーク機器は、該画像処理指示を受け付けると、該撮像された画像を処理対象の元画像としてもよい。他の実施形態では、ユーザは、ネットワーク機器のイメージライブラリにおけるいくつかの過去画像がボケており、その鮮明度が所定閾値よりも小さいことを発見すると、ネットワーク機器に画像処理指示を入力することにより、ネットワーク機器がこれらの過去画像を処理対象の元画像として取得するようにトリガーしてもよい。ここで、上記で言及された画像処理指示は、ユーザが画像をクリックするか又は押すことにより生成された指示であってもよいし、ユーザがネットワーク機器上の指定キーを押すことにより生成された指示であってもよいし、ユーザがネットワーク機器に音声を入力することにより生成された指示などであってもよい。
【0082】
Ｓ７０２では、画像処理モデルを呼び出して、元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得する。
【0083】
ここで、ターゲット画像の鮮明度が所定閾値よりも大きく、鮮明度回復処理は、画像に対して特徴抽出処理を行うことと、多段残差関数を用いて、特徴抽出処理後の画像に対して特徴変換処理を行うことと、特徴変換処理後の画像に対して特徴再構築処理を行うことと、を含む。これに応じて、ステップＳ７０２の具体的な実施過程においては、画像処理モデルを呼び出し、まず、元画像に対して特徴抽出処理を行うことにより、特徴抽出処理後の第１画像を取得し、次に、多段残差関数を用いて、第１画像に対して特徴変換処理を行うことにより、特徴変換処理後の第２画像を取得し、最後に、第２画像に対して特徴再構築処理を行うことにより、ターゲット画像を取得してもよい。
【0084】
ここでの画像処理モデルは、図３Ｂ又は図６Ａに示すような画像処理モデルの訓練方法によって訓練されたものであってもよい。該画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、第１ネットワークは、第１スケールに対応し、第２ネットワークは、第２スケールに対応し、第１ネットワークのネットワークパラメータと第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、該選択的共有条件は、第１ネットワークと第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。一実施形態では、ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含む。これに応じて、選択的共有条件は、第１ネットワークと第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、第１ネットワークの特徴変換パラメータと第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられる。選択的共有条件は、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、第１ネットワークの特徴抽出パラメータと第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。他の実施形態では、ネットワークパラメータは、特徴再構築パラメータをさらに含み、これに対応して、選択的共有条件は、第１ネットワークと第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、第１ネットワークの特徴再構築パラメータと第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
【0085】
Ｓ７０３では、ターゲット画像を出力する。
【0086】
本願の実施例では、画像処理モデルは、図３Ｂ又は図６Ａに示す画像処理モデルの訓練方法によって訓練されたものであり、該画像処理モデルのボケ除去性能が良い。このため、該画像処理モデルを呼び出して、鮮明度の低い元画像に対して鮮明度回復処理を行うと、元画像に対してボケ除去処理をより良く行うことができる。これにより、鮮明なターゲット画像を取得し、ターゲット画像の鮮明度を向上させ、さらにターゲット画像の画質を向上させることができる。
【0087】
上記の画像処理モデルの訓練方法の実施例の説明に基づき、本願の実施例では、ボケ画像を処理するための画像処理モデルの訓練装置が開示されており、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記画像処理モデルの訓練装置は、ネットワーク機器で実行されるコンピュータプログラム（プログラムコードを含む）であってもよい。該画像処理モデルの訓練装置は、図３Ｂ又は図６Ａに示す方法を実行することができる。図８を参照すると、前記画像処理モデルの訓練装置では、
訓練用のサンプル対を取得し、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい取得ユニット１０１と、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する処理ユニット１０２と、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する更新ユニット１０３と、を実行することができ、
ここで、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
訓練用のサンプル対を取得し、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい取得ユニット１０１と、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する処理ユニット１０２と、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新することにより、訓練後の画像処理モデルを取得する更新ユニット１０３と、を実行することができ、
ここで、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
【0088】
一実施形態において、前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
【0089】
他の実施形態において、前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
【0090】
他の実施形態において、前記選択的共有条件は、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータが、共有するネットワークパラメータであることを指示するために用いられる場合、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータが、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータが、共有するネットワークパラメータである、ことを含む。
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータが、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータが、共有するネットワークパラメータである、ことを含む。
【0091】
他の実施形態において、前記第１ネットワークは、第１スケールに対応し、前記第２ネットワークは、第２スケールに対応し、処理ユニット１０２は、前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する際に、具体的に、
前記第１スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得し、
前記第１ネットワークを呼び出して、前記第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得し、
前記第２スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得し、
前記第２ネットワークを呼び出して、前記第２鮮明度のボケ画像及び前記中間画像に基づいて、鮮明度回復処理を行うことにより、回復画像を取得する。
前記第１スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得し、
前記第１ネットワークを呼び出して、前記第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得し、
前記第２スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得し、
前記第２ネットワークを呼び出して、前記第２鮮明度のボケ画像及び前記中間画像に基づいて、鮮明度回復処理を行うことにより、回復画像を取得する。
【0092】
他の実施形態において、前記鮮明度回復処理は、画像に対して特徴抽出処理を行うことと、多段残差関数を用いて、特徴抽出処理後の画像に対して特徴変換処理を行うことと、特徴変換処理後の画像に対して特徴再構築処理を行うことと、を含む。
【0093】
他の実施形態では、更新ユニット１０３は、前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新する際に、具体的に、
前記画像処理モデルの最適化関数を取得し、
前記回復画像及び前記鮮明画像に基づいて、前記最適化関数の値を決定し、
前記最適化関数の値を減少させる原則に従って、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新する。
前記画像処理モデルの最適化関数を取得し、
前記回復画像及び前記鮮明画像に基づいて、前記最適化関数の値を決定し、
前記最適化関数の値を減少させる原則に従って、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新する。
【0094】
他の実施形態において、取得ユニット１０１は、訓練用のサンプル対を取得する際に、具体的に、
訓練用の画像シーケンスフレームを取得し、前記画像シーケンスフレームには、少なくとも２フレームの画像が含まれ、
前記画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、前記鮮明画像に関連する複数フレームの参照画像を決定し、
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得し、前記ボケ画像及び前記鮮明画像を用いて、訓練用のサンプル対を構築する。
訓練用の画像シーケンスフレームを取得し、前記画像シーケンスフレームには、少なくとも２フレームの画像が含まれ、
前記画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、前記鮮明画像に関連する複数フレームの参照画像を決定し、
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得し、前記ボケ画像及び前記鮮明画像を用いて、訓練用のサンプル対を構築する。
【0095】
他の実施形態では、取得ユニット１０１は、前記複数フレームの参照画像に基づいて前記鮮明画像に対応するボケ画像を取得する際に、具体的に、
前記複数フレームの参照画像を重ね合わせて平均を求めることにより、前記鮮明画像に対応するボケ画像を取得する。
前記複数フレームの参照画像を重ね合わせて平均を求めることにより、前記鮮明画像に対応するボケ画像を取得する。
【0096】
本願の一実施例によれば、図３Ｂ又は図６Ａに示す方法に係る各ステップは、いずれも、図８に示す画像処理モデルの訓練装置における各ユニットによって実行されてもよい。例えば、図３Ｂに示すステップＳ３０１～Ｓ３０３は、それぞれ、図８に示す取得ユニット１０１、処理ユニット１０２、及び、更新ユニット１０３によって実行されてもよい。また、例えば、図６Ａに示すステップＳ６０１～Ｓ６０２は、それぞれ、図８に示す取得ユニット１０１及び処理ユニット１０２によって実行されてもよく、ステップＳ６０３～Ｓ６０５は、図８に示す更新ユニット１０３によって実行されてもよい。
【0097】
本願の他の実施例によれば、図８に示す、ボケ画像を処理するための画像処理モデルの訓練装置における各ユニットは、それぞれ又は全部に１つ又はいくつかの他のユニットに統合して構成してもよく、或いは、そのうちのある（いくらかの）ユニットは、機能的により小さい複数のユニットにさらに分割して構成してもよい。これは、同様の操作を実現することができるが、本願の実施例の技術的効果の実現に影響を与えない。上記のユニットは、論理的な機能に基づいて分割され、実際の適用では、１つのユニットの機能は、複数のユニットによって実現されてもよく、又は、複数のユニットの機能は、１つのユニットによって実現される。本願の他の実施例において、画像処理モデルの訓練装置が他のユニットも含み得ることに基づき、実際の適用では、これらの機能は、他のユニットによって補助して実現されてもよく、複数のユニットによって協働して実現されてもよい。
【0098】
本願の他の実施例によれば、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）などの処理素子及び記憶素子を含むコンピュータのような汎用コンピューティングデバイスで、図３Ｂ又は図６Ａに示す相応の方法に係る各ステップを実行可能なコンピュータプログラム（プログラムコードを含む）を実行することにより、図８に示す画像処理モデルの訓練装置を構築し、本願の実施例における画像処理モデルの訓練方法を実現してもよい。前記コンピュータプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録され、コンピュータ読み取り可能な記録媒体を介して上記コンピューティングデバイスにロードされ、上記コンピューティングデバイスで実行されてもよい。
【0099】
本願の実施例におけるボケ画像を処理するための画像処理モデルは、少なくとも、第１スケールの第１ネットワークと、第２スケールの第２ネットワークとを含む。第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータ及び独立したネットワークパラメータが存在するため、画像処理モデルは、ボケ画像に対して鮮明度回復処理を行う際に、ボケ画像におけるより多くの画像特徴を学習して、正確な回復画像を取得することができる。正確な回復画像及び鮮明画像に基づいて、第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新すると、訓練後の画像処理モデルのボケ除去性能を向上させることができる。また、第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータが存在するため、画像処理モデルのパラメータ数を減少させ、モデル訓練効率を向上させることができる。また、対応付けられる鮮明画像及びボケ画像を用いて、画像処理モデルに対してエンドツーエンドの訓練学習を行うことにより、ボケ画像の各動きボケ領域を分割する必要がなく、かつ、ボケ画像に対していかなる仮定を行う必要もなく、訓練後の画像処理モデルのボケ除去性能及びモデル訓練効率をさらに向上させることができる。
【0100】
上記の画像処理方法の実施例の説明に基づき、本願の実施例では、画像処理装置がさらに開示されている。前記画像処理装置は、ネットワーク機器で実行されるコンピュータプログラム（プログラムコードを含む）であってもよい。該画像処理装置は、図７に示す方法を実行することができる。図９を参照すると、前記画像処理装置では、
処理対象の元画像を取得し、前記元画像の鮮明度が所定閾値よりも小さい取得ユニット２０１と、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得し、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる処理ユニット２０２と、
前記ターゲット画像を出力する出力ユニット２０３と、を実行することができる。
処理対象の元画像を取得し、前記元画像の鮮明度が所定閾値よりも小さい取得ユニット２０１と、
ボケ画像を処理するための画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得し、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる処理ユニット２０２と、
前記ターゲット画像を出力する出力ユニット２０３と、を実行することができる。
【0101】
一実施形態において、前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
【0102】
他の実施形態において、前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
【0103】
本願の一実施例によれば、図７に示す方法に係る各ステップは、いずれも、図９に示す画像処理装置における各ユニットによって実行されてもよい。具体的には、図７に示すステップＳ７０１～Ｓ７０３は、それぞれ、図９に示す取得ユニット２０１、処理ユニット２０２、及び、出力ユニット２０３によって実行されてもよい。本願の他の実施例によれば、図９に示す画像処理装置における各ユニットは、それぞれ又は全部に１つ又はいくつかの他のユニットに統合して構成してもよく、或いは、そのうちのある（いくらかの）ユニットは、機能的により小さい複数のユニットにさらに分割して構成してもよい。これは、同様の操作を実現することができるが、本願の実施例の技術的効果の実現に影響を与えない。上記のユニットは、論理的な機能に基づいて分割され、実際の適用では、１つのユニットの機能は、複数のユニットによって実現されてもよく、又は、複数のユニットの機能は、１つのユニットによって実現される。本願の他の実施例において、画像処理装置が他のユニットも含み得ることに基づき、実際の適用では、これらの機能は、他のユニットによって補助して実現されてもよく、複数のユニットによって協働して実現されてもよい。本願の他の実施例によれば、中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）などの処理素子及び記憶素子を含むコンピュータのような汎用コンピューティングデバイスで、図７に示す相応の方法に係る各ステップを実行可能なコンピュータプログラム（プログラムコードを含む）を実行することにより、図９に示す画像処理装置を構築し、本願の実施例における画像処理方法を実現してもよい。前記コンピュータプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録され、コンピュータ読み取り可能な記録媒体を介して上記コンピューティングデバイスにロードされ、上記コンピューティングデバイスで実行されてもよい。
【0104】
本願の実施例では、画像処理モデルは、図３Ｂ又は図６Ａに示す画像処理モデルの訓練方法によって訓練されたものであり、該画像処理モデルのボケ除去性能が良い。このため、該画像処理モデルを呼び出して、鮮明度の低い元画像に対して鮮明度回復処理を行うと、元画像に対してボケ除去処理をより良く行うことができる。これにより、鮮明なターゲット画像を取得し、ターゲット画像の鮮明度を向上させ、さらにターゲット画像の画質を向上させることができる。
【0105】
上記の方法の実施例及び装置の実施例の説明に基づき、本願の実施例では、ネットワーク機器がさらに提供されている。図１０を参照すると、該ネットワーク機器は、少なくとも、プロセッサ３０１と、入力機器３０２と、出力機器３０３と、コンピュータ記憶媒体３０４と、を含む。前記入力機器３０２は、撮像コンポーネントを含んでもよく、撮像コンポーネントは、画像を収集するために用いられ得る。前記撮像コンポーネントは、ネットワーク機器の出荷時にネットワーク機器に配置されたコンポーネントであってもよいし、ネットワーク機器に接続された外部コンポーネントであってもよい。いくつかの実施例では、該ネットワーク機器は、他の機器に接続されて、他の機器から送信された画像を受信することができる。
【0106】
コンピュータ記憶媒体３０４は、ネットワーク機器のメモリに記憶されてもよい。前記コンピュータ記憶媒体３０４は、コンピュータプログラムを記憶するためのものであり、前記コンピュータプログラムには、プログラム命令が含まれ、前記プロセッサ３０１は、前記コンピュータ記憶媒体３０４に記憶されたプログラム命令を実行する。プロセッサ３０１（又は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と称する）は、ネットワーク機器のコンピューティングコア及び制御コアであり、１つ以上の命令を実現するように構成され、具体的に、１つ以上の命令をロードして実行することにより、相応の方法のフロー又は相応の機能を実現するように構成される。一実施例において、本願の実施例におけるプロセッサ３０１は、ボケ画像を処理するための画像処理モデルに対して、訓練用のサンプル対を取得するステップであって、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、を含む一連の訓練処理を行うことができる。ここで、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。他の実施例において、本願の実施例におけるプロセッサ３０１は、さらに、元画像に対して、処理対象の元画像を取得するステップであって、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであって、前記ターゲット画像の鮮明度が前記所定閾値よりも大きい、ステップと、を含む一連の画像処理を行うことができる。
【0107】
本願の実施例では、コンピュータ記憶媒体（Ｍｅｍｏｒｙ）がさらに提供されている。前記コンピュータ記憶媒体は、ネットワーク機器における記憶デバイスであり、プログラム及びデータを記憶するためのものである。理解できるように、ここでのコンピュータ記憶媒体は、ネットワーク機器における内蔵記憶媒体を含んでもよいし、当然にネットワーク機器がサポートする拡張記憶媒体を含んでもよい。コンピュータ記憶媒体は、記憶スペースを提供し、該記憶スペースには、ネットワーク機器のオペレーティングシステムが記憶されている。また、該記憶スペースには、プロセッサ３０１によりロードされて実行されるように構成される１つ以上の命令も記憶されており、これらの命令は、１つ以上のコンピュータプログラム（プログラムコードを含む）であってもよい。説明すべきものとして、ここでのコンピュータ記憶媒体は、高速ＲＡＭであってもよく、不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリであってもよく、いくつかの実施例において、前記プロセッサから離れて位置する少なくとも１つのコンピュータ記憶媒体であってもよい。
【0108】
一実施例では、プロセッサ３０１が、コンピュータ記憶媒体に記憶された１つ以上の第１命令をロードして実行することにより、上記の画像処理モデルの訓練の実施例における方法に係る相応のステップを実現してもよい。前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークと前記第２ネットワークとは、異なるスケールを有するコーデックネットワークであり、前記スケールの大きさは、処理対象のボケ画像の鮮明度の大きさに対応する。具体的な実現において、コンピュータ記憶媒体における１つ以上の第１命令は、プロセッサ３０１によりロードされ、
訓練用のサンプル対を取得するステップであって、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、を実行させ、
ここで、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
訓練用のサンプル対を取得するステップであって、前記サンプル対には、鮮明画像と、前記鮮明画像に対応するボケ画像とが含まれ、前記鮮明画像の鮮明度が所定閾値よりも大きく、前記ボケ画像の鮮明度が前記所定閾値よりも小さい、ステップと、
前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、を実行させ、
ここで、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる。
【0109】
一実施形態において、前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
【0110】
他の実施形態において、前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
【0111】
他の実施形態において、前記選択的共有条件は、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータが、共有するネットワークパラメータであることを指示するために用いられる場合、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータが、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータが、共有するネットワークパラメータである、ことを含む。
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、第１ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、第２ネットワークにおける各特徴変換パラメータが、互いに独立したネットワークパラメータであり、又は、
前記特徴変換パラメータの数が１よりも大きいとき、前記第１ネットワークの複数の特徴変換パラメータと前記第２ネットワークの複数の特徴変換パラメータとが、共有するネットワークパラメータであり、前記第１ネットワークの各特徴変換パラメータが、共有するネットワークパラメータであり、前記第２ネットワークの各特徴変換パラメータが、共有するネットワークパラメータである、ことを含む。
【0112】
他の実施形態において、前記第１ネットワークは、第１スケールに対応し、前記第２ネットワークは、第２スケールに対応し、前記画像処理モデルを呼び出して、前記ボケ画像に対して鮮明度回復処理を行うことにより、回復画像を取得する際に、前記１つ以上の第１命令は、プロセッサ３０１によってロードされ、
前記第１スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得するステップと、
前記第１ネットワークを呼び出して、前記第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得するステップと、
前記第２スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得するステップと、
前記第２ネットワークを呼び出して、前記第２鮮明度のボケ画像と、前記中間画像とに基づいて、鮮明度回復処理を行うことにより、回復画像を取得するステップと、を実行させる。
前記第１スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第１鮮明度のボケ画像を取得するステップと、
前記第１ネットワークを呼び出して、前記第１鮮明度のボケ画像に対して鮮明度回復処理を行うことにより、中間画像を取得するステップと、
前記第２スケールに従って、前記ボケ画像に対してダウンサンプリング処理を行うことにより、第２鮮明度のボケ画像を取得するステップと、
前記第２ネットワークを呼び出して、前記第２鮮明度のボケ画像と、前記中間画像とに基づいて、鮮明度回復処理を行うことにより、回復画像を取得するステップと、を実行させる。
【0113】
他の実施形態において、前記鮮明度回復処理は、画像に対して特徴抽出処理を行うことと、多段残差関数を用いて、特徴抽出処理後の画像に対して特徴変換処理を行うことと、特徴変換処理後の画像に対して特徴再構築処理を行うことと、を含む。
【0114】
他の実施形態では、前記回復画像及び前記鮮明画像に基づいて、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新する際に、前記１つ以上の第１命令は、プロセッサ３０１によってロードされ、
前記画像処理モデルの最適化関数を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記最適化関数の値を決定するステップと、
前記最適化関数の値を減少させる原則に従って、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、を実行させる。
前記画像処理モデルの最適化関数を取得するステップと、
前記回復画像及び前記鮮明画像に基づいて、前記最適化関数の値を決定するステップと、
前記最適化関数の値を減少させる原則に従って、前記画像処理モデルにおける前記第１ネットワークのネットワークパラメータ及び／又は前記第２ネットワークのネットワークパラメータを更新するステップと、を実行させる。
【0115】
他の実施形態では、訓練用のサンプル対を取得する際に、前記１つ以上の第１命令は、プロセッサ３０１によってロードされ、
訓練用の画像シーケンスフレームを取得するステップであって、前記画像シーケンスフレームには、少なくとも２フレームの画像が含まれる、ステップと、
前記画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、前記鮮明画像に関連する複数フレームの参照画像を決定するステップと、
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得し、前記ボケ画像及び前記鮮明画像を用いて、訓練用のサンプル対を構築するステップと、を実行させる。
訓練用の画像シーケンスフレームを取得するステップであって、前記画像シーケンスフレームには、少なくとも２フレームの画像が含まれる、ステップと、
前記画像シーケンスフレームの中から１フレームの画像を鮮明画像として任意に選択し、前記鮮明画像に関連する複数フレームの参照画像を決定するステップと、
前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得し、前記ボケ画像及び前記鮮明画像を用いて、訓練用のサンプル対を構築するステップと、を実行させる。
【0116】
他の実施形態では、前記複数フレームの参照画像に基づいて、前記鮮明画像に対応するボケ画像を取得する際に、前記１つ以上の第１命令は、プロセッサ３０１によってロードされ、
前記複数フレームの参照画像を重ね合わせて平均を求めることにより、前記鮮明画像に対応するボケ画像を取得するステップを実行させる。
前記複数フレームの参照画像を重ね合わせて平均を求めることにより、前記鮮明画像に対応するボケ画像を取得するステップを実行させる。
【0117】
他の実施例では、プロセッサ３０１が、コンピュータ記憶媒体に記憶された１つ以上の第２命令をロードして実行することにより、上記の画像処理の実施例における方法に係る相応のステップを実現してもよい。具体的な実現において、コンピュータ記憶媒体における１つ以上の第２命令は、プロセッサ３０１によってロードされ、
処理対象の元画像を取得するステップであって、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、
画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであって、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークは、第１スケールに対応し、前記第２ネットワークは、第２スケールに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、ステップと、
前記ターゲット画像を出力するステップと、を実行させる。
処理対象の元画像を取得するステップであって、前記元画像の鮮明度が所定閾値よりも小さい、ステップと、
画像処理モデルを呼び出して、前記元画像に対して鮮明度回復処理を行うことにより、ターゲット画像を取得するステップであって、前記ターゲット画像の鮮明度が前記所定閾値よりも大きく、前記画像処理モデルは、少なくとも、第１ネットワークと第２ネットワークとを含み、前記第１ネットワークは、第１スケールに対応し、前記第２ネットワークは、第２スケールに対応し、前記第１ネットワークのネットワークパラメータと前記第２ネットワークのネットワークパラメータとの間は、選択的共有条件を満たし、前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられるとともに、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる、ステップと、
前記ターゲット画像を出力するステップと、を実行させる。
【0118】
一実施形態において、前記ネットワークパラメータは、特徴抽出パラメータ及び特徴変換パラメータを含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で共有するネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴変換パラメータと前記第２ネットワークの特徴変換パラメータとが、共有するネットワークパラメータであることを指示するために用いられ、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、具体的に、前記第１ネットワークの特徴抽出パラメータと前記第２ネットワークの特徴抽出パラメータとが、互いに独立したネットワークパラメータであることを指示するために用いられる。
【0119】
他の実施形態において、前記ネットワークパラメータは、特徴再構築パラメータをさらに含み、
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
前記選択的共有条件は、前記第１ネットワークと前記第２ネットワークとの間で互いに独立したネットワークパラメータを指示するために用いられる場合、前記第１ネットワークの特徴再構築パラメータと前記第２ネットワークの特徴再構築パラメータとが、互いに独立したネットワークパラメータであることを指示するためにも用いられる。
【0120】
本願の実施例におけるボケ画像を処理するための画像処理モデルは、少なくとも、第１スケールの第１ネットワークと、第２スケールの第２ネットワークとを含む。第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータ及び独立したネットワークパラメータが存在するため、画像処理モデルは、ボケ画像に対して鮮明度回復処理を行う際に、ボケ画像におけるより多くの画像特徴を学習して、正確な回復画像を取得することができる。正確な回復画像及び鮮明画像に基づいて、第１ネットワークのネットワークパラメータ及び／又は第２ネットワークのネットワークパラメータを更新すると、訓練後の画像処理モデルのボケ除去性能を向上させることができる。また、第１ネットワークと第２ネットワークとの間に、共有するネットワークパラメータが存在するため、画像処理モデルのパラメータ数を減少させ、モデル訓練効率を向上させることができる。また、対応付けられる鮮明画像及びボケ画像を用いて、画像処理モデルに対してエンドツーエンドの訓練学習を行うことにより、ボケ画像の各動きボケ領域を分割する必要がなく、かつ、ボケ画像に対していかなる仮定を行う必要もなく、訓練後の画像処理モデルのボケ除去性能及びモデル訓練効率をさらに向上させることができる。
【0121】
上記に提示されたのは、本願の好ましい実施例に過ぎず、当然に、これによって本願の権利範囲を限定するものではない。したがって、本願の請求の範囲に基づいて行われた同等な変更は、同様に本願の保護範囲内に含まれるものである。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図7】
【図8】
【図9】
【図10】
【国際調査報告】