特許 7482253 画像処理方法、装置、コンピュータ機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-01

(45)【発行日】2024-05-13

(54)【発明の名称】画像処理方法、装置、コンピュータ機器及び記憶媒体

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240502BHJP

【ＦＩ】

G06T3/4053

【請求項の数】 10

(21)【出願番号】P 2022564634

(86)(22)【出願日】2021-07-16

(65)【公表番号】

(43)【公表日】2023-06-01

(86)【国際出願番号】 CN2021106647

(87)【国際公開番号】W WO2022042124

(87)【国際公開日】2022-03-03

【審査請求日】2022-10-21

(31)【優先権主張番号】202010862957.2

(32)【優先日】2020-08-25

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】522238376

【氏名又は名称】深▲セン▼思謀信息科技有限公司

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮ ＳＭＡＲＴＭＯＲＥ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】２２０１Ａ， Ｔｏｗｅｒ ２， Ｑｉａｎｈａｉ Ｋｅｒｒｙ Ｂｕｓｉｎｅｓｓ Ｃｅｎｔｅｒ Ｐｈａｓｅ ４， Ｑｉａｎｈａｉ Ａｖｅｎｕｅ， Ｎａｎｓｈａｎ Ｓｔｒｅｅｔ， Ｑｉａｎｈａｉ Ｓｈｅｎｚｈｅｎ－Ｈｏｎｇ Ｋｏｎｇ Ｃｏｏｐｅｒａｔｉｏｎ Ｚｏｎｅ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ， Ｃｈｉｎａ

(73)【特許権者】

【識別番号】522413869

【氏名又は名称】上海思謀科技有限公司

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】リ、ウェンボ

(72)【発明者】

【氏名】チョウ、クン

(72)【発明者】

【氏名】キ、ル

(72)【発明者】

【氏名】ジャン、ニァンジュァン

(72)【発明者】

【氏名】ロ、ジァンボ

【審査官】渡部 幸和

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００９６０３１（ＵＳ，Ａ１）

【文献】特開２０１５－１６６９７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

(57)【特許請求の範囲】

【請求項1】

処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を含み、
前記処理対象画像の画像特徴情報を抽出する前記ステップは、
残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出するステップと、
前記第１の画像特徴情報に対して画素再構成を行って、前記第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、前記第１の画像特徴情報に対応する第２の画像特徴情報を得て、前記処理対象画像の画像特徴情報とするステップと、を含む、画像処理方法。

【請求項2】

残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出する前記ステップは、
前記処理対象画像を同じサイズの複数の画像ブロックに分割するステップと、
前記残差ネットワークに含まれる複数の残差分岐によって、複数の前記画像ブロックの特徴情報をそれぞれ抽出して、前記処理対象画像の第１の画像特徴情報とするステップと、を含む請求項１に記載の方法。

【請求項3】

処理対象画像の初期解像度画像を取得する前記ステップは、
前記処理対象画像を取得するステップと、
前記処理対象画像に対して線形補間処理を行い、線形補間処理された画像を前記初期解像度画像とするステップと、を含む請求項１に記載の方法。

【請求項4】

前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定する前記ステップは、
前記画像特徴情報に対して畳み込み処理を行って、画素位置に対応する複数のフィルタパラメータを含む、前記処理対象画像の各画素位置に対応する結合係数を得るステップを含む請求項１に記載の方法。

【請求項5】

前記処理対象画像の第１の画像特徴情報を抽出する前記ステップは、
前記処理対象画像を同じサイズの複数の画像ブロックに分割するステップと、
前記残差ネットワークに含まれる複数の残差分岐によって、複数の前記画像ブロックの特徴情報をそれぞれ抽出して、前記処理対象画像の第１の画像特徴情報とするステップと、を含む請求項１に記載の方法。

【請求項6】

各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得る前記ステップは、
事前定義されたフィルタパラメータ情報テーブルから、前記フィルタパラメータに対応する複数のプリセットフィルタを決定するステップと、
前記フィルタパラメータに対応する複数のプリセットフィルタに対して線形重み付けを行って、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、を含む請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記ターゲットフィルタは、下記式：

［式中、前記Ｆ_ｉは単一の前記ターゲットフィルタ、Ｄは前記事前定義されたフィルタパラメータ情報テーブル、前記Ｌは前記事前定義されたフィルタパラメータ情報テーブルにおける前記プリセットフィルタの数、前記Φは前記フィルタパラメータである。］によって計算される請求項６に記載の方法。

【請求項8】

処理対象画像の初期解像度画像を取得するための画像取得モジュールと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するための特徴抽出モジュールと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るためのフィルタ組み合わせモジュールと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るための画像再構成モジュールと、を備え、
前記特徴抽出モジュールは、
残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出し、
前記第１の画像特徴情報に対して画素再構成を行って、前記第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、前記第１の画像特徴情報に対応する第２の画像特徴情報を得て、前記処理対象画像の画像特徴情報とする、画像処理装置。

【請求項9】

コンピュータプログラムが記憶されているメモリと、前記コンピュータプログラムを実行する場合に、請求項１～５のいずれか１項に記載の方法のステップを実現するプロセッサと、を備えるコンピュータ機器。

【請求項10】

プロセッサによって実行される場合に、請求項１～５のいずれか１項に記載の方法のステップを実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２０年８月２５日に提出された、名称が「超解像度画像再構成方法、装置、コンピュータ機器及び記憶媒体」、出願番号が２０２０１０８６２９５７２である中国出願の優先権を主張し、その全ての内容が参照によって本願に組み込まれる。

【0002】

本願は、画像処理方法、装置、コンピュータ機器及び記憶媒体に関する。

【背景技術】

【0003】

画像超解像度技術は、一枚の低解像度画像から高解像度画像を再構成する技術である。過去十数年において、この技術は高画質画像、監視ビデオ画像などの分野で広く使用され、大きな進歩を遂げた。

【0004】

従来技術は、深層学習に基づく方法によって、低解像度画像から高解像度画像へのマッピングを直接学習する方法と、画素の適応フィルタリングを行う方法との２つに分類される。

【発明の概要】

【0005】

複数の実施例によれば、本願の第１態様は、
処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を含む画像処理方法を提供する。

【0006】

複数の実施例によれば、本願の第２態様は、
処理対象画像の初期解像度画像を取得するための画像取得モジュールと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するための特徴抽出モジュールと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るためのフィルタ組み合わせモジュールと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るための画像再構成モジュールと、を備える、画像処理装置を提供する。

【0007】

複数の実施例によれば、本願の第３態様は、
コンピュータプログラムが記憶されているメモリと、
前記コンピュータプログラムを実行する場合に、
処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を実現するプロセッサと、を備えるコンピュータ機器を提供する。

【0008】

複数の実施例によれば、本願の第４態様は、
プロセッサによって実行される場合に、
処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供する。

【0009】

本願の一つ又は複数の実施例の詳細は、以下の図面及び説明に記載されている。本願の他の特徴及び利点は、明細書、図面及び特許請求の範囲から明らかになるであろう。

【0010】

以下、本願の実施例又は従来技術の技術的手段をより明確に説明するために、実施例又は従来技術の説明に使用する図面を簡単に紹介する。以下の説明における図面は、本願のいくつかの実施例に過ぎず、当業者であれば、創造的努力なしにこれらの図面から他の図面を導き出すこともできることは明らかである。

【図面の簡単な説明】

【0011】

【図1】一実施例における画像処理方法の使用環境を示す図である。

【図2】一実施例における画像処理方法のフローチャートである。

【図3】一実施例における事前定義されたネットワークを介して処理対象画像の画像特徴情報を抽出するフローチャートである。

【図4】一実施例における事前定義されたフィルタパラメータ情報テーブルの概略図である。

【図5】一実施例におけるガウスフィルタの取得方法のフローチャートである。

【図6】一実施例におけるターゲットフィルタを取得するフローチャートである。

【図7】一実施例におけるフィルタリング処理のフローチャートである。

【図8】一実施例における処理対象画像の画像特徴情報を抽出するステップのフローチャートである。

【図9】一実施例における残差ネットワークを介して処理対象画像の第１の画像特徴情報を抽出するステップのフローチャートである。

【図10】一実施例における画像処理装置の構成ブロック図である。

【図11】一実施例におけるコンピュータ機器の内部構造図である。

【発明を実施するための形態】

【0012】

従来の深層学習に基づく画像再構成方法は、良好な画像復元効果があるものの、モデルの複雑度が高く、計算力の需要が大きく、推論速度が遅いため、従来の超解像度画像再構成方法の効率はまだ低い。

【0013】

本願の目的、技術的手段及び利点をより明確にするために、以下、図面及び実施例を参照しながら、本願を詳細に説明する。ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本願を限定するためのものではないことを理解されたい。

【0014】

本願に係る画像処理方法は、図１に示される使用環境に使用することができる。端末１１はネットワークを介してサーバ１２と通信する。サーバ１２は、端末１１からネットワークを介して送信された処理対象画像を取得し、処理対象画像の初期解像度画像を取得し、処理対象画像の画像特徴情報を抽出し、画像特徴情報に基づいて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定し、各画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、処理対象画像の各画素位置に対応するターゲットフィルタを得、ターゲットフィルタによって、初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、処理対象画像の超解像度画像を得、得られた処理対象画像の超解像度画像を端末１１に返して、超解像度画像の再構成を完了する。端末１１は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット及びウェアラブルデバイスであってもよいが、これらに限定されない。サーバ１２は、独立したサーバであってもよいし、又は複数のサーバからなるサーバクラスタであってもよい。

【0015】

一実施例において、図２に示すように、画像処理方法が提供され、この方法を図１におけるサーバ１２に使用することを例に説明し、下記のステップを含む。

【0016】

ステップ２１：処理対象画像の初期解像度画像を取得する。

【0017】

処理対象画像は１枚の低解像度画像（ＬＲ、Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ、低解像度）であり、初期解像度画像は１枚の低解像度画像に簡単な補間処理を行って得た初期高解像度画像（ＨＲ、Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ、高解像度）である。

【0018】

具体的には、端末は、１枚であるか又は複数枚で構成されたデータセットの形態であってもよい、超解像度画像再構成処理が行われる低解像度画像を有する超解像度画像再構成要求をサーバに送信し、サーバは、端末によって送信された超解像度画像再構成要求を検証した後、超解像度画像再構成要求から低解像度の処理対象画像を順次抽出する。また、サーバは、要求から画像のストレージアドレス及び処理対象画像のリストを取得することによって画像を取得することができ、画像のリストに基づいて端末により提供されたストレージアドレスから画像を取得する。

【0019】

サーバは、超解像度画像再構成処理が行われる低解像度画像を取得した後、補間アルゴリズムによって低解像度の処理対象画像を予備処理して、対応する初期解像度画像を得る。補間アルゴリズムは、最近傍補間法（Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｕｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間法（Ｂｉｌｉｎｅａｒ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）及びバイキュービック補間法（Ｂｉｃｕｂｉｃ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）等を採用することができる。処理対象画像を補間処理して得た初期解像度画像の解像度は処理対象画像の解像度よりも高く、初期解像度画像を後続で得るターゲットフィルタでフィルタリングすることで超解像度画像を得ることができる。

【0020】

このステップでは、サーバは、端末から処理対象画像を取得し、処理対象画像を予備処理して初期解像度画像を得、後続のフィルタリング処理に直接使用することができ、超解像度画像再構成の効率が向上する。

【0021】

ステップ２２：処理対象画像の画像特徴情報を抽出し、画像特徴情報に基づいて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定する。

【0022】

具体的には、図３に示される事前定義されたネットワークを介して処理対象画像の画像特徴情報を抽出し、さらに、画像特徴情報に基づいて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定する。

【0023】

この事前定義されたネットワークはさらに局所融合部、画素再構成部及び畳み込み部の３つの部分に分けることができる。

【0024】

局所融合部は、複数の局所融合ブロック（ＬＦＢ、Ｌｏｃａｌ Ｆｕｓｉｏｎ Ｂｌｏｃｋ、効率的な残差学習のための局所融合ブロック）で構成され、各局所融合ブロックは、処理対象画像の画像特徴を抽出するとともに、深層残差学習を行うことができる。局所融合ブロックの構造は、図３の下部の拡張枠に示されているように、主に２つのブランチで構成され、一方のブランチは、出力が一緒に接続された複数の残差ブロック（ＲＢブロック、Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ）を通過し、畳み込み層（Ｃｏｎｖ）を通過した後、パラメータδ２に乗算され、他方のブランチは直接パラメータδ１に乗算され、最後に、２つのブランチの結果を加算処理して、局所融合ブロックの出力結果とする。

【0025】

画素再構成部は、画素再構成部材（Ｐｉｘｅｌｓｈｕｆｆｌｅ）で構成され、低解像度の画像特徴を高解像度の画像特徴に変換することができる。

【0026】

畳み込み部は、畳み込み操作を行うことができ、線形結合係数を回帰した後、線形結合係数を処理対象画像の各画素位置に対応する複数のフィルタパラメータとして出力し、出力結果の３次元サイズはＨｓ×Ｗｓ×Ｌ（Ｈは画像の高さ、Ｗは画像の幅、ｓは拡大倍率、Ｌはプリセットフィルタの数である）である。

【0027】

このステップでは、局所融合部、画素再構成部及び畳み込み部を含む事前定義されたネットワークを介して処理対象画像の画像特徴情報に対して抽出処理を行い、画像特徴情報を得てから対応するフィルタパラメータを取得し、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0028】

ステップ２３：各画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、処理対象画像の各画素位置に対応するターゲットフィルタを得る。

【0029】

図４に示されるように、本願における事前定義されたフィルタパラメータ情報テーブルは、事前定義されたフィルタ辞書であり、複数のプリセットフィルタを含んでいるとともに、その数が各画素位置に対応する複数のフィルタパラメータの数と同じである。この事前定義されたフィルタパラメータ情報テーブルは、ガウスとガウス差分の２種類のフィルタで構成され、ガウス差分は２つのガウスフィルタを減算処理したものである。

【0030】

図５に示されるように、ガウスフィルタは、
１）標準の円形フィルタを、長軸（σ１）と短軸（σ２）の大きさを制御することで楕円にし、２）楕円を反時計回りに回転（回転角度θ）させることで、所定角度傾斜した楕円を得、３）楕円の長軸と短軸を同時に調整（σ１とσ２に同時に係数γを乗算）して、スケーリングすることによって取得される。

【0031】

図４は各フィルタに対応する係数を詳細に示し、うち、γは１．０、０．６及び０．２の３つの値を含み、ｒは短軸と長軸との比（σ１をσ２で割ったもの）であり、１．０、０．８、０．６、０．４、０．２の値があり、θは回転角度で、０度、３０度、６０度、９０度、１２０度、１５０度がある。

【0032】

具体的には、図６に示されるように、対応する各プリセットフィルタを組み合わせてターゲットフィルタを得る模式図である。

【0033】

サーバは、事前定義されたフィルタパラメータ情報テーブルに基づいて、各画素位置に対応する複数のフィルタパラメータに対応するプリセットフィルタを組み合わせて、各画素位置に対応するターゲットフィルタを得ることができる。

【0034】

このステップでは、画素位置に基づいて、フィルタパラメータとプリセットフィルタを対応付けて組み合わせて、処理対象画像の各画素位置に対応するターゲットフィルタを得、ターゲットフィルタで処理対象画像の初期解像度画像をフィルタリングすることにより超解像度画像を得、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0035】

ステップ２４：ターゲットフィルタによって、初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、処理対象画像の超解像度画像を得る。

【0036】

具体的には、フィルタリングは画像処理において一般的な処理方法であり、図６に対応するステップを通じて各画素位置に対応する異なるフィルタの組み合わせを得ることができ、これらのフィルタを補間処理して得た初期解像度画像に作用することにより最終の結果を得ることができる。

【0037】

図７のフィルタリング処理模式図に示されるように、取得した処理対象画像の初期解像度画像を入力とし、処理対象画像の各画素位置に対応するターゲットフィルタをフィルタリング処理装置として用い、１回のフィルタリングによって超解像度画像ＨＲ－Ｙを超解像度画像再構成結果として得ることができる。

【0038】

本実施例では、１回のフィルタリングによって良好な画像復元効果を得ることができるとともに、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0039】

上記の超解像度画像再構成方法は、処理対象画像の初期解像度画像を取得するステップと、処理対象画像の画像特徴情報を抽出し、画像特徴情報に基づいて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、各画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、処理対象画像の各画素位置に対応するターゲットフィルタを得るステップと、ターゲットフィルタによって、初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、処理対象画像の超解像度画像を得るステップと、を含む。本願は、処理対象画像の各画素位置に対応する複数のフィルタパラメータをプリセットフィルタと組み合わせることによってターゲットフィルタを得、さらに、ターゲットフィルタで処理対象画像の初期解像度画像をフィルタリングすることで超解像度画像を得ることができる。本願は、新規な超解像度画像再構成の解決策を提供し、１回のフィルタリングのみで良好な画像復元効果を得ることができるとともに、モデルの数が少なく、計算速度が大幅に向上し、モデルフレームワーク全体の最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0040】

一実施例において、図８に示されるように、上記ステップ２２における処理対象画像の画像特徴情報を抽出するステップは、
ステップ８１：残差ネットワークを介して処理対象画像の第１の画像特徴情報を抽出するステップと、
ステップ８２：第１の画像特徴情報に対して画素再構成を行って、第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、第１の画像特徴情報に対応する第２の画像特徴情報を得て、処理対象画像の画像特徴情報とするステップと、を含む。

【0041】

具体的には、図３に示されるように、局所融合ブロックは残差ネットワークに相当し、１つ以上のカスケード接続された残差ブロック、直列接続された連結層、直列接続された畳み込み層、チャネル分離ブロックなどを含むことができ、差分ブロックの入力が特徴抽出の出力に接続され、特徴融合ブロックは、残差ブロックの入力した特徴画像及び最終段の残差ブロックの出力した特徴画像を抽出し、反復訓練が完了するまで、これらの異なる層の特徴画像を融合して次の残差ネットワークに出力する。

【0042】

画素再構成モジュールは、複数層の残差ネットワークによって画像ブロックから抽出された深層特徴を取得した後、特徴画像を再構成して画像の解像度を向上させ、その後、畳み込み層を使用して、線形結合係数を回帰して、処理対象画像の各画素位置に対応する複数のフィルタパラメータを得る。

【0043】

本実施例では、残差ネットワークを介して第１の画像特徴情報を取得し、さらに、画素再構成によって第１の画像特徴情報を第２の画像特徴情報に再構成することで、処理対象画像の完全な画像特徴情報を得、良好な画像復元効果を得ることができるとともに、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0044】

一実施例において、図９に示されるように、残差ネットワークを介して処理対象画像の第１の画像特徴情報を抽出する上記ステップ８１は、
ステップ９１：処理対象画像を同じサイズの複数の画像ブロックに分割するステップと、
ステップ９２：残差ネットワークに含まれる複数の残差分岐によって、複数の画像ブロックの特徴情報をそれぞれ抽出して、処理対象画像の第１の画像特徴情報とするステップと、を含む。

【0045】

具体的には、処理対象画像をブロック処理し、同じ画素サイズの画像ブロックにトリミングし、画像ブロックをそれぞれ残差ネットワークに入力し、残差ネットワークを介して特徴抽出を行った後、複数の画像ブロックの特徴情報をそれぞれ得て、処理対象画像の第１の画像特徴情報とする。本実施例では、画像をブロック処理することで、画像の処理速度を向上させた。

【0046】

一実施例において、処理対象画像の初期解像度画像を取得する上記ステップ２１は、処理対象画像を取得するステップと、処理対象画像に対して線形補間処理を行い、線形補間処理された画像を初期解像度画像とするステップと、を含む。

【0047】

具体的には、サーバは、処理対象画像を取得し、例えば、バイキュービック補間法により処理対象画像を拡大するなど、処理対象画像に対して線形補間処理を行うことにより、処理対象画像の初期解像度画像を得ることができる。本実施例では、簡単な線形補間処理によって初期の高解像度画像を得ることができ、使用されるデータが少なく、モデルユニットが少なく、構成が簡単で、処理速度が速い。

【0048】

一実施例において、上記ステップ２２における画像特徴情報に基づいて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップは、画像特徴情報に対して畳み込み処理を行って、画素位置に対応する複数のフィルタパラメータを含む、処理対象画像の各画素位置に対応する結合係数を得るステップを含む。

【0049】

具体的には、畳み込み処理により、処理対象画像の各画素位置に対応する結合係数を得ることができ、結合係数は、各画素位置に対応する複数のフィルタパラメータにより構成され、その３次元サイズはＨｓ、Ｗｓ、Ｌ（Ｈは画像の高さ、Ｗは画像の幅、ｓは拡大倍率、Ｌはプリセットフィルタの数である）である。本実施例では、簡単な畳み込み処理によって結合係数を回帰させて、処理対象画像の各画素位置に対応する複数のフィルタパラメータを取得し、その後、処理対象画像の各画素位置に対応する複数のフィルタパラメータをプリセットフィルタと組み合わせることによってターゲットフィルタを得、さらに、ターゲットフィルタで処理対象画像の初期解像度画像をフィルタリングすることで超解像度画像を得ることができ、１回のフィルタリングのみで良好な画像復元効果を得ることができるとともに、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0050】

一実施例において、各画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、処理対象画像の各画素位置に対応するターゲットフィルタを得るステップは、
事前定義されたフィルタパラメータ情報テーブルから、フィルタパラメータに対応する複数のプリセットフィルタを決定するステップと、フィルタパラメータに対応する複数のプリセットフィルタに対して線形重み付けを行って、処理対象画像の各画素位置に対応するターゲットフィルタを得るステップと、を含む。

【0051】

具体的には、事前定義されたフィルタパラメータ情報テーブルは事前定義された辞書であり、辞書に合計Ｌ個のフィルタがあると仮定した場合、画像の各画素位置が画像特徴情報の抽出によって異なるＬ個の係数を得、各係数に事前定義されたフィルタパラメータ情報テーブルにおける対応するプリセットフィルタを乗算し、乗算結果を加算することで、各画素に対応する最終フィルタを得て、処理対象画像の各画素位置に対応するターゲットフィルタとすることができる。本実施例は、処理対象画像の各画素位置に対応する複数のフィルタパラメータをプリセットフィルタと組み合わせることによってターゲットフィルタを得、さらに、ターゲットフィルタで処理対象画像の初期解像度画像をフィルタリングすることで超解像度画像を得ることができ、１回のフィルタリングのみで良好な画像復元効果を得ることができるとともに、モデルの数が少なく、計算速度が速くなり、モデルフレームワークの最適化が容易になり、超解像度画像再構成の効率が全体的に向上する。

【0052】

一実施例において、ターゲットフィルタは、下記式：

［式中、Ｆ_ｉは単一のターゲットフィルタ、Ｄは事前定義されたフィルタパラメータ情報テーブル、Ｌは事前定義されたフィルタパラメータ情報テーブルにおけるプリセットフィルタの数、Φはフィルタパラメータである。］によって計算される。

【0053】

具体的には、各係数に事前定義されたフィルタパラメータ情報テーブルにおける対応するプリセットフィルタを乗算し、乗算結果を加算することで、各画素に対応する最終フィルタを得て、処理対象画像の各画素位置に対応するターゲットフィルタとすることができる。本実施例は、処理対象画像の各画素位置に対応する複数のフィルタパラメータをプリセットフィルタと組み合わせることによってターゲットフィルタを得、超解像度画像再構成の効率が全体的に向上する。

【0054】

一実施例において、本願による画像処理方法は、超解像度画像再構成に使用することができるだけではなく、さらに、画像のノイズ除去及びＪＰＥＧ解凍に使用することができる。

【0055】

具体的には、上記画像処理方法は、超解像度画像再構成に使用する。画像のノイズ除去及びＪＰＥＧ解凍の具体的なプロセスは、処理対象画像に対して線形補間処理を行うステップ、及び第１の画像特徴情報に対して画素再構成を行うステップが不要であることを除き、上記画像処理方法と同じである。画像のノイズ除去及びＪＰＥＧ解凍の場合にアップサンプリングする必要がないため、入力と出力のサイズが同じである。

【0056】

図２、８～９のフローチャートにおける各ステップは、矢印に示されるように順次表示されるが、これらのステップは必ずしも矢印に示される順序で順次実行されるわけではないことを理解されたい。本明細書で明確に説明されていない限り、これらのステップの実行は順序に限定されるものではなく、他の順序で実行されてもよい。そして、図２、８～９の少なくとも一部のステップは、複数のステップ又は複数の段階を含むことができ、これらのステップ又は段階は必ずしも同じ時刻に実行されるわけではなく、異なる時刻に実行されてもよく、これらのステップ又は段階の実行順序も必ずしも順次実行されるわけではなく、他のステップ又は他のステップにおけるステップ又は段階の少なくとも一部と順番又は交互に実行されてもよい。

【0057】

一実施例において、図１０に示すように、
処理対象画像の初期解像度画像を取得するための画像取得モジュール１０１と、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するための特徴抽出モジュール１０２と、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るためのフィルタ組み合わせモジュール１０３と、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るための画像再構成モジュール１０４と、を備える、画像処理装置を提供している。

【0058】

一実施例において、特徴抽出モジュール１０２はさらに、残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出し、前記第１の画像特徴情報に対して画素再構成を行って、前記第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、前記第１の画像特徴情報に対応する第２の画像特徴情報を得て、前記処理対象画像の画像特徴情報とする。

【0059】

一実施例において、特徴抽出モジュール１０２はさらに、前記処理対象画像を同じサイズの複数の画像ブロックに分割し、前記残差ネットワークに含まれる複数の残差分岐によって、複数の前記画像ブロックの特徴情報をそれぞれ抽出して、前記処理対象画像の第１の画像特徴情報とする。

【0060】

一実施例において、特徴抽出モジュール１０２はさらに、前記処理対象画像を取得し、前記処理対象画像に対して線形補間処理を行い、線形補間処理された画像を前記初期解像度画像とする。

【0061】

一実施例において、特徴抽出モジュール１０２はさらに、前記画像特徴情報に対して畳み込み処理を行って、画素位置に対応する複数のフィルタパラメータを含む、前記処理対象画像の各画素位置に対応する結合係数を得る。

【0062】

一実施例において、フィルタ組み合わせモジュール１０３はさらに、事前定義されたフィルタパラメータ情報テーブルから、前記フィルタパラメータに対応する複数のプリセットフィルタを決定し、前記フィルタパラメータに対応する複数のプリセットフィルタに対して線形重み付けを行って、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得る。

【0063】

一実施例において、フィルタ組み合わせモジュール１０３はさらに、下記式：

［式中、前記Ｆ_ｉは単一の前記ターゲットフィルタ、Ｄは前記事前定義されたフィルタパラメータ情報テーブル、前記Ｌは前記事前定義されたフィルタパラメータ情報テーブルにおける前記プリセットフィルタの数、前記Φは前記フィルタパラメータである。］によって計算してターゲットフィルタを得る。

【0064】

画像処理装置の具体的な限定については、上記の画像処理方法の限定を参照することができ、ここでは詳しい説明を省略する。上記の画像処理装置における各モジュールの全部又は一部は、ソフトウェア、ハードウェア、及びそれらの組み合わせによって実現されてもよい。上記各モジュールは、プロセッサが上記各モジュールに対応する動作を呼び出して実行できるように、ハードウェアの形でコンピュータ機器におけるプロセッサに埋め込まれていてもよいし、プロセッサから独立してもいてもよく、ソフトウェアの形でコンピュータ機器におけるメモリに記憶されていてもよい。

【0065】

一実施例において、コンピュータ機器が提供され、当該コンピュータ機器は、サーバであってもよく、その内部構造図が図１１に示されるものであってもよい。当該コンピュータ機器は、システムバスを介して接続されるプロセッサ、メモリ及びネットワークインターフェースを備える。当該コンピュータ機器のプロセッサは、計算機能及び制御機能を提供するためのものである。当該コンピュータ機器のメモリは、不揮発性記憶媒体、内部メモリを備え、当該不揮発性記憶媒体にはオペレーティングシステム、コンピュータプログラム及びデータベースが記憶されており、当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムを実行するための環境を提供する。当該コンピュータ機器のデータベースは、画像処理データを記憶するためのものである。当該コンピュータ機器のネットワークインターフェースは、ネットワークを介して外部の端末と接続通信するためのものである。当該コンピュータプログラムは、プロセッサによって実行される場合に、画像処理方法を実現することができる。

【0066】

当業者であれば、図１１に示される構成は、本願の技術的手段に関連する構成の一部のブロック図に過ぎず、本願の技術的手段が適用されるコンピュータ機器を限定するものではなく、具体的なコンピュータ機器は、図示よりも多いか又は少ない構成要素を含んでいてもよいし、一部の構成要素を組み合わせていてもよいし、異なる構成要素配置を有していてもよいことを理解するであろう。

【0067】

一実施例において、コンピュータプログラムが記憶されているメモリと、
コンピュータプログラムを実行する場合に、
処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を実現するプロセッサと、を備えるコンピュータ機器を提供している。

【0068】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出するステップと、前記第１の画像特徴情報に対して画素再構成を行って、前記第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、前記第１の画像特徴情報に対応する第２の画像特徴情報を得て、前記処理対象画像の画像特徴情報とするステップと、を実現する。

【0069】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、前記処理対象画像を同じサイズの複数の画像ブロックに分割するステップと、前記残差ネットワークに含まれる複数の残差分岐によって、複数の前記画像ブロックの特徴情報をそれぞれ抽出して、前記処理対象画像の第１の画像特徴情報とするステップと、を実現する。

【0070】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、前記処理対象画像を取得するステップと、前記処理対象画像に対して線形補間処理を行い、線形補間処理された画像を前記初期解像度画像とするステップと、を実現する。

【0071】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、前記画像特徴情報に対して畳み込み処理を行って、画素位置に対応する複数のフィルタパラメータを含む、前記処理対象画像の各画素位置に対応する結合係数を得るステップと、を実現する。

【0072】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、事前定義されたフィルタパラメータ情報テーブルから、前記フィルタパラメータに対応する複数のプリセットフィルタを決定するステップと、前記フィルタパラメータに対応する複数のプリセットフィルタに対して線形重み付けを行って、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、を実現する。

【0073】

一実施例において、プロセッサがコンピュータプログラムを実行する場合に、さらに、下記式：

［式中、前記Ｆ_ｉは単一の前記ターゲットフィルタ、Ｄは前記事前定義されたフィルタパラメータ情報テーブル、前記Ｌは前記事前定義されたフィルタパラメータ情報テーブルにおける前記プリセットフィルタの数、前記Φは前記フィルタパラメータである。］によって計算してターゲットフィルタを得るステップを実現する。

【0074】

一実施例において、プロセッサによって実行される場合に、
処理対象画像の初期解像度画像を取得するステップと、
前記処理対象画像の画像特徴情報を抽出し、前記画像特徴情報に基づいて、前記処理対象画像の各画素位置に対応する複数のフィルタパラメータを決定するステップと、
各前記画素位置に対応する複数のフィルタパラメータに従って、対応する各プリセットフィルタをそれぞれ組み合わせて、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、
前記ターゲットフィルタによって、前記初期解像度画像の対応する画素位置の画素情報をフィルタリング処理して、前記処理対象画像の超解像度画像を得るステップと、を実現するコンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供している。

【0075】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、残差ネットワークを介して前記処理対象画像の第１の画像特徴情報を抽出するステップと、前記第１の画像特徴情報に対して画素再構成を行って、前記第１の画像特徴情報に対応する画像解像度よりも高い対応する画像解像度を有する、前記第１の画像特徴情報に対応する第２の画像特徴情報を得て、前記処理対象画像の画像特徴情報とするステップと、を実現する。

【0076】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、前記処理対象画像を同じサイズの複数の画像ブロックに分割するステップと、前記残差ネットワークに含まれる複数の残差分岐によって、複数の前記画像ブロックの特徴情報をそれぞれ抽出して、前記処理対象画像の第１の画像特徴情報とするステップと、を実現する。

【0077】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、前記処理対象画像を取得するステップと、前記処理対象画像に対して線形補間処理を行い、線形補間処理された画像を前記初期解像度画像とするステップと、を実現する。

【0078】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、前記画像特徴情報に対して畳み込み処理を行って、画素位置に対応する複数のフィルタパラメータを含む、前記処理対象画像の各画素位置に対応する結合係数を得るステップと、を実現する。

【0079】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、事前定義されたフィルタパラメータ情報テーブルから、前記フィルタパラメータに対応する複数のプリセットフィルタを決定するステップと、前記フィルタパラメータに対応する複数のプリセットフィルタに対して線形重み付けを行って、前記処理対象画像の各前記画素位置に対応するターゲットフィルタを得るステップと、を実現する。

【0080】

一実施例において、コンピュータプログラムがプロセッサによって実行される場合に、さらに、下記式：

［式中、前記Ｆ_ｉは単一の前記ターゲットフィルタ、Ｄは前記事前定義されたフィルタパラメータ情報テーブル、前記Ｌは前記事前定義されたフィルタパラメータ情報テーブルにおける前記プリセットフィルタの数、前記Φは前記フィルタパラメータである。］によって計算してターゲットフィルタを得るステップを実現する。

【0081】

当業者であれば、上記実施例の方法におけるプロセスの全部又は一部は、コンピュータプログラムによって関連するハードウェアに指示することによって実現されてもよく、上記コンピュータプログラムは、不揮発性コンピュータ可読記憶媒体に記憶されてもよく、当該コンピュータプログラムが実行される際に、上記各方法の実施例のプロセスを含むことができることを理解できるであろう。本願に係る各実施例で使用されるメモリ、ストレージ、データベース又は他の媒体への任意の参照でも、不揮発性及び揮発性メモリの少なくとも１つを含むことができる。不揮発性メモリは、読出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フロッピーディスク、フラッシュメモリ又は光メモリなどを含むことができる。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）又は外部キャッシュメモリを含むことができる。限定ではなく例として、ＲＡＭはスタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＳＲＡＭ）又はダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＤＲＡＭ）などの様々な形態であってもよい。

【0082】

以上の実施例の各技術的特徴は、任意に組み合わせることができ、説明を簡潔にするために、上記実施例における各技術的特徴のすべての可能な組み合わせについては説明していないが、これらの技術的特徴の組み合わせに矛盾が生じない限り、本明細書に記載されている範囲と見なすべきである。

【0083】

以上の実施例は、本願のいくつかの実施形態を示したものに過ぎず、その説明が具体的で詳細であるが、本願の特許請求の範囲を限定するものとして理解されるべきではない。なお、当業者であれば、本願の趣旨から逸脱することなく、様々な変形及び改良を行うことができ、それらはすべて本願の保護範囲に含まれる。したがって、本願の保護範囲は添付された特許請求の範囲に準じるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】