特許7357998 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

青山学院大学 (神奈川県相模原市中央区淵野辺)

▶ ▲騰▼▲訊▼科技（深▲セン▼）有限公司の特許一覧

特許7357998画像処理方法、スマート機器及びコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-29

(45)【発行日】2023-10-10

(54)【発明の名称】画像処理方法、スマート機器及びコンピュータプログラム

(51)【国際特許分類】

G06T 5/00 20060101AFI20231002BHJP

G06T 1/40 20060101ALI20231002BHJP

【ＦＩ】

G06T5/00 705

G06T1/40

【請求項の数】 16

(21)【出願番号】P 2022533195

(86)(22)【出願日】2021-02-24

(65)【公表番号】

(43)【公表日】2023-02-06

(86)【国際出願番号】 CN2021077544

(87)【国際公開番号】W WO2021208600

(87)【国際公開日】2021-10-21

【審査請求日】2022-06-02

(31)【優先権主張番号】202010295743.1

(32)【優先日】2020-04-15

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】517392436

【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾直樹

(72)【発明者】

【氏名】柯戈▲揚▼

(72)【発明者】

【氏名】黄 ▲飛▼

(72)【発明者】

【氏名】熊唯

【審査官】▲徳▼田賢二

(56)【参考文献】

【文献】中国特許出願公開第１０８１５４４８７（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０７３８６０９（ＣＮ，Ａ）

【文献】Jingyu YANG et al.，Demoireing for screen-shot images with multi-channel layer decomposition，2017 IEEE Visual Communications and Image Processing (VCIP)，2017年12月

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ５／００

Ｇ０６Ｔ１／４０

(57)【特許請求の範囲】

【請求項1】

スマート機器が実行する画像処理方法であって、
オリジナル画像を取得するステップと、
画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行し、ターゲット画像を取得するステップと、を含み、
前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、
前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理して、前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である、方法。

【請求項2】

前記画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行する前記ステップは、
画像処理モデルを実行して、前記マルチバンドモジュールにより、前記オリジナル画像に対して、初期分析処理をＭ回実行し、Ｎスケールの初期特徴マップを取得するステップであって、前記Ｍは、２以上の正の整数であり、前記Ｍは、前記Ｎ以上であり、前記初期分析処理は、前記オリジナル画像に対して、まずダウンサンプリングを実行し、次に、畳み込み処理を実行すること、又は、前記オリジナル画像に対してダウンスケール畳み込み処理を実行することを含むステップと、
前記Ｎスケールの初期特徴マップに対して、畳み込み処理を実行して、Ｎスケールの中間特徴マップを取得するステップと、
Ｎスケールの中間特徴マップに基づいて、Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップを取得するステップと、
Ｎ個の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得するステップと、
前記第１の処理結果特徴マップに基づいて前記ターゲット画像を取得するステップと、を含む請求項１に記載の方法。

【請求項3】

前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ番目の空間周波数帯域の特徴マップは、前記中間特徴マップにおけるスケールが最も小さいＮ番目の中間特徴マップに基づいて得られ、
前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ－ｉ番目の空間周波数帯域の特徴マップは、Ｎ番目の中間特徴マップ、Ｎ－ｉ番目の中間特徴マップ及びＮ番目の中間特徴マップからＮ－ｉ番目の中間特徴マップまでの全ての中間特徴マップに基づいて得られ、前記ｉは、１以上Ｎ未満の正の整数である、請求項２に記載の方法。

【請求項4】

Ｎ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得する前記ステップは、
予測特徴マップを取得するステップであって、前記予測特徴マップは、Ｎ番目の中間特徴マップ、１番目の中間特徴マップ及びＮ番目の中間特徴マップから１番目の中間特徴マップまでの全ての中間特徴マップに基づいて得られるステップと、
Ｎ個の空間周波数帯域に対応する特徴マップにおいてスケールが前記予測特徴マップのスケールよりも小さい特徴マップに対してサイズ調整を実行して、調整後の空間周波数帯域に対応する特徴マップのスケールが前記予測特徴マップのスケールと等しいようにするステップと、
前記予測特徴マップ及び調整後の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得するステップと、を含む請求項２に記載の方法。

【請求項5】

前記画像処理モデルは、予測モジュールをさらに含み、
前記第１の処理結果特徴マップに基づいてターゲット画像を取得する前記ステップは、
前記オリジナル画像に対してファジー処理を実行することによって得られたファジー特徴マップを取得するステップと、
前記第１の処理結果特徴マップ及び前記ファジー特徴マップに基づいて、前記予測モジュールにより、第２の処理結果特徴マップを取得するステップと、
前記第２の処理結果特徴マップに基づいてターゲット画像を取得するステップと、を含む請求項２に記載の方法。

【請求項6】

前記画像処理モデルは、超解像モジュールをさらに含み、
前記第２の処理結果特徴マップに基づいてターゲット画像を取得する前記ステップは、
前記第１の処理結果特徴マップに基づいて参照特徴マップを取得し、前記第２の処理結果特徴マップを処理して中間結果特徴マップを取得するステップであって、前記参照特徴マップのスケールが前記オリジナル画像のスケールと同じであり、前記中間結果特徴マップのスケールが前記オリジナル画像のスケールと同じであるステップと、
前記参照特徴マップ及び前記中間結果特徴マップに基づいて、前記超解像モジュールにより、ターゲット画像を取得するステップと、を含む請求項５に記載の方法。

【請求項7】

前記モアレトレーニングデータセットを取得するステップであって、前記モアレトレーニングデータセットは、マッチング画像ペアを含み、当該マッチング画像ペアは、トレーニング画像及び監視画像を含み、前記トレーニング画像は、モアレを有し、前記監視画像は、前記モアレを有しないステップと、
前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングして、前記画像処理モデルを取得するステップと、をさらに含む請求項１から６のいずれか１項に記載の方法。

【請求項8】

前記モアレトレーニングデータセットを取得する前記ステップは、
オリジナル画像データにおける各画素点を、３つの並列するサブ画素点に分解して、サブ画素画像を取得するステップであって、各サブ画素点が１つの色に対応し、前記オリジナル画像データの色には、赤、緑、青のＲＧＢが含まれるステップと、
前記サブ画素画像のサイズを調整して、前記オリジナル画像データの画像サイズと同じサイズを有する第１の中間画像を取得するステップと、
第１の中間画像における第１の閾値よりも低い階調値を有する画素点の階調値を第２の閾値に設置して、第２の中間画像を取得するステップと、
前記第２の中間画像に対して径方向歪みを追加して、第１の歪み画像を取得するステップと、
前記第１の歪み画像に対してカメラ撮影シミュレーション最適化を実行して、モアレが追加されたトレーニング画像を取得するステップと、を含む請求項７に記載の方法。

【請求項9】

前記第１の歪み画像に対してカメラ撮影シミュレーション最適化を実行する前記ステップは、
第１の投影変換パラメータに従って第１の歪み画像に対して投影変換処理を実行して、傾斜シミュレーション画像を取得するステップと、
カメラによって撮影された画像の輝度分布特徴に基づいて、前記傾斜シミュレーション画像を処理して、輝度シミュレーション画像を取得するステップと、
前記輝度シミュレーション画像に対して画像ノイズを追加して、ノイズ点のあるノイズシミュレーション画像を取得するステップと、
予め設定された照明係数に従ってノイズシミュレーション画像を処理して、明暗シミュレーション画像を取得するステップと、を含む請求項８に記載の方法。

【請求項10】

前記モアレトレーニングデータセットを取得する前記ステップは、
オリジナル画像データを電子ディスプレイに表示し、電子ディスプレイに表示されたオリジナル画像データを撮影して、トレーニング画像を取得するステップと、
前記トレーニング画像に基づいて、前記オリジナル画像データに対して特徴点マッチング及びオプティカルフローアライメント処理を実行して、監視画像を取得するステップと、
前記トレーニング画像及び対応する監視画像に基づいてマッチング画像ペアを構築するステップと、を含む請求項７に記載の方法。

【請求項11】

前記初期モデルは、トレーニング対象となるマルチバンドモジュールと、トレーニング対象となる予測モジュールと、トレーニング対象となる超解像モジュールと、を含み、
モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングする前記ステップは、
モアレトレーニングデータセットのマッチング画像ペアにおけるトレーニング画像を初期モデルの入力として使用し、初期モデルによる処理の後、マルチバンドモジュールによって出力される第１の結果、予測モジュールによって出力される第２の結果、及び超解像モジュールによって出力される第３の結果を取得するステップであって、前記第１の結果は、トレーニング画像のＮ層ラプラシアンピラミッドに対応するＮ個の空間周波数帯域の特徴マップを含み、前記第２の結果は、前記トレーニング画像に対応する第２の結果特徴マップを含み、前記第３の結果は、前記トレーニング画像に対応するターゲット画像を含むステップと、
モアレトレーニングデータセットのマッチング画像ペアにおける前記監視画像に対してＮ層ラプラシアンピラミッド処理を実行して、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップを取得するステップと、
前記監視画像に対応するＮ個の空間周波数帯域の特徴マップと前記第１の結果における前記Ｎ個の空間周波数帯域の特徴マップとのＮ個の基礎損失関数値を取得し、前記監視画像に対して解像度処理を実行した後の画像と第２の結果との間の第１の損失関数値を取得し、前記監視画像と第３の結果との間の第２の損失関数値を取得するステップと、
Ｎ個の基礎損失関数値、前記第１の損失関数値及び前記第２の損失関数値に基づいて、前記初期モデルのモデルパラメータを最適化して、前記画像処理モデルを取得するステップと、を含む請求項７に記載の方法。

【請求項12】

前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングする前記ステップは、
モアレトレーニングデータセットのターゲットマッチング画像ペアにおける画像に対してサイズ調整処理を実行して、Ｐ個の異なるサイズの変形マッチング画像ペアを取得するステップと、
Ｐ個の変形マッチング画像ペアに基づいて、初期モデルをトレーニングして、Ｐ個の損失関数値を取得し、Ｐ個の損失関数値に基づいて、前記初期モデルにおけるモデルパラメータを最適化して、前記画像処理モデルを取得するステップと、を含む請求項７に記載の方法。

【請求項13】

前記モアレトレーニングデータセットにおける各マッチング画像ペアによるトレーニングによって得られたモデルを第１の画像処理モデルとして使用し、前記方法は、さらに、
モアレ画像セットにおける前記トレーニング画像に対してサイズ拡大調整を実行して、ターゲットサイズのモアレ拡大画像を取得するステップと、
前記第１の画像処理モデルを実行して前記モアレ拡大画像に対して除去モアレ処理を実行して、モアレ監視画像を取得するステップと、
前記モアレ監視画像及び前記モアレ拡大画像に対してスケーリング処理を実行して、複数のモアレ画像ペアを取得するステップと、
前記複数のモアレ画像ペアに基づいて、前記第１の画像処理モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得するステップと、を含む請求項７に記載の方法。

【請求項14】

前記複数のモアレ画像ペアに基づいて前記第１の画像処理モデルにおけるモデルパラメータを最適化することによって得られたモデルを、第１のバージョンの画像処理モデルとし、
前記第１のバージョンの画像処理モデルを新しい第１の画像処理モデルとし、前記モアレ画像セットに基づいて前記新しい第１の画像処理モデルをトレーニングして、第２のバージョンの画像処理モデルを取得し、
前記画像処理モデルは、前記第１のバージョンの画像処理モデルと前記第２のバージョンの画像処理モデルと、を含み、
画像処理モデルを実行して前記オリジナル画像に対してモアレ除去処理を実行して、ターゲット画像を取得する前記ステップは、
前記第１のバージョンの画像処理モデル及び前記第２のバージョンの画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行して、第１の画像及び第２の画像を取得するステップと、
前記第１の画像及び前記第２の画像に基づいて、前記ターゲット画像を取得するステップと、を含む請求項１３に記載の方法。

【請求項15】

記憶装置及びプロセッサーを含むスマート機器であって、
前記記憶装置には、画像処理を実行するためのプログラム命令が記憶され、
前記プロセッサーは、前記プログラム命令を呼び出して、請求項１から１４のいずれか１項に記載の画像処理方法を実現するスマート機器。

【請求項16】

命令を含むコンピュータプログラムであって、前記命令がコンピュータで実行されるときに、請求項１から１４のいずれか１項に記載の画像処理方法をコンピュータに実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２０年０４月１５日に中国特許庁に提出された、出願番号が２０２０１０２９５７４３．１であって、出願の名称が「画像処理方法、スマート機器及びコンピュータ可読記憶媒体」である中国特許出願に基づく優先権を主張し、その全内容を本出願に援用する。

【0002】

本出願は、画像処理の技術分野に関し、具体的に、画像処理技術に関する。

【背景技術】

【0003】

コンピュータ技術及び電子イメージングテクノロジーの発展に伴い、非常に優れた補助ツールとしての画像アプリケーションは、人々に生活、学習、仕事の様々なシーンに適用されている。携帯電話、カメラなどの装置を使用して、環境画像を撮影することができるだけでなく、様々なディスプレイに表示された画像を撮影することができる。携帯電話、デジタルカメラなどを使用して電子ディスプレイを撮影するときに、得られた画像はモアレを有する場合がよくある。これらのモアレは、見た目に影響を及ぼすだけでなく、以降の画像認識にも悪影響を及ぼす。また、モアレにより、元の画像コンテンツには、多くのテクスチャ及びノイズが増加し、圧縮画像のデータ量を増大させる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

モアレを除去するための現在の解決策では、一般的には、モアレの一般的な形態、及びモアレと画像における非モアレコンテンツの形状との違いに基づいて、エッジ抽出アルゴリズムによって画像におけるモアレ画像部分を決定して、モアレを除去する目的を達成する。しかしながら、このような方式のアルゴリズムの実現は、複雑であり、且つ、モアレ除去効果は、不十分である。

【0005】

本出願は、画像におけるモアレを簡単且つ包括的に除去することができる画像処理方法、スマート機器及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0006】

一態様では、本出願は、スマート機器が実行する画像処理方法を提供し、前記方法は、
オリジナル画像を取得するステップと、
画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行し、ターゲット画像を取得するステップと、を含み、
前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、
前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理して、前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である。

【0007】

別の態様では、本出願はさらに、画像処理装置を提供し、前記装置は、
オリジナル画像を取得するための取得モジュールと、
画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行し、ターゲット画像を取得するための処理モジュールと、を含み、
前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、
前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理して、前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である。

【0008】

それに対応して、本出願はさらにスマート機器を提供し、前記スマート機器は、記憶装置及びプロセッサーを含み、前記記憶装置は、画像処理を実行するためのプログラム命令を記憶しており、前記プロセッサーは、前記プログラム命令を呼び出して、上記の画像処理方法を実現する。

【0009】

それに対応して、本出願はさらにコンピュータ可読記憶媒体を提供し、前記コンピュータ記憶媒体は、画像処理を実行するためのプログラム命令を記憶し、前記プログラム命令は、プロセッサーによって実行されるときに、上記の画像処理方法を実現する。

【0010】

それに対応して、本出願はさらにコンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータ上で実行されるときに、上記の画像処理方法をコンピュータに実行させるための命令を含む。

【0011】

本出願は、異なるスケール及び異なる空間周波数帯域におけるモアレの相違性に対して、モアレを除去するための画像処理モデルで、ラプラシアンピラミッドに基づいて構築されたマルチスケールモデルを設計し、ラプラシアンピラミッドの複数の周波数帯域における特徴マップを利用し、異なるスケール、異なる周波数帯域においてモアレを包括的に除去できる画像処理モデルをトレーニングして取得することができ、これにより、より優れたモアレ除去効果を簡単に実現できる。

【図面の簡単な説明】

【0012】

本出願の実施例又は従来技術における技術的解決策をより明確にするために、以下は、実施例又は従来技術の説明に必要な図面を簡単に紹介し、明らかに、以下の説明の図面は、本出願のいくつかの実施例に過ぎず、当業者にとって、他の図面もまた、創造的努力なしにこれらの図面から得ることができる。

【0013】

【図1】本出願の実施例によるモアレ除去機能を利用する概略フローチャートである。

【図2】本出願の実施例による一つの画像処理アプリケーションの関連するアプリケーションインターフェースである。

【図3】本出願の実施例によるモアレ除去機能を利用する別の概略フローチャートである。

【図4】本出願の実施例による異なるスケールのモアレの概略図である。

【図5】本出願の実施例による異なる空間周波数帯域におけるモアレの概略図である。

【図6】本出願の実施例による画像処理方法の概略フローチャートである。

【図7】本出願の実施例による画像処理モデルの構成概略図である。

【図8】本出願の実施例による別の画像処理方法の概略フローチャートである。

【図9】本出願の実施例による別の画像処理モデルの構成概略図である。

【図10】本出願の実施例による画像処理モデルをトレーニングする概略フローチャートである。

【図11】本出願の実施例による画像処理モデルをトレーニングする構成概略図である。

【図12】本出願の実施例による画像処理装置の構成概略図である。

【図13】本出願の実施例によるスマート機器の構成概略図である。

【発明を実施するための形態】

【0014】

以下、本出願の実施例における添付の図面を参照して、本出願の実施例における技術的解決策について明確且つ完全に説明する。明らかに、説明する実施例は、本出願の実施例の一部に過ぎず、全ての実施例ではない。本出願の実施例に基づいて、創造的な作業なしに当業者によって得られる他の全ての実施例は、本出願の保護範囲に含まれる。

【0015】

モアレは、干渉現象に基づいて発生する柵状のテクスチャである。デジタルカメラ、携帯電話などの撮影機能を有するスマート機器の感光性素子(例えば電荷結合デバイス(ｃｈａｒｇｅｃｏｕｐｌｅｄｄｅｖｉｃｅ、ＣＣＤ)感光性素子や相補型金属酸化物半導体(ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ)感光性素子)画素の空間周波数が電子ディスプレイに表示された映像における縞の空間周波数に近いと、撮影して得られた画像にモアレが発生する。

【0016】

本出願は、モアレの特性を総合的に分析し、モアレが空間周波数帯域、マルチスケールにわたって異なるモアレ表現を表現するというモアレの特性に基づいて、対応する画像処理モデルを設計し、一連の深層学習技術を使用することにより、スマートフォン、デジタルカメラなどの撮影機能を有するスマート機器が電子ディスプレイを撮影するときに得られた画像上のモアレを除去し、その画質をできるだけ復元する。

【0017】

具体的に、トレーニング最適化後の画像処理モデルに対して、モアレ付き画像を入力し、画像処理モデルによってモアレ除去処理を実行し、必要なターゲット画像を出力する。モデル設計は、空間周波数帯域別監視、マルチタスク学習などの技術を使用し、且つ、注意力メカニズムを利用して色及び輝度分布を復元し、比較的良好なモアレ除去効果を実現する。

【0018】

さらに、本出願は、制造されたトレーニングデータに基づいてモデルトレーニングを行い、トレーニング過程において自己教師あり学習、マルチスケール学習及び生成的敵対的ネットワークなどのトレーニング最適化処理方式を運用するために、トレーニングデータを製造する実用的な方式を提供する。

【0019】

上記の機能を実現するために、１つのターゲットアプリケーションを設計してスマート機器にインストールすることができ、当該ターゲットアプリケーションは、スマート機器のカメラを呼び出して画像を撮影することができ、また、当該ターゲットアプリケーションは、ローカルに記憶された画像を読み取ったり、ネットワークから画像をダウンロードしたりすることができ、同時に、撮影により得られたモアレ付き画像、読み取り又はダウンロードされたモアレ付き画像について、ユーザーに直接表示することができ、ユーザーに表示した後、ユーザーの操作に応じて、モアレ除去処理の実行を決定し、モアレ除去後の画像を表示することができる。勿論、ユーザーに表示する前に、バックグラウンドでモアレ除去処理を自動的に実行して、処理されたモアレのないターゲット画像をユーザーに表示することもできる。

【0020】

モアレを除去するための適用シナリオは、様々であり、例えば、ユーザーコミュニケーションに関するシナリオでは、Ａユーザーは、通信アプリケーションを介してＢユーザーにそのパソコン上のＰＰＴなどの情報を共有するときに、Ａユーザーは、通信アプリケーションを実行するスマートフォンなどのスマート機器によりパソコンのスクリーンを撮影することができ、このときにモアレ付き画像が得られる。これらのモアレ付き画像に対して、Ａユーザーは、モアレ除去機能を直接オンにすることができ、このようにして、ＡユーザーがＢユーザーに共有するスマートフォンによってパソコンのディスプレイを撮影して得られたＰＰＴなどの画像はいずれも、モアレが除去された画像である。これにより、モアレによるビデオ符号化データの量を低減することができ、画像データ伝送の品質を保証し、また、撮影して得られた画像情報をＢユーザーにより明瞭に見せ、Ｂユーザーは、ビデオ通信によって伝送された明瞭な画像情報を直接記憶したり、編集可能なドキュメントなどのデータに変換したりすることができる。

【0021】

図１に示すように、本出願の実施例によるモアレ除去機能を利用する概略フローチャートであり、具体的に以下のステップを含む。

【0022】

Ｓ１０１：スマート機器は、オリジナル画像を取得する。

【0023】

ユーザーは、スマート機器を制御して、スマート機器がモアレ付き画像を取得するようにすることができ、例えば、ユーザーは、電子ディスプレイを直接撮影してモアレ付き画像を取得することができ、モアレ付き画像をオリジナル画像と呼ぶことができる。

【0024】

いくつかの実施例では、スマート機器は、ローカルからモアレ付き画像を読み取ったり、ネットワークからモアレ付き画像をダウンロードしたりすることによって、オリジナル画像を取得してもよい。

【0025】

Ｓ１０２：スマート機器は、オリジナル画像に対するユーザー操作を検出する。

【0026】

スマート機器は、モアレ付きオリジナル画像を取得した後、モアレの除去を有効にするためのボタンを、当該オリジナル画像を表示するための表示インターフェースに表示することで、オリジナル画像に対するユーザー操作を検出することができる。前記表示インターフェースにこれらのモアレ付き画像を表示するときに、前記モアレの除去を有効にするためのボタンを表示してもよい。このようにして、異なる方式で得られたオリジナル画像に対してワンクリックのモアレ除去機能を提供することができる。

【0027】

Ｓ１０３：スマート機器は、モアレが除去された画像をプレビューする。

【0028】

スマート機器のバックグラウンドが、モアレの除去に関する画像処理を完了した後、スマート機器は、モアレが除去された画像をプレビュー及表示することができ、モアレが除去された画像をターゲット画像と呼ぶ。ターゲット画像をプレビュー表示するインターフェースに、他の機能ボタン、例えば共有、記憶、再編集などのボタンを表示してもよい。

【0029】

Ｓ１０４：スマート機器は、受信したユーザーによるこれらのボタンに対する操作に基づいて、例えば共有、記憶、再編集などの対応する処理を実行する。

【0030】

一実施例では、図２に示すように、当該図は、本出願の実施例による一つの画像処理アプリケーションの関連するアプリケーションインターフェースであり、当該画像処理アプリケーションは、ユーザーがモアレ付き画像を取得してから、モアレが除去された画像をユーザーに表示するまでの一連のインターフェース概略図を含む。ユーザーがアプリケーションアイコンをクリックした後、画像処理アプリケーションを実行し、ユーザーは、アプリケーションインターフェース２０１においてオリジナル画像を取得する操作をトリガーすることができる。具体的に、ユーザーは、画像を撮影するように、撮影ボタン２０２をトリガーすることを選択してもよく、ローカル又はネットワークから画像を抽出して、オリジナル画像を取得するように、読み込みボタン２０３をトリガーすることを選択してもよい。

【0031】

取得したオリジナル画像について、アプリケーションインターフェース２０１に表示することができ、モアレが存在する場合、除去ボタン２０４を表示することができ、ユーザーが除去ボタン２０４をクリックした後、ターゲットアプリケーションは、画像処理を実行して、モアレが除去されたターゲット画像を取得し、モアレが除去されたターゲット画像をアプリケーションインターフェース２０１に表示することができる。

【0032】

一実施例では、前記画像処理アプリケーションに基づいて、スマート機器は、アプリケーションインターフェースに表示された取得した画像を分析し、分析によって画像にモアレがあると判定した場合にのみ、除去ボタン２０４を表示することができる。勿論、除去ボタン２０４は、オリジナル画像を取得した後に常に前記アプリケーションインターフェース２０１に表示されてもよい。図２には、画像の再取得をトリガーするためのボタン２０５及び画像を保存するためのボタン２０６などの他のボタンも示されている。

【0033】

一実施例では、画像を編集可能なドキュメントに変換するシナリオで、本出願の画像処理方法を使用して、モアレを除去してもよい。図３に示すように、当該図は、本出願の実施例によるモアレ除去機能を利用する別の概略フローチャートであり、当該フローは、以下のステップを含むことができる。

【0034】

Ｓ３０１：スマート機器は、オリジナル画像を取得する。

【0035】

スマート機器には、モアレ除去機能を有する画像テキスト変換アプリケーションが配置される。当該画像テキスト変換アプリケーションとは、画像(例えば撮影されたスライドショー画像など)を、編集可能なドキュメントに変換するアプリケーションである。スマート機器は、ユーザーが画像テキスト変換アプリケーションのアイコンをクリックした操作に応答して、画像テキスト変換アプリケーションを起動することができる。次に、スマート機器は、ユーザー操作によってオリジナル画像を取得することができ、例えば、コンピュータディスプレイに表示されたＰＰＴを撮影してオリジナル画像を取得したり、ローカルからモアレ付きオリジナル画像を抽出したりする。

【0036】

Ｓ３０２：スマート機器は、ドキュメント認識再構成をトリガーするためのボタンによるユーザー操作を受信する。

【0037】

Ｓ３０３：スマート機器は、本出願の画像処理方法を実行して、モアレを除去し、画質を復元する。

【0038】

Ｓ３０４：スマート機器は、画像認識に基づいて、オリジナル画像の文字コンテンツ及び組み版形態を決定する。

【0039】

一実施例では、スマート機器は、具体的に、光学文字認識(ｏｐｔｉｃａｌｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ)に基づいて、オリジナル画像の文字コンテンツ及び組み版形態を決定することができる。

【0040】

Ｓ３０５：スマート機器は、文字認識及び組み版後の画像コンテンツデータを表示し、ユーザー確認操作を受信したかどうかを検出する。

【0041】

Ｓ３０６：そうである場合、スマート機器は、ユーザーの確認操作に基づいて、文字認識及び組み版後の画像コンテンツデータに対して、対応する操作を実行する。

【0042】

一実施例では、スマート機器は、ユーザーの確認操作に基づいて、文字認識及び組み版後の画像コンテンツデータを共有ドキュメントにインポートしたり、ドキュメントの形態でローカルメモリに記憶したりすることができる。他の実施例では、スマート機器は、ユーザーの編集操作を受信して、例えば、正しく認識されていない文字の追加や変更、正しく認識されていない画像の追加などの、表示された文字認識及び組み版後の画像コンテンツデータへの編集を実現することができる。

【0043】

以下に、本出願におけるモアレを除去する画像処理方法を説明する。

【0044】

モアレ付き画像を研究した結果、モアレにはマルチスケール及びマルチ空間周波数帯域特性があることを発見した。同一の画像は、異なるスケールで、モアレの形状が異なり、例えば、同一のモアレ付き画像は、２５６×２５６、３８４×３８４、５１２×５１２などのスケールで、モアレの表現形状が異なる。図４は、同一の画像を異なるスケールサイズにスケーリングする局所表示であり、モアレ形状が異なり、各スケールのモアレのデータ分布は、その独特性を有し、モアレを除去する１つの画像処理モデルは、マルチスケールの様々な形態のモアレに対応して処理できる。図４において、右側の画像の解像度は、左側の画像の解像度よりも大きく、簡単に、左側の画像を拡大した後、モアレの表現形態が異なるとみなし、例えば、「メッセージ送信」の近傍の画像部分について、左側の画像は、「メッセージ送信」の下方の縞が分散し、上方の縞が密集し、右側の画像は、「メッセージ送信」の下方の縞が密集し、上方の縞が分散し、縞の太さも異なる。

【0045】

一方、同一の画像について、異なる空間周波数帯域におけるモアレ形状も異なる。ラプラシアンピラミッドを使用してモアレを複数の空間周波数帯域に分解すると、各空間周波数帯域におけるモアレ形状が異なることを発見した。図５に示すように、ラプラシアンピラミッドに対応する５つの空間周波数帯域において、モアレの形状は異なり、具体的に、全ての空間周波数帯域にモアレの痕跡があるわけではなく、図５から分かるように、各空間周波数帯域のモアレのデータ分布も異なり、低周波数では太い色かぶりの縞を示す傾向があり、高周波数では灰色の細い縞を示す傾向がある。画像処理モデルを設計するときに、本出願は、このようなマルチ空間周波数帯域の相違性を利用して、各空間周波数帯域においてモアレを選択的に除去する。

【0046】

上記の図４、図５は、モアレの２つの特性を説明するための図であり、図４及び図５において、モアレに関する形態を説明するだけであり、図４及び図５においてモアレ以外の他の画像コンテンツは意味がない。

【0047】

一実施例では、図６を参照し、当該図は、本出願の実施例による画像処理方法の概略フローチャートであり、本出願の実施例は、スマートフォン、タブレットコンピューター、パソコン、及びサーバーなどのスマート機器によって実行することができ、上記の研究に基づいて決定されたモアレ特徴を使用して、最適化された画像処理モデルを構築及びトレーニングし、当該特別な的画像処理モデルによってモアレの除去処理を実現する。具体的に、本出願の実施例の上記の方法は以下のステップを含む。

【0048】

Ｓ６０１：スマート機器は、オリジナル画像を取得する。

【0049】

上記のように、当該オリジナル画像は、電子ディスプレイに表示されたコンテンツを撮影するときに得られたモアレ付き画像であってもよく、ローカル又はネットワークから取得したモアレ付き画像であってもよく、ユーザーは、関連するアプリケーションを実行することによって、処理する必要のあるオリジナル画像を取得し、これにより、明瞭なモアレなし画像を取得し、共有ドキュメントなどを編集できる。

【0050】

Ｓ６０２：スマート機器は、画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行し、ターゲット画像を取得する。

【0051】

前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理することによって前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である。

【0052】

本出願の実施例による前記画像処理モデルの構成を図７に示す。ラプラシアンピラミッドを導入して、オリジナル画像に対応するマルチ空間周波数帯域の特徴マップを取得し、また、得られたマルチ空間周波数帯域の特徴マップにおいて、オリジナル画像の異なるスケールの特徴マップを表現し、画像処理モデルにおいて、異なる空間周波数帯域及び異なるスケールにおけるモアレ形態を十分に考慮する。つまり、従来の技術と比べると、本出願の実施例では、画像処理モデルは、ラプラシアンピラミッドを導入し、さらに教師あり又は自己教師ありモデルトレーニング方式に基づいて、モアレを除去するのに適した画像処理モデルを取得し、従来のエッジ抽出技術に基づいて構築されたモデルと比較して、画像内のモアレをより簡単且つ包括的に除去できる。

【0053】

図７に示すように、本出願の実施例による画像処理モデルでは、オリジナル画像７０１に対して、まずＭ＝６回の初期分析処理を実行し、オリジナル画像に対応するＮ＝５個のスケールにおける初期特徴マップを取得する。本出願の実施例では、ラプラシアンピラミッドは５層であり、そのため、Ｍ＝６回の初期分析処理は以下を含むことができる。

【0054】

オリジナルスケールのオリジナル画像７０１に対して、ダウンスケールの畳み込み処理又はダウンサンプリング後の畳み込み処理を実行して、１/２スケールの初期特徴マップ７０２を取得する。

【0055】

１/２スケールの初期特徴マップ７０２に対して、畳み込み処理を直接実行して、１/２スケールの初期特徴マップ７０３を取得する。いくつかの実施例では、１/２スケールの初期特徴マップ７０２に対して、畳み込み処理を直接実行して、１/２スケールの初期特徴マップ７０３を取得することは、選択可能なステップである。

【0056】

１/２スケールの初期特徴マップ７０３に対して、さらにダウンスケールの畳み込み処理又はダウンサンプリング後の畳み込み処理を実行して、１/４スケールの初期特徴マップ７０４を取得し、前記初期特徴マップ７０３が存在しない場合に、１/２スケールの初期特徴マップ７０２に対して、直接に関連する処理を実行して、当該１/４スケールの初期特徴マップ７０４を取得することができる。

【0057】

１/４スケールの初期特徴マップ７０４に対して、さらにダウンスケールの畳み込み処理又はダウンサンプリング後の畳み込み処理を実行して、１/８スケールの初期特徴マップ７０５を取得する。

【0058】

１/８スケールの初期特徴マップ７０５に対して、さらにダウンスケールの畳み込み処理又はダウンサンプリング後の畳み込み処理を実行して、１/１６スケールの初期特徴マップ７０６を取得する。

【0059】

１/１６スケールの初期特徴マップ７０６に対して、さらにダウンスケールの畳み込み処理又はダウンサンプリング後の畳み込み処理を実行して、１/３２スケールの初期特徴マップ７０７を取得する。

【0060】

Ｍ＝６、Ｎ＝５は、単なる例であり、他の実施例では、Ｍ＝Ｎ又はＭ＞Ｎであり、且つ、Ｍ、Ｎが他の整数値である。

【0061】

上記の各スケールの初期特徴マップを取得した後、前述した初期特徴マップに対して、それぞれ中間特徴の畳み込み処理を実行して、対応するＮ個のスケールの中間特徴マップを取得し、次に、１/３２スケールの初期特徴マップ７０７に対応する中間特徴マップから層ごとにアップサンプリング畳み込みを開始し、アップサンプリング畳み込み結果及び同じスケールの中間特徴マップに対してスティッチング処理(ｃｏｎｃａｔｅｎａｔｅ)を実行し、スティッチング処理結果に対して引き続きアップサンプリング畳み込みを実行し、５つの異なる空間周波数帯域、異なるスケールの特徴マップを含むラプラシアンピラミッドが生成されるまで、スティッチング処理プロセスを繰り返す。

【0062】

図７において、ラプラシアンピラミッドに含まれるＮ個の空間周波数帯域に対応する特徴マップはそれぞれ、５番目の空間周波数帯域(図７におけるｂａｎｄ４)に対応する特徴マップ７１０、４番目の空間周波数帯域(図７におけるｂａｎｄ３)に対応する特徴マップ７１１、３番目の空間周波数帯域(図７におけるｂａｎｄ２)に対応する特徴マップ７１２、２番目の空間周波数帯域(図７におけるｂａｎｄ１)に対応する特徴マップ７１３、１番目の空間周波数帯域(図７におけるｂａｎｄ０)に対応する特徴マップ７１４である。本出願の実施例では、５番目の空間周波数帯域が、ラプラシアンピラミッドの最上層である。

【0063】

本出願で言及されているスティッチング処理は、前記画像処理モデルのネットワーク構造設計における１つの操作であり、特徴を組み合わせるために使用され、具体的に、複数の畳み込み特徴抽出フレームが抽出した特徴を融合すること、又は、出力層の情報を融合することである。他の実施例では、本出願に係るスティッチング処理は、重ね合わせ処理(ａｄｄ)に置き換えられてもよく、重ね合わせ処理は、要するに、情報の間の直接の重ね合わせである。

【0064】

一実施例では、Ｎ個の空間周波数帯域に対応する特徴マップに対してサイズ調整及びスティッチング処理を実行した後、第１の処理結果特徴マップ７１６を取得する。Ｎ個の空間周波数帯域に対応する特徴マップ及び予測特徴マップ７１５に対してサイズ調整及びスティッチング処理を実行した後、第１の処理結果特徴マップ７１６を取得してもよい。

【0065】

画像処理モデルトレーニング段階で、モアレ付きトレーニング画像及び当該トレーニングオブジェクトに対応する監視画像(監視画像にはモアレがない)について、トレーニング画像を図７に示す画像処理モデルに入力して、Ｎ(例えば５)層ラプラシアンピラミッドに対応するＮ(例えば５)個の空間周波数帯域のモデル予測特徴マップを取得する。他方で、監視画像に対してラプラシアンピラミッド処理を直接実行してＮ(例えば５)個の空間周波数帯域の監視特徴マップを取得し、Ｎ(例えば５)個の空間周波数帯域のモデル予測特徴マップとＮ(例えば５)個の空間周波数帯域の監視特徴マップとの間の損失関数値を計算し、計算されたＮ(例えば５)個の損失関数値が最小となるように、図７に示す各畳み込み処理における関連畳み込みパラメータを繰り返し調整する。大量のトレーニング画像及び監視画像に基づくトレーニングは、モアレのスケール及び空間周波数帯域特性を考慮した画像処理モデルを取得することができ、取得した画像処理モデルは、画像におけるモアレをより簡単且つ包括的に除去することができる。

【0066】

他の実施例では、ラプラシアンピラミッドの各層特徴マップに基づいて復元することによって対応する画像を取得することができる。図７に示す画像処理モデルは、トレーニング画像に対応するラプラシアンピラミッドの各空間周波数帯域に対応する特徴マップ(ラプラシアンピラミッドの５層空間周波数帯域に対応する特徴マップ)、又は、トレーニング画像に対応するラプラシアンピラミッドの各空間周波数帯域に対応する特徴マップとトレーニング画像に対応する予測特徴マップに基づいて、サイズ調整及びスティッチング処理を実行して、モアレが除去された後のターゲット画像を取得する。本実施例では、当該ターゲット画像及びトレーニング画像に対応する監視画像の間の損失関数値を直接計算し、計算された損失関数値が最小となるように、図７に示す各畳み込み処理における関連畳み込みパラメータを繰り返し調整する。大量のトレーニング画像及び監視画像に基づくトレーニングは、モアレのスケール及び空間周波数帯域特性を考慮した画像処理モデルを取得することができ、取得した画像処理モデルは、モアレの除去をより簡単かつ包括的に実現することができる。

【0067】

画像処理モデルを使用してオリジナル画像を認識する段階で、処理対象となるオリジナル画像を、直接、画像処理モデルの入力とし、パラメータが最適化された後の畳み込み、ダウンサンプリングなどの処理により、マルチ空間周波数帯域、マルチスケールにおいてモアレ除去処理を実行したターゲット画像を最終的に出力する。

【0068】

本出願の実施例は、異なるスケール及び異なる空間周波数帯域におけるモアレの相違性に対して、モアレを除去するための画像処理モデルで、ラプラシアンピラミッドに基づいて構築されたマルチスケールモデルを設計し、ラプラシアンピラミッドの複数の周波数帯域における特徴マップを利用し、異なるスケール、異なる周波数帯域においてモアレを包括的に除去できる画像処理モデルをトレーニングして取得することができ、これにより、より優れたモアレ除去効果を簡単に実現できる。

【0069】

別の実施例では、画像処理モデルを構築するために考慮される上記のモアレ特性に基づいて、画像におけるモアレをより良好に除去することができるようになっている。さらに、研究を経て、オリジナル画像をファジーする場合、一部の平坦な領域のモアレを除去することができるため、これらの平坦な領域は直接、最終結果を構築するために使用でき、ネットワークでこの能力を学習する必要がない。モアレ付き画像は、光照環境が理想的ではなく、画像の輝度が不均衡になることがよくあり、光照を明示的に表すことができれば、モデルがどのようにモアレを除去するかにより注目することに役立つ。これに基づいて、図８、図９を参照して、本出願の実施例による画像処理方法を以下でさらに説明する。

【0070】

図８は、本出願の実施例による別の画像処理方法の概略フローチャートを示し、本出願の実施例で説明する方法は、スマートフォン、タブレットコンピューター、パソコンなどのスマート機器によって実現でき、前記方法は、以下のステップを含む。

【0071】

Ｓ８０１：スマート機器は、オリジナル画像を取得する。

【0072】

スマート機器は、オリジナル画像を取得した後、画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行し、ターゲット画像を取得することができ、具体的な手順は、以下のステップを含むことができる。

【0073】

本出願の実施例では、図９に示すように、前記画像処理モデルは、マルチバンドモジュール９０１、予測モジュール９０２、超解像モジュール９０３を含む。前記画像処理モデルのトレーニング手順では、マルチバンドモジュール９０１、予測モジュール９０２、超解像モジュール９０３における関連モデルパラメータを最適化するために、マルチバンドモジュール９０１のトレーニング処理結果、予測モジュール９０２のトレーニング処理結果、及び超解像モジュール９０３のトレーニング処理結果を組み合わせて、損失関数値を総合的に計算して、総合的に計算された損失関数値が最小となるようにする必要がある。勿論、マルチバンドモジュール９０１、予測モジュール９０２、超解像モジュール９０３における関連モデルパラメータを最適化するために、超解像モジュール９０３によって最終的に出力されるトレーニング結果に対応する損失関数値のみを計算し、超解像モジュール９０３の出力結果に基づいて対応して計算された損失関数値が最小となるようにしてもよい。

【0074】

Ｓ８０２：スマート機器は、画像処理モデルを実行して、前記マルチバンドモジュールにより、第１の処理結果特徴マップを取得する。

【0075】

前記マルチバンドモジュール９０１は、ラプラシアンピラミッドに基づいて構築される。一実施例では、前記Ｓ８０２は、以下のステップを含むことができる。

【0076】

Ｓ８０２１：スマート機器は、画像処理モデルを実行して、前記マルチバンドモジュール９０１により、前記オリジナル画像に対して初期分析処理をＭ回実行して、Ｎ個のスケールの初期特徴マップを取得し、Ｍは、２以上の正の整数である。前記初期分析処理は、オリジナル画像に対して、まずダウンサンプリングを実行し、次に、畳み込み処理を実行すること、又は、オリジナル画像に対して、ダウンスケールの畳み込み処理を実行することを含む。Ｍは、Ｎ以上であり、Ｍ及びＮはすべて、正の整数である。Ｎ個のスケールの初期特徴マップは、図９に示す領域９００１のコンテンツであり、本出願の実施例では、Ｍは、Ｎよりも大きく、具体的に、Ｍ＝Ｎ＋１であるため、Ｍ回の初期分析処理を実行した後、１つの１/２スケールにおける特徴マップ、即ち、図９に示す領域９００２部分のコンテンツを取得する。

【0077】

Ｓ８０２２：スマート機器は、前記Ｎ個のスケールの初期特徴マップに対して、畳み込み処理を実行して、Ｎ個のスケールの中間特徴マップを取得する。Ｎ個のスケールの中間特徴マップは、図９における初期特徴マップから下への畳み込みｃｏｎｖ矢印が指す５つの特徴マップである。

【0078】

Ｓ８０２３：スマート機器は、Ｎ個のスケールの中間特徴マップに基づいて、Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップを取得する。なお、前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ番目の空間周波数帯域の特徴マップは、前記中間特徴マップのうちスケールが最も小さいＮ番目の中間特徴マップに基づいて取得され、前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ－ｉ番目の空間周波数帯域の特徴マップは、Ｎ番目の中間特徴マップ、Ｎ－ｉ番目の中間特徴マップ及びＮ番目の中間特徴マップからＮ－ｉ番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて取得され、前記ｉは、１以上Ｎ未満の正整数である。

【0079】

図９を例にとると、スケールが最も小さい中間特徴マップを５番目の空間周波数帯域に対応する特徴マップをとして使用する。５－１(即ち、ｉ＝１)＝４番目の空間周波数帯域に対応する特徴マップは、５－１＝４番目の中間特徴マップ、及び５番目の中間特徴マップに対してアップサンプリング畳み込みｕｐを実行した後に得られた特徴マップに基づいてスティッチング処理を実行して得られる。５－２(即ち、ｉ＝２)＝３番目の空間周波数帯域に対応する特徴マップは、３番目の中間特徴マップ、４番目の中間特徴マップ及び５番目の中間特徴マップから取得する必要がある。具体的に、５番目の中間特徴マップのアップサンプリング畳み込み後の特徴マップと４番目の中間特徴マップに対してスティッチング処理を実行し、スティッチング処理後の特徴マップに対して、さらにアップサンプリング畳み込みを実行した後、３番目の中間特徴マップとのスティッチング処理を実行し、３番目の空間周波数帯域に対応する特徴マップを取得することができ、これによって類推する。

【0080】

Ｓ８０２４：スマート機器は、Ｎ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得する。スマート機器は、Ｎ個の空間周波数帯域に対応する特徴マップを取得した後、これらの空間周波数帯域に対応する特徴マップに基づいてスケール調整を直接実行し、スティッチング処理によって１つの大きな特徴マップを取得し、当該大きな特徴マップを、第１の処理結果特徴マップとして記す。

【0081】

一実施例では、前記Ｓ８０２４は、スマート機器が予測特徴マップを取得することを含んでもよく、前記予測特徴マップは、Ｎ番目の中間特徴マップ、１番目の中間特徴マップ及びＮ番目の中間特徴マップから１番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて得られる。図９に示すように、予測特徴マップは、図９の領域９００４における２つの特徴マップのスティッチング処理後に得られたものであり、当該２つの特徴マップのうち１つは、初期特徴マップ９００２を畳み込みして得られた中間特徴マップであり、もう１つは、５番目の中間特徴マップからアップサンプリング畳み込み、スイッチングを実行して得られた特徴マップである。Ｎ個の空間周波数帯域に対応する特徴マップのうち前記予測特徴マップのスケールよりも小さいスケールを有する特徴マップに対してサイズ調整ｒｅｓｉｚｅを実行し、調整後の空間周波数帯域に対応する特徴マップのスケールが前記予測特徴マップのスケールと等しいようにする。予測特徴マップ及び調整後の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得する。Ｎ個の空間周波数帯域に対応する特徴マップに基づいてスケール調整を直接実行した後、予測特徴マップとのスティッチング処理を実行して、１つの大きな特徴マップを取得し、当該大きな特徴マップを第１の処理結果特徴マップと記し、当該大きな特徴マップは、図９に示す特徴マップ９００３である。５つの周波数帯域の出力は、これらの出力が理論的に最終的な出力と線形関係であり、情報量が非常に豊富な上位特徴であるため、多重化される。

【0082】

スマート機器は、Ｎ個の空間周波数帯域に対応する特徴マップを取得した後、Ｎ個の空間周波数帯域に対応する特徴マップに基づいてターゲット画像を取得することができ、つまり、第１の処理結果特徴マップに基づいてターゲット画像を取得する。スマート機器は、第１の処理結果特徴マップに基づいてターゲット画像を直接取得してもよく、具体的に、下記のステップを実行して第１の処理結果特徴マップに基づいてターゲット画像を取得することができる。

【0083】

Ｓ８０３：スマート機器は、予測モジュールにより、第１の処理結果特徴マップに基づいて第２の処理結果特徴マップを取得する。

【0084】

前記予測モジュールは、注意力メカニズムに基づいて構築されるものであり、前記Ｓ８０３は、具体的に、以下のステップを含むことができる。
Ｓ８０３１：スマート機器は、オリジナル画像に対してファジー処理を実行した後に得られたファジー特徴マップを取得する。
Ｓ８０３２：スマート機器は、第１の処理結果特徴マップ及び前記ファジー特徴マップに基づいて、前記予測モジュールにより、第２の処理結果特徴マップを取得する。

【0085】

前記ファジー処理は、ガウスファジー処理を使用することができる。

【0086】

図９に示すように、注意力メカニズムに基づいて構築された前記予測モジュールについて、第１の処理結果特徴マップから、ネットワークを介して複数のＲＧＢ３チャネルの特徴マップｍａｐを予測する。いくつかの可能な実現方式では、複数のＲＧＢ３チャネルの特徴マップは、画素毎加重パラメータ特徴マップａｔｔｅｎｔｉｏｎ０(例えば図９における特徴マップ９００５)及び画素毎加重パラメータ特徴マップａｔｔｅｎｔｉｏｎ１(例えば図９における特徴マップ９００６)、ＲＧＢ出力特徴マップ(例えば図９における特徴マップ９００７)、照明乗算係数特徴マップａｌｐｈａ(例えば図９における特徴マップ９００８)、照明加算係数特徴マップｂｅｔａ(例えば図９における特徴マップ９００９)を含む。

【0087】

一実施例では、予備的結果特徴マップＲＧＢｗｅｉｇｈｔｅｄ＝ａｔｔｅｎｔｉｏｎ０＊ｂｌｕｒｅｄ＋ａｔｔｅｎｔｉｏｎ１＊ＲＧＢである。ｂｌｕｒｅｄは、上記の、オリジナル画像に対してファジー処理を実行した後に得られたファジー特徴マップ９０１０である。図９に示す画像処理モデルでは、ファジー特徴マップ９０１０は、オリジナル画像に対してファジー処理を実行してサイズを調整した後の特徴マップであり、ファジー特徴マップのサイズは、第１の処理結果特徴マップのサイズと同じである。一実施例では、画素毎加重パラメータ特徴マップａｔｔｅｎｔｉｏｎ０、画素毎加重パラメータ特徴マップａｔｔｅｎｔｉｏｎ１、ＲＧＢ出力特徴マップは、それぞれ、第１の処理結果特徴マップに基づいて、畳み込み計算により取得される。

【0088】

特徴マップＲＧＢｗｅｉｇｈｔｅｄに基づいて、照明係数を使用して、不当な明暗変化を除去する。

【0089】

特徴マップｒｅｓｕｌｔ＝ＲＧＢｗｅｉｇｈｔｅｄ＊ａｌｐｈａ＋ｂｅｔａである。ａｌｐｈａ及びｂｅｔａも、第１の処理結果特徴マップに基づいて畳み込み計算により取得されるものである。

【0090】

ａｔｔｅｎｔｉｏｎ０、ａｔｔｅｎｔｉｏｎ１、ＲＧＢ出力特徴マップ、ａｌｐｈａ及びｂｅｔａについて、モデルのトレーニング中に、適切な畳み込みパラメータを取得するように、大量の損失関数値に基づいて、第１の処理結果特徴マップからこれらの特徴マップへの畳み込み計算の畳み込みパラメータを繰り返して調整及び最適化して、マルチバンドモジュールによって出力される結果から、モアレの除去とオリジナル画像の画質の復元を支援するために使用される適切なａｔｔｅｎｔｉｏｎ０、ａｔｔｅｎｔｉｏｎ１、ＲＧＢ出力特徴マップ、ａｌｐｈａ及びｂｅｔａを取得することができる。

【0091】

特徴マップｒｅｓｕｌｔ９０１１は、第２の処理結果特徴マップであり、これにより、１/２スケールのモアレ除去結果が得られ、同時に、照明の変化が復元される。

【0092】

第２の処理結果特徴マップを取得した後、第２の処理結果特徴マップに基づいてターゲット画像を取得することができ、具体的に、さらに、後述の超解像処理を実行して最終的なターゲット画像を取得することができ、一実施例では、当該第２の処理結果特徴マップに基づいてターゲット画像を直接取得することができ、後述の超解像モジュールにより超解像処理を実行する必要はない。

【0093】

Ｓ８０４：スマート機器は、超解像モジュールにより、第２の処理結果特徴マップに基づいてターゲット画像を取得する。

【0094】

前記Ｓ８０４は、具体的に、スマート機器が前記第１の処理結果特徴マップに基づいて参照特徴マップを取得し、前記第２の処理結果特徴マップを処理して中間結果特徴マップを取得することを含む。前記参照特徴マップのスケールは、前記オリジナル画像のスケールと同じであり、前記中間結果特徴マップのスケールは、前記オリジナル画像のスケールと同じである。スマート機器は、前記参照特徴マップ及び前記中間結果特徴マップ、並びに前記超解像モジュール９０３に基づいて、ターゲット画像を取得する。

【0095】

スマート機器は、第２の処理結果特徴マップを取得した後、次に、１/２スケールの第２の処理結果特徴マップに対して簡単的な超解像辨率アップサンプリングを実行して、最終的な結果を取得する。一実施例では、まず、１/２スケールの結果を２倍に拡大して、元の解像度でのＲＧＢ図になり、ｒｅｓｕｌｔ１．０、即ち、９０１２として記し、ｒｅｓｕｌｔ１.０は、第２の処理結果特徴マップを２倍に拡大した後の特徴マップを表す。さらに、第１の処理結果特徴マップから、アップ畳み込みで残差値ｆｉｎａｌ_ｒｅｓｉｄｕａｌ、即ち９０１３を取得し、ｆｉｎａｌ_ｒｅｓｉｄｕａｌも、１つの特徴マップを表し、最終的な結果は、出力可能なターゲット画像的特徴マップ９０１４であり、ターゲット画像の特徴マップ９０１４は、ｆｉｎａｌ_ｒｅｓｕｌｔ＝ｒｅｓｕｌｔ１.０＋ｆｉｎａｌ_ｒｅｓｉｄｕａｌと記すことができ、このようにして超解像を完了し、超解像後のターゲット画像の特徴マップに基づいて、ターゲット画像を復元することができる。

【0096】

Ｓ８０５：スマート機器は、前記ターゲット画像を出力する。

【0097】

スマート機器は、具体的に、ユーザー表示インターフェースにターゲット画像を表示することができ、これにより、ユーザーは、記憶、共有、編集、再処理などの機能を実現する。一実施例では、スマート機器は、ターゲット画像及びオリジナル画像をユーザー表示インターフェースに同時に表示することができ、これにより、オリジナル画像とターゲット画像との差をユーザーに知らせることができる。

【0098】

本出願の実施例は、異なるスケール及び異なる空間周波数帯域におけるモアレの相違性に対して、モアレを除去するための画像処理モデルでは、ラプラシアンピラミッドに基づいて構築されたマルチスケールモデルを設計し、ラプラシアンピラミッドの複数の周波数帯域における特徴マップを利用し、異なるスケール、異なる周波数帯域においてモアレを包括的に除去できる画像処理モデルをトレーニングして取得することができ、また、マルチスケールモデルに加えて注意力メカニズムに基づく予測モジュールを導入し、ファジー画像で一部のモアレを直接除去できる特性及びピクチャ輝度特性を両立することができ、さらに、超解像モジュールを利用し、より優れたモアレ除去効果を簡単に実現できる。

【0099】

再度図１０を参照し、本出願の実施例による画像処理モデルをトレーニングするフローチャートであり、本出願の実施例では、画像処理モデルをトレーニングすることは、主に、サーバー、パソコンなどの性能が強いスマート機器によって実行することができ、本出願の実施例のトレーニングフローによって前述実施例で言及された画像処理モデルを取得することができる。画像処理モデルをトレーニングするフローは、以下のステップを含む。

【0100】

Ｓ１００１：スマート機器は、モアレトレーニングデータセットを取得する。

【0101】

前記モアレトレーニングデータセットは、マッチング画像ペアを含み、当該マッチング画像ペアは、トレーニング画像及び監視画像を含み、前記トレーニング画像は、モアレを有し、前記監視画像は、前記モアレを有しない。

【0102】

Ｓ１００２：スマート機器は、モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングして、前記画像処理モデルを取得する。

【0103】

本出願の実施例では、画像処理モデルに対するトレーニングは、教師ありトレーニングであり、既知の結果に基づいて、画像処理モデルによりトレーニング画像を処理した後の出力結果と比較し、条件(例えば、Ｌ２損失関数値が最小となる)を満たす場合、画像処理モデルが当該トレーニング画像に対して有効であると見なし、さもなければ、条件を満たすまで、画像処理モデルにおけるモデルパラメータを調整する。同時に、大量のトレーニング画像及び対応する監視画像を使用して画像処理モデルをトレーニングし、ほとんどの画像に対してモアレ除去処理を実行できる画像処理モデルを取得することができる。

【0104】

本出願の実施例では、モアレトレーニングデータセットを取得するときに、オリジナル画像データを処理することによってマッチング画像ペアを取得する。本出願は、シミュレーション処理、及びオリジナル画像データを前処理するなどの方法によって、マッチング画像ペアを決定し、このように得られたマッチング画像ペアに基づいて、画像処理モデルをよりよくトレーニングすることができ、また、手順全体は、完全に自動化され、自動でスマートなトレーニングを実現し、画像処理モデルのトレーニング効率を向上させる。

【0105】

一実施例では、前記モアレトレーニングデータセットを取得することは、オリジナル画像データに基づいて監視画像を取得するステップと、前記オリジナル画像データに基づいて、モアレが追加されたトレーニング画像を取得するステップとを含み、オリジナル画像データに基づいて監視画像を取得するステップと、前記オリジナル画像データに基づいてモアレが追加されたトレーニング画像を取得するステップとの二つのステップは、画像処理モデルのトレーニングを実行したり画像処理モデルを使用したりするスマート機器上で実行でき、オリジナル画像データに対してシミュレーション処理を実行することは、他の専用のシミュレーション装置で実行されてもよい。

【0106】

一実施例では、前記オリジナル画像データに基づいてモアレが追加されたトレーニング画像を取得することは、オリジナル画像データに対するシミュレーション処理を含み、具体的に、以下のステップを含む。

【0107】

Ｓ１１：スマート機器は、オリジナル画像データにおける各画素点を、３つの並列するサブ画素点に分解して、サブ画素画像を取得し、各サブ画素点は、１つの色に対応し、前記オリジナル画像データの色は、赤緑青ＲＧＢを含む。スマート機器は、オリジナル画像データの各画素を、３つの並列するサブ画素点に分解し、各サブ画素点の色は、それぞれ、オリジナル画素のＲＧＢ値である。

【0108】

Ｓ１２：スマート機器は、サブ画素画像のサイズを調整して、前記オリジナル画像データの画像サイズと同じサイズを有する第１の中間画像を取得し、サブ画素新画像を元の解像度にサイズ変更ｒｅｓｉｚｅして、前記第１の中間画像を取得する。

【0109】

Ｓ１３：スマート機器は、第１の中間画像のうち第１の閾値よりも低い階調値を有する画素点の階調値を第２の閾値として設定して、第２の中間画像を取得する。スマート機器は、階調値が０に近い画素を、０よりも大きい特定の閾値に設定し、例えば、階調値が５や１０などの数値未満の画素点をいずれも１０に設定し、これは、純黒の画像がディスプレイで微かな輝きを持っているという特性をシミュレートするためである。第２の中間画像を取得した後、さらに、出力画像をディスプレイの視覚効果に近づけるようにガンマｇａｍｍａを調整し、本出願の実施例では、調整されたガンマ値は、あるランダム値であってもよく、当該ランダム値は、例えば、０．８から１．５の間の任意値であってもよい。

【0110】

Ｓ１４：スマート機器は、前記第２の中間画像に径方向の歪みを追加して、第１の歪み画像を取得し、これにより、ディスプレイのスクリーンの曲がりによって引き起こされる画像歪みをシミュレートする。

【0111】

Ｓ１５：スマート機器は、前記第１の歪み画像に対してカメラ撮影シミュレーション最適化を実行して、モアレが追加されたトレーニング画像を取得する。

【0112】

前記Ｓ１５は、具体的に、取得したモアレが追加されたトレーニング画像を実際のカメラ撮影効果により近づけるように、以下のステップを含むことができる。

【0113】

Ｓ１５１：スマート機器は、第１の投影変換パラメータに従って、第１の歪み画像に対して投影変換処理を実行して、傾斜シミュレーション画像を取得し、第１の歪み画像に対して投影変換(ｐｅｒｓｐｅｃｔｉｖｅｔｒａｎｓｆｏｒｍ)を実行して、カメラがスクリーンを撮影する際にセンサーがスクリーンに完全に正対できないことによる画像傾斜をシミュレートする。

【0114】

Ｓ１５２：スマート機器は、カメラによって撮影された画像の輝度分布特徴に基づいて、前記傾斜シミュレーション画像を処理して、輝度シミュレーション画像を取得する。スマート機器は、ベイヤーアレイのカラーフィルターアレイ(ｃｏｌｏｒｆｉｌｔｅｒａｒｒａｙ、ＣＦＡ)サンプリングアルゴリズムを使用して、前のステップで出力された傾斜シミュレーション画像に対して再サンプリング・補間を実行する。一実施例では、再補間後の画像に対してガンマｇａｍｍａ値を再調整し、カメラが撮影するときの画像の輝度分布特性をシミュレートしてもよい。

【0115】

Ｓ１５３：スマート機器は、前記輝度シミュレーション画像に画像ノイズを追加して、ノイズ点があるノイズシミュレーション画像を取得し、具体的に、撮影結果画像にガウスノイズを追加して、実際のカメラがセンサーイメージングを撮影するときに発生するノイズ点をシミュレートする。

【0116】

Ｓ１５４：スマート機器は、予め設定された照明係数に従って、ノイズシミュレーション画像を処理して、明暗シミュレーション画像を取得する。スマート機器は、画像の異なる領域に異なる照明係数を乗算して、スクリーンを撮影するときの画像の不均一な明暗の現象をシミュレートする。

【0117】

最後に得られた明暗シミュレーション画像を、最終的なモアレが追加されたトレーニング画像として使用できる。

【0118】

一実施例では、前記オリジナル画像データに基づいて監視画像を取得することは、以下のステップを含む。

【0119】

Ｓ２１：スマート機器は、オリジナル画像データに対して径方向歪みを追加して、第２の歪み画像を取得する。

【0120】

当該ステップは、上記のＳ１４で言及されている径方向歪み処理の方式と同じである。

【0121】

Ｓ２２：スマート機器は、前記第１の投影変換パラメータに従って、第２の歪み画像に対して投影変換処理を実行して、監視画像を取得する。

【0122】

当該ステップは、上記のＳ１５１で言及されている投影変換処理と同じ投影変換パラメータに基づいており、スマート機器は、監視画像と前述した得られたトレーニング画像をマッチング画像ペアとして組み合わせてもよい。

【0123】

上記のシミュレーション画像処理では、多くのパラメータを柔軟に調整できるため、より豊かなマッチング画像ペアを取得することができる。より多くのリアルショットモアレ画像をモアレトレーニングデータセットに追加して、画像処理モデルをより適切にトレーニングすることができる。リアルショットモアレ画像について、撮影されたモアレ付き画像とオリジナル画像の間で画素レベルのアライメントを如何に実行するかが難しい。本出願の実施例で採用される画像アライメント方案は、２段階のアライメントであり、まず、２つの画像(オリジナル画像及びディスプレイに表示されたオリジナル画像を撮影して得られた画像)に対して特徴点マッチングを実行して、投影変換を計算し、次に、変換された画像に対してオプティカルフローモーションフィールドを再計算してより細かいアライメントを行い、これにより、投影変換では表現できない画像歪みを補正する。具体的に、前記モアレトレーニングデータセットを取得することは、以下のステップを含むことができる。

【0124】

Ｓ３１：スマート機器は、オリジナル画像データを電子ディスプレイに表示し、電子ディスプレイに表示されたオリジナル画像データを撮影して、トレーニング画像を取得する。

【0125】

Ｓ３２：スマート機器は、前記トレーニング画像に基づいて、前記オリジナル画像データに対して特徴点マッチング及びオプティカルフローアライメント処理を実行して、監視画像を取得する。

【0126】

Ｓ３３：スマート機器は、前記トレーニング画像及び対応する監視画像に基づいてマッチング画像ペアを構築する。

【0127】

具体的に、前記Ｓ３２は、以下のステップを含むことができる。

【0128】

Ｓ３２１：スマート機器は、トレーニング画像及びオリジナル画像データの間で特徴点マッチング処理を実行し、特徴点マッチング処理の結果に基づいて第２の投影変換パラメータを計算し、第２の投影変換パラメータに基づいて前記オリジナル画像データに対して投影変換処理を実行して、投影後のオリジナル画像データを取得する。

【0129】

上記のＳ３２１は、特徴点マッチング(ｆｅａｔｕｒｅｍａｔｃｈｉｎｇ)処理プロセスである。トレーニング画像及びオリジナル画像データの特徴点を検出して計算する前に、まず、画像に対してノイズ除去を実行してもよい。一実施例では、非局所平均ｎｏｎｌｏｃａｌｍｅａｎｓアルゴリズムを選択することができ、さらに、特徴点検出(ｆｅａｔｕｒｅｓｆｒｏｍａｃｃｅｌｅｒａｔｅｄｓｅｇｍｅｎｔｔｅｓｔ、ＦＡＳＴ)アルゴリズムを使用して特徴点を検出し、次に、検出された特徴点について、スケール不変特徴変換(ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ、ＳＩＦＴ)、高速ロバスト特徴(ｓｐｅｅｄｅｄｕｐｒｏｂｕｓｔｆｅａｔｕｒｅｓ、ＳＵＲＦ)、ＡＫＡＺＥ(２つの画像間でマッチングするキーポイントを見つけることができる画像検索方法)、ＯＲＢ(特徴点抽出及び特徴点説明に関するアルゴリズム)、バイナリロバスト不変スケーラブルキーポイント(ｂｉｎａｒｙｒｏｂｕｓｔｉｎｖａｒｉａｎｔｓｃａｌａｂｌｅｋｅｙｐｏｉｎｔｓ、ＢＲＩＳＫ)などの様々なアルゴリズムを使用して、それぞれ特徴値を計算し、それぞれブルートフォースマッチング(ｂｒｕｔｅｆｏｒｃｅｍａｔｃｈｉｎｇ)を実行する。各ペアの特徴点マッチング結果に対して投票を行い、複数のアルゴリズムの中で、ターゲット特徴点マッチングする結果をサポートできるアルゴリズムがＹ種類以上ある場合、当該ターゲット特徴点マッチング結果は正しいと見なされる。このようにして、信頼性の高い特徴点マッチング結果を取得することができる。次に、当該特徴点マッチング結果を使用して第２の投影変換パラメータを計算し、オリジナル画像データをトレーニング画像に投影して、予備的なアライメント結果を取得する。

【0130】

Ｓ３２２：スマート機器は、オプティカルフロー法に基づいて前記トレーニング画像及び前記投影後のオリジナル画像データの間の画素座標対応表を計算する。

【0131】

当該ステップは、オプティカルフローアライメント処理に対応し、具体的に、オプティカルフロー法(ｏｐｔｉｃａｌｆｌｏｗ)に基づく画像歪み処理であってもよい。当該ステップにおいて、第２の投影変換パラメータに基づくアライメント結果は、完全に画素レベルのアライメントではなく、実験統計では平均１０画素の差があり、これは主にスクリーンの曲がり及びレンズの歪みが原因である。本出願の実施例では、さらにオプティカルフロー法を使用して最終的な誤差を除去する。具体的に、高密度オプティカルフローモーションフィールドを計算して、トレーニング画像及び投影処理後のオリジナル画像データの間の画素座標の対応表を取得し、次に投影を実行することができる。実験的分析により、最終的に変分オプティカルフローｖａｒｉａｔｉｏｎａｌｏｐｔｉｃａｌｆｌｏｗアルゴリズムを選択し、このアルゴリズムによって得られたオプティカルフローは、滑らかさ及び正確さのより良いバランスを実現できる。使用の詳細に関して、画像勾配をｖａｒｉａｔｉｏｎａｌオプティカルフロー法のデータ項目として使用し、撮影図及びオリジナル画像の間の輝度の差を効果的に回避でき、また、トレーニング画像及び前記投影後のオリジナル画像データの両方でまず、ガウスファジーを実行する必要があり、モアレノイズの影響を除去するだけでなく、画像をより滑らかでより導きやすくする。

【0132】

Ｓ３２３：スマート機器は、前記画素座標対応表に基づいて投影後のオリジナル画像データに対して投影最適化を実行して、トレーニング画像に対応する監視画像を取得する。

【0133】

Ｓ３２１、Ｓ３２２、Ｓ３２３の後、トレーニング画像及び監視画像は、基本的に画素レベルでアライメントされ、このようにして、これらの画素点レベルでアライメントされたトレーニング画像及び監視画像を使用して、初期モデルをトレーニングして画像処理モデルを取得することが保証される。当該画像処理モデルは、モアレ付き画像に対してモアレ除去処理を実行した後、通常のスケール、通常のコンテンツのターゲット画像を取得し、ターゲット画像とオリジナルのモアレ付き画像のコンテンツが一致しないことはない。

【0134】

大量のマッチング画像ペアを取得した後、初期モデルをトレーニングすることができる。前記初期モデルの構成は、同様に、図９に示す構成を参照することができる。初期モデルをトレーニングすることについて、以下の複数のモデルトレーニング方式のうち任意の１つ又は複数の組み合わせを考慮することができる。

【0135】

第１の種類のモデルトレーニング方式は、次のとおりである。

【0136】

一実施例では、初期モデルつまり画像処理モデルは、同時に、マルチバンドモジュール、注意力メカニズムに基づく予測モジュール、超解像モジュールを含むことができ、超解像モジュールによって出力される結果は、モデル出力結果であり、トレーニング手順では、マルチバンドモジュール、予測モジュール、超解像モジュールによって出力されるトレーニング結果に基づいて、それぞれＬ２損失関数によってそれぞれの損失関数値を決定し、損失関数値に基づいてモデルパラメータを調整して最適化することができる。具体的に、モデルの３つの出力結果に基づいて初期モデルに対して教師ありトレーニングを実行する概略図を図１１に示す。

【0137】

初期モデルが同時に、マルチバンドモジュール、予測モジュール、超解像モジュールを含む場合に、前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングすることは、以下のステップを含む。

【0138】

モアレトレーニングデータセットのマッチング画像ペアのうちトレーニング画像を初期モデルの入力とし、初期モデルにより処理して、マルチバンドモジュールによって出力される第１の結果１１０１、予測モジュールによって出力される第２の結果１１０２、及び超解像モジュールによって出力される第３の結果１１０３を取得し、前記第１の結果１１０１は、トレーニング画像のＮ層ラプラシアンピラミッドに対応するＮ個の空間周波数帯域の特徴マップを含み、図１１に示すように、５層のラプラシアンピラミッドは、５つの空間周波数帯域の特徴マップを取得することができ、第１の結果は、５つの空間周波数帯域に対応する５つの特徴マップであり、前記第２の結果は、前記トレーニング画像に対応する第２の結果特徴マップを含み、前記第３の結果は、前記トレーニング画像に対応するターゲット画像を含む。

【0139】

モアレトレーニングデータセットのマッチング画像ペアのうち前記監視画像に対してＮ層ラプラシアンピラミッド処理を実行して、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップを取得し、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップと前記第１の結果１１０１のうち前記Ｎ個の空間周波数帯域の特徴マップとのＮ個の基礎損失関数値を取得し、監視画像に対してＮ層ラプラシアンピラミッド処理を実行して、監視画像のＮ個の空間周波数帯域の特徴マップを取得し、特徴マップセット１１０４における５つの特徴マップを図１１に示す。特徴マップセット１１０４における特徴マップと第１の結果１１０１における同じスケールの特徴マップとの間は、Ｌ２損失関数に基づいて損失値を計算することができ、図１１では、５つの基礎損失関数値が得られる。

【0140】

前記監視画像に対して解像度処理を実行した後の画像と第２の結果１１０２との間の第１の損失関数値を取得し、監視画像に対して解像度処理を実行した後、画像１１０５が得られる。第２の結果１１０２と画像１１０５の間は、Ｌ２損失関数に基づいて損失値を計算することができる。

【0141】

前記監視画像１１０６と第３の結果１１０３との間の第２の損失関数値を取得し、前記監視画像１１０６と第３の結果１１０３の特徴マップの間は、Ｌ２損失関数に基づいて損失値を計算することができる。

【0142】

Ｎ個の基礎損失関数値、前記第１の損失関数値及び前記第２の損失関数値に基づいて、前記初期モデルのモデルパラメータを最適化して、画像処理モデルを取得する。

【0143】

上記の説明に基づいて、図１１のモデルでは、それぞれ、５つ、１つ、１つのＬ２損失関数がある。最終的な損失関数は、７つのＬ２損失関数値を直接加算すればよく、各Ｌ２損失の画素数の差によるオーダの違いにより、直接加算することは合理的な重みである。

【0144】

一実施例では、初期モデルつまり画像処理モデルは、マルチバンドモジュールを含むことができ、マルチバンドモジュールによって出力される結果は、モデル出力結果である。トレーニング手順では、マルチバンドモジュールによって出力されるトレーニング結果に基づいて、Ｌ２損失関数によって損失関数値を決定し、損失関数値に基づいて各モデルパラメータを調整して最適化することができる。

【0145】

一実施例では、初期モデルつまり画像処理モデルは、マルチバンドモジュール及び注意力メカニズムに基づく予測モジュールを含むことができ、予測モジュールによって出力される結果は、モデル出力的結果である。トレーニング手順では、マルチバンドモジュール、注意力メカニズムに基づく予測モジュールのそれぞれによって出力される結果に基づいて、それぞれＬ２損失関数によって、それぞれの損失関数値を決定し、損失関数値に基づいて各モデルパラメータを調整して最適化することができる。

【0146】

第２の種類のモデルトレーニング方式は次のとおりである。

【0147】

一実施例では、画像処理モデルのモアレ除去能力を向上させるために、さらに、モアレ画像が、各スケールで異なるモアレパターンを有することを考慮して、画像処理モデルの初期モデルをトレーニングするときに、マルチスケール学習を行う。具体的に、前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングすることは、
モアレトレーニングデータセットのターゲットマッチング画像ペアのうち画像に対してサイズ調整処理を実行して、Ｐ個の異なるサイズの変形マッチング画像ペアを取得するステップと、
Ｐ個の変形マッチング画像ペアに基づいて、初期モデルをトレーニングして、Ｐ個の損失関数値を取得し、Ｐ個の損失関数値に基づいて前記初期モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得するステップと、を含む。

【0148】

各マッチング画像ペアのトレーニングサンプルについて、２５６×２５６、３８４×３８４、５１２×５１２、７６８×７６８などの解像度にスケーリングした後、複数の異なるスケールの変形マッチング画像ペアを取得し、各変形マッチング画像ペアは、単独で１つのトレーニング用データとして、それぞれ初期モデルに入力され、例えば上記の第１の種類のモデルトレーニング方式に従ってトレーニングしてから、それぞれ損失関数値を計算し、最後に損失関数値を加算してトレーニングし、即ち、総損失関数値は、全ての損失関数を加算したものであり、最適化されたモデルは、対応する各損失関数値を加算した値が最小値となるようにする。このように、１つのサンプルをトレーニングするたびに、初期モデルに異なる解像度でのモアレパターンを同時に学習させることができ、モアレ除去能力を学習した初期モデルは、よりロバストを持っている。実践を通して、一般的、解像度が大きいほど、モアレの除去効果が高くなる現象を発見した。

【0149】

第３の種類のモデルトレーニング方式は次のとおりである。

【0150】

モアレ付き画像をより多く使用してモデルトレーニングを実行するために、本出願は、大量のモアレ付き画像に基づいてモデルを直接トレーニングしてもよい。一実施例では、画像処理方法における画像処理モデルに関するトレーニングは、以下のステップを含んでもよい。

【0151】

モアレ画像セットにおける前記トレーニング画像に対してサイズ拡大調整を実行して、ターゲットサイズのモアレ拡大画像を取得する。モアレ画像セットに、マッチング画像ペアが存在しなく、モアレ画像セットに、モアレ付きモアレ画像のみが含まれ、モアレ画像に対応する監視画像はない。前述の実施例で説明したシミュレーション処理などの処理方式によってマッチング画像ペアを取得し、撮影によってモアレ付き画像を取得し、特徴点マッチング、オプティカルフロー法処理などを実行してマッチング画像ペアを取得することと比較して、モアレ付き画像を直接取得する方法はより簡単であり、例えば、カメラの位置を調整した後、コンピュータのディスプレイに表示された画像を狙い一定の時間間隔で撮影し、同時に、コンピュータディスプレイは、一定の時間間隔で異なる画像コンテンツを切り替え、カメラに撮影させ、大量のモアレ付きモアレ画像を簡単に取得することができる。

【0152】

トレーニング手順では、第１の画像処理モデルを実行して前記モアレ拡大画像に対して除去モアレ処理を実行して、モアレ監視画像を取得する。上記で言及されているモアレトレーニングデータセットにおける各マッチング画像ペアに基づいてトレーニングして得られたモデルを第１の画像処理モデルとして使用することができる。例えば、上記の第１の種類のモデルトレーニング方式及び／又は第２の種類のモデルトレーニング方式によって初期モデルをトレーニングして得られた画像処理モデルを前記第１の画像処理モデルとする。第１の画像処理モデルは、他のトレーニング方式でトレーニングされたモアレを除去するためのモデルであってもよい。当該第１の画像処理モデルを基礎とし、さらに、大量のモアレ付き画像に基づいて自己監視トレーニングを実行して、より優れたパフォーマンスの画像処理モデルを取得する。

【0153】

前記モアレ監視画像及び前記モアレ拡大画像に対してスケーリング処理を実行して、複数のモアレ画像ペアを取得する。複数のモアレ画像ペアに基づいて、前記第１の画像処理モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得する。

【0154】

第２の種類のモデルトレーニング方式に対応するマルチスケール学習プロセスで、１つのモアレ付き画像をより大きな解像度にスケーリングすると、モアレは容易にモデルによって除去されることを発見した。当該発見に基づいて、第１の画像処理モデルに対する自己教師あり学習を実行する。第１の画像処理モデルトによってこのロットのラベルなしデータ(即ち、モアレ画像セットにおける大量のモアレ画像)をレーニングするときに、モアレ画像のオリジナル画像を１６６４×１６６４(又は他の大きなサイズ)に拡大し、第１の画像処理モデルを実行してモアレ除去処理を行い、前記第１の画像処理モデルによって出力される結果を対応するモアレ画像のモアレ監視画像ｇｒｏｕｎｄｔｒｕｔｈとして使用し、モアレ画像及びそのモアレ監視画像で構成されるモアレマッチング画像ペアについて、同時にモアレマッチング画像ペアを２５６×２５６、３８４×３８４、５１２×５１２、７６８×７６８などのスケールにスケーリングし、第１の画像処理モデルに対してマルチスケールトレーニングを再度実行する。収束までトレーニングした後、最終的に必要なより優れたパフォーマンスの画像処理モデルを取得できる。

【0155】

一実施例では、新たにトレーニングされたモデルを新しい第１の画像処理モデルとして使用することもでき、新しい第１の画像処理モデルによって１６６４×１６６４(又は他の大きなサイズ)のモアレ画像のモアレを除去し、自己監視トレーニングを再度実行する。このようにして繰り返して、最終的に、画像におけるモアレを除去できる１つ又は複数の画像処理モデル取得することができる。

【0156】

一実施例では、上記の拡大処理、第１の画像処理モデル除去モアレ処理によって得られた複数のモアレ画像ペアに基づいて、前記第１の画像処理モデルにおけるモデルパラメータを最適化して得られたモデルを、第１のバージョンの画像処理モデルとして使用する。

【0157】

前記第１のバージョンの画像処理モデルを新しい第１の画像処理モデルとして使用することで、前記モアレ画像セットに基づいて前記新しい第１の画像処理モデルをトレーニングして、第２のバージョンの画像処理モデルを取得する。さらに、第２のバージョンの画像処理モデルを新しい第１の画像処理モデルとすることができ、このように繰り返して、複数のバージョンの画像処理モデルを取得することができる。

【0158】

２つ以上のバージョンの画像処理モデルを取得した後、画像処理モデルを実行して前記オリジナル画像に対してモアレ除去処理を実行して、ターゲット画像を取得するプロセスは、以下のステップを含むことができる。

【0159】

前記第１のバージョンの画像処理モデル及び前記第２のバージョンの画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行して第１の画像及び第２の画像を取得する。勿論、複数のバージョンの画像処理モデルがある場合、他のバージョンの画像処理モデルを実行してオリジナル画像に対してモアレ除去処理を実行し、他の画像を取得してもよい。

【0160】

前記第１の画像及び前記第２の画像に基づいて、ターゲット画像を取得する。第１の画像及び第２の画像、さらにより多くのバージョンの画像処理モデルによりモアレ除去処理を実行した後に得られた画像に基づいてターゲット画像を決定するときに、全てのバージョンの画像処理モデルによって出力される画像のうち、局所画像領域ごとに、ひいては画素点ごとに比較し、モアレ除去効果が最も優れた局所画像領域又は画素点によってターゲット画像を構築することができる。つまり、複数回トレーニングした後に、複数のバージョンの画像処理モデルを取得することができ、これらの画像処理モデルは、能力にそれぞれ重みがあるため、これらの画像処理モデルを使用してそれぞれオリジナル画像におけるモアレを除去してから、結果をマージすることができ、より優れたモアレ除去効果を取得することができる。

【0161】

一実施例では、マージ方法は、各バージョンの画像処理モデルによって出力される画像のうち局所画像領域及び／又は画素点に対して、勾配が最も小さい局所画像領域及び／又は画素点を決定し、勾配が最も小さい局所画像領域及び／又は画素点を選択し、選択された各局所画像領域及び／又は画素点に基づいて、最後にターゲット画像を構築し、例えば、画像を、上下２つの局所画像領域に分割し、第１の画像の上半分の局所画像領域の勾配は、第２の画像の上半分の局所画像領域よりも小さく、第２の画像の下半分の局所画像領域の勾配は、第１の画像の下半分の局所画像領域より小さく、そのため、第１の画像の上半分の局所画像領域と第２の画像の下半分の局所画像領域をマージして、最終的なターゲット画像を取得することができる。

【0162】

他の実施例では、第１の画像、第２の画像、さらにより多くのバージョン画像処理モデルによって出力される画像から、除去効果が最も優れた画像を最終的なターゲット画像として直接選択し、２つ以上のバージョン画像処理モデルによって出力される画像をインターフェースに同時に表示し、ユーザーによる選択操作を受信し、ユーザーによる選択操作によって選択された画像を最終的なターゲット画像とすることができる。

【0163】

上記の方式で画像処理モデルを取得した後、画像処理モデルによって出力される結果をより真実にするために、画像処理モデルのモデルパラメータは、敵対的生成ネットワークによりさらに微調整することができる。敵対的生成ネットワークの弁別器の作用は、ネットワーク出力画像と真実のモアレなし画像を区別することであり、その損失関数は、分類のクロスエントロピーである。敵対的生成ネットワークの生成器の損失関数は、負の判別器損失関数と、生成図と旧モデル生成図との差のＬ２損失関数という２つの部分で加算される。敵対的生成ネットワークの損失関数の設計目的は、画像処理モデルがより真実のモアレなし画像を生成するだけでなく、モアレを除去する能力がオリジナル画像処理モデルと大きく異ならないようにすることである。

【0164】

図１２を参照し、当該図は、本出願の実施例による画像処理装置の構成概略図であり、本出願の実施例の上記の装置は、スマート機器に設置することができ、前記スマート機器は、スマートフォン、タブレットコンピューター、パソコンなどの装置であってもよい。前記装置は、以下のモジュールを含む。

【0165】

取得モジュール１２０１は、オリジナル画像を取得する。

【0166】

処理モジュール１２０２は、画像処理モデルを実行して前記オリジナル画像に対してモアレ除去処理を実行して、ターゲット画像を取得し、前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理して前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である。

【0167】

一実施例では、前記処理モジュール１２０２は、具体的に、画像処理モデルを実行して、前記マルチバンドモジュールにより、前記オリジナル画像に対して初期分析処理をＭ回実行して、Ｎ個のスケールの初期特徴マップを取得し、前記Ｍは、２以上の正の整数であり、前記Ｍは、前記Ｎ以上であり、前記初期分析処理は、前記オリジナル画像に対して、最初にダウンサンプリングを実行し、次に畳み込み処理を実行すること、又は、前記オリジナル画像に対してダウンスケールの畳み込み処理を実行することを含み、前記Ｎ個のスケールの初期特徴マップに対して畳み込み処理を実行して、Ｎ個のスケールの中間特徴マップを取得し、Ｎ個のスケールの中間特徴マップに基づいて、Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップを取得し、Ｎ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記第１の処理結果特徴マップに基づいてターゲット画像を取得する。

【0168】

一実施例では、前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ番目の空間周波数帯域の特徴マップは、前記中間特徴マップのうちスケールが最も小さいＮ番目の中間特徴マップに基づいて取得され、
前記Ｎ個の空間周波数帯域に対応する特徴マップのうちＮ－ｉ番目の空間周波数帯域の特徴マップは、Ｎ番目の中間特徴マップ、Ｎ－ｉ番目の中間特徴マップ及びＮ番目の中間特徴マップからＮ－ｉ番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて取得され、前記ｉは、１以上Ｎ未満の正の整数である。

【0169】

一実施例では、前記処理モジュール１２０２は、具体的に、予測特徴マップを取得し、前記予測特徴マップは、Ｎ番目の中間特徴マップ、１番目の中間特徴マップ及Ｎ番目の中間特徴マップから１番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて得られ、Ｎ個の空間周波数帯域に対応する特徴マップにおけるスケールが前記予測特徴マップのスケールよりも小さい特徴マップに対してサイズ調整を実行し、調整後の空間周波数帯域に対応する特徴マップのスケールが前記予測特徴マップのスケールと等しいようにし、前記予測特徴マップ及び調整後の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得する。

【0170】

一実施例では、前記画像処理モデルはさらに、注意力メカニズムに基づく予測モジュールを含み、前記処理モジュール１２０２は、具体的に、前記オリジナル画像に対してファジー処理を実行した後に得られたファジー特徴マップを取得し、前記第１の処理結果特徴マップ及び前記ファジー特徴マップに基づいて、前記予測モジュールにより、第２の処理結果特徴マップを取得し、前記第２の処理結果特徴マップに基づいてターゲット画像を取得する。

【0171】

一実施例では、前記画像処理モデルはさらに、超解像モジュールを含み、前記処理モジュール１２０２は、具体的に、前記第１の処理結果特徴マップに基づいて参照特徴マップを取得し、前記第２の処理結果特徴マップを処理して中間結果特徴マップを取得し、前記参照特徴マップのスケールは、前記オリジナル画像のスケールと同じであり、前記中間結果特徴マップのスケールは、前記オリジナル画像のスケールと同じであり、前記参照特徴マップ及び前記中間結果特徴マップに基づいて、前記超解像モジュールにより、ターゲット画像を取得する。

【0172】

一実施例では、前記装置は、トレーニングモジュール１２０３をさらに含み、
前記トレーニングモジュール１２０３は、モアレトレーニングデータセットを取得し、前記モアレトレーニングデータセットは、マッチング画像ペアを含み、当該マッチング画像ペアは、トレーニング画像及び監視画像を含み、前記トレーニング画像は、モアレを有し、前記監視画像は、前記モアレを有しなく、前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングして、前記画像処理モデルを取得する。

【0173】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、オリジナル画像データにおける各画素点を、３つの並列するサブ画素点に分解して、サブ画素画像を取得し、各サブ画素点は、１つの色に対応し、前記オリジナル画像データの色は、赤緑青ＲＧＢを含み、前記サブ画素画像のサイズを調整して、前記オリジナル画像データの画像サイズと同じサイズを有する第１の中間画像を取得し、第１の中間画像における第１の閾値よりも低い階調値を有する画素点の階調値を第２の閾値に設置して、第２の中間画像を取得し、前記第２の中間画像に対して径向歪みを追加して、第１の歪み画像を取得し、前記第１の歪み画像に対してカメラ撮影シミュレーション最適化を実行して、モアレが追加されたトレーニング画像を取得する。

【0174】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、第１の投影変換パラメータに従って、第１の歪み画像に対して投影変換処理を実行して、傾斜シミュレーション画像を取得し、カメラによって撮影された画像の輝度分布特徴に基づいて、前記傾斜シミュレーション画像を処理して、輝度シミュレーション画像を取得し、前記輝度シミュレーション画像に対して画像ノイズを追加して、ノイズ点のあるノイズシミュレーション画像を取得し、予め設定された照明係数に従ってノイズシミュレーション画像を処理して、明暗シミュレーション画像を取得する。

【0175】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、オリジナル画像データに対して径向歪みを追加して、第２の歪み画像を取得し、前記第１の投影変換パラメータに従って第２の歪み画像に対して投影変換処理を実行して、監視画像を取得する。

【0176】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、オリジナル画像データを電子ディスプレイに表示し、電子ディスプレイに表示されたオリジナル画像データを撮影して、トレーニング画像を取得し、前記トレーニング画像に基づいて、前記オリジナル画像データに対して特徴点マッチングする及びオプティカルフローアライメント処理を実行して、監視画像を取得し、前記トレーニング画像及び対応する監視画像に基づいてマッチング画像ペアを取得する。

【0177】

一実施例では、前記初期モデルは、トレーニング対象となるマルチバンドモジュール、トレーニング対象となる注意力メカニズムに基づく予測モジュール、トレーニング対象となる超解像モジュールを含む。

【0178】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、モアレトレーニングデータセットのマッチング画像ペアにおけるトレーニング画像を初期モデルの入力として使用し、初期モデルによる処理の後、マルチバンドモジュールによって出力される第１の結果、予測モジュールによって出力される第２の結果、及び超解像モジュールによって出力される第３の結果を取得し、前記第１の結果は、トレーニング画像のＮ層ラプラシアンピラミッドに対応するＮ個の空間周波数帯域の特徴マップを含み、前記第２の結果は、前記トレーニング画像に対応する第２の結果特徴マップを含み、前記第３の結果は、前記トレーニング画像に対応するターゲット画像を含み、モアレトレーニングデータセットのマッチング画像ペアにおける前記監視画像に対してＮ層ラプラシアンピラミッド処理を実行して、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップを取得し、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップと前記第１の結果における前記Ｎ個の空間周波数帯域の特徴マップとのＮ個の基礎損失関数値を取得し、前記監視画像に対して解像度処理を実行した後の画像と第２の結果との間の第１の損失関数値を取得し、前記監視画像と第３の結果との間の第２の損失関数値を取得し、Ｎ個の基礎損失関数値、前記第１の損失関数値及び前記第２の損失関数値に基づいて、前記初期モデルのモデルパラメータを最適化して、画像処理モデルを取得する。

【0179】

一実施例では、前記トレーニングモジュール１２０３は、具体的に、モアレトレーニングデータセットのターゲットマッチング画像ペアにおける画像に対してサイズ調整処理を実行して、Ｐ個の異なるサイズの変形マッチング画像ペアを取得し、Ｐ個の変形マッチング画像ペアに基づいて、初期モデルをトレーニングして、Ｐ個の損失関数値を取得し、Ｐ個の損失関数値に基づいて前記初期モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得する。

【0180】

一実施例では、モアレトレーニングデータセットにおける各マッチング画像ペアによるトレーニングによって得られたモデルを第１の画像処理モデルとして使用し、前記トレーニングモジュール１２０３は、具体的に、前記モアレ画像セットにおける前記トレーニング画像に対してサイズ拡大調整を実行して、ターゲットサイズのモアレ拡大画像を取得し、前記第１の画像処理モデルを実行して、前記モアレ拡大画像に対して除去モアレ処理を実行して、モアレ監視画像を取得し、前記モアレ監視画像及び前記モアレ拡大画像に対してスケーリング処理を実行して、複数のモアレ画像ペアを取得し、前記複数のモアレ画像ペアに基づいて、前記第１の画像処理モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得する。

【0181】

一実施例では、複数のモアレ画像ペアに基づいて前記第１の画像処理モデルにおけるモデルパラメータを最適化することによって得られたモデルを、第１のバージョンの画像処理モデルとして使用し、前記第１のバージョンの画像処理モデルを新しい第１の画像処理モデルとして、前記モアレ画像セットに基づいて前記新的第１の画像処理モデルをトレーニングして、第２のバージョン的画像処理モデルを取得し、
前記画像処理モデルは、前記第１のバージョンの画像処理モデルと、前記第２のバージョンの画像処理モデルを含み、
前記処理モジュール１２０２は、前記第１のバージョンの画像処理モデル及び前記第２のバージョンの画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行して、第１の画像及び第２の画像を取得し、前記第１の画像及び前記第２の画像に基づいて、ターゲット画像を取得する。

【0182】

本出願の実施例の上記の装置に含まれる各モジュールの具体的な実現は、前述の各実施例における関連ステップの具体的な説明を参照することができ、詳細は、ここでは説明しない。

【0183】

【0184】

再度図１３を参照し、本出願の実施例によるスマート機器の構成概略図であり、本出願の実施例の上記のスマート機器は、例えば、スマートフォン、タブレット、パソコン、サーバーなどの装置であってもよく、当該スマート機器は、データ伝送、記憶、データ分析、編集などの機能を実現することができる。前記スマート機器はさらに、様々な必要なハウジング構成を含み、また、電源、通信インターフェースなどを含む。前記スマート機器は、プロセッサー１３０１及び記憶装置１３０２、入力インターフェース１３０３、出力インターフェース１３０４を含んでもよい。

【0185】

前記入力インターフェース１３０３は、データを取得することができる一部のユーザーインターフェース、又はデータインターフェース、又は通信インターフェースであってもよい。前記出力インターフェース１３０４は、データを外部に送信することができる一部のネットワークインターフェースであってもよく、出力インターフェース１３０４は、出力インターフェース１３０４によって出力されたモアレが除去された画像などのデータをディスプレイに表示するために、処理されたデータをディスプレイに出力することができる。

【0186】

前記記憶装置１３０２は、ランダムアクセスメモリ(ｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ)などの揮発性メモリ(ｖｏｌａｔｉｌｅｍｅｍｏｒｙ)を含むことができ、記憶装置１３０２は、例えばフラッシュメモリ(ｆｌａｓｈｍｅｍｏｒｙ)、ストレージハードディスク(ｓｏｌｉｄ－ｓｔａｔｅｄｒｉｖｅ、ＳＳＤ)などの不揮発性メモリ(ｎｏｎ－ｖｏｌａｔｉｌｅｍｅｍｏｒｙ)を含むことができ、記憶装置１３０２は、上記のタイプのメモリの組み合わせを含むことができる。

【0187】

前記プロセッサー１３０１は、中央処理装置(ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ、ＣＰＵ)であってもよい。前記プロセッサー１３０１はさらに、ハードウェアチップを含む。上記のハードウェアチップは、特定用途向け集積回路(ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ、ＡＳＩＣ)、プログラマブルロジックデバイス(ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｄｅｖｉｃｅ、ＰＬＤ)などであってもよい。上記のＰＬＤは、フィールドプログラマブルゲートアレイ(ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ、ＦＰＧＡ)、汎用アレイロジック(ｇｅｎｅｒｉｃａｒｒａｙｌｏｇｉｃ、ＧＡＬ)などであってもよい。

【0188】

本出願の実施例では、前記記憶装置１３０２には、プログラム命令が記憶され、前記プロセッサー１３０１は、前記記憶装置１３０２に記憶されたプログラム命令を呼び出して、上記の各実施例で言及された関連する方法及びステップを実行する。

【0189】

一実施例では、前記プロセッサー１３０１は、
オリジナル画像を取得するステップと、
画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行して、ターゲット画像を取得するステップと、を実行し、
前記画像処理モデルは、モアレトレーニングデータセットによる事前トレーニングによって得られたネットワークモデルであり、
前記画像処理モデルは、マルチバンドモジュールを含み、前記マルチバンドモジュールは、前記オリジナル画像を処理して、前記オリジナル画像に関するＮ層ラプラシアンピラミッドを取得し、前記Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得し、前記ターゲット画像は、前記第１の処理結果特徴マップに基づいて得られ、前記Ｎは、２以上の正の整数である。

【0190】

一実施例では、前記プロセッサー１３０１は、具体的に、
画像処理モデルを実行して、前記マルチバンドモジュールにより、前記オリジナル画像に対して初期分析処理をＭ回実行して、Ｎ個のスケールの初期特徴マップを取得するステップであって、前記Ｍが、２以上の正の整数であり、前記Ｍが、前記Ｎ以上であり、前記初期分析処理は、前記オリジナル画像に対して、最初にダウンサンプリングを実行し、次に畳み込み処理を実行すること、又は、前記オリジナル画像に対してダウンスケールの畳み込み処理を実行することを含むステップと、
前記Ｎ個のスケールの初期特徴マップに対して畳み込み処理を実行して、Ｎ個のスケールの中間特徴マップを取得するステップと、
Ｎ個のスケールの中間特徴マップに基づいて、Ｎ層ラプラシアンピラミッドのＮ個の空間周波数帯域に対応する特徴マップを取得するステップと、
Ｎ個の空間周波数帯域に対応する特徴マップに基づいて第１の処理結果特徴マップを取得するステップと、
前記第１の処理結果特徴マップに基づいてターゲット画像を取得するステップと、を実行する。

【0191】

一実施例では、前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ番目の空間周波数帯域の特徴マップは、前記中間特徴マップのうちスケールが最も小さいＮ番目の中間特徴マップに基づいて取得され、前記Ｎ個の空間周波数帯域に対応する特徴マップのうち、Ｎ－ｉ番目の空間周波数帯域的特徴マップは、Ｎ番目の中間特徴マップ、Ｎ－ｉ番目の中間特徴マップ及びＮ番目の中間特徴マップからＮ－ｉ番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて得られ、前記ｉは、１以上Ｎ未満の正の整数である。

【0192】

一実施例では、前記プロセッサー１３０１は、具体的に、
予測特徴マップを取得するステップであって、前記予測特徴マップが、Ｎ番目の中間特徴マップ、１番目の中間特徴マップ及びＮ番目の中間特徴マップから１番目の中間特徴マップまでの間の全ての中間特徴マップに基づいて得られるステップと、
Ｎ個の空間周波数帯域に対応する特徴マップのうちスケールが前記予測特徴マップのスケールよりも小さい特徴マップに対してサイズ調整を実行して、調整後の空間周波数帯域に対応する特徴マップのスケールが前記予測特徴マップのスケールと等しいようにするステップと、
前記予測特徴マップ及び調整後の空間周波数帯域に対応する特徴マップに基づいて、第１の処理結果特徴マップを取得するステップと、を実行する。

【0193】

一実施例では、前記画像処理モデルは、注意力メカニズムに基づく予測モジュールをさらに含み、前記プロセッサー１３０１は、
前記オリジナル画像に対してファジー処理を実行して得られたファジー特徴マップを取得するステップと、
前記第１の処理結果特徴マップ及び前記ファジー特徴マップに基づいて、前記予測モジュールにより、第２の処理結果特徴マップを取得するステップと、
前記第２の処理結果特徴マップに基づいてターゲット画像を取得するステップと、を実行する。

【0194】

一実施例では、前記画像処理モデルは、超解像モジュールをさらに含み、前記プロセッサー１３０１は、
前記第１の処理結果特徴マップに基づいて参照特徴マップを取得し、前記第２の処理結果特徴マップを処理して中間結果特徴マップを取得するステップであって、前記参照特徴マップのスケールが、前記オリジナル画像のスケールと同じであり、前記中間結果特徴マップのスケールが前記オリジナル画像のスケールと同じであるステップと、
前記参照特徴マップ及び前記中間結果特徴マップに基づいて、前記超解像モジュールにより、ターゲット画像を取得するステップと、を実行する。

【0195】

一実施例では、前記プロセッサー１３０１は、さらに、
前記モアレトレーニングデータセットを取得するステップであって、前記モアレトレーニングデータセットは、マッチング画像ペアを含み、当該マッチング画像ペアは、トレーニング画像及び監視画像を含み、前記トレーニング画像は、モアレを有し、前記監視画像は、前記モアレを有しないステップと、
前記モアレトレーニングデータセットにおける各マッチング画像ペアに基づいて、初期モデルをトレーニングして、前記画像処理モデルを取得するステップと、を実行する。

【0196】

一実施例では、前記プロセッサー１３０１は、具体的に、
オリジナル画像データにおける各画素点を、３つの並列するサブ画素点に分解して、サブ画素画像を取得するステップであって、各サブ画素点は、１つの色に対応し、前記オリジナル画像データの色は、赤緑青ＲＧＢを含むステップと、
前記サブ画素画像のサイズを調整して、前記オリジナル画像データの画像サイズと同じサイズを有する第１の中間画像を取得するステップと、
第１の中間画像における第１の閾値よりも低い階調値を有する画素点の階調値を第２の閾値に設置して、第２の中間画像を取得するステップと、
前記第２の中間画像に対して径向歪みを追加して、第１の歪み画像を取得するステップと、
前記第１の歪み画像に対してカメラ撮影シミュレーションを最適化して、モアレが追加されたトレーニング画像を取得するステップと、を実行する。

【0197】

一実施例では、前記プロセッサー１３０１は、具体的に、
第１の投影変換パラメータに従って、第１の歪み画像に対して投影変換処理を実行して、傾斜シミュレーション画像を取得するステップと、
カメラによって撮影された画像の輝度分布特徴に基づいて、前記傾斜シミュレーション画像を処理して、輝度シミュレーション画像を取得するステップと、
前記輝度シミュレーション画像に対して画像ノイズを追加して、ノイズ点のあるノイズシミュレーション画像を取得するステップと、
予め設定された照明係数に従ってノイズシミュレーション画像を処理して、明暗シミュレーション画像を取得するステップと、を実行する。

【0198】

一実施例では、前記プロセッサー１３０１は、具体的に、
オリジナル画像データに対して径向歪みを追加して、第２の歪み画像を取得するステップと、
前記第１の投影変換パラメータに従って第２の歪み画像に対して投影変換処理を実行して、監視画像を取得するステップと、実行する。

【0199】

一実施例では、前記プロセッサー１３０１は、具体的に、
オリジナル画像データを電子ディスプレイに表示し、電子ディスプレイに表示されたオリジナル画像データを撮影して、トレーニング画像を取得するステップと、
前記トレーニング画像に基づいて、前記オリジナル画像データに対して特徴点マッチング及びオプティカルフローアライメント処理を実行して、監視画像を取得するステップと、
前記トレーニング画像及び対応する監視画像に基づいてマッチング画像ペアを構築するステップと、を実行する。

【0200】

一実施例では、前記初期モデルは、トレーニング対象となるマルチバンドモジュール、トレーニング対象となる注意力メカニズムに基づく予測モジュール、トレーニング対象となる超解像モジュールを含み、
前記プロセッサー１３０１は、
モアレトレーニングデータセットのマッチング画像ペアにおけるトレーニング画像を初期モデルの入力として、初期モデルによる処理の後、マルチバンドモジュールによって出力される第１の結果、予測モジュールによって出力される第２の結果、及び超解像モジュールによって出力される第３の結果を取得するステップであって、前記第１の結果は、トレーニング画像のＮ層ラプラシアンピラミッドに対応するＮ個の空間周波数帯域の特徴マップを含み、前記第２の結果は、前記トレーニング画像に対応する第２の結果特徴マップを含み、前記第３の結果は、前記トレーニング画像に対応するターゲット画像を含むステップと、
モアレトレーニングデータセットのマッチング画像ペアにおける前記監視画像に対してＮ層ラプラシアンピラミッド処理を実行して、前記監視画像に対応するＮ個の空間周波数帯域の特徴マップを取得するステップと、
前記監視画像に対応するＮ個の空間周波数帯域の特徴マップと前記第１の結果における前記Ｎ個の空間周波数帯域の特徴マップとのＮ個の基礎損失関数値を取得し、前記監視画像に対して解像度処理を実行した後の画像と第２の結果との間の第１の損失関数値を取得し、前記監視画像と第３の結果との間の第２の損失関数値を取得するステップと、
Ｎ個の基礎損失関数値、前記第１の損失関数値及び前記第２の損失関数値に基づいて、前記初期モデルのモデルパラメータを最適化して、画像処理モデルを取得するステップと、を実行する。

【0201】

一実施例では、前記プロセッサー１３０１は、具体的に、
モアレトレーニングデータセットのターゲットマッチング画像ペアにおける画像に対してサイズ調整処理を実行して、Ｐ個の異なるサイズの変形マッチング画像ペアを取得するステップと、
Ｐ個の変形マッチング画像ペアに基づいて、初期モデルをトレーニングして、Ｐ個の損失関数値を取得し、Ｐ個の損失関数値に基づいて前記初期モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得するステップと、を実行する。

【0202】

一実施例では、モアレトレーニングデータセットにおける各マッチング画像ペアに基づいてトレーニングすることによって得られたモデルを第１の画像処理モデルとして使用し、前記プロセッサー１３０１はさらに、
前記モアレ画像セットにおける前記トレーニング画像に対してサイズ拡大調整を実行して、ターゲットサイズのモアレ拡大画像を取得するステップと、
前記第１の画像処理モデルを実行して、前記モアレ拡大画像に対して除去モアレ処理を実行して、モアレ監視画像を取得するステップと、
前記モアレ監視画像及び前記モアレ拡大画像に対してスケーリング処理を実行して、複数のモアレ画像ペアを取得するステップと、
前記複数のモアレ画像ペアに基づいて、前記第１の画像処理モデルにおけるモデルパラメータを最適化して、画像処理モデルを取得するステップと、を実行する。

【0203】

一実施例では、前記プロセッサー１３０１は、具体的に、
前記複数のモアレ画像ペアに基づいて前記第１の画像処理モデルにおけるモデルパラメータを最適化することによって得られたモデルを、第１のバージョンの画像処理モデルとして使用するステップと、
前記第１のバージョンの画像処理モデルを新しい第１の画像処理モデルとして、前記モアレ画像セットに基づいて前記新しい第１の画像処理モデルをトレーニングして、第２のバージョンの画像処理モデルを取得するステップと、
を実行し、
前記画像処理モデルは、前記第１のバージョンの画像処理モデルと、前記第２のバージョンの画像処理モデルを含み、
前記プロセッサー１３０１は、
前記第１のバージョンの画像処理モデル及び前記第２のバージョンの画像処理モデルを実行して、前記オリジナル画像に対してモアレ除去処理を実行して、第１の画像及び第２の画像を取得するステップと、
前記第１の画像及び前記第２の画像に基づいて、ターゲット画像を取得するステップと、を実行する。

【0204】

本出願の実施例におけるプロセッサー１３０１の具体的な実現は、前述の各実施例における関連するステップの具体的な説明を参照することができ、詳細は、ここでは説明しない。

【0205】

【0206】

上記の実施例の方法におけるプロセスの全て又は一部は、コンピュータプログラムを介して関連するハードウェアに指示することによって完成でき、前記プログラムは、コンピュータ可読取記憶媒体に記憶することができ、当該プログラムは、実行されるとき、上記の各方法の実施例のフローを含むことができる。前記記憶媒体は、磁気ディスク、光ディスク、読み取り専用メモリ(ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ、ＲＯＭ)又はランダムアクセスメモリ(ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ、ＲＡＭ)などであってもよい。

【0207】

他の実施例では、本出願は、さらに、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータで実行されるときに、上記の実施例のいずれかにおける画像処理方法をコンピュータに実行させる命令を含む。

【0208】

上記の開示は、本出願の実施例の一部に過ぎず、勿論、本出願の権利の範囲は、これによって限定されず、上記の実施例を実施するためのプロセスの全て又は一部、本出願の特許請求の範囲に従って行われる同等の変更が、依然として本出願によってカバーされる範囲に属する。

【符号の説明】

【0209】

1201 取得モジュール
1202 処理モジュール
1203 トレーニングモジュール
1301 プロセッサー
1302 記憶装置
1303 入力インターフェース
1304 出力インターフェース

【図1】