特開 2023-1926 画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023001926

(43)【公開日】2023-01-06

(54)【発明の名称】画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221226BHJP

   H04N 5/272 20060101ALI20221226BHJP

【ＦＩ】

G06T7/00 350C

H04N5/272

【審査請求】有

【請求項の数】25

【出願形態】ＯＬ

【公開請求】

(21)【出願番号】P 2022168601

(22)【出願日】2022-10-20

(31)【優先権主張番号】202111279602.1

(32)【優先日】2021-10-29

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100106518

【弁理士】

【氏名又は名称】松谷 道子

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】李 甫

(72)【発明者】

【氏名】林 天威

【テーマコード（参考）】

5C023

5L096

【Ｆターム（参考）】

5C023AA11

5C023BA11

5C023CA01

5L096CA02

5L096DA01

5L096HA11

5L096KA04

5L096MA03

(57)【要約】      （修正有）

【課題】画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。
【解決手段】方法は、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得ることと、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得ること、重み付け後の特徴マップの特徴統計データに基づいて、特徴マップに対して融合処理を行って、融合後の特徴を得ること、及び融合後の特徴を復号化して、融合画像を取得することによって、特徴マップを復号化して、融合画像を得ることと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得ることと、
アテンションメカニズムを採用して前記特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得ること、前記重み付け後の特徴マップの特徴統計データに基づいて、前記特徴マップに対して融合処理を行って、融合後の特徴を得ること、及び前記融合後の特徴を復号化して、融合画像を取得することによって、前記特徴マップを復号化して、融合画像を得ることとを含む、
画像融合方法。

【請求項2】

前記アテンションメカニズムを採用して前記特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得ることは、
前記特徴マップに対して特徴点ごとのプーリング操作を行って、プーリング後の特徴を得ることと、
前記プーリング後の特徴に対して畳み込み演算を行って、前記特徴マップに対する重みマップを取得することと、
前記重みマップを採用して前記特徴マップに対して重み付け処理を行って、前記重み付け後の特徴マップを得ることとを含む、
請求項１に記載の方法。

【請求項3】

前記特徴マップに対して特徴点ごとのプーリング操作を行って、プーリング後の特徴を得ることは、
前記特徴マップに対して特徴点ごとの最大プーリング操作を行って、第１のプーリング特徴を得ることと、
前記特徴マップに対して特徴点ごとの平均プーリング操作を行って、第２のプーリング特徴を得ることと、
前記第１のプーリング特徴及び前記第２のプーリング特徴に基づいて、前記プーリング後の特徴を得ることとを含む、
請求項２に記載の方法。

【請求項4】

前記プーリング後の特徴に対して畳み込み演算を行って、前記特徴マップに対する重みマップを取得することは、
畳み込みカーネルが所定のサイズよりも大きい畳み込みニューラルネットワークを採用して、前記プーリング後の特徴に対して畳み込み演算を行って、前記特徴マップに対する重みマップを取得することを含む、
請求項２に記載の方法。

【請求項5】

前記重み付け後の特徴マップの特徴統計データに基づいて、前記特徴マップに対して融合を行うことは、
前記前景画像に対するマスク画像に基づいて、前記特徴マップに対して特徴点ごとの正規化処理を行って、正規化特徴マップを得ることと、
前記重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて、前記正規化特徴マップに対して逆正規化処理を行って、前記融合後の特徴を得ることとを含む、
請求項１に記載の方法。

【請求項6】

前記融合後の特徴を復号化して、融合画像を取得することは、
前記特徴マップと前記融合後の特徴とをスティッチングした後の特徴を復号化して、前記融合画像を得ることを含む、
請求項１に記載の方法。

【請求項7】

前記前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得ることは、
前記スティッチ画像をカスケード接続されたＮ段の符号化ネットワークのうちの第１段の符号化ネットワークに入力して、前記Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークにより出力された第ｉ番目の特徴マップを得ることを含み、
前記特徴マップを復号化して、融合画像を得ることは、
前記第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、前記Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた融合画像を得ることをさらに含み、
ただし、前記第（Ｎ－ｉ＋１）段の復号化ネットワークは、
前記アテンションメカニズムを採用して前記第ｉ番目の特徴マップに対して重み付け処理を行うための重み付けサブネットワークと、
前記第ｉ番目の特徴マップに対して融合処理を行うための融合サブネットワークと、
前記融合サブネットワークから出力された融合後の特徴を復号化するための復号化サブネットワークとを含み、
ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎである、
請求項１に記載の方法。

【請求項8】

画像融合モデルのトレーニング方法であって、前記画像融合モデルは符号化ネットワーク及び復号化ネットワークを含み、前記復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む画像融合モデルのトレーニング方法において、
画像ペアのうち、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を前記符号化ネットワークに入力して、特徴マップを得ることと、
前記特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得ること、前記重み付け後の特徴マップの特徴統計データに基づいて、前記融合サブネットワークを採用して前記特徴マップに対して融合処理を行って、融合後の特徴を得ること、及び前記融合後の特徴を前記復号化サブネットワークに入力して、予測融合画像を得ることによって、前記特徴マップを復号化して、予測融合画像を得ることと、
前記予測融合画像と前記画像ペアのうちの真実の融合画像との間の相違に基づいて、前記画像融合モデルをトレーニングすることとを含む、
画像融合モデルのトレーニング方法。

【請求項9】

前記融合サブネットワークは正規化層及び逆正規化層を含み、
前記融合サブネットワークを採用して前記特徴マップに対して融合処理を行って、融合後の特徴を得ることは、
前記前景画像のマスク画像及び前記特徴マップを前記正規化層に入力することで、前記正規化層が前記前景画像に対するマスク画像に基づいて前記特徴マップに対して特徴点ごとの正規化処理を行って正規化特徴マップを得るようにすることと、
前記正規化特徴マップ及び前記重み付け後の特徴マップを前記逆正規化層に入力することで、前記逆正規化層が前記重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて前記正規化特徴マップに対して逆正規化処理を行って前記融合後の特徴を得るようにすることとを含む、
請求項８に記載の方法。

【請求項10】

前記符号化ネットワークはカスケード接続されたＮ段の符号化ネットワークを含み、かつ前記復号化ネットワークはカスケード接続されたＮ段の復号化ネットワークを含み、Ｎ段の復号化ネットワークのうちの毎段の復号化ネットワークはいずれも前記重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含み、
前記画像ペアのうち、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を前記符号化ネットワークに入力して、特徴マップを得ることは、
前記スティッチ画像を前記Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークに入力して、第ｉ番目の特徴マップを得ることを含み、
前記特徴マップを復号化して、予測融合画像を得ることは、
前記第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、前記Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた予測融合画像を得ることをさらに含み、
ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎであり、前記第（Ｎ－ｉ＋１）段の復号化ネットワークは前記重み付けサブネットワーク、前記融合サブネットワーク及び前記復号化サブネットワークを含む、
請求項８に記載の方法。

【請求項11】

所定の画像から目標領域の画像を切り出して、元の前景画像を得ることと、
前記元の前景画像に対して色ヒストグラム変換を行って、変換後の前景画像を得ることと、
前記変換後の前景画像を用いて前記所定の画像における前記目標領域の画像を置換して、スティッチ画像を得ることと、
前記所定の画像を真実の融合画像として、前記真実の融合画像及び前記スティッチ画像を含む前記画像ペアを構成することとをさらに含む、
請求項８に記載の方法。

【請求項12】

前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得るための第１の符号化モジュールと、
アテンションメカニズムを採用して前記特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得るための第１の重み付けサブモジュール、前記重み付け後の特徴マップの特徴統計データに基づいて、前記特徴マップに対して融合処理を行って、融合後の特徴を得るための第１の融合サブモジュール、及び前記融合後の特徴を復号化して、融合画像を取得するための第１の復号化サブモジュールを含み、前記特徴マップを復号化して、融合画像を得るための第１の復号化モジュールとを含む、
画像融合装置。

【請求項13】

前記第１の重み付けサブモジュールは、
前記特徴マップに対して特徴点ごとのプーリング操作を行って、プーリング後の特徴を得るためのプーリング手段と、
前記プーリング後の特徴に対して畳み込み演算を行って、前記特徴マップに対する重みマップを取得するための畳み込み手段と、
前記重みマップを採用して前記特徴マップに対して重み付け処理を行って、前記重み付け後の特徴マップを得るための重み付け手段とを含む、
請求項１２に記載の装置。

【請求項14】

前記プーリング手段は、
前記特徴マップに対して特徴点ごとの最大プーリング操作を行って、第１のプーリング特徴を得るための第１のプーリングサブ手段と、
前記特徴マップに対して特徴点ごとの平均プーリング操作を行って、第２のプーリング特徴を得るための第２のプーリングサブ手段と、
前記第１のプーリング特徴及び前記第２のプーリング特徴に基づいて、前記プーリング後の特徴を得るための特徴取得サブ手段とを含む、
請求項１３に記載の装置。

【請求項15】

前記畳み込み手段は、
畳み込みカーネルが所定のサイズよりも大きい畳み込みニューラルネットワークを採用して前記プーリング後の特徴に対して畳み込み演算を行って、前記特徴マップに対する重みマップを取得するために用いられる、
請求項１３に記載の装置。

【請求項16】

前記第１の融合サブモジュールは、
前記前景画像に対するマスク画像に基づいて、前記特徴マップに対して特徴点ごとの正規化処理を行って、正規化特徴マップを得るための第１の正規化手段と、
前記重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて、前記正規化特徴マップに対して逆正規化処理を行って、前記融合後の特徴を得るための第１の逆正規化手段とを含む、
請求項１２に記載の装置。

【請求項17】

前記第１の復号化サブモジュールは、
前記特徴マップと前記融合後の特徴とをスティッチングした後の特徴を復号化して、前記融合画像を得るために用いられる、
請求項１２に記載の装置。

【請求項18】

前記第１の符号化モジュールは、
前記スティッチ画像をカスケード接続されたＮ段の符号化ネットワークのうちの第１段の符号化ネットワークに入力して、前記Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークにより出力された第ｉ番目の特徴マップを得るために用いられ、
前記第１の復号化モジュールは、
前記第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、前記Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた融合画像を得るために用いられ、
ただし、前記第（Ｎ－ｉ＋１）段の復号化ネットワークは、
前記アテンションメカニズムを採用して前記第ｉ番目の特徴マップに対して重み付け処理を行うための重み付けサブネットワークと、
前記第ｉ番目の特徴マップに対して融合処理を行うための融合サブネットワークと、
前記融合サブネットワークから出力された融合後の特徴を復号化するための復号化サブネットワークとを含み、
ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎである、
請求項１２に記載の装置。

【請求項19】

画像融合モデルのトレーニング装置であって、前記画像融合モデルは符号化ネットワーク及び復号化ネットワークを含み、前記復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む画像融合モデルのトレーニング装置において、
画像ペアのうち、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を前記符号化ネットワークに入力して、特徴マップを得るための第２の符号化モジュールと、
前記特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得るための第２の重み付けサブモジュールと、前記重み付け後の特徴マップの特徴統計データに基づいて、前記融合サブネットワークを採用して前記特徴マップに対して融合処理を行って、融合後の特徴を得るための第２の融合サブモジュールと、
前記融合後の特徴を前記復号化サブネットワークに入力して、予測融合画像を得るための第２の復号化サブモジュールとを含み、前記特徴マップを復号化して、予測融合画像を得るための第２の復号化モジュールと、
前記予測融合画像と前記画像ペアのうちの真実の融合画像との相違に基づいて、前記画像融合モデルに対してトレーニングするためのモデルトレーニングモジュールとを含む、
画像融合モデルのトレーニング装置。

【請求項20】

前記融合サブネットワークは正規化層及び逆正規化層を含み、
前記第２の融合サブモジュールは、
前記前景画像のマスク画像及び前記特徴マップを前記正規化層に入力することで、前記正規化層が前記前景画像に対するマスク画像に基づいて前記特徴マップに対して特徴点ごとの正規化処理を行って正規化特徴マップを得るようにするための第２の正規化手段と、
前記正規化特徴マップ及び前記重み付け後の特徴マップを前記逆正規化層に入力することで、前記逆正規化層が前記重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて前記正規化特徴マップに対して逆正規化処理を行って前記融合後の特徴を得るようにするための第２の逆正規化手段とを含む、
請求項１９に記載の装置。

【請求項21】

前記符号化ネットワークはカスケード接続されたＮ段の符号化ネットワークを含み、かつ前記復号化ネットワークはカスケード接続されたＮ段の復号化ネットワークを含み、Ｎ段の復号化ネットワークのうちの毎段の復号化ネットワークはいずれも前記重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含み、
前記第２の符号化モジュールは、
前記スティッチ画像を前記Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークに入力して、第ｉ番目の特徴マップを得るために用いられ、
前記第２の復号化モジュールは、
前記第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、前記Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた予測融合画像を得るために用いられ、
ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎであり、前記第（Ｎ－ｉ＋１）段の復号化ネットワークは前記重み付けサブネットワーク、前記融合サブネットワーク及び前記復号化サブネットワークを含む、
請求項１９に記載の装置。

【請求項22】

所定の画像から目標領域の画像を切り出して、元の前景画像を得るための切り出しモジュールと、
前記元の前景画像に対して色ヒストグラム変換を行って、変換後の前景画像を得るための変換モジュールと、
前記変換後の前景画像を用いて前記所定の画像における前記目標領域の画像を置換して、スティッチ画像を得るためのスティッチングモジュールと、
前記所定の画像を真実の融合画像として、前記真実の融合画像及び前記スティッチ画像を含む前記画像ペアを構成するための画像ペア構成モジュールとをさらに含む、
請求項１９に記載の装置。

【請求項23】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを含み、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１～１１のいずれか一項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。

【請求項24】

コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～１１のいずれか一項に記載の方法を実行させるために用いられる、
記憶媒体。

【請求項25】

プロセッサにより実行される場合に、請求項１～１１のいずれか一項に記載の方法を実現するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能の分野に関し、具体的に、コンピュータ視覚及びディープラーニングの技術分野に関し、より具体的に、画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラムに関する。

【背景技術】

【0002】

電子技術の発展に伴い、画像を融合する技術はより広く応用されている。例えば、ビデオ製作シーン又はビデオ通話シーンにおいて、ユーザの体験を向上させるために、ユーザ画像と所定の背景画像とを融合する必要があるニーズがよくある。画像融合により、ユーザ画像と背景画像とがより似合うようにして、ユーザに臨場感を与えることが期待される。

【発明の概要】

【0003】

融合効果を向上する画像融合方法及び装置、画像融合モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラムを提供している。

【0004】

本開示の１つの局面によれば、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得ることと、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得ること、重み付け後の特徴マップの特徴統計データに基づいて、特徴マップに対して融合処理を行って、融合後の特徴を得ること、及び融合後の特徴を復号化して、融合画像を取得することによって、特徴マップを復号化して、融合画像を得ることとを含む、画像融合方法を提供している。

【0005】

本開示の別の局面によれば、画像融合モデルのトレーニング方法であって、画像融合モデルは符号化ネットワーク及び復号化ネットワークを含み、復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む画像融合モデルのトレーニング方法において、画像ペアのうち、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化ネットワークに入力して、特徴マップを得ることと、特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得ること、重み付け後の特徴マップの特徴統計データに基づいて、融合サブネットワークを採用して特徴マップに対して融合処理を行って、融合後の特徴を得ること、及び融合後の特徴を復号化サブネットワークに入力して、予測融合画像を得ることによって、特徴マップを復号化して、予測融合画像を得ることと、予測融合画像と画像ペアのうちの真実の融合画像との間の相違に基づいて、画像融合モデルをトレーニングすることとを含む、画像融合モデルのトレーニング方法を提供している。

【0006】

本開示の別の局面によれば、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得るための第１の符号化モジュールと、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得るための第１の重み付けサブモジュール、重み付け後の特徴マップの特徴統計データに基づいて、特徴マップに対して融合処理を行って、融合後の特徴を得るための第１の融合サブモジュール、及び融合後の特徴を復号化して、融合画像を取得するための第１の復号化サブモジュールを含み、特徴マップを復号化して、融合画像を得るための第１の復号化モジュールとを含む、画像融合装置を提供している。

【0007】

本開示の別の局面によれば、画像融合モデルのトレーニング装置であって、画像融合モデルは符号化ネットワーク及び復号化ネットワークを含み、復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む画像融合モデルのトレーニング装置において、画像ペアのうち、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化ネットワークに入力して、特徴マップを得るための第２の符号化モジュールと、特徴マップを復号化して、予測融合画像を得るための第２の復号化モジュールと、予測融合画像と画像ペアのうちの真実の融合画像との相違に基づいて、画像融合モデルに対してトレーニングするためのモデルトレーニングモジュールとを含み、第２の復号化モジュールは、特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得るための第２の重み付けサブモジュールと、重み付け後の特徴マップの特徴統計データに基づいて、融合サブネットワークを採用して特徴マップに対して融合処理を行って、融合後の特徴を得るための第２の融合サブモジュールと、融合後の特徴を復号化サブネットワークに入力して、予測融合画像を得るための第２の復号化サブモジュールとを含む、画像融合モデルのトレーニング装置を提供している。

【0008】

本開示の別の局面によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリとを含む電子機器であって、メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサが本開示の提供する画像融合方法及び／又は画像融合モデルのトレーニング方法を実行することができるように、少なくとも１つのプロセッサにより実行される、電子機器を提供している。

【0009】

本開示の別の局面によれば、コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、コンピュータ命令は、コンピュータに本開示の提供する画像融合方法及び／又は画像融合モデルのトレーニング方法を実行させるために用いられる、記憶媒体を提供している。

【0010】

本開示の別の局面によれば、プロセッサにより実行される場合に、本開示の提供する画像融合方法及び／又は画像融合モデルのトレーニング方法を実現するコンピュータプログラムを提供している。

【0011】

理解されるべきこととして、本部分に記載されたコンテンツは、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。

【図面の簡単な説明】

【0012】

ここで、図面は、本技術案をよりよく理解するために用いられ、本開示を限定するものではない。

【0013】

【図1】本開示の実施例による画像融合方法及び画像融合モデルのトレーニング方法、装置の適用シーンの模式図である。

【図2】本開示の実施例による画像融合方法のフローチャートの模式図である。

【図3】本開示の実施例によるアテンションメカニズムを採用して特徴マップに対して重み付け処理を行う原理の模式図である。

【図4】本開示の実施例による特徴マップを融合する原理の模式図である。

【図5】本開示の実施例による画像融合方法の原理の模式図である。

【図6】本開示の実施例による画像融合モデルのトレーニング方法のフローチャートの模式図である。

【図7】本開示の実施例によるサンプルデータとする画像ペアを得る原理の模式図である。

【図8】本開示の実施例による画像融合装置の構成ブロック図である。

【図9】本開示の実施例による画像融合モデルのトレーニング装置の構成ブロック図である。

【図10】本開示の実施例の画像融合方法及び／又は画像融合モデルのトレーニング方法を実施するための電子機器の構成ブロック図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。

【0015】

本開示は画像融合方法を提供しており、該方法は符号化段階及び復号化段階を含む。符号化段階において、前景画像と背景画像とをスティッチングすることによって得られたスティッチ画像を符号化して、特徴マップを得る。復号化段階において、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って重み付け後の特徴マップを得ることと、重み付け後の特徴マップの特徴統計データに基づいて特徴マップに対して融合処理を行って融合後の特徴を得ることと、融合後の特徴を復号化して融合画像を取得することによって、特徴マップを復号化して、融合画像を得る。

【0016】

以下に、図１を参照して、本開示の提供する方法及び装置の適用シーンを説明する。

【0017】

図１は、本開示の実施例による画像融合方法及び画像融合モデルのトレーニング方法、装置の適用シーン図である。

【0018】

図１に示すように、該実施例の適用シーン１００は電子機器１１０を含んでよく、該電子機器１１０は処理機能を有する任意の電子機器であってよく、スマートフォン、タブレットコンピュータ、ラップトップ型携帯コンピュータ、デスクトップコンピュータ及びサーバ等を含むがそれらに限定されない。

【0019】

該電子機器１１０は、例えば入力される画像１２０及び画像１３０を処理することにより、画像１３０のうちの前景画像を、背景とする画像１２０と融合して、融合後の画像１４０を得てよい。例えば、該電子機器１１０は、まず、画像１３０から前景画像を切り出し、前景画像を画像１２０にスティッチングして、スティッチ画像を得てよい。その後、融合方法を採用してスティッチ画像を処理することにより、前景画像と画像１２０との間の色調の相違を弱めることで、融合画像１４０を得てよい。

【0020】

例えば、電子機器１１０は、画像融合モデルを採用してスティッチ画像を処理してよく、具体的に、スティッチ画像を画像融合モデルに入力し、画像融合モデルにより融合画像１４０を出力することで、画像に対するエンドツーエンド融合を実現してよい。

【0021】

本開示の実施例によれば、図１に示すように、該適用シーン１００はサーバ１５０をさらに含んでもよい。電子機器１１０は、ネットワークを介してサーバ１５０と通信接続されてよく、該ネットワークは無線又は有線通信リンクを含んでよい。

【0022】

例示的には、サーバ１５０は、画像融合モデルをトレーニングするために用いられ、電子機器１１０から送信されたモデル取得要求に応答して、トレーニングされた画像融合モデル１６０を電子機器１１０に送信することで、電子機器１１０によりスティッチ画像のうちの前景画像及び背景画像を融合しやすくしてよい。一実施例において、電子機器１１０は、さらにネットワークを介してスティッチ画像をサーバ１５０に送信し、サーバによりトレーニングされた画像融合モデルに基づいて取得されたティッチ画像を処理してもよい。

【0023】

本開示の実施例によれば、図１に示すように、該適用シーン１００はデータベース１７０をさらに含んでもよく、該データベース１７０には大量の画像ペアが維持されてもよく、画像ペアがスティッチ画像及び融合画像からなる。サーバ１５０は該データベース１７０にアクセスし、データベース１７０から一部の画像ペアを抽出することにより、画像融合モデルをトレーニングしてよい。

【0024】

なお、本開示が提供する画像融合方法は、電子機器１１０又はサーバ１５０により実行されてよい。それに応じて、本開示が提供する画像融合装置は、電子機器１１０又はサーバ１５０に設けられてよい。本開示が提供する画像融合モデルのトレーニング方法は、サーバ１５０又はサーバ１５０と通信接続された他のサーバにより実行されてよい。それに応じて、本開示が提供する画像融合モデルのトレーニング装置は、サーバ１５０に設けられてもよく、または、サーバ１５０と通信接続された他のサーバに設けられてもよい。

【0025】

図１における電子機器、サーバ及びデータベースの数及びタイプは、単に模式的なものであると理解されるべきである。実現のニーズに応じて、任意の数及びタイプの端末機器、サーバ及びデータベースを有してよい。

【0026】

以下、図２～図５により、本開示が提供する画像融合方法を詳細に説明する。

【0027】

図２は、本開示の実施例による画像融合方法のフローチャートの模式図である。

【0028】

図２に示すように、該実施例の画像融合方法２００は操作Ｓ２１０～操作Ｓ２４０を含んでよい。

【0029】

操作Ｓ２１０において、前景画像と背景画像とをスティッチングすることにより得られたスティッチ画像を符号化して、特徴マップを得る。

【0030】

本開示の実施例によれば、前景画像は例えばリアルタイムに収集された画面から切り出された目標対象の画像であってよい。例えば、ビデオ製作シーン又はビデオ通話シーンにおいて、前景画像はユーザのアバターであってよい。背景画像は背景とする任意の１枚の画像であってよく、例えば、該背景画像は夕日画像、ビーチ画像などであってよい。前景画像をレイヤーの形態で背景画像の目標領域に被覆することにより、スティッチ画像を得ることができる。

【0031】

本開示の実施例によれば、畳み込みネットワークを採用してスティッチ画像を符号化してよい。例えば、スティッチ画像を畳み込みネットワークに入力し、畳み込みネットワークによって処理された後に特徴マップを出力してよい。理解できるように、任意の画像特徴抽出ネットワークを採用してスティッチ画像を符号化してもよいが、本開示はこれを限定しない。

【0032】

特徴マップを得た後、操作Ｓ２２０～操作Ｓ２４０を採用して特徴マップを復号化して、融合画像を得てよい。

【0033】

操作Ｓ２２０において、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得る。

【0034】

操作Ｓ２３０において、重み付け後の特徴マップの特徴統計データに基づいて、特徴マップに対して融合処理を行って、融合後の特徴を得る。

【0035】

本開示の実施例によれば、所定の重みを採用して、特徴マップにおける各特徴点の特徴に対して重み付けを行うことにより、重み付け後の特徴マップを得てよい。例えば、スティッチ画像のうち前景画像が位置する領域において、エッジ領域の重みが比較的に大きく、中間領域の重みが比較的に小さいように設定してもよい。このように、重み付け後の特徴マップの特徴統計データに基づいて特徴マップに対して融合処理を行うときに、前景画像が位置する領域において、背景画像と前景画像との間の境界線に遠くから近づく方向に、特徴点の特徴が徐々に背景画像の特徴により近づくようにしてよい。これにより、前景画像と背景画像との間の色調の相違を弱めることができる。

【0036】

本開示の実施例によれば、アテンションニューラルネットワークを設置して、トレーニングの方式により特徴マップにおける各特徴点の重みを学習して、該学習された重みに基づいて特徴マップに対して重み付け処理を行ってよい。

【0037】

本開示の実施例によれば、重み付け後の特徴マップの特徴統計データは例えば特徴平均値及び／又は特徴分散等のデータを含んでよい。操作Ｓ２３０は、該特徴統計データを採用して特徴マップにおける各特徴点の特徴を調整することにより、特徴マップに対する融合処理を実現してよい。ただし、特徴平均値は例えばあるチャネルにおいて各特徴点の特徴値の平均値であってよい。

【0038】

例えば、特徴マップにおける各特徴点の特徴と特徴マップにおける特徴の平均値との間の差分値と、重み付け後の特徴マップにおける各特徴点の特徴と重み付け後の特徴マップの特徴平均値との間の差分値とが等しくなるように、特徴マップにおける各特徴点の特徴を調整してよい。理解できるように、この特徴マップを調整する方法は単に例示として本開示を理解することに役立つが、本開示はこれを限定しない。

【0039】

例えば、特徴平均値は重み付け後の特徴マップにおける特徴点毎に含まれた複数のチャネルの特徴値の平均値であってもよい。このように、統計データは重み付け後の特徴マップにおける各特徴点の特徴をよりよく反映することができるようにして、特徴マップに対して特徴点ごとの特徴変調を行うことに役立つ。これにより、融合後の特徴は各特徴点の特徴をよりよく保留することができるようにする。

【0040】

操作Ｓ２４０において、融合後の特徴を復号化して、融合画像を取得する。

【0041】

本開示の実施例によれば、逆畳み込み（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）ネットワークを採用してスティッチ画像を符号化してもよい。例えば、融合後の特徴を逆畳み込みネットワークに入力し、逆畳み込みネットワークによって処理された後に融合画像を出力してよい。理解できるように、任意の画像復号化ネットワークを採用して融合後の特徴を符号化してもよいが、本開示はこれを限定しない。

【0042】

本開示の実施例は、画像を復号化する前に、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップの特徴統計データに基づいて特徴マップを融合することにより、前景画像の異なる領域が、異なる程度に背景画像と融合することができるので、得られる融合画像の真実性を向上させることに役立つ。該画像融合方法は例えば画像特別効果の生成シーン又はビデオ撮影、ビデオ通話等のシーンに適用することができ、画像処理の興味性及び実用性を向上させ、ユーザの粘性を向上させることに役立つ。

【0043】

図３は、本開示の実施例によるアテンションメカニズムを採用して特徴マップに対して重み付け処理を行う原理の模式図である。

【0044】

本開示の実施例によれば、例えば空間的アテンションメカニズムを採用して特徴マップに対して重み付け処理を行ってよい。このように、アテンションメカニズムを特徴マップのうち重点的に調整する必要がある有効情報に集中させることができ、それにより重み付け後の特徴マップに調整ニーズをよりよく体現させ、融合画像のうち背景画像の真実性を向上させることができる。

【0045】

例示的に、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行うときに、まず、特徴マップに対して特徴点ごとのプーリング操作を行って、プーリング後の特徴を得てよい。その後、プーリング後の特徴に対して畳み込み演算を行って、特徴マップに対する重みマップを取得する。最後に、該重みマップを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得る。

【0046】

一実施例において、プーリング操作は平均プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＡｖｅＰｏｏｌ）方法を採用して実現することにより、統計された平均情報を得てよい。具体的に、特徴マップにおける特徴点毎のＣ個のチャネルの特徴に対して平均を求めて、該平均値で該特徴点毎の特徴を示してよい。

【0047】

一実施例において、プーリング操作は最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ，ＭａｘＰｏｏｌ）方法を採用して実現することにより、特徴マップにおける顕著な特徴を得てよい。具体的に、特徴マップにおける特徴点毎のＣ個のチャネルの特徴のうちの最大特徴を採用して、該特徴点毎の特徴を示してよい。

【0048】

一実施例において、最大プーリング方法及び平均プーリング方法を組み合わせてプーリング操作を実現してよい。具体的には、まず、特徴マップに対して特徴点ごとの最大プーリング操作を行って、第１のプーリング特徴を得てよい。同時に、特徴マップに対して特徴点ごとの平均プーリング操作を行って、第２のプーリング特徴を得る。最後に、第１のプーリング特徴及び第２のプーリング特徴に基づいて、プーリング後の特徴を得る。例えば、第１のプーリング特徴及び第２のプーリング特徴の重み付け和をプーリング特徴としてよい。重み付け和を計算するときの重みは実際の需要に応じて設定してもよいが、本開示はこれを限定しない。例えば、第１のプーリング特徴及び第２のプーリング特徴を直接的に加算して、プーリング後の特徴を得てもよい。該方式により、プーリング後の特徴は、ある程度で統計された平均情報を体現することができるだけでなく、ある程度で特徴マップにおける顕著な情報を体現することもできる。したがって、プーリング後の特徴の表現能力を向上させることができ、得られる重みマップの精度を向上させることに役立つ。

【0049】

一実施例において、プーリング後の特徴に対して行われる畳み込み演算は、畳み込みカーネルが所定のサイズよりも大きい畳み込みニューラルネットワークを採用して実行してよい。ただし、所定のサイズは実際の需要に応じて設定してよい。例えば、畳み込みニューラルネットワークの畳み込みカーネルのサイズは７＊７又はそれよりも大きいサイズであってよく、これにより畳み込み演算後の特徴により大きい受容野を有させ、より多くの情報を表現することができる。しかし、比較的に高い計算効率を保証するように、該畳み込みカーネルのサイズが大きすぎることも好ましくない。該畳み込みニューラルネットワークにおける畳み込み層の個数、各畳み込み層における畳み込みカーネルの大きさは実際の需要に応じて設定してもよいが、本開示はこれを限定しない。

【0050】

図３に示すように、実施例３００において、特徴マップ３０１のサイズをＬ＊Ｈ＊Ｃに設定しており、ただし、Ｌは特徴マップ３０１の長さであり、Ｈは特徴マップ３０１の高さであり、Ｃは特徴マップ３０１のチャネル数である。該特徴マップ３０１は最大プーリング層ＭａｘＰｏｏｌ ３１０によって処理された後、第１のプーリング特徴を得ることができる。該第１のプーリング特徴のサイズはＬ＊Ｈである。該特徴マップ３０１は平均プーリング層ＡｖｅＰｏｏｌ ３２０によって処理された後、第２のプーリング特徴を得ることができる。該第２のプーリング特徴のサイズは同様にＬ＊Ｈである。該第１のプーリング特徴及び第２のプーリング特徴は融合層３３０によって加算されて、プーリング後の特徴３０２を得ることができる。該プーリング後の特徴３０２のサイズは同様にＬ＊Ｈである。

【0051】

プーリング後の特徴３０２は畳み込みニューラルネットワークＣｏｎｖ ３４０によって畳み込み演算が行われ、畳み込みニューラルネットワークＣｏｎｖ ３４０から出力された特徴はＳｉｇｍｏｉｄ層３５０によって正規化されて、特徴マップに対する重みマップを得ることができる。該重みマップ及び特徴マップ３０１は融合層３６０によって点乗積されて、重み付け後の特徴マップ３０３を得ることができる。例えば、重みマップと特徴マップ３０１とのチャネル毎のサイズがＬ＊Ｈである特徴を点乗積してよく、サイズがＬ＊Ｈ＊Ｃである重み付け後の特徴マップ３０３を得ることができる。

【0052】

例えば、畳み込みニューラルネットワークＣｏｎｖ ３４０は例えば２つの畳み込み層を含んでよく、各畳み込み層における畳み込みカーネルのサイズが７＊７である。理解できるように、該畳み込みニューラルネットワークの構成は単に例示として本開示を理解することに役立つが、本開示はこれを限定しない。

【0053】

上記実施例の特徴マップに対して重み付け処理を行う原理により、アテンションメカニズムに特徴マップにおけるどれらの領域の重要性がより高いかを学習させることができ、これは特徴マップを融合する精度の向上や、融合画像の真実性及びユーザ体験の向上に役立つ。

【0054】

図４は、本開示の実施例による特徴マップを融合する原理の模式図である。

【0055】

本開示の実施例によれば、画像を融合するときに、例えば前景画像のマスク画像をさらに参照することにより、特徴マップの融合にガイド情報を提供してもよく、これは特徴マップの融合プロセスにおいて色調を調整する必要がある領域に対して特徴調整を行うことに役立つ。これにより、ある程度で融合精度及び融合効率を向上させることができる。

【0056】

本開示の実施例によれば、背景画像の色を前景画像に融け込むことにより、スティッチ画像のうち前景画像及び背景画像に対する融合を実現することができる。背景画像の色を前景画像に融け込むときに、まず、前景画像に対して正規化処理を行うことにより、如何なる色情報も含まれない白化特徴を得てよい。その後、背景領域における特徴統計データを採用して白化特徴に対して復元操作を行う。

【0057】

例えば、マスク画像を考慮する場合、図４に示すように、該実施例４００は前景画像に対するマスク画像４０１に基づいて、特徴マップ４０２に対して特徴点ごとの正規化処理を行って、正規化特徴マップ４０３を得てよい。同時に、重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて、正規化特徴マップ４０３に対して逆正規化処理を行って、融合後の特徴４０６を得る。

【0058】

ただし、特徴マップに対して正規化処理を行うときに、まず、マスク画像４０１に基づいて、特徴マップ４０２における特徴を調整する必要がある領域を特定してよく、該領域は例えばサイズがＬ＊Ｈ＊Ｃである特徴マップ４０２における充填領域を含んでよい。正規化処理の手順は、例えば、まずマスク画像をＬ＊Ｈサイズにマッピングしてから、該マッピング後のマスク画像と特徴マップ４０２におけるチャネル毎のサイズがＬ＊Ｈである特徴とを点乗積することにより、調整する必要がある領域内の特徴のみが非ゼロ値である特徴を得てよい。その後、該点乗積により得られた特徴のうち特徴点毎のＣ個の特徴の平均値及び分散を計算し、該Ｃ個の特徴の値からそれぞれ平均値を減算した後に分散で割り、特徴点毎の正規化後のＣ個の特徴を得て、該特徴点毎の特徴に対する正規化処理を完了する。特徴マップにおけるすべての特徴点に対して正規化処理を行った後、サイズがＬ＊Ｈ＊Ｃである正規化特徴マップを得ることができる。

【0059】

類似的に、図４に示すように、重み付け後の特徴マップ４０４のサイズは同様にＬ＊Ｈ＊Ｃであり、該重み付け後の特徴マップ４０４における各特徴点に対して前述の正規化処理を行うことにより、重み付け後の特徴マップ４０４における特徴点毎のＣ個の特徴の平均値及び分散４０５を得ることができる。そうすると、Ｌ＊Ｈ個の特徴点の平均値及び分散は、サイズがＬ＊Ｈである平均値マップ及びサイズがＬ＊Ｈである分散マップを構成することができる。該実施例４００は該平均値マップ及び分散マップを特徴統計データとしてよい。その後、正規化特徴マップ４０３におけるチャネル毎のサイズがＬ＊Ｈである特徴と平均値マップとを点乗積し、点乗積により得られた特徴マップにおけるチャネル毎の特徴と平均値マップとを加算して、融合後の特徴４０６を得ることにより、正規化特徴マップ４０３に対する逆正規化処理を完了してよい。上記方式により得られた特徴統計データは、特徴点毎の特徴を保留することができ、これは特徴マップに対して局部融合操作を行うことに役立つ。

【0060】

理解できるように、上述した特徴マップを融合する原理は単に例示として本開示を理解することに役立ち、実際の需要に応じて、任意の原理を採用して特徴マップに対する融合を実現してもよいが、本開示はこれを限定しない。

【0061】

図５は、本開示の実施例による画像融合方法の原理の模式図である。

【0062】

本開示の実施例によれば、融合後の特徴を復号化するときに、元の特徴マップを考慮してもよい。このように、復号化により得られた融合画像にスティッチ画像における詳細をできるだけ保留させることができ、これは融合画像の解像度及び真実性を向上させることに役立つ。

【0063】

例えば、復号化時に、まず特徴マップと融合後の特徴とをスティッチングしてから、該スティッチング後の特徴を復号化して、融合画像を得てよい。

【0064】

本開示の実施例によれば、スティッチ画像を符号化するときに、例えばカスケード接続されたＮ段の符号化ネットワークを採用して、スティッチ画像の特徴に対して段ごとにダウンサンプリングを行うことにより、スティッチ画像から異なる受容野の特徴マップを順次抽出してよい。

【0065】

例えば、図５に示すように、該実施例５００において、カスケード接続されたＮ段の符号化ネットワークは符号化ネットワーク５１１～符号化ネットワーク５１６を含んでよく、スティッチ画像５０１を該カスケード接続されたＮ段の符号化ネットワークのうちの第１段の符号化ネットワーク５１１に入力すると、Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークを介して第ｉ番目の特徴マップを出力することができ、これにより合計でＮ個の特徴マップを抽出している。

【0066】

対応的に、特徴マップを復号化するときにも、カスケード接続されたＮ段の復号化ネットワークを採用すべきである。図５に示すように、該実施例５００において、カスケード接続されたＮ段の復号化ネットワークは復号化ネットワーク５２１～復号化ネットワーク５２６を含んでよい。該実施例は、第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力し、Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワーク５２６から出力された特徴に基づいて融合画像５０３を得てよい。

【0067】

本開示の実施例によれば、図５に示すように、毎段の復号化ネットワークには、いずれも特徴マップに対して重み付け及び融合を行うネットワーク（例えば、図５における各復号化ネットワークの充填部分）が含まれているべきである。例えば、第（Ｎ－ｉ＋１）段の復号化ネットワークを例として、Ｎ段の復号化ネットワークのうちの毎段の復号化ネットワークには、重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークが含まれてよい。ただし、重み付けサブネットワークは、アテンションメカニズムを採用して第ｉ段の符号化ネットワークから出力された第ｉ番目の特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得るために用いられる。融合サブネットワークは、重み付けサブネットワークから出力された重み付け後の特徴マップの特徴統計データに基づいて、第ｉ番目の特徴マップに対して融合処理を行って、融合後の特徴を得るために用いられる。復号化サブネットワークは、融合サブネットワークから出力された融合後の特徴を復号化するために用いられ、復号化により得られたデータ及び第（ｉ＋１）番目の特徴マップが同時に第（Ｎ－ｉ）段の復号化ネットワークに入力されてよい。このように類推すれば、第Ｎ段の復号化ネットワークから出力された特徴を１＊１ｃｏｎｖ処理してから、融合画像を得ることができる。ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、……、Ｎ。

【0068】

本開示の実施例によれば、図５に示すように、該実施例は、融合後の特徴を復号化するときに、前景画像のマスク画像５０２をさらに参照した。具体的に、毎段の復号化ネットワークにおける融合サブネットワークは特徴に対して融合処理を行うときに、特徴マップとマスク画像５０２とを点乗積し、点乗積により得られた特徴に対して正規化処理を行ってよい。説明すべきこととして、特徴の間の点乗算又は加算等の演算を容易にするために、該毎段の復号化ネットワークには、点乗積又は加算演算を行う２つの特徴が同じ高さ及び幅を有するように、特徴に対して次元削減又は次元拡張を行うための畳み込み層又はプーリング層がさらに含まれてもよい。

【0069】

一実施例において、カスケード接続されたＮ段の符号化ネットワーク及びカスケード接続されたＮ段の復号化ネットワークは、Ｕ－Ｎｅｔと類似するネットワークアーキテクチャを構成することができ、関連技術におけるＵ－Ｎｅｔと比べると、該実施例のネットワークアーキテクチャは、毎段の復号化ネットワークには重み付けサブネットワーク及び融合サブネットワークが含まれており、かつ毎段の復号化ネットワークの入力にはマスク画像がさらに含まれているという点で異なる。

【0070】

該実施例の画像融合方法により、画像融合のエンドツーエンド処理を実現することができ、同時に、比較的に少ないデータを採用するだけで、ネットワークのトレーニングを完成することができる。したがって、融合効果を保証した上で融合コストを低減することができる。それとともに、ユーザの体験及びユーザの粘性を向上させることができ、様々な画像融合シーンに適用することができる。

【0071】

本開示が提供する画像融合方法に基づいて、本開示は画像融合モデルのトレーニング方法をさらに提供している。以下、図６を参照して、該トレーニング方法を詳細に説明する。

【0072】

図６は、本開示の実施例による画像融合モデルのトレーニング方法のフローチャートの模式図である。

【0073】

図６に示すように、該実施例の画像融合モデルのトレーニング方法６００は操作Ｓ６１０～操作Ｓ６５０を含んでよい。ただし、画像融合モデルには符号化ネットワーク及び復号化ネットワークが含まれており、かつ復号化ネットワークには重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークが含まれている。

【0074】

操作Ｓ６１０において、画像ペアのうち、前景画像と背景画像とをスティッチングすることにより得られたスティッチ画像を符号化ネットワークに入力して、特徴マップを得る。

【0075】

本開示の実施例によれば、画像ペアにはスティッチ画像及び真実の融合画像が含まれている。例えば、スティッチ画像は真実の融合画像における目標対象の画像に対して色域変換を行うことで得られてよい。該操作Ｓ６１０において、符号化ネットワークは前述の操作Ｓ２１０における方法と類似する方法を採用して特徴マップを得てよいが、ここでは説明を繰り返さない。

【0076】

操作Ｓ６２０において、特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得る。例えば、該操作Ｓ６２０において、重み付けサブネットワークは前述の操作Ｓ２２０における方法と類似する方法を採用して重み付け後の特徴マップを得てよいが、ここでは説明を繰り返さない。

【0077】

操作Ｓ６３０において、重み付け後の特徴マップの特徴統計データに基づいて、融合サブネットワークを採用して特徴マップに対して融合処理を行って、融合後の特徴を得る。例えば、該操作Ｓ６３０において、融合サブネットワークは前述の操作Ｓ２３０における方法と類似する方法を採用して融合後の特徴を得てよいが、ここでは説明を繰り返さない。

【0078】

操作Ｓ６４０において、融合後の特徴を復号化サブネットワークに入力して、予測融合画像を得る。例えば、該操作Ｓ６４０において、復号化サブネットワークは前述の操作Ｓ２４０における方法と類似する方法を採用して融合画像を得てよいが、ここでは説明を繰り返さない。

【0079】

該操作Ｓ６２０～操作Ｓ６４０が順次に実行されることにより、特徴マップに対する復号化を実現して、融合画像を得る。

【0080】

操作Ｓ６５０において、予測融合画像と画像ペアのうちの真実の融合画像との間の相違に基づいて、画像融合モデルをトレーニングする。

【0081】

本開示の実施例によれば、予測融合画像と真実の融合画像との間の相違に基づいて、所定の損失関数の値を計算することにより、画像融合モデルの損失を得てよい。その後、モデルの損失を最小化するように、逆方向伝播アルゴリズム等を採用して画像融合モデルにおけるネットワークパラメータを調整して、画像融合モデルに対するトレーニングを実現する。ただし、所定の損失関数は実際の需要に応じて設定することができ、例えばＬ１ Ｌｏｓｓ関数であってもよいが、本開示はこれを限定しない。

【0082】

一実施例において、前述の融合サブネットワークは例えば正規化層及び逆正規化層を含んでよい。対応的に、特徴マップに対して融合処理を行うときに、まず前景画像のマスク画像及び特徴マップを正規化層に入力することで、正規化層が前景画像に対するマスク画像に基づいて特徴マップに対して特徴点ごとの正規化処理を行って正規化特徴マップを得るようにしてよい。説明すべきこととして、カスケード接続されたＮ段の符号化ネットワーク及びカスケード接続されたＮ段の復号化ネットワークを採用するときに、該融合サブネットワークが第１段の復号化ネットワークに属すると、特徴マップは第Ｎ段の符号化ネットワークから出力された第Ｎ番目の特徴マップである。該融合サブネットワークが第１段の復号化ネットワーク以外の第ｊ段の復号化ネットワークに属すると、特徴マップは第（Ｎ－ｊ＋１）段の符号化ネットワークから出力された第（Ｎ－ｊ＋１）番目の特徴マップと第（ｊ－１）段の復号化ネットワークから出力された特徴マップとを加算することにより得られてよい。ただし、ｊ＝２、３、…、Ｎ。正規化特徴マップを得た後、正規化特徴マップ及び重み付け後の特徴マップを逆正規化層に入力することで、逆正規化層が重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて正規化特徴マップに対して逆正規化処理を行って融合後の特徴を得るようにしてよい。

【0083】

本開示の実施例によれば、符号化ネットワークはカスケード接続されたＮ段の符号化ネットワークを含み、かつ復号化ネットワークはカスケード接続されたＮ段の復号化ネットワークを含み、Ｎ段の復号化ネットワークのうちの毎段の復号化ネットワークはいずれも重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む。上述した画像ペアのうち、前景画像と背景画像とをスティッチングすることにより得られたスティッチ画像を符号化ネットワークに入力して、特徴マップを得る操作については、スティッチ画像をＮ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークに入力して、第ｉ番目の特徴マップを得てよい。上述した特徴マップを復号化して融合画像を得るときに、第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークにより出力された予測融合画像を得てよく、ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、……、Ｎ。

【0084】

本開示の実施例によれば、該画像融合モデルのトレーニング方法は例えばサンプルデータとする画像ペアを生成する操作をさらに含んでもよい。以下、図７を参照して、該操作を詳細に説明する。

【0085】

図７は、本開示の実施例によるサンプルデータとする画像ペアを得る原理の模式図である。

【0086】

図７に示すように、該実施例７００において、サンプルデータとする画像ペアを得るときに、まず所定の画像７０１から目標領域の画像を切り出して、元の前景画像７０２を得てよい。その後、元の前景画像７０２に対して色ヒストグラム変換を行って、変換後の前景画像７０３を得る。次に、変換後の前景画像７０３を用いて所定の画像７０１における目標領域の画像を置換して、スティッチ画像７０４を得る。このように、該所定の画像７０１を真実の融合画像として、スティッチ画像とともにサンプルデータとする画像ペアを構成してよい。

【0087】

例示的に、目標領域は目標対象が位置する領域であってよい。画像融合を行うときにマスク画像を考慮する必要がある場合、図７に示すように、該実施例は目標領域の位置に基づいて、前景画像に対応するマスク画像７０５を生成してもよい。具体的に、目標領域の画像における各画素点の画素値に白い画素値を付与し、目標領域以外の他の領域における各画素点の画素値に黒い画素値を付与することにより、マスク画像７０５を得てよい。

【0088】

ただし、所定の画像は所定のオープンソースデータセットのうちのいずれかの画像であってよい。所定のオープンソースデータセットは例えばＭＳ ＣＯＣＯ（Ｍｉｃｒｏｓｏｆｔ Ｃｏｍｍｏｎ Ｏｂｊｅｃｔｓ ｉｎ Ｃｏｎｔｅｘｔ）であってよい。該データセットは大型の、豊富な物体検出、分割データセットである。該データセットには、８０個の種類の目標対象の画像が提供されており、かつ目標対象を分割して得られたマスク画像が提供されている。該データセットのうちのマスク画像はいずれも人工によりマークされたものであるため、データの品質を保証することができる。

【0089】

ただし、該実施例は変換後の前景画像を元の所定の画像に張り戻すことにより、二枚の画像が混在した錯覚を作り出すことができる。該実施例において変換後の前景画像を無関係な画像に張ることなく元の所定の画像に張り戻す理由は、元の所定の画像のコンテンツ構造をできるだけ保持し、これにより画像融合モデルが如何に背景画像及び前景画像を融合するかを学習する必要しかなく、画像コンテンツが破壊されるか否かに注目する必要がないためである。したがって、ある程度で画像融合モデルのトレーニングの難しさを低下させることができる。

【0090】

一実施例において、複数の異なる色ヒストグラムを採用して元の前景画像に対して色変換を行うことにより、複数の異なる色の変換後の前景画像を得てもよい。該異なる色の変換後の前景画像でそれぞれ所定の画像における目標領域の画像を置換した後、複数のスティッチ画像を得ることができる。該複数のスティッチ画像はそれぞれ所定の画像と組み合わせることにより、サンプルデータとする複数の画像ペアを得ることができる。このように、サンプルデータの豊富さを向上させることができ、これはトレーニングにより得られた画像融合モデルの精度を向上させることに役立つ。

【0091】

本開示が提供する画像融合方法に基づいて、本開示は画像融合装置をさらに提供している。以下、図８を参照して、該装置を詳細に説明する。

【0092】

図８は、本開示の実施例による画像融合装置の構成ブロック図である。

【0093】

図８に示すように、該実施例の画像融合装置８００は第１の符号化モジュール８１０及び第１の復号化モジュール８２０を含んでよい。第１の復号化モジュール８２０は第１の重み付けサブモジュール８２１、第１の融合サブモジュール８２２及び第１の復号化サブモジュール８２３を含んでよい。

【0094】

第１の符号化モジュール８１０は、前景画像と背景画像とをスティッチングすることにより得られたスティッチ画像を符号化して、特徴マップを得るために用いられる。一実施例において、第１の符号化モジュール８１０は前述の操作Ｓ２１０を実行するために用いられてよいが、ここでは説明を繰り返さない。

【0095】

第１の復号化モジュール８２０は、特徴マップを復号化して、融合画像を得るために用いられる。具体的に、第１の重み付けサブモジュール８２１は、アテンションメカニズムを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得るために用いられる。第１の融合サブモジュール８２２は、重み付け後の特徴マップの特徴統計データに基づいて、特徴マップに対して融合処理を行って、融合後の特徴を得るために用いられる。第１の復号化サブモジュール８２３は、融合後の特徴を復号化して、融合画像を取得するために用いられる。一実施例において、第１の重み付けサブモジュール８２１、第１の融合サブモジュール８２２及び第１の復号化サブモジュール８２３はそれぞれ前述の操作Ｓ２２０～操作Ｓ２４０を実行するために用いられてよいが、ここでは説明を繰り返さない。

【0096】

本開示の実施例によれば、上記第１の重み付けサブモジュール８２１はプーリング手段、畳み込み手段及び重み付け手段を含んでよい。プーリング手段は、特徴マップに対して特徴点ごとのプーリング操作を行って、プーリング後の特徴を得るために用いられる。畳み込み手段は、プーリング後の特徴に対して畳み込み演算を行って、特徴マップに対する重みマップを取得するために用いられる。重み付け手段は、重みマップを採用して特徴マップに対して重み付け処理を行って、重み付け後の特徴マップを得るために用いられる。

【0097】

本開示の実施例によれば、上記プーリング手段は第１のプーリングサブ手段、第２のプーリングサブ手段及び特徴取得サブ手段を含んでよい。第１のプーリングサブ手段は、特徴マップに対して特徴点ごとの最大プーリング操作を行って、第１のプーリング特徴を得るために用いられる。第２のプーリングサブ手段は、特徴マップに対して特徴点ごとの平均プーリング操作を行って、第２のプーリング特徴を得るために用いられる。特徴取得サブ手段は、第１のプーリング特徴及び第２のプーリング特徴に基づいて、プーリング後の特徴を得るために用いられる。

【0098】

本開示の実施例によれば、上記畳み込み手段は、畳み込みカーネルが所定のサイズよりも大きい畳み込みニューラルネットワークを採用してプーリング後の特徴に対して畳み込み演算を行って、特徴マップに対する重みマップを取得するために用いられる。

【0099】

本開示の実施例によれば、上記第１の融合サブモジュールは第１の正規化手段及び第１の逆正規化手段を含んでよい。第１の正規化手段は、前景画像に対するマスク画像に基づいて、特徴マップに対して特徴点ごとの正規化処理を行って、正規化特徴マップを得るために用いられる。第１の逆正規化手段は、重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて、正規化特徴マップに対して逆正規化処理を行って、融合後の特徴を得るために用いられる。

【0100】

本開示の実施例によれば、上記第１の復号化サブモジュールは、特徴マップと融合後の特徴とをスティッチングした後の特徴を復号化して、融合画像を得るために用いられる。

【0101】

本開示の実施例によれば、上記第１の符号化モジュール８１０は、具体的に、スティッチ画像をカスケード接続されたＮ段の符号化ネットワークのうちの第１段の符号化ネットワークに入力して、Ｎ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークにより出力された第ｉ番目の特徴マップを得るために用いられてよい。上記第１の復号化モジュール８２０は、具体的に、第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた融合画像を得るために用いられる。ただし、第（Ｎ－ｉ＋１）段の復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む。ただし、重み付けサブネットワークは、アテンションメカニズムを採用して第ｉ番目の特徴マップに対して重み付け処理を行うために用いられる。融合サブネットワークは、第ｉ番目の特徴マップに対して融合処理を行うために用いられる。復号化サブネットワークは、融合サブネットワークから出力された融合後の特徴を復号化するために用いられる。ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎ。

【0102】

本開示が提供する画像融合モデルのトレーニング方法に基づいて、本開示は画像融合モデルのトレーニング装置をさらに提供している。以下、図９を参照して、該装置を詳細に説明する。

【0103】

図９は、本開示の実施例による画像融合モデルのトレーニング装置の構成ブロック図である。

【0104】

図９に示すように、該実施例の画像融合モデルのトレーニング装置９００は第２の符号化モジュール９１０、第２の復号化モジュール９２０及びモデルトレーニングモジュール９３０を含んでよい。ただし、第２の復号化モジュール９２０は第２の重み付けサブモジュール９２１、第２の融合サブモジュール９２２及び第２の復号化サブモジュール９２３を含んでもよい。ただし、画像融合モデルは符号化ネットワーク及び復号化ネットワークを含んでよく、復号化ネットワークは重み付けサブネットワーク、融合サブネットワーク及び符号化サブネットワークを含んでよい。

【0105】

第２の符号化モジュール９１０は、画像ペアのうち、前景画像と背景画像とをスティッチングすることにより得られたスティッチ画像を符号化ネットワークに入力して、特徴マップを得るために用いられる。一実施例において、該第２の符号化モジュール９１０は前述の操作Ｓ６１０を実行するために用いられてよいが、ここでは説明を繰り返さない。

【0106】

第２の復号化モジュール９２０は、特徴マップを復号化して、予測融合画像を得るために用いられる。具体的に、第２の重み付けサブモジュール９２１は、特徴マップを重み付けサブネットワークに入力して重み付け処理を行って、重み付け後の特徴マップを得るために用いられる。第２の融合サブモジュール９２２は、重み付け後の特徴マップの特徴統計データに基づいて、融合サブネットワークを採用して特徴マップに対して融合処理を行って、融合後の特徴を得るために用いられる。第２の復号化サブモジュール９２３は、融合後の特徴を復号化サブネットワークに入力して、予測融合画像を得るために用いられる。一実施例において、第２の重み付けサブモジュール９２１、第２の融合サブモジュール９２２及び第２の復号化サブモジュール９２３はそれぞれ前述の操作Ｓ６２０～操作Ｓ６４０を実行するために用いられてよいが、ここでは説明を繰り返さない。

【0107】

モデルトレーニングモジュール９３０は、予測融合画像と画像ペアのうちの真実の融合画像との間の相違に基づいて、画像融合モデルをトレーニングするために用いられる。一実施例において、モデルトレーニングモジュール９３０は、前述の操作Ｓ６５０を実行するために用いられてよいが、ここでは説明を繰り返さない。

【0108】

本開示の実施例によれば、融合サブネットワークは正規化層及び逆正規化層を含む。上記第２の融合サブモジュール９２２は第２の正規化手段及び第２の逆正規化手段を含んでよい。第２の正規化手段は、前景画像のマスク画像及び特徴マップを正規化層に入力することで、正規化層が前景画像に対するマスク画像に基づいて特徴マップに対して特徴点ごとの正規化処理を行って正規化特徴マップを得るようにするために用いられる。第２の逆正規化手段は、正規化特徴マップ及び重み付け後の特徴マップを逆正規化層に入力することで、逆正規化層が重み付け後の特徴マップにおける各特徴点の特徴統計データに基づいて正規化特徴マップに対して逆正規化処理を行って融合後の特徴を得るようにするために用いられる。

【0109】

本開示の実施例によれば、上記符号化ネットワークはカスケード接続されたＮ段の符号化ネットワークを含み、かつ復号化ネットワークはカスケード接続されたＮ段の復号化ネットワークを含み、Ｎ段の復号化ネットワークのうちの毎段の復号化ネットワークはいずれも重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む。上記第２の符号化モジュール９１０は、具体的に、スティッチ画像をＮ段の符号化ネットワークのうちの第ｉ段の符号化ネットワークに入力して、第ｉ番目の特徴マップを得るために用いられる。上記第２の復号化モジュール９２０は、具体的に、第ｉ番目の特徴マップをカスケード接続されたＮ段の復号化ネットワークのうちの第（Ｎ－ｉ＋１）段の復号化ネットワークに入力して、Ｎ段の復号化ネットワークのうちの第Ｎ段の復号化ネットワークの出力に基づいて得られた予測融合画像を得るために用いられる。ただし、Ｎは１より大きい整数であり、かつｉ＝１、２、…、Ｎ。かつ、第（Ｎ－ｉ＋１）段の復号化ネットワークは前述の重み付けサブネットワーク、融合サブネットワーク及び復号化サブネットワークを含む。

【0110】

本開示の実施例によれば、上記画像融合モデルのトレーニング装置９００は、切り出しモジュール、変換モジュール、スティッチングモジュール及び画像ペア構成モジュールをさらに含む。切り出しモジュールは、所定の画像から目標領域の画像を切り出して、元の前景画像を得るために用いられる。変換モジュールは、元の前景画像に対して色ヒストグラム変換を行って、変換後の前景画像を得るために用いられる。スティッチングモジュールは、変換後の前景画像を用いて所定の画像における目標領域の画像を置換して、スティッチ画像を得るために用いられる。画像ペア構成モジュールは、所定の画像を真実の融合画像として、真実の融合画像及びスティッチ画像を含む画像ペアを構成するために用いられる。

【0111】

説明すべきこととして、本開示の技術案では、係られたユーザ個人情報の取得、採集、記憶、使用、加工、伝送、提供及び開示などの処理は、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。

【0112】

本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体及びコンピュータプログラムをさらに提供している。

【0113】

図１０は、本開示の実施例の画像融合方法及び／又は画像融合モデルのトレーニング方法を実施するために用いられる例示的電子機器１０００の模式的ブロック図を示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似的な演算装置である。本明細書に示された部品、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。

【0114】

図１０に示すように、機器１０００は、計算手段１００１を含み、計算手段１００１は、リードオンリーメモリ（ＲＯＭ）１００２に記憶されたコンピュータプログラム又は記憶手段１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ１００３には、さらに機器１０００の操作に必要な様々なプログラム及びデータが記憶されてもよい。計算手段１００１、ＲＯＭ１００２、及びＲＡＭ１００３は、バス１００４を介して相互に接続される。入力／出力（Ｉ／Ｏ）インターフェース１００５も、バス１００４に接続される。

【0115】

機器１０００における複数の部品は、Ｉ／Ｏインターフェース１００５に接続され、例えばキーボード、マウス等の入力手段１００６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段１００７と、例えば磁気ディスク、光ディスク等の記憶手段１００８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段１００９とを含む。通信手段１００９は、機器１０００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。

【0116】

計算手段１００１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段１００１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段１００１は、前文で記載された各方法及び処理、例えば画像融合方法及び/又は画像融合モデルのトレーニング方法を実行する。例えば、幾つかの実施例において、画像融合方法及び／又は画像融合モデルのトレーニング方法は、例えば記憶手段１００８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ １００２及び／又は通信手段１００９を介して機器１０００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ１００３にロードされて計算手段１００１により実行される場合、前文に記載の画像融合方法及び/又は画像融合モデルのトレーニング方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段１００１は、他の任意の適切な方式（例えば、ファームウェアを介する）により画像融合方法及び／又は画像融合モデルのトレーニング方法を実行するように構成されてもよい。

【0117】

本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。

【0118】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。

【0119】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は機器に使用され、又は命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。

【0120】

ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力、又は触覚入力を含む）でユーザからの入力を受信してもよい。

【0121】

ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。

【0122】

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生成される。ただし、サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける一つのホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）に存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決している。サーバは、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせたサーバであってもよい。

【0123】

理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各ステップは、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示に開示された技術案が所望する結果を実現することができれば、本明細書はここで限定されない。

【0124】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要求及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】