特表2022-547082 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンチェン　センスタイム　テクノロジー　カンパニー　リミテッドの特許一覧

特表2022-547082画像再構成方法及び装置、電子機器並びに記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-10

(54)【発明の名称】画像再構成方法及び装置、電子機器並びに記憶媒体

(51)【国際特許分類】

G06T 5/00 20060101AFI20221102BHJP

G06T 1/40 20060101ALI20221102BHJP

G06T 7/00 20170101ALI20221102BHJP

H04N 7/01 20060101ALI20221102BHJP

【ＦＩ】

G06T5/00 700

G06T1/40

G06T7/00 350C

G06T7/00 300F

H04N7/01 170

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022514685

(86)(22)【出願日】2019-11-19

(85)【翻訳文提出日】2022-03-04

(86)【国際出願番号】 CN2019119462

(87)【国際公開番号】W WO2021056770

(87)【国際公開日】2021-04-01

(31)【優先権主張番号】201910923706.8

(32)【優先日】2019-09-27

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェンセンスタイムテクノロジーカンパニーリミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】スンシューヤン

(72)【発明者】

【氏名】ジョウイー

(72)【発明者】

【氏名】リーイーカン

(72)【発明者】

【氏名】オウヤンワンリー

【テーマコード（参考）】

5B057

5C063

5L096

【Ｆターム（参考）】

5B057CA20

5B057CB20

5B057CC01

5B057CD05

5B057CE02

5B057CE03

5B057DC40

5C063CA05

5C063CA40

5L096DA01

5L096HA02

5L096HA11

5L096JA11

5L096KA04

5L096MA03

(57)【要約】

本願は、画像再構成方法及び装置、電子機器並びに記憶媒体に関する。前記方法は、ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することと、前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることと、前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることと、前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得ることと、を含む。本願の実施例は、再構成画像の画像品質を向上させることができる。

【特許請求の範囲】

【請求項1】

画像再構成方法であって、
ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することと、
前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることと、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることと、
前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得ることと、を含む、前記画像再構成方法。

【請求項2】

前記ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、
前記第１画像に直接隣接及び／又は間隔をおいて隣接する少なくとも１フレームの第２画像を取得することと、
前記第１画像及び前記第２画像に対してそれぞれ特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得ることと、を含むことを特徴とする
請求項１に記載の方法。

【請求項3】

前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることは、
前記第１画像の画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得ることであって、前記第１融合特徴に前記第２画像の特徴情報が融合されており、前記第２融合特徴に前記第１画像の特徴情報が融合されている、ことと、
前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得することと、を含むことを特徴とする
請求項１又は２に記載の方法。

【請求項4】

前記第１画像の特徴画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得ることは、
前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得することと、
第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得することと、
２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得ることと、を含むことを特徴とする
請求項３に記載の方法。

【請求項5】

前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得することは、
前記第１画像の画像特徴と第１融合特徴に対して加算処理を行い、第１加算特徴を取得することと、
前記第２画像の画像特徴と第２融合特徴に対して加算処理を行い、第２加算特徴を取得することと、
第２残余ブロックを利用して前記第１加算特徴及び前記第２加算特徴に対してそれぞれ最適化処理を行い、前記第１最適化特徴及び第２最適化特徴を取得することと、を含むことを特徴とする
請求項３又は４に記載の方法。

【請求項6】

前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることは、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得することと、
前記第１最適化特徴と第２最適化特徴を接続し、第２接続特徴を取得することと、
前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得ることと、を含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。

【請求項7】

前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得することは、
前記第１最適化特徴及び前記第２最適化特徴をグラフ畳み込みニューラルネットワークに入力し、前記グラフ畳み込みニューラルネットワークにより、前記関連付け行列を得ることを含むことを特徴とする
請求項６に記載の方法。

【請求項8】

前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得ることは、
活性化関数を利用して前記関連付け行列に対して活性化処理を行い、活性化処理された関連付け行列と前記第２接続特徴との積を利用して、前記融合特徴を得ることを含むことを特徴とする
請求項６又は７に記載の方法。

【請求項9】

前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記第１画像に対応する再構成画像を得ることは、
前記第１画像の画像特徴と前記融合特徴に対して加算処理を行い、前記再構成画像の画像特徴を得ることと、
前記再構成画像の画像特徴を利用して、前記第１画像に対応する再構成画像を得ることと、を含むことを特徴とする
請求項１から８のうちいずれか一項に記載の方法。

【請求項10】

前記画像再構成方法は、画像ノイズ除去処理、画像超解像処理及び画像ぼけ修正処理のうちの少なくとも１つを実現させるために用いられることを特徴とする
請求項１から９のうちいずれか一項に記載の方法。

【請求項11】

前記画像再構成方法が画像超解像処理の実現に用いられる場合、ビデオデータにおける第１画像に対応する画像特徴及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、
前記第１画像及び前記第２画像に対してアップサンプリング処理を行うことと、
アップサンプリング処理された前記第１画像及び第２画像に対して特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得ることと、を含むことを特徴とする
請求項１０に記載の方法。

【請求項12】

画像再構成装置であって、
ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得するように構成される取得モジュールと、
前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得るように構成される最適化モジュールと、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得るように構成される関連付けモジュールと、
前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得るように構成される再構成モジュールと、を備える、前記画像再構成装置。

【請求項13】

前記取得モジュールは更に、前記第１画像に直接隣接及び／又は間隔をおいて隣接する少なくとも１フレームの第２画像を取得し、
前記第１画像及び前記第２画像に対してそれぞれ特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得るように構成されることを特徴とする
請求項１２に記載の装置。

【請求項14】

前記最適化モジュールは、
前記第１画像の画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得るように構成されるマルチフレーム融合ユニットであって、前記第１融合特徴に前記第２画像の特徴情報が融合されており、前記第２融合特徴に前記第１画像の特徴情報が融合されている、マルチフレーム融合ユニットと、
前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得するように構成されるシングルフレーム最適化ユニットと、を備えることを特徴とする
請求項１２又は１３に記載の装置。

【請求項15】

前記マルチフレーム融合ユニットは更に、前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得し、
第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得し、
２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得るように構成されることを特徴とする
請求項１４に記載の装置。

【請求項16】

前記シングルフレーム最適ユニットは更に、前記第１画像の画像特徴と第１融合特徴に対して加算処理を行い、第１加算特徴を取得し、
前記第２画像の画像特徴と第２融合特徴に対して加算処理を行い、第２加算特徴を取得し、
第２残余ブロックを利用して前記第１加算特徴及び前記第２加算特徴に対してそれぞれ最適化処理を行い、前記第１最適化特徴及び第２最適化特徴を取得するように構成されることを特徴とする
請求項１４又は１５に記載の装置。

【請求項17】

前記関連付けモジュールは、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得するように構成される関連付けユニットと、
前記第１最適化特徴と第２最適化特徴を接続し、第２接続特徴を取得するように構成される接続ユニットと、
前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得るように構成される融合ユニットと、を備えることを特徴とする
請求項１２から１６のうちいずれか一項に記載の装置。

【請求項18】

前記関連付けユニットは更に、前記第１最適化特徴及び前記第２最適化特徴をグラフ畳み込みニューラルネットワークに入力し、前記グラフ畳み込みニューラルネットワークにより、前記関連付け行列を得るように構成されることを特徴とする
請求項１７に記載の装置。

【請求項19】

前記融合ユニットは更に、活性化関数を利用して前記関連付け行列に対して活性化処理を行い、活性化処理された関連付け行列と前記第２接続特徴との積を利用して、前記融合特徴を得るように構成されることを特徴とする
請求項１７又は１８に記載の装置。

【請求項20】

前記再構成ユニットは更に、前記第１画像の画像特徴と前記融合特徴に対して加算処理を行い、前記再構成画像の画像特徴を得て、
前記再構成画像の画像特徴を利用して、前記第１画像に対応する再構成画像を得るように構成されることを特徴とする
請求項１２から１９のうちいずれか一項に記載の装置。

【請求項21】

前記画像再構成装置は、画像ノイズ除去処理、画像超解像処理及び画像ぼけ修正処理のうちの少なくとも１つを実現させるように構成されることを特徴とする
請求項１２から２０のうちいずれか一項に記載の装置。

【請求項22】

前記取得モジュールは更に、前記画像再構成装置が画像超解像処理の実現に用いられる場合、前記第１画像及び前記第２画像に対してアップサンプリング処理を行い、
アップサンプリング処理された前記第１画像及び第２画像に対して特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得るように構成されることを特徴とする
請求項２１に記載の装置。

【請求項23】

電子機器であって、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出し、請求項１から１１のうちいずれか一項に記載の方法を実行するように構成される、前記電子機器。

【請求項24】

コンピュータプログラム命令を記憶するコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行される時、請求項１から１１のうちいずれか一項に記載の方法を実現させる、前記コンピュータ可読記憶媒体。

【請求項25】

コンピュータプログラムであって、前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、請求項１から１１のうちいずれか一項に記載の方法を実行する、前記コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年０９月２７日に中国特許局に提出された出願番号２０１９１０９２３７０６．８、名称「画像再構成方法及び装置、電子機器並びに記憶媒体」の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

【0002】

本願は、コンピュータビジョン技術分野に関し、特に画像再構成方法及び装置、電子機器並びに記憶媒体に関する。

【背景技術】

【0003】

画像再構成タスクは、低レベルビジョン分野における重要な課題である。画像再構成は、ノイズを有するぼけた低画質画像を、ノイズを有しない鮮明な高画質画像となるように再構成することを指す。例えば、ビデオ画像のノイズ除去、ビデオの超解像、又はビデオぼけ修正などを実現させることができる。単一の画像再構成タスクと異なっており、ビデオの時間情報（ビデオフレーム間情報）を如何に効果的に利用するかは、ビデオ品質再構成のキーポイントである。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本願は、画像処理の技術的解決手段を提供する。

【課題を解決するための手段】

【0005】

本願の一態様によれば、画像再構成方法を提供する。前記方法は、
ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することと、
前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることと、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることと、
前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得ることと、を含む。

【0006】

幾つかの可能な実現形態において、ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、
前記第１画像に直接隣接及び／又は間隔をおいて隣接する少なくとも１フレームの第２画像を取得することと、
前記第１画像及び前記第２画像に対してそれぞれ特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得ることと、を含む。

【0007】

幾つかの可能な実現形態において、前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることは、
前記第１画像の画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得ることであって、前記第１融合特徴に前記第２画像の特徴情報が融合されており、前記第２融合特徴に前記第１画像の特徴情報が融合されている、ことと、
前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得することと、を含む。

【0008】

幾つかの可能な実現形態において、前記第１画像の特徴画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得ることは、
前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得することと、
第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得することと、
２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得ることと、を含む。

【0009】

幾つかの可能な実現形態において、前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得することは、
前記第１画像の画像特徴と第１融合特徴に対して加算処理を行い、第１加算特徴を取得することと、
前記第２画像の画像特徴と第２融合特徴に対して加算処理を行い、第２加算特徴を取得することと、
第２残余ブロックを利用して前記第１加算特徴及び前記第２加算特徴に対してそれぞれ最適化処理を行い、前記第１最適化特徴及び第２最適化特徴を取得することと、を含む。

【0010】

幾つかの可能な実現形態において、前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることは、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得することと、
前記第１最適化特徴と第２最適化特徴を接続し、第２接続特徴を取得することと、
前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得ることと、を含む。

【0011】

幾つかの可能な実現形態において、前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得することは、
前記第１最適化特徴及び前記第２最適化特徴をグラフ畳み込みニューラルネットワークに入力し、前記グラフ畳み込みニューラルネットワークにより、前記関連付け行列を得ることを含む。

【0012】

幾つかの可能な実現形態において、前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得ることは、
活性化関数を利用して前記関連付け行列に対して活性化処理を行い、活性化処理された関連付け行列と前記第２接続特徴との積を利用して、前記融合特徴を得ることを含む。

【0013】

幾つかの可能な実現形態において、前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記第１画像に対応する再構成画像を得ることは、
前記第１画像の画像特徴と前記融合特徴に対して加算処理を行い、前記再構成画像の画像特徴を得ることと、
前記再構成画像の画像特徴を利用して、前記第１画像に対応する再構成画像を得ることと、を含む。

【0014】

幾つかの可能な実現形態において、前記画像再構成方法は、画像ノイズ除去処理、画像超解像処理及び画像ぼけ修正処理のうちの少なくとも１つを実現させるために用いられる。

【0015】

幾つかの可能な実現形態において、前記画像再構成方法が画像超解像処理の実現に用いられる場合、ビデオデータにおける第１画像に対応する画像特徴及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、
前記第１画像及び前記第２画像に対してアップサンプリング処理を行うことと、
アップサンプリング処理された前記第１画像及び第２画像に対して特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得ることと、を含む。

【0016】

本願の第２態様によれば、画像再構成装置を提供する。前記装置は、
ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得するように構成される取得モジュールと、
前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得るように構成される最適化モジュールと、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得るように構成される関連付けモジュールと、
前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得るように構成される再構成モジュールと、を備える。

【0017】

幾つかの可能な実現形態において、前記取得モジュールは更に、前記第１画像に直接隣接及び／又は間隔をおいて隣接する少なくとも１フレームの第２画像を取得し、
前記第１画像及び前記第２画像に対してそれぞれ特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得るように構成される。

【0018】

【0019】

幾つかの可能な実現形態において、前記マルチフレーム融合ユニットは更に、前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得し、
第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得し、
２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得るように構成される。

【0020】

幾つかの可能な実現形態において、前記シングルフレーム最適ユニットは更に、前記第１画像の画像特徴と第１融合特徴に対して加算処理を行い、第１加算特徴を取得し、
前記第２画像の画像特徴と第２融合特徴に対して加算処理を行い、第２加算特徴を取得し、
第２残余ブロックを利用して前記第１加算特徴及び前記第２加算特徴に対してそれぞれ最適化処理を行い、前記第１最適化特徴及び第２最適化特徴を取得するように構成される。

【0021】

幾つかの可能な実現形態において、前記関連付けモジュールは、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得するように構成される関連付けユニットと、
前記第１最適化特徴と第２最適化特徴を接続し、第２接続特徴を取得するように構成される接続ユニットと、
前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得るように構成される融合ユニットと、を備える。

【0022】

幾つかの可能な実現形態において、前記関連付けユニットは更に、前記第１最適化特徴及び前記第２最適化特徴をグラフ畳み込みニューラルネットワークに入力し、前記グラフ畳み込みニューラルネットワークにより、前記関連付け行列を得るように構成される。

【0023】

幾つかの可能な実現形態において、前記融合ユニットは更に、活性化関数を利用して前記関連付け行列に対して活性化処理を行い、活性化処理された関連付け行列と前記第２接続特徴との積を利用して、前記融合特徴を得るように構成される。

【0024】

幾つかの可能な実現形態において、前記再構成ユニットは更に、前記第１画像の画像特徴と前記融合特徴に対して加算処理を行い、前記再構成画像の画像特徴を得て、
前記再構成画像の画像特徴を利用して、前記第１画像に対応する再構成画像を得るように構成される。

【0025】

幾つかの可能な実現形態において、前記画像再構成装置は、画像ノイズ除去処理、画像超解像処理及び画像ぼけ修正処理のうちの少なくとも１つを実現させるように構成される。

【0026】

幾つかの可能な実現形態において、前記取得モジュールは更に、前記画像再構成装置が画像超解像処理の実現に用いられる場合、前記第１画像及び前記第２画像に対してアップサンプリング処理を行い、
アップサンプリング処理された前記第１画像及び第２画像に対して特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得るように構成される。

【0027】

本願の第３態様によれば、電子機器を提供する。前記電子機器は、
プロセッサと、
プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、前記メモリに記憶された命令を呼び出し、第１態様のいずれか一項に記載の方法を実行するように構成される。

【0028】

本願の第４態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、第１態様のいずれか一項に記載の方法を実現させる。

【0029】

本願の第５態様によれば、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、第１態様のいずれか一項に記載の方法を実行する。

【発明の効果】

【0030】

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

【0031】

本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

【図面の簡単な説明】

【0032】

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本発明に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

【図1】本願の実施例による画像再構成方法を示すフローチャートである。

【図2】本願の実施例による画像再構成方法のステップＳ１０を示すフローチャートである。

【図3】本願の実施例による画像再構成方法のステップＳ２０を示すフローチャートである。

【図4】本願の実施例による画像再構成方法のステップＳ２１を示すフローチャートである。

【図5】本願の実施例による画像再構成方法のステップＳ２２を示すフローチャートである。

【図6】本願の実施例による画像再構成方法のステップＳ３０を示すフローチャートである。

【図7】本願の実施例による画像再構成方法を実現させるニューラルネットワークの構造を示す概略図である。

【図8】本願の実施例による画像再構成装置を示すブロック図である。

【図9】本願の実施例による電子機器を示すブロック図である。

【図10】本願の実施例によるもう１つの電子機器を示すブロック図である。

【発明を実施するための形態】

【0033】

以下、図面を参照しながら本願の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

【0034】

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例は、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

【0035】

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

【0036】

なお、本願をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

【0037】

本願の実施例の画像再構成方法の実行主体は、任意の画像処理装置であってもよい。例えば、画像再構成方法は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、ユーザ装置（ＵｓｅｒＥｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。サーバは、ローカルサーバ又はクラウド側サーバを含んでもよい。幾つかの可能な実現形態において、該画像再構成方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

【0038】

本願の実施例の画像再構成方法は、ビデオにおける画像に対して画像再構成処理を行うことに用いられる。例えば、該画像再構成は、画像のノイズ除去、超解像又はぼけ修正処理のうちの少なくとも１つを含んでもよく、ビデオ画像の画像品質を向上させることができる。

【0039】

図１は、本願の実施例による画像再構成方法を示すフローチャートである。図１に示すように、前記画像再構成方法は以下のステップを含む。

【0040】

Ｓ１０において、ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得する。

【0041】

幾つかの可能な実現形態において、ビデオデータは、任意の収集装置により収集されたビデオ情報であってもよい。それに、少なくとも２フレームの画像が含まれてもよい。本願の実施例は、再構成されるべき画像を第１画像と呼び、第１画像の最適化に用いられる画像を第２画像と呼んでもよい。ここで、第１画像と第２画像は、隣接する画像であってもよい。本願の実施例において、隣接は、直接隣接をふくんでもよく、又は間隔をおいた隣接を含んでもよい。第１画像と第２画像が直接的に隣接することは、第１画像及び第２画像が、ビデオにおける時間フレームの差が１である２つの画像であることを指す。例えば、第１画像は、ｔフレーム目の画像であり、第２画像は、ｔ－１又はｔ＋１フレーム目の画像であってもよく、ｔは、１以上の整数である。第１画像と第２画像が間隔をおいて隣接することは、第１画像及び第２画像が、ビデオにおける時間フレームの差が１より大きい２つの画像であることを指す。例えば、第１画像は、ｔフレームの画像であり、第２画像は、ｔ＋ａフレーム目の画像又はｔ－ａフレーム目の画像であり、ａは、１より大きい整数である。

【0042】

幾つかの可能な実現形態において、第１画像の再構成に用いられる第２画像は少なくとも１つであってもよい。つまり、第２画像は、１つであってもよく、複数であってもよく、本願は、これを具体的に限定するものではない。本願の実施例において、第１画像の再構成に用いられる第２画像を決定する場合、事前設定されたルールに応じて第２画像を設定することができる。該事前設定されたルールは、第２画像の数、及び前記第１画像との間隔におけるフレーム数を含んでもよい。該間隔におけるフレーム数は、正数であってもよく、負数であってもよい。正数である場合、第２画像の時間フレームの数値が第１画像の時間フレームの数値より大きいことを表す。間隔におけるフレーム数が負数である場合、第１画像の時間フレームの数値が第２画像の時間フレームの数値より大きいことを表す。

【0043】

幾つかの可能な実現形態において、第１画像及び第２画像を決定した場合、第１画像及び第２画像の画像特徴を得ることができる。ここで、第１画像及び第２画像における少なくとも１つの画素点に対応する画素値を直接的に画像特徴としてもよい。又は、第１画像及び第２画像に対して特徴抽出処理を行い、第１画像及び第２画像の画像特徴をそれぞれ得てもよい。

【0044】

Ｓ２０において、前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得る。

【0045】

幾つかの可能な実現形態において、第１画像の画像特徴及び第２画像の画像特徴に対してそれぞれ畳み込み処理を行うことで、各画像特徴をそれぞれ最適化することができる。該最適化により、より詳細な特徴情報を追加し、特徴の豊かさを向上させることができる。ここで、第１画像及び第２画像の画像特徴に対して最適化処理を行うことで、対応する第１最適化特徴及び第２最適化特徴をそれぞれ得ることができる。又は、第１画像と第２画像の画像特徴を接続して接続特徴を取得し、接続特徴に対して特徴処理を行うことで、第１画像と第２画像の画像特徴を相互融合させると共に、特徴の精度を向上させ、更に、２つの畳み込み層により、得られた特徴に対してそれぞれ畳み込み処理を行い、第１最適化特徴及び第２最適化特徴を取得することもできる。

【0046】

Ｓ３０において、前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得る。

【0047】

幾つかの可能な実現形態において、第１最適化特徴及び第２最適化特徴を得た場合、第１最適化特徴と第２最適化特徴との間の関連付け行列を更に得ることができる。関連付け行列における要素は、第１最適化特徴及び第２最適化特徴における同一位置での特徴値間の関連度を標識する。

【0048】

幾つかの可能な実現形態において、得られた関連付け特徴を利用して第１最適化特徴と第２最適化特徴との特徴融合処理を実行し、融合特徴を得ることができる。該融合処理により、第２画像の画像特徴と第１画像の画像特徴を効果的に融合することができ、第１画像の再構成に寄与する。

【0049】

Ｓ４０において、前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得る。

【0050】

幾つかの可能な実現形態において、融合特徴を得た場合、融合特徴を利用して第１画像に対して画像再構成を行うことができる。例えば、融合特徴と第１画像の画像特徴に対して加算処理を行い、再構成された画像特徴を得る。該再構成された画像特徴に対応する画像は、再構成画像である。

【0051】

本願の実施例は、ニューラルネットワークにより実現してもよく、本願により限定されるアルゴリズムにより実現してもよく、本願の技術的解決手段の保護範囲内に含まれるものであれは、本願の実施例とすることができることに留意されたい。

【0052】

上記設定によれば、本願の実施例は、第１画像及び第２画像にそれぞれ対応する第１最適化特徴及び第２最適化特徴により関連付け行列を得ることができる。該関連付け行列により、第１最適化特徴及び第２最適化特徴における同一位置での特徴情報間の関連性を表す。関連付け行列におり、上記最適化特徴融合を実行する過程において、第１画像と第２画像とのフレーム間情報を、同一位置での異なる特徴の相関性に応じて融合させ、更に、画像再構成効果を向上させることができる。

【0053】

以下、図面を参照しながら、本願の実施例を詳しく説明する。図２は、本願の実施例による画像再構成方法のステップＳ１０を示すフローチャートである。ここで、ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、以下のステップを含んでもよい。

【0054】

Ｓ１１において、前記第１画像に直接隣接及び／又は間隔をおいて隣接する少なくとも１フレームの第２画像を取得する。

【0055】

幾つかの可能な実現形態において、ビデオデータにおける再構成されるべき第１画像、及び第１画像の再構成に用いられる少なくとも１フレームの第２画像を取得することができる。ここで、事前設定されたルールに応じて第２画像を選択することができる。又は、第１画像に隣接する画像から、少なくとも１つの画像をランダムに選択して第２画像とすることもできる。本願は、これを具体的に限定するものではない。

【0056】

一例において、事前設定されたルールは、第２画像の数、及び前記第１画像との間隔におけるフレーム数を含んでもよい。上記フレーム数及び数により、対応する第２画像を決定することができる。例えば、事前設定されたルールは、第２画像の数が１であり且つ第１画像との間隔におけるフレーム数が＋１であることを含んでもよい。つまり、第２画像は、第１画像に続く１フレームの画像であることを表す。例えば、第１画像がｔフレーム目の画像であると、第２画像は、ｔ＋１フレーム目の画像である。上記は、例示的な説明に過ぎず、他の実施形態において、他の方式により第２画像を決定することもできる。

【0057】

Ｓ１２において、前記第１画像及び前記第２画像に対してそれぞれ特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得る。

【0058】

幾つかの可能な実現形態において、第１画像及び第２画像に対応する画素値を画像特徴と直接的に決定することができる。又は、特徴抽出ニューラルネットワークを利用して第１画像及び第２画像に対してそれぞれ特徴抽出処理を行い、対応する画像特徴を得ることもできる。特徴抽出ニューラルネットワークにより特徴抽出処理を行うことで、画像特徴の精度を向上させることができる。ここで、特徴抽出ニューラルネットワークは、畳み込みニューラルネットワークであってもよく、例えば、残差ネットワーク、特徴ピラミッドネットワークであってもよい。又は、特徴抽出を実現させることができる他の如何なるニューラルネットワークであってもよい。本願は、他の方法で特徴抽出処理を実現させることもでき、ここを具体的に限定するものではない。

【0059】

第１画像の画像特徴及び第２画像の画像特徴を得た場合、第１画像及び第２画像に対して特徴最適化処理を行い、第１画像の第１最適化特徴及び第２画像の第２最適化特徴をそれぞれ得ることができる。ここで、本願は、第１画像及び第２画像の特徴最適化処理をそれぞれ行い、対応する第１最適化特徴及び第２最適化特徴を取得することができる。例えば、残差ネットワークを利用して第１画像の画像特徴及び第２画像の画像特徴をそれぞれ処理し、第１画像の第１最適化特徴及び第２画像の第２最適化特徴を取得することができる。又は、残差ネットワークから出力された最適化特徴に対して更に畳み込み処理（例えば、少なくとも１層の畳み込み処理）を行い、第１最適化特徴及び第２最適化特徴を取得することもできる。

【0060】

幾つかの可能な実現形態において、第１画像の画像特徴と第２画像の画像特徴を融合するという方式で、各画像特徴の最適化を実行し、対応する第１最適化特徴及び第２最適化特徴を取得することもできる。図３は、本願の実施例による画像再構成方法のステップＳ２０を示すフローチャートである。

【0061】

図３に示すように、前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得ることは、以下のステップを含んでもよい。

【0062】

Ｓ２１において、前記第１画像の画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得て、前記第１融合特徴に前記第２画像の特徴情報が融合されており、前記第２融合特徴に前記第１画像の特徴情報が融合されている。

【0063】

幾つかの可能な実現形態において、第１画像の画像特徴と第２画像の画像特徴とのマルチフレーム情報融合により、第１画像に対応する第１融合特徴及び第２画像に対応する第２融合特徴をそれぞれ得ることができる。マルチフレーム情報融合処理により、第１画像と第２画像の画像特徴を相互融合させ、更に、得られた第１融合特徴及び第２融合特徴に、それぞれ第１画像及び第２画像の特徴情報を包含させることができる。

【0064】

Ｓ２２において、前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得する。

【0065】

幾つかの可能な実現形態において、第１画像の第１融合特徴及び第２画像の第２融合特徴を得た場合、第１融合特徴を利用して第１画像の画像特徴に対してシングルフレーム画像の特徴融合（即ちシングルフレーム最適化処理）を行い、第２融合特徴を利用して第２画像の画像特徴に対してシングルフレーム画像の特徴融合を行い、第１最適化特徴及び第２最適化特徴をそれぞれ得ることができる。ここで、シングルフレーム最適化処理により、第１融合特徴及び第２融合特徴に基づいて、それぞれの画像特徴を更に補強し、得られた第１最適化特徴に第１画像の画像特徴を持たせると共に、第２画像の特徴情報を融合させ、また、得られた第２最適化特徴に第２画像の画像特徴を持たせると共に、第１画像の特徴情報を融合させることもできる。

【0066】

なお、本願の実施例において、少なくとも１回の上記最適化処理を行うことができる。つまり、少なくとも１回のマルチフレーム情報融合及びシングルフレーム最適化処理を実行する。ここで、１回目の最適化処理において、第１画像及び第２画像の画像特徴を直接的に最適化処理対象とすることができる。複数回の最適化処理を含む場合、ｎ＋１回目の最適化処理対象は、ｎ回目の最適化処理により出力された最適化特徴である。つまり、ｎ回目の最適化処理で得られた２つの最適化特徴に対して、引き続き、マルチフレーム情報融合及びシングルフレーム最適化処理を行い、最終的な最適化特徴（第１最適化特徴及び第２最適化特徴）を得ることができる。複数回の最適化処理により、得られた特徴情報の正確性及び特徴の豊かさを更に向上させることができる。

【0067】

以下、マルチフレーム情報融合及びシングルフレーム最適化処理をそれぞれ説明する。図４は、本願の実施例による画像再構成方法のステップＳ２１を示すフローチャートである。図４に示すように、前記第１画像の特徴画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得ることは、以下のステップを含んでもよい。

【0068】

Ｓ２１１において、前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得する。

【0069】

幾つかの可能な実現形態において、マルチフレーム情報融合を実行する過程において、まず、第１画像の画像特徴と第２画像の画像特徴を接続することができる。例えば、チャネル方向で接続を行い、第１接続特徴を取得することができる。例えば、ｃｏｎｃａｔ関数（接続関数）を利用して、第１画像の画像特徴と第２画像の画像特徴を接続し、２フレームの画像情報を単純に融合させることができる。

【0070】

Ｓ２１２において、第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得する。

【0071】

幾つかの可能な実現形態において、第１接続特徴を得た場合、該第１接続特徴を更に最適化処理することができる。本願の実施例において、残差ネットワークを利用して該特徴最適化処理を行うことができる。ここで、第１接続特徴を第１残余ブロック（ｒｅｓｉｄｕａｌｂｌｏｃｋ）に入力して特徴最適化を行い、第３最適化特徴を取得する。第１残差処理モジュールにより処理することで、第１接続特徴における特徴情報を更に融合し、特徴情報の精度を向上させることができる。つまり、第３最適化特徴に更に、第１画像及び第２画像における特徴情報が更に正確に融合されている。

【0072】

Ｓ２１３において、２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得る。

【0073】

幾つかの可能な実現形態において、第３最適化特徴を得た場合、異なる畳み込み層を利用して該第３最適化特徴に対して畳み込み処理を行うことができる。例えば、２つの畳み込み層を利用して第３最適化特徴に対してそれぞれ畳み込み処理を行い、第１融合特徴及び第２融合特徴をそれぞれ得る。ここで、該２つの畳み込み層は、１＊１の畳み込みカーネルであってもよく、これに限定されない。ここで、第１融合特徴に、第２画像の特徴情報が含まれ、第２融合特徴に第１画像の特徴情報が含まれる。つまり、第１融合特徴及び第２融合特徴には、いずれも、２つの画像の特徴情報が含まれる。

【0074】

上記設定によれば、第１画像及び第２画像に対するマルチフレーム画像の特徴情報融合を実現させ、フレーム間情報融合の方式で画像再構成精度を向上させることができる。

【0075】

マルチフレーム画像のフレーム間情報融合処理を行った後、更に、シングルフレーム画像の特徴最適化処理を行うことができる。図５は、本願の実施例による画像再構成方法のステップＳ２２を示すフローチャートである。前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得することは、以下のステップを含む。

【0076】

Ｓ２２１において、前記第１画像の画像特徴と第１融合特徴に対して加算処理を行い、第１加算特徴を取得し、前記第２画像の画像特徴と第２融合特徴に対して加算処理を行い、第２加算特徴を取得する。

【0077】

幾つかの可能な実現形態において、第１融合特徴を得た場合、第１融合特徴を利用して第１画像のシングルフレーム情報の最適化処理を行うことができる。本願の実施例は、第１画像の画像特徴と第１融合特徴を加算するという方式で、該最適化処理を行うことができる。該加算は、第１融合特徴と第１画像の画像特徴との直接的加算を含んでもよく、第１融合特徴と第１画像の画像特徴との重み付け加算を含んでもよい。つまり、第１融合特徴及び第１画像の画像特徴をそれぞれ対応する重み付け係数に乗算した後に加算する。ここで、重み付け係数は、事前設定された数値であってもよく、ニューラルネットワークにより学習された数値であってもよく、本願は、これを具体的に限定するものではない。

【0078】

同様に、第２融合特徴を得た場合、第２融合特徴を利用して第２画像のシングルフレーム情報の最適化処理を行うことができる。本願の実施例は、第２画像の画像特徴と第２融合特徴を加算するという方式で、該最適化処理を行うことができる。該加算は、第２融合特徴と第２画像の画像特徴との直接的加算を含んでもよく、第２融合特徴と第２画像の画像特徴との重み付け加算を含んでもよい。つまり、第２融合特徴及び第２画像の画像特徴をそれぞれ対応する重み付け係数に乗算した後に加算する。ここで、重み付け係数は、事前設定された数値であってもよく、ニューラルネットワークにより学習された数値であってもよく、本願は、これを具体的に限定するものではない。

【0079】

本願の実施例は、第１画像の画像特徴と第１融合特徴に対して加算処理を行うタイミング、及び第２画像の画像特徴と第２融合特徴に対して加算処理を行うタイミングを具体的に限定するものではなく、両者は、別々に実行されてもよく、同時に実行されてもよい。

【0080】

上記加算処理により、融合特徴に元画像の特徴情報を更に追加することができる。シングルフレーム情報の最適化により、ネットワークの各段階でシングルフレーム画像の特徴情報を保留し、更に、最適化されたマルチフレーム情報に基づいてシングルフレーム情報を最適化することができる。なお、本願の実施例は、上記第１加算特徴及び第２加算特徴を直接的に第１最適化特徴及び第２最適化特徴とすることができる。また、後続の最適化処理を実行して特徴精度を更に向上させることができる。

【0081】

Ｓ２２２において、第２残余ブロックを利用して前記第１加算特徴及び前記第２加算特徴に対してそれぞれ最適化処理を行い、前記第１最適化特徴及び第２最適化特徴を取得する。

【0082】

幾つかの可能な実現形態において、第１加算特徴及び第２加算特徴を得た場合、第１加算特徴及び第２加算特徴に対して更に最適化処理を行うことができる。例えば、第１加算特徴及び第２加算特徴に対してそれぞれ畳み込み処理を行い、第１最適化特徴及び第２最適化特徴を取得することができる。本願の実施例は、特徴情報の融合及び正確度を効果的に向上させるために、残差ネットワークにより、第１加算特徴及び第２加算特徴に対する最適化処理をそれぞれ行う。ここの残差ネットワークは、第２残余ブロックと呼ばれる。第２残余ブロックにより、第１加算特徴及び第２加算特徴に対してそれぞれ符号化畳み込み、復号畳み込みなどの処理を行い、第１加算特徴及び第２加算特徴における特徴情報の更なる最適化及び融合を実現させ、第１加算特徴に対応する第１最適化特徴及び第２加算特徴に対応する第２最適化特徴をそれぞれ得る。

【0083】

上記実施形態により、第１画像及び第２画像におけるマルチフレーム情報の融合及びシングルフレーム情報の最適化処理を実現させ、第１画像の特徴情報の正確度を向上させる上で、他の画像の特徴情報を融合することもでき、フレーム間情報の融合により、再構成画像の正確度を向上させることができる。

【0084】

画像特徴の最適化を行った後、最適化特徴間の関連性を更に得て、該関連性に基づいて、画像を更に再構成することができる。図６は、本願の実施例による画像再構成方法のステップＳ３０を示すフローチャートである。

【0085】

図６に示すように、前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得ることは、以下のステップを含む。

【0086】

Ｓ３１において、前記第１最適化特徴と第２最適化特徴との間の関連付け行列を取得する。

【0087】

幾つかの可能な実現形態において、第１画像に対応する第１最適化特徴及び第２画像に対応する第２最適化特徴を得た場合、第１最適化特徴と第２最適化特徴との間の関連付け行列を更に得ることができる。関連付け行列は、第１最適化特徴及び第２最適化特徴における同一位置に対応する特徴情報間の関連度を表すことができる。該関連度は、第１画像及び第２画像における、同一の物体又は人物対象の変動状況を反映することができる。本願の実施例において、第１画像のスケールは、第２画像のスケールと同じであってもよく、得られた第１最適化特徴のスケールは、第２最適化特徴のスケールと同じである。

【0088】

得られた第１最適化特徴と第２最適化特徴、又は上記第１融合特徴と第２融合特徴、第１加算特徴と第２加算特徴、第１画像の画像特徴と第２画像の画像特徴のスケールが異なる場合にも、上記対応する特徴を同一のスケールに調整することもできる。例えば、プーリング処理により、該スケール調整操作を行う。

【0089】

なお、本願の実施例は、グラフ畳み込みニューラルネットワークにより、第１最適化特徴と第２最適化特徴との間の関連付け行列を得ることができる。つまり、第１最適化特徴及び第２最適化特徴をグラフ畳み込みニューラルネットワークに入力し、グラフ畳み込みニューラルネットワークにより、第１最適化特徴及び第２最適化特徴を処理し、両者間の関連付け行列を得ることができる。

【0090】

Ｓ３２において、前記第１最適化特徴と第２最適化特徴を接続し、第２接続特徴を取得する。

【0091】

幾つかの可能な実現形態において、第１最適化特徴及び第２最適化特徴に対して融合処理を行う過程において、第１最適化特徴と第２最適化特徴を接続することができる。例えば、チャネル方向で、第１最適化特徴と第２最適化特徴を接続することができる。本願の実施例は、ｃｏｎｃａｔ関数により該接続プロセスを実行し、第２接続特徴を取得することができる。

【0092】

なお、本願いの実施例は、ステップＳ３１及びＳ３２の実行工程を限定しなくてもよく、該２つのステップは同時に実行されてもよく、別々に実行されてもよい。

【0093】

Ｓ３３において、前記関連付け行列及び前記第２接続特徴に基づいて、前記融合特徴を得る。

【0094】

幾つかの可能な実現形態において、関連付け行列及び第３接続特徴を得た場合、活性化関数を利用して関連付け行列を処理することができる。該活性化関数は、ｓｏｆｔｍａｘ関数であってもよい。ここで、関連付け行列における関連度を入力パラメータとして、更に活性化関数を利用して少なくとも１つの入力パラメータを処理し、処理された関連付け行列を出力することができる。

【0095】

更に、本願の実施例は、活性化関数を利用して、処理された関連付け行列と第２接続特徴との積を活性化することで、融合特徴を得ることができる。

【0096】

上記実施例によれば、関連付け行列により、マルチフレーム画像における同一位置での特徴情報の融合を実行することができる。

【0097】

融合特徴を得た場合、更に、該融合特徴を利用して第１画像の再構成処理を行うことができる。ここで、第１画像の画像特徴と融合特徴を加算処理し、前記再構成画像に対応する画像特徴を得る。更に、該再構成画像の画像特徴に基づいて、再構成画像を決定することができる。該加算処理は、直接加算であってもよく、重み付け係数を利用した重み付け加算であってもよく、本願は、これを具体的に限定するものではない。ここで、再構成画像の画像特徴は、再構成画像の少なくとも１つの画素点の画素値に直接的に対応してもよい。従って、再構成画像の画像特徴を直接的に利用して再構成画像を得ることができる。なお、再構成画像の画像特徴を更に畳み込み処理し、特徴情報を更に融合すると共に、特徴精度を向上させる。続いて、畳み込み処理で得られた特徴に基づいて再構成画像を決定する。

【0098】

本願の実施例の画像再構成方法は、画像ノイズ除去、画像超解像及びぼけ修正処理のうちの少なくとも１つを実現させるために用いられる。画像再構成により、様々な程度で画像品質を向上させることができる。ここで、画像超解像処理を行う場合、ビデオデータにおける第１画像に対応する画像特徴及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得することは、
前記第１画像及び前記第２画像に対してアップサンプリング処理を行うことと、
アップサンプリング処理された前記第１画像及び第２画像に対して特徴抽出処理を行い、前記第１画像に対応する画像特徴及び前記第２画像に対応する画像特徴を得ることと、を含む。

【0099】

つまり、本願の実施例は、画像再構成を実行する過程において、まず、第１画像及び第２画像に対してアップサンプリング処理を行うことができる。例えば、少なくとも１回の畳み込み処理により、該アップサンプリング処理を行うか又は補間フィッティングの方式でアップサンプリング処理を行うことができる。アップサンプリング処理により、画像における特徴情報を豊にすることができる。なお、第１画像及び第２画像に対してアップサンプリング処理を行った後、本願の実施例の画像再構成方法を利用して、アップサンプリングされた第１画像及び第２画像に対して特徴最適化処理、及び後続の特徴融合並びに画像再構成処理を行うことができる。上記設定によれば、再構成画像の画像精度を更に向上させることができる。

【0100】

本願の実施例において、ビデオデータにおける第１画像の画像特徴及び第２画像の画像特徴に対する最適化処理により、第１画像に対応する第１最適化特徴及び第２画像に対応する第２最適化特徴を取得し、第１最適化特徴と第２最適化特徴との間の関連付け行列を利用して、第１最適化特徴と第２最適化特徴との特徴融合を行い、得られた融合特徴を利用して、第１画像を再構成することで、再構成画像を得ることができる。ここで、第１最適化特徴及び第２最適化特徴により得られた関連付け行列は、第１最適化特徴及び第２最適化特徴における同一位置での特徴情報間の関連性を表すことができる。関連付け特徴により、上記特徴融合を行う場合、フレーム間情報を、同一位置での異なる特徴の相関性応じて融合させ、得られた再構成画像の効果をより好適にすることができる。

【0101】

なお、本願の実施例を明らかにするために、以下、例を挙げて説明する。ここで、本願の実施例のビデオにおける画像の再構成を実現させるプロセスは、以下のプロセスを含んでもよい。

【0102】

１において、マルチフレーム情報融合パス（ｍｉｘｉｎｇｐａｔｈ）を利用する。まず、接続（ｃｏｎｃａｔ）の方式で、マルチフレーム情報を単純に融合し、続いて、畳み込み層により最適化を行った後、シングルフレーム情報の空間に変換して出力する。

【0103】

図７は、本願の実施例による画像再構成方法を実現させるニューラルネットワークの構造を示す概略図である。ここで、図７に示すように、まず、ビデオデータにおけるｔフレーム目の画像及びｔ＋１フレーム目の画像を取得する。ここで、ニューラルネットワークにおけるネットワーク部Ａは、画像特徴の特徴最適化処理の実現に用いられ、ネットワーク部Ｂは、特徴融合処理及び画像再構成処理の実現に用いられる。

【0104】

ニューラルネットワークの入力は、ｔフレームの特徴情報（画像特徴）Ｆ１及びｔ＋１フレームの特徴情報（画像特徴）Ｆ２であってもよく、又は、直接的に、ｔフレーム目の画像及びｔ＋１フレーム目の画像であってもよい。

【0105】

出力は、ｔフレームの画像に対応する最適化されたマルチフレーム融合情報（第１融合特徴）、ｔ＋１フレームに対応する最適化されたマルチフレーム融合情報（第２融合特徴）である。

【0106】

融合方法：
まず、ｃｏｎｃａｔ関数を利用して２フレームの画像の画像特徴信息を単純に接続融合し、続いて、残余ブロック（ｒｅｓｉｄｕａｌｂｌｏｃｋ）により、融合情報を最適化し、最適化された融合情報に対して、それぞれ２つの１＊１の畳み込み層を利用して、２フレームにそれぞれ対応する最適化情報を得る。

【0107】

２において、シングルフレーム最適化パス（ｓｅｌｆ－ｒｅｆｉｎｉｎｇｐａｔｈ）を利用する。ネットワークの各段階で、シングルフレームの特徴情報を保留し、続いて、最適化されたマルチフレーム情報に基づいて、シングルフレーム情報を最適化する。

【0108】

ｔフレームを例として、前段階のｔフレームの情報（画像特徴）と対応する最適化された融合情報（第１融合特徴）を加算した後、残余ブロック（ｒｅｓｉｄｕａｌｂｌｏｃｋ）により最適化を行い、第１最適化特徴Ｆ３を得る。ｔ＋１フレームに対して、同様な処理を行った後、第２最適化特徴Ｆ４を得る。

【0109】

３において、画素関連付けモジュールを利用する。モデル全体の最終段階（Ｂ部）で、画素関連付けモジュールを利用してマルチフレーム間の関連付け行列を算出し、続いて、関連付け行列に基づいて、マルチフレーム情報を融合する。

【0110】

グラフ畳み込みニューラルネットワークに基づいて、ｔフレームの第１最適化特徴とｔ＋１フレームの第２最適化特徴との間の関連付け行列（ａｄｊａｃｅｎｃｙｍａｔｒｉｘ）を算出し、続いて、該関連付け行列を利用してｔフレームの特徴情報とｔ＋１フレームの特徴情報を融合し、最適化された、ｔフレームの情報及びｔ＋１フレームの情報を融合した融合特徴を得る。

【0111】

本願の実施例は、２フレームの特徴情報（第１最適化特徴及び第２最適化特徴）のｃｏｎｃａｔｅｎａｔｉｏｎ接続結果（第２接続特徴）を１ｄｃｏｎｖｏｌｕｔｉｏｎａｌｌａｙｅｒ（１次元畳み込み層）に入力して関連付け行列を算出する。続いて、関連付け行列に対してｓｏｆｔｍａｘ操作を行った後、２フレームの特徴情報のｃｏｎｃａｔｅｎａｔｉｏｎ結果に乗算し、２フレームの最適化情報（融合特徴）Ｆ５を得る。

【0112】

４において、スキップ接続（ｓｋｉｐｃｏｎｎｅｃｔｉｏｎ）を利用する。最後にネットワークにおいてｓｋｉｐｃｏｎｎｅｃｔｉｏｎを利用して、ネットワークに入力された現在のフレームであるｔフレームと最適化された特徴情報を加算することで、最終的再構成画像を得る。

【0113】

つまり、融合特徴Ｆ５とｔフレーム画像の画像特徴Ｆ１を加算処理し、再構成画像の画像特徴Ｆ，を得て、続いて、再構成画像を直接的に得ることができる。

【0114】

要するに、本願の実施例において、ビデオデータにおける第１画像の画像特徴及び第２画像の画像特徴に対する最適化処理により、第１画像に対応する第１最適化特徴及び第２画像に対応する第２最適化特徴を取得し、第１最適化特徴と第２最適化特徴との間の関連付け行列を利用して、第１最適化特徴と第２最適化特徴との特徴融合を行い、得られた融合特徴を利用して第１画像を再構成することで再構成画像を得ることができる。ここで、第１最適化特徴及び第２最適化特徴により得られた関連付け行列は、第１最適化特徴及び第２最適化特徴における同一位置での特徴情報間の関連性を表すことができる。関連付け特徴により、上記特徴融合を行う場合、フレーム間情報を、同一位置での異なる特徴の相関性に応じて融合させ、更に、画像再構成効果を向上させることができる。本願の実施例は、シングルフレームの情報を効果的に保留するだけでなく、複数回融合したフレーム間情報を十分に利用した。

【0115】

なお、本願の実施例は、グラフ畳み込みの方式に基づいて、フレーム間情報の相関性を利用してフレーム間情報を最適化し、特徴精度を更に向上させることができる。

【0116】

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

【0117】

本願で言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本願において逐一説明しないことが理解されるべきである。

【0118】

なお、本願は、画像再構成装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本願で提供されるいずれか１つの画像再構成方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

【0119】

図８は、本願の実施例による画像再構成装置を示すブロック図である。図８に示すように、前記画像再構成装置は、
ビデオデータにおける第１画像に対応する画像特徴、及び前記第１画像に隣接する第２画像にそれぞれ対応する画像特徴を取得するように構成される取得モジュール１０と、
前記第１画像の画像特徴及び第２画像の画像特徴に対して特徴最適化処理を行い、前記第１画像に対応する第１最適化特徴及び前記第２画像に対応する第２最適化特徴をそれぞれ得るように構成される最適化モジュール２０と、
前記第１最適化特徴と第２最適化特徴との間の関連付け行列に基づいて、前記第１最適化特徴及び第２最適化特徴に対して特徴融合処理を行い、融合特徴を得るように構成される関連付けモジュール３０と、
前記融合特徴を利用して前記第１画像に対して画像再構成処理を行い、前記画像に対応する再構成画像を得るように構成される再構成モジュール４０と、を備える。

【0120】

【0121】

幾つかの可能な実現形態において、前記最適化モジュールは、
前記第１画像の画像特徴及び第２画像の画像特徴に対してマルチフレーム情報融合処理を行い、前記第１画像に対応する第１融合特徴及び前記第２画像に対応する第２融合特徴を得るように構成されるマルチフレーム融合ユニットであって、前記第１融合特徴に前記第２画像の特徴情報が融合されており、前記第２融合特徴に前記第１画像の特徴情報が融合されている、マルチフレーム融合ユニットと、
前記第１融合特徴を利用して前記第１画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第１最適化特徴を取得し、前記第２融合特徴を利用して前記第２画像の画像特徴に対してシングルフレーム最適化処理を行い、前記第２最適化特徴を取得するように構成されるシングルフレーム最適化ユニットと、を備える。
幾つかの可能な実現形態において、前記マルチフレーム融合ユニットは更に、前記第１画像の画像特徴と前記第２画像の画像特徴を接続し、第１接続特徴を取得し、
第１残余ブロックを利用して前記第１接続特徴を最適化処理し、第３最適化特徴を取得し、
２つの畳み込み層を利用して前記第３最適化特徴に対してそれぞれ畳み込み処理を行い、前記第１融合特徴及び第２融合特徴を得るように構成される。

【0122】

【0123】

【0124】

【0125】

【0126】

【0127】

【0128】

【0129】

幾つかの実施例において、本願の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

【0130】

本願の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

【0131】

本願の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリとを備え、前記プロセッサは、上記方法を実行するように構成される。

【0132】

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

【0133】

図９は本願の実施例による電子機器を示すブロック図である。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

【0134】

図９を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

【0135】

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

【0136】

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作れる如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、読出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

【0137】

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

【0138】

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又は映像モードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

【0139】

オーディオコンポーネント８１０は、オーディオ信号を出力／入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

【0140】

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

【0141】

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、収音音量制御用装置のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、ＣＭＯＳ又はＣＣＤ画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

【0142】

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、４ＧＬＴＥ、５ＧＮＲ又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術に基づいて実現される。

【0143】

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

【0144】

例示的な実施例において、コンピュータプログラム命令を含むメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

【0145】

図１０は、本願の実施例によるもう１つの電子機器を示すブロック図である。例えば、電子機器１９００は、サーバとして提供されてもよい。図１０を参照すると、電子機器１９００は、処理コンポーネント１９２２を備える。それは1つ又は複数のプロセッサと、メモリ１９３２で表されるメモリリソースを更に備える。該メモリリソースは、アプリケーションプログラムのような、処理コンポーネント１９２２により実行される命令を記憶するためのものである。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれ一組の命令に対応する１つ又は1つ以上のモジュールを含んでもよい。なお、処理コンポーネント１９２２は、命令を実行して、上記方法を実行するように構成される。

【0146】

電子機器１９００は、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力出力（Ｉ／Ｏ）インタフェース１９５８を更に備えてもよい。電子機器１９００は、ＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ、ＭａｃＯＳＸＴＭ、ＵｎｉｘＴＭ，ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭ又は類似した、メモリ９３２に記憶されているオペレーティングシステムを実行することができる。

【0147】

例示的な実施例において、例えば、コンピュータプログラム命令を含むメモリ１９３２のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２により実行されて上記方法を完了する。

【0148】

本願は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

【0149】

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

【0150】

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

【0151】

本願の操作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現させることができる。

【0152】

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

【0153】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

【0154】

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

【0155】

図面におけるフローチャート及びブロック図は、本願の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

【0156】

以上は本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

【図1】