特表2022-516452 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンチェン　センスタイム　テクノロジー　カンパニー　リミテッドの特許一覧

特表2022-516452データ処理方法および装置、電子機器ならびに記憶媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1a
1b
1c
2
3a
3b
3c
3d
4
5
6

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-28

(54)【発明の名称】データ処理方法および装置、電子機器ならびに記憶媒体

(51)【国際特許分類】

G06N 3/04 20060101AFI20220218BHJP

【ＦＩ】

G06N3/04

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021537055

(86)(22)【出願日】2019-04-22

(85)【翻訳文提出日】2021-06-23

(86)【国際出願番号】 CN2019083642

(87)【国際公開番号】W WO2020172979

(87)【国際公開日】2020-09-03

(31)【優先権主張番号】201910139050.0

(32)【優先日】2019-02-25

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェンセンスタイムテクノロジーカンパニーリミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村光嗣

(74)【代理人】

【識別番号】100211395

【弁理士】

【氏名又は名称】鈴木裕貴

(72)【発明者】

【氏名】ルオピン

(72)【発明者】

【氏名】ウーリンイン

(72)【発明者】

【氏名】ペンチャンリン

(72)【発明者】

【氏名】チャンルイマオ

(72)【発明者】

【氏名】レンチアミン

(72)【発明者】

【氏名】シャオウェンチィ

(57)【要約】

本開示はデータ処理方法および装置、電子機器ならびに記憶媒体に関し、前記方法は、入力データをニューラルネットワークモデルに入力し、ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得すること（Ｓ１００）と、ニューラルネットワークモデルの変換パラメータに応じて、特徴データに適合する正規化方式を決定すること（Ｓ２００）と、決定された正規化方式に従って特徴データを正規化処理し、正規化後の特徴データを得ること（Ｓ３００）と、を含み、変換パラメータは特徴データの統計量の統計範囲を調整するためのものであり、統計範囲は正規化方式を表すためのものである。本開示の実施例は人的介入を伴わずにニューラルネットワークモデルの正規化層毎に適合する正規化方式を自律的に学習して得るという目的を達成できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得することと、
前記ニューラルネットワークモデルの変換パラメータに応じて、前記特徴データに適合する正規化方式を決定することと、
決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含み、
前記変換パラメータは前記特徴データの統計量の統計範囲を調整するためのものであり、前記統計範囲は正規化方式を表すためのものであることを特徴とする、データ処理方法。

【請求項2】

前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得することと、
複数の前記サブ行列の内積を計算して、前記変換パラメータを得ることと、をさらに含むことを特徴とする、請求項１に記載の方法。

【請求項3】

前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得することは、
前記ゲーティングパラメータを符号関数で処理して、二値化ベクトルを得ることと、
置換行列を用いて前記二値化ベクトルの要素を置換して、二値化ゲーティングベクトルを生成することと、
前記二値化ゲーティングベクトル、第一基礎行列および第二基礎行列に基づき、複数の前記サブ行列を得ることと、を含むことを特徴とする、請求項２に記載の方法。

【請求項4】

前記変換パラメータは第一変換パラメータ、第二変換パラメータ、第三変換パラメータおよび第四変換パラメータを含み、
前記第一変換パラメータの次元および前記第三変換パラメータの次元は前記特徴データのバッチサイズ次元に基づくものであり、前記第二変換パラメータの次元および前記第四変換パラメータの次元は前記特徴データのチャネル次元に基づくものであり、
前記バッチサイズ次元は前記特徴データを含むデータバッチのデータ数であり、前記チャネル次元は前記特徴データのチャネル数であることを特徴とする、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ニューラルネットワークにおける変換パラメータに応じて、前記特徴データに適合する正規化方式を決定することは、
平均値および標準偏差を含む、前記特徴データの統計量の統計範囲を第一範囲として決定することと、
前記第一変換パラメータおよび前記第二変換パラメータに応じて、前記平均値の統計範囲を前記第一範囲から第二範囲に調整することと、
前記第三変換パラメータおよび前記第四変換パラメータに応じて、前記標準偏差の統計範囲を前記第一範囲から第三範囲に調整することと、
前記第二範囲および前記第三範囲に基づき、前記正規化方式を決定することと、を含むことを特徴とする、請求項４に記載の方法。

【請求項6】

前記第一範囲は、前記特徴データの各サンプル特徴データの各チャネル毎の範囲であることを特徴とする、請求項４に記載の方法。

【請求項7】

決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得ることは、
前記第一範囲に従って、前記特徴データの統計量を取得することと、
前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含むことを特徴とする、請求項５に記載の方法。

【請求項8】

前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることは、
前記平均値、前記第一変換パラメータおよび前記第二変換パラメータに基づき、第一正規化パラメータを得ることと、
前記標準偏差、前記第三変換パラメータおよび前記第四変換パラメータに基づき、第二正規化パラメータを得ることと、
前記特徴データ、前記第一正規化パラメータおよび前記第二正規化パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含むことを特徴とする、請求項７に記載の方法。

【請求項9】

前記変換パラメータは、各要素の値が０または１である二値化行列を含むことを特徴とする、請求項１に記載の方法。

【請求項10】

前記ゲーティングパラメータは連続値ベクトルであり、
前記ゲーティングパラメータの値の数は前記サブ行列の数と同じであることを特徴とする、請求項２に記載の方法。

【請求項11】

前記第一基礎行列は要素が全て１の行列であり、第二基礎行列は単位行列であることを特徴とする、請求項３に記載の方法。

【請求項12】

入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する前に、
サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルを得ることを、さらに含み、
前記サンプルデータセット内の各入力データはラベル付け情報を有することを特徴とする、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記ニューラルネットワークモデルは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練することは、
前記ネットワーク層によって、前記サンプルデータセット内の各入力データに対して特徴抽出を行い、各予測特徴データを得ることと、
前記正規化層によって、各前記予測特徴データを正規化処理し、正規化後の予測特徴データを得ることと、
各前記予測特徴データおよびラベル付け情報に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づき、前記正規化層の前記変換パラメータを調整することと、を含むことを特徴とする、請求項１２に記載の方法。

【請求項14】

入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得するためのデータ入力モジュールと、
前記ニューラルネットワークモデルの変換パラメータに応じて、前記特徴データに適合する正規化方式を決定するための方式決定モジュールと、
決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理モジュールと、を含み、
前記変換パラメータは前記特徴データの統計量の統計範囲を調整するためのものであり、前記統計範囲は正規化方式を表すためのものであることを特徴とする、データ処理装置。

【請求項15】

前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得するためのサブ行列取得モジュールと、
複数の前記サブ行列の内積を計算して、前記変換パラメータを得るための変換パラメータ取得モジュールと、をさらに含むことを特徴とする、請求項１４に記載の装置。

【請求項16】

前記サブ行列取得モジュールは、
前記ゲーティングパラメータを符号関数で処理して、二値化ベクトルを得るためのパラメータ処理サブモジュールと、
置換行列を用いて前記二値化ベクトルの要素を置換して、二値化ゲーティングベクトルを生成するための要素置換サブモジュールと、
前記二値化ゲーティングベクトル、第一基礎行列および第二基礎行列に基づき、複数の前記サブ行列を得るためのサブ行列取得サブモジュールと、を含むことを特徴とする、請求項１５に記載の装置。

【請求項17】

【請求項18】

前記方式決定モジュールは、
平均値および標準偏差を含む、前記特徴データの統計量の統計範囲を第一範囲として決定するための第一決定サブモジュールと、
前記第一変換パラメータおよび前記第二変換パラメータに応じて、前記平均値の統計範囲を前記第一範囲から第二範囲に調整するための第一調整サブモジュールと、
前記第三変換パラメータおよび前記第四変換パラメータに応じて、前記標準偏差の統計範囲を前記第一範囲から第三範囲に調整するための第二調整サブモジュールと、
前記第二範囲および前記第三範囲に基づき、前記正規化方式を決定するための方式決定サブモジュールと、を含むことを特徴とする、請求項１７に記載の装置。

【請求項19】

前記第一範囲は、前記特徴データの各サンプル特徴データの各チャネル毎の範囲であることを特徴とする、請求項１８に記載の装置。

【請求項20】

前記正規化処理モジュールは、
前記第一範囲に従って、前記特徴データの統計量を取得するための統計量取得サブモジュールと、
前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理サブモジュールと、を含むことを特徴とする、請求項１８に記載の装置。

【請求項21】

前記正規化処理サブモジュールは、
前記平均値、前記第一変換パラメータおよび前記第二変換パラメータに基づき、第一正規化パラメータを得るための第一パラメータ取得ユニットと、
前記標準偏差、前記第三変換パラメータおよび前記第四変換パラメータに基づき、第二正規化パラメータを得るための第二パラメータ取得ユニットと、
前記特徴データ、前記第一正規化パラメータおよび前記第二正規化パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得るためのデータ処理ユニットと、を含むことを特徴とする、請求項２０に記載の装置。

【請求項22】

前記変換パラメータは、各要素の値が０または１である二値化行列を含むことを特徴とする、請求項１４に記載の装置。

【請求項23】

前記ゲーティングパラメータは連続値ベクトルであり、
前記ゲーティングパラメータの値の数は前記サブ行列の数と同じであることを特徴とする、請求項１５に記載の装置。

【請求項24】

前記第一基礎行列は要素が全て１の行列であり、第二基礎行列は単位行列であることを特徴とする、請求項１６に記載の装置。

【請求項25】

前記データ入力モジュールが入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する前に、サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルを得るためのモデル訓練モジュールを、さらに含み、
前記サンプルデータセット内の各入力データはラベル付け情報を有することを特徴とする、請求項１４から２４のいずれか一項に記載の装置。

【請求項26】

前記ニューラルネットワークモデルは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記モデル訓練モジュールは、
前記ネットワーク層によって、前記サンプルデータセット内の各入力データに対して特徴抽出を行い、各予測特徴データを得るための特徴抽出サブモジュールと、
前記正規化層によって、各前記予測特徴データを正規化処理し、正規化後の予測特徴データを得るための予測特徴データ取得サブモジュールと、
各前記予測特徴データおよびラベル付け情報に基づいて、ネットワーク損失を得るためのネットワーク損失取得サブモジュールと、
前記ネットワーク損失に基づき、前記正規化層の前記変換パラメータを調整するための変換パラメータ調整サブモジュールと、を含むことを特徴とする、請求項２５に記載の装置。

【請求項27】

プロセッサと、
プロセッサにより実行可能な指令を記憶するためのメモリと、を含み、
前記プロセッサは、請求項１から１３のいずれか一項に記載の方法を実行するように構成されることを特徴とする、電子機器。

【請求項28】

コンピュータプログラム指令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム指令はプロセッサにより実行されると、請求項１から１３のいずれか一項に記載の方法を実現させることを特徴とする、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本願は２０１９年２月２５日に中国特許局へ提出された、出願番号２０１９１０１３９０５０．０、出願の名称「データ処理方法および装置、電子機器ならびに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

【技術分野】

【0002】

本発明は、コンピュータビジョンの技術分野に関し、特にデータ処理方法および装置、電子機器ならびに記憶媒体に関する。

【背景技術】

【0003】

自然言語処理、音声認識、コンピュータビジョンなどの挑戦的なタスクにおいて、様々な正規化技術は深層学習に不可欠なモジュールとなっている。正規化技術とは、ニューラルネットワークをより容易に収束可能にするように、ニューラルネットワークにおける入力データを正規化処理し、データを平均値０、標準偏差１の分布または範囲０～１の分布にすることをいう。

【発明の概要】

【0004】

本開示はデータ処理方法および装置、電子機器ならびに記憶媒体を提供する。

【0005】

本開示の一態様によれば、
入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得することと、
前記ニューラルネットワークモデルの変換パラメータに応じて、前記特徴データに適合する正規化方式を決定することと、
決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含み、
前記変換パラメータは前記特徴データの統計量の統計範囲を調整するためのものであり、前記統計範囲は正規化方式を表すためのものであるデータ処理方法が提供される。

【0006】

可能な一実施形態では、
前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得することと、
複数の前記サブ行列の内積を計算して、前記変換パラメータを得ることと、をさらに含む。

【0007】

可能な一実施形態では、前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得することは、
前記ゲーティングパラメータを符号関数で処理して、二値化ベクトルを得ることと、
置換行列を用いて前記二値化ベクトルの要素を置換して二値化ゲーティングベクトルを生成することと、
前記二値化ゲーティングベクトル、第一基礎行列および第二基礎行列に基づき、複数の前記サブ行列を得ることと、を含む。

【0008】

可能な一実施形態では、前記変換パラメータは第一変換パラメータ、第二変換パラメータ、第三変換パラメータおよび第四変換パラメータを含み、
前記第一変換パラメータの次元および前記第三変換パラメータの次元は前記特徴データのバッチサイズ次元に基づくものであり、前記第二変換パラメータの次元および前記第四変換パラメータの次元は前記特徴データのチャネル次元に基づくものであり、
前記バッチサイズ次元は前記特徴データを含むデータバッチのデータ数であり、前記チャネル次元は前記特徴データのチャネル数である。

【0009】

可能な一実施形態では、前記ニューラルネットワークにおける変換パラメータに応じて、前記特徴データに適合する正規化方式を決定することは、
平均値および標準偏差を含む、前記特徴データの統計量の統計範囲を第一範囲として決定することと、
前記第一変換パラメータおよび前記第二変換パラメータに応じて、前記平均値の統計範囲を前記第一範囲から第二範囲に調整することと、
前記第三変換パラメータおよび前記第四変換パラメータに応じて、前記標準偏差の統計範囲を前記第一範囲から第三範囲に調整することと、
前記第二範囲および前記第三範囲に基づき、前記正規化方式を決定することと、を含む。

【0010】

可能な一実施形態では、前記第一範囲は前記特徴データの各サンプル特徴データの各チャネル毎の範囲である。

【0011】

可能な一実施形態では、決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得ることは、
前記第一範囲に従って、前記特徴データの統計量を取得することと、
前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含む。

【0012】

可能な一実施形態では、前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることは、
前記平均値、前記第一変換パラメータおよび前記第二変換パラメータに基づき、第一正規化パラメータを得ることと、
前記標準偏差、前記第三変換パラメータおよび前記第四変換パラメータに基づき、第二正規化パラメータを得ることと、
前記特徴データ、前記第一正規化パラメータおよび前記第二正規化パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得ることと、を含む。

【0013】

可能な一実施形態では、前記変換パラメータは、各要素の値が０または１である二値化行列を含む。

【0014】

可能な一実施形態では、前記ゲーティングパラメータは連続値ベクトルであり、
前記ゲーティングパラメータの値の数は前記サブ行列の数と同じである。

【0015】

可能な一実施形態では、前記第一基礎行列は要素が全て１の行列であり、第二基礎行列は単位行列である。

【0016】

可能な一実施形態では、入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する前に、
サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルを得ること、をさらに含み、
前記サンプルデータセット内の各入力データはラベル付け情報を有する。

【0017】

可能な一実施形態では、前記ニューラルネットワークモデルは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練することは、
前記ネットワーク層によって、前記サンプルデータセット内の各入力データに対して特徴抽出を行い、各予測特徴データを得ることと、
前記正規化層によって、各前記予測特徴データを正規化処理し、正規化後の予測特徴データを得ることと、
各前記予測特徴データおよびラベル付け情報に基づいて、ネットワーク損失を得ることと、
前記ネットワーク損失に基づき、前記正規化層の前記変換パラメータを調整することと、を含む。

【0018】

本開示の一態様によれば、
入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得するためのデータ入力モジュールと、
前記ニューラルネットワークモデルの変換パラメータに応じて、前記特徴データに適合する正規化方式を決定するための方式決定モジュールと、
決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理モジュールと、を含み、
前記変換パラメータは前記特徴データの統計量の統計範囲を調整するためのものであり、前記統計範囲は正規化方式を表すためのものであるデータ処理装置がさらに提供される。

【0019】

可能な一実施形態では、
前記ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得するためのサブ行列取得モジュールと、
複数の前記サブ行列の内積を計算して、前記変換パラメータを得るための変換パラメータ取得モジュールと、をさらに含む。

【0020】

可能な一実施形態では、前記サブ行列取得モジュールは、
前記ゲーティングパラメータを符号関数で処理して、二値化ベクトルを得るためのパラメータ処理サブモジュールと、
置換行列を用いて前記二値化ベクトルの要素を置換して二値化ゲーティングベクトルを生成するための要素置換サブモジュールと、
前記二値化ゲーティングベクトル、第一基礎行列および第二基礎行列に基づき、複数の前記サブ行列を得るためのサブ行列取得サブモジュールと、を含む。

【0021】

【0022】

可能な一実施形態では、前記方式決定モジュールは、
平均値および標準偏差を含む、前記特徴データの統計量の統計範囲を第一範囲として決定するための第一決定サブモジュールと、
前記第一変換パラメータおよび前記第二変換パラメータに応じて、前記平均値の統計範囲を前記第一範囲から第二範囲に調整するための第一調整サブモジュールと、
前記第三変換パラメータおよび前記第四変換パラメータに応じて、前記標準偏差の統計範囲を前記第一範囲から第三範囲に調整するための第二調整サブモジュールと、
前記第二範囲および前記第三範囲に基づき、前記正規化方式を決定するための方式決定サブモジュールと、を含む。

【0023】

可能な一実施形態では、前記第一範囲は前記特徴データの各サンプル特徴データの各チャネル毎の範囲である。

【0024】

可能な一実施形態では、前記正規化処理モジュールは、
前記第一範囲に従って、前記特徴データの統計量を取得するための統計量取得サブモジュールと、
前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理サブモジュールと、を含む。

【0025】

可能な一実施形態では、前記正規化処理サブモジュールは、
前記平均値、前記第一変換パラメータおよび前記第二変換パラメータに基づき、第一正規化パラメータを得るための第一パラメータ取得ユニットと、
前記標準偏差、前記第三変換パラメータおよび前記第四変換パラメータに基づき、第二正規化パラメータを得るための第二パラメータ取得ユニットと、
前記特徴データ、前記第一正規化パラメータおよび前記第二正規化パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得るためのデータ処理ユニットと、を含む。

【0026】

可能な一実施形態では、前記変換パラメータは、各要素の値が０または１である二値化行列を含む。

【0027】

【0028】

可能な一実施形態では、前記第一基礎行列は要素が全て１の行列であり、第二基礎行列は単位行列である。

【0029】

可能な一実施形態では、
前記データ入力モジュールが入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する前に、サンプルデータセットに基づいて前記ニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルを得るためのモデル訓練モジュールを、さらに含み、
前記サンプルデータセット内の各入力データはラベル付け情報を有する。

【0030】

可能な一実施形態では、前記ニューラルネットワークモデルは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含み、
前記モデル訓練モジュールは、
前記ネットワーク層によって、前記サンプルデータセット内の各入力データに対して特徴抽出を行い、各予測特徴データを得るための特徴抽出サブモジュールと、
前記正規化層によって、各前記予測特徴データを正規化処理し、正規化後の予測特徴データを得るための予測特徴データ取得サブモジュールと、
各前記予測特徴データおよびラベル付け情報に基づいて、ネットワーク損失を得るためのネットワーク損失取得サブモジュールと、
前記ネットワーク損失に基づき、前記正規化層の前記変換パラメータを調整するための変換パラメータ調整サブモジュールと、を含む。

【0031】

本開示の一態様によれば、
プロセッサと、
プロセッサにより実行可能な指令を記憶するためのメモリと、を含み、
前記プロセッサは、上記のいずれかに記載の方法を実行するように構成される電子機器がさらに提供される。

【0032】

本開示の一態様によれば、コンピュータプログラム指令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム指令はプロセッサにより実行されると、上記のいずれかに記載の方法を実現させるコンピュータ可読記憶媒体がさらに提供される。

【0033】

本開示の実施例では、特徴データを取得した後、ニューラルネットワークモデルにおける変換パラメータに応じて、特徴データに適合する正規化方式を決定し、さらに決定された正規化方式に従って特徴データを正規化処理することで、人的介入を伴わずにニューラルネットワークモデルの正規化層毎に適合する正規化方式を自律的に学習して得るという目的を達成し、それにより、特徴データを正規化処理する時に、より柔軟性を持たせ、その結果、データ正規化処理の適性を効果的に向上させる。

【0034】

以上の一般的な説明および以下の詳細な説明は解釈するための例示的なものにすぎず、本開示を制限するものではないことを理解されたい。

【0035】

以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴および態様は明瞭になる。

【図面の簡単な説明】

【0036】

ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術方案を説明するために用いられる。

【図1】図１ａ～図１ｃは、本開示の実施例に係るデータ処理方法において統計量の統計範囲によって正規化方式を表す模式図を示す。

【図2】図２は、本開示の実施例に係るデータ処理方法のフローチャートを示す。

【図3】図３ａ～図３ｄは、本開示の実施例に係るデータ処理方法における変換パラメータの異なる表明方式の模式図を示す。

【図4】図４は、本開示の実施例に係るデータ処理装置のブロック図を示す。

【図5】図５は、本開示の実施例に係る電子機器のブロック図を示す。

【図6】図６は、本開示の実施例に係る電子機器のブロック図を示す。

【発明を実施するための形態】

【0037】

以下に図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面における同じ符号は同じまたは類似する機能の素子を表す。図面において実施例の様々な態様を示したが、特に断らない限り、比例に従って図面を作る必要がない。

【0038】

ここで、「例示的な」という専用の言葉は、「例、実例または例示として用いられる」ことを意味する。ここで「例示的」として説明されるいかなる実施例は、他の実施例より好適または有利であると解釈される必要がない。

【0039】

本明細書の用語の「および／または」は、関連対象の関連関係を記述するためのものに過ぎず、三つの関係が存在可能であることを示し、例えば、Ａおよび／またはＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという三つの場合を示してもよい。また、本明細書の用語の「少なくとも一種」は多種のうちのいずれか一種、または多種のうちの少なくとも二種の任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも一種を含むということは、Ａ、ＢおよびＣから構成される集合から選択されるいずれか一つまたは複数の要素を含むことを示してもよい。

【0040】

また、本開示をよりよく説明するために、以下の具体的な実施形態において様々な具体的詳細を示す。当業者であれば、何らかの具体的詳細がなくなるにも関わらず、本開示は同様に実施できるということを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するよう、当業者に対する既知の方法、手段、素子および回路に対して詳細な説明を省略する。

【0041】

まず、説明すべきは、本開示のデータ処理方法はニューラルネットワークモデルにおける特徴データ（例えば、特徴マップ）を正規化処理する技術方案である点である。ここで、ニューラルネットワークモデルの正規化層において、特徴データを正規化処理する時、異なる正規化方式は統計量（平均値および分散であり得る）の異なる統計範囲に応じて特徴付けてもよい。

【0042】

例を挙げれば、図１ａから図１ｃは統計量の異なる統計範囲が異なる正規化方式を表す模式図を示す。図１ａから図１ｃを参照すると、特徴データがニューラルネットワークモデルにおける一つの４次元の隠れ層特徴マップである場合、

である。ここで、Ｆは特徴データであり、Ｒは特徴データの次元である。Ｎは該データバッチ内のサンプル量を表し、Ｃは特徴データのチャネル数を表し、ＨおよびＷはそれぞれ特徴データの一つのチャネルの高さおよび幅を表す。

【0043】

該特徴データを正規化処理する時、まず該特徴データＦ上で統計量平均値μおよび分散σ^２を計算して、正規化操作を行ってから同じ次元の特徴データＦ^を出力する必要があり、関連技術では、下式（１）で表してもよい。

【数1】

【0044】

【0045】

【0046】

【0047】

【0048】

図２は本開示の実施例に係るデータ処理方法のフローチャートを示す。図２を参照すると、本開示のデータ処理方法は以下を含んでもよい。

【0049】

ステップＳ１００、入力データをニューラルネットワークモデルに入力し、ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する。ここで、指摘しておきたいのは、ニューラルネットワークモデルは畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）または長期短期記憶ネットワーク（ＬＳＴＭ）、または画像分類（ＩｍａｇｅＮｅｔ）、目標検出と分割（ＣＯＣＯ）、映像認識（Ｋｉｎｅｔｉｃｓ）、画像スタイル化および筆跡生成などの様々なビジョンタスクを実現するニューラルネットワークであってもよいということである。

【0050】

同時に、当業者であれば、入力データは少なくとも一つのサンプルデータを含み得ることが理解される。例えば、入力データは複数の画像を含んでもよいし、一つの画像を含んでもよい。入力データをニューラルネットワークモデルに入力する時、ニューラルネットワークモデルによって入力データ内の各サンプルデータに対して対応する処理を行う。また、ニューラルネットワークモデルにおけるネットワーク層は畳み込み層であってもよく、畳み込み層によって入力データに対して特徴抽出を行い、対応する特徴データを取得する。ここで、入力データが複数のサンプルデータを含む場合、対応する特徴データは対応して複数のサンプル特徴データを含む。

【0051】

ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得した後、ニューラルネットワークモデルの変換パラメータに応じて、特徴データに適合する正規化方式を決定するステップＳ２００を実行できる。ここで、変換パラメータは特徴データの統計量の統計範囲を調整するためのものであり、統計量の統計範囲は正規化方式を表すためのものである。なお、説明すべきは、変換パラメータはニューラルネットワークモデルにおける学習可能なパラメータである点である。即ち、ニューラルネットワークモデルの訓練プロセスにおいて、異なる入力データに基づいて異なる値の変換パラメータを学習および訓練して得ることができる。こうして、変換パラメータで異なる値を学習したことによって、統計量の統計範囲に対する異なる調整を実現し、それにより異なる入力データについて異なる正規化方式を採用するという目的を達成する。

【0052】

適合する正規化方式を決定した後、決定された正規化方式に従って特徴データを正規化処理し、正規化後の特徴データを得るステップＳ３００を実行できる。

【0053】

こうして、本開示のデータ処理方法は、特徴データを取得した後、ニューラルネットワークモデルにおける変換パラメータに応じて、特徴データに適合する正規化方式を決定し、さらに決定された正規化方式に従って特徴データを正規化処理することで、人的介入を伴わずにニューラルネットワークモデルの正規化層毎に適合する正規化方式を学習して得るという目的を達成し、それにより、特徴データを正規化処理する時に、より柔軟性を持たせ、その結果、データ正規化処理の適性を効果的に向上させる。

【0054】

可能な一実施形態では、変換パラメータは第一変換パラメータ、第二変換パラメータ、第三変換パラメータおよび第四変換パラメータを含んでもよい。そのうち、第一変換パラメータおよび第二変換パラメータは統計量のうちの平均値の統計範囲を調整するためのものであり、第三変換パラメータおよび第四変換パラメータは統計量のうちの標準偏差の統計範囲を調整するためのものである。また、第一変換パラメータの次元および第三変換パラメータの次元はいずれも特徴データのバッチサイズ次元に基づくものであり、第二変換パラメータの次元および第四変換パラメータの次元はいずれも特徴データのチャネル次元に基づくものである。ここで、当業者であれば、バッチサイズ次元は特徴データを含むデータバッチのデータ数Ｎ（即ち、特徴データのサンプル特徴データの数量）であり、チャネル次元は前記特徴データのチャネル数Ｃであることが理解される。

【0055】

それに応じて、変換パラメータが第一変換パラメータ、第二変換パラメータ、第三変換パラメータおよび第四変換パラメータを含む場合、可能な一実施形態では、ニューラルネットワークにおける変換パラメータに応じて、特徴データに適合する正規化方式を決定することは以下のステップによって実現してもよい。

【0056】

まず、特徴データの統計量の統計範囲を第一範囲として決定する。ここで、説明すべきは、可能な一実施形態では、第一範囲は特徴データの各サンプル特徴データの各チャネル毎の範囲（即ち、上述したインスタンス正規化ＩＮにおける統計量の統計範囲）であってもよいし、他の正規化方式における統計量の統計範囲であってもよい点である。

【0057】

続いて、第一変換パラメータおよび第二変換パラメータに応じて、平均値の統計範囲を第一範囲から第二範囲に調整する。ここで、指摘しておきたいのは、第二範囲は第一変換パラメータおよび第二変換パラメータの値によって決定される点である。異なる値は、異なる統計範囲を特徴付ける。そして第三変換パラメータおよび第四変換パラメータに応じて、標準偏差の統計範囲を第一範囲から第三範囲に調整する。同様に、第三範囲は第三変換パラメータおよび第四変換パラメータの値によって決定され、異なる値は異なる統計範囲を特徴付ける。

【0058】

さらに、第二範囲および第三範囲に基づき、正規化方式を決定する。

【0059】

例を挙げれば、以上の説明から、本開示のデータ処理方法における正規化処理方式は以下のように定義してもよい。

【数2】

ここで、Ｆは正規化前の特徴データを表し、Ｆ＾は正規化後の特徴データを表し、Ｕは第一変換パラメータであり、Ｖは第二変換パラメータである。Ｕ′は第三変換パラメータであり、Ｖ′は第四変換パラメータである。

【0060】

可能な一実施形態では、統計量（平均値μおよび標準偏差σ）の統計範囲はインスタンス正規化ＩＮにおける統計範囲を採用してもよく、即ち特徴データの各サンプル特徴データの各チャネル上で統計量を個別に計算してもよく、次元はいずれもＮ×Ｃとする。説明すべきは、以上の説明から、統計量の統計範囲は上述した他の正規化方式における統計範囲を採用してもよい点である。ここでは具体的に限定しない。

【0061】

こうして、第一変換パラメータと、第二変換パラメータと、平均値との乗積演算によって統計量のうちの平均値の統計範囲に対する調整を実現し、第三変換パラメータと、第四変換パラメータと、標準偏差との乗積演算によって標準偏差の統計範囲に対する調整を実現し、それにより正規化方式の適応を達成し、調整方式が簡単で、実現しやすい。

【0062】

【0063】

上述した第一変換パラメータの次元、第二変換パラメータの次元、第三変換パラメータの次元および第四変換パラメータの次元からわかるように、Ｕ，Ｕ′はバッチサイズＮ次元で学習される統計方式を表し、Ｖ，Ｖ′はチャネルＣ次元で学習される統計方式を表し、Ｕ＝Ｕ′、Ｖ＝Ｖ′は平均値μおよび標準偏差σについてそれぞれ同じ統計方式を学習することを表し、Ｕ≠Ｕ′、Ｖ≠Ｖ′は平均値μおよび標準偏差σについてそれぞれ異なる統計方式を学習することを表す。こうして、異なるＵ、Ｕ′、Ｖ、Ｖ′は異なる正規化方法を表すようになる。

【0064】

例を挙げれば、図３ａから図３ｃを参照すると、Ｕ＝Ｕ′、Ｖ＝Ｖ′、μ＝μ^ＩＮ、σ＝σ^ＩＮの場合、ＵもＶも図３ａに示すような単位行列Ｉであるとき、本開示のデータ処理方法では、正規化方式は各Ｎ次元および各Ｃ次元で統計量を個別に計算するＩＮを表し、このとき、

【数3】

である。Ｕは要素が全て１の行列１でありかつＶは単位行列Ｉであるとき、本開示のデータ処理方法では、正規化方式は各Ｃ次元の統計量をＮ次元で平均するＢＮを表し、このとき、

【数4】

である。Ｕは単位行列ＩでありかつＶは要素が全て１の行列１であるとき、本開示のデータ処理方法では、正規化方式は各Ｎ次元の統計量をＣ次元で平均するＬＮを表し、このとき、

【数5】

である。Ｕは単位行列ＩでありかつＶは図３ｂまたは図３ｃに類似するブロック対角行列であるとき、本開示のデータ処理方法では、正規化方式はＮ次元で統計量を個別に計算するがＣ次元で統計量をグループ別に計算するＧＮを表す。例えば、Ｖは図３ｂに示すブロック対角行列であるとき、グループ数は４とし、Ｖは図３ｃに示すブロック対角行列であるとき、グループ数は２とする。ＧＮではグループ数が一定であることとは異なり、本開示のデータ処理方法では、正規化方式におけるグループ数が任意に学習可能である。
Ｕは要素が全て１の行列１でありかつＶは要素が全て１の行列１であるとき、本開示のデータ処理方法では、正規化方式はＮおよびＣ次元で統計量を同時に平均する「ＢＬＮ」を表し、即ち平均値も分散も（Ｎ，Ｈ，Ｗ，Ｃ）に一意の値

【数6】

である。ＵもＶも任意のブロック対角行列であるとき、本開示のデータ処理方法では、正規化方式はＣ次元で統計量をグループ別に計算するとともに、Ｎ次元もグループ別に統計量を計算することを表す。つまり、本開示のデータ処理方法では、正規化方式は１バッチ内のサンプル量について適切なバッチサイズを学習して統計量を評価することができる。

【0065】

指摘しておきたいのは、上記実施例において、Ｕ＝Ｕ′、Ｖ＝Ｖ′であるため、第一変換パラメータＵおよび第二変換パラメータＶに基づいて平均値の統計範囲を調整して決定された第二範囲と、第三変換パラメータＵ′および第四変換パラメータＶ′に基づいて標準偏差の統計範囲を調整して決定された第三範囲は同じである点である。当業者であれば、Ｕ≠Ｕ′、Ｖ≠Ｖ′の場合、得られた第二範囲と第三範囲は異なり、その結果、正規化方式をより多様に拡張可能なことが理解される。加えて、Ｕ≠Ｕ′、Ｖ＝Ｖ′およびＵ＝Ｕ′、Ｖ≠Ｖ′などの複数の場合を含んでもよく、ここでは一々列挙しない。

【0066】

以上からわかるように、本開示のデータ処理方法における特徴データの正規化処理方式は、関連技術において統計範囲の正規化技術を人為的に設計することと異なり、本開示のデータ処理方法は現在データに適合する正規化方式を自律的に学習することができる。

【0067】

即ち、本開示のデータ処理方法では、異なる行列で変換パラメータの異なる値を特徴付け（即ち、変換パラメータを異なる行列で表す）、それによって特徴データの統計量を初期範囲（即ち、第一範囲、例えば、ＩＮにおける統計範囲）から異なる統計範囲に移行し、それにより、データに依存する根元的な正規化操作を自律的に学習して得ることとなり、その結果、本開示のデータ処理方法は、関連技術における全ての正規化技術を表現できるのみならず、より広範囲の正規化方法を拡張させることもできるようになり、従来の正規化技術に比べて表現能力がより豊富になる。

【0068】

上記で定義された式（２）によれば、可能な一実施形態では、決定された正規化方式に従って特徴データを正規化処理し、正規化後の特徴データを得る場合には、以下を含んでもよい。

【0069】

まず、第一範囲に従って、特徴データの統計量を取得する。即ち、第一範囲がインスタンス正規化方式において定義された統計範囲である場合、インスタンス正規化における統計範囲に従って、下式（３）によって特徴データの平均値を算出してから、算出された平均値によって、下式（４）に従って特徴データの標準偏差を算出し、それにより統計量を得る。

【数8】

【0070】

統計量、第一変換パラメータ、第二変換パラメータ、第三変換パラメータおよび第四変換パラメータに基づき、特徴データを正規化処理し、正規化後の特徴データを得る。

【0071】

そのうち、可能な一実施形態では、統計量、第一変換パラメータおよび第二変換パラメータに基づき、特徴データを正規化処理し、正規化後の特徴データを得る場合には、以下のステップによって実現してもよい。

【0072】

まず、平均値、第一変換パラメータおよび第二変換パラメータに基づき、第一正規化パラメータを得る。即ち、平均値μと、第一変換パラメータＵと、第二変換パラメータＶとの乗積演算（即ち、ドット積演算＜ＵμＶ＞）を行い、第一正規化パラメータ（＜ＵμＶ＞）を得る。同時に、標準偏差、第三変換パラメータおよび第四変換パラメータに基づき、第二正規化パラメータを得る。即ち、標準偏差σと、第三変換パラメータＵ′と、第四変換パラメータＶ′との乗積演算（ドット積演算＜Ｕ′σＶ′＞）を行い、第二正規化パラメータ（＜Ｕ′σＶ′＞）を得る。

【0073】

最後に、特徴データ、第一正規化パラメータおよび第二正規化パラメータに基づき、特徴データを正規化処理し、正規化後の特徴データを得る。即ち、式（２）に従って演算処理を行い、正規化後の特徴データを得る。

【0074】

また、指摘しておきたいのは、本開示のデータ処理方法では、式（２）によって特徴データを正規化処理する時、式（２）示す正規化方式をニューラルネットワークモデルの各畳み込み層に応用した後、ニューラルネットワークモデルの各層の特徴データについてそれぞれ独立した正規化操作方式を自律的に学習して得ることができる。ここで、式（２）によって特徴データを正規化処理する時、各層の正規化操作方式ではいずれも、第一変換パラメータＵ、第二変換パラメータＶ、第三変換パラメータＵ′、第四変換パラメータＶ′の４つの学習すべき二値化対角ブロック行列がある。本開示のデータ処理方法における計算量およびパラメータ量をさらに低減し、パラメータの最適化プロセスを微分可能なエンドツーエンド方式に変換するために、複数のサブ行列の内積を計算して二値化対角ブロック行列のそれぞれを構築してもよい。

【0075】

つまり、可能な一実施形態では、変換パラメータは複数のサブ行列で合成してもよい。複数のサブ行列はニューラルネットワークモデルにおいて学習可能なゲーティングパラメータを設定することで実現してもよい。即ち、本開示のデータ処理方法では、さらに、ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに応じて、複数のサブ行列を取得することを含んでもよい。さらに複数のサブ行列の内積を計算して、変換パラメータを得る。

【0076】

ここで、説明すべきは、内積の計算はｋｒｏｎｅｃｋｅｒ積の計算であってもよい点である。ｋｒｏｎｅｃｋｅｒ積の計算を採用して行列分解方法を設計することで、Ｎ×Ｎ次元の行列Ｕ、Ｕ′およびＣ×Ｃ次元の行列Ｖ、Ｖ′をネットワーク最適化プロセスにおいて許容可能な、計算量が少ないパラメータに分解する。

【0077】

例えば、第二変換パラメータＶを例にし、ｋｒｏｎｅｃｋｅｒ積の計算を具体的に説明する。ここで、第二変換パラメータＶは一連のサブ行列Ｖ_ｉで表現し、下式（５）で表すようにしてもよい。

【数9】

【0078】

ここで、各サブ行列Ｖ_ｉの次元はＣ_ｉ×Ｃ_ｉであり、Ｃ_ｉ＜ＣかつＣ_１×Ｃ_２×・・・×Ｃ_ｉ＝Ｃであり、

はｋｒｏｎｅｃｋｅｒ積の計算を表し、二つの任意の大きさの行列間演算であり、以下のように定義される。

【数10】

【0079】

こうして、上記ステップによって複数のサブ行列Ｖ_ｉを得た後、式（５）に従って対応する第二変換パラメータを演算して得ることができる。

【0080】

複数のサブ行列Ｖ_ｉの内積を計算して第二変換パラメータを得ることにより、第二変換パラメータＶは連続値を有する一連のサブ行列Ｖ_ｉに分解可能になり、これらのサブ行列Ｖ_ｉは二値制約を気にすることなく一般的なオプティマイザによって学習することができる。つまり、Ｃ×Ｃ次元の大行列Ｖの学習が一連のサブ行列Ｖ_ｉの学習に変えられ、パラメータ量もそれに伴いＣ^２からΣs_ｉＣ_ｉ ^２に低減される。例えば、Ｖが図３ｂに示す８×８行列である場合、Ｖは三つの２×２のサブ行列Ｖ_ｉに分解してｋｒｏｎｅｃｋｅｒ積の計算を行うことができる。即ち、以下のとおりである。

【数11】

このとき、パラメータ量は８^２＝６４から３×２^２＝１２に低減される。

【0081】

こうして、複数のサブ行列を用いて大行列形式の変換パラメータを合成することにより、Ｃ^＊Ｃ次元の大行列形式の第二変換パラメータＶという変換パラメータの学習が一連のサブ行列の学習に変えられ、パラメータ量もそれに伴いＣ^２からΣ_ｉＣ_ｉ ^２に低減される。ここで、当業者であれば、第一変換パラメータＵ、第三変換パラメータＵ′および第四変換パラメータＶ′も同様に上記方式で得ることができることが理解され、ここでは説明を省略する。

【0082】

以上からわかるように、複数のサブ行列で第一変換パラメータおよび第二変換パラメータをそれぞれ合成することにより、パラメータ量が効果的に低減され、本開示のデータ処理方法がより実現しやすくなる。

【0083】

ここで、説明すべきは、式（５）中、ｆ（・）は各サブ行列Ｖ_ｉ上での要素レベルの変換を表す点である。こうして、可能な一実施形態では、ｆ（ａ）は符号関数としてもよく、即ち、関数ｆ（ａ）＝ｓｉｎｇ（ａ）、かつａ≧０，ｓｉｎｇ（ａ）＝１；ａ＜０，ｓｉｎｇ（ａ）＝０の場合、二値行列Ｖは連続値を有する一連のサブ行列に分解可能になり、これらのサブ行列は二値制約を気にすることなく一般的なオプティマイザによって学習することができ、こうしてＣ×Ｃ次元の大行列Ｖの学習が一連のサブ行列Ｖ_ｉの学習に変えられる。しかしながら、上記手法を採用する場合、ｓｉｎｇ関数によって行列内の要素を変換することにより構築された変換パラメータは必ずしもブロック対角行列の構造であることを保証できず、その結果、統計量の統計範囲が順調に調整できなくなることがある。

【0084】

そこで、可能な一実施形態では、ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータに基づいて対応する複数のサブ行列を取得する場合には、以下のステップによって実現してもよい。

【0085】

まず、符号関数ｓｉｇｎを用いてゲーティングパラメータを処理し、二値化ベクトルを得る。

【0086】

さらに、置換行列を用いて二値化ベクトルの要素を置換して二値化ゲーティングベクトルを生成する。

【0087】

最後に、二値化ゲーティングベクトル、第一基礎行列および第二基礎行列に基づき、複数のサブ行列を得る。ここで、指摘しておきたいのは、第一基礎行列および第二基礎行列はいずれも定数行列である点である。そのうち、第一基礎行列は要素が全て１の行列であってもよく、例えば、第一基礎行列は２^＊２で要素が全て１の行列であってもよい。第二基礎行列は単位行列であってもよく、例えば、第二基礎行列は２^＊２の単位行列または２^＊３の単位行列であってもよい。

【0088】

例を挙げれば、以上の説明から、変換パラメータは第一変換パラメータＵ、第二変換パラメータＶ、第三変換パラメータＵ′および第四変換パラメータＶ′を含んでもよい。ただし、第一変換パラメータＵ、第二変換パラメータＶ、第三変換パラメータＵ′および第四変換パラメータＶ′の取得方式は同じまたは類似の原理に基づくものであるので、説明の便宜上、以下に第二変換パラメータＶを例にし、複数のサブ行列で変換パラメータを合成するプロセスをより詳しく説明する。

【0089】

指摘しておきたいのは、ニューラルネットワークモデルに設定された学習可能なゲーティングパラメータがｇ^～で示してもよい点である。可能な一実施形態では、ゲーティングパラメータｇ^～は連続値ベクトルであってもよく、該ベクトル内の連続値の数は取得されたサブ行列の数と同じである。

【数12】

【0090】

式（６）および式（７）を参照すると、ｆ（・）は二値化ゲーティング関数であり、サブ行列Ｖ_ｉを再パラメータ化するために用いられる。式（７）中、１は２×２で要素が全て１の行列であり、Ｉは２×２の単位行列であり、任意のｇ_ｉ ^→も、０または１のいずれかである一つの二値化ゲーティングであり、ｇ^→は複数のｇ_ｉ ^→を含むベクトルである。

【0091】

上記方式で変換パラメータを取得するプロセスにおいて、まず、式（７）を参照しながら、ゲーティングパラメータｇ^～をｓｉｇｎによってｇを生成する。ここで、ｓｉｇｎ（ａ）は符号関数であり、ａ≧０の場合、ｓｉｇｎ（ａ）＝１であり、ａ＜０の場合、ｓｉｇｎ（ａ）＝０である。こうして、符号関数ｓｉｇｎ（ａ）を用いてゲーティングパラメータを処理した後、得られた二値化ベクトルｇは０または１の二つの値のみを有するベクトルとなる。

【0092】

そして、引き続いて式（７）を参照しながら、置換行列Ｐを用いて二値化ベクトルの要素を置換して二値化ゲーティングベクトルを生成する。即ち、Ｐは、ｇ内の要素を置換してｇ^→内の二値化ゲーティングベクトルを生成する一定の置換行列を表す。ここで、説明すべきは、Ｐは二値化ゲーティングベクトルｇ^→内の０、１の順序を、０が常に１の前にあるように、即ち単位行列Ｉが常に要素が全て１の行列１の前にあり、かつ表現されるサブ行列Ｖ_ｉをブロック対角行列とするように、制御するという役割を果たす点である。例えば、ｇ＝［１，１，０］の場合、ｇ^→＝Ｐｇ＝［０，１，１］となり、このとき、

は、図３ｃに示すブロック対角行列を表現することができる。

【0093】

置換行列を用いて二値化ベクトルの要素を置換して対応する二値化ゲーティングベクトルｇ^→を生成した後、式（６）によって、二値化ゲーティングベクトル、第一基礎行列１および第二基礎行列Ｉに基づいて式（６）に従って演算を行い、対応する複数のサブ行列Ｖ_ｉを得ることができる。複数のサブ行列Ｖ_ｉを得た後、式（５）によって複数のサブ行列Ｖ_ｉの内積を計算し、それにより対応する第二変換パラメータＶを得ることができる。

【0094】

ここで、さらに指摘しておきたいのは、第一基礎行列および第二基礎行列の次元は上記実施例で設定された次元に限定されない点である。つまり、第一基礎行列および第二基礎行列の次元は実際の状況に応じて任意に選択してもよい。例えば、第一基礎行列は２^＊２で要素が全て１の行列１であり、第二基礎行列は２^＊３の単位行列であり（即ち、Ａ＝［１，１，０；０，１，１］）、ここで、Ａは第二基礎行列を特徴付ける。こうして、

は、図３ｄに示す重なり合った部分を有するブロック対角行列を表現することができる。

【0095】

こうして、異なる次元を有する定数行列（即ち、第一基礎行列および第二基礎行列）を使用することにより、異なるサブ行列が生成可能になり、その結果、本開示のデータ処理方法における正規化方式は異なるチャネル数を有する正規化層に対応可能になり、本開示の方法における正規化方式の拡張可能性もそれに伴いさらに向上する。

【0096】

同時に、ニューラルネットワークモデルに学習可能なゲーティングパラメータｇ^～を設定することにより、複数のサブ行列の学習がゲーティングパラメータｇ^～の学習に変えられ、その結果、本開示のデータ処理方法では、特徴データを正規化する時、正規化におけるパラメータ量がΣ_ｉＣ_ｉ ^２からｉ個だけのパラメータに低減され（例えば、ニューラルネットワークモデルにおける一つの隠れ層のチャネル数Ｃは１０２４であり、Ｃ^＊Ｃ次元の第二変換パラメータＶに関しては、そのパラメータ量は１０個のパラメータに低減可能である）、正規化におけるパラメータ量もこれに伴いさらに低減され、本開示のデータ処理方法の実現および適用がより容易になる。

【0097】

本開示のデータ処理方法における、特徴データを正規化する具体的な操作方式をより明確に説明するために、以下に一実施例により本開示のデータ処理方法における正規化の具体的な演算を説明する。

【0098】

ここで、指摘しておきたいのは、本実施例において、第一変換パラメータＵと第三変換パラメータＵ′は同じであり、第二変換パラメータＶと第四変換パラメータＶ′は同じであるため、第三変換パラメータＵ′および第四変換パラメータＶ′が得られた時、第一変換パラメータＵが対応する第一ゲーティングパラメータｇ^～Ｕおよび第二変換パラメータＶが対応する第二ゲーティングパラメータｇ^～Ｖを直接使用して実現することができるということである。

【0099】

こうして、ニューラルネットワークモデルのある正規化層に、第一変換パラメータＵに対応する第一ゲーティングパラメータｇ^～Ｕ、および第二変換パラメータＶに対応する第二ゲーティングパラメータｇ^～Ｖがそれぞれ設定されるようになる。同時に、該正規化層には縮小パラメータγおよび変位パラメータβも設定されている。縮小パラメータγも変位パラメータβも正規化式（即ち、式（２））に用いられる。

【0100】

【0101】

正規化プロセスにおける演算は、

【数13】

を含み、
第一変換パラメータＵおよび第二変換パラメータＶは式（５）、式（６）および式（７）によって計算して得られ、該実施例では、特徴データを正規化時に最終的に下式（８）を使用する。

【数14】

【0102】

ここで、当業者であれば、第一変換パラメータＵと第三変換パラメータＵ′が異なり、第二変換パラメータＶと第四変換パラメータＶ′も異なる場合、ニューラルネットワークモデルに設定されたゲーティングパラメータｇ^～は第一ゲーティングパラメータｇ^～Ｕ、第二ゲーティングパラメータｇ^～Ｖ、第三ゲーティングパラメータｇ^～Ｕ′および第四ゲーティングパラメータｇ^～Ｖ′を含まなければならないことが理解される。

【0103】

こうして、ゲーティングパラメータｇ^～を用いてニューラルネットワークモデルにおける変換パラメータを取得することにより、変換パラメータの学習がゲーティングパラメータｇ^～の学習に変えられる。式（６）および式（７）によってサブ行列Ｖ_ｉを一連の要素が全て１の行列１および単位行列Ｉで表現することにより、式（５）中のサブ行列Ｖ_ｉの学習が再パラメータ化されて連続値ベクトルｇ^～の学習に変えられ、同時に大行列形式の変換パラメータ、例えば第二変換パラメータＶのパラメータ量がΣ_ｉＣ_ｉ ^２からｉ個だけのパラメータに低減され、それによりＫｒｏｎｅｃｋｅｒ（クロネッカー積）演算を使用してパラメータ分解および再パラメータ化を提供するという目的が達成され、その結果、本開示のデータ処理方法におけるＮ×Ｎ次元の大行列形式の第一変換パラメータＵおよびＣ×Ｃ次元の大行列形式の第二変換パラメータＶがそれぞれｌｏｇ_２Ｃおよびｌｏｇ_２Ｎだけのパラメータ量に低減され、微分可能なエンドツーエンド訓練方式で、本開示のデータ処理方法の計算量が少なくなり、パラメータ量が少なくなり、その実現および適用がより容易になる。

【0104】

また、さらに説明すべきは、本開示のデータ処理方法では、ニューラルネットワークモデルに対する訓練プロセスを含んでもよい点である。即ち、入力データをニューラルネットワークモデルに入力し、ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得する前に、
サンプルデータセットに基づいてニューラルネットワークモデルを訓練し、訓練後のニューラルネットワークモデルを得ることを、さらに含んでもよい。ここで、サンプルデータセット内の各入力データはラベル付け情報を有する。

【0105】

そのうち、可能な一実施形態では、ニューラルネットワークモデルは少なくとも一つのネットワーク層および少なくとも一つの正規化層を含む。サンプルデータセットに基づいてニューラルネットワークモデルを訓練する時、まず、ネットワーク層によって、サンプルデータセット内の各入力データに対して特徴抽出を行い、対応する各予測特徴データを得る。続いて、正規化層によって、各予測特徴データを正規化処理し、正規化後の予測特徴データを得る。さらに、各予測特徴データおよびラベル付け情報に基づいて、ネットワーク損失を得て、ネットワーク損失に基づき、正規化層の変換パラメータを調整する。

【0106】

例えば、ニューラルネットワークモデルを訓練する場合、入力（Ｉｎｐｕｔ）は、訓練データセット｛（ｘ_ｉ，ｙ_ｉ）｝^Ｐ _ｉ＝１、ネットワーク層における一連のネットワークパラメータΘ（例えば、重み値）、正規化層の一連のゲーティングパラメータФ（例えば、第一ゲーティングパラメータおよび第二ゲーティングパラメータ）、および縮小パラメータと変位パラメータψ＝｛γ^ｌ、β^ｌ｝^Ｌ _ｌ＝１を含む。出力（Ｏｕｔｐｕｔ）は、訓練後のニューラルネットワークモデル（各ネットワーク層および各正規化層などを含む）である。

【0107】

ここで、指摘しておきたいのは、該実施例において、第一変換パラメータＵと第三変換パラメータＵ′は同じであり、第二変換パラメータＶと第四変換パラメータＶ′も同じであるため、正規化層の一連のゲーティングパラメータФは第一ゲーティングパラメータおよび第二ゲーティングパラメータのみを設定してもよい点である。

【0108】

そのうち、訓練回数ｔ＝１ｔｏＴである。毎回の訓練プロセスにおいて、上記入力における各パラメータによって、順方向伝播方式に基づいて前述の正規化の演算プロセスに従って正規化層を訓練し、予測特徴データを得る。そして、得られた予測特徴データおよびラベル付け情報に基づいて、逆方向伝播方式に基づいて対応するネットワーク損失を取得し、さらに取得されたネットワーク損失に基づいて入力における各パラメータ、即ちФ_ｔ、Θ_ｔおよびψ_ｔを更新する。

【0109】

数回の訓練後、ニューラルネットワークモデルのテストプロセスを実行できる。本開示のデータ処理方法では、主に正規化層に対してテストする。ただし、テストする前に、各正規化層の多バッチ訓練による統計量平均を計算し、続いて計算して得られた統計量平均によって対応する正規化層をテストする必要がある。即ち、各正規化層の多バッチ訓練プロセスにおいて得られた統計量（平均値μおよび標準偏差σ）の平均

【数15】

のとおりである。

【0110】

各正規化層の統計量の平均を計算して得られた後、各正規化層をテストできる。ただし、テストプロセスにおいて、各正規化層について下式（９）によって計算してもよい。

【数17】

は正規化層の数を特徴付ける。

【0111】

こうして、上記プロセスによってニューラルネットワークモデルを訓練することにより、最終的に訓練して得られたニューラルネットワークモデルにおける正規化層中のパラメータは第一ゲーティングパラメータ、第二ゲーティングパラメータ、縮小パラメータおよび変位パラメータになる。ただし、異なる訓練データセットによって訓練して得られたニューラルネットワークモデルにおいて、正規化層の第一ゲーティングパラメータと第二ゲーティングパラメータの値は異なる。これにより、本開示のデータ処理方法における正規化方式をニューラルネットワークモデルに組み込んだ後、ニューラルネットワークモデルは様々なビジョンタスクに適用可能になる。即ち、ニューラルネットワークモデルを訓練し、本開示のデータ処理方法をニューラルネットワークモデルに組み込むことで、本開示のデータ処理方法によって分類、検出、認識および分割などの様々なビジョンタスクにおいて効果が優れたモデルを得て
、関連タスクの結果を予測し、または未訓練のニューラルネットワークモデル（予備訓練モデル）を他のビジョンタスクに移行し、パラメータ（例えば、正規化層のゲーティングパラメータ）の微調整により、他のビジョンタスクの性能をさらに向上させることができる。

【0112】

なお、本開示で言及された上記各方法の実施例は、原理や論理に違反しない限り、相互に組み合わせて、組み合わせ後の実施例を形成可能なことが理解され、紙数に限りがあるので、本開示では詳細な説明を省略する。

【0113】

同時に、具体的な実施形態の上記方法において、各ステップの記述順序は厳しい実行順序であるというわけではなく、実施プロセスへのなんらの制限にもならず、各ステップの具体的な実行順序はその機能および可能な内在的論理に依存することが当業者に理解される。

【0114】

また、本開示はデータ処理装置、電子機器、コンピュータ可読記憶媒体、およびプログラムをさらに提供し、上記はいずれも本開示が提供する任意のデータ処理方法の実現に用いることができ、対応する技術方案および説明は方法部分の対応する記載を参照すればよく、ここでは説明を省略する。

【0115】

図４は本開示の実施例に係るデータ処理装置１００のブロック図を示し、図４に示すように、前記データ処理装置１００は、
入力データをニューラルネットワークモデルに入力し、前記ニューラルネットワークモデルにおけるネットワーク層から現在出力されている特徴データを取得するためのデータ入力モジュール１１０と、
前記ニューラルネットワークモデルの変換パラメータに応じて、前記特徴データに適合する正規化方式を決定するための方式決定モジュール１２０と、
決定された前記正規化方式に従って前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理モジュール１３０と、を含み、
ここで、前記変換パラメータは前記特徴データの統計量の統計範囲を調整するためのものであり、前記統計範囲は正規化方式を表すためのものである。

【0116】

【0117】

【0118】

【0119】

可能な一実施形態では、前記方式決定モジュール１２０は、
平均値および標準偏差を含む、前記特徴データの統計量の統計範囲を第一範囲として決定するための第一決定サブモジュールと、
前記第一変換パラメータおよび前記第二変換パラメータに応じて、前記平均値の統計範囲を前記第一範囲から第二範囲に調整するための第一調整サブモジュールと、
前記第三変換パラメータおよび前記第四変換パラメータに応じて、前記標準偏差の統計範囲を前記第一範囲から第三範囲に調整するための第二調整サブモジュールと、
前記第二範囲および前記第三範囲に基づき、前記正規化方式を決定するための方式決定サブモジュールと、を含む。

【0120】

可能な一実施形態では、前記第一範囲は前記特徴データの各サンプル特徴データの各チャネル毎の範囲である。

【0121】

可能な一実施形態では、前記正規化処理モジュール１３０は、
前記第一範囲に従って、前記特徴データの統計量を取得するための統計量取得サブモジュールと、
前記統計量、前記第一変換パラメータ、前記第二変換パラメータ、前記第三変換パラメータおよび前記第四変換パラメータに基づき、前記特徴データを正規化処理し、正規化後の特徴データを得るための正規化処理サブモジュールと、を含む。

【0122】

【0123】

可能な一実施形態では、前記変換パラメータは、各要素の値が０または１である二値化行列を含む。

【0124】

【0125】

可能な一実施形態では、前記第一基礎行列は要素が全て１の行列であり、第二基礎行列は単位行列である。

【0126】

【0127】

【0128】

いくつかの実施例では、本開示の実施例で提供された装置に備えた機能またはモジュールは、上記方法実施例に記載の方法を実行するために用いられ、その具体的な実施形態については上記方法実施例の説明を参照してもよく、簡単化するために、ここで重複説明は割愛する。

【0129】

本開示の実施例は、コンピュータプログラム指令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム指令はプロセッサにより実行されると、上記方法を実現させるコンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は非揮発性コンピュータ可読記憶媒体であってもよい。

【0130】

本開示の実施例は、上記方法を実行するように構成されるプロセッサと、プロセッサにより実行可能な指令を記憶するためのメモリと、を含む電子機器をさらに提供する。

【0131】

電子機器は端末、サーバまたは他の形態の機器として提供されてもよい。

【0132】

図５は一例示的実施例により示された電子機器８００のブロック図である。例えば、電子機器８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信装置、ゲームコンソール、タブレット機器、医療機器、フィットネス器具、携帯情報端末などであってもよい。

【0133】

図５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６の一つ以上を含むことができる。

【0134】

処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを完了するために、一つ以上のプロセッサ８２０を含んで指令を実行することができる。また、処理コンポーネント８０２は、他のコンポーネントとの対話のために、一つ以上のモジュールを含むことができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８との対話のために、マルチメディアモジュールを含むことができる。

【0135】

メモリ８０４は電子機器８００での動作をサポートするために様々なタイプのデータを記憶するように構成される。これらのデータの例は電子機器８００において動作するためのあらゆるアプリケーションプログラムまたは方法の指令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または非揮発性記憶機器またはそれらの組み合わせによって実現できる。

【0136】

電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含むことができる。

【0137】

マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含むことができる。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するために、タッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャを検知するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出することもできる。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または後面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または後面カメラは外部のマルチメディアデータを受信することができる。各前面カメラおよび後面カメラは固定された光学レンズ系または焦点距離および光学ズーム能力を有するものであってもよい。

【0138】

オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成されたマイク（ＭＩＣ）を含む。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６によって送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するための一つスピーカーを含む。

【0139】

Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含むことができるが、これらに限定されない。

【0140】

センサコンポーネント８１４は電子機器８００に各面での状態評価を提供するための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、コンポーネントの相対的位置決め、例えば前記コンポーネントが電子機器８００のディスプレイおよびキーパッドであることを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００の一つコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するために用いられるように構成された近接センサを含む。センサコンポーネント８１４はさらに、ＣＭＯＳまたはＣＣＤイメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含むことができる。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを含むことができる。

【0141】

通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように配置される。電子機器８００は通信規格に基づく無線ネットワーク、例えばＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルによって外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールでは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。

【0142】

例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって実現し、上記方法を実行するために用いることができる。

【0143】

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム指令を含むメモリ８０４が提供され、上記コンピュータプログラム指令は電子機器８００のプロセッサ８２０によって実行して上記方法を完了することができる。

【0144】

図６は一例示的実施例より示された電子機器１９００のブロック図である。例えば、電子機器１９００はサーバとして提供できる。図６を参照すると、電子機器１９００は、さらに一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な指令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されたアプリケーションプログラムはそれぞれが１グループの指令に対応する一つまたは一つ以上のモジュールを含むことができる。また、処理コンポーネント１９２２は指令を実行し、それによって上記方法を実行するように構成される。

【0145】

電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成された一つの電源コンポーネント１９２６、電子機器１９００をネットワークにアクセスするように構成された一つの有線または無線ネットワークインタフェース１９５０、および一つの入出力（Ｉ／Ｏ）インタフェース１９５８を含むことができる。電子機器１９００はメモリ１９３２に記憶されたオペレーティングシステム、例えばＷｉｎｄｏｗｓＳｅｒｖｅｒＴＭ、ＭａｃＯＳＸＴＭ、ＵｎｉｘＴＭ、ＬｉｎｕｘＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似するものに基づいて動作できる。

【0146】

例示的な実施例では、さらに、非揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム指令を含むメモリ１９３２が提供され、上記コンピュータプログラム指令は電子機器１９００の処理コンポーネント１９２２によって実行して上記方法を完了することができる。

【0147】

本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品はプロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム指令がロードされているコンピュータ可読記憶媒体を含むことができる。

【0148】

コンピュータ可読記憶媒体は指令実行機器により使用される指令を保存および記憶可能な有形機器であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらに具体的な例（非包括的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的符号化装置、例えば指令が記憶されているせん孔カードまたはスロット内突起構造、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。

【0149】

ここで記述したコンピュータ可読プログラム指令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークによって外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含むことができる。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ可読プログラム指令を受信し、該コンピュータ可読プログラム指令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶する。

【0150】

本開示の動作を実行するためのコンピュータプログラム指令はアセンブラ指令、指令セットアーキテクチャ（ＩＳＡ）指令、機械指令、機械関連指令、マイクロコード、ファームウェア指令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含む一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム指令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム指令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズすることで、該電子回路はコンピュータ可読プログラム指令を実行し、それにより本開示の各態様を実現できるようになる。

【0151】

なお、ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明しが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム指令によって実現できることを理解すべきである。

【0152】

これらのコンピュータ可読プログラム指令は、機械を製造するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供されてもよく、それにより、これらの指令はコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行され、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する手段を創出する。また、これらのコンピュータ可読プログラム指令は、コンピュータ可読記憶媒体に記憶し、これらの指令によってコンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよく、それにより、指令が記憶されるコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各態様を実現する指令を含む一つの製品を備える。

【0153】

コンピュータ可読プログラムはコンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードすることにより、コンピュータ実施プロセスを生成するように、コンピュータ、他のプログラマブルデータ処理装置または他の機器において一連の動作ステップを実行させるようにしてもよく、それにより、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される指令はフローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。

【0154】

図面のうちフローチャートおよびブロック図は本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは指令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは指令の一部分は指定された論理機能を実現するための一つ以上の実行可能指令を含む。いくつかの置換としての実現形態では、ブロックに表記される機能は図面に付したものと異なる順序で実現してもよい。例えば、二つの連続的なブロックは基本的に同時に実行してもよく、また、係る機能によって、それらは逆な順序で実行してもよい場合がある。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ指令との組み合わせによって実現してもよいことに注意すべきである。

【0155】

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または市場における技術への技術的改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

【図1a】