特許 6838161 エンドツーエンドモデリング方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6838161

(24)【登録日】2021年2月15日

(45)【発行日】2021年3月3日

(54)【発明の名称】エンドツーエンドモデリング方法及びシステム

(51)【国際特許分類】

   G06N 3/08 20060101AFI20210222BHJP

【ＦＩ】

   G06N3/08

【請求項の数】23

【全頁数】18

(21)【出願番号】特願2019-535428(P2019-535428)

(86)(22)【出願日】2017年1月11日

(65)【公表番号】特表2019-530119(P2019-530119A)

(43)【公表日】2019年10月17日

(86)【国際出願番号】CN2017070812

(87)【国際公開番号】WO2018098892

(87)【国際公開日】20180607

【審査請求日】2019年3月13日

(31)【優先権主張番号】201611070244.2

(32)【優先日】2016年11月29日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518394983

【氏名又は名称】アイフライテック カンパニー，リミテッド

(74)【代理人】

【識別番号】110002860

【氏名又は名称】特許業務法人秀和特許事務所

(72)【発明者】

【氏名】パン，ジャ

(72)【発明者】

【氏名】チャン，シーリャン

(72)【発明者】

【氏名】シォン，シーフー

(72)【発明者】

【氏名】ウェイ，スー

(72)【発明者】

【氏名】フー，グォピン

【審査官】 杉浦 孝光

(56)【参考文献】

【文献】 特開２０１５−２１２７３１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１６／０２８４３４７（ＵＳ，Ａ１）

【文献】 特開２００９−２８９２６２（ＪＰ，Ａ）

【文献】 特開２０１６−１３９１７６（ＪＰ，Ａ）

【文献】 特開２０１２−０１４６１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｎ ３／００−９９／００

(57)【特許請求の範囲】

【請求項1】

電子機器が実行するエンドツーエンドモデリング方法であって、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定し、
複数のトレーニングデータを収集し、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトにおけるターゲットユニットに対してラベル付けを行い、
各々の前記トレーニングデータの特徴シーケンスを抽出し、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得る、ことを含み、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、前記ターゲットユニット情報は、エンハンスノードによりエンハンスエンコード層に付加され、前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うためのものであることを特徴とする方法。

【請求項2】

前記エンコード層は一層又は複数層であり、各層のエンコード層のノード数は入力層と同じであることを特徴とする請求項１に記載の方法。

【請求項3】

各エンコード層は、一方向又は双方向長短期記憶ニューラルネットワークにおける長短期記憶層を採用するか、又は畳み込みニューラルネットワークにおける畳み込み層を採用することを特徴とする請求項２に記載の方法。

【請求項4】

前記トポロジ構造は、隣接するエンコード層の間に位置するダウンサンプリング層をさらに含むことを特徴とする請求項１に記載の方法。

【請求項5】

前記ダウンサンプリング層は、一層又は複数層であることを特徴とする請求項４に記載
の方法。

【請求項6】

前記ダウンサンプリング層の各ノードの入力は、一つ前のエンコード層の隣接する複数のノード特徴情報であることを特徴とする請求項４に記載の方法。

【請求項7】

各ターゲットユニットは、一つのエンハンスノードに対応し、前記エンハンスノードの入力は対応するターゲットユニットの特徴ベクトルであり、エンハンスエンコード層の層数及びエンハンスノードの数はいずれもターゲットユニットの数と同じであることを特徴とする請求項１に記載の方法。

【請求項8】

各エンハンスノードは、それに対応するエンハンスエンコード層のノードの全部に接続されるか、又は各エンハンスノードは、それに対応するエンハンスエンコード層の一番目のノードのみに接続されることを特徴とする請求項７に記載の方法。

【請求項9】

前記フィルタリング層の層数は、前記エンハンスエンコード層の層数と同じであり、各エンハンスエンコード層は、一層のフィルタリング層に直接に接続されることを特徴とする請求項７に記載の方法。

【請求項10】

前記フィルタリング層は、一方向又は双方向長短期記憶層の構造形態を採用し、フィルタリング層内のノード数は、エンハンスエンコード層内のノード数と同じであり、各エンハンスエンコード層が出力する特徴は直接にそれに接続されるフィルタリング層の入力とされ、フィルタリング層の最後のノードの出力は当該フィルタリング層の出力とされるか、又は
前記フィルタリング層は、畳み込みニューラルネットワークの畳み込み層とプーリング層の構造形態を採用し、各フィルタリング層は一層又は複数層の畳み込み層と一層のプーリング層とを含み、前記プーリング層の出力は当該フィルタリング層の出力とされることを特徴とする請求項９に記載の方法。

【請求項11】

複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることは、
複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモデルの入力とし、複数の前記トレーニングデータにおけるターゲットユニットのラベル付け情報を前記エンドツーエンドモデルの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングすることを含み、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及びオフセットであることを特徴とする請求項１〜１０のいずれか一項に記載の方法。

【請求項12】

エンドツーエンドモデリングシステムであって、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定するためのトポロジ構造確定モジュールと、
複数のトレーニングデータを収集するためのトレーニングデータ収集モジュールと、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトにおけるターゲットユニットに対してラベル付けを行うためのラベル付けモジュールと、
各々の前記トレーニングデータの特徴シーケンスを抽出するための特徴抽出モジュールと、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得るた
めのパラメータートレーニングモジュールとを含み、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、前記ターゲットユニット情報は、エンハンスノードによりエンハンスエンコード層に付加され、前記フィルタリング層は前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うためのものであることを特徴とするシステム。

【請求項13】

前記エンコード層は一層又は複数層であり、各層のエンコード層のノード数は入力層と同じであることを特徴とする請求項１２に記載のシステム。

【請求項14】

各エンコード層は、一方向又は双方向長短期記憶ニューラルネットワークにおける長短期記憶層を採用するか、又は、畳み込みニューラルネットワークにおける畳み込み層を採用することを特徴とする請求項１３に記載のシステム。

【請求項15】

前記トポロジ構造は、隣接するエンコード層の間に位置するダウンサンプリング層をさらに含むことを特徴とする請求項１２に記載のシステム。

【請求項16】

前記ダウンサンプリング層は、一層又は複数層であることを特徴とする請求項１５に記載のシステム。

【請求項17】

前記ダウンサンプリング層の各ノードの入力は一つ前のエンコード層の隣接する複数のノード特徴情報であることを特徴とする請求項１５に記載のシステム。

【請求項18】

各ターゲットユニットは一つのエンハンスノードに対応し、前記エンハンスノードの入力は対応するターゲットユニットの特徴ベクトルであり、エンハンスエンコード層の層数、及びエンハンスノード数はいずれもターゲットユニットの数と同じであることを特徴とする請求項１２に記載のシステム。

【請求項19】

各エンハンスノードは、それに対応するエンハンスエンコード層のノードの全部に接続されるか、又は各エンハンスノードは、それに対応するエンハンスエンコード層の一番目のノードのみに接続されることを特徴とする請求項１８に記載のシステム。

【請求項20】

前記フィルタリング層の層数は前記エンハンスエンコード層の層数と同じであり、各エンハンスエンコード層は一層のフィルタリング層に直接に接続されることを特徴とする請求項１８に記載のシステム。

【請求項21】

前記フィルタリング層は、一方向又は双方向長短期記憶層の構造形態を採用し、フィルタリング層内のノード数はエンハンスエンコード層内のノード数と同じであり、各エンハンスエンコード層が出力する特徴は直接にそれに接続されるフィルタリング層の入力とされ、フィルタリング層の最後のノードの出力は当該フィルタリング層の出力とされるか、又は、
前記フィルタリング層は、畳み込みニューラルネットワークの畳み込み層とプーリング層の構造形態を採用し、各フィルタリング層は一層又は複数層の畳み込み層と一層のプーリング層とを含み、前記プーリング層の出力を当該フィルタリング層の出力とすることを特徴とする請求項２０に記載のシステム。

【請求項22】

前記パラメータートレーニングモジュールは、複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモデルの入力とし、複数の前記トレーニングデータにお
けるターゲットユニットのラベル付け情報を前記エンドツーエンドモデルの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングし、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及びオフセットであることを特徴とする請求項１２〜２１のいずれか一項に記載のシステム。

【請求項23】

請求項１〜１１のいずれか一項に記載の方法をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習分野に関し、具体的に、エンドツーエンドモデリング方法及びシステムに関する。

【背景技術】

【0002】

エンドツーエンドモデリングとは、入力端特徴シーケンスと出力端特徴シーケンスとの対応関係に応じてモデルを構築することであり、エンドツーエンドモデリングは、パターン認識や機械学習分野で広く適用され、例えば、音声認識、画像認識、機械翻訳などのアプリケーションシステムでよく使用され、入力端と出力端との対応関係を構築することにより、各アプリケーションシステムのニーズを実現する。音声認識を例に、エンドツーエンドモデリングは、音響モデルと言語モデルとに対して共同モデリングを行い、直接に認識テキストを出力できる。例えば、中国語では漢字又は単語をモデリングユニット、即ち、ターゲットラベル付けユニットとし、入力音声信号シーケンスと出力漢字や単語との対応関係を学習することでモデリングを行う。

【0003】

従来のエンドツーエンドモデリング方法は、一般的に、エンコード・デコードモデルに基づいて実現され、以下のステップを含む。
(１)エンコード・デコードモデルのトポロジ構造を確定する。
(２)複数のトレーニングデータを収集し、各々のトレーニングデータの特徴シーケンスを抽出し、相応するターゲットラベル付け情報を確定する。
(３)複数のトレーニングデータの特徴シーケンス、及び相応するターゲットラベル付け情報を利用してモデルパラメーターをトレーニングする。

【0004】

なお、エンコード・デコードモデルのトポロジ構造は、図１に示すように、主に、入力層、エンコード層、デコード層、及び相応する出力層からなり、エンコード層は、入力層から入力された特徴シーケンスをエンコードした後、相応するデコード層によりエンコードされた特徴シーケンスをデコードし、デコードされた特徴シーケンスを出力層の入力とし、出力層は各ターゲットラベル付けユニットの事後確率を出力する。

【0005】

図１から分かるように、当該モデルは、入力特徴シーケンスのみに対してエンコードして、相応するエンコード情報を得た後に、直接に前記エンコード情報をデコード層の入力とし、デコード層により前記エンコード情報をデコードする。このような形態により、エンコードして得られた特徴シーケンスとターゲットラベル付けユニットとの差が大きくなり、入力端と出力端の特徴シーケンスの間の関係をよく構築することができず、モデリング精度が低下する。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明の実施例は、モデリングの精度を向上させるために、エンドツーエンドモデリング方法システムを提供する。

【0007】

このために、本発明は、以下の技術案を提供する。
エンドツーエンドモデリング方法であって、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定し、
複数のトレーニングデータを収集し、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトのターゲットユニットに対してラベル付けを行い、
各々の前記トレーニングデータの特徴シーケンスを抽出し、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得る、ことを含み、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うためのものである。

【0008】

好ましくは、前記エンコード層は一層又は複数層であり、各エンコード層のノード数は入力層と同じである。

【0009】

好ましくは、各エンコード層は、一方向又は双方向長短期記憶ニューラルネットワークにおける長短期記憶層を採用するか、又は畳み込みニューラルネットワークにおける畳み込み層を採用する。

【0010】

好ましくは、前記トポロジ構造は、隣接するエンコード層の間に位置するダウンサンプリング層をさらに含む。

【0011】

好ましくは、前記ダウンサンプリング層は一層又は複数層である。

【0012】

好ましくは、前記ダウンサンプリング層の各ノードの入力は、一つ前のエンコード層の隣接する複数のノード特徴情報である。

【0013】

好ましくは、前記ターゲットユニット情報はエンハンスノードによりエンハンスエンコード層に付加され、各ターゲットユニットは一つのエンハンスノードに対応し、前記エンハンスノードの入力は対応するターゲットユニットの特徴ベクトルであり、エンハンスエンコード層の層数及びエンハンスノードの数はいずれもターゲットユニットの数と同じである。

【0014】

好ましくは、各エンハンスノードは、それに対応するエンハンスエンコード層のノードの全部に接続されるか、又は各エンハンスノードは、それに対応するエンハンスエンコード層の一番目のノードのみに接続される。

【0015】

好ましくは、前記フィルタリング層の層数は、前記エンハンスエンコード層の層数と同じであり、各エンハンスエンコード層は、一層のフィルタリング層に直接に接続される。

【0016】

好ましくは、前記フィルタリング層は、一方向又は双方向長短期記憶層の構造形態を採用し、フィルタリング層内のノード数は、エンハンスエンコード層内のノード数と同じであり、各エンハンスエンコード層が出力した特徴は直接にそれに接続されるフィルタリング層の入力とされ、フィルタリング層の最後のノードの出力は当該フィルタリング層の出力とされるか、又は
前記フィルタリング層は、畳み込みニューラルネットワークの畳み込み層とプーリング層の構造形態を採用し、各フィルタリング層は一層又は複数層の畳み込み層と一層のプーリング層とを含み、前記プーリング層の出力は当該フィルタリング層の出力とされる。

【0017】

好ましくは、複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメ
ーターをトレーニングすることは、
複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモジュールの入力とし、複数の前記トレーニングデータにおけるターゲットユニットのラベル付け情報を前記エンドツーエンドモジュールの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングすることを含み、前記モデルパラメーターは前記エンドツーエンドモデルの各層間で接続される重み変換行列、及びオフセットである。

【0018】

エンドツーエンドモデリングシステムであって、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定するためのトポロジ構造確定モジュールと、
複数のトレーニングデータを収集するためのトレーニングデータ収集モジュールと、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトにおけるターゲットユニットに対してラベル付けを行うためのラベル付けモジュールと、
各々の前記トレーニングデータの特徴シーケンスを抽出するための特徴抽出モジュールと、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得るためのパラメータートレーニングモジュールとを含み、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うためのものである。

【0019】

好ましくは、前記エンコード層は一層又は複数層であり、エンコード層のノード数は入力層と同じである。

【0020】

好ましくは、各エンコード層は一方向又は双方向長短期記憶ニューラルネットワークにける長短期記憶層を採用するか、又は、畳み込みニューラルネットワークにおける畳み込み層を採用する。

【0021】

好ましくは、前記トポロジ構造は、隣接するエンコード層の間に位置するダウンサンプリング層をさらに含む。

【0022】

好ましくは、前記ダウンサンプリング層は一層又は複数層である。

【0023】

好ましくは、前記ダウンサンプリング層の各ノードの入力は一つ前のエンコード層の隣接する複数のノード特徴情報である。

【0024】

好ましくは、前記ターゲットユニット情報は、エンハンスノードによりエンハンスエンコード層に付加され、各ターゲットユニットは一つのエンハンスノードに対応し、前記エンハンスノードの入力は対応するターゲットユニットの特徴ベクトルであり、エンハンスエンコード層の層数、及びエンハンスノード数はいずれもターゲットユニットの数と同じである。

【0025】

好ましくは、各エンハンスノードは、それに対応するエンハンスエンコード層のノードの全部に接続されるか、各エンハンスノードは、それに対応するエンハンスエンコード層の一番目のノードのみに接続される。

【0026】

好ましくは、前記フィルタリング層の層数は前記エンハンスエンコード層の層数と同じであり、各エンハンスエンコード層は一層のフィルタリング層に直接に接続される。

【0027】

好ましくは、フィルタリング層は一方向又は双方向長短期記憶層の構造形態を採用し、フィルタリング層内のノード数はエンハンスエンコード層内のノード数と同じであり、各エンハンスエンコード層が出力した特徴は直接にそれに接続されるフィルタリング層の入力とされ、フィルタリング層の最後のノードの出力は当該フィルタリング層の出力とされるか、又は、
前記フィルタリング層は、畳み込みニューラルネットワークの畳み込み層とプーリング層の構造形態を採用し、各フィルタリング層は一層又は複数層の畳み込み層と一層のプーリング層とを含み、前記プーリング層の出力を当該フィルタリング層の出力とする。

【0028】

好ましくは、前記パラメータートレーニングモジュールは、複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモデルの入力とし、複数の前記トレーニングデータにおけるターゲットユニットのラベル付け情報を前記エンドツーエンドモジュールの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングし、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及びオフセットである。

【0029】

本発明の実施例が提供するエンドツーエンドモデリング方法及びシステムは、ターゲットに基づくエンドツーエンドモデルのトポロジ構造においてエンハンスエンコード層とフィルタリング層とを追加した。前記エンハンスエンコード層により前記エンコード層が出力した特徴シーケンスにターゲットユニットラベル付け情報を付加し、エンハンスエンコードされた後のエンコード特徴シーケンスにより完全な情報を含ませ、エンコード特徴シーケンスとターゲットラベル付けユニットとの差を効果的に低減し、前記フィルタリング層は前記エンハンスエンコード層により前記ターゲットユニットラベル付け情報が付加された特徴シーケンスに対して情報フィルタリングを行い、エンハンスエンコードされた後の冗長情報を削除し、デコード層はフィルタリングされた後の特徴シーケンスを利用してデコードし、デコードされた特徴シーケンスを出力層の入力とし、出力層により正規化された特徴シーケンスを得て、入力端から出力端までのモデリング制度を効果的に向上させる。

【図面の簡単な説明】

【0030】

本出願の実施例又は従来技術における技術案をより明らかに説明するために、以下は、実施例で利用する必要がある図面を簡単に紹介し、明らかに、以下に説明される図面は、本発明のいくつかの実施例に過ぎず、当業者にとって、これらの図面に応じて、他の図面を取得できる。

【0031】

【図1】従来技術におけるエンコード・デコードモデルのトポロジ構造の模式図である。

【図2】本発明の実施例に係るエンドツーエンドモデリング方法のフローチャートである。

【図3】本発明の実施例におけるターゲットに基づくエンドツーエンドモデルトポロジ構造の模式図である。

【図4】本発明の実施例に係る図３に示すトポロジ構造においてエンコード層の間にダウンサンプリング層を挿入した模式図である。

【図5A】本発明の実施例におけるエンハンスノードとエンハンスエンコード層ノードとの接続模式図である。

【図5B】本発明の実施例におけるエンハンスノードとエンハンスエンコード層ノードの他の接続模式図である。

【図6A】本発明の実施例におけるエンハンスエンコード層とフィルタリング層との接続模式図である。

【図6B】本発明の実施例におけるエンハンスエンコード層とフィルタリング層との他の接続模式図である。

【図7】本発明の実施例に係るエンドツーエンドモデリングシステムの構成模式図である。

【発明を実施するための形態】

【0032】

当業者に本発明の実施例の技術案の理解を促すために、以下、図面及び実施形態と結びつけて本発明の実施例についてさらに詳細に説明する。

【0033】

従来技術のエンドツーエンドモデリング方法に存在する上記問題について、本発明の実施例は、エンドツーエンドモデリング方法及びシステムを提供し、ターゲットに基づくエンドツーエンドモデルのトポロジ構造においてエンハンスエンコード層とフィルタリング層とを追加し、つまり、ターゲットに基づくエンドツーエンドモデルのトポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含む。前記エンハンスエンコード層により前記エンコード層が出力する特徴シーケンスに対してターゲットユニットラベル付け情報を付加し、エンハンスエンコードされた後のエンコード特徴シーケンスにより完全な情報を含ませ、エンコード特徴シーケンスとターゲットラベル付けユニットとの差を効果的に低減し、前記フィルタリング層により前記エンハンスエンコード層が前記ターゲットユニットラベル付け情報を付加した特徴シーケンスに対して情報フィルタリングを行い、エンハンスエンコードされた後の冗長情報を削除し、デコード層はフィルタリングされた特徴シーケンスを利用してデコードし、デコードされた特徴シーケンスを出力層の入力とし、出力層により正規化された特徴シーケンスを得て、入力端から出力端までのモデリングの精度を効果的に向上させる。

【0034】

図２に示すように、本発明の実施例のエンドツーエンドモデリング方法のフローチャートであり、以下のステップを含む。

【0035】

ステップ２０１において、ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定する。

【0036】

従来のエンコード・デコードモデルと比べて、本発明の実施例において、ターゲットに基づくエンドツーエンドモデルのトポロジ構造においてエンハンスエンコード層と、フィルタリング層とを追加し、具体的に、前記エンドツーエンドモデルのトポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、その中、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、これにより、エンハンスエンコードされた後のエンコード特徴シーケンスにより完全な情報を含ませ、エンコード特徴シーケンスとターゲットユニットとの差を効果的に低減する。前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うためのものであり、これにより、エンハンスエンコードされた後の冗長情報を削除し、デコード層は、フィルタリングされた特徴シーケンスを利用してデコードし、デコードされた特徴シーケンスを出力層の入力とし、出力層により正規化された特徴シーケンスを得る。当該ターゲットに基づくエンドツーエンドモデルの具体的な構造について、以下詳細に記述する。

【0037】

ステップ２０２において、複数のトレーニングデータを収集する。

【0038】

前記トレーニングデータは、応用需要に応じて収集されてもよく、例えば、トレーニングデータは、音声データ、画像データ、テキストデータなどであってもよい。

【0039】

ステップ２０３において、各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトにおけるターゲットユニットに対してラベル付けする。

【0040】

前記ターゲットユニットは、応用需要に応じて確定されてもよく、一般的に、当分野の専門家により前記トレーニングデータに対応するラベル付けオブジェクトに対してラベル付けることで得られ、前記ラベル付けオブジェクトは前記トレーニングデータ自身であってもよい。

【0041】

なお、実際の応用において、前記ターゲットユニットは応用需要に応じて確定されてもよく、例えば、音声認識応用において、収集されたトレーニングデータは音声データであり、ラベル付けオブジェクトは前記音声データに対応する認識テキストであってもよく、当該認識テキストにおける一字又は単語をターゲットユニットとする。また、例えば、画像認識応用において、収集されたトレーニングデータは画像データであり、ラベル付けオブジェクトは前記画像データに対応する認識テキスト、即ち、画像認識により得られる認識テキストであってもよく、当該認識テキストにおける一字又は単語をターゲットユニットとする。また、例えば、機械翻訳応用において、収集されたトレーニングデータはソース言語のテキストデータであり、ラベル付けオブジェクトはターゲット言語テキストデータであってもよく、当該ターゲット言語テキストデータにおける一字又は単語をターゲットユニットとする。

【0042】

ステップ２０４において、各々の前記トレーニングデータの特徴シーケンスを抽出する。

【0043】

前記特徴シーケンスにおける特徴は、応用需要に応じて確定されてもよく、例えば、音声認識応用において、前記特徴は、各音声フレームにおける音声データを表現する音響情報、例えば、Ｆｉｌｔｅｒ Ｂａｎｋ特徴、ＭＦＣＣ特徴、又はＰＬＰ特徴などであって
もよく、また、例えば、画像認識応用において、前記特徴は、各フレーム画像における画素ドットの値であってもよく、また、例えば、機械翻訳応用において、前記特徴は各句のソース言語のテキストデータにおける各ワードのワードベクトルであってもよい。

【0044】

ステップ２０５において、複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得る。

【0045】

以下、図３ないし図６に結びつけて、本発明の実施例におけるターゲットに基づくエンドツーエンドモデルについて詳細に説明する。

【0046】

図３に示すように、本発明の実施例におけるターゲットに基づくエンドツーエンドモデルのトポロジ構造模式図である。

【0047】

前記ターゲットに基づくエンドツーエンドモデルトポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層及出力層を含み、具体的なトポロジ構造、及び各層の特徴変換過程は以下の通りである。

【0048】

(１)入力層
入力層はトレーニングデータの特徴シーケンスを入力し、具体的なノード数は、トレーニングデータの特徴シーケンスに応じて確定され、例えば、トレーニングデータが音声データである場合に、入力層が入力した特徴シーケンスは各句の音声データの各フレーム音声特徴であり、入力層のノード数は各句の音声データのフレーム数であり、Ｘ＝{ｘ_１,ｘ_２,...,ｘ_ｔ,...,ｘ_Ｔ}で示し、その中、ｘ_ｔは現在のトレーニングデータの第ｔのフレ
ームの特徴ベクトルを示し、Ｔは現在のトレーニングデータのフレーム数である。

【0049】

(２)エンコード層
入力層が入力した特徴シーケンスはエンコード層によりエンコードされ、前記エンコード層は一層又は複数層であり、各エンコード層のノード数は入力層と同じであり、各エンコード層は一方向又は双方向長短期記憶ニューラルネットワークにおける長短期記憶層、又は畳み込みニューラルネットワークの畳み込み層を採用してもよく、具体的にどのような構造を採用するかについて、応用需要に応じて確定されてもよく、トレーニングデータが多い大規模単語量の音声認識タスクについて、エンコード層は３〜５層の双方向長短期記憶層を採用してもよく、トレーニングデータが少ない制限領域音声認識タスクについて、エンコード層は１〜３層の一方向の長短期記憶層を採用してもよい。

【0050】

さらに、エンコード層の間の算出効率を向上するために、エンコード層の間に一層のダウンサンプリング層を挿入でき、具体的に、隣接する複数のエンコード層の間に一層のダウンサンプリング層をそれぞれ挿入してもよく、全部で複数のダウンサンプリング層を挿入し、任意の二つの隣接するエンコード層を選択して一層のダウンサンプリング層を挿入し、全部で一層のダウンサンプリング層を挿入してもよく、ダウンサンプリング層が挿入されたエンコード層は、エンコード層のノード数が前のダウンサンプリング層のノード数と同じであり、同様に、最後の一層のエンコード層のノード数は、最後の一層のダウンサンプリング層ノード数と同じである。例えば、一般的に、音声認識又は画像認識などの複数フレームの入力特徴シーケンスに重複があるタスクについて、エンコード層の間にダウンサンプリング層を挿入することで、算出効率を向上できる。機械翻訳などの入力特徴シーケンスに重複がないタスクについて、エンコード層の間にダウンサンプリング層を挿入しなくてもよい。

【0051】

図４は、エンコード層１とエンコード層２との間にダウンサンプリング層を挿入した模式図であり、ダウンサンプリング層の各ノードの入力は前のエンコード層の隣接する複数のノード特徴情報であり、前記特徴情報は、前のエンコード層の複数のノード特徴の最大値、平均値を求めるか、ｐノルムを求めるなどの操作により得られ、これにより、ダウンサンプリングの目的を達成する。図４で、ダウンサンプリング層の各ノードの入力は前のエンコード層の隣接する二つのノードの特徴情報であり、その中、Ｍがエンコード層の総数を示す。

【0052】

エンコード層の特徴変換方法は、エンコード層が採用する相応構造の特徴変換方法により決定され、例えば、エンコード層が一方向又は双方向長短期記憶層の構造を採用する場合に、第ｌのエンコード層の出力特徴シーケンスは以下の数１で示される。

【数1】

また、第ｔのフレーム、第ｌのエンコード層の出力特徴ベクトルが以下の数２で示され、変換方法が以下の数３で示される。

【数2】

【数3】

ここで、ｆは一方向又は双方向長短期変換関数であり、Ｄ_ｌは第ｌのエンコード層の各ノードにおける特徴ベクトルの次元数である。

【0053】

(３)エンハンスエンコード層
前記エンハンスエンコード層はターゲットユニット情報を付加し、エンコード層から出力された特徴シーケンスをエンハンスすることにより、エンハンスされた特徴シーケンスにより完全な情報を含ませる。

【0054】

ターゲットユニット情報は相応するエンハンスノードによりエンハンスエンコード層に付加され、各ターゲットユニットは一つのエンハンスノードに対応し、前記エンハンスノードの入力は対応するターゲットユニットの特徴ベクトルである。

【0055】

各ターゲットオブジェクトにおいて複数のターゲットユニットがある可能性があるので、複数層のエンハンスエンコード層を必要とし、各エンハンスエンコード層は一つのエンハンスノードに対応し、エンハンスエンコード層の層数及びエンハンスノード数は、いずれもターゲットユニットの数と同じであり、各層のエンハンスエンコード層は、当該層に対応するターゲットユニットの前のターゲットユニットに対応するエンハンスノードに接続される。図５Ａ、５Ｂに示すように、仮に、全部でＮ個のターゲットユニットがあるとすと、Ｎ層のエンハンスエンコード層を必要とし、なお、エンハンスエンコード層１は空きエンハンスノードに対応し、エンハンスエンコード層２は一番目のターゲットユニットに対応し、エンハンスエンコード層３は二番目のターゲットユニットに対応し、以下同様にして、エンハンスエンコード層ＮはＮ-１番目のターゲットユニットに対応し、即ち、
１〜Ｎ-１個のターゲットユニットの情報は各層に付加される。音声認識を例に、単語を
ターゲットユニットとして、現在の音声データのターゲットユニットラベル付け情報は「今日合肥の天気」であり、ターゲットユニットの数は４であり、四層のエンハンスエンコード層及び四つのエンハンスノードでエンコード層が出力した特徴シーケンスをエンハンスする必要がある。エンコード層が出力した特徴シーケンスをエンハンスする場合に、例えば、以上の例におけるターゲットユニットである「今日」に対応するエンハンスエンコード層がターゲットユニットである「合肥」に対応するエンハンスノードに接続され、第１のエンハンスエンコード層は一つの空きエンハンスノードに接続される。

【0056】

もちろん、各ターゲットユニット情報を利用してエンコード層が出力した特徴シーケンスをエンハンスする処理方式は同じであるので、実際の応用において、上記複数層のエンハンスエンコード層は、一層のエンハンスエンコード層によるラベル付けオブジェクトにおける複数のターゲットユニットに対する逐次のエンハンスプロセスと見なすこともできる。

【0057】

なお、実際の応用において、エンハンスノードとエンハンスエンコード層との接続形態は色々ある。例えば、図５Ａに示すように、一つの接続形態は、各エンハンスノードがそれに対応するエンハンスエンコード層のノードと全部接続されることであり、図５Ｂに示すように、他の一つの接続形態は、各エンハンスノードがそれに対応するエンハンスエンコード層の一番目のノードのみに接続されることであり、図５Ａ、５ＢにおけるＮはター
ゲットユニットの数を示す。なお、前で言及された図３において図５Ａに示す第一種の接続形態、即ち各エンハンスノードがそれに対応するエンハンスエンコード層のノードと全部接続される形態を示す。上記第２種の接続形態は計算量を節約することができるが、エンハンス効果は第１種の接続形態ほどよくない。

【0058】

各層のエンハンスエンコード層のノード数は、最後の一層のエンコード層のノード数と同じであり、エンハンスエンコード層内のノード間の接続形態はエンコード層内のノード間の接続形態と同じである。

【0059】

特徴変換を行う場合に、直接に各エンハンスノードが示すターゲットユニット特徴ベクトルとエンハンスエンコード層ノード接続重みとの積をエンハンスエンコード層の相応するノードが示す特徴ベクトルに加えればよい。

【0060】

(４)フィルタリング層
前記フィルタリング層は、各エンハンスエンコード層によりエンハンスされた特徴シーケンスに対して情報フィルタリングを行うためのものであり、フィルタリング層の層数はエンハンスエンコード層の層数と同じであり、各層のエンハンスエンコード層は一層のフィルタリング層と直接に接続される。

【0061】

実際の応用において、前記フィルタリング層の構造は、以下の二種の形態を採用することができ、一つは一方向又は双方向長短期記憶層の構造形態であり、他の一つは畳み込みニューラルネットワークの畳み込み層とプーリング層の構造形態である。

【0062】

図６Ａは、エンハンスエンコード層とフィルタリング層との第１種の接続形態であり、第１種の接続形態を採用する場合に、フィルタリング層の層数はエンハンスエンコード層の層数と同じであり、フィルタリング層内のノード数はエンハンスエンコード層内のノード数と同じであり、各層のエンハンスエンコード層が出力する特徴は直接にこれに接続されるフィルタリング層の入力とされ、フィルタリング層の最後のノードの出力を用いて当該フィルタリング層の出力とし、即ちフィルタリングされたエンハンスエンコード情報とする。

【0063】

図６Ｂは、エンハンスエンコード層とフィルタリング層の第２種の接続形態であり、第２種の接続形態を採用する場合に、フィルタリング層は直接に一層又は複数層の畳み込み層を用いて接続された後、プーリング層に接続される形態を採用し、前記プーリング層の出力をフィルタリング後のエンハンスエンコード情報とする接続形態は、複数の畳み込み層を採用して徐々にエンハンスエンコード情報を各ノードからフィルタリングして、収集し、最終に一つのノードに集約する。第１種の接続形態で一層のフィルタリング層のみを用いてフィルタリングすることに比べて、第２種の接続形態のフィルタリング効果はより良好である。

【0064】

なお、前で言及された図３において、図６Ａ示す第１種の接続形態のみを示した。

【0065】

フィルタリング層の特徴変換方法は、それぞれ各接続形態の特徴変換方法と同じであり、具体的な変換過程についての説明は省略する。

【0066】

(５)デコード層
前記デコード層の入力は各フィルタリング層が出力するフィルタリングされた後のエンハンスエンコード情報であり、デコード層は、一般的に一方向の長短期記憶層の接続形態を採用し、デコード層は一層又は複数層であってもよく、一般的に、１〜２層のデコード層を使用すればよく、各デコード層のノード数はフィルタリング層の層数と同じであり、
具体的にデコード過程は従来技術と同じであるので、説明は省略する。

【0067】

(６)出力層
デコード層により変換された出力特徴シーケンスを出力層の入力とし、出力層は入力特徴シーケンスを正規化した後に各ターゲットラベル付けユニットの事後確率ベクトルシーケンスを出力し、具体的な正規化方法は従来技術を採用してもよく、正規化関数は例えばｓｏｆｔｍａｘ関数である。

【0068】

上記エンドツーエンドモデルのトポロジ構造に基づいて、相応するモデルをトレーニングする場合に、直接にトレーニングデータの特徴シーケンスを使用してエンドツーエンドモデルの入力とし、相応するターゲットユニットのラベル付け情報をエンドツーエンドモジュールの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングし、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及び相応するオフセットである。具体的なパラメータートレーニング過程について、従来技術を採用してもよく、例えば、交差エントロピーを採用してモデルの最適化ターゲットとし、誤差逆伝播法を利用してモデルパラメーターを継続的に更新し、例えば、複数の繰り返しの方法を採用してモデルパラメーターを更新し、モデルパラメーターが収束ターゲットに達する場合に、繰り返し過程を停止し、モデルパラメーターの更新過程を完成し、エンドツーエンドモデルのモデルパラメーターを得る。

【0069】

このように、本発明の実施例が提供するエンドツーエンドモデリング方法は、ターゲットに基づくエンドツーエンドモデルのトポロジ構造においてエンハンスエンコード層とフィルタリング層とを追加した。入力特徴シーケンスをエンコードした後に、各ターゲットユニットにエンハンスエンコード層を追加し、各エンハンスエンコード層により順に各ターゲットユニットの前の一つのターゲットユニットの情報をエンコードシーケンスに付加し、ターゲットユニットの履歴情報を考慮したので、エンハンスエンコードされた後のエンコード特徴シーケンスにより完全な情報を含ませ、エンコード特徴シーケンスとターゲットユニットとの差を効果的に低減する。さらに、エンハンスエンコード後の冗長情報を削除するために、各エンハンスエンコード層の後にフィルタリング層をさらに追加し、エンハンスエンコードされた後の特徴シーケンスに対して情報フィルタリングを行い、フィルタリングされた特徴シーケンスを利用してデコードして、デコードされた特徴シーケンスを出力層の入力とし、出力層により正規化された特徴シーケンスを得て、これにより、入力端から出力端までのモデリング精度を効果的に向上させる。

【0070】

当業者であれば、上記実施例方法における全部又は一部のステップを実現することは、プログラムにより相関するハードウェアを指令することにより完成できると理解され、前記のプログラムは、例えば、ＲＯＭ/ＲＡＭ、磁気ディスク、ＣＤなどのコンピュータ読
み取り可能な記憶媒体に記憶されてもよい。

【0071】

本出願の実施例は、さらに、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータプログラムコードを含み、当該コンピュータプログラムコードは、プロセッサーにより実行され、当該プロセッサーに、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定し、
複数のトレーニングデータを収集し、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトのターゲットユニットをラベル付けし、
各々の前記トレーニングデータの特徴シーケンスを抽出し、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得る、
処理を実行させ、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力する特徴シーケンスにターゲットユニット情報を付加し、前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対して情報フィルタリングを行うことを特徴とするコンピュータ読み取り可能な記憶媒体。

【0072】

なお、前記ターゲットに基づくエンドツーエンドモデルの具体的な構造については、前の記述を参照する。

【0073】

前記プロセッサーは、複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモデルの入力とし、複数の前記トレーニングデータにおけるターゲットユニットのラベル付け情報を前記エンドツーエンドモジュールの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングし、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及びオフセットである。

【0074】

相応して、本発明の実施例は、さらに、エンドツーエンドモデリングシステムを提供し、図７に示すように、当該システムの構成模式図である。

【0075】

当該実施例において、前記システムは、
ターゲットに基づくエンドツーエンドモデルのトポロジ構造を確定するためのトポロジ構造確定モジュール７０１と、
複数のトレーニングデータを収集するためのトレーニングデータ収集モジュール７０２と、
各々の前記トレーニングデータのラベル付けオブジェクトを確定し、前記ラベル付けオブジェクトのターゲットユニットをラベル付けするためのラベル付けモジュール７０３と、
各々の前記トレーニングデータの特徴シーケンスを抽出するための特徴抽出モジュール７０４と、
複数の前記トレーニングデータの特徴シーケンス、及びそのターゲットユニットのラベル付け情報を利用してターゲットに基づくエンドツーエンドモデルのパラメーターをトレーニングすることで、ターゲットに基づくエンドツーエンドモデルパラメーターを得るためのパラメータートレーニングモジュール７０５とを含み、
前記トポロジ構造は、入力層、エンコード層、エンハンスエンコード層、フィルタリング層、デコード層、出力層を含み、前記エンハンスエンコード層は、前記エンコード層が出力した特徴シーケンスに対してターゲットユニット情報を付加するためのものであり、前記フィルタリング層は、前記エンハンスエンコード層により前記ターゲットユニット情報が付加された特徴シーケンスに対してフィルタリングを行うためのものである。

【0076】

前記ターゲットに基づくエンドツーエンドモデルのトポロジ構造については、上記の本発明の方法実施例を紹介する際に詳細に説明したので、ここでは説明を省略する。

【0077】

当該ターゲットに基づくエンドツーエンドモデルのトポロジ構造は、パラメータートレーニングモジュール７０５がモデルトレーニングを行う際に、複数の前記トレーニングデータの特徴シーケンスを前記エンドツーエンドモデルの入力とし、複数の前記トレーニングデータにおけるターゲットユニットのラベル付け情報を前記エンドツーエンドモジュールの出力とし、前記エンドツーエンドモデルのモデルパラメーターをトレーニングし、前記モデルパラメーターは前記エンドツーエンドモデルの各層の間で接続される重み変換行列、及びオフセットである。具体的なパラメータートレーニング過程は従来技術を採用で
き、例えば、交差エントロピーを採用してモデルの最適化ターゲットとし、誤差逆伝播法によりモデルパラメーターを継続的に更新し、例えば、複数の繰り返しの方法を採用してモデルパラメーターを更新し、モデルパラメーターが収束ターゲットに達する場合に、繰り返し過程を停止し、モデルパラメーターの更新過程を完成し、エンドツーエンドモデルのモデルパラメーターを得る。

【0078】

このように、本発明の実施例が提供するエンドツーエンドモデリングシステムは、ターゲットに基づくエンドツーエンドモデルのトポロジ構造にエンハンスエンコード層とフィルタリング層とを追加した。入力特徴シーケンスをエンコードした後に、各ターゲットユニットにエンハンスエンコード層を追加し、各エンハンスエンコード層により順に各ターゲットユニットの前の一つのターゲットユニットの情報をエンコードシーケンスに付加し、ターゲットユニットの履歴情報を考慮したので、エンハンスエンコードされた後のエンコード特徴シーケンスにより完全な情報を含ませ、エンコード特徴シーケンスとターゲットユニットとの差を効果的に低減する。さらに、エンハンスエンコード後の冗長情報を削除するために、各エンハンスエンコード層の後にフィルタリング層をさらに増加し、エンハンスエンコードされた後の特徴シーケンスに対して情報フィルタリングを行い、フィルタリングされた特徴シーケンスを利用してデコードし、デコードされた特徴シーケンスを出力層の入力とし、出力層により正規化された特徴シーケンスを得て、これにより、入力端から出力端までのモデリング精度を効果的に向上させる。

【0079】

本発明の実施例に係るエンドツーエンドモデリングシステムにおける各モジュールは、具体的に、メモリ、プロセッサー、及び他のハードウェアにより実現されてもよく、各モジュールは、一つ又は複数の独立したハードウェアにより実現されてもよく、複数のモジュールを一つのハードウェアに集積することで実現されてもよい。もちろん、幾つかのモジュールの機能はソフトウェアにより実現されてもよく、本発明の実施例はこれに限定されない。

【0080】

なお、本発明の実施例が提供する方法及びシステムは、パターン認識や機械学習分野における様々な応用需要、例えば、音声認識、画像認識、機械翻訳などの応用に適用できる。音声認識を例に、エンドツーエンドモデリングは、音響モデルと言語モデルとに対して共同モデリングを行い、直接に認識テキストを出力でき、例えば、一般的に、中国語で漢字又は単語をモデリングユニット、即ち、ターゲットユニットとし、音声信号シーケンスの入力と、漢字や単語の出力との対応関係を学習することでモデリングを行う。

【0081】

本明細書における各実施例について漸進的に説明したが、各実施例間の同じ、又は類似する部分は、相互に参照すればよく、各実施例は他の実施例との相違点について主に説明している。特に、システムの実施例は、方法の実施例と基本的に同様であるので説明は簡単にしたが、関連する部分について、方法の実施例の一部の説明を参照すればよい。上述のシステムの実施例は例示に過ぎない。別個の構成要素として説明したユニットは、物理的に分離してもよく、分離していなくてもよい。ユニットとして示されている構成要素は、物理的ユニットであってもよく、そうでなくてもよく、すなわち、構成要素は１箇所に位置してもよく、複数のネットワークユニットに分散されてもよい。実際の需要に基づいて、これらのモジュールの一部又は全てを選択して、本実施例案の目的を達成できる。当業者なら、如何なる創造的努力もなしに、理解し実施することができる。

【0082】

以上で、本発明の実施例について詳細に紹介し、具体的な実施形態を応用して本発明を述べたが、以上の実施例の説明はただ本発明の方法及びシステムを理解するためである。かつ、当業者にとって、本発明の思想に基づいて、具体な実施形態及び応用の範囲を変更でき、本明細書は、本発明を限定するためのものであると理解すべきではない。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】