特許 6986724 人工知能に基づく心電図干渉識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986724

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】人工知能に基づく心電図干渉識別方法

(51)【国際特許分類】

   A61B 5/364 20210101AFI20211213BHJP

   A61B 5/352 20210101ALI20211213BHJP

   G06N 3/04 20060101ALI20211213BHJP

   G06N 3/08 20060101ALI20211213BHJP

   G06N 20/00 20190101ALI20211213BHJP

【ＦＩ】

   A61B5/364

   A61B5/352

   G06N3/04

   G06N3/08

   G06N20/00 130

【請求項の数】8

【全頁数】10

(21)【出願番号】特願2020-519166(P2020-519166)

(86)(22)【出願日】2018年1月12日

(65)【公表番号】特表2020-524065(P2020-524065A)

(43)【公表日】2020年8月13日

(86)【国際出願番号】CN2018072349

(87)【国際公開番号】WO2019100561

(87)【国際公開日】20190531

【審査請求日】2019年12月18日

(31)【優先権主張番号】201711203069.4

(32)【優先日】2017年11月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】520363498

【氏名又は名称】上海▲楽▼普云智科技股▲分▼有限公司

【氏名又は名称原語表記】Ｓｈａｎｇｈａｉ Ｌｅｐｕ ＣｌｏｕｄＭｅｄ Ｃｏ．， ＬＴＤ

(74)【代理人】

【識別番号】100140822

【弁理士】

【氏名又は名称】今村 光広

(72)【発明者】

【氏名】田 亮

(72)【発明者】

【氏名】▲張▼ 雪

(72)【発明者】

【氏名】▲張▼ ▲月▼

(72)【発明者】

【氏名】▲趙▼ 子方

(72)【発明者】

【氏名】▲蘇▼ 志▲強▼

(72)【発明者】

【氏名】曹 君

【審査官】 樋口 祐介

(56)【参考文献】

【文献】 米国特許出願公開第２０１６／０１２０４３３（ＵＳ，Ａ１）

【文献】 特表２０１７−５２５４１０（ＪＰ，Ａ）

【文献】 特表２００６−５２３５０５（ＪＰ，Ａ）

【文献】 特開２０１６−０４３０４１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ５／２４−５／３９８

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

ＪＭＥＤＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

第１のデータ量で心拍データをカットサンプリングすることと、
前記カットサンプリングして得られた心拍データの系列のうち、心拍間隔が予め設定された間隔判定閾値以上のカットサンプリングして得られた心拍データを心拍データセグメントとして特定することと、
心拍間隔が予め設定された間隔判定閾値以上の心拍データセグメントについて信号異常判定を行い、異常信号であるか否かを判定することと、
異常信号でなければ、所定時間幅で設定時間値に基づいて前記心拍データセグメントにおけるスライドサンプリングの開始データ点及び終了データ点を特定し、前記開始データ点から前記終了データ点まで前記データセグメントをスライドサンプリングして複数のサンプルデータセグメントを取得することと、
前記サンプルデータセグメントをそれぞれ識別対象の心拍データとして干渉識別二項分類モデルに入力して干渉識別を行うこととを含み、
前記干渉識別は、具体的には、
前記干渉識別二項分類モデルに基づき、シングルリード又はマルチリードである前記識別対象の心拍データの干渉ノイズ確率値を確定し、
前記干渉ノイズ確率値に基づき、前記識別対象の心拍データが干渉データ又は非干渉データであると判定することを含む、ことを特徴とする人工知能に基づく心電図干渉識別方法。

【請求項2】

前記第１のデータ量で心拍データをカットサンプリングすることは、具体的には、
前記心拍データのサンプリング中間点を特定することと、
前記サンプリング中間点を中心として、前記心拍データの時系列に沿って前記サンプリング中間点から両側へとデータの切り出しを行い、前記第１のデータ量のサンプルデータを得ることと、を含む、ことを特徴とする請求項１に記載の方法。

【請求項3】

前記心拍データのサンプリング中間点は、前記心拍データにおけるＱＲＳ群データのＲ点である、ことを特徴とする請求項２に記載の方法。

【請求項4】

前記データの切り出しは、具体的には、データ点の数に応じて切り出し又は期間の長さに応じて切り出すことである、ことを特徴とする請求項２に記載の方法。

【請求項5】

前記心拍データは、具体的には、シングルリード又はマルチリードの心拍データであり、前記第１のデータ量で心拍データをカットサンプリングすることは、具体的には、
シングルリード又はマルチリードの心拍データのサンプリング中間点を特定し、
第１のデータ量で、シングルリード又はマルチリードである心拍データのサンプリング
中間点に基づいて前記カットサンプリングを行うことである、ことを特徴とする請求項１に記載の方法。

【請求項6】

前記方法は、前記干渉データをラベリングすることをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項7】

前記方法は、人工知能に基づく自己学習トレーニングによって前記干渉識別二項分類モデルを形成することをさらに含む、ことを特徴とする請求項１に記載の方法。

【請求項8】

前記トレーニングは、具体的には
トレーニングデータをラベリングし、
前記トレーニングデータをデータフォーマット変換して記憶し、データフォーマットを予め設定された標準データフォーマットに変換し、
予め設定された標準データフォーマットを有するトレーニングデータに基づいてトレーニングを行うことを含む、ことを特徴とする請求項７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１７年１１月２７日に中国特許庁に提出された出願番号が２０１７１１２０３０６９．４であり、発明の名称が「人工知能に基づく心電図干渉識別方法」である中国特許出願の優先権を主張するものである。
本発明は、人工知能データ解析処理の技術分野に関し、特に、人工知能に基づく心電図干渉識別方法に関する。

【背景技術】

【0002】

Ｅｉｎｔｈｏｖｅｎは、１９０８年に心電図（Ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｐｈｙ、ＥＣＧ）を用いて心臓の電気生理学的活動を測定し始め、現在、非侵襲的な心電図検査が、臨床心血管分野における心臓疾患の診断及びスクリーニングのための重要な方法の１つとなっている。心電図検査は、臨床での使用状況に応じて、静的心電図、動的心電図、運動負荷心電図などに大別できる。

【0003】

電気的な心臓モニタリングは、心臓血管患者に対する病状観察や診療の重要な手段であり、不整脈の有無や心拍動の頻度などをリアルタイムでモニタリングし、且つ心臓の電気的活動に応じてタイムリーに効果的な手段を採用することが可能である。市場での動的心電図解析ソフトウェアの大半はデータを自動的に解析できるが、臨床作業において、心電図検査の記録過程は様々な影響を受けやすく、干渉現象が生じることにより、得られたデータが無効又は不正確となり、患者の状態を正確に反映できず、医者の診断困難性及び作業量を増大させる。同時に、干渉データは、スマート診断ツールが有効に機能できなくなる要因でもある。このため、干渉を最小限に抑えることが特に重要である。

【発明の開示】

【0004】

本発明の目的は、人工知能に基づく心電図干渉識別方法を提供することである。ディープラーニングアルゴリズムを中心としたエンドツーエンドの二項分類識別システムは、高精度で汎用性が高いという特徴があり、電極パッドの脱落、動的干渉、静的干渉など主要な干渉源による干渉問題を効果的に解決し、従来のアルゴリズムが干渉データの多様性や不規則性で識別効果が悪かったという問題を克服した。

【0005】

上記目的を達成するために、本発明は、第１のデータ量で心拍データをカットサンプリングし、カットサンプリングして得られた識別対象の心拍データを干渉識別二項分類モデルに入力して干渉識別を行うことと、
心拍データの系列のうち、心拍間隔が予め設定された間隔判定閾値以上の心拍データセグメントを特定することと、
心拍間隔が予め設定された間隔判定閾値以上の心拍データセグメントについて信号異常判定を行い、異常信号であるか否かを判定することと、
異常信号でなければ、所定時間幅で設定時間値に基づいて前記心拍データセグメントにおけるスライドサンプリングの開始データ点及び終了データ点を特定し、前記開始データ点から前記終了データ点まで前記データセグメントをスライドサンプリングして複数のサンプルデータセグメントを取得することと、
前記サンプルデータセグメントをそれぞれ前記識別対象の心拍データとして前記干渉識別を行うことと、を含む人工知能に基づく心電図干渉識別方法を提供する。

【0006】

好ましくは、前記第１のデータ量で心拍データをカットサンプリングすることは、具体的には、
前記心拍データのサンプリング中間点を特定することと、
前記サンプリング中間点を中心として、前記心拍データの時系列に沿って前記サンプリング中間点から両側へとデータの切り出しを行い、前記第１のデータ量のサンプルデータを得ることと、を含む。

【0007】

さらに好ましくは、前記心拍データのサンプリング中間点は、前記心拍データにおけるＱＲＳ群データのＲ点である。

【0008】

さらに好ましくは、前記データの切り出しは、具体的には、データ点の数に応じて切り出し又は期間の長さに応じて切り出すことである。

【0009】

好ましくは、前記心拍データは、具体的には、シングルリード又はマルチリードの心拍データであり、前記第１のデータ量で心拍データをカットサンプリングすることは、具体的には、
シングルリード又はマルチリードの心拍データのサンプリング中間点を特定し、
第１のデータ量で、シングルリード又はマルチリードである心拍データのサンプリング中間点に基づいて前記カットサンプリングを行うことを含む。

【0010】

好ましくは、前記カットサンプリングして得られた識別対象の心拍データを干渉識別二項分類モデルに入力して干渉識別を行うことは、具体的には、
前記干渉識別二項分類モデルに基づき、シングルリード又はマルチリードである前記識別対象の心拍データの干渉ノイズ確率値を確定し、
前記干渉ノイズ確率値に基づき、前記識別対象の心拍データが干渉データ又は非干渉データであると判定することを含む。

【0011】

さらに好ましくは、前記方法は、前記干渉データをラベリングすることをさらに含む。

【0012】

好ましくは、前記方法は、人工知能に基づく自己学習トレーニングによって前記干渉識別二項分類モデルを形成することをさらに含む。

【0013】

さらに好ましくは、前記トレーニングは、具体的には、
トレーニングデータをラベリングし、
前記トレーニングデータをデータフォーマット変換して記憶し、データフォーマットを予め設定された標準データフォーマットに変換し、
予め設定された標準データフォーマットを有するトレーニングデータに基づいてトレーニングを行うことを含む。

【0014】

本発明の実施例に係る人工知能に基づく心電図外乱識別方法は、ディープラーニングアルゴリズムを中心としたエンドツーエンドの二項分類識別システムを形成し、高精度で汎用性が高いという特徴があり、電極パッドの脱落、動的干渉、静的干渉など主要な干渉源による干渉を効果的に解決できる。本方法は、オフラインでトレーニングを済ましたディープラーニングモデルを用いて入力された心拍データを分類し、干渉であるか否かという分類結果を直接出力するものであり、結果の取得が速く、識別精度が高く、安定性能が良く、後続の解析により効率的で良質なデータを提供することができる。

【図面の簡単な説明】

【0015】

【図1】図１は、本発明の実施例に係る人工知能に基づく心電図干渉識別方法のフローチャートである。

【図2】図２は、本発明の実施例に係る干渉識別二項分類モデルの模式図である。

【発明を実施するための形態】

【0016】

以下、図面及び実施例を参照しながら、本発明の技術方案をさらに詳しく説明する。

【0017】

本発明の技術方案を容易に理解するために、人工知能モデル、特に畳み込みニューラルネットワークモデルの基本原理をまず紹介する。

【0018】

人工知能畳み込みニューラルネットワーク（ＣＮＮ）モデルは、ディープラーニングにおける教師あり学習方法である。すなわち、ニューラルネットワークを模擬した多層ネットワーク（隠れ層ｈｉｄｄｅｎ ｌａｙｅｒ）の接続構造であり、入力信号は各隠れ層を順次に通過し、その中で一連の複雑な数学的な処理（Ｃｏｎｖｏｌｕｔｉｏｎ畳み込み、Ｐｏｏｌｉｎｇプーリング、Ｒｅｇｕｌａｒｉｚａｔｉｏｎ正規化、オーバーフィッティング防止、Ｄｒｏｐｏｕｔ一時廃棄、Ａｃｔｉｖａｔｉｏｎ活性化、一般的にはＲｅｌｕ活性化関数を用いる）を行い、識別対象物のいくつかの特徴を層ごとに自動的に抽象化し、次にそれらの特徴を入力として最後の数層の全結合層（Ｆｕｌｌ Ｃｏｎｎｅｃｔｉｏｎ）が信号全体を再構成するまで上位の隠れ層に再伝達して計算し、Ｓｏｆｔｍａｘ関数を用いてロジスティック回帰を行い、多目的分類を達成する。

【0019】

ＣＮＮは、人工知能における教師あり学習方法に属する。トレーニング段階では、入力信号は、複数の隠れ層処理を経て最後の全結合層に到達し、ｓｏｆｔｍａｘロジスティック回帰によって得られた分類結果と既知の分類結果（ｌａｂｅｌ ｔａｇ）との間に誤差があるが、ディープラーニングの１つの核となる着想は、多数のサンプル反復によってこの誤差を連続的に極小化し、各隠れ層ニューロンを接続するパラメータを計算して得ることである。このプロセスは、一般に、非線形最適化勾配降下アルゴリズム及び誤差逆伝搬アルゴリズム（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ａｌｇｏｒｉｔｈｍ、ＢＰ）を用いて、深さ（隠れ層の層数）及び広さ（フィーチャの次元数）全体が非常に複雑なニューラルネットワーク構造における全ての接続パラメータを、迅速かつ効率的に最小化する、特別な損失関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を構築することを必要とする。

【0020】

ディープラーニングは、識別が必要なデータを学習モデルに入力し、第１隠れ層、第２隠れ層、第３隠れ層を経て、最後に識別結果を出力する。各層は、異なる抽象度の特徴を抽出し、最終的に、生データが、具体的には、車、人、又は動物などのどのカテゴリであるかを識別する。

【0021】

ディープラーニングのアルゴリズムは、数学的に非常に複雑である。完全なアルゴリズムプログラムを開発するには、極めて高度な専門的知識と豊かな作業経験が必要である。近年、Ｇｏｏｇｌｅ、Ｍｉｃｒｏｓｏｆｔ、Ｂａｉｄｕ、Ｆａｃｅｂｏｏｋなどの企業や一部の著名大学（例えば、カリフォルニア大学バークレー校、カナダのモントリオール大学）も、それぞれの特徴を有する人工知能開発のオーペンソースプラットフォームを次々に開発し、ディープラーニング分野の一部の研究開発会社の該先端技術への迅速な把握に手助けするようにしている。その中でも、バーガーレーのＣａｆｆｅとグーグルのＴｅｎｓｏｒｆｌｏｗは、現在最も広く用いられている２つのフレームワークツールである。

【0022】

ディープラーニングモデルが極めて複雑であるため、必要なトレーニングデータは数十万、数百万から数千万に及ぼし、それに反復を繰り返すことになり、非線形最適化用計算量は非常に膨大になる。実際のプロジェクトでは、通常のコンピュータの中央処理装置を使用して計算すると、多くの場合、十数時間から数日、さらにはそれ以上の時間を要する。この場合、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）計算を用いることにより、計算速度を大幅に向上させることができる。現在、Ｎｖｉｄｉａ社が提供するＧＰＵカードは、強力なグラフィックスとコンピュータビジョン計算能力、大量の線形代数などの計算ライブラリによって並列処理をサポートするため、ディープラーニングの要する様々な方法計算を満たすことができ、現在の人工知能高性能トレーニング及び推論用基礎的なハードウェアとなっている。

【0023】

本発明の人工知能に基づく心電図干渉識別方法は、ＣＮＮモデルによって実現される。

【0024】

以下、本発明の具体的な実現態様について、図１に示す人工知能に基づく心電図干渉識別方法のフローチャートで説明する。

【0025】

図１に示すように、本発明が提供する人工知能に基づく心電図干渉識別方法の主なステップは、以下の通りである。

【0026】

ステップ１１０において、第１のデータ量で心拍データをカットサンプリングし、カットサンプリングして得られた識別対象の心拍データを干渉識別二項分類モデルに入力して干渉識別を行う。

【0027】

具体的には、まず、心拍データのサンプリング中間点を特定し、具体的には心拍データにおけるＱＲＳ群データのＲ点を選択することができる。そして、サンプリング中間点を中心として、心拍データの時系列に沿ってサンプリング中間点から両側へとデータの切り出しを行い、第１のデータ量のサンプルデータを得る。そのうち、データの切り出しの仕方としては、データ点の数に応じて切り出し又は期間の長さに応じて切り出すことができる。

【0028】

上記のカットサンプリングは、シングルリードまたはマルチリードのものであり得る。マルチリードの場合には、各リードに対してそれぞれのリード心拍データのサンプリング中間点を決定し、その後、第１のデータ量で、各リード心拍データのサンプリング中間点に基づいてカットサンプリングを行うようにしてもよい。つまり、サンプリング中間点から前後に等しいデータ量を切り出す。切り出しは、具体的には、設定されたデータ点数の量に応じて切り出すか又は設定された時間帯の長さに応じて切り出すことを採用することができる。

【0029】

本発明において、干渉識別の具体的な実施形態は、干渉識別二項分類モデルに基づいて各リードの識別対象の心拍データの干渉ノイズ確率値を確定し、その後、干渉ノイズ確率値に基づいて識別対象の心拍データが干渉データ又は非干渉データであると判定することであってもよい。

【0030】

干渉識別二項分類モデルのトレーニングについては、後に詳しく説明する。

【0031】

ステップ１２０において、心拍データの系列のうち、心拍間隔が予め設定された間隔判定閾値以上である心拍データセグメントを特定する。

【0032】

具体的には、所定時間は２秒が好ましい。心拍間隔が予め設定された間隔以上である場合には、信号異常の可能性があることを示すため、信号異常の判定を先に行う必要がある。

【0033】

ステップ１３０において、心拍間隔が予め設定された間隔判定閾値以上である心拍データセグメントについて信号異常判定を行い、異常信号であるか否かを確認する。

【0034】

具体的には、信号異常判定は、信号のオーバーフロー、低電圧、電極の脱落などの判定を含む。心拍間隔が２秒以上の心拍データについて、信号のオーバーフロー、低電圧、電極抜けであるか否かをまず判定する。

【0035】

異常信号でなければ、ステップ１４０を実行し、異常信号であれば、ステップ１５０を実行する。

【0036】

ステップ１４０において、所定時間幅で設定時間値に基づき、心拍データセグメントにおけるスライドサンプリングの開始データ点および終了データ点を特定し、開始データ点から終了データ点までデータセグメントをスライドサンプリングし、複数のサンプルデータセグメントを取得する。

【0037】

すなわち、心拍データセグメントの時系列的に先頭のサンプルデータの開始データ点を設定時間値に応じて決定し、次に所定時間幅に基づき、後方に所定時間幅で重ねないように連続してスライドサンプリングする。好ましくは、各サンプルデータセグメントに含まれるデータ点の数も第１のデータ量である。

【0038】

次いで、ステップ１６０を実行する。

【0039】

ステップ１５０において、異常信号をラベリングし、ステップ１２０に戻り、次の心拍間隔が予め設定された間隔判定閾値以上である心拍データセグメントの識別を継続する。

【0040】

ステップ１６０において、各サンプルデータセグメントを識別対象の心拍データとして干渉識別を行う。

【0041】

さらに、識別された干渉データに対してラベリングする。

【0042】

上記干渉識別二項分類モデルの構造は、人工知能に基づく深層学習畳み込みニューラルネットワークＬｅＮｅｔ−５やＡｌｅｘＮｅｔなどのモデルから啓発を受けて構築されたエンドツーエンドの二項分類識別システムである。

【0043】

このモデルのトレーニングについて、本発明者らは、３０万人の患者からの精確にラベリングしたデータセグメントを４００万に近く使用した。ラベリングは、正常な心電信号か又は明らかに干渉のある心電信号セグメントという２種類に分類される。我々は、カスタム開発されたツールによってフラグメントラベリングを行い、次いで、干渉フラグメント情報をカスタム標準データフォーマットで保存する。

【0044】

トレーニング過程では、２台のＧＰＵサーバを用いて数十回のラウンドトレーニングを行う。具体的な例では、サンプリングレートは２００Ｈｚであり、データ長は３００個心電図電圧値（ミリボルト）の１つのセグメントＤ[３００]であり、入力データはＩｎｐｕｔＤａｔａ（ｉ，ｊ）（ｉはｉ番目のリードで、ｊはリードｉのＤ番目のセグメント）である。入力データを全てランダムに分散して初めてトレーニングを開始し、トレーニング過程の収束を保証するとともに、同一患者の心電図データからの過度のサンプル収集を制御し、モデルの汎化能力、つまり実際のシチュエーションでの正確度を向上させる。トレーニングが収束された後、１００万個の独立したテストデータを用いてテストを行い、９９．３％の精度を達成できた。その他の具体的な試験データは、下記の表１の通りである。

【0045】

【表1】

【0046】

干渉データは、外乱要因の作用に起因することが多く、主に、電極パッドの脱落、低電圧、静的干渉及び動的干渉などがあり、異なる干渉源による干渉データが異なるだけではなく、同じ干渉源による干渉データも様々である。また、干渉データは多様性が広くても正常データとの差異が大きいことを考慮して、干渉のトレーニングデータを収集する場合も可能な限り多様性を保証しながら、移動ウィンドウ式スライドサンプリングを採用して干渉データの多様性を可能な限り増加させてモデルを干渉データに対してよりロバストにすることによって、将来の干渉データが従来のいかなる干渉と異なっても、正常データと比較して干渉との類似度が正常データよりも大きくなり、モデルが干渉データを識別する能力を向上させることができる。

【0047】

本ステップで用いる干渉識別二項分類モデルは、図２に示すように、ネットワークがまず２層の畳み込み層を用い、畳み込みカーネルサイズは１ｘ５で、各層ごとに最大値を加算してプールすることができる。コンボリューションカーネル数は１２８から始まり、最大プーリング層を通過する度にコンボリューションカーネル数は２倍になる。畳み込み層の次には、２つの全結合層と１つのｓｏｆｔｍａｘクラシファイヤとが続く。このモデルの分類数は２であるので、ｓｏｆｔｍａｘは出力手段を２つ有し、対応するクラスに順次に対応し、損失関数としてクロスエントロピーを用いる。

【0048】

本発明の実施例による人工知能に基づく心電図干渉識別方法は、ディープラーニングアルゴリズムを中心としたエンドツーエンドの二項分類識別システムを構築することにより、高精度で汎用性が高いという特徴があり、電極パッドの脱落、動的干渉、静的干渉など主要な干渉源による干渉問題を効果的に解決できる。本方法は、オフラインでトレーニングを済ましたディープラーニングモデルを用いて入力された心拍データを分類し、干渉であるか否かという分類結果を直接出力するものであり、結果の取得が速く、識別精度が高く、安定性能が良く、後続の解析により効率的で良質なデータを提供することができる。

【0049】

当業者は、本明細書に開示される実施例に記載の各例のユニットおよびアルゴリズムに関するステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせで実施されることができ、ハードウェアとソフトウェアの互換性を明確に示すために、上記の説明では、機能に応じて各例の構成および手順を包括的に説明したことをさらに分かる。これらの機能は、ハードウェアまたはソフトウェアのいずれで実行されるかは、技術方案の特定の適用及び設計上の制約によって決められる。当業者は、特定のアプリケーションに対して異なる方法によって上述の機能を実現することができるが、そのような実施は、本発明の範囲から逸脱するものと考えられるべきではない。

【0050】

本明細書で開示される実施例に記載の方法又はアルゴリズムに関するステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、または両方の組合せで実施されることができる。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、メモリ、リードオンリーメモリ（ＲＯＭ）、電気的なプログラマブルＲＯＭ、電気的に消去可能なプログラマブルＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、又は当技術分野で知られている任意の他の形態の記憶媒体に置かれることができる。

【0051】

上述の具体的な実施形態に基づき、本発明の目的、技術方案及び有益な効果について詳しく説明してきた。なお、上述のものは本発明の具体的な実施の形態に過ぎず、本発明の権利範囲を制限するものではなく、本発明の精神及び権利範囲内で行われた如何なる変更、均等な置き換え、改良などはいずれも本発明の権利範囲に含まれるものであると理解しなければならない。

【図1】

【図2】