IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌイーシー ラボラトリーズ アメリカ インクの特許一覧

特許7471471透析医療記録における不揃いな時系列に対するロバストな予測システム
<>
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図1
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図2
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図3
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図4
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図5
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図6
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図7
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図8
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図9
  • 特許-透析医療記録における不揃いな時系列に対するロバストな予測システム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-11
(45)【発行日】2024-04-19
(54)【発明の名称】透析医療記録における不揃いな時系列に対するロバストな予測システム
(51)【国際特許分類】
   G06N 7/01 20230101AFI20240412BHJP
   G06N 3/0442 20230101ALI20240412BHJP
   G16H 50/50 20180101ALI20240412BHJP
【FI】
G06N7/01
G06N3/0442
G16H50/50
【請求項の数】 20
(21)【出願番号】P 2022578601
(86)(22)【出願日】2021-08-24
(65)【公表番号】
(43)【公表日】2023-09-07
(86)【国際出願番号】 US2021047296
(87)【国際公開番号】W WO2022046734
(87)【国際公開日】2022-03-03
【審査請求日】2023-02-08
(31)【優先権主張番号】63/072,325
(32)【優先日】2020-08-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/408,769
(32)【優先日】2021-08-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】NEC Laboratories America, Inc.
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】ニ、 ジンチャオ
(72)【発明者】
【氏名】ゾング、 ボ
(72)【発明者】
【氏名】チェン、 ウェイ
(72)【発明者】
【氏名】チェン、 ハイフォン
(72)【発明者】
【氏名】ウ、 インジュン
【審査官】牛丸 太希
(56)【参考文献】
【文献】国際公開第2020/058669(WO,A1)
【文献】米国特許出願公開第2020/0064822(US,A1)
【文献】国際公開第2020/065810(WO,A1)
【文献】特開2019-213858(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-99/00
G16H 50/50
(57)【特許請求の範囲】
【請求項1】
深層動的ガウス混合(DDGM:Deep Dynamic Gaussian Mixture)モデルを用いて医療時系列データを予測することで透析患者のデータを管理する方法であって、
コンピュータで実現される事前補完コンポーネントにより、ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充し(1001)、
前記コンピュータで実現される予測コンポーネントにより、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存する(1003)、方法。
【請求項2】
前記時間強度関数は、時間ステップ間の時間的な関係をモデル化する、請求項1に記載の方法。
【請求項3】
前記時間強度関数は、逆距離加重法に基づいている、請求項2に記載の方法。
【請求項4】
前記多次元相関は、前記入力多変量時系列の異なる次元間の相関を捕捉する、請求項1に記載の方法。
【請求項5】
前記多次元相関は、D行D列の連続行列である行列パラメータ
【数1】
を初期化し、各エントリ
【数2】
は次元iとjの間の相関を表す、請求項4に記載の方法。
【請求項6】
前記予測コンポーネントは、推論ネットワーク及び生成ネットワークを含む、請求項1に記載の方法。
【請求項7】
前記推論ネットワークは潜在変数を推論する、請求項6に記載の方法。
【請求項8】
前記推論された潜在変数は、クラスタ変数の別のコピーを生成するために前記生成ネットワークに提供される、請求項7に記載の方法。
【請求項9】
時間Tの後、前記生成ネットワークは、前記生成されたクラスタ変数を自身の入力として用いて、T後の時間ステップに関する新しいクラスタ変数を繰り返し生成する、請求項8に記載の方法。
【請求項10】
深層動的ガウス混合(DDGM:Deep Dynamic Gaussian Mixture)モデルを用いて医療時系列データを予測することで透析患者のデータを管理するためのコンピュータで読み取り可能なプログラムを含む、非一時的なコンピュータで読み取り可能な記録媒体であって、
前記コンピュータで読み取り可能なプログラムが前記コンピュータで実行されると、前記コンピュータに、
事前補完コンポーネントにより、ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充させ(1001)、
予測コンポーネントにより、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化する前記DDGMで使用されるクラスタ重心を表すパラメータを保存させる(1001)、非一時的なコンピュータで読み取り可能な記録媒体。
【請求項11】
前記時間強度関数は、時間ステップ間の時間的な関係をモデル化する、請求項10に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項12】
前記時間強度関数は、逆距離加重法に基づいている、請求項11に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項13】
前記多次元相関は、前記入力多変量時系列の異なる次元間の相関を捕捉する、請求項10に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項14】
前記多次元相関は、D行D列の連続行列である行列パラメータ
【数3】
を初期化し、各エントリ
【数4】
は次元iとjの間の相関を表す、請求項10に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項15】
前記予測コンポーネントは、推論ネットワーク及び生成ネットワークを含む、請求項10に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項16】
前記推論ネットワークは潜在変数を推論する、請求項15に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項17】
前記推論された潜在変数は、クラスタ変数の別のコピーを生成するために前記生成ネットワークに提供される、請求項16に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項18】
時間Tの後、前記生成ネットワークは、前記生成されたクラスタ変数を自身の入力として用いて、T後の時間ステップに関する新しいクラスタ変数を繰り返し生成する、請求項17に記載の非一時的なコンピュータで読み取り可能な記録媒体。
【請求項19】
深層動的ガウス混合(DDGM:Deep Dynamic Gaussian Mixture)モデルを用いて医療時系列データを予測することで透析患者のデータを管理するためのシステムであって、
ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充するための事前補完コンポーネント(220)と、
異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存するための予測コンポーネント(230)と、
を有するシステム。
【請求項20】
前記予測コンポーネントは、推論ネットワーク及び生成ネットワークを含み、前記推論ネットワークは潜在変数を推論し、前記推論された潜在変数は、クラスタ変数の別のコピーを生成するために前記生成ネットワークに提供される、請求項19に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2020年8月31日に出願された米国特許仮出願第63/072,325号及び2021年8月23日に出願された米国特許出願第17/408,769号を基礎とする優先権を主張し、それぞれの開示の全てをここに取り込む。
【0002】
本発明は、多変量時系列分析に関し、より詳細には、透析医療記録における不揃いな時系列に対するロバストな予測システムに関する。
【背景技術】
【0003】
疎らな多変量時系列(MTS:multivariate time series)の予測は、時系列の不完全な過去を考慮して、時系列の未来の値の予測因子をモデル化することを目的としており、これは多くの新たな用途にとって有益である。しかしながら、既存のほとんどの方法は、MTSを個別に処理し、MTSの基礎となる動的分布を活用しないため、疎らさが大きい場合は次善の結果につながる。
【発明の概要】
【0004】
深層動的ガウス混合(DDGM:Deep Dynamic Gaussian Mixture)モデルを用いて医療時系列データを予測することで透析患者のデータを管理する方法を提示する。本方法は、事前補完コンポーネントにより、ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充し、予測コンポーネントにより、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存することを含む。
【0005】
深層動的ガウス混合(DDGM)モデルを用いて医療時系列データを予測することで透析患者のデータを管理するためのコンピュータで読み取り可能なプログラムを含む、非一時的なコンピュータで読み取り可能な記録媒体を提示する。コンピュータで読み取り可能なプログラムがコンピュータで実行されると、コンピュータに、事前補完コンポーネントにより、ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充させ、予測コンポーネントにより、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存させる。
【0006】
深層動的ガウス混合(DDGM)モデルを用いて医療時系列データを予測することで透析患者のデータを管理するためのシステムを提示する。本システムは、ガウスカーネルに基づく時間強度関数と、学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充するための事前補完コンポーネントと、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存するための予測コンポーネントとを有する。
【0007】
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【0008】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【図面の簡単な説明】
【0009】
図1図1は、本発明の実施形態による、医療時系列における欠落値を示す例示的な表のブロック/フロー図である。
【0010】
図2図2は、本発明の実施形態による、例示的な深層動的ガウス混合(DDGM)アーキテクチャのブロック/フロー図である。
【0011】
図3図3は、本発明の実施形態による、DDGMの事前補完コンポーネント及び予測コンポーネントのブロック/流れ図である。
【0012】
図4図4は、本発明の実施形態による、DDGMの予測コンポーネントの例示的な推論ネットワークのブロック/フロー図である。
【0013】
図5図5は、本発明の実施形態による、DDGMの予測コンポーネントの例示的な生成ネットワークのブロック/フロー図である。
【0014】
図6図6は、本発明の実施形態による例示的な逆距離加重法のブロック/フロー図である。
【0015】
図7図7は、本発明の実施形態による、DDGMの事前補完コンポーネント及び予測コンポーネントを使用するためのプロセスのブロック/フロー図である。
【0016】
図8図8は、本発明の実施形態による、DDGMの例示的な実際の用途を示す図である。
【0017】
図9図9は、本発明の実施形態による、DDGMのための例示的な処理システムを示す図である。
【0018】
図10図10は、本発明の実施形態による、DDGMを実行するための例示的な方法のブロック/フロー図である。
【発明を実施するための形態】
【0019】
ロバストなモデル化を達成するため、個別の特徴表現の代わりに、潜在クラスタの遷移を追跡する生成モデルを導入する。該生成モデルは、クラスタ構造のダイナミクスを捉える動的ガウス混合分布によって特徴付けられ、時系列を提供するために使用される。生成モデルは、ニューラルネットワークによってパラメータ化される。帰納的な分析を可能にするため、構造化された推論ネットワークも実装される。ゲート付き機構がさらに導入され、ガウス混合分布を動的に調整する。
【0020】
多変量時系列(MTS)分析は、サイバーフィジカルシステムの監視、財務予測、トラフィック分析及び臨床診断等の様々な用途で利用される。深層学習の最近の進歩は、MTSデータに関する多くの革新的な機械学習モデルに拍車をかけ、予測、イベント予測、異常検出等、多くの基本的なタスクで顕著な結果を示している。これらの成功にもかかわらず、ほとんどの既存のモデルは、入力MTSを均一で完全なシーケンスを有するものとして扱う。しかしながら、多くの新しい用途では、MTS信号は性質が異なる情報源から統合されており、非常に疎らである。
【0021】
例えば、透析患者に関して収集されたMTS信号は、幾つかの欠落値を有する可能性がある。透析は、腎臓が正常に機能していない患者の血液を浄化するための重要な腎代替療法である。透析患者には、透析、血液検査、胸部X線検査等のルーチンがあり、静脈圧、血糖値、心胸郭比(CTR)等のデータが記録される。これらの信号源は、異なる周波数を有する場合がある。例えば、血液検査及びCTRは、透析ほど頻繁に評価されない。異なる情報源が時間的に整列されていない可能性があり、状況をさらに悪化させるのは、一部の情報源が不規則にサンプリングされ、欠落したエントリが存在する可能性があることである。このような不一致にもかかわらず、様々な信号は患者の身体状態に関する補完的な見解を提供するため、診断分析にとって全て重要である。しかしながら、信号を単純に組み合わせると、非常に疎らなMTSデータが生成される。同様のシナリオは他の分野でも見られる。例えば、金融では、金融ニュース、株式市場、投資銀行からの時系列が非同期の時間ステップで収集されるが、強い相関がある。大規模で複雑な監視システムでは、複数のサブコンポーネントのセンサが異なる実行環境を持っている可能性があるため、関連している可能性のある非同期時系列が継続的に生成される。
【0022】
不均一な情報源から統合されたMTS信号の疎らさは、いくつかの課題を提示する。特に、一時的な依存関係が複雑になり、回帰型ニューラルネットワーク(RNN:recurrent neural network)等の一般的なモデルを直接使用できなくなる。疎らさを処理する最も一般的な方法は、最初に欠落値を補完し、次に補完されたMTSで予測を行うことである。但し、この2段階のアプローチでは、不足しているパターンと予測タスクとの関係を説明できずに、疎らさが深刻な場合に最適ではない結果につながる。
【0023】
最近、幾つかのエンドツーエンドモデルが提案されている。1つのアプローチは、時間ステップの欠落を間隔と見なし、観測された時間ステップ間の関数減衰による連続するダイナミクスを用いてRNNを設計する。もう1つのアプローチは、欠落した全てのエントリをパラメータ化し、予測モデルを用いてパラメータと共に訓練することである。これにより、欠落したパターンが下流のタスクに適合するように学習される。但し、これらの方法には、MTSサンプルが独立して評価されるという欠点がある。異なるMTSサンプルで共有される潜在的な関係構造は、ロバストなモデル化のためにほとんど調査されない。
【0024】
多くの用途において、MTSは独立しておらず、隠れた構造によって関連付けられている。ある例では、2人の透析患者の治療期間中に、各患者は腎障害や貧血等の様々な潜在状態を経験する可能性があり、これらはグルコース、アルブミン、血小板レベル等の時系列によって表出化される。2人の患者が同様の病理学的な状態にある場合、データの一部は同様の状態パターンから生成され、クラスタリング構造を形成する可能性がある。したがって、潜在状態を推測し、そのダイナミクスをモデル化することは、クラスタ内の補完的な情報を活用するために有望であり、疎らさの問題を軽減できる。この概念は医療分野に限定されない。例えば、気象学では、気候を監視する近くの観測ステーションが同様の気象条件(潜在的な状態)を経験する可能性があり、それが気温や降水量等の評価基準の生成を時間とともに支配する。有望ではあるが、疎らなMTSデータの礎になるダイナミクスをモデル化しながら、潜在的なクラスタ構造を推測することは困難な問題である。
【0025】
この問題に対処するため、例示的な実施形態は、動的ガウス混合ベースの深層生成モデル(DGM2)を導入する。DGM2には、非線形遷移放出フレームワークに従う状態空間モデルがある。各MTSについて、DGM2は、全ての遷移分布がニューラルネットワークによってパラメータ化される、個別の特徴表現ではなく、潜在的なクラスタ変数の遷移をモデル化する。DGM2は、その放出ステップによって特徴付けられる。ここでは、クラスタ構造のダイナミクスを捉えるために動的ガウス混合分布を提案する。帰納的な分析の場合、例示的な実施形態は、変分推論に頼り、構造化推論ネットワークを実装して事後分布を近似する。信頼できる推論を保証するために、例示的な実施形態は、パラメトリック事前補完のパラダイムを採用し、推論ネットワークの前に事前補完レイヤをリンクする。DGM2モデルは、離散変数を処理するように設計されており、エンドツーエンドで訓練できるように構築されている。
【0026】
したがって、例示的な実施形態は、潜在的な動的クラスタ構造をモデル化することで、疎らなMTS予測の問題を調査する。例示的な実施形態は、ロバストな予測のために潜在クラスタの遷移及び動的ガウス混合からの放出を活用する深層生成モデルであるDGM2を導入する。
【0027】
共同補完予測フレームワークで示唆されているように、疎らなMTSサンプルは、等間隔の参照時点t=1,…,wのセットに対する欠落したエントリで表すことができる。
【0028】
時間ステップ1からwまでに記録された長さwのMTSを
【数1】
とする。ここで、
【数2】
はi番目の時間ステップにおける時間的な特徴ベクトルであり、
【数3】
は、
【数4】
のi番目の変数であり、dは変数の総数である。観察時間をマークするために、例示的な実施形態はバイナリマスク
【数5】
を使用する。ここで、
【数6】
の場合、
【数7】
は観察されたエントリであり、
【数8】
の場合、対応するプレースホルダ
【数9】
を備えることを示す。
【0029】
例示的な実施形態は、疎らなMTS予測問題に焦点を当てており、これは、過去のw時間ステップにおける不完全な観察値が与えられると、未来における最も可能性の高い長さrのシーケンスを推定する。例えば、例示的な実施形態は、
【数10】
を得ることを目的とする。
【0030】
ここで、
【数11】
は予測推定値であり、
【数12】
は学習する予測関数である。
【0031】
例示的な実施形態は、以下のようにDGM2モデルを導入する。共同補完及び予測の成功したパラダイムに着想を得て、例示的な実施形態は、欠落したエントリをパラメータ化するために、全てのMTSに存在する時間強度及び多次元相関を捕捉する事前補完層を有するようにDGM2を設計する。パラメータ化されたMTSは、ロバストな予測のために潜在的な動的分布を推定する深層生成モデルを有する予測コンポーネントに供給される。
【0032】
事前補完層に関して、この層は、観測された部分の滑らかな傾向と時間的強度を活用することで欠落しているエントリを推定することを目的としており、下流の予測タスクにおける疎らの影響を軽減するのに役に立つ。
【0033】
*番目の参照時点におけるi番目の変数について、例示的な実施形態は、ガウスカーネル
【数13】
を用いて、t*に対する任意の時間ステップ
【数14】
の時間的影響を評価する。ここで、aiは学習するパラメータである。次に、例示的な実施形態は、カーネルに基づいて、
【数15】
による推定
【数16】
のために重み付けされた集まりを使用する。
【0034】
ここで、
【数17】
はi番目の変数のマスクであり、
【数18】
は、t*における観測密度を評価する強度関数であり、
【数19】
は観測されていない時間ステップをゼロにするために使用される。
【0035】
異なる変数の相関を考慮するために、例示的な実施形態は、i,j=1,…,dに関して学習可能な相関係数ρijを導入することで、d変数にわたる情報を統合し、
【数20】
が観察されない場合、次のようにパラメータ化された出力を定式化する。
【数21】
【0036】
ここで、ρijはi=jに対しt1に設定され、より大きな
【数22】

【数23】
の近くのより多くの観測値を意味するため、
【数24】

【数25】
の信頼性を示すために導入される。
【0037】
この層では、パラメータのセットは、
【数26】
及び
【数27】
である。DGM2は、欠落パターンを予測タスクに合わせるための生成モデルと共に訓練する。
【0038】
予測コンポーネントに関して、例示的な実施形態は、ロバストな予測のために潜在的な動的クラスタ構造を捕捉する生成モデルを実装する。MTSサンプルのバッチにおける全ての時間的特徴
【数28】
の基礎となるk個の潜在クラスタがあるとする。時間ステップt毎に、例示的な実施形態は、
【数29】
を潜在クラスタ変数ztと関連付けて、
【数30】
がどのクラスタに属するかを示す。
【数31】
の遷移の代わりに、例示的な実施形態は、クラスタ変数
【数32】
の遷移をモデル化する。クラスタは、異なる時間ステップでMTSサンプル全体の同様の機能を補完する情報を統合するため、それらを活用することは、個々の疎らな特徴
【数33】
を使用するよりもロバストである。
【0039】
生成モデルに関して、DGM2の生成プロセスは、状態空間モデルの遷移及び放出のフレームワークに従う。
【0040】
最初に、DGM2の遷移プロセスは、連続する変数の長期の時間的な依存関係をモデル化する上での有効性のために繰り返し構造を使用する。そのたびに、新しい状態zt+1の確率が先の状態
【数34】
に基づいて更新される。例示的な実施形態は、学習可能な関数を用いて遷移確率、例えば
【数35】
を定義する。ここで、関数
【数36】
はθでパラメータ化される。これは、潜在変数間で確立される可能性のある非線形なダイナミクスを符号化するための、RNNの変形例である可能性がある。
【0041】
放出プロセスについて、例示的な実施形態は、静的基底混合分布を動的に調整することで定義される動的ガウス混合分布を実施する。
【数37】
を基底分布のi番目の混合成分の平均とし、
【数38】
を対応する混合確率とする。時間ステップt+1での新しい特徴
【数39】
の放出(または予測)には、次の手順が含まれる。すなわち、全ての混合コンポーネントのカテゴリ分布から潜在クラスタ変数zt+1を引用し、ガウス分布
【数40】
から
【数41】
を引用する。ここで、σはハイパーパラメータであり、Iは単位行列である。例示的な実施形態は、その効率及び有効性のために、等方性ガウスを使用する。
【0042】
最初のステップにおいて、分類別分布は、通常、MTSにおけるダイナミクスに反映できない、例えば静的混合確率
【数42】
で定義される。この観点から、遷移確率
【数43】
がどのクラスタ
【数44】
に属するかを示すという事実を考慮すると、例示的な実施形態は、
【数45】
を用いて、
【数46】
によって各時間ステップで混合確率を動的に調整する。
【0043】
ここで、
【数47】
は時間ステップt+1での動的混合分布であり、Υは基本混合分布から逸脱する相対的な変化の程度を制御する[0,1]内のハイパーパラメータである。
【0044】
【数48】

【数49】
の属するコンポーネント(例えば、クラスタ)に向けた混合を調整する場合、2つのコンポーネントを備えるガウス混合で
【数50】
の動的調整プロセスを示すことができる。
【数51】
において基底混合を追加することは、モデルの訓練中に平均
【数52】
の学習を正規化する様々なコンポーネント間の関係を決定するため、有益であることは注目に値する。
【0045】
そのため、各MTSサンプルに関する生成プロセスを要約できる。
【0046】
(a)z1を引用する~ユニフォーム(k)
【0047】
(b)時間ステップt=1,…,wに関する。
【0048】
i.
【数53】
によって遷移確率を計算する。
【0049】
ii.z1+1を引用する~遷移に関するカテゴリアル
【数54】
【0050】
iii.
【数55】
を引用する~放出に関する
【数56】
を用いたカテゴリアル
【数57】
【0051】
iv.特徴ベクトル
【数58】
を引用する。
【0052】
t+1(ステップii)と
【数59】
(ステップiii)とが異なる場合、zt+1は、回帰特性を維持するために遷移(ステップi)で使用され、
【数60】
は更新された混合分布からの放出で使用される。
【0053】
上記のプロセスでは、
【数61】
におけるパラメータが同じクラスタ内のサンプルによって共有され、それによってロバストな予測のための補完情報が統合される。
【0054】
生成モデルのパラメータ化に関して、生成プロセスにおけるパラメトリック関数は
【数62】
であり、例示的な実施形態は、回帰型ニューラルネットワークアーキテクチャを次のように選択する。
【0055】
【数63】
【0056】
ここで、
【数64】
である。
【0057】
【数65】
はt番目の隠れ状態であり、MLPは多層パーセプトロンを表し、RNNは長短期記憶(LSTM)またはゲート付き回帰型ネットワーク(GRU)のいずれかによって例示化できる。さらに、MTSの基準時間ステップの間隔が不均一な用途に対応するために、例示的な実施形態は、ニューラル常微分方程式(ODE)ベースのRNNを組み込んで時間間隔を処理することもできる。
【0058】
要約すると、生成モデルの訓練可能なパラメータのセットは、
【数66】
である。これを前提として、例示的な実施形態は、各MTSサンプルを観察する対数周辺尤度を最大化することを目的とする。
【数67】
【0059】
ここで、
【数68】
における結合確率は、
【数69】
によって
【数70】
にイェンセンの不等式が適用された後の
【数71】
における動的混合分布に関して因数分解できる。
【0060】
ここで、上記の下限は、最大化される目的として機能する。
【0061】
パラメータ
【数72】
を推定するために、目標は上記式を最大化することである。但し、全ての可能なシーケンスを合計することは、計算上困難である。それ故、真の事後密度
【数73】
を評価することは困難である。帰納的な分析を可能にしつつこの問題を回避するために、例示的な実施形態は変分推論を用いる、推論ネットワークを導入する。
【0062】
推論ネットワークに関して、例示的な実施形態は、パラメータφを有するニューラルネットワークによってパラメータ化される近似事後
【数74】
を導入する。例示的な実施形態は、構造的であるように推論ネットワークを設計し、潜在変数間の時間的依存性を維持するため、以下の因数分解に繋がる深層マルコフ過程を使用する。
【数75】
【0063】
【数76】
の導入により、対数周辺尤度
【数77】
を最大化する代わりに、例示的な実施形態は、
【数78】
及びφの両方に関して変分証拠下限(ELBO:evidence lower bound)
【数79】
の最大化に関与させる。
【0064】
【数80】
に限定ステップを組み込むことで、例示的な実施形態は、
【数81】
によって記述される問題のEBLOを導き出すことができる。
【0065】
ここで、
【数82】
はKLダイバージェンスであり、
【数83】
は、生成過程で説明したように一様な事前分布である。変分オートエンコーダ(VAE)と同様に、それは過剰適合を防ぎ、モデルの汎化能力を向上させるのに役に立つ。
【0066】
【数84】
式は、動的混合分布が
【数85】
でどのように機能するかについて幾つかの洞察を与える。例えば、最初の3つの項は動的調整の学習基準をカプセル化し、γの後の最後の項は異なる基底混合成分間の関係を正則化する。
【0067】
推論ネットワークのアーキテクチャにおいて、
【数86】
は回帰構造であり、
【0068】
【数87】
である。
【0069】
ここで、
【数88】
である。
【0070】
【数89】
はRNNのt番目の潜在状態であり、z0は繰り返しに影響しないように0に設定される。
【0071】
カテゴリ分布から離散変数ztをサンプリングすることは微分可能ではないため、モデルパラメータを最適化することは困難である。それを取り除くために、例示的な実施形態は、ガンベルソフトマックス再パラメータ化トリック(Gumbel-softmax reparameterization trick)を用いて、微分可能な離散サンプルを生成する。このように、DGM2モデルはエンドツーエンドで訓練可能である。
【0072】
【数90】
におけるゲート付き動的分布に関して、ガウス混合分布のダイナミクスはハイパーパラメータγによって調整され、検証データセットに対する調整作業が必要になる場合がある。これを回避するため、例示的な実施形態は、推論ネットワークによって抽出された情報を用いて
【数91】
においてγを置換するゲート関数
【数92】
を導入する。そのため、
【数93】
は、各時間ステップで動的に調整できるゲート分布になる。
【0073】
モデルの訓練に関して、例示的な実施形態は、
【数94】
に関する式中のELBOを最大化することで、事前補完層、生成ネットワーク
【数95】
及び推論ネットワーク
【数96】
のパラメータ
【数97】
を共に学習する。
【0074】
評価
【数98】
における主な課題は、期待値
【数99】
の下で全ての項の勾配を取得することである。ztはカテゴリカルであるため、最初の項は確率
【数100】
で解析的に計算できる。しかしながら、
【数101】
は推論ネットワークの出力ではないため、例示的な実施形態は、
【数102】
から
【数103】
を計算するサブルーチンを導き出す。第2項では、KL発散が逐次的に評価されるため、例示的な実施形態は、時間ステップ1からwまでztをサンプリングして分布
【数104】
を近似する伝承サンプリング(ancestral sampling)技術を採用する。また、
【数105】
において、例示的な実施形態は、観察されない部分をマスクするためにマスク
【数106】
を使用することで、
【数107】
の観察値のみを評価することも注目に値する。
【0075】
そのため、DGM2全体が微分可能であり、例示的な実施形態は、確率的勾配降下法を用いて
【数108】
を最適化する。
【数109】
に関する式の最後の項において、例示的な実施形態は、例えば
【数110】
を推定するために、基礎的な混合分布の密度推定を実行する必要もある。
【0076】
MTSサンプルのバッチが与えられると、このバッチにn個の時間的な特徴
【数111】
があり、それらの集まりがセットXによって示されると仮定すると、例示的な実施形態は、以下によって混合確率を推定できる。
【数112】
【0077】
ここで、
【数113】
は、
【数114】
によるi番目の潜在クラスタに対する
【数115】
の推定メンバーシップ確率である。
【0078】
医療分野における時系列予測に戻ると、病院及び多くの医療機関におけるデジタルシステムの膨大な利用により、患者の大量の医療データがもたらされた。ビッグデータには大きな価値があり、人工知能(AI)を活用して医療の臨床判断をサポートできる。現代医学における重要なテーマの1つとして、腎疾患患者の数は、世界中で社会的、医療的、社会経済的な問題を引き起こしている。血液透析または単に透析は、腎臓が正常に機能していない患者の血液を浄化するプロセスであり、重要な腎代替療法(RRT)の1つである。しかしながら、心血管疾患等のリスクが高い透析患者は、血圧、貧血、ミネラル代謝等を重点的に管理する必要がある。そうしないと、該患者は、透析中に低血圧、脚の痙攣、さらには死亡等の重大な事象に直面する可能性がある。そのため、医療関係者は様々な観点から透析開始を決断しなければならない。
【0079】
大きな医療データが利用可能であることを考えると、透析前の期間中の血圧、脱水量、液圧等のいくつかの重要な医療指標の予後の予測を行うためのAIシステムを開発することが重要である。これは、医療分野における時系列予測の問題である。この問題の主な課題は、医療記録に多数の欠落値が存在することであり、データの50%~80%のエントリを占める可能性がある。これは、主に患者毎の様々な検査の日付が不規則であるためである。
【0080】
透析測定記録は、週3回の頻度(例えば、血圧、体重、静脈圧等)を有し、血液検査測定は月2回の頻度を有し(例えば、アルブミン、グルコース、血小板数等)、心胸郭比(CTR)は月1回の頻度である。3つの要素は、動的であり、時間と共に変化するため、時系列でモデル化できるが、頻度が異なる。
【0081】
データのこれらの様々な要素を一緒に組み合わせると、図1のテーブル100で描かれているように、高頻度の時系列が記録(例えば、透析測定値)されると、低頻度の時系列(例えば、血液検査の測定値)は、多くの日付で欠落エントリを有することになる。
【0082】
また、各検査日には、時間制限及び費用等、知らないためにアイテムが欠落している可能性がある。したがって、欠落値の存在を伴う正確な時系列予測は、医療スタッフの意思決定プロセスを支援するために重要であり、透析中の事象のリスクを軽減するのに役に立つ。
【0083】
例示的な実施形態は、医療時系列の自動かつ高品質の予測を提供する際に、透析患者の管理データの可能性を活用しようとするものである。本発明は、人工知能システムである。その中核となる計算システムは、深層動的ガウス混合(DDGM)モデルを採用しており、欠落値が存在する医療時系列の共同補完と予測を可能にする。したがって、本システムはDDGMシステムと呼ぶことができる。DDGMシステム200のアーキテクチャが図2に示されている。
【0084】
DDGMシステム200は、一般的であり、図1に示されたものと同様のフォーマットを有する他の医療記録データに適用できることにも言及する価値がある。
【0085】
DDGMシステム200は、病院202から取得した医療記録204を含むことが可能であり、医療記録204はクラウド206を介してデータベース208に提供される。データ処理システム210は、データベース208からのデータを処理して、DDGM計算システム214に供給される医療時系列212を取得する。データ記憶装置216も提供できる。
【0086】
DDGM計算システム214は、事前計算コンポーネント220及び予測コンポーネント230を含むことができる。
【0087】
図3は、DDGMシステム200の全体的なアーキテクチャを示す図である。
【0088】
事前補完コンポーネント220に関して、事前補完コンポーネント220の目標は、パラメータを予測タスクと共に訓練できるように、幾つかのパラメータ化された関数によって入力時系列の欠落値を補充することである。これらのパラメータが十分に訓練された後、コンポーネント220を用いて新しい入力時系列を渡すことにより、時系列の欠落値が関数によって自動的に補充される。補充された値は真の測定値に近似しており、完成した出力は予測コンポーネント230に供給されて信頼できる処理を促進する。
【0089】
事前計算コンポーネント220は、時間強度関数224及び多次元相関226を含む。
【0090】
時間強度関数224に関して、この関数は、時間ステップ間の時間的な関係をモデル化するように設計されている。欠落値は、既存の全ての観測値に依存する場合があり、観測値を異なる重みで合計することで補間できる。直観的には、欠落値が現れる時間ステップは、多くの場合、それと最も近い時間ステップの影響を受ける。この事実を反映するため、例示的な実施形態は、図6で示すように、近くの時間ステップが遠く離れた時間ステップよりも高く重み付けされる、逆距離加重法に基づく時間強度関数224を設計する。
【0091】
入力多変量時系列のi番目の次元に関して時間ステップt*で欠落値が発生すると仮定すると、例示的な実施形態は、次のようにガウスカーネルに基づいて強度関数を設計する。
【0092】
【数116】
【0093】
ここで、Tは時系列の長さであり、αは学習するパラメータである。この関数の出力と時間ステップとの間の関係600が図6に示されている。
【0094】
多次元相関に関して、モジュール226は、入力多変量時系列の異なる次元間の相関を捕捉するように設計されている。時系列が合計でD次元であると仮定すると、モジュール226は、D行D列の連続行列である行列パラメータ
【数117】
を初期化する。各エントリρijは、次元iとjの間の相関を表す。このパラメータ行列は、訓練データのモデルの他の部分でも訓練される。
【0095】
このパラメータを時間強度関数224にプラグインすることで、例示的な実施形態は、事前補完コンポーネント220内で実行される以下の関数が得られる。
【0096】
【数118】
【0097】
ここで、
【数119】
は、t*番目の時間ステップにおけるi番目の次元の帰属値を表す。
【数120】
は、t番目のタイム ステップでのj次元の観測値である。出力された
【数121】
の値は、入力時系列の欠落値を補充するために使用され、処理のために次の予測コンポーネントに送信される。
【0098】
予測コンポーネント230に関して、このコンポーネントは、コンポーネント220の出力228と下流の予測タスクとを結びつける。コンポーネント230の目標は、予測結果のロバスト性をさらに強化するために、動的ガウス混合モデルを用いて幾つかのクラスタ重心を学習することである。コンポーネント230は、時系列予測の目的のために、未来の時間ステップの値を生成する機能を有している。
【0099】
コンポーネント230内には、例えば、3つのモジュールまたは要素がある。
【0100】
推論ネットワーク232に関して、このモジュールへの入力は、コンポーネント220の出力228、すなわち欠落値が補充された時系列である。
【0101】
図4で示すように、時系列がx1,x2,...,xTであると仮定すると、それらはLSTMユニットによってそれぞれ繰り返し処理され、
【数122】
であるような潜在的な特徴ベクトルh1,h2,...,hTが連続して出力される。
【0102】
tが生成される度に、それらは3つの層、すなわち、MLP、ソフトマックス及びガンベルソフトマックスを有するサブモジュールに送信される。このサブモジュールの出力は、疎らなベクトルz1,z2,...,zTのシーケンスであり、各タイムステップの推定クラスタ変数を表す。例えば、データ内にk個の可能なクラスタがある場合、ztは長さkのベクトルであり、最大値は以下のような特徴ベクトルxtのクラスタメンバーシップを示す。
【0103】
【数123】
【0104】
推論ネットワークの設計は、統計モデルの変分推論プロセスに従う。出力ベクトルz1,z2,...,zTは、新しい値を生成/予測するために生成ネットワーク234で用いる潜在変数である。
【0105】
生成ネットワーク234及びパラメータ化されたクラスタ重心236に関して、モジュール234への入力は、推論ネットワーク232の出力、例えば、潜在変数z1,z2,...,zTである。図5で示すように、これらの変数はLSTMユニットによって繰り返し処理され、
【数124】
のような新しい潜在的な特徴ベクトルh1,h2,...,hTが連続して出力される。
【0106】
tが生成される度に、それらは3つの層、すなわち、MLP、ソフトマックス及びガンベルソフトマックスを有する別のサブモジュールに送信される。このサブモジュールの出力は、各時間ステップの生成クラスタ変数を表す疎ベクトル
【数125】
の新しいシーケンスになる。
【0107】
これらの変数は、推論ネットワーク232の出力のものとは異なる。これは、推論ネットワーク232の出力が時間ステップTまでしかできないためである。対照的に、生成ネットワーク234の出力は、予測目的のために、T後の任意の時間ステップまであり得る。
【0108】
【数126】
は、t=1,...,Tに関する平均値ベクトル
【数127】
を生成するためにクラスタ重心モジュール236に送られる。tはTよりも大きくなる場合もある。各平均値ベクトル
【数128】
は、ガウス混合モデルから引用することで、時間ステップtにて特定の測定値を生成するために使用される。
【0109】
つまり、
【数129】
である。
【0110】
ここで、
【数130】
である。
【0111】
「カテゴリカル(Categorical)」はカテゴリ分布を表し、Nはガウス分布を表し、σは分散を表し、Iは恒等行列を表す。
【0112】
このようにして、例示的な実施形態は、w時間ステップの未来の測定値を予測するために
【数131】
を繰り返し引用できる。
【0113】
モデル訓練に関して、モデルを訓練するために、例示的な実施形態は、観察された訓練データの尤度を最大にする。
【0114】
最大にするための目的関数は、以下で与えられる。
【数132】
【0115】
ここで、
【数133】
は期待値を表し、DKLはKLダイバージェンス関数を表す。この関数への入力には
【数134】
が含まれ、出力は、DDGM200によって行われた確率計算で与えられた訓練データを観察する尤度を表す値である。勾配降下アルゴリズムによってこの尤度を最大にすることで、モデルパラメータが訓練される。モデルが十分に訓練された後、それを用いて新しく入力された時系列の予測を実行できる。
【0116】
したがって、例示的な実施形態の方法は以下によって実行できる。
【0117】
時系列(欠落値を含む)を事前補完コンポーネント220に入力する。
【0118】
事前補完コンポーネント220は、強度関数及び相関パラメータを用いて欠落値を補充する。
【0119】
事前補完コンポーネント220の出力は、予測コンポーネント230の入力ポートに送られる。
【0120】
コンポーネント230の入力は、最初に推論ネットワーク232を通過して、時間ステップ1,…,Tの潜在変数が推論される。
【0121】
推論された潜在変数は、生成ネットワーク234に送られ、時間ステップ1,…,Tに関するクラスタ変数の別のコピーを生成する。
【0122】
時間ステップTの後、生成ネットワーク234は、その生成されたクラスタ変数を自身の入力として用いて、T後の時間ステップに関する新しいクラスタ変数を繰り返し生成できる。
【0123】
先のステップの出力、例えば生成されたクラスタ変数に関して、それらは平均値ベクトルを生成するためにパラメータ化クラスタ重心236に送られる。
【0124】
ガウス混合分布から、生成された平均値ベクトルを用いて、各予測時間ステップで予測測定値を引用する。
【0125】
訓練段階のみに関し、生成された値及び訓練データにおける観察値(t=1,…,Tについて)を、モデルの訓練のために目的関数に送信する。
【0126】
要約すると、例示的な実施形態は、透析医療時系列予測の問題に対する系統的かつビッグデータ主導の解決策を提供する。DDGMシステムの新しい側面は、透析医療の時系列データの欠落値問題を処理するように設計された計算システムにある。パラメータ化された関数によって欠落値を補充する事前補完コンポーネントが提示される(パラメータは予測タスクと一緒に学習される)。事前補完コンポーネントには、タイムスタンプ間の時間依存性をキャプチャする時間強度関数と、複数の次元間の相関をキャプチャする多次元相関がある。クラスタリングベースの予測コンポーネントは、異なる時系列のサンプル間の相関関係を取得し、帰属値をさらに絞り込む。
【0127】
DDGMシステムの利点は、時間的依存性、次元間相関及びサンプル間の相関(クラスタリングによる)を含むロバスト補完のための3レベルの観点を少なくとも提供することである。共同補完と予測に関しては、欠落しているパターンと予測タスク間の依存関係を把握することが有益である。このように、DDGMシステムは、前述の利点、つまり3レベルのロバスト補完と共同補完及び予測によって最先端の技術を進歩させる、特別に設計された知的システムである。
【0128】
本発明の特徴は、2種類の関数、ガウスカーネルに基づく時間的強度関数及び学習する相関パラメータに基づく多次元相関を用いるモデルパラメータによって欠落値を補充するための事前補完コンポーネントを少なくとも含む。予測コンポーネントは、クラスタの中心を表すパラメータを保存するためにガウス混合分布に基づいて設計された生成モデルであり、サンプル間の相関を取得するために時系列をクラスタ化するためにモデルで使用される。さらに、予測タスクに適した補完値の学習を容易にするために、共同補完及び予測訓練アルゴリズムが導入される。
【0129】
図7は、本発明の実施形態による、DDGMの事前補完コンポーネント及び予測コンポーネントを使用するための工程のブロック/フロー図である。
【0130】
ブロック710において、DDGM計算システムは、事前補完コンポーネント及び予測コンポーネントを含む。予測コンポーネントは、新たに設計された深層動的ガウス混合モデルを用いたクラスタリングのためのコアシステムを有する。
【0131】
ブロック712において、事前補完コンポーネントは、高い補完品質、すなわち、欠落値と観察値との間の時間的依存性及び欠落値と観察値との間の多次元相関のために、多変量時系列において2つのタイプの情報をモデル化する。
【0132】
ブロック714において、予測コンポーネントは、異なる時間ステップでクラスタ変数の時間的な関係をモデル化し、動的ガウス混合モデル及びクラスタ変数に基づいて新しい時系列を予測する、統計的に生成されるモデルである。予測コンポーネントは、LSTMユニット、MLP及びソフトマックス層を含む深層ニューラルネットワークによって実現される。
【0133】
ブロック716において、共同訓練パラダイムに関して、システムの2つの構成要素のパラメータが共同訓練され、補完及び予測コンポーネントの両方が予測タスクに向けて最適化される。
【0134】
図8は、本発明の実施形態による、DDGMの実際の用途のブロック/フロー図800である。
【0135】
1つの実際的な例において、患者802は、疾患804(腎臓病)のために投薬806(透析)を受ける必要がある。オプションは、投薬806(または異なる検査)の異なるレベルの投与量を示すために計算される。例示的な方法は、事前補完コンポーネント220及び予測コンポーネント230によってDDGMモデル970を使用する。ある例において、DDGM970は、患者802に対して低投与量オプション(または何らかの検査オプション)を選択できる。結果810(例えば、投与量または検査オプション)は、ユーザ814によって取り扱われるユーザインタフェース812上に提供または表示される。
【0136】
図9は、本発明の実施形態による、DDGMのための例示的な処理システムを示す図である。
【0137】
処理システムは、システムバス902を介して他のコンポーネントと動作可能に接続された少なくとも1つのプロセッサ(CPU)904を含む。システムバス902には、GPU905、キャッシュ906、リードオンリーメモリ(ROM)908、ランダムアクセスメモリ(RAM)910、入力/出力(I/O)アダプタ920、ネットワークアダプタ930、ユーザインタフェースアダプタ940及びディスプレイアダプタ950が動作可能に接続されている。さらに、DDGM970を用いて、事前補完コンポーネント220及び予測コンポーネント230を実行できる。
【0138】
記憶装置922は、I/Oアダプタ920によってシステムバス902に動作可能に接続されている。記憶装置922は、ディスク記憶装置(例えば、磁気または光学ディスク記憶装置)、固体式磁気装置等のいずれであってもよい。
【0139】
トランシーバ932は、ネットワークアダプタ930によってシステムバス902に動作可能に接続されている。
【0140】
ユーザ入力装置942は、ユーザインタフェースアダプタ940によってシステムバス902に動作可能に接続されている。ユーザ入力装置942は、キーボード、マウス、キーパッド、イメージキャプチャ装置、モーションセンシング装置、マイクロフォン、あるいはこれらの装置のうちの少なくとも2つの装置の機能を組み込んだ装置等のいずれであってもよい。もちろん、本原理の趣旨を維持する限りにおいて、他のタイプの入力装置を使用することも可能である。ユーザ入力装置942は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置942は、処理システムとの間で情報を入出力するために使用される。
【0141】
ディスプレイ装置952は、ディスプレイアダプタ950によってシステムバス902に動作可能に接続されている。
【0142】
もちろん、処理システムは、当業者であれば容易に思いつくような他の要素(図示せず)を含んでいてもよく、特定の要素を省略することも可能である。例えば、処理システムには、当業者であれば容易に理解できるが、その詳細な実装に応じて、他の様々な入力装置及び/または出力装置を含むことができる。例えば、無線及び/または有線による種々の入力装置及び/または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システムの上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【0143】
図10は、本発明の実施形態による、MILDを実行するための例示的な方法のブロック/フロー図である。
【0144】
ブロック1001において、事前補完コンポーネントにより、ガウスカーネルに基づく時間強度関数と学習する相関パラメータに基づく多次元相関とを用いて、モデルパラメータによって入力多変量時系列の欠落値を補充する。
【0145】
ブロック1003において、予測コンポーネントにより、異なる時系列サンプル間の相関関係を取得するために時系列をクラスタ化するDDGMで使用されるクラスタ重心を表すパラメータを保存する。
【0146】
本明細書で用いる「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態によって取得され、送信され、受信され、表示され、及び/または保存可能なデータを示すために、交換可能に使用できる。したがって、これらの用語の使用は、開示の主旨及び範囲を制限するものと解釈されるべきではない。さらに、本明細書に別の計算デバイスからデータを受信するための計算デバイスが記載されている場合、データは、別の計算デバイスから直接受信してもよく、1つ以上の中間計算デバイス、例えば1つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局等を介して間接的に受信してもよい。同様に、本明細書にデータを別の計算デバイスに送信するための計算デバイスが記載されている場合、データは、別の計算データに直接送信してもよく、例えば、1つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局及び/または同様のもの等の1つ以上の中間計算デバイスを介して間接的に送信してもよい。
【0147】
当業者であれば理解するように、本発明の態様は、システム、方法またはコンピュータプログラム製品として実施してもよい。したがって、本発明の態様は、全体としてハードウェアの実施形態であってもよく、全体としてソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)であってもよく、本明細書において、一般に「回路」、「モジュール」、「計算機」、「装置」または「システム」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施の形態を採用してもよい。さらに、本発明の態様は、コンピュータで読み取り可能なプログラムコードを有する、1つまたは複数のコンピュータで読み取り可能な媒体で具現化された、コンピュータプログラム製品の形態を採用してもよい。
【0148】
1つまたは複数のコンピュータで読み取り可能な媒体の任意の組合せを用いてもよい。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記録媒体であってもよい。コンピュータで読み取り可能な記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記録媒体のより具体的な例(以下に限定されない)は、1つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROMまたはフラッシュメモリ)、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ(CD-ROM)、光データ記憶装置、磁気データ記憶装置または前述した任意の適切な組み合わせを含む。本文書のコンテキストにおいて、コンピュータで読み取り可能な記録媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶できる、任意の有形媒体であってもよい。
【0149】
コンピュータで読み取り可能な信号媒体には、例えば、ベースバンドで、または搬送波の一部として、コンピュータで読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態がある。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記録媒体ではなく、命令実行システム、装置または装置によって、またはそれに関連して使用するためにプログラムを通信、伝播、または移送できる、任意のコンピュータ読み取り可能な媒体であってもよい。
【0150】
コンピュータで読み取り可能な媒体で具現化されるプログラムコードは、無線、有線、光ファイバケーブル、RF等、あるいは前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信される。
【0151】
本発明の態様に関する処理を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C++等のオブジェクト指向プログラミング言語及び「C」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、(例えば、インターネットサービスプロバイダを利用したインターネットを介して)外部コンピュータと接続されてもよい。
【0152】
本発明の態様について、本発明の実施形態による方法、装置(システム)、並びにコンピュータプログラム製品のフローチャート及び/またはブロック図を参照して以下で説明する。フローチャート及び/またはブロック図の各ブロック、並びにフローチャート及び/またはブロック図のブロックにおける組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを通して実行される命令が、フローチャート及び/またはブロック図の1つまたは複数のブロックまたはモジュールに指定される機能/動作を実施するための手段を作り出すようなマシンを生成するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供される。
【0153】
これらのコンピュータプログラム命令は、コンピュータで読み取り可能な媒体に保存された命令が、フローチャート及び/またはブロック図の1つまたは複数のブロックまたはモジュールに指定された機能/動作を実装する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに、特定の方法で機能するように指示できるコンピュータで読み取り可能な媒体に保存できる。
【0154】
コンピュータプログラム命令は、またコンピュータ、他のプログラマブルデータ処理装置または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイスで実行され、コンピュータまたは他のプログラマブル装置で実行される命令が、フローチャート及び/またはブロック図のブロックまたはモジュールに指定された機能/動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成できる。
【0155】
本明細書で使用する「プロセッサ」という用語は、例えばCPU(central processing unit)及び/または他の処理回路を含むもの等、任意の処理装置を含むことを意図している。また、「プロセッサ」という用語は1つ以上の処理装置を指すことが可能であり、処理装置に関連する様々な要素は、他の処理装置によって共有されることも理解されたい。
【0156】
本明細書で使用する「メモリ」という用語は、例えば、RAM、ROM、固定メモリデバイス(例えば、ハードドライブ)、リムーバブルメモリデバイス(例えば、ディスケット)、フラッシュメモリ等、プロセッサまたはCPUに関連するメモリを含むことを意図している。このようなメモリは、コンピュータで読み取り可能な記録媒体と考えることができる。
【0157】
さらに、本明細書で使用する「入力/出力装置」または「I/O装置」という用語は、例えば、処理ユニットにデータを入力するための1つまたは複数の入力装置(例えば、キーボード、マウス、スキャナ等)及び/または処理ユニットに関連する、結果を提示するための1つまたは複数の出力装置(例えば、スピーカ、ディスプレイ、プリンタなど)を含むことを意図する。
【0158】
上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10