特開 2024-6994 予測装置、予測方法、および予測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024006994

(43)【公開日】2024-01-18

(54)【発明の名称】予測装置、予測方法、および予測プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240110BHJP

   A61B 5/372 20210101ALI20240110BHJP

   G06F 3/01 20060101ALI20240110BHJP

   A61B 5/37 20210101ALI20240110BHJP

【ＦＩ】

G06N20/00

A61B5/372

G06F3/01 570

A61B5/37

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022105077

(22)【出願日】2022-06-29

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「池谷ＥＲＡＴＯプロジェクトにかかるヒト臨床試験（ＥＲＡＴＯ池谷脳ＡＩ融合プロジェクト）」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。平成３０年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＣＲＥＳＴ）「脳表現空間インタラクション技術の創出」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（ＣＲＥＳＴ）「作用素論的データ解析に基づく複雑ダイナミクス計算基盤の創出」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。令和３年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「個人型研究（さきがけ）量子インスパイア機械学習で切り拓く超高次元脳・行動データ解析」委託研究、産業技術力強化法第１７条の適用を受ける特許出願。平成３０年度、国立研究開発法人情報通信研究機構「ＢＭＩオープンイノベーションのための脳活動マルチモーダル計測データの解析とその応用技術の研究開発」、産業技術力強化法第１７条の適用を受ける特許出願。

(71)【出願人】

【識別番号】301032942

【氏名又は名称】国立研究開発法人量子科学技術研究開発機構

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(71)【出願人】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100135781

【弁理士】

【氏名又は名称】西原 広徳

(74)【代理人】

【識別番号】100217227

【弁理士】

【氏名又は名称】野呂 亮仁

(72)【発明者】

【氏名】間島 慶

(72)【発明者】

【氏名】八幡 憲明

(72)【発明者】

【氏名】▲柳▼澤 琢史

(72)【発明者】

【氏名】福間 良平

(72)【発明者】

【氏名】貴島 晴彦

(72)【発明者】

【氏名】白石 祥之

(72)【発明者】

【氏名】河原 吉伸

(72)【発明者】

【氏名】山下 宙人

【テーマコード（参考）】

4C127

5E555

【Ｆターム（参考）】

4C127AA03

4C127GG11

4C127GG13

5E555AA46

5E555BA01

5E555BB01

5E555BC01

5E555CB66

5E555CB69

5E555EA02

5E555FA00

(57)【要約】

【課題】多次元時系列データから高速かつ高精度で予測することができる予測装置、予測方法、および予測プログラムを提供する。
【解決手段】予測装置１は、所定の事象に関する多次元時系列データを分析して、当該多次元時系列データから事象を予測するための予測装置であって、多次元時系列データを取得し、多次元時系列データを動的モード分解により行列データに分解し、行列データから特徴量を取得し、特徴量、およびカーネル法に基づいて事前に計算されたウエイトから予測値を取得し、予測値から事象を予測する予測手段を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の事象に関する多次元時系列データを取得するデータ取得手段と、
前記多次元時系列データを動的モード分解により行列データに分解する分解手段と、
前記行列データから特徴量を取得する第１取得手段と、
前記特徴量、およびカーネル法に基づいて事前に計算されたウエイトから予測値を取得する第２取得手段と、
前記予測値から前記事象を予測する予測手段を備えた
予測装置。

【請求項2】

前記ウエイトは、カーネル法における非線形変換後の特徴空間における線形ウエイトである
請求項１記載の予測装置。

【請求項3】

前記第１取得手段は、前記第２取得手段において前記特徴量から前記予測値を演算するための予測値演算条件を満たす有限次元の非線形写像を構成した特徴量演算条件に従って前記行列データから前記特徴量を演算する
請求項１または２記載の予測装置。

【請求項4】

前記多次元時系列データは、脳波の検出に用いられる複数の電極のそれぞれから出力される脳波データであり、
前記予測手段は、前記脳波データから取得された前記予測値に基づいて前記事象をリアルタイム予測する
請求項３記載の予測装置。

【請求項5】

前記第２取得手段は、次の［数１］を用いた演算により前記予測値を取得する
請求項３記載の予測装置。

【数1】

【請求項6】

前記第１取得手段は、次の［数２］を用いた演算により前記特徴量を取得する
請求項５記載の予測装置。

【数2】

【請求項7】

所定の事象に関する多次元時系列データを取得し、
前記多次元時系列データを動的モード分解により行列データに分解し、
前記行列データから特徴量を取得し、
前記特徴量、およびカーネル法に基づいて事前に計算されたウエイトから予測値を取得し、
前記予測値から前記事象を予測する
予測方法。

【請求項8】

コンピュータを、
所定の事象に関する多次元時系列データを取得するデータ取得手段と、
前記多次元時系列データを動的モード分解により行列データに分解する分解手段と、
前記行列データから特徴量を取得する第１取得手段と、
前記特徴量、およびカーネル法に基づいて事前に計算されたウエイトから予測値を取得する第２取得手段と、
前記予測値から前記事象を予測する予測手段として機能させる
予測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、たとえば、所定の事象に関する多次元時系列データを分析して当該多次元時系列データから事象を予測するような予測装置、予測方法、および予測プログラムに関する。

【背景技術】

【0002】

近年、多次元時系列データを機械学習アルゴリズムと組み合わせて多次元時系列データに関する事象を予測する技術が提案されている。このような予測方法として、多次元時系列データとしての脳波データに動的モード分解を適用し得られた出力データを、グラスマンカーネルを用いたカーネルマシンに入力し、運動（動作）の意図を読み出す（脳波データから脳情報を読み出す）方法が提案されている（非特許文献１）。

【0003】

上記のような予測方法では、カーネルマシン特有の性質として、推論（予測）時に同様の演算を訓練データ（サンプルデータ）の数だけ繰り返す必要があり、予測にかかる演算時間がサンプルデータの数に比例して長くなってしまう。このため、サンプルデータの数が多い方が予測精度を高めることができる反面、サンプルデータの数を多くすると演算時間が長くなってしまうという課題があった。

【先行技術文献】

【特許文献】

【0004】

【非特許文献1】Shiraishi Yoshiyuki, Kawahara Yoshinobu, Yamashita Okito, Fukuma Ryohei, Yamamoto Sshota, Saitoh Youichi, Kishima Haruhiko, Yanagisawa Takuhumi，“Neural decoding of electrocorticographic signals using dynamic mode decomposition”, Journal of Neural Engineering. 17(2020):036009.

【発明の概要】

【発明が解決しようとする課題】

【0005】

この発明は、上述の問題に鑑みて、多次元時系列データから高速かつ高精度で予測することができる予測装置、予測方法、および予測プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

この発明は、所定の事象に関する多次元時系列データを取得するデータ取得手段と、前記多次元時系列データを動的モード分解により行列データに分解する分解手段と、前記行列データから特徴量を演算する第１取得手段と、前記特徴量、およびカーネル法に基づいて事前に計算されたウエイトから予測値を演算する第２取得手段と、前記予測値から前記事象を予測する予測手段を備えた予測装置、予測方法、および予測プログラムであることを特徴とする。

【発明の効果】

【0007】

この発明により、多次元時系列データから高速かつ高精度で予測することができる予測装置、予測方法、および予測プログラムを提供できる。

【図面の簡単な説明】

【0008】

【図1】本発明の基礎技術における動作タイプ分類の説明図。

【図2】本発明の基礎技術のフローチャート。

【図3】本発明の予測装置の構成の一例を示すブロック図。

【図4】本実施例のデータ取得部および結果出力部の構成の一例を示すブロック図。

【図5】本発明の予測処理のフローチャート。

【図6】予測処理におけるサンプルデータの数と演算時間との関係を示すグラフ。

【図7】事前処理におけるサンプルデータの数と演算時間との関係を示すグラフ。

【発明を実施するための形態】

【0009】

以下、この発明の一実施形態について説明する。
＜本発明の基礎技術＞

【0010】

近年、所定の事象に関する多次元時系列データを機械学習アルゴリズムと組み合わせて当該多次元時系列データから事象を予測する技術（以下、「基礎技術」という。）が提案されている。

【0011】

このような基礎技術は、たとえばＢＭＩ（Ｂｒａｉｎ－Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）に適用することができる。ＢＭＩは、人間の脳信号からその人間が想起した動きや指示を予測または推定（復号化）し、脳情報の可視化、意思の伝達、または機器の操作などを行う。具体的には、ＢＭＩとしては、脳信号から予測された動き（指示）に基づいてコンピュータ、ロボット（たとえば人体に装着される電動アクチュエーターや人工筋肉などの動力を用いたアシストロボット）または意思伝達装置（たとえばメッセージの表示や人工音声の出力が可能な装置）などの外部機器を制御するロボット操作型ＢＭＩや、脳信号から得られた情報を可視化した画像データに変換して提示する視覚型ＢＭＩ等がある。

【0012】

たとえば、ロボット操作型ＢＭＩでは、身体が不自由な人でも体の動きを脳で想起（イメージ）することで外部機器を操作することができる。具体的には、手を動かすことができない人（患者）にロボット操作型ＢＭＩを適用したとすると、ロボット操作型ＢＭＩは、患者が手の運動を想起している時の脳信号を取得し、この脳信号を解読して、患者が想起した運動の内容を示す脳活動のパターン（脳情報）を取得し、脳情報に基づく電気信号を人工神経制御が可能なアシストロボット（たとえば義手など）に送信して、患者が想起した運動をこのアシストロボットに実行させる、というものである。

【0013】

基礎技術をＢＭＩに適用した具体例としては、脳信号（脳波）の検出に用いられる複数の電極から出力される脳波データに動的モード分解を適用し、得られた出力データを、グラスマンカーネルを用いたカーネルマシンに入力し、運動（動作）の意図を読み出す技術が提案されている（非特許文献１）。

【0014】

図１は本発明の基礎技術における動作タイプ分類の説明図である（非特許文献１より引用）。図２は本発明の基礎技術のフローチャートである。以下、本発明の説明の前に、基礎技術について説明する。特に、多次元時系列データの一例として硬膜下電極を装着した麻痺患者（以下、「被験者」という。）１１人分の脳波データ（皮質脳波（Ｅｌｅｃｔｒｏｃｏｒｔｉｃｏｇｒａｍ：ＥＣｏＧ）信号）を取り上げ、これに対する実施例（実験例）を示しながら、基礎技術および本発明の内容を説明する。

【0015】

【表1】

【0016】

表１は、実験に参加した被験者１１人のそれぞれの年齢や麻痺に関する情報、診断等のデータを示している。被験者の年齢範囲は１３～６６歳であり、被験者の性別は、女性４例、男性７例である。また、被験者のうち５例は、脳卒中による上肢の運動機能障害および感覚障害の程度が異なっていたが、これらの被験者には、感覚運動皮質の損傷、運動皮質に対する手術歴、ないし感覚運動皮質内の脳腫瘍は認められなかった。また、被験者のうち、てんかん症状を示す患者６例には運動機能障害または感覚障害は認められなかった。参加者またはその保護者は全員、大阪大学病院の倫理委員会の承認を得て本試験に参加することに同意した。なお、本実施例の被験者１１例のうち８例は過去の研究に参加した被験者と同じである（Yanagisawa et al. 2012 ※１）。※１：Yanagisawa T, Hirata M, Saitoh Y, Kishima H, Matsushita K,Goto T, Fukuma R, Yokoi H, Kamitani Y and Yoshimine T 2012 Electrocorticographic control of a prosthetic arm in paralyzed patients Ann. Neurol. 71 353－61

【0017】

脳波データ（ＥＣｏＧ信号）は、ＥＥＧ－１２００システム（日本光電工業株式会社製）によって１ｋＨｚで記録した。硬膜下電極は、臨床的必要性に基づいて感覚運動皮質に配置された。各被験者に対して、１５～６０個の電極（チャネル）が埋め込まれた。そして、各硬膜下電極から取得される全てのＥＣｏＧ信号は、各時点でのすべての硬膜下電極の信号の平均を差し引いたものとした。これは、平均参照を演算するために用いられている一般的な手法である（Kubanek et al. 2012 ※２）。※２:Kubanek J, Miller K J, Ojemann J G, Wolpaw J R and Schalk G 2009 Decoding flexion of individual fingers using electrocorticographic signals in humans J. Neural Eng.6 066001

【0018】

また、各チャネルの中から重度のノイズを含むチャネルを特定し、重度のノイズのあるチャネルは分析から除外した（本実施例では被験者７の３つのチャネルと被験者１０の１つのチャネルが削除された）。

【0019】

そして、図１に示すように、本実施例では３種類の動作タイプＭ１～Ｍ３を被験者に行わせ、その間の脳波データを計測した。動作タイプＭ１～Ｍ３のそれぞれは、手を握る、手を開く、手でつかむ、手の親指を立てる等の動作のいずれかであり、それぞれ互いに異なる動作が割り当てられる。

【0020】

実験では、被験者に３つの動作Ｍ１～Ｍ３のうちのいずれかを指示（動作指示）し、音の合図を３回送り、３回目の音の合図の後に被験者が指示された動作を行うようにした。動作指示は、被験者の前に置かれたディスプレイを用いて伝達した。この動作指示を受け、動作を行い、完了するまでの一連の流れを1試行と呼ぶ。Ｍ１～Ｍ３の各動作につき、約３０～１００試行が実施された。

【0021】

また、本実験では、３回目の音の合図が実行されてから０．５秒後のＥＣｏＧ信号（Ｓ_{ｅｘｅｃｕｔｅ}）、および最初（１回目）の音の合図の１．０秒前のＥＣｏＧ信号（Ｓ_ｎｏｒｍ）を使用した。ＥＣｏＧ信号の異なる試行間でのベースライン値の変動を差し引くために、各試行において、Ｓ_ｎｏｒｍを参照しながらＳ_{ｅｘｅｃｕｔｅ}の正規化を行った。正規化の手法は非特許文献１に従った。以下、正規化後のＳ_{ｅｘｅｃｕｔｅ}を入力に被験者の行っている運動の動作タイプを識別（予測）する方法を基礎技術に沿って説明する。

【0022】

図２に示すように、基礎技術では、予測処理を開始すると、上記のような方法で多次元時系列データとしての脳波データ（ＥＣｏＧ信号）を取得し（ステップＳ１）、ＥＣｏＧ信号を動的モード分解（Ｄｙｎａｍｉｃ Ｍｏｄｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）により行列データに分解する（ステップＳ２）。

【0023】

以下、ステップＳ２（動的モード分解）の内容について簡単に説明する。動的モード分解は、高次元時系列データから動的モードと呼ばれる低次元基底を抽出して次元削減を行うことができる。時刻ｔでの多次元ＥＣｏＧ信号の値をｘ（ｔ）として、動的モード分解ではその信号を以下の［数１］のように近似する。

【0024】

【数1】

【0025】

ここで、ＹはサイズＤ×Ｐの複素数値行列、ΩはサイズＰ×Ｐの複素数値対角行列、ｚはＰ次元複素数ベクトルである。ＤはＥＣｏＧ信号の電極数（多次元時系列データの次元数）、Ｐは解析者が仮定する低次元基底（動的モード）の数を表す。動的モード分解では与えられた多次元時系列データｘ（ｔ）をもとに、与えられたデータを近似するのに適したＹ、Ω、ｚを算出する。本実施例では、その算出に特異値分解を用いる一般的なアルゴリズムを採用し、運動動作中のＥＣｏＧ信号（Ｓ_{ｅｘｅｃｕｔｅ}）からＹ、Ω、ｚの算出を行った（Rowley et al. 2009 ※３、Schmid 2010 ※４）。※３: Rowley C W, Mezic I, Bagheri S, Schlatter P and Henningson D S 2009. 641 115－27 ※４: Schmid P 2010 Dynamic mode decomposition of numerical and experimental data J. Fluid Mech. 656 5－28
なお、本実施例では、動的モードの数Ｐは３００とした。

【0026】

以上のように、ステップＳ２では、上記のような方法で、ＥＣｏＧ信号を動的モード分解により行列データに分解する。続いて、ステップＳ２で得られた行列データからグラスマンカーネルを演算する（ステップＳ３）。

【0027】

以下、ステップＳ３の内容を説明する。１回の運動動作（１試行）に伴うＥＣｏＧ信号に動的モード分解を適用することで、行列Ｙを一つ得ることができる。ステップＳ４においてカーネルマシンを用いる前処理として、異なる２試行のＥＣｏＧ信号の類似度を、対応する行列Ｙのペアをグラスマンカーネルに入力し、算出された値を用いることで評価する（Hamm et al. 2016 ※５）。※５: Hamm J and Lee D D 2008 Grassmann discriminant analysis: a unifying view on subspace-based learning Proc. 25th Int. Conf. on Machine Learning pp 376－83

【0028】

まず、サイズＤ×Ｐの２つの行列Ｙ_１、Ｙ_２があるとする。行列Ｙ_１、Ｙ_２の各列はＤ次元のベクトルを成し、動的モード分解における各モードがどの電極にどの程度混合されているかを表している。グラスマンカーネルでは、行列Ｙ_１とＹ_２の類似度を、行列Ｙ_１を構成するＰ本のベクトルの張る部分空間と、行列Ｙ_２を構成するＰ本のベクトルの張る部分空間との重複度を以下の式［数２］で評価する。

【0029】

【数2】

【0030】

ここで、Ｙ_１ ^＋，Ｙ_２ ^＋は、Ｙ_１，Ｙ_２の複素共役転置であり、ｔｒ（・）は入力された行列に対し、そのトレースを返す関数である。なお、短剣府は文中に記載できないため「^＋」と表記している（以下同じ）。式中第二辺のノルムは行列に対するフロベニウスノルムを表す。

【0031】

ステップＳ３では、上記のような方法でグラスマンカーネルを演算する。続いて、カーネルマシンにより動作タイプの予測値を演算し（ステップＳ４）、予測結果を出力し、（ステップＳ５）、予測処理を終了する。

【0032】

以下、ステップＳ４およびステップＳ５の内容を説明する。本実施例では、グラスマンカーネルを使用したサポートベクトルマシン（ＳＶＭ）によって動作タイプを分類した。また、本実施例では、分類器は、ＳＶＭによって被験者ごとに個別にトレーニングされたものを使用した。

【0033】

分類精度は、１０分割ネスト交差検証によって評価した。ＳＶＭの正則化パラメータ（コストパラメータ）は、ネスト交差検証の内側のループにおいて最適化された。分類精度は各運動動作タイプに対するリコール率を計算し、その値を３つの運動動作間で平均することで定義した。訓練済みのカーネルマシンは以下の［数３］の形で与えられる。

【数3】

【0034】

ここで、ｙはカーネルマシンが返す運動タイプの予測値であり、関数ｆはカーネルマシンのアルゴリズムによって指定される関数、Ｎは訓練データのサンプル数である。実数α_ｎ（ｎ＝１，・・・，Ｎ），ｂはカーネルマシンの訓練アルゴリズムにより演算されるパラメータ、関数ｋ（・，・）はグラスマンカーネル、Ｙ_ｎ∈Ｃ^Ｄ×Ｐは訓練データのｎ番目サンプルのＥＣｏＧ信号に動的モード分解をかけて得られた出力、Ｙ_ｔｅｓｔ∈Ｃ^Ｄ×ＰはテストデータとなるＥＣｏＧ信号の動的モード分解をかけて得られた出力である。

【0035】

このような基礎技術を用いた実験によれば、脳波データから動作タイプを予測した場合の予測精度（予測正答率）は７９％であり、高速フーリエ変換（ＦＦＴ）を用いた周波数パワーの特徴量による予測精度（６７％）よりも大幅に向上した。すなわち、基礎技術を用いることによって、従来から存在する他の方法よりも、多次元時系列データから事象（本実施例では動作タイプ）を予測する際の予測精度を向上させることができる。

【0036】

しかしながら、基礎技術で用いられるグラスマンカーネルの算出は、演算に時間がかかり、現実的な設定である多次元時系列データの次元数（本実施例では電極の数）Ｄ＝１００，動的モード分解のモード数Ｐ＝３００の場合、０．１秒程度を要する。基礎技術で予測を行う場合、予測値ｙを得るためにこの演算をＮ回（サンプルデータの数だけ）繰り返さなければならず、たとえば、Ｎ＝１００の場合は１０秒程度を要することになる。すなわち、基礎技術では、サンプルデータの数が多い方が予測精度を高めることができる反面、サンプルデータの数を多くすると演算開始から演算終了までに要する時間（演算時間）が長くなってしまうという課題があった。また、基礎技術では前提としてカーネルマシンを想定しており、カーネルマシンではない機械学習アルゴリズムと組み合わせることができないという課題もあった。
＜本発明の予測方法＞

【0037】

本発明者は、予測値ｙを得るための演算時間を短縮するべく、鋭意研究を行った。そして、基礎技術と同程度の精度かこれよりも高精度で、かつ大幅に演算時間を短縮できる演算方法を発明し、この演算方法を利用した予測装置、予測方法、および予測プログラムを発明した。

【0038】

以下、本発明の予測方法について説明する。上述の基礎技術の課題は、グラスマンカーネルｋ（Ｙ_１，Ｙ_２）に対し、以下の性質を満たす非線型写像φ（Ｙ）（Ｃ^Ｄ×Ｐ→Ｃ^Ｋ（Ｃは複素数，Ｋは自然数））を構築できれば、解決することができる。上記［数３］に［数４］を代入することにより、［数３］は［数５］のように変形できるからである。また、［数５］中の「Ｗ」は、［数６］のように表現される。

【0039】

【数4】

【0040】

【数5】

【0041】

【数6】

【0042】

ここで、ＷはＫ次元のベクトルであり、カーネル法における非線形変換後の特徴空間における線形ウエイトである。このウエイトＷは、元のカーネルマシンにおける繰り返し演算部分に相当する処理を含んでおり、予測対象となる多次元時系列データ（テストデータ）Ｙ_ｔｅｓｔが与えられる前に事前に演算を済ませることができる。

【0043】

このため、［数５］で予測値を演算することによって、［数３］におけるグラスマンカーネルの演算をサンプルデータの数Ｎの数だけ繰り返す工程を省くことができ、演算量をサンプルデータの数Ｎの多寡に関係なく、一定に抑えることができる。

【0044】

以下、［数４］を満たす非線型写像φ（Ｙ）の構成方法を示す。一般に出力されるベクトルの次元数Ｋとして無限大を許容した場合、任意の正定値カーネルに対しそのような非線型写像φ（Ｙ）が存在することは過去の研究によって示されていた（Mercer 1909 ※６）。※６：Mercer, Philosophical Transactions of the Royal Society A, 1909

【0045】

しかしながら、非線型写像φ（Ｙ）の出力先となるベクトル空間の次元数Ｋを有限の値に抑えつつ、［数４］を満たし、具体的に構成する方法は現時点では知られていない。その方法は以下の［数７］で与えられる。

【0046】

【数7】

【0047】

ここで、ｖｅｃ（ＹＹ^＋）は与えられた行列の要素を縦に並べた列ベクトルを返す関数である。また、［数７］におけるφ（Ｙ）が特徴量である。この構成方法によって、具体的に［数４］を満たす有限次元の非線型写像φ（Ｙ）が得られた。このとき、非線型写像φ（Ｙ）の出力先となるベクトル空間の次元数Ｋの値は多次元時系列データの次元数Ｄの２乗となる。もし非線型写像φ（Ｙ）の出力先となるベクトル空間の次元数Ｋが無限の場合は計算機で［数４］および［数５］の演算を行うことはできず、無限の演算時間を要することになるが、本発明の方法では非線型写像φ（Ｙ）の出力先となるベクトル空間の次元数Ｋの値を有限に抑えることができる。
次に、この発明の一実施形態として、上述した演算方法を用いた実施例を図面とともに説明する。
＜ハードウェア構成＞

【0048】

図３は、予測装置１の構成の一例を示すブロック図である。予測装置１は、汎用のコンピュータ（端末）で構成され、ＡＩ・機械学習技術を利用した学習済モデルに従って所定の事象に関する多次元時系列データから事象を予測（推定）するための予測装置（推定装置）である。

【0049】

図３に示すように、予測装置１は、入力部２と、表示部３と、データ取得部４と、結果出力部５と、制御部６と、補助記憶部７とを備える。入力部２、表示部３、データ取得部４、結果出力部５、および補助記憶部７のそれぞれは、制御部６に接続される。

【0050】

制御部６は、演算部６１および主記憶部６２を含み、予測装置１における各種演算および制御動作を実行する。演算部６１は、ＣＰＵまたはＭＰＵなどを含む演算処理部である。主記憶部６２は、ＲＡＭ（ＤＲＡＭ）およびＲＯＭなどを含む。ＲＡＭは、演算部６１のワーク領域およびバッファ領域として用いられる。ＲＯＭは、予測装置１の起動プログラムや各種情報についてのデフォルト値等を記憶する。

【0051】

入力部２は、予測装置１の使用者の操作入力を受け付ける入力部材と、入力部材および制御部６との間に介在する入力検出回路を含む。入力部材は、たとえばタッチパネルまたは／およびハードウェアの操作ボタンないし操作キーである。タッチパネルとしては、静電容量方式、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。入力検出回路は、各入力部材の操作に応じた操作信号ないし操作データを制御部６に出力する。

【0052】

表示部３は、ディスプレイと、ディスプレイおよび制御部６の間に介在する表示制御回路を含む。ディスプレイとしては、たとえばＬＣＤ（液晶ディスプレイ）または有機ＥＬディスプレイなどを用いることができる。表示制御回路は、ＧＰＵおよびＶＲＡＭなどを含む。制御部６の指示の下、ＧＰＵは、ＲＡＭに記憶された画像生成用のデータを用いてディスプレイに種々の画面を表示するための表示画像データをＶＲＡＭに生成し、生成した表示画像データをディスプレイに出力する。

【0053】

データ取得部４は、所定の事象に関する多次元時系列データ（多次元系列信号）を取得する。多次元時系列データは、脳波等の脳神経活動を反映するデータ（脳信号）、関節位置データ、音響データ、人流等の集団生物の行動データなど、２以上の次元数Ｄを有する時系列データである。

【0054】

結果出力部５は、取得した多次元時系列データから予測（推定）された予測結果（事象）に対応するデータ（出力データ）を出力する。出力データが可視化されたデータであれば、画像データとして出力し、表示部３または外部の表示装置等に出力データを表示させることができる。また、出力データがコンピュータやロボットなどの出力機器（たとえば予測装置１に接続された外部機器）を操作するための操作データである場合には、操作データとして出力機器に出力することができる。

【0055】

以下、本実施例では、予測装置１をＢＭＩに適用した例を説明する。図４はデータ取得部４および結果出力部５の構成の一例を示すブロック図である。図４に示す例は、多次元時系列データが脳波データ（脳信号）である場合のデータ取得部４および結果出力部５の構成の一例を示している。図４に示すように、データ取得部４には、脳信号計測部（脳信号計測装置）４１が接続されている。また、結果出力部５には、出力装置５１が接続されている。

【0056】

脳信号計測部４１は、人間の脳活動の状態を示す脳信号を計測することができる任意の装置である。脳信号計測部４１としては、たとえば頭皮上に複数の電極を貼付して脳波を計測する頭皮脳波計を用いることができる。また、電極を脳表上へ直接留置して皮質脳波を計測する頭蓋内脳波計が用いられてもよい。さらに別の例としては、脳信号計測部４１として磁気共鳴画像装置又は近赤外線スペクトロスコピー装置が用いられてもよい。また、脳信号計測部４１としては、脳磁計を用いることができる。脳磁計は、複数の超電導量子干渉計（ＳＱＵＩＤ：ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ ｑｕａｎｔｕｍ ｉｎｔｅｒｆｅｒｅｎｃｅ ｄｅｖｉｃｅ）を備え、複数の位置における脳磁界信号を脳信号として測定し取得する。

【0057】

脳信号計測部４１は、計測部４２、増幅部４３、及びアナログ－デジタル（ａｎａｌｏｇ－ｄｅｇｉｔａｌ、以下、及び図ではＡ／Ｄと表記）変換部（Ａ／Ｄ変換器）４４を備える。

【0058】

計測部４２は、脳信号を生体から読み取るセンサであり、脳信号に応じたアナログ信号を出力する。計測部４２としては、上記に例示した脳信号計測部４１の形式に応じて適宜のセンサが用いられる。たとえば脳波計であれば計測部４２として電極を用いることができ、脳磁計であれば計測部４２としてＳＱＵＩＤを用いることができる。増幅部４３は、計測部４２が出力したアナログ信号を増幅する。たとえばオペアンプを備える増幅回路などで実現される。Ａ／Ｄ変換部４４は、増幅部４３で増幅されたアナログ信号をデジタル信号（デジタル値）に変換する。Ａ／Ｄ変換部４４は、たとえばアナログ－デジタル変換回路等の電子回路で実現される。

【0059】

脳信号計測部４１で計測された脳信号は、データ取得部４へ出力される。なお、データ取得部４へ出力される前に必要に応じて脳信号計測部４１において所定の信号処理がなされてもよい。たとえばノイズフィルタを用いてノイズが低減されてもよいし、バンドパスフィルタを用いて特定の周波数帯域の信号のみに絞られてもよい。

【0060】

出力装置５１は、コンピュータやロボットなどの出力機器（動作器機）である。出力装置５１には、結果出力部５から出力される出力データ（予測値が示す事象のデータ）が入力され、出力装置５１は、出力データに従って適宜の出力（本実施例では動作）を行う。たとえば、出力装置５１がロボットであれば、出力データに従って動作する。また、出力装置５１が意思伝達装置であれば、出力データに従って意思を発出する（メッセージの表示や人工音声の出力などを行う）。さらに、視覚型ＢＭＩであれば、出力装置５１が表示装置（表示部３または外部の表示装置等）であり、出力データに従って出力装置５１に画像を表示する。なお、予測装置１と出力装置５１は別の機器として構成されてもよいし、予測装置１と出力装置５１が一体となった構成（予測装置１を組み込んだロボット等）でもよい。

【0061】

図３に戻って、補助記憶部７は、ＨＤＤ、ＳＳＤ、フラッシュメモリ、ＥＥＰＲＯＭなどの他の不揮発性メモリで構成され、制御部６（演算部６１）が予測装置１の動作を制御するためのプログラムおよび各種データなどを記憶する。補助記憶部７に記憶されている各種データは、必要に応じて主記憶部６２に展開される（読み出される）。

【0062】

補助記憶部７は、少なくとも、予測装置１の各種動作を実行するためのメイン処理プログラム７１と、多次元時系列データを動的モード分解により行列データに分解する分解プログラム７２と、行列データから特徴量を取得する特徴量取得プログラム７３と、特徴量とウエイトＷ（カーネル法に基づいて事前に計算（演算）されたウエイト）から予測値を取得する予測値取得プログラム７４と、予測用のサンプルデータ、事前に設定されるウエイトＷ、および各種演算式の予測処理に必要なデータ（予測用データ）等を管理する予測用データ管理プログラム７５と、予測値から多次元時系列データに関する事象を予測する予測プログラム７６等を記憶する。

【0063】

また、補助記憶部７は、予測処理に必要な予測用データ７７と、予測値が示す事象のデータである予測データ７８等を記憶する。本実施例では、予測用データ７７には、行列データから特徴量を取得するための演算式やアルゴリズム等のデータ、特徴量およびウエイトＷから予測値を取得するための演算式やアルゴリズム等のデータ、予測値から多次元時系列データに関する事象を予測するための演算式（ウエイトＷのデータを含む）やアルゴリズム等のデータ等が含まれる。
＜予測処理フロー＞

【0064】

このように構成された予測装置１では、制御部６が上記の各プログラムに従って多次元時系列データから事象を予測するための予測処理を行う。図５は本発明の予測方法のフローチャートである。図５に示すように、制御部６は、予測処理を開始すると、カーネル法に基づいて事前に演算されたウエイトＷのデータを読み出し（ステップＳ１１）、多次元時系列データ（本実施例ではＥＣｏＧ信号）を取得し（ステップＳ１２）、多次元時系列データを動的モード分解により行列データに分解する（ステップＳ１３）。なお、ステップＳ１２およびステップＳ１３のそれぞれの処理内容は、上述した基礎技術のステップＳ１およびステップＳ２のそれぞれの処理内容と同様であるので詳しい説明を省略する。

【0065】

続いて、動的モード分解により得られた行列データから特徴量を演算する（ステップＳ１４）。ステップＳ１４では、上述した［数７］により行列データから特徴量が演算される。

【0066】

続いて、ウエイトＷおよびステップＳ１４で得られた特徴量から予測値を演算し（ステップＳ１５）、線形判別または線形回帰によって予測値から事象を予測し（ステップＳ１６）、予測結果を出力し（ステップＳ１７）、予測処理を終了する。ステップＳ１５では、上述した［数５］により予測値が演算される。

【0067】

図６は予測処理におけるサンプルデータの数Ｎと演算時間との関係を示すグラフである。なお、図６における基礎技術２は、上述した基礎技術の方法を最適化したものである。

【0068】

実際に、本発明の予測方法を用いて現実的な状況における計算機実験（多次元時系列データの次元数Ｄ＝１００，動的モード分解のモード数Ｐ＝３００）を行ったところ、グラスマンカーネル（数２）の1回の演算時間は０．０１秒程度であった。また、上述のとおり、基礎技術ではサンプルデータの数Ｎに比例して、予測にかかる演算時間が伸びてしまう（上記計算機実験と同じ条件であれば１０秒程度）という問題があった。これに対し、本発明の予測方法では［数５］による１回の内積計算だけで済むため、図６に示すように、本発明の演算方法ではサンプルデータの数Ｎが増加したとしてもほぼ一定に抑えることができる。

【0069】

また、基礎技術で用いたデータと同じ脳波データ（１１人の脳波データ）を用いた場合の本発明の予測方法の予測精度を評価した結果、予測正答率は基礎技術と同じ精度（７９％）であった。上述のように、基礎技術は予測精度の観点では他の方法よりも優れているものであり、本発明の予測方法は基礎技術と同等の予測を実現しつつ、演算時間を大幅に短縮できるものである。すなわち、本発明の予測方法を用いることによって、所定の事象に関する多次元時系列データから、高速（ほぼリアルタイム）かつ高精度で事象を予測することができる。

【0070】

特に、本発明の予測方法では、基礎技術で用いられたカーネル法における繰り返し演算部分に相当するウエイトＷを含む［数５］（予測値演算条件）を用いて予測値を演算するようにしたため、演算の高速化を実現することができた。また、非線型写像φ（Ｙ）の出力先となるベクトル空間の次元数Ｋを有限の値に抑えつつ、［数４］を満たし、具体的に構成する［数７］（特徴量演算条件）を発明したからこそ、本発明の予測方法が実現されたものである。

【0071】

さらに、［数５］の形はφ（Ｙ_ｔｅｓｔ）を特徴量ベクトルとして用いた形となっているため、単一有限次元の特徴量ベクトルを入力として仮定する任意の機械学習アルゴリズムと組み合わせることができる。たとえば、［数７］によって得られた特徴量ベクトルにスパース正則化付き機械学習アルゴリズム（Ｌ１－ＳＶＭ）を用いた結果、予測正答率は８２％であり、基礎技術よりもさらに予測精度が向上した。また、任意の機械学習アルゴリズムと組み合わせられることから、事前処理（チューニング処理、訓練）にかかる演算時間を短縮することもできる。図７は機械学習アルゴリズムとして線形ＳＶＭ（Ｌ２－ＳＶＭ）を用い、事前処理におけるサンプルデータの数Ｎと演算時間との関係を示したグラフである。［数４］の関係があるため、本例の機械学習アルゴリズムから出力される予測結果は基礎技術のものと同等となる。図７に示すように、基礎技術と予測精度において同等な予測モデルを構築しつつ、訓練時間（機械学習アルゴリズムの訓練のための演算時間）を短縮することができる。サンプルデータの数Ｎが増加したとしても訓練時間の増加を抑制することができ、現実的な時間内において従来より多くの量の訓練データを用いての訓練が可能となる。このように、本発明は基礎技術に比べて汎用性も向上しており、ＢＭＩに適用する場合でも様々な機械学習アルゴリズムと組み合わせることができる。また、本発明はＢＭＩ以外にも、以下に述べる例を含む様々な分野に応用可能である。

【0072】

この発明の予測装置は上記実施形態の予測装置１に対応し、以下同様に、データ取得手段はデータ取得部４に対応し、分解手段は、分解プログラム７２およびこれに従って動作する制御部６に対応し、第１取得手段は、特徴量取得プログラム７３およびこれに従って動作する制御部６に対応し、第２取得手段は、予測値取得プログラム７４およびこれに従って動作する制御部６に対応し、予測手段は、予測プログラム７６およびこれに従って動作する制御部６に対応し、［数１］は［数５］に対応し、［数２］は［数７］に対応するが、この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。

【0073】

たとえば、上述の実施形態では、多次元時系列データが脳波データである場合を例に挙げて説明したが、多次元時系列データは脳波データに限定されない。たとえば、多次元時系列データは、関節位置データ、音響データ等、人流など集団生物の運動状態を表すデータであってもよい。

【0074】

具体的には、運動する人間の複数の関節位置データ（肩、肘、膝等の位置データ）は時間変化するため、多次元時系列データとして扱うことができる。この場合、予測装置１は、人間の姿勢（ポーズ）のサンプルデータを記憶しておき、時間変化する複数の関節位置データを動的モード分解し、特徴量を演算し、予測値を演算することを含む本発明の一連の処理（ステップＳ１１～Ｓ１７）を行うことによって、人間の姿勢を予測（推定）することができる。たとえば、運動中の人間の動作の解析等に用いることができる。この場合、データ取得部４には、人間の関節位置データを取得する装置（画像解析装置や３次元座標測定装置など）が接続され、結果出力部５には、表示装置や動作解析用のコンピュータなどが接続される。

【0075】

また、複数の異なる周波数帯の出力が時間変化する音響データも多次元時系列データとして扱うことができる。この場合、予測装置１は、あらかじめ与えられた正常時の音（正常音）のサンプルデータを記憶しておき、取得した音響データに短時間フーリエ変換（ｓｈｏｒｔ ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）をかけて得られたスペクトログラムに対し本発明の一連の処理を行い、正常音との比較による異常度の評価（たとえばｏｎｅ－ｃｌａｓｓ ＳＶＭを使用する）を行うことができる。これにより、取得した音響データが正常か、異常かを予測（判断）することができる。たとえば、動作中の機械の音に基づいて、当該機械の異常検知を行うことができる。この場合、データ取得部４には、音響データを取得する（音を電気信号に変換する）装置（たとえばマイクロフォンなど）が接続され、結果出力部５には、表示装置、音響解析用のコンピュータや動作中の機械の安全装置（たとえば異常が検知された場合に当該機械を停止させるための装置）などが接続される。

【0076】

さらに、或る場所において観測されるヒト等の生物の数（或る空間または領域に存在する特定の生物の数）の時間変化を所定時間の間記録したデータ（人流等データ）も多次元時系列データとして扱うことができる。この場合、予測装置１は、あらかじめ与えられた正常時のサンプルデータを記憶しておき、取得した人流等データに対し本発明の一連の処理を行い、正常時のデータとの比較による異常度の評価（たとえばｏｎｅ－ｃｌａｓｓ ＳＶＭを使用する）を行うことができる。これにより、取得した人流等データが正常か、異常かを予測（判断）することができる。この場合、データ取得部４には、人流等データを取得する装置（観測対象場所を撮影するカメラまたは観測対象場所に存在するヒト等の生物の数を検出する人検出センサ）が接続され、結果出力部５には、表示装置、人流等解析用のコンピュータなどが接続される。

【0077】

さらに、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置によって計測した複数の脳部位の安静時脳活動データも多次元時系列データとして扱うことができる。この場合、予測装置１は、あらかじめ与えられた精神疾患のサンプルデータや重症度毎のサンプルデータを訓練データとして用い、取得した安静時脳活動データに対し本発明の一連の処理を行い、訓練データと機械学習アルゴリズムに基づく評価（たとえば線形ＳＶＭやＬ１－ＳＶＭ、ロジスティック回帰、正順相関分析、ニューラルネットワークなどを使用する）を行うことができる。これにより、取得した安静時脳活動データから被験者が精神疾患かどうかや精神疾患の重症度をリアルタイム予測（判断）することができ、ひいては予測結果を用いてリアルタイムで脳情報フィードバック制御を行うことができる。この場合、データ取得部４には、安静時脳活動データを取得するＭＲＩ装置が接続され、結果出力部５には、表示装置などが接続される。

【0078】

また、上述の実施形態では、行列データから特徴量を取得するときおよび特徴量から予測値を取得するときのそれぞれにおいて演算式により特徴量および予測値のそれぞれを取得するようにしたが、これに限定されない。たとえば、行列データから特徴量を取得する条件（特徴量取得条件）および特徴量から予測値を取得する条件（予測値取得条件）は、過去の演算結果から作成した表形式としてもよいし、過去の演算結果からＡＩ技術として構成することもできる。さらに、上述の実施形態では、［数７］におけるｖｅｃ（ＹＹ^＋）は行列（ＹＹ^＋）の全ての要素を縦に並べてベクトルとしたものであるが、行列（ＹＹ^＋）の一部の要素を使用するようにしてもよい。

【0079】

また、本発明は、予測装置として提供するだけでなく、予測装置を用いて事象を検出する方法、プログラム、およびプログラムを記憶した非一時的な（非一過性の）有形の記憶媒体としても提供することができる。

【産業上の利用可能性】

【0080】

この発明は、所定の事象に関する多次元時系列データを分析して当該多次元時系列データから事象を予測するような産業に利用することができる。

【符号の説明】

【0081】

１…予測装置
４…データ取得部
５…結果出力部
６…制御部
６１…演算部
６２…主記憶部
７…補助記憶部
７２…分解プログラム
７３…特徴量取得プログラム
７５…予測値取得プログラム
７６…予測プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】