(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024061749
(43)【公開日】2024-05-08
(54)【発明の名称】プログラム、製造方法、製造装置及び接続方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20240426BHJP
A61B 5/372 20210101ALI20240426BHJP
【FI】
G06F3/01 515
A61B5/372
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2024031910
(22)【出願日】2024-03-04
(62)【分割の表示】P 2023152236の分割
【原出願日】2022-10-11
(71)【出願人】
【識別番号】521014962
【氏名又は名称】株式会社JiMED
(71)【出願人】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100150072
【弁理士】
【氏名又は名称】藤原 賢司
(72)【発明者】
【氏名】藏富 壮留
(72)【発明者】
【氏名】平田 雅之
(57)【要約】
【課題】被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルを生成するプログラム、製造方法、製造装置及び接続方法を提供する。
【解決手段】被験者の企図を推定する学習済モデルの生成に用いられる複数の教師データの各々は、脳波に関する情報を含むと共に、複数のパラメータの少なくとも一部を踏まえた上で機械学習に用いられる。プログラムは、複数のパラメータの複数の組合せの各々に関して機械学習を行なうことによって複数の学習済モデルを生成するステップと、複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、複数のモザイクグラフを共通の画面に表示させるステップとをコンピュータに実行させる。複数のモザイクグラフの各々は、複数の組合せの少なくとも一部における感度に関する情報を示す。複数のモザイクグラフに関して前提となる特異度は互いに異なる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被験者の脳波に基づいて前記被験者の企図を推定する学習済モデルの生成に用いられるプログラムであって、
前記学習済モデルは、複数の教師データを用いた機械学習を通じて生成され、
前記機械学習においては、複数のパラメータの各々が事前に調整され、
前記複数の教師データの各々は、前記脳波に関する情報を含むと共に、前記複数のパラメータの少なくとも一部を踏まえた上で前記機械学習に用いられ、
前記プログラムは、
前記複数のパラメータの複数の組合せの各々に関して前記機械学習を行なうことによって複数の学習済モデルを生成するステップと、
前記複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、
複数のモザイクグラフを共通の画面に表示させるステップとをコンピュータに実行させ、
前記複数のモザイクグラフの各々は、前記複数の組合せの少なくとも一部における前記感度に関する情報を示し、
前記複数のモザイクグラフに関して前提となる前記特異度に関する値は互いに異なる、プログラム。
【請求項2】
前記複数のモザイクグラフの各々においては、前記複数のパラメータのうち少なくとも一部が前提の値として決められており、
前記前提の値の変更を受け付けるステップと、
前記前提の値が変更された場合に、前記複数のモザイクグラフの各々を更新するステップとを前記コンピュータにさらに実行させる、請求項1に記載のプログラム。
【請求項3】
前記感度に関する情報は色情報を含み、
前記感度の値と色との対応関係を示すスケールの変更を受け付けるステップと、
前記スケールが変更された場合に、前記複数のモザイクグラフの各々を更新するステップとを前記コンピュータにさらに実行させる、請求項1又は請求項2に記載のプログラム。
【請求項4】
前記感度に関する情報は数値情報を含む、請求項1又は請求項2に記載のプログラム。
【請求項5】
前記感度及び前記特異度の両方に基づいて前記複数のパラメータの最適な組合せを導出するステップと、
前記最適な組合せにおける各パラメータの数値を前記画面に表示させるステップとを前記コンピュータにさらに実行させ、
前記複数のモザイクグラフの各々は、前記最適な組合せを前提として生成される、請求項1又は請求項2に記載のプログラム。
【請求項6】
前記複数のモザイクグラフにおいて示される複数の前記感度に関する情報のうち最も高い感度を示す情報を前記画面に強調表示させるステップを前記コンピュータにさらに実行させる、請求項1又は請求項2に記載のプログラム。
【請求項7】
被験者の脳波に基づいて前記被験者の企図を推定する学習済モデルの製造方法であって、
前記学習済モデルは、複数の教師データを用いた機械学習を通じて生成され、
前記機械学習においては、複数のパラメータの各々が事前に調整され、
前記複数の教師データの各々は、前記脳波に関する情報を含むと共に、前記複数のパラメータの少なくとも一部を踏まえた上で前記機械学習に用いられ、
前記製造方法は、
前記複数のパラメータの複数の組合せの各々に関して前記機械学習を行なうことによって複数の学習済モデルを生成するステップと、
前記複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、
複数のモザイクグラフを共通の画面に表示するステップとを含み、
前記複数のモザイクグラフの各々は、前記複数の組合せの少なくとも一部における前記感度に関する情報を示し、
前記複数のモザイクグラフに関して前提となる前記特異度に関する値は互いに異なる、製造方法。
【請求項8】
被験者の脳波に基づいて前記被験者の企図を推定する学習済モデルの製造装置であって、
前記学習済モデルは、複数の教師データを用いた機械学習を通じて生成され、
前記機械学習においては、複数のパラメータの各々が事前に調整され、
前記複数の教師データの各々は、前記脳波に関する情報を含むと共に、前記複数のパラメータの少なくとも一部を踏まえた上で前記機械学習に用いられ、
前記製造装置は、
プロセッサと、
前記プロセッサによって実行されるプログラムを記憶するメモリとを備え、
前記プログラムは、
前記複数のパラメータの複数の組合せの各々に関して前記機械学習を行なうことによって複数の学習済モデルを生成するステップと、
前記複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、
複数のモザイクグラフを共通の画面に表示させるステップとを前記プロセッサに実行させ、
前記複数のモザイクグラフの各々は、前記複数の組合せの少なくとも一部における前記感度に関する情報を示し、
前記複数のモザイクグラフに関して前提となる前記特異度に関する値は互いに異なる、製造装置。
【請求項9】
被験者の頭蓋内に埋め込まれた電極群を通じて取得された脳波に基づいて生成された脳波スペクトログラムを表示するためのプログラムであって、
前記電極群は、第1領域に配置された電極と、第2領域に配置された電極とを含み、
前記第1領域に配置された電極によって取得される脳波は、前記第2領域に配置された電極によって取得される脳波と比較して、前記被験者の企図のうち検出対象の企図と高い相関を有し、
前記電極群に含まれる複数の電極の各々は、アンプチップに含まれる複数の増幅素子のいずれかに電気的に接続されており、
前記複数の増幅素子のうち所定の基準を満たさない増幅素子は、前記第2領域に配置された電極に電気的に接続されており、
前記プログラムは、
前記複数の増幅素子の各々の出力に基づいて複数の脳波スペクトログラムを生成するステップと、
生成された複数の脳波スペクトログラムを含む画面を表示させるステップとをコンピュータに実行させ、
前記画面において、前記複数の脳波スペクトログラムの各々は、対応する電極の前記電極群における位置と同等の位置に配置される、プログラム。
【請求項10】
被験者の脳波を検出するための電極群とアンプチップとの接続方法であって、
前記アンプチップは、複数の増幅素子を含み、
前記電極群は、第1領域に配置された電極と、第2領域に配置された電極とを含み、
前記第1領域に配置された電極によって取得される脳波は、前記第2領域に配置された電極によって取得される脳波と比較して、前記被験者の企図のうち検出対象の企図と高い相関を有し、
前記接続方法は、
前記複数の増幅素子に所定の基準を満たさない増幅素子が含まれるか否かを判定するステップと、
前記複数の増幅素子に前記所定の基準を満たさない増幅素子が含まれていた場合に、前記所定の基準を満たさない増幅素子と、前記第2領域に配置された電極とを接続するステップとを含む、接続方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、製造方法、製造装置及び接続方法に関する。
【背景技術】
【0002】
特開2018-68886号公報(特許文献1)は、BMI(ブレインマシンインターフェース)システムを開示する。このBMIシステムは、体内装置と、体外装置とを含んでいる。体内装置は、電極群を有し、被験者の頭部内に埋め込まれる。体内装置は、脳表面(硬膜下)に配置された電極群により被験者の脳波信号を正確に取得できるように構成されている。体内装置によって取得された脳波信号は、体外装置へ送信される。体外装置は、受信された脳波信号に応じた動作を行なう(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の目的は、被験者の脳波に基づいて被験者の運動企図(以下、単に「企図」とも称する。)を比較的高精度に推定可能な学習済モデルを生成するプログラム、製造方法、製造装置及び接続方法を提供することである。
【課題を解決するための手段】
【0005】
本発明のある局面に従うプログラムは、被験者の脳波に基づいて被験者の企図を推定する学習済モデルの生成に用いられる。学習済モデルは、複数の教師データを用いた機械学習を通じて生成される。機械学習においては、複数のパラメータの各々が事前に調整される。複数の教師データの各々は、脳波に関する情報を含むと共に、複数のパラメータの少なくとも一部を踏まえた上で機械学習に用いられる。プログラムは、複数のパラメータの複数の組合せの各々に関して機械学習を行なうことによって複数の学習済モデルを生成するステップと、複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、複数のモザイクグラフを共通の画面に表示させるステップとをコンピュータに実行させる。複数のモザイクグラフの各々は、上記複数の組合せの少なくとも一部における感度に関する情報を示す。複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。
【0006】
このプログラムがコンピュータによって実行されると、複数のモザイクグラフが共通の画面に表示される。複数のモザイクグラフの各々は上記複数の組合せの少なくとも一部における感度に関する情報を示し、複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。したがって、このプログラムによれば、上記複数の組合せの少なくとも一部における感度及び特異度が複数のモザイクグラフによって視覚的に表わされるため、複数のパラメータの良好な組合せを画面表示によりユーザ(医師等)に容易に認識させることができる。ユーザ(医師等)は複数のモザイクグラフを参照して使用するパラメータを判断し評価を進めることができるので、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルの生成が容易となる。
【0007】
上記複数のモザイクグラフの各々においては、複数のパラメータのうち少なくとも一部が前提の値として決められていてもよく、上記プログラムは、前提の値の変更を受け付けるステップと、前提の値が変更された場合に複数のモザイクグラフの各々を更新するステップとをコンピュータにさらに実行させてもよい。
【0008】
このプログラムがコンピュータによって実行されると、前提の値が変更された場合に複数のモザイクグラフの各々が更新される。したがって、このプログラムによれば、パラメータの変更が感度に与える影響を画面表示によりユーザに容易に認識させることができる。
【0009】
感度に関する情報は色情報を含んでもよく、上記プログラムは、感度の値と色との対応関係を示すスケールの変更を受け付けるステップと、スケールが変更された場合に複数のモザイクグラフの各々を更新するステップとをコンピュータにさらに実行させてもよい。
【0010】
このプログラムがコンピュータによって実行されると、スケールが変更された場合に複数のモザイクグラフの各々が更新される。したがって、このプログラムによれば、スケールの調整を通じて各パラメータと感度との関係をより明確にユーザに認識させることができる。
【0011】
上記プログラムにおいて、感度に関する情報は数値情報を含んでいてもよい。
【0012】
このプログラムによれば、数値情報の表示を通じて複数のパラメータの良好な組合せをユーザに容易に認識させることができる。
【0013】
上記プログラムは、感度及び特異度の両方に基づいて複数のパラメータの最適な組合せを導出するステップと、最適な組合せにおける各パラメータの数値を画面に表示させるステップとをコンピュータにさらに実行させてもよく、複数のモザイクグラフの各々は、最適な組合せを前提として生成されてもよい。
【0014】
このプログラムがコンピュータによって実行されると、最適な組合せにおける各パラメータの数値が画面に表示され、複数のモザイクグラフの各々が最適な組合せを前提として生成される。したがって、このプログラムによれば、感度及び特異度が最大となるパラメータの組合せをユーザに容易に認識させることができる。
【0015】
上記プログラムは、複数のモザイクグラフにおいて示される複数の感度に関する情報のうち最も高い感度を示す情報を画面に強調表示させるステップをコンピュータにさらに実行させてもよい。
【0016】
このプログラムがコンピュータによって実行されると、複数の感度に関する情報のうち最も高い感度を示す情報が画面において強調表示される。したがって、このプログラムによれば、複数の感度に関する情報のうち最も高い感度を示す情報に対応するパラメータの組合せをユーザに容易に認識させることができる。
【0017】
本発明の他の局面に従う製造方法は、被験者の脳波に基づいて被験者の企図を推定する学習済モデルの製造方法である。学習済モデルは、複数の教師データを用いた機械学習を通じて生成される。機械学習においては、複数のパラメータの各々が事前に調整される。複数の教師データの各々は、脳波に関する情報を含むと共に、複数のパラメータの少なくとも一部を踏まえた上で機械学習に用いられる。製造方法は、複数のパラメータの複数の組合せの各々に関して機械学習を行なうことによって複数の学習済モデルを生成するステップと、複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、複数のモザイクグラフを共通の画面に表示するステップとを含む。複数のモザイクグラフの各々は、上記複数の組合せの少なくとも一部における感度に関する情報を示す。複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。
【0018】
この製造方法においては、複数のモザイクグラフが共通の画面に表示される。複数のモザイクグラフの各々は上記複数の組合せの少なくとも一部における感度に関する情報を示し、複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。したがって、この製造方法によれば、上記複数の組合せの少なくとも一部における感度及び特異度が複数のモザイクグラフによって視覚的に表わされるため、複数のパラメータの良好な組合せを画面表示によりユーザに容易に認識させることができる。ユーザ(医師等)は複数のモザイクグラフを参照して使用するパラメータを判断し評価を進めることができるので、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルの生成が容易となる。
【0019】
本発明の他の局面に従う製造装置は、被験者の脳波に基づいて前記被験者の企図を推定する学習済モデルの製造装置である。学習済モデルは、複数の教師データを用いた機械学習を通じて生成される。機械学習においては、複数のパラメータの各々が事前に調整される。複数の教師データの各々は、脳波に関する情報を含むと共に、複数のパラメータの少なくとも一部を踏まえた上で機械学習に用いられる。製造装置は、プロセッサと、プロセッサによって実行されるプログラムを記憶するメモリとを備える。プログラムは、上記複数の組合せの各々に関して機械学習を行なうことによって複数の学習済モデルを生成するステップと、複数の学習済モデルの各々に関して感度及び特異度を算出するステップと、複数のモザイクグラフを共通の画面に表示させるステップとをプロセッサに実行させる。複数のモザイクグラフの各々は、上記複数の組合せの少なくとも一部における感度に関する情報を示す。複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。
【0020】
この製造装置においては、複数のモザイクグラフが共通の画面に表示される。複数のモザイクグラフの各々は上記複数の組合せの少なくとも一部における感度に関する情報を示し、複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。したがって、この製造装置によれば、上記複数の組合せの少なくとも一部における感度及び特異度が複数のモザイクグラフによって視覚的に表わされるため、複数のパラメータの良好な組合せを画面表示によりユーザに容易に認識させることができる。ユーザ(医師等)は複数のモザイクグラフを参照して使用するパラメータを判断し評価を進めることができるので、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルの生成が容易となる。
【0021】
本発明の他の局面に従うプログラムは、被験者の頭蓋内に埋め込まれた電極群を通じて取得された脳波に基づいて生成された脳波スペクトログラムを表示するためのプログラムである。電極群は、第1領域に配置された電極と、第2領域に配置された電極とを含む。第1領域に配置された電極によって取得される脳波は、第2領域に配置された電極によって取得される脳波と比較して、被験者の企図のうち検出対象の企図と高い相関を有する。電極群に含まれる複数の電極の各々は、アンプチップに含まれる複数の増幅素子のいずれかに電気的に接続されている。複数の増幅素子のうち所定の基準を満たさない増幅素子は、第2領域に配置された電極に電気的に接続されている。プログラムは、複数の増幅素子の各々の出力に基づいて複数の脳波スペクトログラムを生成するステップと、生成された複数の脳波スペクトログラムを含む画面を表示させるステップとをコンピュータに実行させる。画面において、複数の脳波スペクトログラムの各々は、対応する電極の電極群における位置と同等の位置に配置される。
【0022】
このプログラムがコンピュータによって実行されると、複数の脳波スペクトログラムの各々が、対応する電極の電極群における位置と同等の位置に配置された画面が表示される。したがって、このプログラムによれば、対応する電極と同等の位置に各脳波スペクトログラムが表示されるため、被験者特有の脳の活動部位や周波数帯域別の脳波の強度を反映した脳波スペクトログラムをユーザに直感的に認識させることができ、被験者特有の脳活動を把握しやすくなるため、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【0023】
本発明の他の局面に従う接続方法は、被験者の脳波を検出するための電極群とアンプチップとの接続方法である。アンプチップは、複数の増幅素子を含む。電極群は、第1領域に配置された電極と、第2領域に配置された電極とを含む。第1領域に配置された電極によって取得される脳波は、第2領域に配置された電極によって取得される脳波と比較して、被験者の企図のうち検出対象の企図と高い相関を有する。接続方法は、複数の増幅素子に所定の基準を満たさない増幅素子が含まれるか否かを判定するステップと、複数の増幅素子に所定の基準を満たさない増幅素子が含まれていた場合に、所定の基準を満たさない増幅素子と、第2領域に配置された電極とを接続するステップとを含む。
【0024】
この接続方法においては、所定の基準を満たさない増幅素子が、被験者の企図のうち検出対象の企図と高い相関を有さない脳波を取得する電極に接続される。したがって、この接続方法によれば、企図検出のために重要となる脳領域上に配置される電極を所定の基準を満たす増幅素子に接続することができるため、高いS/N比の脳波を取得することができる。結果的に、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【発明の効果】
【0025】
本発明によれば、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルを生成するプログラム、製造方法、製造装置及び接続方法を提供することができる。
【図面の簡単な説明】
【0026】
【
図1】意思伝達システムの構成を模式的に示す図である。
【
図2】体内装置の電気的構成を模式的に示す図である。
【
図3】脳波解読装置の構成を模式的に示す図である。
【
図4】脳波解読装置における動作手順を示すフローチャートである。
【
図5】学習システムの構成を模式的に示す図である。
【
図6】学習済モデル生成装置の構成を模式的に示す図である。
【
図7】学習用データの収集手順を示すフローチャートである。
【
図8】5-fold cross validationにおける学習用データの分割について説明するための図である。
【
図9】5-fold cross validationを通じて複数のパラメータの適切な組合せを決定する手順を説明するための図である。
【
図10】学習済モデルの生成手順を示すフローチャートである。
【
図11】最適なパラメータの組合せを示す画像の一例を模式的に示す図である。
【
図12】感度を示す数値情報が表示された状態の画像の一例を示す図である。
【
図14】電極群に含まれる各電極と増幅素子との接続ルールを説明するための図である。
【
図15】電極の優先順位を説明するための図である。
【
図16】各電極によって検出された脳波のスペクトログラムの表示手順を示すフローチャートである。
【
図17】表示部に表示される画面の一例を模式的に示す図である。
【発明を実施するための形態】
【0027】
以下、本発明の一側面に係る実施の形態について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、各図面は、理解の容易のために、適宜対象を省略又は誇張して模式的に描かれている。
【0028】
[1.意思伝達システム]
<1-1.構成>
図1は、意思伝達システム10の構成を模式的に示す図である。意思伝達システム10を利用する被験者は、例えば、筋萎縮性側索硬化症(ALS)の患者である。被験者の脳からは、被験者の企図に応じた脳波が発される。意思伝達システム10においては、被験者の脳波に基づいて被験者の脳活動が検出され、被験者の脳活動に基づいて被操作装置400の操作が行なわれる。脳活動は、例えば、被験者の脳の各部位から発された脳波に基づいて検出される。
【0029】
意思伝達システム10においては、例えば、被験者の所定の脳活動が検出された場合に、所定の入力信号(例えば、「YES」ボタンを押下する信号)が被操作装置400へ送信される。所定の脳活動の一例としては、被験者が手を握ることをイメージしたときの脳活動、被験者が腕を曲げることをイメージしたときの脳活動、及び、被験者が腕を上げることをイメージしたときの脳活動が挙げられる。意思伝達システム10を利用する被験者は、例えば、所定の脳活動に対応する企図をイメージすることによって、被操作装置400を操作することができる。
【0030】
図1に示されるように、意思伝達システム10は、体内装置100と、受信装置200と、脳波解読装置300と、被操作装置400とを含んでいる。体内装置100は、被験者の頭蓋内に埋め込まれ、被験者の脳波信号を検出する。体内装置100は、検出された脳波信号を受信装置200へ送信する。受信装置200は、受信された脳波信号の周波数解析を行ない、受信された脳波信号及び周波数解析の結果(以下、「脳波信号等」とも称する。)を脳波解読装置300へ送信する。
【0031】
脳波解読装置300は、受信装置200から受信された脳波信号等に基づいて、被験者によって所定の企図がイメージされたか否かを判定する。所定の企図がイメージされたと判定されると、脳波解読装置300は、所定の入力信号を被操作装置400へ送信する。これにより、被操作装置400の操作が行なわれる。
【0032】
図2は、体内装置100の電気的構成を模式的に示す図である。上述のように、体内装置100は、被験者の頭蓋内に埋め込まれる。
図2に示されるように、体内装置100は、電極群110と、アンプチップ120と、制御部130と、通信部140とを含んでいる。
【0033】
電極群110は、複数の電極111を含んでいる。電極群110は、例えば、平面視略矩形状の1枚のシート上に形成されている。電極群110が形成されたシートは被験者の脳表面(硬膜下)に配置され、各電極111は被験者の脳波を検出する。
【0034】
アンプチップ120は、複数の増幅素子121を含んでいる。アンプチップ120は、例えば、複数の層を含む。各層には複数の増幅素子121が形成されている。例えば、アンプチップ120が2層構成であり、アンプチップ120に64個の増幅素子121が含まれている場合に、各層に32個の増幅素子121が形成されていてもよい。
【0035】
複数の増幅素子121の各々は、電極111に対応付けられている。各増幅素子121は、例えば、白金線を通じて、対応付けられた電極111と電気的に接続されている。なお、電極群110とアンプチップ120との間に、フィードスルーが設けられてもよい。増幅素子121と電極111との接続方法については後程詳しく説明する。各増幅素子121は、対応付けられた電極111によって検出された脳波信号を増幅する。各増幅素子121によって増幅された脳波信号は、制御部130へ出力される。
【0036】
制御部(プロセッサ)130は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)等を含んでいる。制御部130は、情報処理に応じて、体内装置100内の各構成要素を制御するように構成されている。制御部130は、例えば、アンプチップ120によって出力された各脳波信号を受信装置200へ送信するように通信部140を制御する。なお、各脳波信号は、受信装置200を介さずに、体内装置100から脳波解読装置300へ直接送信されてもよい。
【0037】
図3は、脳波解読装置300の構成を模式的に示す図である。脳波解読装置300は、例えば、汎用コンピュータによって実現される。
図3に示されるように、脳波解読装置300は、制御部310と、通信部330と、入力部340と、表示部350と、記憶部320とを含み、各構成は、バスを通じて電気的に接続されている。
【0038】
制御部310は、CPU312、RAM314及びROM316等を含んでいる。制御部310は、情報処理に応じて、脳波解読装置300内の各構成要素を制御するように構成されている。
【0039】
通信部330は、有線通信又は無線通信によって、受信装置200及び被操作装置400の各々と通信するように構成されている。通信部330は、例えば、受信装置200からの脳波信号等の受信、及び、被操作装置400への入力信号の送信を行なうように構成されている。
【0040】
入力部340は、ユーザ(医師等の操作者)からの指示を受け付けるように構成されている。入力部340は、例えば、タッチパネル、キーボード、マウス及びマイクの一部又は全部で構成される。表示部350は、画像を表示するように構成されている。表示部350は、例えば、液晶モニタ又は有機EL(Electro Luminescence)モニタ等のモニタで構成される。表示部350には、例えば、通信部330を通じて受信された被験者の脳波のスペクトログラム(以下、「脳波スペクトログラム」とも称する。)が表示される。
【0041】
記憶部(メモリ)320は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成される。記憶部320は、例えば、制御プログラム321及び学習済モデル322を記憶するように構成されている。
【0042】
制御プログラム321が制御部310によって実行されることにより、脳波解読装置300における各種動作が実現される。制御部310が制御プログラム321を実行する場合に、制御プログラム321は、RAM314に展開される。そして、制御部310は、RAM314に展開された制御プログラム321をCPU312によって解釈及び実行することにより各構成要素を制御する。
【0043】
学習済モデル322は、例えば、通信部330を通じて継続的に受信された脳波信号等が入力された場合に、被験者が所定の企図をイメージしたことに関する尤度を出力するように構成されている。制御部310は、例えば、学習済モデル322の出力に基づいて、被験者が所定の企図をイメージしたか否かを判定する。学習済モデル322の生成方法については後程詳しく説明する。
【0044】
<1-2.動作>
図4は、脳波解読装置300における動作手順を示すフローチャートである。このフローチャートに示される処理は、通信部330を通じて脳波信号等が継続的に受信されている場合に、制御部310によって繰り返し実行される。
【0045】
図4を参照して、制御部310は、通信部330を通じて受信された脳波信号等を学習済モデル322へ入力する(ステップS100)。制御部310は、学習済モデル322の出力に基づいて、被験者が所定の企図をイメージしたか否かを判定する(ステップS110)。例えば、被験者が所定の企図をイメージしたことに関する尤度が所定値以上である場合に、制御部310は、被験者が所定の企図をイメージしたと判定する。
【0046】
被験者が所定の企図をイメージしていないと判定されると(ステップS110においてNO)、制御部310は、ステップS100の処理を再び実行する。一方、被験者が所定の企図をイメージしたと判定されると(ステップS110においてYES)、制御部310は、所定の企図に対応付けられた入力信号を被操作装置400へ送信するように通信部330を制御する(ステップS120)。これにより、被験者の意思に応じた被操作装置400の操作が行なわれる。
【0047】
[2.学習システム]
<2-1.構成>
図5は、学習システム20の構成を模式的に示す図である。学習システム20は、例えば、上述の学習済モデル322を生成するように構成されている。
【0048】
図5に示されるように、学習システム20は、体内装置100と、受信装置200と、学習済モデル生成装置500とを含んでいる。体内装置100及び受信装置200は、例えば、意思伝達システム10(
図1)に含まれる体内装置100及び受信装置200とそれぞれ同一の構成を有している。学習済モデル生成装置500は、受信された脳波信号等を用いた機械学習を通じて学習済モデル322を生成する。機械学習としては、サポートベクターマシン、ディープラーニング、ニューラルネットワーク、決定木学習、相関ルール学習及びベイジアンネットワーク等の公知の種々の方法を適用することができる。
【0049】
図6は、学習済モデル生成装置500の構成を模式的に示す図である。学習済モデル生成装置500は、例えば、汎用コンピュータによって実現される。
図6に示されるように、学習済モデル生成装置500は、制御部510と、通信部530と、入力部540と、表示部550と、記憶部520とを含み、各構成は、バスを通じて電気的に接続されている。
【0050】
制御部(プロセッサ)510は、CPU512、RAM514及びROM516等を含んでいる。制御部510は、情報処理に応じて、学習済モデル生成装置500内の各構成要素を制御するように構成されている。
【0051】
通信部530は、有線通信又は無線通信によって、受信装置200と通信するように構成されている。通信部530は、例えば、受信装置200から脳波信号等を受信するように構成されている。入力部540は、ユーザ(医師等の操作者)からの指示を受け付けるように構成されている。入力部540は、例えば、タッチパネル、キーボード、マウス及びマイクの一部又は全部で構成される。表示部550は、画像を表示するように構成されている。表示部550に表示される画像の一例については、後程詳しく説明する。表示部550は、例えば、液晶モニタ又は有機ELモニタ等のモニタで構成される。
【0052】
記憶部(メモリ)520は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成される。記憶部520は、例えば、制御プログラム521を記憶するように構成されている。制御プログラム521が制御部510によって実行されることにより、学習済モデル生成装置500における各種動作が実現される。制御部510が制御プログラム521を実行する場合に、制御プログラム521は、RAM514に展開される。そして、制御部510は、RAM514に展開された制御プログラム521をCPU512によって解釈及び実行することにより各構成要素を制御する。
【0053】
<2-2.学習済モデルの生成手順>
学習済モデル322の生成においては、複数の脳波信号等が学習用データとして用いられる。学習用データは、被験者が所定の企図をイメージした場合に発された脳波信号に基づいて生成される。以下ではまず、学習用データの生成に用いられる脳波信号の収集手順について説明する。
【0054】
図7は、学習用データの生成に用いられる脳波信号の収集手順を示すフローチャートである。このフローチャートに示される処理は、通信部530を通じて脳波信号等が継続的に受信されている場合に、制御部510によって繰り返し実行される。なお、このフローチャートに示される処理が実行されている期間において、被験者は、例えば、表示部550を視認している。
【0055】
図7を参照して、制御部510は、所定の企図をイメージするように被験者に指示する画面を表示するように表示部550を制御する(ステップS200)。制御部510は、画面の表示タイミングと相関を有する所定期間に通信部530を通じて受信された脳波信号等を学習用データ生成用の脳波信号等として記憶部520に記憶させる(ステップS210)。このフローチャートに示される処理が繰り返されることによって、学習用データの生成に必要な脳波信号等が収集される。なお、受信された脳波信号及び周波数解析の結果のいずれか一方に基づいて学習用データが生成されてもよい。
【0056】
学習済モデル322は、回帰モデルである。学習済モデル322を生成するための機械学習においては、複数のパラメータの各々が事前に調整される。複数のパラメータの一例としては、一定の時間間隔を有する脳波信号等のうち学習用データに用いられる時間間隔を示すパラメータ(Window Size)、所定の企図をイメージするように被験者に指示したタイミングと学習用データに用いられる脳波信号等の区間との時間的ずれ量を示すパラメータ(Window Offset)、及び、部分最小二乗回帰において用いられる次元を示すパラメータ(PLS Comps)が挙げられる。例えば、学習用データは、Window Size及びWindow Offsetの各々を踏まえた上で機械学習に用いられる。
【0057】
学習済モデル322の生成においては、事前に交差検証(cross-validation)が行なわれ、複数のパラメータの適切な組合せが決定される。その後、収集された全学習用データ、及び、決定された複数のパラメータの組合せを用いた機械学習が行なわれることによって、学習済モデル322が生成される。ここでは、5-fold cross validationが行なわれる例について説明する。
【0058】
図8は、5-fold cross validationにおける学習用データの分割について説明するための図である。
図8に示されるように、5-fold cross validationにおいては、学習用データが5つのグループ(第1データ群~第5データ群)に分割される。例えば、600個の学習用データが収集された場合に、600個の学習用データは、各々が120個の学習用データを含む5つのグループに分割される。
【0059】
図9は、5-fold cross validationを通じて複数のパラメータの適切な組合せを決定する手順を説明するための図である。
図9を参照して、5-fold cross validationにおいては、第1データ群~第5データ群のうち、4つのデータ群が教師データに分類され、1つのデータ群がテストデータに分類される。分類パターンとしては、パターン1~パターン5がある。
【0060】
パターン1においては、第2データ群~第5データ群が教師データに分類され、第1データ群がテストデータに分類される。パターン2においては、第1データ群、第3データ群~第5データ群が教師データに分類され、第2データ群がテストデータに分類される。パターン3においては、第1データ群~第2データ群、第4データ群~第5データ群が教師データに分類され、第3データ群がテストデータに分類される。パターン4においては、第1データ群~第3データ群、第5データ群が教師データに分類され、第4データ群がテストデータに分類される。パターン5においては、第1データ群~第4データ群が教師データに分類され、第5データ群がテストデータに分類される。
【0061】
各パターンにおいて、教師データを用いた機械学習が複数のパラメータの組合せ毎に行なわれ、複数のパラメータの組合せ数の回帰モデルが生成される。すなわち、複数のパラメータの各組合せに関して、5つの回帰モデル(回帰モデル1~回帰モデル5)が生成される。なお、複数のパラメータには、生成された回帰モデルの特異度の閾値が含まれる。機械学習においては、特異度が閾値以上となる回帰モデルが生成される。この例においては、特異度の閾値として、0.90、0.95、0.97及び0.99の4種類の閾値が設定可能である。また、生成された回帰モデルの特異度がパラメータによって指定されてもよく、その場合には、機械学習を通じて指定された特異度を有する回帰モデルが生成される。
【0062】
複数のパラメータの各組合せに関して、テストデータを用いることによって、5つの回帰モデルの各々の感度及び特異度が算出される。感度とは陽性のものを正しく陽性と判定する確率のことをいい、特異度とは陰性のものを正しく陰性と判定する確率のことをいう。すなわち、これらの回帰モデルにおいて、感度とは被験者が所定の企図をイメージした場合に被験者が所定の企図をイメージしたと判定する確率のことをいい、特異度とは被験者が所定の企図をイメージしていない場合に被験者が所定の企図をイメージしたと判定しない確率のことをいう。
【0063】
複数のパラメータの組合せ毎に5つの回帰モデルにおける平均感度及び平均特異度が算出される。平均感度及び平均特異度が最も高い複数のパラメータの組合せが最適なパラメータの組合せとみなされる。最適なパラメータの組合せを基準としてパラメータの調整が行なわれることによって、学習済モデル322の生成に用いられる適切なパラメータが決定される。パラメータの調整方法については、後程詳しく説明する。
【0064】
その後、収集された全学習用データ(第1データ群~第5データ群)、及び、決定された複数のパラメータの適切な組合せを用いた機械学習が行なわれることによって、学習済モデル322が生成される。なお、この機械学習においては、第1データ群~第5データ群に含まれる全てのデータが教師データとして用いられる。
【0065】
図10は、学習済モデル322の生成手順を示すフローチャートである。このフローチャートに示される処理は、学習用データが収集された状態で、制御部510によって実行される。
【0066】
図10を参照して、制御部510は、収集された学習用データを用いて、複数のパラメータの組合せ毎に、交差検証を通じて、複数の回帰モデルを生成し、各回帰モデルの感度及び特異度を算出する(ステップS300)。制御部510は、複数のパラメータの組合せ毎に、回帰モデルの平均感度及び平均特異度を算出する(ステップS310)。制御部510は、平均感度及び平均特異度が最も高い複数のパラメータの組合せを最適なパラメータの組合せとみなし、最適なパラメータの組合せを示す画像を表示するように表示部550を制御する(ステップS320)。最適なパラメータの組合せを示す画像が表示部550に表示された状態で、各パラメータの調整が可能となっている。
【0067】
図11は、最適なパラメータの組合せを示す画像IM1の一例を模式的に示す図である。
図11を参照して、画像IM1は、表示部550に表示される。画像IM1は、モザイクグラフG1,G2,G3,G4と、スケール調整部S1と、領域T1,T2と、ボタンB1,B3,B4,B5,B6とを含んでいる。すなわち、これらは共通の画面に表示されているといえる。
【0068】
モザイクグラフG1,G2,G3,G4の各々は、パラメータの複数の組合せの少なくとも一部における感度に関する情報を示す。この例において、各グラフの横軸はWindow Offset(パラメータ)であり、各グラフの縦軸はWindow Size(パラメータ)である。感度に関する情報は、例えば、色情報である。感度と色とが対応付けられており、複数のパラメータの組合せ毎に色によって感度が示される。
【0069】
モザイクグラフG1,G2,G3,G4に関して、前提となる特異度の閾値は互いに異なっている。例えば、モザイクグラフG1において前提となっている特異度の閾値は0.90であり、モザイクグラフG2において前提となっている特異度の閾値は0.95である。また、モザイクグラフG3において前提となっている特異度の閾値は0.97であり、モザイクグラフG4において前提となっている特異度の閾値は0.99である。
【0070】
スケール調整部S1は、感度と色との対応関係(以下、「スケール」とも称する。)の調整に用いられる。例えば、スケール調整部S1において示される上限及び下限の各々の数値を変更することによってスケールが調整される。スケール調整部S1における調整が行なわれると、モザイクグラフG1,G2,G3,G4の各々が更新される。すなわち、モザイクグラフG1,G2,G3,G4の各々は、調整後のスケールに基づいて生成される。
【0071】
領域T1には、複数のパラメータの最適な組合せが表示される。領域T1に表示される複数のパラメータの最適な組合せは、上述の交差検証を通じて得られた最適な組合せである。領域T2には、複数のパラメータに関する現在選択中の組合せが表示される。ボタンB5,B6を操作することによって、対応するパラメータの値を調整することができ、モザイクグラフG1,G2,G3,G4の各々が、調整されたパラメータの組合せに基づいて生成されたものに更新される。例えば、ここで調整可能なパラメータは、モザイクグラフG1,G2,G3,G4の各々において前提となっているパラメータである。
【0072】
ボタンB3が操作されると、最適なパラメータの組合せに基づいて学習済モデルが生成される。ボタンB4が操作されると、現在選択中のパラメータの組合せに基づいて学習済モデルが生成される。ボタンB1が操作されると、モザイクグラフG1,G2,G3,G4の各々において、パラメータの組合せ毎に感度を示す数値情報が表示される。
【0073】
図12は、感度を示す数値情報が表示された状態の画像IM2の一例を示す図である。
図12を参照して、画像IM2は、例えば、画像IM1が表示部550に表示された状態でボタンB1が操作された場合に表示部550に表示される。画像IM2においては、モザイクグラフG1,G2,G3,G4の各々において、パラメータの組合せ毎に感度を示す数値情報が表示されている。
【0074】
図13は、
図12におけるモザイクグラフG3の拡大図である。
図13に示されるように、モザイクグラフG3においては、最も高い感度を示す領域が枠C1で囲まれて強調表示されている。例えば、枠C1は、背景の色と比較して目立つ色となっていてもよい。これにより、最も高い感度を示す領域に対応するパラメータの組合せをユーザに容易に認識させることができる。なお、枠C1は、モザイクグラフG1,G2,G3,G4の各々において表示されてもよいし、現在選択中のパラメータの組合せにおいて最も良好なパラメータの組合せとなる領域のみに表示されてもよい。
【0075】
再び
図10を参照して、ステップS320において最適なパラメータの組合せが表示部550に表示されると、制御部510は、ユーザによるパラメータの調整が終了したか否かを判定する(ステップS330)。具体的には、制御部510は、ユーザによってボタンB3,B4のいずれかが選択されたか否かを判定する。最適なパラメータの組合せとされていても、例えば、一部のパラメータが少し変動するだけで感度が大きく低下するようなパラメータの組合せは必ずしも最適ではない。このような場合に、ユーザは、パラメータの調整を行なう。
【0076】
パラメータの調整が終了していないと判定されると(ステップS330においてNO)、制御部510は、パラメータの調整が終了するまで待機する。一方、パラメータの調整が終了したと判定されると(ステップS330においてYES)、制御部510は、調整済のパラメータの組合せを用いた機械学習を通じて学習済モデル322を生成する(ステップS340)。
【0077】
このように、学習済モデル生成装置500においては、モザイクグラフG1,G2,G3,G4が共通の画面に表示される。各モザイクグラフは複数のパラメータの複数の組合せの少なくとも一部における感度に関する情報を示し、複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。したがって、学習済モデル生成装置500によれば、複数のパラメータの少なくとも一部の組合せに関する感度及び特異度がモザイクグラフG1,G2,G3,G4によって視覚的に表わされるため、複数のパラメータの良好な組合せを画面表示によりユーザ(医師等)に容易に認識させることができる。ユーザ(医師等)はモザイクグラフG1,G2,G3,G4を参照して使用するパラメータを判断し評価を進めることができるので、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルの生成が容易となる。
【0078】
また、モザイクグラフG1,G2,G3,G4の前提となっているパラメータの値が変更された場合にモザイクグラフG1,G2,G3,G4の各々が更新される。したがって、学習済モデル生成装置500によれば、パラメータの変更が感度に与える影響を画面表示によりユーザに容易に認識させることができる。
【0079】
また、スケール調整部S1を通じてスケールが変更された場合にモザイクグラフG1,G2,G3,G4の各々が更新される。したがって、学習済モデル生成装置500によれば、スケールの調整を通じて各パラメータと感度との関係をより明確にユーザに認識させることができる。
【0080】
また、モザイクグラフG1,G2,G3,G4の各々においては、感度を示す数値情報の表示が可能となっている。学習済モデル生成装置500によれば、数値情報の表示を通じて複数のパラメータの良好な組合せをユーザに容易に認識させることができる。
【0081】
また、学習済モデル生成装置500においては、最適な組合せにおける各パラメータの数値が画面に表示され、モザイクグラフG1,G2,G3,G4の各々が最適なパラメータの組合せを前提として生成される。したがって、学習済モデル生成装置500によれば、感度及び特異度が最大となるパラメータの組合せをユーザに容易に認識させることができる。
【0082】
[3.体内装置]
<3-1.電極群とアンプチップとの接続ルール>
上述のように、電極群110に含まれる各電極111は、アンプチップ120に含まれる増幅素子121(
図2)に白金線を通じて電気的に接続されている。アンプチップ120に含まれる各増幅素子121の品質は必ずしも一定ではない。アンプチップ120に含まれる複数の増幅素子121のうち一部の増幅素子121が所定の品質に満たない場合がある。
【0083】
電極群110に含まれる複数の電極111のうち一部の電極によって検出される脳波は、被験者の企図と強い相関を有する。また、電極群110に含まれる複数の電極111のうち一部の電極によって検出される脳波は、被験者の企図とほとんど相関を有さない。例えば、被験者の手の運動に関する企図を検出する場合、被験者の手の感覚運動野の領域から離れた位置にある電極おいて計測される脳波は、被験者の企図とほとんど相関を有さない。企図の例としては、他にも、被験者の顔の運動に関する企図、被験者の口の運動に関する企図、及び、被験者の足の運動に関する企図が挙げられる。検出対象の企図に応じて、被験者の脳表面における電極群110の配置位置は調整される。電極群110の配置位置は、例えば、検出対象の企図に応じて、ペンフィールドのホムンクルスを参照することによって決定されてもよい。
【0084】
本実施の形態おいては、被験者の企図と強い相関を有する脳波を検出する電極111が所定の品質を満たす増幅素子121に接続され、被験者の企図とほとんど相関を有さない脳波を検出する電極111が所定の品質を満たさない増幅素子121に接続される。すなわち、本実施の形態においては、被験者の脳のうち企図検出のために重要となる脳領域から離れた脳領域上にある電極の一部が、所定の品質を満たさない増幅素子121に接続される電極として予め定められている。これにより、被験者の企図と強い相関を有する脳波をより高精度に検出することが可能となっている。
【0085】
図14は、電極群110に含まれる各電極111と増幅素子121との接続ルールを説明するための図である。
図14を参照して、アンプチップ120に含まれる各増幅素子121は、電極パッド群125に含まれる電極パッド126に電気的に接続されている。電極パッド126と電極111とを接続することによって、増幅素子121と電極111とが電気的に接続される。なお、電極群110の領域Aに含まれる電極111は電極パッド群125の領域Aに含まれる電極パッド126と接続され、電極群110の領域Bに含まれる電極111は電極パッド群125の領域Bに含まれる電極パッド126と接続される。
【0086】
例えば、被験者の手の運動に関する企図を検出する場合、被験者の脳における手の感覚運動野付近に配置される電極111によって計測される脳波は、被験者の企図と高い相関を有する。一方、被験者の脳における手の感覚運動野から離れた領域に配置される電極111によって計測される脳波は、被験者の企図とほとんど相関を有さない。例えば、第1領域ET1に配置された各電極111によって取得される脳波信号は、第2領域ET2に配置された各電極111によって取得される脳波信号と比較して、被験者の手の運動に関する企図と高い相関を有する。
【0087】
本実施の形態においては、電極111と電極パッド126との接続前に、各増幅素子121が所定の品質を満たすか否かを調べる検査が行なわれる。この検査においては、例えば、各増幅素子121の入力換算雑音が調べられ、入力換算雑音が所定値以上である増幅素子121が所定の品質を満たさないと判定される。また、所定の品質を満たす増幅素子121においても、入力換算雑音が小さい順に順位付けされる。
【0088】
企図検出のために重要となる脳領域から離れた脳領域上にある電極のうち電極群110の幅方向の両端寄りに位置する電極111の一部(第2領域ET2に配置されている電極111)は、所定の品質を満たさない増幅素子121に接続される電極として予め定められている。この例においては、
図14において1~8の数値が対応付けられた電極111が所定の品質を満たさない増幅素子121に接続される電極として予め定められている。この数値は、所定の品質を満たさない増幅素子121が優先的に接続される順序を示す。
【0089】
また、本実施の形態においては、より品質の高い増幅素子121が接続される電極111の優先順位が予め定められている。すなわち、被験者の企図とより高い相関を有する脳波を検出する電極111により品質の高い増幅素子121が接続されるように、電極111の優先順位が予め定められている。
【0090】
図15は、電極111の優先順位を説明するための図である。
図15を参照して、図中各電極111に対応付けられている数値は、各電極111の優先順位を示す。各電極111の優先順位は、電極群110の第1領域及び第2領域の各々で決められている。対応付けられている数値が小さい順に、より品質の高い増幅素子121が接続される。これにより、被験者の企図と強い相関を有する脳波をより高精度に検出することが可能となっている。
【0091】
なお、電極111と増幅素子121との接続関係を示す電極マップが、例えば、学習済モデル生成装置500の記憶部520に記憶される。電極マップは、電極111と増幅素子121との接続関係を示す情報、及び、増幅素子121が所定の品質を満たすか否かを示す情報を含む。制御部510は、例えば、電極マップを参照することによって、各増幅素子121の出力がいずれの電極111によって検出された脳波に基づいて生成されたものかを判定することができる。
【0092】
<3-2.各電極によって検出された脳波に関する情報の表示>
図16は、各電極111によって検出された脳波のスペクトログラムの表示手順を示すフローチャートである。このフローチャートによって示される処理は、学習済モデル生成装置500の制御部510によって繰り返し実行される。
【0093】
制御部510は、通信部330を通じて各増幅素子121の出力等(脳波信号等)を取得する(ステップS400)。制御部510は、取得された脳波信号等に基づいて複数の脳波スペクトログラムを生成する(ステップS410)。制御部510は、記憶部520に記憶された電極マップを参照して、複数の脳波スペクトログラムを含む画面を生成する(ステップS420)。この画面において、複数の脳波スペクトログラムの各々は、対応する電極111の電極群110における位置と同等の位置に配置されている。制御部510は、生成された画面を表示するように表示部350を制御する(ステップS430)。
【0094】
図17は、表示部350に表示される画面の一例を模式的に示す図である。
図17を参照して、この画面においては、複数の脳波スペクトログラムの各々が、対応する電極111の電極群110における位置と同等の位置に配置されている。例えば、所定の品質を満たす増幅素子121に接続された電極111に関しては脳波スペクトログラム111Aが表示され、所定の品質を満たさない増幅素子121に接続された電極111に関しては黒塗り画像111Bが表示されてもよい。
【0095】
このように、学習済モデル生成装置500においては、複数の脳波スペクトログラムの各々が、対応する電極111の電極群110における位置と同等の位置に配置された画面が表示される。したがって、学習済モデル生成装置500によれば、対応する電極111と同等の位置に各脳波スペクトログラムが表示されるため、被験者特有の脳の活動部位や周波数帯域別の脳波の強度を反映した脳波スペクトログラムをユーザに直感的に認識させることができ、被験者特有の脳活動を把握しやすくなるため、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【0096】
また、被験者の企図は、企図検出のために重要となる脳領域上にある電極111(第1領域ET1に配置された電極111)により検出される脳波と強い相関を有する。本実施の形態においては、所定の基準を満たさない増幅素子121が、複数の電極111のうち企図検出のために重要となる脳領域から離れた脳領域上にある電極111(第2領域ET2に配置された電極111)に接続される。したがって、本実施の形態によれば、企図検出のために重要となる脳領域上にある電極111を所定の基準を満たす増幅素子121に接続することができ、結果的に、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【0097】
[4.特徴]
以上のように、学習済モデル生成装置500においては、モザイクグラフG1,G2,G3,G4が共通の画面に表示される。各モザイクグラフは複数のパラメータの複数の組合せの少なくとも一部における感度に関する情報を示し、複数のモザイクグラフに関して前提となる特異度に関する値は互いに異なる。したがって、学習済モデル生成装置500によれば、複数のパラメータの複数の組合せの少なくとも一部における感度及び特異度がモザイクグラフG1,G2,G3,G4によって視覚的に表わされるため、複数のパラメータの良好な組合せを画面表示によりユーザ(医師等)に容易に認識させることができる。ユーザ(医師等)は複数のモザイクグラフを参照して使用するパラメータを判断し評価を進めることができるので、被験者の脳波に基づいて被験者の企図を比較的高精度に推定可能な学習済モデルの生成が容易となる。
【0098】
また、学習済モデル生成装置500においては、複数の脳波スペクトログラムの各々が、対応する電極111の電極群110における位置と同等の位置に配置された画面が表示される。したがって、学習済モデル生成装置500によれば、対応する電極111と同等の位置に各脳波スペクトログラムが表示されるため、被験者特有の脳の活動部位や周波数帯域別の脳波の強度を反映した脳波スペクトログラムをユーザに直感的に認識させることができ、被験者特有の脳活動を把握しやすくなるため、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【0099】
また、本実施の形態においては、所定の基準を満たさない増幅素子121が、複数の電極111のうち企図検出のために重要となる脳領域から離れた脳領域上にある電極111(第2領域ET2に配置された電極111)に接続される。したがって、本実施の形態によれば、企図検出のために重要となる脳領域上にある電極111(第1領域ET1に配置された電極111)を所定の基準を満たす増幅素子121に接続することができ、結果的に、被験者の企図を比較的高精度に推定可能な学習済モデルが製造されることを期待することができる。
【0100】
[5.他の実施の形態]
上記実施の形態の思想は、以上で説明された実施の形態に限定されない。以下、上記実施の形態の思想を適用できる他の実施の形態の一例について説明する。
【0101】
上記実施の形態においては、脳波解読装置300と学習済モデル生成装置500とが異なる装置で実現された。しかしながら、脳波解読装置300と学習済モデル生成装置500とは必ずしも異なる装置で実現される必要はない。脳波解読装置300と学習済モデル生成装置500とは1つの共通の装置で実現されてもよい。
【0102】
また、上記実施の形態において、学習済モデル322は、増幅された脳波信号が入力された場合に、被験者が所定の企図をイメージしたことに関する尤度を出力することとした。ここで、所定の企図は、必ずしも1種類の企図である必要はない。例えば、所定の企図として、複数種類の企図が予め決められていてもよい。この場合に、学習済モデル322は、増幅された脳波信号が入力された場合に被験者が各企図をイメージした尤度を出力する分類器モデルであってもよい。このような場合であっても、共通の画面に複数のモザイクグラフが表示されればよい。
【0103】
以上、本発明の実施の形態について例示的に説明した。すなわち、例示的な説明のために、詳細な説明及び添付の図面が開示された。よって、詳細な説明及び添付の図面に記載された構成要素の中には、課題解決のために必須でない構成要素が含まれることがある。したがって、それらの必須でない構成要素が詳細な説明及び添付の図面に記載されているからといって、それらの必須でない構成要素が必須であると直ちに認定されるべきではない。
【0104】
また、上記実施の形態は、あらゆる点において本発明の例示にすぎない。上記実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。
【符号の説明】
【0105】
10 意思伝達システム、20 学習システム、100 体内装置、110 電極群、111 電極、120 アンプチップ、121 増幅素子、125 電極パッド群、126 電極パッド、130,310,510 制御部、140,330,530 通信部、200 受信装置、300 脳波解読装置、312,512 CPU、314,514 RAM、316,516 ROM、320,520 記憶部、321,521 制御プログラム、322 学習済モデル、340,540 入力部、350,550 表示部、400 被操作装置、500 学習済モデル生成装置、B1,B3,B4,B5,B6 ボタン、C1 枠、ET1 第1領域、ET2 第2領域、G1,G2,G3,G4 モザイクグラフ、IM1,IM2 画像、S1 スケール調整部、T1,T2 領域。