特開 2023-137786 脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023137786

(43)【公開日】2023-09-29

(54)【発明の名称】脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラム

(51)【国際特許分類】

   A61B 5/245 20210101AFI20230922BHJP

   A61B 5/372 20210101ALI20230922BHJP

   A61B 10/00 20060101ALI20230922BHJP

【ＦＩ】

A61B5/245

A61B5/372

A61B10/00 H

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022044158

(22)【出願日】2022-03-18

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】奥村 直裕

【テーマコード（参考）】

4C127

【Ｆターム（参考）】

4C127AA03

4C127AA10

4C127GG16

4C127HH13

(57)【要約】

【課題】経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定を行うことができる脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラムを提供することを目的とする。
【解決手段】測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する第１取得部と、第１取得部により取得された脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する第１変換部と、第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する第１取得部と、
前記第１取得部により取得された前記脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する第１変換部と、
前記第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別部と、
を備えた脳機能判定装置。

【請求項2】

前記識別部による前記識別処理の識別結果を、表示装置に表示する表示制御部を、さらに備えた請求項１に記載の脳機能判定装置。

【請求項3】

前記表示制御部は、前記識別部による前記識別結果として、脳疾患または健常状態の判定の根拠となる前記第１変換データ上のデータ部分が特定されるように表示する請求項２に記載の脳機能判定装置。

【請求項4】

前記表示制御部は、前記深層学習モデルに対する入力となる前記第１変換データと同次元のデータに対して前記識別結果を表示する請求項２または３に記載の脳機能判定装置。

【請求項5】

前記表示制御部は、前記識別結果として、特定の脳疾患ごとに、特定の時間および周波数の信号強度を示すヒートマップを、脳画像上の対応する脳疾患領域に重畳して表示する請求項２に記載の脳機能判定装置。

【請求項6】

前記識別部は、前記識別結果として、前記深層学習モデルの出力に基づいて各脳疾患の各病型および健常状態の確率を算出し、
前記表示制御部は、前記確率を表示する請求項２～５のいずれか一項に記載の脳機能判定装置。

【請求項7】

前記測定装置により測定された脳機能データであって、脳疾患または健常状態の内容を示す疾患ラベルが付加されたものを取得する第２取得部と、
前記第２取得部により取得された前記脳機能データを、少なくとも時間および空間の情報を次元として含む第２変換データに変換する第２変換部と、
前記疾患ラベルが付加された前記第２変換データを入力として、前記深層学習による学習処理により前記深層学習モデルを構築する学習部と、
をさらに備えた請求項１～６のいずれか一項に記載の脳機能判定装置。

【請求項8】

前記第２変換データに対して所定の標準化処理を行う標準化部を、さらに備え、
前記学習部は、前記標準化処理が行われた前記第２変換データを入力として、前記深層学習モデルを構築する請求項７に記載の脳機能判定装置。

【請求項9】

前記脳機能データは、脳波データおよび脳磁データを含む請求項１～８のいずれか一項に記載の脳機能判定装置。

【請求項10】

前記第１変換部は、前記第１取得部により取得された前記脳機能データを、周波数の情報を次元として含む前記第１変換データに変換する請求項１～９のいずれか一項に記載の脳機能判定装置。

【請求項11】

前記深層学習モデルは、時系列解析機能を有する前記深層学習によって構築された請求項１～１０のいずれか一項に記載の脳機能判定装置。

【請求項12】

第１装置と、第２装置とを有する脳機能判定システムであって、
前記第１装置は、
測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する第１取得部と、
前記第１取得部により取得された前記脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する第１変換部と、
前記第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別部と、
を備え、
前記第２装置は、
前記測定装置により測定された脳機能データであって、脳疾患または健常状態の内容を示す疾患ラベルが付加されたものを取得する第２取得部と、
前記第２取得部により取得された前記脳機能データを、少なくとも時間および空間の情報を次元として含む第２変換データに変換する第２変換部と、
前記疾患ラベルが付加された前記第２変換データを入力として、前記深層学習による学習処理により前記深層学習モデルを構築する学習部と、
を備えた脳機能判定システム。

【請求項13】

測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する取得ステップと、
取得した前記脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する変換ステップと、
前記第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別ステップと、
を有する脳機能判定方法。

【請求項14】

コンピュータに、
測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する取得ステップと、
取得した前記脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する変換ステップと、
前記第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラムに関する。

【背景技術】

【0002】

少子高齢化および平均寿命の延長等の影響により、現在、日本国総人口の約３０％もの割合が６５歳以上の高齢者で構成されている。加速する超高齢社会の中、国民の健康寿命を延ばすことが急務となっており、その対策が求められている課題の一つに認知症がある。認知症は、リハビリテーションまたは投薬治療によって、ある程度の症状改善、病気進行の遅延をすることができる。しかしながら、一旦症状が進行してしまうと元の状態まで改善することが難しいことから、認知症を始めとする様々な脳疾患は、自覚症状のない早期段階で発見すること、超早期の予兆を察知して、予防をしていくことが非常に重要である。

【0003】

このような、脳疾患の早期発見のための技術として、脳波から脳疾患由来の特徴を抽出したものに、疾患の内容を示す疾患情報をラベルとして付加したデータを機械学習により分類することにより、被験者の脳疾患を早期段階で発見する技術が知られている。このように脳波・脳磁データは、脳の代謝量データ等と比較して、脳の神経活動に近い情報であることから、脳疾患の早期発見技術で広く使われている。

【0004】

このような脳疾患の判定が可能な脳疾患診断支援システムとして、脳波からその脳波の特徴量を抽出した脳波特徴データに、当該脳波特徴データに対応する脳疾患を示す疾患情報を付した学習データを複数取得し、取得した複数の学習データを、複数のクラスタに分類し、分類した各クラスタにおいて学習データに付された疾患情報に基づいて、学習データを疾患情報ごとに分類する分類器を生成し、被験者の脳波特徴データを取得し、その脳波特徴データが分類されるクラスタを特定し、さらに生成した分類器により被験者の脳波特徴データが複数の脳疾患のいずれであるかを判定するシステムが開示されている（例えば特許文献１）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の脳疾患の早期発見の技術は、特徴抽出をすることを前提としており、多次元データを前提とした解析でなければ導出することが困難であるため、経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定ができないという問題がある。

【0006】

本発明は、上記に鑑みてなされたものであって、経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定を行うことができる脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、本発明は、測定装置により測定された脳機能状態を示す経時的変化を含む脳機能データを取得する第１取得部と、前記第１取得部により取得された前記脳機能データを、少なくとも時間および空間の情報を次元として含む第１変換データに変換する第１変換部と、前記第１変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行する識別部と、を備えたことを特徴とする。

【発明の効果】

【0008】

本発明によれば、経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定を行うことができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係る脳機能判定システムの概略構成図である。

【図2】図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

【図3】図３は、実施形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。

【図4】図４は、実施形態に係る脳機能判定システムの全体動作の概要を説明する図である。

【図5】図５は、実施形態に係る脳機能判定システムの全体動作の流れの一例を示すフローチャートである。

【図6】図６は、実施形態に係る情報処理装置における識別処理により特定された脳疾患領域を可視化した画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下に、図面を参照しながら、本発明に係る脳機能判定装置、脳機能判定システム、脳機能判定方法およびプログラムの実施形態を詳細に説明する。また、以下の実施形態によって本発明が限定されるものではなく、以下の実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

【0011】

（脳機能判定システムの概略）
図１は、実施形態に係る脳機能判定システムの概略構成図である。図１を参照しながら、本実施形態に係る脳機能判定システム１の概略について説明する。

【0012】

脳機能判定システム１は、被検者の複数種類の生体信号（例えば、脳磁（ＭＥＧ：Ｍａｇｎｅｔｏ－ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）データ、および脳波（ＥＥＧ：Ｅｌｅｃｔｒｏ－ｅｎｃｅｐｈａｌｏｇｒａｐｈｙ）データ等）である脳機能イメージングデータ（脳機能データの一例）を計測して取得し、脳疾患の判定および脳疾患領域の特定を行い、データ上または脳画像上における脳疾患の部分の可視化を行うシステムである。脳機能イメージングデータは、脳内の各部の生理学的な活性（機能）状態を種々の方法で測定した経時的変化を含むデータである。なお、測定対象となる脳機能イメージングデータとしての生体信号は、脳磁データおよび脳波データを含むものに限られるものではない。

【0013】

図１に示すように、脳機能判定システム１は、被検者の１種類以上の脳機能イメージングデータを測定する測定装置３と、測定装置３で測定された１種類以上の脳機能イメージングデータを蓄積するサーバ４０と、サーバ４０に記録された１種類以上の脳機能イメージングデータを解析する情報処理装置５０（脳機能判定装置）と、を含む。なお、図１では、サーバ４０と情報処理装置５０とが別々に記載されているが、例えば、サーバ４０が有する機能の少なくとも一部が情報処理装置５０に組み込まれる形態であってもよい。また、図１では、情報処理装置５０は、１の情報処理装置として図示されているが、これに限定されるものではなく、複数の情報処理装置で構成された情報処理システム（脳機能判定システムの一例）であってもよい。

【0014】

図１の例では、被検者（被測定者）は、頭に脳波測定用の電極（またはセンサ）を付けた状態で測定テーブル４に仰向けで横たわり、測定装置３のデュワ３１の窪み３２に頭部を入れる。デュワ３１は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ３１の窪み３２の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置３は、電極からの脳波データと、磁気センサからの脳磁データとを収集し、収集した脳波データおよび脳磁データ等を含む脳機能イメージングデータをサーバ４０へ出力する。サーバ４０へ出力された脳機能イメージングデータは、情報処理装置５０に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ３１および測定テーブル４は、磁気シールドルーム内に配置されているが、図１では便宜上、磁気シールドルームの図示を省略している。

【0015】

情報処理装置５０は、複数の磁気センサからの脳磁データと、複数の電極からの脳波データとを解析する装置である。脳波データとは、神経細胞の電気的な活動（シナプス伝達の際のニューロンの樹状突起で起きるイオン電荷の流れ）を電極間の電圧値として表される信号である。脳磁データとは、脳の電気活動により生じた微小な電場変動を表す信号である。脳磁場は、高感度の超伝導量子干渉計（ＳＱＵＩＤ：Ｓｕｐｅｒｃｏｎｄｕｃｔｉｎｇ Ｑｕａｎｔｕｍ Ｉｎｔｅｒｆｅｒｅｎｃｅ Ｄｅｖｉｃｅ）センサで検知される。これらの脳波データおよび脳磁データは、「生体信号」および「脳機能イメージングデータ」の一例である。

【0016】

（情報処理装置のハードウェア構成）
図２は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施形態に係る情報処理装置５０のハードウェア構成について説明する。

【0017】

図２に示すように、情報処理装置５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３と、補助記憶装置１０４と、ネットワークＩ／Ｆ１０５と、入力装置１０６と、表示装置１０７と、を有し、これらがバス１０８で相互に接続されている。

【0018】

ＣＰＵ１０１は、情報処理装置５０の全体の動作を制御し、各種の情報処理を行う演算装置である。ＣＰＵ１０１は、ＲＯＭ１０３または補助記憶装置１０４に記憶されたプログラムを実行して、後述する深層学習による学習処理および識別処理、ならびに識別結果の可視化等の表示動作を制御する。

【0019】

ＲＡＭ１０２は、ＣＰＵ１０１のワークエリアとして用いられ、主要な制御パラメータおよび情報を記憶する揮発性の記憶装置である。ＲＯＭ１０３は、基本入出力プログラム等を記憶する不揮発性の記憶装置である。例えば、上述のプログラムがＲＯＭ１０３に記憶されているものとしてもよい。

【0020】

補助記憶装置１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の不揮発性記憶装置である。補助記憶装置１０４は、例えば、情報処理装置５０の動作を制御するプログラム、ならびに、情報処理装置５０の動作に必要な各種のデータおよびファイル等を記憶する。

【0021】

ネットワークＩ／Ｆ１０５は、サーバ４０等のネットワーク上の機器と通信を行うための通信インターフェースである。ネットワークＩ／Ｆ１０５は、例えば、ＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）に準拠したＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等によって実現される。

【0022】

入力装置１０６は、タッチパネルの入力機能、キーボード、マウスおよび操作ボタン等のユーザインターフェース等である。表示装置１０７は、各種の情報を表示するディスプレイ装置である。表示装置１０７は、例えば、タッチパネルの表示機能、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）等によって実現される。

【0023】

なお、図２に示す情報処理装置５０のハードウェア構成は一例であり、これ以外の装置が備えられるものとしてもよい。また、図２に示す情報処理装置５０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）を想定したハードウェア構成であるが、これに限定されるものではなく、タブレット等のモバイル端末であってもよい。この場合、ネットワークＩ／Ｆ１０５は、無線通信機能を有する通信インターフェースであればよい。

【0024】

（情報処理装置の機能ブロックの構成および動作）
図３は、実施形態に係る情報処理装置の機能ブロックの構成の一例を示す図である。図４は、実施形態に係る脳機能判定システムの全体動作の概要を説明する図である。図３および図４を参照しながら、本実施形態に係る情報処理装置５０の機能ブロックの構成および動作について説明する。

【0025】

図３に示すように、情報処理装置５０は、通信部２０１と、第２取得部２０２と、第２分割部２０３と、第２変換部２０４と、前処理部２０５（標準化部）と、学習部２０６と、第１取得部２０７と、第１分割部２０８と、第１変換部２０９と、識別部２１０と、表示制御部２１１と、記憶部２１２と、入力部２１３と、を有する。

【0026】

通信部２０１は、測定装置３またはサーバ４０等とデータ通信を行う機能部である。例えば、通信部２０１は、サーバ４０から脳機能イメージングデータを受信して、記憶部２１２に記憶させる。なお、通信部２０１は、測定装置３から直接、脳機能イメージングデータを受信するものとしてもよい。通信部２０１は、図２に示すネットワークＩ／Ｆ１０５によって実現される。

【0027】

第２取得部２０２は、通信部２０１により受信された脳機能イメージングデータを取得する機能部である。この場合、第２取得部２０２により取得された脳機能イメージングデータは、脳疾患または健常状態の内容を示す疾患ラベルが付加されているものとし、学習部２０６で深層学習による学習処理に用いられる学習データ（以下、訓練用データと称する場合がある）として用いられる。なお、第２取得部２０２は、通信部２０１から脳機能イメージングデータを取得することに限定されず、記憶部２１２に記憶された脳機能イメージングデータを取得するものとしてもよい。

【0028】

第２分割部２０３は、第２取得部２０２により取得された脳機能イメージングデータを、任意の時間幅（時間窓）で分割するエポッキング処理を行う機能部である。

【0029】

第２変換部２０４は、第２分割部２０３により分割された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含むデータ（以下、変換データと称する場合がある）（第２変換データ）に変換する機能部である。例えば、第２変換部２０４は、脳機能イメージングデータを測定したチャネルおよび分割毎に、フーリエ変換等による周波数変換を行うことによって、振幅に基づく信号強度（パワー）、周波数、空間および時間の情報を次元として含む変換データを得ることができる。このような第２変換部２０４による変換を行うことによって、脳機能イメージングデータが有する特徴を損なうことなく変換データを得ることができる。なお、脳機能イメージングデータをそのまま後段の学習部２０６による学習処理に用いることも可能であり、その場合は第２変換部２０４による変換は恒等変換になる。また、第２変換部２０４による変換処理の例としては、センサの抽出・拡張、ダウンサンプリングや周波数フィルタの適用、アーチファクト除外、不良チャネル処理、時間窓切り出し、磁場データの標準化等も挙げられる。

【0030】

前処理部２０５は、脳機能イメージングデータについては多次元、かつデータスケールにばらつきがある場合があるため、第２変換部２０４による変換データに対して所定の標準化処理を行う機能部である。標準化処理としては、例えば、変換データのうちレンジが異なるものを揃える処理等が挙げられ、これによって後段の学習部２０６による学習処理の安定化を図ることができる。

【0031】

なお、第２取得部２０２により取得された脳機能イメージングデータだけでなく、第２分割部２０３により分割された学習データ、第２変換部２０４により変換された変換データ、および前処理部２０５により標準化処理がなされた変換データについても、学習部２０６による学習処理に用いられるためのデータということで、訓練用データと称する場合がある。

【0032】

学習部２０６は、前処理部２０５により標準化処理が行われた疾患ラベル付きの変換データを入力として、時系列解析機能を有する深層学習による学習処理を行う機能部である。例えば、学習部２０６は、内部的に、空間情報に関する特徴抽出を行うためにＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：畳み込みニューラルネットワーク）等のアルゴリズムによるニューラルネットワークを構築し、時間情報に関する特徴抽出を行うためにＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：再帰型ニューラルネットワーク）またはアテンション等のアルゴリズムによるニューラルネットワークの構築により学習処理を行う。これによって、脳領域および時間に比重を置いた脳疾患特有の特徴を抽出することができ、正確な脳疾患の判定を行うことができるニューラルネットワークを構築することができる。なお、上述の特徴抽出は、機械学習のように人間によって予め学習データからどのような特徴量を抽出するかを定義する必要はなく、深層学習においては学習データからどのような特徴量を抽出するかについては学習処理の過程で自動で行われる。また、ニューラルネットワークの構築とは、具体的には、ニューラルネットワークにおけるシナプス結合の強さである重み等を調整・決定する処理を示す。学習部２０６による学習処理により構築されたニューラルネットワーク（以下、深層学習モデルと称する場合がある）は、記憶部２１２に記憶される。具体的には、当該ニューラルネットワークの決定された重み等のデータが、記憶部２１２に記憶される。このように、学習部２０６の学習処理により得られた深層学習モデルを用いることにより、認知症、発達障害または精神病等の脳疾患の有無、脳疾患およびその病型の判定、および脳疾患領域の特定等が可能となる。

【0033】

第１取得部２０７は、通信部２０１により受信された脳機能イメージングデータを取得する機能部である。この場合、第１取得部２０７により取得された脳機能イメージングデータは、どのような脳疾患があるのかの識別対象となるデータであり、疾患ラベルは付加されておらず、深層学習モデルを用いた識別処理および当該識別結果の可視化の対象となるデータ（以下、可視化データと称する場合がある）として用いられる。なお、第１取得部２０７は、通信部２０１から脳機能イメージングデータを取得することに限定されず、記憶部２１２に記憶された脳機能イメージングデータを取得するものとしてもよい。

【0034】

第１分割部２０８は、第１取得部２０７により取得された脳機能イメージングデータを、任意の時間幅（時間窓）で分割するエポッキング処理を行う機能部である。

【0035】

第１変換部２０９は、第１分割部２０８により分割された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含むデータ（以下、変換データと称する場合がある）（第１変換データ）に変換する機能部である。例えば、第１変換部２０９は、脳機能イメージングデータを測定したチャネルおよび分割毎に、フーリエ変換等による周波数変換を行うことによって、振幅に基づく信号強度（パワー）、周波数、空間および時間の情報を次元として含む変換データを得ることができる。このような第１変換部２０９による変換を行うことによって、脳機能イメージングデータが有する特徴を損なうことなく変換データを得ることができる。なお、脳機能イメージングデータをそのまま後段の識別部２１０による識別処理に用いることも可能であり、その場合は第１変換部２０９による変換は恒等変換になる。また、第１変換部２０９による変換処理の例としては、センサの抽出・拡張、ダウンサンプリングや周波数フィルタの適用、アーチファクト除外、不良チャネル処理、時間窓切り出し、磁場データの標準化等も挙げられる。

【0036】

第１変換部２０９により得られた変換データは、図４に示すように、学習部２０６の学習処理により構築された深層学習モデルへ入力されるデータである。図４に示す例では、横軸に時間、縦軸に周波数、奥行に空間（領域）の３次元領域に信号強度がヒートマップにより示されている。ここで、奥行の空間とは、脳の前頭葉、側頭葉および後頭葉等の予め定められた脳領域を示し、奥行の軸上に便宜上に各脳領域が対応付けられている。

【0037】

なお、第１取得部２０７により取得された脳機能イメージングデータだけでなく、第１分割部２０８により分割されたデータ、および第１変換部２０９により変換された変換データ、および前処理部２０５により標準化処理がなされた変換データについても、識別部２１０による深層学習モデルによる識別処理に用いられ、その識別結果として可視化の対象となるデータということで、可視化データと称する場合がある。

【0038】

識別部２１０は、学習部２０６による学習処理により構築された深層学習モデルを記憶部２１２から読み出し、第１変換部２０９により得られた変換データを当該深層学習モデルに対する入力として、識別処理を行う機能部である。ここで、識別処理とは、具体的には深層学習モデルを用いることにより、脳疾患の有無、脳疾患およびその病型の判定、および脳疾患領域の特定等を行う処理を示す。なお、識別部２１０は、識別処理の結果として、変換データを深層学習モデルに入力することにより、認知症等の各脳疾患の各病型および健常状態の確率を得ることができるものとしてもよく、または、深層学習モデルの出力に基づいて当該確率を算出して得ることができるものとしてもよい。また、第１変換部２０９による変換データは、前処理部２０５と同様に標準化処理がなされたうえで、深層学習モデルに入力されるものとしてもよい。

【0039】

表示制御部２１１は、識別部２１０の識別結果として、脳疾患の有無の結果、脳疾患およびその病型の判定結果、および特定された脳疾患領域等を、表示装置１０７に表示させる機能部である。例えば、表示制御部２１１は、図４に示すように、横軸に時間、縦軸に周波数、奥行に空間（領域）の３次元領域に配置されたヒートマップ上に、脳疾患およびその病型の判定の根拠となったデータ部分を矩形等で囲うことにより可視化してもよい。図４（ａ）に示す例では、表示制御部２１１は、識別結果として健常状態である確率が６０％と算出された場合に、特定の脳領域（奥行）における信号強度のヒートマップ上に、健常状態としての特徴部分を示すデータ部分を矩形等で囲うことにより可視化している。また、図４（ｂ）に示す例では、表示制御部２１１は、識別結果として認知症の病型Ａである確率が３０％と算出された場合に、特定の脳領域（奥行）における信号強度のヒートマップ上に、認知症の病型Ａとしての特徴部分を示すデータ部分を矩形等で囲うことにより可視化している。すなわち、表示制御部２１１は、脳疾患（または健常状態）ごとに、深層学習モデルによる識別結果を可視化することができる。また、図４（ａ）および図４（ｂ）に示すように、表示制御部２１１は、識別結果として、健常状態および各脳疾患の各病型の確率を表示するものとしてもよい。このような表示制御部２１１による識別結果の可視化によって、可視化データ上において、脳疾患または健常状態の判定の根拠として特定された時間、周波数、脳領域および信号強度のデータ部分を示すことができる。すなわち、深層学習モデルに入力された可視化データ（変換データ）と同次元のデータに対して識別結果を可視化することができ、経時的変化に影響を受けにくい脳疾患領域の特定が可能となる。

【0040】

記憶部２１２は、通信部２０１により受信された脳機能イメージングデータ、および、学習部２０６による学習処理により構築された深層学習モデル等を記憶する機能部である。記憶部２１２は、図２に示すＲＡＭ１０２または補助記憶装置１０４によって実現される。

【0041】

上述の第２取得部２０２、第２分割部２０３、第２変換部２０４、前処理部２０５、学習部２０６、第１取得部２０７、第１分割部２０８、第１変換部２０９、識別部２１０および表示制御部２１１は、ＣＰＵ１０１がＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２に展開して実行することにより実現される。なお、第２取得部２０２、第２分割部２０３、第２変換部２０４、前処理部２０５、学習部２０６、第１取得部２０７、第１分割部２０８、第１変換部２０９、識別部２１０および表示制御部２１１の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェア回路によって実現されてもよい。

【0042】

なお、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３の１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

【0043】

また、図３に示す情報処理装置５０においては、脳機能イメージングデータを用いた深層学習による学習処理、および深層学習モデルを用いた識別処理を、同一の装置で実行されるものとしているが、これに限定されるものではない。例えば、深層学習による学習処理は、情報処理装置５０（第１装置の一例）とは異なる外部装置（第２装置の一例）で実行されるものとしてもよい。この場合、当該外部装置には、少なくとも第２取得部２０２、第２分割部２０３、第２変換部２０４、前処理部２０５および学習部２０６と同等の機能部が備えられているものとすればよい。

【0044】

（脳機能判定システムの全体動作）
図５は、実施形態に係る脳機能判定システムの全体動作の流れの一例を示すフローチャートである。図６は、実施形態に係る情報処理装置における識別処理により特定された脳疾患領域を可視化した画面の一例を示す図である。図５および図６を参照しながら、本実施形態に係る脳機能判定システム１の全体動作の流れについて説明する。

【0045】

＜ステップＳ１１＞
情報処理装置５０は、通信部２０１により脳機能イメージングデータを受信（取得）する。なお、情報処理装置５０が、予め受信した脳機能イメージングデータが記憶されている脳機能イメージングデータを読み出すものとしてもよい。そして、ステップＳ１２へ移行する。

【0046】

＜ステップＳ１２＞
情報処理装置５０が受信（取得）した脳機能イメージングデータが、疾患ラベルが付加された訓練用データである場合（ステップＳ１２：訓練用データ）、第２取得部２０２によって当該脳機能イメージングデータが取得され、ステップＳ１３へ移行する。一方、情報処理装置５０が受信（取得）した脳機能イメージングデータが、疾患ラベルが付加されていない可視化データである場合（ステップＳ１２：可視化データ）、第１取得部２０７によって当該脳機能イメージングデータが取得され、ステップＳ１８へ移行する。

【0047】

＜ステップＳ１３＞
情報処理装置５０の第２分割部２０３は、第２取得部２０２により取得された脳機能イメージングデータを、任意の時間幅（時間窓）で分割するエポッキング処理を行う。そして、ステップＳ１４へ移行する。

【0048】

＜ステップＳ１４＞
情報処理装置５０の第２変換部２０４は、第２分割部２０３により分割された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含むデータ（変換データ）に変換する。そして、ステップＳ１５へ移行する。

【0049】

＜ステップＳ１５＞
情報処理装置５０の前処理部２０５は、脳機能イメージングデータについては多次元、かつデータスケールにばらつきがある場合があるため、第２変換部２０４による変換データに対して所定の標準化処理を行う。そして、ステップＳ１６へ移行する。

【0050】

＜ステップＳ１６＞
情報処理装置５０の学習部２０６は、前処理部２０５により標準化処理が行われた疾患ラベル付きの変換データを入力として、時系列解析機能を有する深層学習による学習処理を行う。例えば、学習部２０６は、内部的に、空間情報に関する特徴抽出を行うためにＣＮＮ（畳み込みニューラルネットワーク）等のアルゴリズムによるニューラルネットワークを構築し、時間情報に関する特徴抽出を行うためにＲＮＮ（再帰型ニューラルネットワーク）またはアテンション等のアルゴリズムによるニューラルネットワークの構築により学習処理を行う。そして、ステップＳ１７へ移行する。

【0051】

＜ステップＳ１７＞
学習部２０６による学習処理により構築された深層学習モデルは、記憶部２１２に記憶される。具体的には、当該ニューラルネットワークの決定された重み等のデータが、記憶部２１２に記憶される。以上の流れによって、脳機能判定システム１による動作のうち学習処理が終了する。

【0052】

＜ステップＳ１８＞
情報処理装置５０の第１分割部２０８は、第１取得部２０７により取得された脳機能イメージングデータを、任意の時間幅（時間窓）で分割するエポッキング処理を行う。そして、ステップＳ１９へ移行する。

【0053】

＜ステップＳ１９＞
情報処理装置５０の第１変換部２０９は、第１分割部２０８により分割された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含むデータ（変換データ）に変換する。そして、ステップＳ２０へ移行する。

【0054】

＜ステップＳ２０＞
情報処理装置５０の識別部２１０は、学習部２０６による学習処理により構築された深層学習モデルを記憶部２１２から読み出し、第１変換部２０９により得られた変換データを当該深層学習モデルに対する入力として、識別処理を行う。そして、ステップＳ２１へ移行する。

【0055】

＜ステップＳ２１＞
情報処理装置５０の表示制御部２１１は、識別部２１０の識別結果として、脳疾患の有無の結果、脳疾患およびその病型の判定結果、および特定された脳疾患領域等を、表示装置１０７に表示させる。例えば、表示制御部２１１は、横軸に時間、縦軸に周波数、奥行に空間（領域）の３次元領域に配置されたヒートマップ上に、脳疾患およびその病型の判定の根拠となったデータ部分を矩形等で囲うことにより可視化してもよい。また、表示制御部２１１は、識別結果として、健常状態または脳疾患の各病型の確率を表示するものとしてもよい。また、表示制御部２１１は、図６に示すように、識別結果として、識別部２１０により判定された脳疾患の根拠となる変換データに基づいて、ユーザによって選択された時間および周波数の信号強度を示すヒートマップを、脳画像上の対応する脳疾患領域に重畳して表示するものとしてよい。また、可視化の対象となる脳疾患（または健常状態）は、ユーザによって選択できるものとしてもよい。これによって、脳画像上において、脳疾患の判断の根拠として特定された時間、周波数、脳領域および信号強度の分布を示すことができる。

【0056】

以上のように、本実施形態に係る脳機能判定システム１では、第１取得部２０７は、測定装置３により測定された脳機能イメージングデータを取得し、第１変換部２０９は、第１取得部２０７により取得された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含む変換データに変換し、識別部２１０は、変換データを、所定の深層学習により構築された深層学習モデルに対する入力として用いることにより、脳疾患の判定および脳疾患領域の特定を行う識別処理を実行するものとしている。これによって、経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定を行うことができる。

【0057】

また、本実施形態に係る脳機能判定システム１では、表示制御部２１１は、識別部２１０による識別処理の識別結果を、表示装置１０７に表示するものとしている。これによって、脳疾患の判定結果および特定された脳疾患領域を把握することができる。

【0058】

また、本実施形態に係る脳機能判定システム１では、表示制御部２１１は、識別部２１０による識別結果として、脳疾患または健常状態の判定の根拠となる変換データ上のデータ部分が特定されるように表示するものとしている。このような表示制御部２１１による識別結果の可視化によって、可視化データ上において、脳疾患または健常状態の判定の根拠として特定された時間、周波数、脳領域および信号強度のデータ部分を示すことができる。

【0059】

また、本実施形態に係る脳機能判定システム１では、表示制御部２１１は、深層学習モデルに対する入力となる変換データと同次元のデータに対して識別結果を表示するものとしている。これによって、深層学習モデルに入力された可視化データ（変換データ）と同次元のデータに対して識別結果を可視化することができる。

【0060】

また、本実施形態に係る脳機能判定システム１では、表示制御部２１１は、識別結果として、特定の脳疾患ごとに、特定の時間および周波数の信号強度を示すヒートマップを、脳画像上の対応する脳疾患領域に重畳して表示するものとしている。これによって、脳画像上において、脳疾患の判断の根拠として特定された時間、周波数、脳領域および信号強度の分布を示すことができる。

【0061】

また、本実施形態に係る脳機能判定システム１では、識別部２１０は、識別結果として、深層学習モデルの出力に基づいて各脳疾患の各病型および健常状態の確率を算出し、表示制御部２１１は、確率を表示するものとしている。これによって、各脳疾患の各病型および健常状態の確率を把握することができる。

【0062】

また、本実施形態に係る脳機能判定システム１では、第２取得部２０２は、測定装置３により測定された脳機能イメージングデータであって、脳疾患または健常状態の内容を示す疾患ラベルが付加されたものを取得し、第２変換部２０４は、第２取得部２０２により取得された脳機能イメージングデータを、少なくとも時間および空間の情報を次元として含む変換データに変換し、学習部２０６は、疾患ラベルが付加された変換データを入力として、深層学習による学習処理により深層学習モデルを構築するものとしている。これによって、経時的変化を含むデータから正しい脳疾患の判定および脳疾患領域の特定を行うことができる深層学習モデルを構築することができる。

【0063】

また、本実施形態に係る脳機能判定システム１では、前処理部２０５は、変換データに対して所定の標準化処理を行い、学習部２０６は、標準化処理が行われた変換データを入力として、深層学習モデルを構築するものとしている。これによって、深層学習による学習の安定化を実現できる。

【0064】

また、本実施形態に係る脳機能判定システム１では、深層学習モデルは、時系列解析機能を有する深層学習によって構築されるものとしている。これによって、様々な経時的変化を含むデータを高精度に処理することができる。

【0065】

なお、上述の実施形態において、脳機能判定システム１（情報処理装置５０）の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態に係る脳機能判定システム１（情報処理装置５０）で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施形態の脳機能判定システム１（情報処理装置５０）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の脳機能判定システム１（情報処理装置５０）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施形態の脳機能判定システム１（情報処理装置５０）で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭ等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

【符号の説明】

【0066】

１ 脳機能判定システム
３ 測定装置
４ 測定テーブル
３１ デュワ
３２ 窪み
４０ サーバ
５０ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 補助記憶装置
１０５ ネットワークＩ／Ｆ
１０６ 入力装置
１０７ 表示装置
１０８ バス
２０１ 通信部
２０２ 第２取得部
２０３ 第２分割部
２０４ 第２変換部
２０５ 前処理部
２０６ 学習部
２０７ 第１取得部
２０８ 第１分割部
２０９ 第１変換部
２１０ 識別部
２１１ 表示制御部
２１２ 記憶部
２１３ 入力部

【先行技術文献】

【特許文献】

【0067】

【特許文献1】特開２０１６－１０６９４０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】