特開 2023-20297 画像処理方法、画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023020297

(43)【公開日】2023-02-09

(54)【発明の名称】画像処理方法、画像処理装置およびプログラム

(51)【国際特許分類】

   A61B 5/245 20210101AFI20230202BHJP

   A61B 5/384 20210101ALI20230202BHJP

   A61B 5/055 20060101ALI20230202BHJP

【ＦＩ】

A61B5/245

A61B5/384

A61B5/055 390

A61B5/055 380

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021125577

(22)【出願日】2021-07-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】中田 乙一

【テーマコード（参考）】

4C096

4C127

【Ｆターム（参考）】

4C096AA18

4C096AB37

4C096AD14

4C096AD15

4C096DC33

4C096DC36

4C096DC37

4C096DD12

4C096DD13

4C096DD16

4C127AA03

4C127AA10

4C127BB05

4C127HH13

(57)【要約】

【課題】複数の検査データが纏めて入力された状況下でも、所望のモダリティ上に複数のモダリティデータを、不整合なくかつ素早く、統合表示する。
【解決手段】単一もしくは複数のモダリティ画像のデータ群から、可視化するためのモダリティ画像の候補を抽出する画像抽出工程と、抽出したモダリティ画像を参照する、別のモダリティデータと、当該抽出したモダリティ画像とを対応づける第１の対応付け工程と、前記画像抽出工程で抽出されたモダリティ画像と、前記第１の対応付け工程の対応付け結果とにより、可視化するための画像を一意に決定する画像決定工程と、前記第１の対応付け工程で対応付けられなかった他のモダリティデータを、前記画像抽出工程で抽出したモダリティ画像に対応付ける第２の対応付け工程と、前記画像抽出工程で抽出したモダリティ画像上に、前記他のモダリティデータを表示する画像表示工程と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

単一もしくは複数のモダリティ画像のデータ群から、可視化するためのモダリティ画像の候補を抽出する画像抽出工程と、
抽出したモダリティ画像を参照する、別のモダリティデータと、当該抽出したモダリティ画像とを対応づける第１の対応付け工程と、
前記画像抽出工程で抽出されたモダリティ画像と、前記第１の対応付け工程の対応付け結果とにより、可視化するための画像を一意に決定する画像決定工程と、
前記第１の対応付け工程で対応付けられなかった他のモダリティデータを、前記画像抽出工程で抽出したモダリティ画像に対応付ける第２の対応付け工程と、
前記画像抽出工程で抽出したモダリティ画像上に、前記他のモダリティデータを表示する画像表示工程と、
を含むことを特徴とする画像処理方法。

【請求項2】

前記第１の対応付け工程は、抽出したモダリティ画像を参照するモダリティデータで事前に解析された解析時間を当該抽出したモダリティ画像に対応付け、
前記画像決定工程は、前記解析時間に基づいて画像を決定する、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記第１の対応付け工程の前に、演算装置のハードウェア情報を取得するハードウェア情報取得工程を含み、
前記第１の対応付け工程は、抽出したモダリティ画像を参照するモダリティデータで事前に解析された処理手順と、前記ハードウェア情報取得工程で取得したハードウェア情報と、から解析時間を算出して対応付ける工程を更に含み、
前記画像決定工程は、前記解析時間に基づいて画像を決定する、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項4】

前記第１の対応付け工程は、抽出したモダリティ画像を参照するモダリティデータの参照時間点数を対応付け、
前記画像決定工程は、前記参照時間点数に基づいて画像を決定する、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項5】

前記画像抽出工程は、大脳皮質の表面形状が抽出されているモダリティ画像を優先抽出する、
ことを特徴とする請求項１に記載の画像処理方法。

【請求項6】

前記第２の対応付け工程の前に、前記モダリティデータをモダリティ収録形式によって分類する工程を含み、
前記第２の対応付け工程は、前記分類する工程での分類ごとに異なる方法で、前記第１の対応付け工程で対応付けられなかった他のモダリティデータを、前記画像抽出工程で抽出したモダリティ画像に対応付ける、
ことを特徴とする請求項１ないし５の何れか一項に記載の画像処理方法。

【請求項7】

単一もしくは複数のモダリティ画像のデータ群から、可視化するためのモダリティ画像の候補を抽出する画像抽出部と、
抽出したモダリティ画像を参照する、別のモダリティデータと、当該抽出したモダリティ画像とを対応づける第１の対応付け部と、
前記画像抽出部で抽出されたモダリティ画像と、前記第１の対応付け部の対応付け結果とにより、可視化するための画像を一意に決定する画像決定部と、
前記第１の対応付け部で対応付けられなかった他のモダリティデータを、前記画像抽出部で抽出したモダリティ画像に対応付ける第２の対応付け部と、
前記画像抽出部で抽出したモダリティ画像上に、前記他のモダリティデータを表示する画像表示部と、
を備えることを特徴とする画像処理装置。

【請求項8】

単一もしくは複数のモダリティ画像のデータ群から、可視化するためのモダリティ画像の候補を抽出する画像抽出工程と、
抽出したモダリティ画像を参照する、別のモダリティデータと、当該抽出したモダリティ画像とを対応づける第１の対応付け工程と、
前記画像抽出工程で抽出されたモダリティ画像と、前記第１の対応付け工程の対応付け結果とにより、可視化するための画像を一意に決定する画像決定工程と、
前記第１の対応付け工程で対応付けられなかった他のモダリティデータを、前記画像抽出工程で抽出したモダリティ画像に対応付ける第２の対応付け工程と、
前記画像抽出工程で抽出したモダリティ画像上に、前記他のモダリティデータを表示する画像表示工程と、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置およびプログラムに関する。

【背景技術】

【0002】

近年、計算機の性能向上や人工知能の発展により、複数の収録されたモダリティデータ（脳磁図計測データ）から特徴的な波形のある区間を抽出して横断的にダイポール解析し、てんかんスパイクの候補として検出することが知られている。

【0003】

特許文献１には、脳磁場計測時の位置関係とＭＲ画像計測時の位置関係とを対応付ける技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術によれば、同一被検者の複数のモダリティデータ（脳磁図計測データ）のダイポールの位置情報を統合して１つのモダリティ（ＭＲ画像）に表示し、ダイポールクラスターを統計解析する場合、ダイポール推定の計算に必要な位置情報とＭＲ画像位置情報とに不整合が発生する、という問題が発生した。

【0005】

本発明は、上記に鑑みてなされたものであって、複数のモダリティデータが纏めて入力された状況下でも、所望のモダリティ上に複数のモダリティデータを、不整合なくかつ素早く、統合表示することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明は、単一もしくは複数のモダリティ画像のデータ群から、可視化するためのモダリティ画像の候補を抽出する画像抽出工程と、抽出したモダリティ画像を参照する、別のモダリティデータと、当該抽出したモダリティ画像とを対応づける第１の対応付け工程と、前記画像抽出工程で抽出されたモダリティ画像と、前記第１の対応付け工程の対応付け結果とにより、可視化するための画像を一意に決定する画像決定工程と、前記第１の対応付け工程で対応付けられなかった他のモダリティデータを、前記画像抽出工程で抽出したモダリティ画像に対応付ける第２の対応付け工程と、前記画像抽出工程で抽出したモダリティ画像上に、前記他のモダリティデータを表示する画像表示工程と、を含むことを特徴とする。

【発明の効果】

【0007】

本発明によれば、複数の検査データが纏めて入力された状況下でも、所望のモダリティ上に複数のモダリティデータを、不整合なくかつ素早く、統合表示することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、第１の実施形態にかかる情報処理システムの構成例を示す図である。

【図2】図２は、情報処理装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、第１の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。

【図4】図４は、球体モデル定義を示す図である。

【図5】図５は、空間フィルタ法による表示例を示す図である。

【図6】図６は、ダイポール推定法による表示例を示す図である。

【図7】図７は、信号源表示部による表示例を示す図である。

【図8】図８は、表示モダリティ選択部における選択処理の流れを示すフローチャートである。

【図9】図９は、統計マップの一例を示す図である。

【図10】図１０は、第２の実施の形態にかかる表示モダリティ選択部における選択処理の流れを示すフローチャートである。

【図11】図１１は、統計マップの一例を示す図である。

【図12】図１２は、第３の実施の形態にかかる表示モダリティ選択部における選択処理の流れを示すフローチャートである。

【図13】図１３は、第４の実施の形態にかかる統計マップの一例を示す図である。

【図14】図１４は、第５の実施の形態にかかる情報処理装置の機能構成を示すブロック図である。

【図15】図１５は、解析グルーピング部によるグルーピングの一例を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、画像処理方法、画像処理装置およびプログラムの実施の形態を詳細に説明する。

【0010】

（第１の実施の形態）
＜システム構成＞
図１は、第１の実施形態にかかる情報処理システム１の構成例を示す図である。図１において、情報処理システム１は、複数種類の生体信号、たとえば脳磁図（ＭＥＧ：Magneto-encephalography）信号と脳波図（ＥＥＧ：Electro-encephalography）信号を計測し、表示する。情報処理システム１は、測定装置３と、データ収録サーバ４０と、画像処理装置である情報処理装置２０とを含む。情報処理装置２０は、計測で得られた信号情報（計測情報）と解析結果を表示するモニタディスプレイ２６を有する。ここでは、データ収録サーバ４０と情報処理装置２０が別々に描かれているが、データ収録サーバ４０の少なくとも一部を情報処理装置２０に組み込んでもよい。

【0011】

被測定者は、頭に脳波測定用の電極（またはセンサ）を付けた状態で測定テーブル４に仰向けで横たわり、測定装置３のデュワ３０の窪み３１に頭部を入れる。デュワ３０は、液体ヘリウムを用いた極低温環境の保持容器であり、デュワ３０の窪み３１の内側には脳磁測定用の多数の磁気センサが配置されている。測定装置３は、電極からの脳波信号と、磁気センサからの脳磁信号を収集し、収集された生体信号（計測情報）をデータ収録サーバ４０に出力する。データ収録サーバ４０に収録された計測情報は、情報処理装置２０に読み出されて表示され、解析される。一般的に、磁気センサを内蔵するデュワ３０と測定テーブル４は磁気シールドルーム内に配置されているが、図示の便宜上、磁気シールドルームを省略している。

【0012】

上述したように、測定装置３は、脳磁図（ＭＥＧ）測定機器などの生体磁気計測装置であって、多チャンネル計測装置として機能する。多チャンネル計測装置である測定装置３は、脳磁測定用の多数の磁気センサの位置や向きが既知であり、磁気センサ群に近い信号源を仮定したときに、その磁気センサの応答値を計算することができる。

【0013】

情報処理装置２０は、複数の磁気センサからの脳磁信号の波形と、複数の電極からの脳波信号の波形を、同じ時間軸上に同期させて表示する。脳波信号は、神経細胞の電気的な活動（シナプス伝達の際にニューロンの樹状突起で起きるイオン電荷の流れ）を電極間の電圧値として表すものである。脳磁信号は、脳の電気活動により生じた微小な磁場変動を表わす。脳磁場は高感度の超伝導量子干渉計（ＳＱＵＩＤ）センサで検知される。

【0014】

＜ハードウェア構成＞
図２は、情報処理装置２０のハードウェア構成の一例を示すブロック図である。情報処理装置２０は、ＣＰＵ（Central Processing Unit：プロセッサ）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、補助記憶装置２４、入出力インタフェース２５、及びモニタディスプレイ（表示装置）２６を有している。ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、補助記憶装置２４、入出力インタフェース２５、及びモニタディスプレイ（表示装置）２６は、バス２７で相互に接続されている。

【0015】

ＣＰＵ２１は、情報処理装置２０の全体の動作を制御し、各種の情報処理を行う。ＣＰＵ２１はまた、ＲＯＭ２３または補助記憶装置２４に格納された情報処理プログラムを実行して、測定収録画面と解析画面の表示動作を制御する。

【0016】

本実施形態の情報処理装置２０で実行される情報処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0017】

また、本実施形態の情報処理装置２０で実行される情報処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置２０で実行される情報処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0018】

また、本実施形態の情報処理装置２０で実行される情報処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

【0019】

ＲＡＭ２２は、ＣＰＵ２１のワークエリアとして用いられ、主要な制御パラメータや情報を記憶する不揮発ＲＡＭを含んでもよい。ＲＯＭ２３は、基本入出力プログラム等を記憶する。本発明の情報処理プログラムもＲＯＭ２３に保存されてもよい。

【0020】

補助記憶装置２４は、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、たとえば、情報処理装置２０の動作を制御する情報処理プログラムや、情報処理装置２０の動作に必要な各種のデータ、ファイル等を格納する。

【0021】

入出力インタフェース２５は、タッチパネル、キーボード、表示画面、操作ボタン等のユーザインタフェースと、各種センサあるいはデータ収録サーバ４０からの情報を取り込み、他の電子機器に解析情報を出力する通信インタフェースの双方を含む。

【0022】

モニタディスプレイ２６では、測定収録画面と解析画面が表示され、入出力インタフェース２５を介した入出力操作に応じて画面が更新される。

【0023】

＜機能構成＞
次に、本実施の形態の情報処理装置２０の機能について説明する。

【0024】

情報処理装置２０に入力される検査データは、ＭＲ画像計測データ（モダリティ画像）と脳磁図計測データ（ダイポール解析用のモダリティデータ）とから構成される。脳磁図計測データは、必ず検査データにユニークなものを含む。ただし、検査データは、脳磁図計測データ（ダイポール解析用モダリティ）のみであってもよい。また、ＭＲ画像計測データは、既に撮影したＭＲ画像を流用する場合もある。なお、説明の簡易化のため、モダリティ画像をＭＲ画像と記載して以後説明を記載するが、システムとしてはＭＲ画像に限定するものではなく、ＣＴやレントゲンなどの別のモダリティ画像でも同様に適用することができる。

【0025】

図３は、情報処理装置２０の機能構成を示すブロック図である。図３に示すように、情報処理装置２０は、表示モダリティ選択部１０１と、モダリティ対応付け部１０２と、導体モデルパラメータ選択部１０３と、信号源推定部１０４と、信号源表示部１０５と、を備える。

【0026】

表示モダリティ選択部１０１と、モダリティ対応付け部１０２と、導体モデルパラメータ選択部１０３と、信号源推定部１０４と、信号源表示部１０５とは、ＣＰＵ２１が、ＲＯＭ２３または補助記憶装置２に格納された情報処理プログラムを読み出して実行することで実現してもよく、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよく、または、ソフトウェアおよびハードウェアを併用して実現してもよい。

【0027】

表示モダリティ選択部１０１は、単一もしくは複数のモダリティ画像（ＭＲ画像）のデータ群から、可視化するためのモダリティ画像（ＭＲ画像）の候補を抽出する画像抽出部として機能するものである。表示モダリティ選択部１０１は、モダリティ画像を参照する複数の検査データ（脳磁図計測データ）が情報処理装置２０に入力されると、まず、表示するモダリティ画像（ＭＲ画像）を決定する。この点について、詳細は後述する。

【0028】

モダリティ対応付け部１０２は、抽出したモダリティ画像を参照する、別のモダリティデータ（脳磁図計測データ）と、当該抽出したモダリティ画像とを対応づける第１の対応付け部として機能する。モダリティ対応付け部１０２は、下記に示す式（１）に示すように、ＭＲ画像の３次元座標空間上の座標値を、脳磁図計測データの３次元座標空間上に対応付ける。モダリティ対応付け部１０２は、同様に、脳磁計図計測データの３次元座標空間上で解析した信号源の解析結果の座標値を、ＭＲ画像の３次元座標空間上に対応付ける同時変換行列を定義することで、座標空間同士の相互変換ができる。

【0029】

【数1】

【0030】

同時変換行列の変換係数は、例えば、特開２００６－１６７３５０号公報に開示されているように、脳磁図計測データの計測時に被験者に添付されたマーカーコイルの座標と、同様にＭＲ画像で造影可能なマーカーを被験者に添付したマーカーの座標とを対応点として定義し、同時変換行列に各対応点の解を適用し各係数の方程式を解くことで算出することができる。

【0031】

導体モデルパラメータ選択部１０３は、表示モダリティ選択部１０１で抽出されたモダリティ画像と、モダリティ対応付け部１０２の対応付け結果とにより、可視化するための画像を一意に決定する。より詳細には、導体モデルパラメータ選択部１０３は、導体モデルのパラメータを選択する。導体モデルは、脳を球体の一様導体と仮定する、球体モデル（Spherical Conductor Model）などがよく用いられる。

【0032】

ここで、図４は球体モデル定義を示す図である。図４に示されるように、導体モデルパラメータ選択部１０３は、ユーザインタフェースを表示して、球体モデルのパラメータ（ＭＲ画像の３次元座標空間上の球体の中心座標、球体半径）を確認、設定することができる。

【0033】

導体モデルパラメータ選択部１０３は、既に表示モダリティ選択部１０１で選択されたＭＲ画像に対するパラメータが決められている場合、そのパラメータ値を表示する。

【0034】

信号源推定部１０４は、脳磁図計測データから脳活動源（信号源）の位置、強度、分布等を推定する。より詳細には、信号源推定部１０４は、ダイポール推定法や空間フィルタ法といった手法によって信号源を推定する。ダイポール推定法は、一般に、脳内で発生した電流源の数を仮定し、計測した磁場データのある１時刻からその電流源の位置（点）と強度を推定する。空間フィルタ法は、複数時間点の磁場データから点ではなく電流密度分布と強度を推定する。

【0035】

なお、信号源推定部１０４は、脳磁図の波形データへの前処理として、バンドパスフィルタや、波形オフセットを揃える基線補正、ＤＳＳＰといったノイズ除去処理等を、信号源推定の前に適宜実施する。

【0036】

なお、信号源推定部１０４は、未解析の検査データ（脳磁図計測データ）が入力された場合、予め所定の方法で信号源推定する。例えば、信号源推定部１０４は、特徴的な波形情報（ＩＥＤ）が現れている時刻の決定とセンサの抽出をおこない、その時刻と選択センサ情報に基づいてダイポール推定解析を行う。また、信号源推定部１０４は、指定の空間フィルタを適用することを前提に決められた計測プロトコルで計測され、計測データの参照時間点情報が明示的に指定されている場合、検査プロトコルに対応する空間フィルタ法で演算するといった、決められた解析を行うようにしても良い。

【0037】

信号源表示部１０５は、ＭＲ画像上に、信号源の分布や強度を表示する。ここで、表示方法の例について説明する。

【0038】

図５は、空間フィルタ法による表示例を示す図である。図５は、空間フィルタ法による信号強度と分布の表示結果の一例を示している。図５に示すように、信号源表示部１０５は、３次元ＭＲ画像の各断面図（coronal面１０５１，sagittal面１０５２，axial面１０５３）と、脳皮質表面の３次元自由視点表示が可能な表示部１０５４とを表示する。そして、信号源表示部１０５は、信号源の分布や強度を、脳画像上の濃淡１０５６で示している。また、信号源表示部１０５は、濃淡に対応する信号強度を符号１０５５に表示する。さらに、信号源表示部１０５は、信号強度に極大極小を持つようなピーク点の位置や値を、分布１０５７に表示する。

【0039】

図６は、ダイポール推定法による表示例を示す図である。図６は、ダイポール推定法による推定点とその向きを３次元上に表示した例１０５８を示している。図６に示すように、信号源表示部１０５は、濃淡のついたダイポールを、各ダイポール同士の距離が所定の範囲に含まれ位置が近接していると判定したものとし、ダイポールクラスターとして集約表示している。なお、図６に示すように、信号源表示部１０５は、孤立したダイポールを、白で表示している。すなわち、信号源表示部１０５は、モダリティ対応付け部１０２で対応付けられなかったモダリティデータ（脳磁図計測データ）である他のモダリティデータを、表示モダリティ選択部１０１で抽出したモダリティ画像に対応付ける第２の対応付け部として機能する。また、信号源表示部１０５は、表示モダリティ選択部１０１で抽出したモダリティ画像上に、他のモダリティデータを表示する画像表示部として機能する。

【0040】

加えて、信号源表示部１０５は、上述のように、複数の検査のデータ（脳磁図計測データ）、解析手法を重畳表示することで、空間フィルタ分析やダイポールクラスター解析といった統計解析をＭＲ画像上の位置の間違いなく正確に表示することができる。ここで、図７は信号源表示部１０５による表示例を示す図である。図７に示す例は、ダイポール推定と空間フィルタとによる信号源の推定結果を重畳表示形式で表示したものである。

【0041】

このように信号源表示部１０５は、抽出したモダリティ画像（ＭＲ画像）上に、モダリティ対応付け部１０２で対応付けられなかったモダリティデータ（脳磁図計測データ）である他のモダリティデータを表示する。信号源表示部１０５は、対応付けたものを纏めて表示することで、複数検査の解析結果を統合し視覚的、統計的に分析することをできるようにしている。

【0042】

次に、表示モダリティ選択部１０１について詳述する。

【0043】

ここで、図８は表示モダリティ選択部１０１における選択処理の流れを示すフローチャートである。図８に示すように、表示モダリティ選択部１０１は、各検査データが入力されると、ＭＲ画像を抽出する（ステップＳ１）。具体的には、表示モダリティ選択部１０１は、入力された検査データ（脳磁図計測データ）に紐づけられたＭＲ画像がある場合には、そのＭＲ画像を抽出する。すなわち、表示モダリティ選択部１０１は、複数の検査データ群の中にＭＲ画像が含まれている検査データ（脳磁図計測データ）があれば、そのＭＲ画像を選択して以後処理を進める。

【0044】

なお、表示モダリティ選択部１０１は、脳磁図計測のみ行ったために、入力された検査データ（脳磁図計測データ）に紐づけられたＭＲ画像がない場合には、そのままステップＳ２に進む。

【0045】

次に、表示モダリティ選択部１０１は、統計マップを作成する（ステップＳ２）。ここで、図９は統計マップの一例を示す図である。図９に示すように、表示モダリティ選択部１０１は、統計マップに、抽出されたＭＲ画像を登録する。なお、表示モダリティ選択部１０１は、ＭＲ画像のファイル名、パス、ＤＩＣＯＭの識別ＩＤ等、指定されたＭＲ画像のデータを一意に特定することができる識別子を登録する。以降、その識別子を図９に示す表示モダリティＩＤとする。

【0046】

表示モダリティ選択部１０１は、統計マップに、表示モダリティＩＤを補足する情報を合わせて登録する。図９に示すように、表示モダリティ選択部１０１は、表示モダリティＩＤを選択するための基本情報として、ＭＲ画像の参照検査数という項目（表示モダリティＩＤを補足する情報）を統計マップに設定する。表示モダリティ選択部１０１は、ある表示モダリティＩＤが登録されていなければ統計マップに追加し、参照検査数は‘１’と設定する。また、表示モダリティ選択部１０１は、別の検査データで同様に処理を行い、同じ表示モダリティＩＤが選択されていれば、対応する表示モダリティＩＤの参照検査数に‘１’を加算する。なお、１検査で複数のＭＲ画像を参照している場合も、同様に、各表示モダリティＩＤの参照検査数に登録もしくは‘１’を加算すればよく、特に１検査あたりのＭＲ画像数に制限はない。

【0047】

次に、表示モダリティ選択部１０１は、ステップＳ２で生成された統計マップの情報から、ＭＲ画像を決定する（ステップＳ３）。図９に示すように、統計マップは、表示モダリティＩＤと参照検査数とを有する。表示モダリティ選択部１０１は、参照検査数が最も多い表示モダリティＩＤを選択する。なお、参照検査数が同じ表示モダリティＩＤが存在する場合、表示モダリティ選択部１０１は、最初（もしくは最後）に登録された表示モダリティＩＤを選択する。

【0048】

このようにして、表示モダリティ選択部１０１は、参照回数が多い表示モダリティＩＤを選択することで、信号源推定の再計算が必要な検査データ数を抑えることができるようになり、大量の検査データを入力した場合の解析時間を低減することができるようになる。

【0049】

なお、統計マップは、データの登録が１つもない場合、ＭＲ画像が無いことを指している。この場合、表示モダリティ選択部１０１は、入力データの見直しをユーザに促すよう通知する、あるいは例えばThe McConnell Brain Imaging Centreが公開している標準脳（ＩＣＢＭ１５２やＣｏｌｉｎ２７等）のＭＲ画像上に、図４に示されるようなＭＲ画像マーカー座標を定義したデータを用意しておき、そのＭＲ画像を表示モダリティとして決定することで、表示モダリティがすべての検査に存在しない場合でも適用することもできる。

【0050】

こうした方法が非常に有効である背景として、ＡＩによる自動解析の活用が背景としてある。脳磁図解析は難易度が高く、時間もかかるものとなっている。医師が長時間にわたり収録された脳磁図波形をすべて隅から隅までチェックすることは一般に非現実的である。そのため、まず所定の検査データで初期解析をして検査済みのデータを作成することが想定される。そして、後の検査データは医師の解析パラメータや設定を流用しつつ、自動解析に任せることが想定される。その後、自動解析結果をもとに再解析や統計解析を効率行い、所見に生かすといったワークフローを実施する流れが想定される。

【0051】

このように本実施形態によれば、最頻のモダリティ（ＭＲ画像）と対応する脳磁図計測データ（ダイポール解析用モダリティデータ）の信号源推定を不要とすることができる。そのため、時間短縮を図ることができ、また、複数の検査データ（脳磁図計測データ）が纏めて入力された状況下でも、所望のモダリティ（ＭＲ画像）上に複数の検査データ（脳磁図計測データ）であるダイポール解析結果を、不整合なくかつ素早く、統合表示することができる。

【0052】

（第２の実施の形態）
次に、第２の実施の形態について説明する。

【0053】

第２の実施の形態は、ダイポール推定や単純な空間フィルタのみが実施されるような場合を想定した点が、第１の実施の形態と異なる。以下、第２の実施の形態の説明では、第１の実施の形態と同一部分の説明については省略し、第１の実施の形態と異なる箇所について説明する。

【0054】

第２の実施の形態にかかる表示モダリティ選択部１０１について詳述する。

【0055】

ここで、図１０は第２の実施の形態にかかる表示モダリティ選択部１０１における選択処理の流れを示すフローチャートである。図１０に示すステップＳ１は、第１の実施の形態で説明したので、ここでの説明は省略する。

【0056】

次に、表示モダリティ選択部１０１は、統計マップを作成する（ステップＳ４）。ここで、図１１は統計マップの一例を示す図である。図１１に示すように、表示モダリティ選択部１０１は、統計マップに、表示モダリティＩＤと解析総時間点数と解析時間点数と収録データＩＤとを有する。

【0057】

脳磁図検査データの実態として、１検査あたり複数のセッションにわたり検査データ（脳磁図計測データ）が収録されセッション数分の磁場波形データが保存されている。さらに、空間フィルタを用いた解析を行う場合などは、１セッションあたりに複数回のサブセッションを構成し、サブセッションの脳磁図計測データを加算平均したデータを入力に解析を行うこともある。いずれにせよ、解析対象のデータファイルは１検査に複数存在し、それらのファイルを識別するための収録データＩＤが割り当てられ管理され、一部もしくは全ての収録データＩＤに対して信号源推定解析が実施される。なお、本実施形態での収録データＩＤとは、１解析の単位と同義である。

【0058】

具体的には、ステップＳ４において、表示モダリティ選択部１０１は、各収録データＩＤが表示モダリティＩＤを参照した回数を示す参照データファイル数を定義し、算出する。次に、表示モダリティ選択部１０１は、各収録データＩＤの解析データに含まれる脳磁図の解析に参照した波形の参照数を示す解析時間点数を算出する。表示モダリティ選択部１０１は、例えばダイポール解析であれば、収録波形の１時間点あたり１ダイポールを算出する。図１１に示す統計マップの例のように、収録データＩＤ：Ａ００１が５０個ダイポール解析したとすると解析時間点数は５０になる。また、図１１に示す統計マップの例のように、収録データＩＤ：Ｃ００１が空間フィルタ法のミニマムノルム法で解析したとすると、２０００Ｈｚのサンプリング周波数で脳磁図の波形を収録、０．５秒の解析区間で解析された場合、１０００時間点が解析時間点数になる。なお、表示モダリティ選択部１０１は、解析されていない場合、解析時間点数を０とする。

【0059】

また、表示モダリティ選択部１０１は、上述のように収録データＩＤ毎に定められた解析時間点数を表示モダリティＩＤでグループ化して集約したものを、解析総時間点数として定義する。

【0060】

上述したように、表示モダリティ選択部１０１は、解析時間に基づいてモダリティ画像を決定する。このように既に解析されたモダリティ画像のうち最も解析時間が長いものを選択することで、対応付けにかかる解析時間を短縮することができる。

【0061】

次に、表示モダリティ選択部１０１は、ステップＳ４で生成された統計マップの情報から、ＭＲ画像を決定する（ステップＳ５）。

【0062】

表示モダリティ選択部１０１は、ステップＳ５において、統計マップを用いて、３つの優先順で選択する。具体的には、表示モダリティ選択部１０１は、解析総時間点数が大きいものを抽出し（ステップＳ５－１）、解析総時間点数が同じ場合に参照ファイル数が大きいものを抽出し（ステップＳ５－２）、新しいものを選択する（ステップＳ５－３）。こうすることによって、最も解析時間点数が多い解析ファイルを参照している表示モダリティＩＤを決定することができる。これにより、再計算の時間を更に減らすことができるモダリティＩＤを選択することができる。

【0063】

このように本実施形態によれば、既に解析されたモダリティ画像のうち最も解析時間が長いものを選択することで、対応付けにかかる解析時間を短縮することができる。

【0064】

なお、第２の実施の形態では、統計マップに、脳磁図の解析に参照した波形の参照数を示す解析時間点数を用いたが、これに限るものではなく、脳磁図の解析に要した解析時間としてもよい。

【0065】

例えば、第２の実施の形態で説明した空間フィルタ法による解析では、サンプリング周波数と解析時間点数とが、演算時間に寄与している。例えば、「Sekihara K., Kumihashi I. （2010） Array-Gain Constraint Minimum-Norm Spatial Filter with Recursively Updated Gram Matrix for Biomagnetic Source Reconstruction. In: Supek S., Susac A. （eds） 17th International Conference on Biomagnetism Advances in Biomagnetism - Biomag2010. IFMBE Proceedings, vol 28. Springer, Berlin, Heidelberg.」では、空間フィルタ法のミニマムノルム法を回帰的に適用し演算パラメータを更新している。このように回帰回数ｎを解析して空間フィルタ法の演算時間に乗じ、実際の解析時間を考慮した評価指標にすることで、その見積もり精度を向上させることができる。

【0066】

また、「Dalal, Sarang S., et al. "Five-dimensional neuroimaging: localization of the time-frequency dynamics of cortical activity." Neuroimage 40.4 （2008）: 1686-1700.」のような時間周波数解析を用いた空間フィルタを用いた解析では、サンプリング周波数と解析時間点数とが演算時間に寄与している。これにより、時間周波数解析の解析区間の分解能である、
解析時間分割×周波数分割数÷分割窓
のオーバーラップ率の分だけ空間フィルタ演算が繰り返されるので、空間フィルタ演算時間にこれを乗じることで実際の解析時間を見積もることができる。

【0067】

このように、脳磁図計測データの解析時間点数と選択されたＭＲ画像の性質を考慮して解析時間を見積もることでより、演算時間を考慮した表示モダリティＩＤを選択することができる。すなわち、環境に合わせて見積補正することで、見積を誤ることなく画像を決定することができる。

【0068】

なお、解析環境が同じであれば見積は同じで有効であるので、モダリティ対応付け部１０２は、事前に解析時間をモダリティデータ（脳磁図計測データ）に記録しておき、解析時間として参照してもよい。

【0069】

また、モダリティ対応付け部１０２は、ＧＰＵやマルチコアのＣＰＵに対応している場合はＯＳより取得できるハードウェア情報を加えて考慮して解析時間を算出することでさらに精度よく見積もることもできる。

【0070】

なお、複数検査データ（脳磁図計測データ）の解析環境が、多岐にわたり実施形態の解析環境と異なる場合、再解析にかかる時間にムラや逆転が発生する場合がある。そのような状況を避けるために実行環境に従って実行時間を見積直す必要がある。

【0071】

（第３の実施の形態）
次に、第３の実施の形態について説明する。

【0072】

第３の実施の形態は、ＭＲ画像の脳領域抽出を活用した導体モデルを使うことを想定した点が、第１の実施の形態および第２の実施の形態と異なる。以下、第３の実施の形態の説明では、第１の実施の形態または第２の実施の形態と同一部分の説明については省略し、第１の実施の形態または第２の実施の形態と異なる箇所について説明する。

【0073】

第３の実施の形態にかかる表示モダリティ選択部１０１について詳述する。

【0074】

ここで、図１２は第３の実施の形態にかかる表示モダリティ選択部１０１における選択処理の流れを示すフローチャートである。図１２に示すステップＳ１およびステップＳ４は、第２の実施の形態で説明したので、ここでの説明は省略する。

【0075】

表示モダリティ選択部１０１は、ステップＳ４で生成された統計マップの情報から、ＭＲ画像を決定する（ステップＳ６）。

【0076】

表示モダリティ選択部１０１は、ステップＳ６において、統計マップを用いて、４つの優先順で選択する。具体的には、表示モダリティ選択部１０１は、事前にＭＲ画像から図５に示した表示部１０５４に描画されているような大脳皮質の表面形状を持つものを優先的に自動抽出する（ステップＳ６－１）。なお、大脳皮質の表面形状を持つものを自動抽出する方法は、例えば統計的手法ベースの「FreeSurfer （Fischl et al., 2002）, BrainSuite （Shattuck and Leahy, 2002）,SPM （Friston et al., 2007）, ANTs （Avants et al., 2009）,FSL （Jenkinson et al 2012）や、CNNベースのFastSurfer（Henschel,, et al. 2020）」などの手法がある。

【0077】

次に、表示モダリティ選択部１０１は、ステップＳ６－１において抽出した大脳皮質表面形状に対して、内接する内接球を求め、内接球の中心座標を球体の中心座標とする。次に内接円の中心から大脳皮質形状の表面までの最長距離を半径とする。最後に球の中心と半径から、球体モデルであるSarvasの公式を用いて脳磁図センサの計測データと脳内の電流データの関係を定式化したセンサリードフィールドを算出することで以降信号源推定ができるようになる。

【0078】

また、球体モデル以外の実施例として、「Huang, M. X., John C. Mosher, and R. M. Leahy. "A sensor-weighted overlapping-sphere head model and exhaustive head model comparison for MEG." Physics in Medicine & Biology 44.2 （1999）: 423.」に記載のような球体より実形状を加味したオーバーラッピング球体モデルがある。これは、複数存在する脳磁図センサの各センサの所定の範囲に含まれる脳皮質領域を抽出し、抽出した脳皮質領域に内接する球の中心座標と半径を算出する。すべてのセンサに対応する球の中心と半径を算出しSarvasの公式を用いてセンサリードフィールドを計算する。

【0079】

第１の実施の形態で説明したように脳領域を自動抽出しない場合は、脳磁図センサ毎に球の中心と半径を設定する必要があり現実的な選択肢とならないが、脳皮質を抽出すれば、自動処理と計算を行うことができる。

【0080】

この他、境界要素法や有限要素法などの数値近似を使用した実形状モデルを使用しても良い。

【0081】

この後のステップＳ５－１～ステップＳ５－３は、第２の実施の形態で説明したので、ここでの説明は省略する。

【0082】

このような構成をとることで、ユーザの手を煩わせることなく信号源推定、信号源の表示を行うことができる。もちろんユーザに自動抽出した球体モデルの結果や図５に示した表示部１０５４に大脳皮質の表面形状を表示してユーザに確認を促し、パラメータの再設定、再計算の要否を指定させるような形式でもよい。

【0083】

（第４の実施の形態）
次に、第４の実施の形態について説明する。

【0084】

第４の実施の形態は、ＭＲ画像に含まれる大脳皮質の表面形状の再利用によって解析を行うようにした点が、第１の実施の形態ないし第３の実施の形態と異なる。以下、第４の実施の形態の説明では、第１の実施の形態ないし第３の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第３の実施の形態と異なる箇所について説明する。

【0085】

第３の実施の形態に示した解析を行う構成においては、検査データ内にＭＲ画像に加え大脳皮質の表面形状が含まれていることも想定し、その再利用によって解析を行うことも考えられる。

【0086】

ここで、図１３は第４の実施の形態にかかる統計マップの一例を示す図である。図１３に示すように、表示モダリティ選択部１０１は、統計マップに、表示モダリティＩＤと参照データファイル数と解析総時間（全処理込）と信号源推定解析時間と大脳皮質表面形状の有無と収録データＩＤとを有する。

【0087】

表示モダリティ選択部１０１は、各収録データＩＤが表示モダリティＩＤを参照した回数を示す参照データファイル数を定義し、算出する。

【0088】

また、表示モダリティ選択部１０１は、第３の実施の形態で説明した、各収録データＩＤの解析データに含まれる脳磁図の解析に必要な信号源推定の解析時間（信号源推定解析時間）を算出する。

【0089】

また、表示モダリティ選択部１０１は、解析データに大脳皮質の形状データが含まれているか否かをチェックする。なお、表示モダリティ選択部１０１は、解析データに大脳皮質の形状データが含まれているか否かの情報に代えて、大脳皮質の表面形状の抽出時間を代わりに設定し管理してもよい。図１３中においては、大脳皮質の表面形状の抽出時間を併記している。

【0090】

また、表示モダリティ選択部１０１は、表示モダリティＩＤ毎に、解析総時間（信号源推定解析時間＋（大脳皮質の表面形状の抽出時間））を算出する。

【0091】

ここで、第４の実施の形態にかかる表示モダリティ選択部１０１における処理の流れについて詳述する。

【0092】

第３の実施の形態に示した図１２のステップＳ６－１において、表示モダリティ選択部１０１は、図１３に示す統計マップを用い、大脳皮質の表面形状が「有」である表示モダリティＩＤのみを抽出する。一方、表示モダリティ選択部１０１は、大脳皮質の表面形状がいずれも「無」の場合は、統計マップの抽出処理を行うことなく次のフローに進む。

【0093】

次に、図１２のステップＳ５－１において、表示モダリティ選択部１０１は、総解析時間が最も大きい表示モダリティＩＤを抽出する。この時点で一意に表示モダリティＩＤが定まらない場合、表示モダリティ選択部１０１は、第２の実施の形態に示したＳ５－２～Ｓ５－３に示すように、一意に選択する。

【0094】

このように本実施形態によれば、処理に時間のかかる大脳皮質の表面形状の再計算をなるべく避けるようなデータを選択することで、再解析時間の短縮を図ることができる。また、後日脳磁図検査を追加した場合の再解析時間を短縮することも可能になる。このように脳領域を抽出したＭＲ画像を優先選択することで、ユーザの手を煩わせることなく解析を自動実行することができる。

【0095】

なお、第４の実施の形態のステップＳ６－１において、大脳皮質アルゴリズムが１つに定められており、大脳皮質の表面形状抽出の品質を制御するパラメータ設定のみ変更できるような構成の場合、大脳皮質の表面形状抽出の処理時間が多いものを優先抽出してもよい。このようにすることで最も品質の高い大脳皮質モデルのみ再利用することで、導体モデルの品質を高めつつ再演算の時間コストを節約することができる。

【0096】

（第５の実施の形態）
次に、第５の実施の形態について説明する。

【0097】

第５の実施の形態は、グループ毎に導体モデルと信号源推定の組み合わせを統一するようにした点が、第１の実施の形態ないし第４の実施の形態と異なる。以下、第５の実施の形態の説明では、第１の実施の形態ないし第４の実施の形態と同一部分の説明については省略し、第１の実施の形態ないし第４の実施の形態と異なる箇所について説明する。

【0098】

図１４は、第５の実施の形態にかかる情報処理装置２０の機能構成を示すブロック図である。図１４に示すように、情報処理装置２０は、前述した表示モダリティ選択部１０１と、モダリティ対応付け部１０２と、導体モデルパラメータ選択部１０３と、信号源推定部１０４と、信号源表示部１０５と、に加え、解析グルーピング部１０６を備える。

【0099】

解析グルーピング部１０６は、検査データ（脳磁図計測データ）と解析方法（導体モデル、信号源推定）のグルーピングを行う。より具体的には、解析グルーピング部１０６は、検査データをモダリティ収録形式によって分類する。

【0100】

ここで、図１５は解析グルーピング部１０６によるグルーピングの一例を示す図である。なお、ユーザが図１５に示すような表形式でグルーピングを任意に選択できるようにしてもよいし、検査プロトコルから自動的にグルーピングする形式でも良い。

【0101】

図１５に示す解析グルーピング部１０６によるグルーピングの例は、脳磁図の連続収録データのみ含む検査データ（脳磁図計測データ）をＡグループに自動的にグルーピングしている。また、術前の中心溝の同定を目的とした体性感覚野誘発脳磁場（somatosensory evoked magnetic fields，ＳＥＦ）の確認のために実施される電気刺激の所定の時間、タイミングと頻度が検査プロトコルとして定義された検査データ（脳磁図計測データ）をＢグループに自動的にグルーピングしている。

【0102】

以後、表示モダリティ選択部１０１でＭＲ画像を選択し、選択したＭＲ画像をベースにグループ毎にモダリティ対応付け部１０２によるモダリティ対応付け、導体モデルパラメータ選択部１０３による導体モデルパラメータ選択、信号源推定部１０４による信号源推定を行う。

【0103】

そして、信号源表示部１０５は、各グループの信号源推定結果を、図７に示したような空間フィルタとダイポール推定の重畳表示形式で表示する。

【0104】

第１の実施の形態や第３の実施の形態の場合、未解析のデータ（脳磁図計測データ）に対して導体モデルの決定や信号源推定を所定の手法に限定しているが、特に１つに限定するものでない。第５の実施の形態のようにグループ毎に導体モデルと信号源推定の組み合わせを統一することで、未処理の検査データを追加した場合にも、検査プロトコルに従ってユーザを煩わせることなくグループ化された処理を自動処理実行することができるようになる。

【0105】

このように本実施形態によれば、てんかん解析のためのダイポールの自動解析の設定と、空間フィルタ法を用いた体性感覚野誘発脳磁場（ＳＥＦ）の自動解析をするなど、入力した検査データ（脳磁図計測データ）の種類に応じて自動で仕分けることで、ユーザが未解析のデータを本処理工程に追加しても適切な解析手法を自動選択し、解析、同時表示することができる。

【0106】

なお、上述の実施形態において、情報処理システム１の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施形態および変形例に係る生体信号計測システム１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disc Recordable）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0107】

また、上述の実施形態の情報処理システム１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施形態の情報処理システム１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0108】

また、上述の実施形態の情報処理システム１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵがＲＯＭ等からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置上にロードされて生成されるようになっている。

【符号の説明】

【0109】

２０ 画像処理装置
１０１ 表示モダリティ選択部
１０２ モダリティ対応付け部
１０３ 導体モデルパラメータ選択部
１０５ 信号源表示部

【先行技術文献】

【特許文献】

【0110】

【特許文献1】特開２００６－１６７３５０号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】