特開 2025-7144 医用データ処理装置、医用データ処理方法および医用データ処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025007144

(43)【公開日】2025-01-17

(54)【発明の名称】医用データ処理装置、医用データ処理方法および医用データ処理プログラム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20250109BHJP

   G06T 7/00 20170101ALI20250109BHJP

【ＦＩ】

A61B5/055 376

A61B5/055 380

G06T7/00 612

G06T7/00 350C

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023108349

(22)【出願日】2023-06-30

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】丸山 修紀

(72)【発明者】

【氏名】竹島 秀則

【テーマコード（参考）】

4C096

5L096

【Ｆターム（参考）】

4C096AA13

4C096AB44

4C096DA30

4C096DC40

5L096BA06

5L096BA13

5L096HA11

5L096KA04

(57)【要約】

【課題】モデルの推論精度を向上すること。
【解決手段】実施形態に係る医用データ処理装置は、取得部と、実行部とを含む。取得部は、医用データを取得する。実行部は、前記医用データに対し、前記医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える合成関数を用いることにより、出力データを生成する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

医用データを取得する取得部と、
前記医用データに対し、前記医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える合成関数を用いることにより、出力データを生成する実行部と、
を具備する医用データ処理装置。

【請求項2】

前記注目情報は、前記医用データのうち、前記合成関数からの出力に影響を与える情報または前記合成関数からの出力に影響を与えることが前記合成関数の訓練において特定された情報である、請求項１に記載の医用データ処理装置。

【請求項3】

前記合成関数は、前記演算処理として前記医用データに対して前記固定係数を乗算する、請求項１に記載の医用データ処理装置。

【請求項4】

前記固定係数は、前記医用データに関するデータであり、かつ医学物理または磁気共鳴物理に関するデータに基づく値である、請求項１に記載の医用データ処理装置。

【請求項5】

前記医用データは、ＭＲ（Magnetic Resonance）データ、ＣＴ（Computed Tomography）データ、超音波データ、ＰＥＴデータ、ＳＰＥＣＴデータ、バイタルデータおよび生検データの少なくとも１つである、請求項１に記載の医用データ処理装置。

【請求項6】

前記医用データは、時系列データ、画像データ、波形データ、検査データ、３次元以上のデータの少なくとも１つである、請求項１に記載の医用データ処理装置。

【請求項7】

前記医用データは、ＭＲＳデータであり、
前記固定係数は、基底スペクトルまたは分子のケミカルシフトに対応するスペクトルである、請求項１に記載の医用データ処理装置。

【請求項8】

前記医用データは、ＭＲＳデータであり、
前記合成関数は、前記ＭＲＳデータに対して注目したい分子情報に関する前記固定係数を演算処理する、請求項１に記載の医用データ処理装置。

【請求項9】

前記医用データは、ＭＲＳデータであり、
前記合成関数は、訓練データにより訓練されることにより、前記ＭＲＳデータに対する未知の分子情報に関する前記固定係数が設定される、請求項１に記載の医用データ処理装置。

【請求項10】

前記医用データは、ＭＲ画像であり、
前記合成関数は、前記ＭＲ画像に対して注目したい画像領域に関する前記固定係数を演算処理する、請求項１に記載の医用データ処理装置。

【請求項11】

前記医用データは、ＭＲ画像であり、
前記合成関数は、訓練データにより訓練されることにより、前記ＭＲ画像に対する未知の画像領域の抽出に関する前記固定係数が設定される、請求項１に記載の医用データ処理装置。

【請求項12】

前記合成関数は、ニューラルネットワークであり、
固定係数の演算処理を行う関数は、前記固定係数をパラメータとして含む前記ニューラルネットワークの層である、請求項１に記載の医用データ処理装置。

【請求項13】

前記医用データは、ＭＲＳデータであり、
前記層は、前記ＭＲＳデータに対して注目したい分子情報が複数存在する場合、複数の分子情報の合成データに関する前記固定係数、または前記複数の分子情報にそれぞれ対応するチャネルに前記固定係数が設定される、請求項１２に記載の医用データ処理装置。

【請求項14】

前記医用データは、ＭＲ画像であり、
前記層は、前記ＭＲ画像に対して注目したい画像領域が複数存在する場合、複数の画像領域の合成データに関する前記固定係数、または前記複数の画像領域にそれぞれ対応するチャネルに前記固定係数が設定される、請求項１２に記載の医用データ処理装置。

【請求項15】

前記合成関数は、ニューラルネットワークであり、
前記出力データは、前記ニューラルネットワークの出力層の構成を切り替えることで、複数のタスクに適用される、請求項１に記載の医用データ処理装置。

【請求項16】

前記出力データは、前記医用データの医学的分類処理、画像再構成処理、デノイズ処理、セグメンテーション処理、超解像処理のいずれかの処理結果となるデータである、請求項１に記載の医用データ処理装置。

【請求項17】

前記固定係数は、前記医用データを収集したMRI（Magnetic Resonance Imaging）装置の磁場不均一に関するデータ、コイルの送信および受信感度データに対応する値である、請求項１に記載の医用データ処理装置。

【請求項18】

医用データを取得し、
前記医用データに対し、前記医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える合成関数を用いることにより、出力データを生成する、
医用データ処理方法。

【請求項19】

コンピュータに、
医用データを取得する取得機能と、
前記医用データに対し、前記医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える合成関数を用いることにより、出力データを生成する生成機能と、
を実現させる医用データ処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用データ処理装置、医用データ処理方法および医用データ処理プログラムに関する。

【背景技術】

【0002】

ＭＲ（Magnetic Resonance）画像およびＭＲＳ（Magnetic Resonance Spectroscopy）のスペクトルデータなどに対し、学習済みモデルを用いて腫瘍の組織分類を行いそのグレードを推定するなどの、医用データに基づく医学的分類を推定する手法がある。しかし、当該手法で用いられる学習済みモデルの推論では、注目する領域または重要な領域に関する情報が学習済みモデルで利用されていないという問題点がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４１９７８号公報

【特許文献2】特開２０１９－１５４８５４号公報

【非特許文献】

【0004】

【非特許文献1】Ｈｉｄｅｎｏｒｉ Ｔａｋｅｓｈｉｍａ、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｆｕｎｃｔｉｏｎ Ａｐｐｒｏｘｉｍａｔｉｏｎ ｆｏｒ ＭＲ ｉｎ Ｍｅｄｉｃｉｎｅ： Ａｎ Ｏｖｅｒｖｉｅｗ、Ｍａｇｎ Ｒｅｓｏｎ Ｍｅｄ Ｓｃｉ、ｄｏｉ：１０．２４６３／ｍｒｍｓ．ｒｅｖ．２０２１－００４、Ｐｕｂｌｉｓｈｅｄ Ｏｎｌｉｎｅ： Ｓｅｐｔｅｍｂｅｒ １７， ２０２１

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、モデルの推論精度を向上することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

実施形態に係る医用データ処理装置は、取得部と、実行部とを含む。取得部は、医用データを取得する。実行部は、前記医用データに対し、前記医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える合成関数を用いることにより、出力データを生成する。

【図面の簡単な説明】

【0007】

【図1】図１は、本実施形態に係る医用データ処理装置の構成例を示す図である。

【図2】図２は、本実施形態に係る医用データ処理装置の動作例を示すフローチャートである。

【図3】図３は、本実施形態に係る学習済みモデルの入出力関係を示す図である。

【図4】図４は、医用データの一例であるＭＲスペクトルを示す概念図である。

【図5】図５は、本実施形態に係る注目層を含むモデルの第１例を示す図である。

【図6】図６は、本実施形態に係る注目層を含むモデルの第２例を示す図である。

【図7】図７は、本実施形態に係る注目層を含むモデルの第３例を示す図である。

【図8】図８は、本実施形態に係る注目層を含むモデルの第４例を示す図である。

【図9】図９は、本実施形態に係る注目層を含むモデルの第５例を示す図である。

【図10】図１０は、本実施形態に係る注目層を含むモデルの第５例を示す図である。

【図11】図１１は、本実施形態に係る注目層を含むモデルの第６例を示す図である。

【図12】図１２は、本実施形態に係る注目層を含むモデルの第６例を示す図である。

【図13】図１３は、本実施形態に係る注目層を含むモデルの第７例を示す図である。

【図14】図１４は、本実施形態に係る注目層を含むモデルの第８例を示す図である。

【図15】図１５は、本実施形態に係る注目層を含むモデルの第９例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、医用データ処理装置、医用データ処理方法および医用データ処理プログラムの実施形態について詳細に説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。以下、一実施形態について図面を用いて説明する。

【0009】

本実施形態に係る医用データ処理装置について図１のブロック図を参照して説明する。
図１に示すように、医用データ処理装置１は、例えば、処理回路１０、メモリ１１、入力インタフェース１２、通信インタフェース１３およびディスプレイ１４を有するコンピュータである。なお、医用データ処理装置１は、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線ＣＴ（Computed Tomography）装置などの各種医用画像診断装置のコンソールに搭載されてもよいし、ワークステーションに搭載されてもよい。または、医用画像診断装置およびワークステーションと独立して存在してもよい。また、医用データ処理装置１は、メモリ１１、入力インタフェース１２、通信インタフェース１３、ディスプレイ１４のうちの他の少なくとも１つの構成を含まずに実現されてもよい。医用データ処理装置１は、例えば処理回路１０単独で実現されてもよい。

【0010】

処理回路１０は、ハードウェア資源としてプロセッサを有する。処理回路１０は、医用データ処理装置１の中枢として機能する。

【0011】

取得機能１０１により処理回路１０は、種々の医用データを取得する。種々の医用データとしては、例えば、ＭＲ画像およびＭＲＳ(Magnetic Resonance Spectroscopy）によるＭＲスペクトルといったＭＲデータ、ＣＴ画像、Ｘ線画像、超音波画像、ＰＥＴ（Positron Emission Tomography）画像、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）画像などの核医学画像に代表される医用画像、またはその中間データである、ｋ空間データ、投影データ、サイノグラムデータが挙げられる。また、医用データは、バイタルデータ、生検データといった他の検査に関するデータであってもよい。また、医用データは、時系列データであってもよいし、波形データ、検査データなどの１次元データであってもよいし、画像データなどの２次元データであってもよいし、ボリュームデータなどの３次元データまたはそれ以上の次元を有するデータであってもよい。取得機能１０１により処理回路１０は、医用データは、医用画像診断装置から直接的に取得してもよいし、一旦メモリ１１に記憶された医用データを、当該メモリ１１から取得してもよい。

【0012】

設定機能１０２により処理回路１０は、医用データ中の注目情報に対応付けられた固定係数の演算処理を行う関数を１以上、合成関数に対して設定する。注目情報は、医用データにおいて注目すべき、または重要となる項目または領域などを示す情報である。つまり注目情報は、合成関数からの出力に影響を与える情報または合成関数からの出力に影響を与えることが合成関数の訓練において特定された情報である。固定係数は実数値である。言い換えれば、固定係数は、医用データに関するデータであり、かつ医学物理または磁気共鳴物理に関するデータに基づく値である。合成関数は、例えば、ニューラルネットワークなど機械学習で用いられるモデルである。以下、合成関数は学習済みモデルである場合について説明する。

【0013】

モデル実行機能１０３により処理回路１０は、設定された合成関数を用いることにより、出力データを生成する。出力データは、例えば医用データに関する医学的分類結果である。医学的分類結果は、例えば腫瘍の有無などの判定または腫瘍のグレーディングに関する情報である。なお、出力データは、医学的分類結果に限らず、セグメンテーション、予後推定、治療法の提案といった臨床意思決定支援（ＣＤＳ：Clinical Decision Support）であってもよい。

【0014】

表示制御機能１０４により処理回路１０は、種々の情報をディスプレイ１４に表示する。例えば、医用データや、モデル実行機能１０３により生成された医学的分類結果などがディスプレイ１４に表示される。

【0015】

モデル訓練機能１０５により処理回路１０は、機械学習モデルを訓練し、注目情報に関する固定係数を算出する。

【0016】

メモリ１１は、種々の情報を記憶するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。また、メモリ１１は、ＣＤ－ＲＯＭドライブやＤＶＤドライブ、フラッシュメモリ等の可搬型記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。例えば、メモリ１１は、医用データ（スペクトルデータ、画像データなど）、出力データ（医学的分類結果など）、制御プログラム等を記憶する。

【0017】

入力インタフェース１２は、ユーザからの各種指令を受け付ける入力機器を含む。入力機器としては、キーボードやマウス、各種スイッチ、タッチスクリーン、タッチパッド等が利用可能である。なお、入力機器は、マウス、キーボードなどの物理的な操作部品を備えるものだけに限らない。例えば、医用データ処理装置１とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路も入力インタフェース１２の例に含まれる。また、入力インタフェース１２は、マイクロフォンにより収集された音声信号を指示信号に変換する音声認識装置でもよい。

【0018】

通信インタフェース１３は、ＬＡＮ（Local Area Network）等を介して医用データ処理装置１と、医用画像診断装置、ワークステーションやＰＡＣＳ（Picture Archiving and Communication System）、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）等とを接続するインタフェースである。

【0019】

ディスプレイ１４は、表示制御機能１０６により種々の情報を表示する。ディスプレイ１４としては、例えば、ＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。

【0020】

なお、上記の構成は一例であって、これに限定されない。例えば、メモリ１１のうちのデータ収集条件の記憶領域は、医用データ処理装置１に実装されている必要はなく、例えば、医用データ処理装置１にネットワークを介して接続された記憶装置に実装されてもよい。さらに、処理回路１０の各機能は、複数のデバイスをまたいで実現されてもよい。例えば、取得機能１０１、設定機能１０２、モデル実行機能１０３および表示制御機能１０４は、医用画像診断装置のコンソールに組み込まれて実行され、モデル訓練機能１０５がワークステーションで実行されるといった構成であってもよく、複数のデバイスで医用データ処理装置１の各機能を協調して実現できれば、各処理がどのデバイスで実行されるかは問わない。

【0021】

以下、本実施形態に係る医用データ処理装置１の動作例について図２のフローチャートを詳細に説明する。

【0022】

ステップＳＡ１では、取得機能１０１により処理回路１０が、医用データを取得する。
ステップＳＡ２では、設定機能１０２により処理回路１０が、医用データとタスクとに応じて、注目情報に対応付けられた固定係数を設定する。固定係数の設定は、例えば学習済みモデルに対して、注目情報に関する固定係数をパラメータとして設定したニューラルネットワークの層構造である注目層を学習済みモデルに組み込むことで実現すればよい。

【0023】

ステップＳＡ３では、モデル実行機能１０３により処理回路１０が、注目層が組み込まれた学習済みモデルを医用データに適用し、学習済みモデルにより出力データが生成される。言い換えれば、医用データに対して注目層に係る固定係数の演算処理が実行される。ここでは、医用データに対して医学的分類が実行され、医学的分類結果を得る。
ステップＳＳ４では、例えば表示制御機能１０４により処理回路１０が、医学的分類結果をディスプレイ１４などに出力する。

【0024】

なお、ステップＳＡ２の処理は、学習済みモデルに対して既に注目層が組み込まれている場合は、新たな注目層を学習済みモデルに対して設定しなくともよい。

【0025】

次に、本実施形態に係る学習済みモデルの入出力関係について図３を参照して説明する。
図３に示すように、学習済みモデル３０は、医用データ３１が入力され、医学的分類結果３２を出力するようにパラメータ（例えば、重みおよびバイアス）が学習されたモデルである。学習済みモデル３０は、ここでは、Transformer、ResNet、DenseNetなどの畳み込み層を有する深層畳み込みニューラルネットワークを想定する。なお、深層畳み込みニューラルネットワークに限らず、機械学習の分野で用いられる合成関数（モデル）であれば、どのようなモデルを用いてもよい。

【0026】

学習済みモデル３０は、入力層、中間層３０－２および出力層３０－３を含む。ここで入力層は、注目層３０－１に該当する。注目層３０－１は、注目情報、例えば注目したい分子情報、注目したい領域などに関する固定係数の演算処理を行う層である。注目層３０－１は、例えば、全結合層（ＦＣ：Full connection layer）で形成され、医用データ３１に対して固定係数が乗算される。すなわち、注目層３０－１は、医用データ３１の位置情報に依存した処理を実行するように振る舞う。

【0027】

一方、中間層３０－２は、ここでは複数の畳み込み層が配置されることを想定する。そのため、中間層３０－２では、畳み込み層における受容野を考慮すれば、ネットワークの深さが深くなるほど位置情報に依存しない処理が実行されることになる。
出力層３０－３は、医学的分類結果として、例えば分類タスクに関する確率値を出力する。

【0028】

次に、本実施形態に係る医用データの一例であるＭＲスペクトルについて、図４の概念図を参照して説明する。
図４に示すＭＲスペクトルは、ケミカルシフト計測の一種であるＭＲＳにより得られたデータに基づくスペクトルである。ＭＲＳは、ケミカルシフトのスペクトルを計測するデータ収集法である。なお、ＭＲＳに限らず、CSI（chemical shift imaging）、ＣＥＳＴ（Chemical Exchange Spectroscopy）又はＺＡＰＰＥＤ（Z-Spectrum Analysis Provides Proton Environment Data）、拡散強調ＭＲＳなどのいずれの計測法により得られたスペクトルデータを、本実施形態に係る医用データとして用いてもよい。拡散強調ＭＲＳは、拡散強調傾斜磁場（ＭＰＧ：Motion Probing Gradient）付きのパルスシーケンスによるＭＲＳであり、得られるスペクトルは、ＭＰＧの印可により分子内の水素原子核の拡散が協調される。

【0029】

スペクトルデータの生成方法としては、具体的には、ＰＲＥＳＳ（point resolved spectroscopy）やＳＴＥＡＭ（stimulated echo acquisition mode）、ＩＳＩＳ(Image-Selected In vivo Spectroscopy)、ＳＰＥＣＩＡＬ(Spin Echo Full Intensity Acquired Localized)、ｓｅｍｉ－ＬＡＳＥＲ（semi-localization by adiabatic selective refocusing）、ＬＡＳＥＲなどによる、ＭＲＳのパルスシーケンスに基づき収集された、積算回数分のｋ空間データを合成する。合成されたｋ空間データにフーリエ変換を施し、ＭＲ信号強度値を周波数関数で表すデジタルデータに変換し、変換後のデジタルデータに位相補正やベースライン補正等の後処理を施してＭＲＳのスペクトルデータが生成されればよい。

【0030】

図４に示すＭＲスペクトルは、縦軸がＭＲ信号強度値［ＡＵ（Arbitrary Unit）］に規定され、横軸が基準周波数からの差異、すなわちケミカルシフト［ｐｐｍ（parts per million）］に規定される。基準周波数は、任意に選択された基準物質の周波数に設定される。基準物質は、特に限定されないが、例えば、テトラメチルシラン（ＴＭＳ：tetramethylsilane）に設定される。ＭＲスペクトルによれば、Ｎ－アセチルアスパラギン酸（ＮＡＡ）、クレアチン（Ｃｒ）、コリン（Ｃｈｏ）等の分子の存在量を可視化することができる。

【0031】

次に、本実施形態に係る注目層を含むモデルの第１例について図５を参照して説明する。
注目情報となる分子が未知である場合は、モデル訓練機能１０５により処理回路１０が、機械学習モデル５０を訓練することにより、学習済みモデル３０を生成すればよい。

【0032】

訓練データとしては、医用データ（ここでは一例として、ＭＲＳデータ４１）を入力データとし、過去の事例より収集された医学的分類結果４２を正解データとして、これらの組合せを用いればよい。入力データとなるＭＲＳデータ４１は、例えばＭＲＩ装置により生成される。正解データとなる医学的分類結果４２は、当該ＭＲＳデータ４１や当該ＭＲＳデータ４１と同一被検体に関する生検データやＭＲ画像などの医用情報を用いて、医療従事者が判定した分類結果が用いられればよい。なお、グレードは、当該入力データ又は医療情報に基づいてコンピュータにより所定のアルゴリズムに従い決定されてもよい。

【0033】

設定機能１０２により処理回路１０は、訓練対象の機械学習モデルについて注目層５１を組み込む。注目層５１は、注目情報の種類に対応するチャネル５２の数を含むように設定されればよい。具体的には、例えば、注目情報となる分子の種類が３つであれば、注目層５１のチャネル５２の数を３つとして設定すればよい。

【0034】

その後、モデル訓練機能１０５により処理回路１０は、入力データとなるＭＲＳデータ４１に機械学習モデル５０を適用して順伝播処理を行い、医学的分類結果（以下、推定医学的分類結果と呼ぶ）を出力する。次にモデル訓練機能１０５により処理回路１０は、推定医学的分類結果と正解データである医学的分類結果４２との差分（誤差）を誤差関数により算出し、誤差が最小となるように、誤差逆伝播法および確率的勾配降下法により機械学習モデル５０のパラメータを更新する。誤差関数は、例えばＭＳＥ（Mean Squared Error）、クロスエントロピーなど、機械学習モデルのタスクに応じて使用する関数を決定すればよい。

【0035】

モデル訓練機能１０５により処理回路１０は、訓練が終了したか否かを判定する。当該訓練が終了したか否かの判定は、例えば、誤差関数により算出される誤差の値が閾値以下である場合に訓練が終了したと判定すればよい。または、誤差の値の減少幅が所定値以内に収束した場合に訓練が終了したと判定してもよい。さらには、所定のエポック数の訓練を終了した場合に訓練が終了したと判定してもよい。訓練が終了した場合、決定されたパラメータを機械学習モデルに割り当てることにより、学習済みモデル３０が生成される。

【0036】

これにより、注目情報に対応する注目層５１の各チャネルの固定係数を算出することができる。その後は、新たなＭＲＳデータ４１に対して医学的分類結果を出力するように処理を実行すればよい。
次に、本実施形態に係る注目層を含むモデルの第２例について図６を参照して説明する。
図６に示すように、学習済みモデル３０は、医用データとして、ＭＲスペクトルを示すＭＲＳデータ４１が入力され、注目領域の組織性状を示す医学的分類結果４２を出力するようにパラメータが学習されたモデルである。ＭＲＳデータ４１は、例えば図４に示すようなスペクトル、またはＭＲスペクトルを生成するまでの中間データであることを想定する。

【0037】

本実施形態に係る注目層３０－１には、注目情報、ここではＭＲＳにおいて注目したい分子の単スペクトルに関する固定係数を乗算する層が導入される。つまり、固定係数は、基底スペクトルまたは分子のケミカルシフトに対応するスペクトルであることを想定する。単スペクトルは、シミュレーションデータ４３－１や機械学習等により人工的に生成されたデータであってもよいし、ファントムを撮像することにより得られるデータであってもよいし、それらのスペクトルのピーク各々についてのケミカルシフト値に対応する矩形状の波形データ４３－２でもよいし、特定ピークについてのケミカルシフト値に対応するデータでもよい。ＭＲＳデータ４１が注目層３０－１に入力されることで、注目したい分子のスペクトルに関するデータに対応する領域が後段の中間層３０－２（１以上の畳み込み層）において、重み付けされつつ処理される。すなわち、注目したい分子の単スペクトルの形状が、ＭＲスペクトルに含まれるか否かが考慮されながら、畳み込み処理が実行されるといえる。

【0038】

医学的分類結果４２は、学習済みモデル３０の出力層３０－３から出力され、例えば、被検体Ｐの腫瘍の有無が出力される。具体的に図６の例では、医学的分類結果４２として「腫瘍」である旨が出力される。出力形式としては、特に限定されないが、腫瘍の有無に加えて、複数のグレードのうちの被検体Ｐの属する確率の高いグレードを「１」に近い値、確率の低いグレードを「０」に近い値として出力する多クラス分類が用いられてもよい。また、医学的分類結果４２として、ガンの転移の有無または症例に該当する確率などが出力されてもよい。

【0039】

なお、医学的分類結果４２として、ＩＤＨ１変異（isocitrate dehydrogenase-1 mutation）の有無を出力してもよい。変異型のＩＤＨ１は、２－ＨＧ（2-hydroxyglutarate)を産生することが知られている（例えば、Jelena Lazovic等、”Detection of 2-hydroxyglutaric acid in vivo by proton magnetic resonance spectroscopy in U87 glioma cells overexpressing isocitrate dehydrogenase-1 mutation” Neuro-Oncology 14(12):1465-1472,2012）。すなわち、２－ＨＧの存在とＩＤＨ１の変異との間には相関関係が認められる。

【0040】

２－ＨＧは、ＭＲＳで検出可能であり、ＭＲスペクトルにおいてピークを形成し得る。また、２－ＨＧは、ＦＬＡＩＲ画像やＴ２強調画像等のＭＲ形態画像においても描画可能である。２－ＨＧに関するスペクトルについての固定係数を注目層３０－１に設定することで、ＩＤＨ１変異の有無および変異の程度を表すグレードについて、医学的分類結果４２を出力することもできる。

【0041】

なお、学習済みモデル３０に入力されるＭＲＳデータは、図６に示すＭＲスペクトルの波形データに限定されない。例えば、ＭＲＳデータは、ＭＲスペクトルの複数のピーク各々についてのケミカルシフト値とＭＲ信号強度値（波高値）との数値データの組合せでもよいし、ケミカルシフト値とＭＲ信号強度値（波高値）ピーク幅（半値幅）との数値データの組合せでもよい。また、ＭＲＳデータは、ＭＲスペクトルの複数のピーク各々についての分子の識別子（名称や記号）とＭＲ信号強度値との数値データの組合せでもよいし、分子の識別子とＭＲ信号強度値と半値幅との数値データの組合せでもよいし、分子の濃度推定値やその相対値でもよい。また、学習済みモデル３０には、ＭＲＳデータの生成過程において得られる如何なる中間生成物が入力されてもよい。例えば、加算前のｋ空間データ、加算後のｋ空間データ、フーリエ変換後のｋ空間データが学習済みモデル３０に入力されてもよい。これらＭＲスペクトルおよびＭＲスペクトルの中間生成物は、ＭＲＳデータの一例である。

【0042】

ＭＲスペクトルの波形データ以外の場合における注目層３０－１の固定係数は、注目層３０－１に入力されるデータ形式に合わせて設定されればよい。例えば、ＭＲＳデータがケミカルシフト値とＭＲ信号強度値との組み合わせであれば、注目情報である注目する分子のケミカルシフト値とＭＲ信号強度値とに関する値を固定係数として注目層３０-１に設定すればよい。このように、ＭＲＳデータが他のデータ形式である場合も、同様に固定係数が設定されればよい。

【0043】

本実施形態に係る注目層を含むモデルの第３例について図７を参照して説明する。
図７に示すモデルは、図６と比較して、注目層６１の構成が異なる。図７に示す注目層６１は、注目情報となる、注目したい分子が複数存在する場合の設定を想定する。例えば、複数の分子の単スペクトルを合成することで、注目したい分子の合成スペクトル６２－１を生成し、合成スペクトル６２－１に関する固定係数を乗算する層を導入すればよい。または、単スペクトルそれぞれに対応する固定係数をチャネル６２－２として設定してもよい。注目層６１において、ＭＲＳデータ４１とチャネル６２－２との積和が計算されるため、合成スペクトル６２－１と同様に、注目層において複数の単スペクトルに関する固定係数を利用できる。

【0044】

次に、本実施形態に係る注目層を含むモデルの第４例について図８を参照して説明する。
図８では、注目情報が既知である場合と未知である場合との両方を組み合わせた例を示す。つまり、機械学習モデル５０は、既知の注目情報に関する注目層３０－１と未知の注目情報に関する注目層５１とを含む。図８の例では、注目層３０－１と注目層５１とを含む機械学習モデル５０が訓練されることで、既知の分子の単スペクトルに対応する固定係数と、１以上の未知の分子の単スペクトルのチャネルに対応する固定係数とが算出される。機械学習モデル５０の訓練方法については、図５に示す方法と同様の手法により訓練すればよい。
これにより、既知の分子以外の未知の分子についても、単スペクトルに対応した固定係数を生成することができる。

【0045】

次に、本実施形態に係る注目層を含むモデルの第５例について図９および図１０を参照して説明する。
図５から図８までの例では、学習済みモデル３０または機械学習モデル５０の入力層の位置に注目層３０－１を組み込む例を示したが、これに限らず、注目層３０－１は学習済みモデル３０または機械学習モデル５０のうち、出力層３０－３の位置以外はどのような位置に組み込まれてもよい。

【0046】

図９は、学習済みモデル３０において入力層８０の後段に注目層３０－１が配置される例を示す。図１０は、中間層の最後、すなわち、出力層３０－３の前段に注目層３０－１が配置される例を示す。このように、どの位置に注目層３０－１が配置されてもよい。なお、注目層３０－１の固定係数は、ネットワークの深さに応じて注目層３０－１に入力されるデータサイズが異なるため、前段の層（入力層８０または中間層３０－２）からの出力サイズに応じて調整されればよい。

【0047】

次に、本実施形態に係る注目層を含むモデルの第６例について図１１および図１２を参照して説明する。
図１１では、入力される医用データとして２次元データ、つまり医用画像を想定する。医用画像に関する注目層３０－１は、例えば、医学物理に関するデータである、マスクデータ、重みデータ、セグメンテーションデータ、アノテーションデータに対応する固定係数が設定される。図１１の例では、ＭＲ画像９１に対して学習済みモデル３０が適用され、注目層３０－１では、例えば、腫瘍部分を関心部位（ＲＯＩ：Region of Interest）とするマスクデータ９２に対応する固定係数が設定される。なお、ＭＲ画像としては、Ｔ１強調画像、Ｔ２強調画像、Ｔ２＊強調画像、ＦＬＡＩＲ（fluid attenuated inversion recovery）画像、ＭＲアンギオグラフィ、拡散強調画像、あるいは他の撮像方法により収集された画像を想定する。これにより、ＭＲ画像９１に対してマスクデータにより設定される領域を中心として推論が実行されるといえる。

【0048】

腫瘍領域に関する注目層３０－１の固定係数は、入力されるＭＲ画像に対して、人手により生成されたマスク領域に対応するように設定されてもよいし、Ｕ－ｎｅｔなどを用いて、アノテーションされたセグメンテーションデータからマスクデータが生成され、対応する固定係数が得られてもよい。固定係数としては、例えば、注目情報となるＲＯＩの領域を１、その他の領域が０となる重みで表現されてもよい。なお、０または１の２値による重みで固定係数を設定することに限らず、複数の組織に対して０から１の間の値を重みとして割り当てて固定係数を設定してもよい。例えば、腫瘍を対象とするマスク領域である場合、実質を「０．１」、浮腫を「０．８」、腫瘍全体を「１」として重みを割り当てて固定係数を設定してもよい。

【0049】

続いて図１２は、注目層３０－１が灰白質に関するマスクデータ、言い換えれば、セグメンテーションデータに対応する固定係数をパラメータとする例である。これにより、ＭＲ画像９１に対して学習済みモデル３０を適用する際、マスクデータにより設定される領域を中心として推論が実行されるといえる。医学的分類結果４２として、例えばアルツハイマー型認知症であるといった分類がなされる。

【0050】

図１２の灰白質に関する注目層３０－１の固定係数は、入力されるＭＲ画像に対して、人手により生成されたマスク領域に対応するように設定されてもよいし、Ｕ－ｎｅｔなどを用いて、灰白質に相当する信号強度と位置情報とから、灰白質に関するセグメンテーションデータからマスクデータが生成され、対応する固定係数が得られてもよい。

【0051】

なお、灰白質のマスクに限らず、白質、脳脊髄液（ＣＳＦ：cerebrospinal fluid）などの組織についてマスクデータとして注目層３０－１を設定してもよい。さらに、また、灰白質とＣＳＦとの領域をマスクデータとするなど、複数の組織の領域を組み合わせてマスクデータとし、対応する固定係数を注目層３０－１に設定してもよい。

【0052】

次に、本実施形態に係る注目層を含むモデルの第７例について図１３を参照して説明する。
医用データがＭＲＳデータである場合と同様に、注目情報となるマスク領域が未知である場合は、モデル訓練機能１０５により処理回路１０が、機械学習モデル５０を訓練することにより、学習済みモデル３０を生成すればよい。

【0053】

訓練データとしては、ＭＲ画像９１を入力データとし、過去の事例より収集された医学的分類結果４２を正解データとして、これらの組合せを用いればよい。入力データとなるＭＲ画像９１は、例えばＭＲＩ装置により生成される。正解データとなる医学的分類結果４２は、当該ＭＲ画像９１や当該ＭＲ画像９１と同一被検体に関する生検データやＭＲ画像などの医用情報を用いて、医療従事者が判定した分類結果が用いられればよい。なお、グレードは、当該入力データ又は医療情報に基づいてコンピュータにより所定のアルゴリズムに従い決定されてもよい。

【0054】

設定機能１０２により処理回路１０は、訓練対象の機械学習モデルについて注目層５１を組み込む。注目層５１は、注目情報の種類に対応するチャネル５２の数を含むように設定されればよい。具体的には、例えば、注目情報となるマスク領域の種類が３つであれば、注目層５１のチャネル５２の数を３つとして設定すればよい。

【0055】

その後、モデル訓練機能１０５により処理回路１０は、図５に示す場合と同様に、入力データとなるＭＲ画像９１に機械学習モデル５０を適用して順伝播処理を行い、推定医学的分類結果を出力する。次にモデル訓練機能１０５により処理回路１０は、推定医学的分類結果と正解データである医学的分類結果４２との差分（誤差）を誤差関数により算出し、誤差が最小となるように、誤差逆伝播法および確率的勾配降下法により機械学習モデル５０のパラメータを更新する。訓練が終了すれば、学習済みモデル３０が生成される。

【0056】

これにより、注目情報に対応する注目層５１の各チャネルの固定係数を算出することができる。その後は、新たなＭＲＳデータ４１に対して医学的分類結果を出力するように処理を実行すればよい。

【0057】

なお、ＭＲＩ装置で収集したＭＲ画像９１に限らず、他の医用画像診断装置で収集される医用画像でも同様に実現できる。例えば、Ｘ線ＣＴ装置で撮影されるＣＴ画像、デュアルエナジーＣＴ装置またはフォトンカウンティングＣＴ装置で撮影された物質弁別画像が入力される場合でも同様に、例えば関心部位のマスクデータ９２によって注目層３０－１の固定係数が設定されればよい。

【0058】

次に、本実施形態に係る注目層を含むモデルの第８例について図１４を参照して説明する。
図１４では、入力される医用データとして超音波データの３次元データ、つまりボリュームデータ１４０１を想定する。ボリュームデータ１４０１に関する注目層３０－１は、例えば、ボリュームデータに対するマスクデータ、セグメンテーションデータ、アノテーションデータに対応する固定係数をパラメータとして含む。図１３の例では、ボリュームデータ１４０１に対して学習済みモデル３０が適用される。学習済みモデル３０の注目層３０－１では、例えば、腫瘍部分を関心領域（関心ボクセル）とするボリュームデータに対するマスクデータ１４０２が設定される。これにより、ボリュームデータ１４０１に対しても、図１１および図１２に示すような２次元画像の場合と同様に、マスクデータにより設定される領域を中心として推論が実行される。

【0059】

上述のように、どのような医用データに対しても、図３から図１０までに示すモデルの実施例である第１例から第５例までのいずれでも適用できる。すなわち、例えば、ＭＲ画像９１などの医用画像やボリュームデータ１４０１に対しても、既知の注目情報に関する注目層３０－１と未知の注目情報に関する注目層５１とを組み合わせてモデルを訓練してもよいし、モデルにおける注目層３０－１の組み込み位置を自由に変更してもよい。

【0060】

なお、上述の例では、固定係数として、注目分子および注目領域に関するマスクデータ、セグメンテーションデータなどを想定するが、これに限らず、医用データを収集した医用画像診断装置の撮像に関するパラメータに基づく値であってもよい。例えば、医用画像診断装置がＭＲＩ装置であれば、固定係数は、磁気共鳴物理に関する、磁場不均一に関するデータ、ＭＲＩ装置におけるコイルの送信感度データおよび受信感度データに対応する値であってもよい。

【0061】

次に、本実施形態に係る注目層を含むモデルの第９例について図１５を参照して説明する。
図１５に示すように、学習済みモデルのうちの出力層３０－３を除いた学習済みモデルのレイヤ構成を用いて、分類タスク以外の手法にも応用することができる。例えば、出力層として、アップサンプリングを行う処理層（例えば、デコーダ）を配置する、またはＵ－ｎｅｔのようなネットワークを用いることで、注目層３０－１を含むレイヤ構成を用いて、画像再構成を実行することもできる。または、画像に対するデノイズ処理、セグメンテーション処理、超解像処理などに利用してもよい。すなわち、本実施形態に係る注目層３０－１を含む学習済みモデルに対して出力層３０－３の構成を切り替える、つまり、いわゆるヘッドを切り替えることで、複数のタスクに適用可能となり、所望のタスクに対する処理を実行できる。

【0062】

以上に示した本実施形態によれば、医用データに対して、注目情報に対応付けられた固定係数の演算処理を行う関数を１以上備える機械学習モデルまたは学習済みモデルなどの合成関数を用いることにより、医学的結果分類などの推論結果を出力データとして生成する。これにより、例えば学習済みモデルを用いた推論において、医用データに固定係数が重要な領域に関する固定係数が乗算されることで、当該重要な領域に関する情報を組み込み、当該重要な領域について重点的な推論が実行される。すなわち、モデルの精度を向上させることができる。

【0063】

以上説明した少なくとも１つの実施形態によれば、医用データを使用した医学的分類の精度の向上することができる。

【0064】

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

【0065】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0066】

１ 医用データ処理装置
１０ 処理回路
１１ メモリ
１２ 入力インタフェース
１３ 通信インタフェース
１４ ディスプレイ
３０ 学習済みモデル
３０－１ 注目層
３０－２ 中間層
３０－３ 出力層
３１ 医用データ
３２，４２ 医学的分類結果
４１ ＭＲＳデータ
４３－１ シミュレーションデータ
４３－２ 波形データ
５０ 機械学習モデル
５１，６１ 注目層
５１－１ 合成スペクトル
５２，６２－２ チャネル
６２－１ 合成スペクトル
８０ 入力層
９１ ＭＲ画像
９２，１４０２ マスクデータ
１０１ 取得機能
１０２ 設定機能
１０３ モデル実行機能
１０４ 表示制御機能
１０５ モデル訓練機能
１０６ 表示制御機能
１４０１ ボリュームデータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】