(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-25
(45)【発行日】2023-09-04
(54)【発明の名称】医用データ処理装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20230828BHJP
A61B 5/055 20060101ALI20230828BHJP
G06T 1/00 20060101ALI20230828BHJP
G16H 30/40 20180101ALI20230828BHJP
【FI】
A61B6/03 360J
A61B5/055 380
G06T1/00 290C
G16H30/40
(21)【出願番号】P 2019219788
(22)【出願日】2019-12-04
【審査請求日】2022-08-30
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】竹島 秀則
【審査官】下村 一石
(56)【参考文献】
【文献】特開2019-181226(JP,A)
【文献】国際公開第2018/187020(WO,A1)
【文献】国際公開第2018/098077(WO,A1)
【文献】特開2019-093126(JP,A)
【文献】米国特許出願公開第2019/0164642(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14
A61B 5/055
G06T 1/00
G16H 30/40
(57)【特許請求の範囲】
【請求項1】
一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する生成部と、
前記複数の第一の医用画像に基づいて、第二の医用画像と前記第二の医用画像に関する第一の信頼度とを出力する出力部と、
を具備する医用データ処理装置。
【請求項2】
前記第二の医用画像は、前記複数の第一の医用画像を用いて生成される医用画像である、請求項1記載の医用データ処理装置。
【請求項3】
前記第一の信頼度は、前記複数の第一の医用画像間のばらつきに応じた情報である、請求項1記載の医用データ処理装置。
【請求項4】
前記第一の信頼度は、前記複数の第一の医用画像の同一画像領域毎の信頼度を含む、請求項1記載の医用データ処理装置。
【請求項5】
前記第一の信頼度は、前記複数の第一の医用画像に亘る画素値の同一画像領域における変動を評価する、請求項1記載の医用データ処理装置。
【請求項6】
前記出力部は、前記複数の第一の医用画像に、第二の機械学習モデルを適用して、前記第一の信頼度と前記第二の医用画像とを出力し、
前記第二の機械学習モデルは、入力としての複数の第一の医用画像と、出力としての当該複数の第一の医用画像に基づく第二の医用画像及び当該第二の医用画像に関する第一の信頼度とに基づいて学習される、
請求項1記載の医用データ処理装置。
【請求項7】
前記入力としての前記複数の第一の医用画像は、磁気共鳴イメージングにおける励起回数分の複数のM
R画像であり、
前記出力としての前記第二の医用画像は、前記複数のMR画像に基づく加算平均画像又は加算画像である、
請求項6記載の医用データ処理装置。
【請求項8】
前記第二の医用画像と前記第一の信頼度とを表示する表示部を更に備える、請求項1記載の医用データ処理装置。
【請求項9】
前記第二の医用画像と前記第一の信頼度とに、第三の機械学習モデルを適用して、前記第二の医用画像に対する前記第三の機械学習モデルによる画像認識の処理結果と前記処理結果に関する第二の信頼度とを出力する機械学習処理部を更に備える、請求項1記載の医用データ処理装置。
【請求項10】
前記第二の信頼度は、前記画像認識が臓器分類である場合、分類結果に対する信頼度に関する、請求項9記載の医用データ処理装置。
【請求項11】
前記第二の信頼度は、前記画像認識が疾患判定である場合、判定結果に対する信頼度に関する、請求項9記載の医用データ処理装置。
【請求項12】
前記第二の信頼度が閾値よりも低い場合、磁気共鳴イメージングの制御部に追加収集を指示する指示部を更に備える、請求項9記載の医用データ処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用データ処理装置に関する。
【背景技術】
【0002】
医用画像診断において、ディープニューラルネットワーク(DNN:Deep Neural Network)を利用した、生データから医用画像へ再構成(DNN再構成)する方法が提案されている。しかしながら、DNN再構成により得られた医用画像の信頼度を測る方法は確立されておらず、その医用画像がどの程度信頼できるかは不明である。
【先行技術文献】
【特許文献】
【0003】
【文献】米国特許出願公開第2019/0336033号明細書
【文献】国際公開第2017/031088号
【文献】米国特許出願公開第2019/0150857号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、機械学習モデルを利用して生成された医用画像の信頼性を高めることである。
【課題を解決するための手段】
【0005】
実施形態に係る医用データ処理装置は、生成部と出力部とを有する。生成部は、一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する。出力部は、前記複数の第一の医用画像に基づいて、第二の医用画像と前記第二の医用画像に関する第一の信頼度とを出力する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、第1実施形態に係る医用データ処理装置の構成を示す図である。
【
図2】
図2は、第1実施形態に係る処理回路によるDNN再構成処理の典型的な流れを示す図である。
【
図3】
図3は、
図2のステップSA2において使用される第一の生成方法を模式的に示す図である。
【
図4】
図4は、
図2のステップSA2において使用される第二の生成方法を模式的に示す図である。
【
図5】
図5は、
図2のステップSA3において使用される、DNN再構成画像と再構成信頼度との第一の出力方法を模式的に示す図である。
【
図6】
図6は、再構成信頼度の概念を説明するための図である。
【
図7】
図7は、
図2のステップSA3において使用される、DNN再構成画像と再構成信頼度との第二の出力方法を模式的に示す図である。
【
図8】
図8は、DNN再構成画像と再構成信頼度マップとを含む表示画面の一例を示す図である。
【
図9】
図9は、第2実施形態に係る医用データ処理装置の構成を示す図である。
【
図10】
図10は、臓器分類DNNの入出力を模式的に示す図である。
【
図11】
図11は、疾患判定DNNの入出力を模式的に示す図である。
【
図12】
図12は、第2実施形態に係る処理回路による再構成信頼度の利用処理の典型的な流れを示す図である。
【
図13】
図13は、疾患判定結果と疾患判定信頼度とを含む表示画面の一例を示す図である。
【
図14】
図14は、変形例に係るDNN再構成処理の流れを模式的に示す図である。
【発明を実施するための形態】
【0007】
以下、図面を参照しながら本実施形態に係る医用データ処理装置を説明する。
【0008】
本実施形態に係る医用データ処理装置は、医用データを処理するコンピュータである。医用データは、医用装置により収集された生データ又は医用画像データである。医用装置は、例えば、医用画像診断装置である。医用画像診断装置は、X線コンピュータ断層撮影装置(X線CT装置)、磁気共鳴イメージング装置(MRI装置)、X線診断装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission CT)装置、超音波診断装置、光干渉断層撮影装置(眼底カメラ)及び光超音波診断装置等の単一モダリティ装置であってもよいし、PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置等の複合モダリティ装置であってもよい。あるいは、医用装置は、医用画像診断装置と共に補助的に利用される光学カメラ装置や、カテーテルに取り付けられた光学カメラ装置であってもよい。
【0009】
医用画像診断装置がX線CT装置である場合、X線CT装置の架台は、X線管とX線検出器とを被検体回りに回転させながらX線管から被検体にX線を照射し、被検体を透過したX線をX線検出器により検出する。X線検出器においては、検出されたX線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりA/D変換等の信号処理が施される。A/D変換後の電気信号は投影データ又はサイノグラムデータと呼ばれる。投影データ又はサイノグラムデータは、生データの一種である。
【0010】
医用画像診断装置がMRI装置である場合、MRI装置の架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したRFパルスの印加とを繰り返す。RFパルスの印加に起因して被検体から放出されたMR信号が放出される。放出されたMR信号は、受信コイルを介して受信される。受信されたMR信号は、受信回路によりA/D変換等の信号処理が施される。A/D変換後のMR信号は、k空間データと呼ばれる。k空間データは、生データの一種である。
【0011】
医用画像診断装置が超音波診断装置である場合、超音波診断装置の超音波プローブは、複数の超音波振動子から被検体体内に超音波ビームを送信し、被検体体内から反射された超音波を超音波振動子を介して受信する。超音波振動子は、受波した超音波の音圧に応じた波高値を有する電気信号を発生する。当該電気信号は、超音波プローブ等に設けられたA/D変換器によりA/D変換が施される。A/D変換後の電気信号は、エコーデータと呼ばれる。エコーデータは、生データの一種である。
【0012】
医用画像診断装置がPET装置である場合、PET装置の架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する511keVの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータ又はサイノグラムデータと呼ばれる。コインシデンスデータ又はサイノグラムデータは、生データの一種である。
【0013】
医用画像診断装置がX線診断装置である場合、X線診断装置は、Cアームに設けられたX線管から発生する。当該Cアームに又は当該Cアームとは独立に設けられたFPD(Flat Panel Display)等のX線検出器により、X線管から発生され被検体を透過したX線を受信する。X線検出器は、検出されたX線の線量に応じた波高値を有する電気信号を発生し、当該電気信号に、A/D変換等の信号処理を施す。A/D変換後の電気信号は投影データ又はX線画像データと呼ばれる。投影データ又はX線画像データは、コーンビームCT等の場合、生データとしても用いられる。よって、投影データ又はX線画像データは、生データの一種である。
【0014】
本実施形態に係る生データは、医用画像診断装置により収集されたオリジナルの生データのみに限定されない。例えば、生データは、医用画像に逆変換処理を施すことにより生成される計算上の生データであってもよい。生データがX線CT装置により収集された場合、逆変換処理は、例えば、順投影処理であり、MRI装置により収集された場合、逆変換処理は、例えば、フーリエ変換処理である。また、本実施形態に係る生データは、オリジナルの生データに対して各種データ処理が施されることにより生成された生データであってもよい。各種データ処理としては、ノイズ低減処理やデータ圧縮処理、解像度分解処理、データ補間処理、解像度合成処理、超解像処理等の如何なる処理であってもよい。
【0015】
(第1実施形態)
図1は、第1実施形態に係る医用データ処理装置1-1の構成を示す図である。医用データ処理装置1-1は、医用装置に含まれるコンピュータでもよいし、医用装置とは別個のコンピュータでもよい。
【0016】
図1に示すように、医用データ処理装置1-1は、処理回路11、通信インタフェース12、表示機器13、入力インタフェース14及び記憶回路15を有する。
【0017】
処理回路11は、CPUやGPU等のプロセッサを有する。当該プロセッサが記憶回路15等にインストールされた各種プログラムを起動することにより、取得機能111、仮再構成画像生成機能112、再構成画像/信頼度出力機能113及び表示制御機能114等を実現する。各機能111-114は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能111-114を実現するものとしても構わない。
【0018】
取得機能111の実現により、処理回路11は、被検体に関する一の生データを取得する。例えば、処理回路11は、医用装置から生データを取得する。処理回路11は、通信インタフェース12や可搬記録媒体等を介して取得した生データを記憶する記憶回路15から取得してもよい。本実施形態に係る処理対象の一の生データは、画像再構成に必要なデータ範囲の生データの集合である。例えば、生データがX線コンピュータ断層撮影装置により収集される投影データである場合、処理対象の一の生データは、回転フレーム1回転分のビュー数の投影データを含む。また、生データが磁気共鳴イメージング装置により収集されるk空間データである場合、処理対象の一の生データは、一のk空間を充填するのに必要なk空間軌跡数及び/又は範囲のk空間データを含む。
【0019】
仮再構成画像生成機能112の実現により、処理回路11は、一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する。第一の機械学習モデルは、一の生データを入力とし、当該一の生データに対応する第一の医用画像を出力とするように学習された機械学習モデルである。以下、仮再構成画像生成機能112により生成される第一の医用画像を仮再構成画像とも呼ぶ。生成される複数の仮再構成画像は、共通の一の生データに基づく医用画像であるため、複数の仮再構成画像には、例えば、被検体の略同一の解剖学的部位が描出される。
【0020】
機械学習モデルは、複数の調整可能な要素の組合せにより定義される合成関数により表されるニューラルネットワークである。調整可能な要素としては、例えば、合成関数を構成する要素、例えば、係数集合やネットワーク構成等を含む。ネットワーク構成は、例えば、ノード(ニューロン)間の接続の体系である。ニューラルネットワークは、2以上の層、典型的には、入力層、複数の中間層及び出力層を有する多層のネットワークモデル(DNN:Deep Neural Network)により実現されるとよい。機械学習モデルは、プログラムとして実装されてもよいし、ASIC等のプロセッサに物理的に実装されてもよい。
【0021】
再構成画像/信頼度出力機能113の実現により、処理回路11は、複数の第一の医用画像に基づいて、第二の医用画像と当該第二の医用画像に関する第一の信頼度とを出力する。第一の信頼度は、第二の医用画像の信頼度に関するデータであり、複数の第一の医用画像に基づくデータである。以下、再構成画像/信頼度出力機能113により出力される第二の医用画像をDNN再構成画像とも呼ぶ。また、再構成画像/信頼度出力機能113により出力される第一の信頼度を再構成信頼度とも呼ぶ。DNN再構成画像は、複数の仮再構成画像を用いて生成される医用画像である。DNN再構成画像には、例えば、複数の仮再構成画像に描出される当該被検体の解剖学的部位と略同一部位が描出される。再構成信頼度は、複数の仮再構成画像間のばらつきに応じた情報である。
【0022】
表示制御機能114の実現により、処理回路11は、種々の情報を、表示機器13を介して表示する。例えば、処理回路11は、第二の医用画像(DNN再構成画像)と第一の信頼度(再構成信頼度)とを表示する。また、処理回路11は、複数の第一の医用画像のうちの1以上の第一の医用画像を表示してもよい。表示の際、処理回路11は、医用画像に対して階調処理や拡大縮小等の任意の画像表示処理を行うことが可能である。また、医用画像が3次元画像である場合、処理回路11は、医用画像に3次元画像処理を施して2次元の画像データに変換することも可能である。3次元画像処理として、例えば、ボリュームレンダリングやサーフェスボリュームレンダリング、画素値投影処理、MPR(Multi-Planer Reconstruction)処理、CPR(Curved MPR)処理等が実行可能である。
【0023】
通信インタフェース12は、LAN(Local Area Network)等を介して医用装置と、ワークステーションやPACS(Picture Archiving and Communication System)、HIS(Hospital Information System)、RIS(Radiology Information System)等とを接続するインタフェースである。ネットワークIFは、各種情報を接続先のワークステーション、PACS、HIS及びRISとの間で送受信する。
【0024】
表示機器13は、処理回路11の表示制御機能114に従い種々の情報を表示する。表示機器13としては、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。また、表示機器13は、プロジェクタでもよい。
【0025】
入力インタフェース14は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路11に出力する。具体的には、入力インタフェース14は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース14は、当該入力機器への入力操作に応じた電気信号を処理回路11へ出力する。また、入力インタフェース14に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。また、入力インタフェース14は、マイクロフォンにより収集された音声信号を指示信号に変換する音声認識装置でもよい。
【0026】
記憶回路15は、種々の情報を記憶するROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。記憶回路15は、例えば、生データや各種医用画像、各種機械学習モデルを記憶する。記憶回路15は、上記記憶装置以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。記憶回路15は、医用データ処理装置1-1にネットワークを介して接続された他のコンピュータ内にあってもよい。
【0027】
次に、第1実施形態に係る医用データ処理装置1-1の詳細について説明する。
【0028】
以下、説明を具体的に行うため、機械学習モデルはDNNであるとする。そして、仮再構成画像生成機能112において使用される、一の生データを入力とし、当該一の生データに対応する仮再構成画像を出力とするように学習された機械学習モデルを仮再構成DNNと呼ぶことにする。また、処理対象の生データは、磁気共鳴イメージング装置により収集されたものであるとする。この場合、処理対象の生データは、k空間データである。
【0029】
DNN再構成処理において処理回路11は、まず、一の生データに基づいて複数の仮再構成画像を生成し、次に、複数の仮再構成画像に基づいてDNN再構成画像を生成する。このようなDNN再構成処理により生成されたDNN再構成画像の信頼度が出力される。以下、第1実施形態に係るDNN再構成処理について詳細に説明する。
【0030】
図2は、第1実施形態に係る処理回路11によるDNN再構成処理の典型的な流れを示す図である。
【0031】
図2に示すように、処理回路11は、取得機能111の実現により、処理対象の一の生データを取得する(ステップSA1)。例えば、処理回路11は、磁気共鳴イメージング装置から、生データとしてのk空間データを取得する。
【0032】
ステップSA1が行われると処理回路11は、仮再構成画像生成機能112の実現により、仮再構成用の機械学習モデル(仮再構成DNN)を利用して、ステップSA1において取得された生データから複数の仮再構成画像を生成する(ステップSA2)。複数の仮再構成画像の生成方法としては、大きく二種類ある。以下、第一の生成方法及び第二の生成方法について詳細に説明する。
【0033】
図3は、第一の生成方法を模式的に示す図である。
図3に示すように、第一の生成方法においては、N個の第一の仮再構成DNN#k(1<k≦N)が予め生成されている。Nは、2以上であれば特に制限はない。例えば、
図3に示す例ではN=10である。各第一の仮再構成DNN#kは、処理対象の一の生データを入力とし、仮再構成画像#IAkを出力するように学習されたDNNである。複数の仮再構成画像#IAkは互いに要素が異なる。複数の仮再構成DNN#k間で異なる要素としては、上述した、係数及びネットワーク構成のうちの一以上の要素である。
【0034】
例えば、N=10の場合、10個の第一の仮再構成DNN#1-#10が予め生成され、記憶回路15に記憶されている。各第一の仮再構成DNN#1-#10に共通の生データを入力することにより、10個の第一の仮再構成画像IA1-IA10が生成される。10個の第一の仮再構成画像IA1-IA10は、共通の生データに基づく画像であるが、互いに要素が異なる10個の第一の仮再構成DNN#1-#10によりそれぞれ生成されているので、完全に同一ではなく、ある画素の画素値が異なる場合があり、結果的に、画質が異なる場合がある。特に、DNNによる再構成が不安定な画素については、仮再構成画像IA1-IA10に亘り画素値の変動が大きくなる傾向にある。
【0035】
ここで、第一の仮再構成DNNの生成方法について説明する。第一の仮再構成DNNは、医用データ処理装置1-1により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、第一の仮再構成DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0036】
モデル学習装置は、複数の学習サンプルに基づいて、一のDNNに機械学習を行わせて各第一の仮再構成DNNを生成する。学習サンプルは、入力データである生データと、正解データである正解仮再構成画像との組合せである。モデル学習装置は、生データにDNNを適用して順伝播処理を行い、仮再構成画像(以下、推定仮再構成画像と呼ぶ)を出力する。次にモデル学習装置は、推定仮再構成画像と正解仮再構成画像との差分(誤差)を当該DNNに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該DNNの重みやバイアス等の係数(パラメータ)を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、第一の仮再構成DNNが生成される。
【0037】
学習サンプルの入力データとしては、如何なるパルスシーケンスに従いデータ収集されたk空間データが用いられてもよい。学習サンプルの出力データは、当該k空間データに逆フーリエ変換や逐次再構成等の通常の画像再構成を施すことにより生成されるMR画像が用いられればよい。なお、学習サンプルの入力データは、磁気共鳴イメージング装置により収集されたオリジナルのk空間データでもよいし、オリジナルのk空間データがダウンサンプリング等の前処理が施されたk空間データでもよい。
【0038】
複数の第一の仮再構成DNNに亘り要素を異ならせる方法については種々の方法が可能である。例えば、使用する複数の学習サンプルをDNNに入力する順序を異ならせる方法がある。DNNの係数集合の各係数値にはDNNへの学習サンプルの入力順序に対する依存性がある。同一の学習サンプルであっても、複数の未学習DNNに対して入力順序を変えることにより、複数の学習済みDNNの係数値を異ならせることができる。例えば、学習サンプルの入力順序は乱数により決定されればよい。具体的には、まず、処理回路11は、複数の未学習DNNに対して複数の疑似乱数のシード値を割り当てる。処理回路11は、各未学習DNNについて当該シード値に基づいて乱数の数列を生成する。数列に含まれる乱数の個数は学習サンプルの個数に対応し、各乱数は各学習サンプルの入力順位に対応する。すなわち、乱数の数列により各学習サンプルの未学習DNNへの入力順序が決定される。処理回路11は、決定された入力順序に従い複数の学習サンプルを未学習DNNに順番に適用することにより学習済みDNN(第一の仮再構成DNN)の係数値を決定する。異なる入力順序に従い複数の第一の仮再構成DNNの係数値が決定されるので、複数の第一の仮再構成DNNに亘り係数値を異ならせることが可能になる。
【0039】
複数の第一の仮再構成DNN間において要素を異ならせる他の方法としては、ドロップアウトにより消去されるノード(ニューロン)の順番(以下、消去順序と呼ぶ)を異ならせる方法が可能である。DNNの係数集合の各係数値には消去順序に対する依存性がある。ドロップアウトでは、同一の学習サンプルであっても、複数の未学習DNNに対して消去順序を変えることにより、複数の学習済みDNNの係数値を異ならせることができる。
【0040】
例えば、消去順序は、乱数を用いて決定することができる。具体的には、まず、処理回路11は、未学習DNNに含まれる複数層の中からドロップアウトを適用する層を任意に設定する。ドロップアウトを適用する層は特に限定されない。また、処理回路11は、複数の未学習DNNに対して複数の疑似乱数のシード値を割り当てる。次に、処理回路11は、各未学習DNNについて当該シード値に基づいて乱数の数列を生成する。数列に含まれる各乱数は、消去するノードの番号に対応する。すなわち、乱数の数列により各ノードの消去順序が決定される。処理回路11は、決定された消去順序に従いドロップアウトして学習をすることで学習済みDNN(第一の仮再構成DNN)の係数値を決定する。異なる消去順序に従い複数の第一の仮再構成DNNの係数値が決定されるので、複数の第一の仮再構成DNNに亘り係数値を異ならせることが可能になる。
【0041】
複数の第一の仮再構成DNN間では係数の一部を共有してもよい。例えば、以下の手順により、係数の一部を共有した学習が行われる。まず、第一の仮再構成DNN#1について100エポック(epoch)で学習を行い第一の仮再構成DNN#1の係数集合EP1を得る。係数集合EP1のうちの8割程度の係数を固定し残りの2割程度の係数を可変にして100エポック追加して学習を行い、第一の仮再構成DNN#2の係数集合EP2を得る。この手順を繰り返すことにより係数の一部を共有した学習により、N個の第一の仮再構成DNNを生成することができる。
【0042】
なお、要素を異ならせる上記2例においては、乱数により学習サンプルの入力順序やドロップアウトにおけるノードの消去順序を決定するものとしたが、本実施形態はこれに限定されない。例えば、ユーザ等により人為的に学習サンプルの入力順序やドロップアウトにおけるノードの消去順序が決定されてもよい。また、乱数により学習サンプルの入力順序やドロップアウトにおけるノードの消去順序を決定するための関数や規則等により決定されてもよい。
【0043】
図4は、第二の生成方法を模式的に示す図である。
図4に示すように、第二の生成方法において処理回路11は、一の生データに、要素#Ekを変更しながら単一の第二の仮再構成DNNをN回適用して、N個の仮再構成画像を生成する。ここで、kは、N回の反復的な仮再構成DNNの適用処理における反復巡目を示すインデックスである。Nは、2以上であれば特に制限はない。例えば、
図4に示す例ではN=10である。複数の反復巡目に亘り要素#Ekは異なる値に設定される。要素#Ekの種類としては、係数でもよいし、ネットワーク構成でもよい。
【0044】
第二の仮再構成DNNは、処理対象の一の生データを入力とし、仮再構成画像を出力するように学習されたDNNである。第二の仮再構成DNNがテンプレートとして生成されている。第二の仮再構成DNNの一部の要素は、N回の反復的適用処理において変更される要素として設定される。以下、説明を具体的に行うため、変更される要素は、第二の仮再構成DNNのネットワーク構成の一部であるとする。
【0045】
第一巡目において処理回路11は、第一巡目に関するネットワーク構成#E1を決定し、決定されたネットワーク構成#E1を有する第二の仮再構成DNNに生データを適用して仮再構成画像IA1を出力する。上記の通り、本実施形態に係るネットワーク構成は、あるノードと他の層のノードとの接続の体系である。第二巡目において処理回路11は、ネットワーク構成#E1をネットワーク構成#E2に変更し、ネットワーク構成#E2を有する第二の仮再構成DNNに生データを適用して仮再構成画像IA2を出力する。具体的には、テンプレートである第二の仮再構成DNNのネットワーク構成の一部のノード間接続をON又はOFFすることによりネットワーク構成が決定又は変更される。ON又はOFFされるノード間接続は、乱数により決定されてもよいし、任意の関数や規則に従い決定されてもよいし、ユーザ等により人為的に決定されてもよい。あるノードの接続先のノードが32個ある場合、32個のノードに対する全ての接続が変更可能である必要はなく、変更可能な接続先のノードが所定範囲に制限されてもよい。
【0046】
このようにして、ネットワーク構成#Ekの変更と仮再構成画像IAkの出力とがN回繰り返される。例えば、N=10の場合、ネットワーク構成#Ekが10回変更され、各ネットワーク構成#E1-#E10を有する第二の仮再構成DNNに対して共通の生データを入力することにより、10個の第二の仮再構成画像IA1-IA10が生成される。10個の仮再構成画像IA1-10は、共通の生データに基づく画像であるが、使用された第二の仮再構成DNNのネットワーク構成が異なっているので、各画素の画素値が異なる場合があり、結果的に、画質が異なる場合がある。特に、DNNによる再構成が不安定な画素については、仮再構成画像IA1-IA10に亘り画素値の変動が大きくなる傾向にある。
【0047】
ここで、第二の仮再構成DNNの生成方法について説明する。第二の仮再構成DNNは、医用データ処理装置1により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、第二の仮再構成DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0048】
第二の仮再構成DNNの生成方法は各第一の仮再構成DNNの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、DNNに機械学習を行わせて第二の仮再構成DNNを生成する。学習サンプルも、各第一の仮再構成DNNの学習のときに使用されたものと同様である。モデル学習装置は、順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、第二の仮再構成DNNを生成する。
【0049】
第一の生成方法では複数の第一の仮再構成DNNが用いられるので、単一の第二の仮再構成DNNを用いる第二の生成方法に比して、使用するDNNの係数が増えるが、アンサンブル学習効果を享受することができる。反対に、第二の生成方法では単一の第二の仮再構成DNNが用いられるので、複数の第一の仮再構成DNNを用いる第一の生成方法に比して、使用するDNNの係数が少なくて済み、計算コストが少ない。
【0050】
ステップSA2が行われると処理回路11は、再構成画像/信頼度出力機能113の実現により、ステップSA2において生成された複数の仮再構成画像に基づいて、DNN再構成画像と再構成信頼度とを出力する(ステップSA3)。DNN再構成画像は、複数の仮再構成画像に基づく医用画像である。再構成信頼度は、複数の仮再構成画像に基づくDNN再構成画像の信頼度を示すデータである。DNN再構成画像と再構成信頼度との出力方法として、算術演算による第一の出力方法と、機械学習モデルを利用した第二の出力方法とがある。
【0051】
図5は、第一の出力方法を模式的に示す図である。
図5に示すように、処理回路11は、ステップSA2において生成されたN個の仮再構成画像IAk(1≦k≦N)に画像生成処理PR1を施してDNN再構成画像を生成する。Nは、2以上であれば特に制限はない。例えば、
図5に示す例ではN=10である。また、Nは、仮再構成DNNにより出力される仮再構成画像の個数と同一でもよいし、それよりも少なくてもよい。画像生成処理PR1は、特に限定されないが、例えば、加算平均演算や加算演算等により行われる。具体的には、処理回路11は、同一画素における複数の仮再構成画像IAkに亘る画素値の加算平均値又は加算値を算出する。処理回路11は、算出された加算平均値又は加算値を、再構成画像の当該同一画素の画素値に設定する。画素の位置を変えながら上記処理を繰り返すことにより再構成画像が生成される。
【0052】
図5に示すように、処理回路11は、ステップSA2において生成された複数の仮再構成画像IAkに信頼度計算処理PR2を施して再構成信頼度を生成する。再構成信頼度は、ステップSA2において生成された複数の仮再構成画像IAkに基づくDNN再構成画像の信頼度を示すデータである。処理回路11は、複数の仮再構成画像IAkの同一画像領域毎に再構成信頼度を算出する。再構成信頼度は、同一画像領域における複数の仮再構成画像IAkに亘る画素値の変動を評価する。再構成信頼度としては、例えば、標準偏差や標本分散等が挙げられるが、これらに限定されるものではなく、複数の仮再構成画像IAkの同一画像領域毎の画素値の変動の度合いを数値化した指標であれば如何なる指標でもよい。例えば、再構成信頼度は、標準偏差や標本分散に対して所定値を加減乗除した値でもよいし、複数の画素値の平均値等の統計値からの各画素の画素値の差分値でもよい。再構成信頼度が算出される単位である画像領域は、一画素でもよいし、局所的な複数画素からなる画素集合でもよい。
【0053】
図6は、再構成信頼度の概念を説明するための図である。
図6の上段は一連の仮再構成画像IAkを模式的に示す図であり、下段は一連の仮再構成画像IAkに設定された注目画素P1及びP2の画素値のグラフを示す図である。グラフの縦軸は画素値に規定され、横軸は仮再構成画像IAkの番号に規定される。グラフには、画素P1の画素値と画素P2の画素値とがプロットされている。グラフに示すように、画素P1の画素値は、一連の仮再構成画像#Ikに亘り画素値の変動が比較的小さく、画素P2の画素値は、一連の仮再構成画像#Ikに亘り画素値の変動が比較的大きい。
【0054】
上記の通り、DNN再構成画像は、一連の仮再構成画像IAkに基づく画像であり、一例として、一連の仮再構成画像IAkの加算平均画像又は加算画像として得られ、一連の仮再構成画像IAkは、同一の生データに、要素が異なる仮再構成DNNを適用することにより得られる。このように本実施形態に係るDNN再構成においては、生データから一連の仮再構成画像IAkを経由してDNN再構成画像が生成される。このような過程を経て生成されたDNN再構成画像においては、DNN再構成が比較的安定している画素PAについては、一連の仮再構成画像IAkについて画素値の変動が小さく、従って画素P1は信頼度が大きいといえる。DNN再構成が比較的不安定な画素P2については、一連の仮再構成画像IAkについて画素値の変動が大きく、従って画素P2は信頼度が小さいといえる。再構成信頼度は、上記の通り、一連の仮再構成画像IAkの同一画像領域毎の画素値の変動を表すので、DNN再構成画像の信頼度を正確に評価することができる。
【0055】
図7は、DNN再構成画像と再構成信頼度との第二の出力方法を模式的に示す図である。
図7に示すように、第二の出力方法において処理回路11は、再構成DNNを利用して、一連のN個の仮再構成画像IAk(1≦k≦N)からDNN再構成画像と再構成信頼度とを出力する。Nは、2以上であれば特に制限はない。例えば、
図7に示す例ではN=10である。また、Nは、仮再構成DNNにより出力される仮再構成画像の個数と同一でもよいし、それよりも少なくてもよい。再構成DNNは、N個の仮再構成画像IA1-IA10を有する入力データと、N個の仮再構成画像IA1-IA10に基づくDNN再構成画像と当該DNN再構成画像の再構成信頼度とを有する出力データ(正解データ)とに基づいて学習されたDNNである。
【0056】
ここで、再構成DNNの生成方法について説明する。再構成DNNは、医用データ処理装置1により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、再構成DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0057】
再構成DNNの生成方法は各第一の仮再構成DNNの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、DNNに機械学習を行わせて再構成DNNを生成する。学習サンプルは、入力データである複数の仮再構成画像と、正解データである正解DNN再構成画像と正解再構成信頼度との組合せである。モデル学習装置は、複数の仮再構成画像にDNNを適用して順伝播処理を行い、DNN再構成画像(以下、推定DNN再構成画像と呼ぶ)と再構成信頼度(以下、推定再構成信頼度と呼ぶ)を出力する。次にモデル学習装置は、推定DNN再構成画像及び推定再構成信頼度と正解DNN再構成画像及び正解再構成信頼度との差分(誤差)を当該DNNに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該DNNの重みやバイアス等の係数(パラメータ)を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、再構成DNNが生成される。
【0058】
次に、学習サンプルの生成方法について説明する。磁気共鳴イメージングにおいては、NEX(励起回数:number of excitation)の数だけ同一部位に対してデータ収集(以下、NEX収集と呼ぶ)が行われてNEX分のMR画像(以下、NEX画像と呼ぶ)が生成される。NEX分のNEX画像は加算又は加算平均され、単一の加算画像又は加算平均画像が得られる。以下、加算画像と加算平均画像とを特に区別せず単に加算画像と呼ぶことにする。例えば、NEX=10の場合、同一部位に対して10回のNEX収集が行われて10個のNEX画像が生成され、10個のNEX画像に基づき加算画像が得られる。典型的には、複数回のデータ収集に亘り、撮像パラメータは同一に設定されるが、生成されるNEX画像の画質は完全に同一にはならない。加算画像は、各励起回のMR画像の画質の変動が平均化された画像である。そこで、学習サンプルの入力データとしてNEX画像が用いられ、正解DNN再構成画像として加算画像が用いられるとよい。正解再構成信頼度としては、複数の仮再構成画像に基づいて算出された、同一画像領域毎の標準偏差や標本分散等の再構成信頼度が用いられればよい。
【0059】
NEX収集においてはSENSE(sensitivity encoding)法等のパラレルイメージングが行われてもよい。SENSE法における信号雑音比のうちのコイルジオメトリに依存する部分はgファクタと呼ばれている。gファクタは各画素とコイルとの位置関係に応じて決まるため、画素位置に応じて異なる値を有する。すなわち、gファクタは、各画素の画素値に対する信頼度と捉えることができるので、正解再構成信頼度として用いられてもよい。gファクタを正解再構成信頼度として機械学習を行うことにより、再構成DNNを用いてgファクタ類似の再構成信頼度を出力することができる。この場合、再構成信頼度の尺度をgファクタの尺度に揃えることで、gファクタとの比較等をすることが可能である。
【0060】
なお、ステップSA3において処理回路11は、DNN再構成画像と再構成信頼度との両方を出力するように学習された再構成DNNを用いて、DNN再構成画像と再構成信頼度とを取得するものとした。しかしながら、本実施形態はこれに限定されない。例えば、処理回路11は、複数の仮再構成画像を入力としDNN再構成画像のみを出力とするように学習されたDNNを用いて、DNN再構成画像を出力してもよい。この場合、処理回路11は、複数の仮再構成画像に信頼度計算処理PR2を施すことにより再構成信頼度を算出すればよい。また、処理回路11は、複数の仮再構成画像を入力とし再構成信頼度のみを出力とするように学習されたDNNを用いて、再構成信頼度を出力してもよい。この場合、処理回路11は、複数の仮再構成画像に画像生成処理PR1を施すことによりDNN再構成画像を生成すればよい。
【0061】
第一の出力方法によれば、第二の出力方法とは異なり、算術演算により再構成信頼度を得ることができるので、処理対象である複数の仮再構成画像に高感度の再構成信頼度を得ることができる。また、第二の出力方法によれば、第一の出力方法とは異なり、DNNを用いて再構成信頼度を得ることができるので、再構成信頼度の偏りを補正することが可能になる。
【0062】
ステップSA3が行われると処理回路11は、表示制御機能114の実現により、ステップSA3において出力されたDNN再構成画像と再構成信頼度とを表示する(ステップSA4)。処理回路11は、再構成信頼度を、画素と再構成信頼度の数値とを対応づけた表形式で表示してもよいし、再構成信頼度の空間分布(以下、再構成信頼度マップと呼ぶ)の形式で表示してもよい。
【0063】
図8は、DNN再構成画像I11と再構成信頼度マップI12とを含む表示画面I1の一例を示す図である。
図8に示すように、処理回路11は、DNN再構成画像I11と再構成信頼度マップI12とを、例えば、並列的に表示する。再構成信頼度マップI12は、各画素に信頼度に応じたグレー値又は色値等が割り当てられた、再構成信頼度の空間分布である。再構成信頼度マップI12を表示することによりユーザは、DNN再構成画像I11の信頼度を評価することができる。また、再DNN構成画像I11と再構成信頼度マップI12とを表示することによりユーザは、DNN再構成画像I11における再構成信頼度の高い所や低い所を容易に把握することができる。
【0064】
なお、DNN再構成画像I11と再構成信頼度マップI12との表示形態は上記形態のみに限定されない。例えば、処理回路11は、再構成信頼度マップI12をDNN再構成画像I11に重畳してもよい。この際、処理回路11は、再構成信頼度が任意の閾値よりも高い領域又は低い領域を抽出し、抽出された領域に限定して再構成信頼度マップI12をDNN再構成画像I11に重畳してもよい。
【0065】
また、処理回路11は、DNN再構成画像I11のうちの再構成信頼度が閾値よりも低い領域を特定し、特定された領域を、信頼できない領域として、色やフラグ等の視覚効果により強調してもよい。反対に、処理回路11は、DNN再構成画像I11のうちの再構成信頼度が閾値よりも高い領域を特定し、特定された領域を、信頼できる領域として、色やフラグ等の視覚効果により強調してもよい。
【0066】
また、処理回路11は、入力インタフェース14等によりDNN再構成画像I11又は再構成信頼度マップI12上の画素が指定された場合、処理回路11は、当該画素の再構成信頼度の根拠を表示してもよい。例えば、処理回路11は、根拠として、再構成信頼度の数値を表示したり、
図6の下段に示すような、一連の仮再構成画像に亘る当該画素の画素値の変動を示すグラフを表示したりしてもよい。
【0067】
以上により、第一実施形態に係る処理回路11によるDNN再構成処理が終了する。
【0068】
なお、
図2に示すDNN再構成処理の流れは一例であり
図2に示す例に限定されない。例えば、ステップSA2において処理回路11は、仮再構成DNNを利用して複数の仮再構成画像を生成するとしたが、第一実施形態はこれに限定されない。例えば、処理回路11は、NEX収集により得られたNEX画像を仮再構成画像として用いてもよい。具体的には、処理回路11は、複数の励起回各々において収集されたk空間データに逆フーリエ変換や逐次再構成等の通常の再構成演算を施してNEX画像を再構成する。ステップSA3において処理回路11は、複数の励起回にそれぞれ対応する複数のNEX画像を再構成DNNに適用して、当該複数のNEX画像に基づくDNN再構成画像と再構成信頼度とを出力する。この方法によれば、複数のNEX画像に加算処理を施して加算画像を生成する方法に比して、加算演算の偏りを補正することが可能になる。
【0069】
再構成DNNへの入力である仮再構成画像は、一の医用装置により生成される医用画像に限定されず、二以上の医用装置により生成される二以上の医用画像の合成画像でもよい。例えば、PET装置により生成されるPET画像とX線コンピュータ断層撮影装置により生成されるCT画像との合成画像でもよいし、PET装置により生成されるPET画像と磁気共鳴イメージング装置により生成されるMR画像との合成画像でもよい。また、光学カメラ装置により生成される光学画像と、磁気共鳴イメージング装置により生成されるMR画像やX線コンピュータ断層撮影装置により生成されるCT画像との合成画像でもよい。例えば、内視鏡画像とMR画像との合成画像により体内の傷と体外の傷とを対比して観察することも可能である。また、X線ステレオ撮影等により生成される左目用画像と右目用画像との合成画像でもよい。
【0070】
上記の通り、第一実施形態に係る医用データ処理装置1-1は、少なくとも処理回路11を有する。処理回路11は、一の生データに、要素の異なる複数の第一の仮再構成DNNを適用して、又は要素を変えながら第二の仮再構成DNNを複数回適用して、複数の仮再構成画像を生成する。処理回路11は、複数の仮再構成画像に基づいて、DNN再構成画像と再構成信頼度とを出力する。
【0071】
上記の構成によれば、生データから複数の仮再構成画像を経由してDNN再構成画像が生成される。このような過程を経て生成されたDNN再構成画像においては、複数の仮再構成画像に基づく信頼度を定義することにより、DNN再構成画像の信頼度を評価することができる。
【0072】
(第2実施形態)
第2実施形態に係る医用データ処理装置は、第1実施形態により出力された再構成信頼度を利用する。以下、第2実施形態に係る医用データ処理装置について説明する。なお以下の説明において、第1実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
【0073】
図9は、第2実施形態に係る医用データ処理装置1-2の構成を示す図である。
図9に示すように、医用データ処理装置1-2は、処理回路11、通信インタフェース12、表示機器13、入力インタフェース14及び記憶回路15を有する。処理回路11は、取得機能111、仮再構成画像生成機能112、再構成画像/信頼度出力機能113及び表示制御機能114に加え、機械学習処理機能115及び追加収集指示機能116を実現する。
【0074】
機械学習処理機能115の実現により、処理回路11は、DNN再構成画像と再構成信頼度とに、画像認識を行う第三の機械学習モデルを適用して、DNN再構成画像に対する画像認識の処理結果と当該処理結果に関する第二の信頼度とを出力する。以下、第三の機械学習モデルを画像認識DNNと呼び、第二の信頼度を画像認識信頼度と呼ぶことにする。
【0075】
追加収集指示機能116の実現により、処理回路11は、画像認識信頼度が閾値よりも低い場合、磁気共鳴イメージング装置の制御部に生データの追加収集を指示する。磁気共鳴イメージング装置の制御部は、例えば、MR撮像機構によるMR撮像を制御する撮像制御装置である。撮像制御装置は、ハードウェア資源として、CPU等のプロセッサとROMやRAM等のメモリとを有する。撮像制御装置は、傾斜磁場電源、送信回路及び受信回路を同期的に制御し、パルスシーケンスに従い被検体にMR撮像を実行し、当該被検体に関するk空間データを収集する。収集されたk空間データは、医用データ処理装置1-2に供給され、生データとして記憶回路15に記憶される。
【0076】
以下、第2実施形態に係る医用データ処理装置1-2について詳細に説明する。
【0077】
機械学習処理機能115により行われる画像認識は、如何なる種類の画像認識でもよいが、例えば、臓器分類や疾患判定が含まれる。臓器分類のための画像認識DNNを臓器分類DNNと呼び、疾患判定のための画像認識DNNを疾患判定DNNと呼ぶことにする。
【0078】
図10は、臓器分類DNNの入出力を模式的に示す図である。
図10に示すように、臓器分類DNNは、DNN再構成画像と再構成信頼度とに基づいて臓器分類結果と臓器分類結果の画像認識信頼度(以下、臓器分類信頼度と呼ぶ)とを出力とするように学習されたDNNである。DNN再構成画像と再構成信頼度とは、上記の通り、再構成画像/信頼度出力機能113により出力される。臓器分類結果は、臓器分類DNNの種類に応じて種々の形態の出力が可能である。例えば、DNN再構成画像に含まれる各解剖学的構造の分類名を出力可能な臓器分類DNNであれば、臓器分類結果は、各解剖学的構造の分類名である。DNN再構成画像に含まれる特定の解剖学的構造の有無を出力可能な臓器分類DNNであれば、臓器分類結果は、当該特定の解剖学的構造の有無である。DNN再構成画像に含まれる各解剖学的構造の存在領域を出力可能な臓器分類DNNであれば、臓器分類結果は、各解剖学的構造の存在領域が強調されたDNN再構成画像である。
【0079】
臓器分類信頼度は、例えば、連続値又は離散値の数値や当該数値に対応する符号により表される。例えば、「0」は信頼度が低く、「1」は信頼度が高く、「0.5」は信頼度が中間であることを示す。臓器分類信頼度は、臓器分類結果の種類に応じて出力可能である。例えば、臓器分類結果が各解剖学的構造の分類名である場合、臓器分類信頼度は、各分類名であることの信頼度として出力される。例えば、「肺領域」、「肝臓領域」、「心臓領域」等の分類毎に「0」、「1」、「0.5」等の信頼度レベルが出力される。臓器分類結果が特定の解剖学的構造の有無である場合、臓器分類信頼度は、当該解剖学的構造であることの信頼度として出力される。例えば、「肺領域」であることにつき「0」、「1」、「0.5」等の信頼度が出力される。臓器分類結果が各解剖学的構造の存在領域が強調されたDNN再構成画像である場合、画素毎又は画像領域毎に当該解剖学的構造であることの信頼度が出力される。例えば、画素毎に「肺領域」であることにつき「0」、「1」、「0.5」等の信頼度が割り当てられる。
【0080】
ここで、臓器分類DNNの生成方法について説明する。臓器分類DNNは、医用データ処理装置1-2により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、臓器分類DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0081】
モデル学習装置は、複数の学習サンプルに基づいて、DNNに機械学習を行わせて臓器分類DNNを生成する。学習サンプルは、入力データであるDNN再構成画像及び再構成信頼との組合せと、正解データである臓器分類結果(以下、正解臓器分類結果と呼ぶ)と臓器分類信頼度(以下、正解臓器信頼度と呼ぶ)との組合せである。モデル学習装置は、DNN再構成画像及び再構成信頼度との組合せにDNNを適用して順伝播処理を行い、臓器分類結果(以下、推定臓器分類結果と呼ぶ)及び臓器分類信頼度(以下、推定臓器分類信頼度と呼ぶ)の組合せを出力する。次にモデル学習装置は、推定臓器分類結果及び推定臓器分類信頼度の組合せと正解臓器分類結果及び正解臓器分類信頼度の組合せとの差分(誤差)を当該DNNに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該DNNの重みやバイアス等の係数(パラメータ)を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、臓器分類DNNが生成される。
【0082】
正解臓器分類結果及び正解臓器分類信頼度は、例えば、ユーザにより手動的に生成されるとよい。例えば、ユーザは、目視で医用画像から分類対象の臓器に対応する画像領域を特定してアノテーションを付す。アノテーションが付された画像領域が正解臓器分類結果として用いられる。更にユーザは、自身が下した臓器分類を主観で評価し臓器分類信頼度を決定する。例えば、ユーザは、臓器分類に対して完全に自信がない場合、臓器分類信頼度が「0」であると決定したり、臓器分類に対して確信がある場合、臓器分類信頼度が「1」であると決定したりする。決定された臓器分類信頼度は正解臓器分類信頼度として当該画像領域に割り当てる。なお、正解臓器分類結果又は正解臓器分類信頼度が画像認識処理により自動的に行われてもよいし、正解臓器分類結果及び正解臓器分類信頼度が画像認識処理により自動的に行われてもよい。
【0083】
図11は、疾患判定DNNの入出力を模式的に示す図である。
図11に示すように、疾患判定DNNは、DNN再構成画像と再構成信頼度とに基づいて疾患判定結果と疾患判定結果の画像認識信頼度(以下、疾患判定信頼度と呼ぶ)とを出力とするように学習されたDNNである。DNN再構成画像と再構成信頼度とは、上記の通り、再構成画像/信頼度出力機能113により出力される。疾患判定結果は、疾患判定DNNの種類に応じて種々の形態の出力が可能である。例えば、DNN再構成画像に含まれる病変の分類名を出力可能な疾患判定DNNであれば、疾患判定結果は、各病変の分類名である。DNN再構成画像に含まれる特定の疾患の有無を出力可能な疾患判定DNNであれば、疾患判定結果は、当該特定の病変の有無である。DNN再構成画像に含まれる各疾患の存在領域を出力可能な疾患判定DNNであれば、疾患判定結果は、各病変の存在領域が強調されたDNN再構成画像である。
【0084】
疾患判定信頼度は、例えば、連続値又は離散値の数値や当該数値に対応する符号により表される。例えば、「0」は信頼度が低く、「1」は信頼度が高く、「0.5」は信頼度が中間であることを示す。疾患判定信頼度は、臓器分類結果と同様、疾患判定結果の種類に応じて出力可能である。
【0085】
ここで、疾患判定DNNの生成方法について説明する。疾患判定DNNは、医用データ処理装置1-2により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、疾患判定DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0086】
モデル学習装置は、複数の学習サンプルに基づいて、DNNに機械学習を行わせて疾患判定DNNを生成する。学習サンプルは、入力データであるDNN再構成画像及び再構成信頼との組合せと、正解データである疾患判定結果(以下、正解疾患判定結果と呼ぶ)と疾患判定信頼度(以下、正解疾患判定信頼度と呼ぶ)との組合せである。モデル学習装置は、DNN再構成画像及び再構成信頼との組合せにDNNを適用して順伝播処理を行い、疾患判定結果(以下、推定疾患判定結果と呼ぶ)及び疾患判定信頼度(以下、推定疾患判定信頼度と呼ぶ)の組合せを出力する。次にモデル学習装置は、推定疾患判定結果及び推定疾患判定信頼度の組合せと正解疾患判定結果及び正解疾患判定信頼度の組合せとの差分(誤差)を当該DNNに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該DNNの重みやバイアス等の係数(パラメータ)を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、疾患判定DNNが生成される。
【0087】
正解疾患判定結果及び正解疾患判定信頼度は、例えば、ユーザにより手動的に生成されるとよい。例えば、ユーザは、医用画像を観察して疾患の分類名を決定する。決定された疾患の分類名が正解疾患判定結果として用いられる。更にユーザは、自身が下した疾患判定を主観で評価し疾患判定信頼度を決定する。例えば、ユーザは、疾患判定に対してあまり自信がない場合、疾患判定信頼度が「0.3」であると決定したり、かなり自信がある場合、疾患判定信頼度が「0.9」であると決定したりする。決定された疾患判定信頼度を、正解疾患判定信頼度として当該分類名に関連付ける。なお、正解疾患判定結果又は正解疾患判定信頼度が画像認識処理により自動的に行われてもよいし、正解疾患判定結果及び正解疾患判定信頼度が画像認識処理により自動的に行われてもよい。
【0088】
図12は、第2実施形態に係る処理回路11による再構成信頼度の利用処理の典型的な流れを示す図である。
【0089】
図12に示すように、処理回路11は、取得機能111の実現により、ステップSA3等により出力されたDNN再構成画像と再構成信頼度とを取得する(ステップSB1)。
【0090】
ステップSB1が行われると処理回路11は、機械学習処理機能115の実現により、画像認識DNNを利用して、DNN再構成画像と再構成信頼度とから、画像認識結果と画像認識信頼度とを出力する(ステップSB2)。例えば、画像認識として臓器分類を行うことが指示された場合、処理回路11は、DNN再構成画像と再構成信頼度とに臓器分類DNNを適用して臓器分類結果と臓器分類信頼度とを出力する。画像認識として疾患判定を行うことが指示された場合、処理回路11は、DNN再構成画像と再構成信頼度とに疾患判定DNNを適用して疾患判定結果と疾患判定信頼度とを出力する。
【0091】
ステップSB2が行われると処理回路11は、表示制御機能114の実現により、ステップSB2において出力された画像認識結果と画像認識信頼度とを表示する(ステップSB3)。例えば、処理回路11は、画像認識結果と画像認識信頼度との表示画面を表示機器13に表示する。
【0092】
ここで、画像認識が疾患判定である場合の表示例について説明する。
【0093】
図13は、疾患判定結果と疾患判定信頼度とを含む表示画面I2の一例を示す図である。
図13に示すように、疾患判定結果として、セグメンテーション画像I21と疾患名I22とが表示される。例えば、DNN再構成画像に基づいて疾患判定DNNにより肺癌の判定がなされた場合、セグメンテーション画像I21には肺癌領域I211が強調されて表示され、疾患名I22として「肺癌」が表示される。疾患判定信頼度I23として、例えば、「60%」が表示される。疾患判定結果に加えて疾患判定信頼度が表示されるのでユーザは、疾患判定結果の信憑性を推し量ることができ、より適格な診断を行うことができる。
【0094】
ステップSB3が行われると処理回路11は、追加収集指示機能116の実現により、画像認識信頼度が閾値よりも小さいか否かを判定する(ステップSB4)。閾値は、特に限定されず、例えば、ユーザ等が画像認識結果を許容できる下限に設定されればよい。
【0095】
画像認識信頼度が閾値よりも小さいと判定された場合(ステップSB4:YES)、処理回路11は、追加収集指示機能116の実現により、磁気共鳴イメージング装置の撮像制御装置に追加収集を指示する(ステップSB5)。追加収集は、画像認識信頼度が低いため、生データを収集し直す等の目的により行われる。撮像制御装置は、追加収集の指示を受けてMR撮像機構を制御すことにより、被検体にMR撮像を施して生データを追加で収集する。追加で収集された生データは、例えば、第1実施形態の通り、再構成画像/信頼度出力機能113によりDNN再構成画像に変換され、機械学習処理機能115により画像認識等に供される。なお、追加で収集された生データは、DNN再構成処理ではなく、フーリエ逆変換や逐次再構成等の解析学的又は統計学的な再構成手法により、再構成画像に変換されてもよい。
【0096】
なお、ステップSB4の判定結果は、
図13に示す表示画面I2の表示欄I24等に表示されるとよい。例えば、画像認識信頼度が閾値よりも小さいと判定された場合、表示欄I24に「追加収集指示をしました」等の追加収集指示を行う旨のメッセージが表示されるとよい。また、画像認識信頼度が閾値よりも大きいと判定された場合、表示欄I24に「疾患判定信頼度が高いので追加収集は行いません」等の追加収集指示を行わない旨のメッセージが表示されるとよい。
【0097】
以上により、第2実施形態に係る処理回路11による再構成信頼度の利用処理が終了する。
【0098】
なお、
図12に示す再構成信頼度の利用処理はこれに限定されず、適宜変更可能である。例えば、ステップSB5においては、画像認識信頼度が閾値より小さい場合、自動的に追加収集指示が行われるとした。しかしながら、ユーザによる入力インタフェース14を介した確定指示がなされたことを契機として処理回路11は、磁気共鳴イメージング装置の撮像制御装置に追加収集指示を行ってもよい。
【0099】
上記の説明の通り、第2実施形態に係る医用データ処理装置1-2は、少なくとも処理回路11を有する。処理回路11は、DNN再構成画像と再構成信頼度とを取得する。処理回路11は、DNN再構成画像と再構成信頼度とに、画像認識DNNを適用して、画像認識結果と画像認識信頼度とを出力する。
【0100】
上記の構成によれば、DNN再構成画像だけでなく再構成信頼度をも加味した、画像認識結果と画像認識信頼度とを出力することができる。よって画像認識結果に対する信頼度を向上させることができる。
【0101】
(変形例)
第1実施形態において、再構成DNNへの入力は、複数の要素に関する複数の第一の仮再構成DNNにより生成された複数の仮再構成画像、又は単一の第二の仮再構成DNNを要素を変えながら複数回適用することにより生成された複数の仮再構成画像であるとした。変形例に係る再構成DNNへの入力は、逐次再構成の過程において生成された医用画像である。以下、変形例に係る医用データ処理装置について説明する。なお以下の説明において、第1実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
【0102】
図14は、変形例に係るDNN再構成処理の流れを模式的に示す図である。
図14に示すように、逐次再構成において処理回路11は、仮再構成画像生成機能112の実現により、生データに逐次再構成を施して、逐次再構成の過程においてN個の中間画像ITk(1≦k≦N)及び最終画像IFを生成する。より詳細には、処理回路11は、画質が所定の停止条件を満たすまで、生データ又は当該生データに基づく中間画像ITkを繰り返し更新し、停止条件を満たした生データに基づく中間画像ITk又は停止条件を満たした中間画像ITkを最終画像として出力する。例えば、
図14に示す例においては、9個の中間画像IT1-IT9がと1個の最終画像IFが生成される。
【0103】
逐次再構成の手法は特に限定されない。例えば、磁気共鳴イメージング装置により収集されたk空間データに適用する逐次再構成としては、圧縮センシング(compressed sensing)がある。
【0104】
圧縮センシングは、例えば、以下の手順により行われる。S1.処理回路11は、アンダーサンプリング収集されたk空間データ(以下、観測k空間データと呼ぶ)に逆フーリエ変換を施して実空間の初期画像を再構成し、初期画像にウェーブレット変換等のスパース変換を施してスパース空間画像を生成する。S2.処理回路11は、スパース空間画像にL1ノルム最小化を施す。S3.処理回路11は、L1ノルム最小化後のスパース空間画像に逆ウェーブレット変換等の逆スパース変換を施して実空間の中間画像を生成する。S4.処理回路11は、中間画像にフーリエ変換を施してk空間データ(以下、計算k空間データと呼ぶ)に変換する。S5.処理回路11は、観測k空間データと計算k空間データとの比較に基づき、計算k空間データの画質が停止条件を満たすか否かを判定する。S6.処理回路11は、停止条件を満たさない場合、計算k空間データを更新する。以下、S1からS6の処理を繰り返し、停止条件を満たすと判定した場合、直前に得られた中間画像を最終画像に設定する。
【0105】
図14に示すように、処理回路11は、再構成画像/信頼度出力機能113の実現により、9個の中間画像IT1-IT9と最終画像IFとを再構成DNNに適用して一のDNN再構成画像と再構成信頼度とを出力する。DNN再構成画像は、9個の中間画像IT1-IT9と最終画像IFとに基づく画像であるため、各中間画像ITkや最終画像IFに比して高画質である。
【0106】
ここで、変形例に係る再構成DNNの生成方法について説明する。再構成DNNは、医用データ処理装置1-1により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、再構成DNNを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。
【0107】
変形例に係る再構成DNNの生成方法は、第一実施形態に係る再構成DNNの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、DNNに機械学習を行わせて再構成DNNを生成する。学習サンプルは、入力データである複数の中間画像及び最終画像と、正解データであるDNN再構成画像(以下、正解DNN再構成画像と呼ぶ)と再構成信頼度(以下、正解再構成信頼度と呼ぶ)との組合せである。モデル学習装置は、複数の中間画像及び最終画像にDNNを適用して順伝播処理を行い、DNN再構成画像(以下、推定DNN再構成画像と呼ぶ)と再構成信頼度(以下、推定再構成信頼度と呼ぶ)を出力する。次にモデル学習装置は、推定DNN再構成画像及び推定再構成信頼度と正解DNN再構成画像及び正解再構成信頼度との差分(誤差)を当該DNNに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該DNNの重みやバイアス等の係数(パラメータ)を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、再構成DNNが生成される。
【0108】
正解DNN再構成画像としては、例えば、入力データである複数の中間画像及び最終画像の生成に用いた生データに任意の再構成法を施すことにより再構成された高画質な再構成画像が用いられるとよい。あるいは、正解DNN再構成画像としては、入力データである複数の中間画像及び最終画像の加算画像又は加算平均画像が用いられてもよい。適切な正解DNN再構成画像を用いて学習を行うことにより、再構成DNNにより出力されるDNN再構成画像の画質を向上させることが可能になる。
【0109】
上記の説明において変形例に係る再構成DNNへの入力は、複数の中間画像及び最終画像であるとした。しかしながら、これに限定されず、例えば、変形例に係る再構成DNNへの入力は、複数の中間画像のみでもよい。また、変形例に係る再構成DNNに入力される複数の中間画像は、逐次再構成の過程において生成された全ての中間画像でもよいし、全ての中間画像のうちの一部の中間画像でもよい。例えば、一般的に画質が良くないと推定される所定反復回以前の中間画像が破棄され、当該所定反復回以後の中間画像が再構成DNNに入力されてもよい。
【0110】
また、上記の説明において変形例に係る再構成DNNは、DNN再構成画像と再構成信頼度とを出力するものとした。しかしながら、本実施例はこれに限定されない。再構成DNNは、逐次再構成の過程において生成された医用画像を入力とし、DNN再構成画像を出力するように学習されたDNNでもよい。また、再構成DNNは、逐次再構成の過程において生成された医用画像を入力とし、再構成信頼度を出力するように学習されたDNNでもよい。
【0111】
変形例に係る再構成DNNは、磁気共鳴イメージング装置により収集されたk空間データだけでなく、X線コンピュータ断層撮影装置により収集された投影データにも適用可能である。X線コンピュータ断層撮影装置により収集された投影データに適用する逐次再構成としては、EM(expectation maximization)法やART(algebraic reconstruction technique)法又はこれらの応用等がある。逐次構成法は、上記方法にFBP(filtered back projection)法やCBP(convolution back projection)法等の解析学的再構成法が組み合わされた方法でもよいし、統計学的モデル、スキャナモデル、解剖学的モデル及び/又は機械学習に基づくノイズ低減が組み込まれた方法が用いられてもよい。
【0112】
変形例に係る医用データ処理装置は、少なくとも処理回路11を有する。処理回路11は、生データを取得し、生データに逐次再構成を実行して中間生成物及び/又は最終生成物である複数の医用画像を生成し、生成された複数の医用画像に機械学習モデルを適用して一のDNN再構成画像を生成する。
【0113】
上記の構成によれば、逐次再構成と再構成DNNとを組み合わせた新たな再構成手法を提供することが可能になる。生成されるDNN再構成画像は、逐次再構成の過程において生成される複数の中間画像及び/又は最終画像に基づく画像であるので、最終画像に比して高画質を期待できる。
【0114】
以上説明した少なくとも1つの実施形態によれば、機械学習モデルを利用して生成された医用画像の信頼性を高めることができる。
【0115】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1及び
図9における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0116】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0117】
1-1…医用データ処理装置
11…処理回路
12…通信インタフェース
13…表示機器
14…入力インタフェース
15…記憶回路
111…取得機能
112…仮再構成画像生成機能
113…再構成画像/信頼度出力機能
114…表示制御機能
115…機械学習処理機能
116…追加収集指示機能