(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-13
(45)【発行日】2023-10-23
(54)【発明の名称】医用データ処理装置、医用データ処理方法及び医用画像診断装置
(51)【国際特許分類】
A61B 5/055 20060101AFI20231016BHJP
A61B 6/03 20060101ALI20231016BHJP
H03M 7/30 20060101ALI20231016BHJP
H03M 7/42 20060101ALI20231016BHJP
【FI】
A61B5/055 376
A61B6/03 360T
A61B6/03 373
H03M7/30 A
H03M7/30 Z
H03M7/42
(21)【出願番号】P 2019152273
(22)【出願日】2019-08-22
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】竹島 秀則
【審査官】永田 浩司
(56)【参考文献】
【文献】特開2016-055157(JP,A)
【文献】特開2006-006797(JP,A)
【文献】米国特許出願公開第2008/0137803(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
A61B 6/00
H03M 7/00
(57)【特許請求の範囲】
【請求項1】
第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の第1の医用データセットを、第2の領域表現により規定される中間データセットを経由して圧縮した圧縮データセットを取得する取得部と、
前記圧縮データセットを、前記複数の第1の医用データセットから前記圧縮データセットへの変換過程に基づいて、前記第1の領域表現により規定される第2の医用データセットに復元する復元部と
、を具備
し、
前記第1の領域表現は、空間領域の次元とコンポーネント領域の次元とを含み、
前記第2の領域表現は、空間周波数領域の次元を含む、
医用データ処理装置。
【請求項2】
前記復元部は、前記複数のコンポーネントと同数又は前記複数のコンポーネントのうちの選択されたコンポーネントについて、前記圧縮データセットを前記第2の医用データセットに復元する、請求項1記載の医用データ処理装置。
【請求項3】
前記復元部は、前記圧縮データセットにエントロピー復号化及び逆量子化を施して前記第2の領域表現により規定される復元中間データセットを生成し、前記復元中間データセットに逆基底変換を施して前記第2の医用データセットを生成する、請求項1記載の医用データ処理装置。
【請求項4】
前記復元部は、前記逆基底変換として、逆直交変換を実行する、請求項
3記載の医用データ処理装置。
【請求項5】
前記復元部は、前記逆基底変換として、中間データセットを入力して第2の医用データセットを出力するように学習された学習済みモデルを使用する、請求項
3記載の医用データ処理装置。
【請求項6】
複数の学習済みモデルと複数の撮像部位とを関連付けて記憶する記憶部を更に備え、
前記復元部は、前記複数の学習済みモデルの中から、前記圧縮データセットに関する撮像部位に関連付けられた学習済みモデルを選択する、
請求項
5記載の医用データ処理装置。
【請求項7】
前記復元部は、X線検出器の列数単位又はエコートレイン数の整数倍のブロック単位で予測を行う、請求項
5記載の医用データ処理装置。
【請求項8】
前記複数の第1の医用データセットは、X線検出器の列数単位又はエコートレイン数の整数倍のブロック単位で生成される、請求項1記載の医用データ処理装置。
【請求項9】
前記複数のコンポーネントは、デュアルエナジースキャンにおける複数の管電圧、フォトンカウンティングCTにおける複数のエネルギービン、磁気共鳴イメージングの複数の受信チャネルに対応する、請求項1記載の医用データ処理装置。
【請求項10】
前記圧縮データセットは、前記複数のコンポーネントの全て又は一部に関する情報を含む、請求項1記載の医用データ処理装置。
【請求項11】
前記複数の第1の医用データセットから前記圧縮データセットを生成する圧縮部を更に備える、請求項1記載の医用データ処理装置。
【請求項12】
第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の第1の医用データセットを、第2の領域表現により規定される中間データセットを経由して圧縮した圧縮データを取得し、
前記圧縮データを、前記複数の第1の医用データセットから前記圧縮データへの変換過程に基づいて、前記第1の領域表現により規定される第2の医用データセットに復元する
、ことを具備
し、
前記第1の領域表現は、空間領域の次元とコンポーネント領域の次元とを含み、
前記第2の領域表現は、空間周波数領域の次元を含む、
医用データ処理方法。
【請求項13】
第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の第1の医用データセットを収集する撮像部と、
前記複数の第1の医用データセットを、第2の領域表現により規定される中間データセットを経由して圧縮して圧縮データを生成する圧縮部と
、を具備
し、
前記第1の領域表現は、空間領域の次元とコンポーネント領域の次元とを含み、
前記第2の領域表現は、空間周波数領域の次元を含む、
医用画像診断装置。
【請求項14】
前記圧縮データを、前記複数の第1の医用データセットから前記圧縮データへの変換過程に基づいて、前記第1の領域表現により規定される第2の医用データセットに復元する復元部と、
前記第2の医用データセットに基づいて医用画像を再構成する再構成部と、
前記医用画像を表示する表示部と、を更に備える、
請求項
13記載の医用画像診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用データ処理装置、医用データ処理方法及び医用画像診断装置に関する。
【背景技術】
【0002】
医用データのデータ量の増大に伴い医用データの圧縮及び復元が行われている。X線CT(Computed Tomography)におけるデュアルエナジー(Dual Energy)スキャンやMRI(Magnetic Resonance Imaging)における複数の受信チャネルを使用したデータ収集により、マルチコンポーネントの医用生データが収集される。このようなマルチコンポーネントの医用生データはデータ量が膨大であり、圧縮及び復元の更なる効率化が望まれている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2014-79443号公報
【文献】特開2018-161349号公報
【非特許文献】
【0004】
【文献】鎌本優、守谷建弘、西本卓也、嵯峨山茂樹著、『チャネル間相関を用いた多チャネル信号の可逆圧縮符号化』、情報処理学会論文誌、Vol.46、No.5、May 2005
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が解決しようとする課題は、マルチコンポーネントの医用データに対する圧縮及び/又は復元の効率を向上することである。
【課題を解決するための手段】
【0006】
実施形態に係る医用データ処理装置は、第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の第1の医用データセットを、第2の領域表現により規定される中間データセットを経由して圧縮した圧縮データを取得する取得部と、前記圧縮データを、前記複数の第1の医用データセットから前記圧縮データへの変換過程に基づいて、前記第1の領域表現により規定される第2の医用データセットに復元する復元部と、を具備する。
【図面の簡単な説明】
【0007】
【
図1】
図1は、本実施形態に係る医用データ処理装置の構成を示す図である。
【
図2】
図2は、
図1の処理回路による医用生データセットに対する圧縮処理の典型的な流れを示す図である。
【
図5】
図5は、
図2のエントロピー符号化におけるジグザグスキャンの一例を示す図である。
【
図6】
図6は、圧縮用の学習済みモデルの入力と出力との関係を模式的に示す図である。
【
図7】
図7は、撮像部位に応じて圧縮用の学習済みモデルが生成及び記憶されている場合における、処理回路11による医用生データセットの圧縮処理の典型的な流れを示す図である。
【
図8】
図8は、X線検出器チャネルのグループと量子化テーブルとの対応関係を示す図である。
【
図9】
図9は、入力と出力とでコンポーネント数が異なる、圧縮用の学習済みモデルの入力と出力との関係を示す図である。
【
図10】
図10は、
図1の処理回路による圧縮データセットに対する復元処理の典型的な流れを示す図である。
【
図11】
図11は、復元用の学習済みモデルの入力と出力との関係を模式的に示す図である。
【
図12】
図12は、撮像部位に応じて復元用の学習済みモデルが生成及び記憶されている場合における、処理回路11による圧縮データセットに対する復元処理の典型的な流れを示す図である。
【
図13】
図13は、入力と出力とでコンポーネント数が異なる、復元用の学習済みモデルの入力と出力との関係を示す図である。
【
図14】
図14は、変形例1に係る医用画像診断装置の構成を示す図である。
【
図15】
図15は、変形例2に係る医用データ処理システムの構成を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら本実施形態に係る医用データ処理装置、医用データ処理方法及び医用画像診断装置を説明する。
【0009】
本実施形態に係る医用データ処理装置は、医用データを処理するコンピュータである。医用データは、医用画像診断装置により収集された生データ(以下、医用生データと呼ぶ)又は画像データ(以下、医用画像データと呼ぶ)である。医用画像診断装置は、X線コンピュータ断層撮影装置(CT装置)、磁気共鳴イメージング装置(MRI装置)、X線診断装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission CT)装置及び超音波診断装置等の単一モダリティ装置であっても良いし、PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置等の複合モダリティ装置であっても良い。あるいは、医用画像診断装置は、光干渉断層撮影装置(眼底カメラ)や光超音波診断装置であってもよい。
【0010】
医用画像診断装置がCT装置である場合、CT装置の架台は、X線管とX線検出器とを被検体回りに回転させながらX線管から被検体にX線を照射し、被検体を透過したX線をX線検出器により検出する。X線検出器においては、検出されたX線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりA/D変換等の信号処理が施される。A/D変換後の電気信号は投影データ又はサイノグラムデータと呼ばれる。投影データ又はサイノグラムデータは、医用生データの一種である。
【0011】
医用画像診断装置がMRI装置である場合、MRI装置の架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したRFパルスの印加とを繰り返す。RFパルスの印加に起因して被検体から放出されたMR信号が放出される。放出されたMR信号は、受信コイルを介して受信される。受信されたMR信号は、受信回路によりA/D変換等の信号処理が施される。A/D変換後のMR信号は、k空間データと呼ばれる。k空間データは、医用生データの一種である。
【0012】
医用画像診断装置が超音波診断装置の超音波プローブである場合、当該超音波プローブは、複数の超音波振動子から被検体体内に超音波ビームを送信し、被検体体内から反射された超音波を超音波振動子を介して受信する。超音波振動子は、受波した超音波の音圧に応じた波高値を有する電気信号を発生する。当該電気信号は、超音波プローブ等に設けられたA/D変換器によりA/D変換が施される。A/D変換後の電気信号は、エコーデータと呼ばれる。エコーデータは、医用生データの一種である。
【0013】
医用画像診断装置がPET装置である場合、PET装置の架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する511keVの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータ又はサイノグラムデータと呼ばれる。コインシデンスデータ又はサイノグラムデータは、医用生データの一種である。
【0014】
医用画像診断装置がX線診断装置である場合、X線診断装置は、Cアームに設けられたX線管から発生する。当該Cアームに又は当該Cアームとは独立に設けられたFPD(Flat Panel Display)等のX線検出器により、X線管から発生され被検体を透過したX線を受信する。X線検出器は、検出されたX線の線量に応じた波高値を有する電気信号を発生し、当該電気信号に、A/D変換等の信号処理を施す。A/D変換後の電気信号は投影データ又はX線画像データと呼ばれる。投影データ又はX線画像データは、医用生データ又は医用画像データの一種である。
【0015】
本実施形態に係る医用生データは、医用画像診断装置により収集されたオリジナルの生データのみに限定されない。例えば、医用生データは、医用画像データに逆変換処理を施すことにより生成される計算上の医用生データであってもよい。医用生データがCT装置により収集された場合、逆変換処理は、例えば、順投影処理であり、MRI装置により収集された場合、逆変換処理は、例えば、フーリエ変換処理である。
【0016】
図1は、本実施形態に係る医用データ処理装置1の構成を示す図である。
図1に示す医用データ処理装置1は、医用画像診断装置に含まれるコンピュータでもよいし、医用画像診断装置とは別個のコンピュータでもよい。
【0017】
図1に示すように、医用データ処理装置1は、処理回路11、通信インタフェース12、表示機器13、入力インタフェース14及び記憶回路15を有する。
【0018】
処理回路11は、CPUやGPU等のプロセッサを有する。当該プロセッサが記憶回路15等にインストールされた各種プログラムを起動することにより、取得機能111、圧縮機能112、復元機能113、画像生成機能114及び表示制御機能115等を実現する。各機能111~115は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能111~115を実現するものとしても構わない。また、処理回路11は、全ての機能111~115を実現可能である必要はなく、一部の機能が欠落していてもよい。例えば、処理回路11は、圧縮機能112、画像生成機能114及び表示制御機能115の何れか一つが欠落してもよい。
【0019】
取得機能111の実現により、処理回路11は、医用データを取得する。例えば、処理回路11は、医用データとして、医用画像診断装置により収集された医用生データセットを取得する。医用生データセットは、通信インタフェース12や可搬記録媒体等を介して取得されてもよいし、通信インタフェース12や可搬記録媒体等を介して受信した医用生データセットを記憶する記憶回路15から取得されてもよい。また、処理回路11は、圧縮機能112により生成された圧縮データセットを取得してもよい。圧縮データセットは、通信インタフェース12や可搬記録媒体等を介して、医用画像診断装置等の他のコンピュータから取得してもよいし、自装置1により生成され記憶回路15に記憶された圧縮データセットを取得してもよい。
【0020】
より詳細には、処理回路11は、圧縮対象であるマルチコンポーネントの医用生データを取得する。換言すれば、複数のコンポーネントにそれぞれ対応する複数の医用生データセットが取得される。コンポーネントは、物理的には、圧縮対象の各医用生データセットの収集過程に対応する。圧縮対象の複数の医用生データセットは、収集位置が物理的に略同一位置であり且つ収集過程が異なる一群の医用生データセットである。複数のコンポーネントにそれぞれ対応する複数の医用生データセットを収集するためのスキャン方式として、デュアルエナジースキャン、フォトンカウンティングCT、マルチ受信チャネルのデータ収集がある。
【0021】
デュアルエナジースキャンは、X線コンピュータ断層撮影装置やX線診断装置により行われる。デュアルエネジースキャンは、低管電圧及び高管電圧からなる2種の管電圧を交互に切り替えるスキャン方式である。デュアルエネジースキャンにより、複数のコンポーネントにそれぞれ対応する複数の医用生データセットとして、低管電圧に対応する投影データセットと高管電圧に対応する投影データセットとが収集される。
【0022】
フォトンカウンティングCTは、X線コンピュータ断層撮影装置やX線診断装置により行われる。フォトンカウンティングCTは、X線コンピュータ断層撮影装置やX線診断装置のフォトンカウンティング型のX線検出器を介してエネルギービン毎にX線のカウント数を計数するスキャン方式である。フォトンカウンティングCTにより、複数のコンポーネントにそれぞれ対応する複数の医用生データセットとして、複数のエネルギービンにそれぞれ対応する複数の投影データ投影データセットが収集される。例えば、3から16程度のエネルギービンが設けられる。
【0023】
マルチ受信チャネルのデータ収集は、磁気共鳴イメージング装置により行われる。マルチ受信チャネルのデータ収集は、受信回路に含まれる複数の受信チャネルを介してk空間データを収集するデータ収集方式である。マルチ受信チャネルのデータ収集により、複数のコンポーネントにそれぞれ対応する複数の医用生データセットとして、複数の受信チャネルにそれぞれ対応する複数のk空間データセットが収集される。例えば、アレイコイルである場合、4から64程度の受信チャネルが搭載される。
【0024】
一のコンポーネントに対応する医用生データセットは、圧縮対象の医用生データの集合であり、具体的には、画像再構成に必要なデータ範囲の医用生データの集合である。例えば、医用生データがX線コンピュータ断層撮影装置により収集される投影データである場合、一のコンポーネントに対応する医用生データセットは、回転フレーム1回転分のビュー数の投影データを含む。また、医用生データが磁気共鳴イメージング装置により収集されるk空間データである場合、一のコンポーネントに対応する医用生データセットは、一のk空間を充填するのに必要な収集ラインの本数及び/又は範囲のk空間データを含む。
【0025】
なお、医用生データセットはより細分化されてもよい。X線コンピュータ断層撮影装置の場合、医用生データセットは、X線検出器の全列分の投影データの集合ではなく、所定列数分の投影データの集合に区分されてもよい。磁気共鳴イメージング装置の場合、医用生データセットは、FFE(Fast Field Echo)又はFSE(Fast Spin Echo)のブロック毎のリードアウト傾斜磁場の印加回数、換言すれば、エコートレイン数の整数倍のブロック分のk空間データの集合に区分されてもよい。
【0026】
圧縮機能112の実現により、処理回路11は、第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを、第2の領域表現により規定される中間データセットを経由して圧縮した圧縮データセットを生成する。より詳細には、処理回路11は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットに基底変換を施して中間データセットを生成し、生成された中間データセットに量子化及びエントロピー符号化を施して圧縮データセットを生成する。複数のコンポーネントにそれぞれ対応する複数の医用生データセットから中間データセットへの変換は基底変換により行われる。
【0027】
復元機能113の実現により、処理回路11は、圧縮データセットを、複数の医用生データセットから圧縮データセットへの変換過程に基づいて、第1の領域表現により規定される医用生データセット(以下、復元医用生データセットと呼ぶ)に復元する。具体的には、処理回路11は、圧縮データセットにエントロピー復元化及び逆量子化を施して、第2の領域表現により規定される中間データセットを生成し、生成された中間データセットに逆基底変換を施して復元医用生データセットを生成する。
【0028】
画像生成機能114の実現により、処理回路11は、復元医用生データセットに基づいて医用画像データを生成する。より詳細には、処理回路11は、復元医用生データセットに再構成処理を施して医用画像データを生成する。再構成法としては、解析学的再構成法や逐次近似再構成法がある。CT画像再構成に係る解析学的再構成法としては、例えば、FBP(filtered back projection)法、CBP(convolution back projection)法又はこれらの応用がある。MR画像再構成に係る解析学的再構成法としては、例えば、フーリエ変換、逆フーリエ変換又はこれらの応用がある。逐次近似再構成法としては、EM(expectation maximization)法、ART(algebraic reconstruction technique)法又はこれらの応用等がある。逐次近似再構成法は、上記方法にFBPやフーリエ変換等の解析学的再構成法が組み合わされた方法でもよいし、統計学的モデル、スキャナモデル、解剖学的モデル及び/又は機械学習に基づくノイズ低減が組み込まれた方法が用いられてもよい。
【0029】
表示制御機能115の実現により、処理回路11は、画像生成機能114により生成された医用画像データを、表示機器13を介して表示する。この際、処理回路11は、医用画像データに対して階調処理や拡大縮小等の任意の画像表示処理を行うことが可能である。また、画像生成機能114により生成された医用画像データが3次元画像データである場合、処理回路11は、医用画像データに3次元画像処理を施して2次元の画像データに変換することも可能である。3次元画像処理として、例えば、ボリュームレンダリングやサーフェスボリュームレンダリング、画素値投影処理、MPR(Multi-Planer Reconstruction)処理、CPR(Curved MPR)処理等が実行可能である。
【0030】
通信インタフェース12は、医用画像診断装置や他のコンピュータとの間でデータ通信するためのインタフェースである。
【0031】
表示機器13は、処理回路11の表示制御機能115に従い種々の情報を表示する。表示機器13としては、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。また、表示機器13は、プロジェクタでもよい。
【0032】
入力インタフェース14は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路11に出力する。具体的には、入力インタフェース14は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース14は、当該入力機器への入力操作に応じた電気信号を処理回路11へ出力する。また、入力インタフェース14に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。
【0033】
記憶回路15は、種々の情報を記憶するROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。記憶回路15は、例えば、医用生データセットや圧縮データセットを記憶する。記憶回路15は、上記記憶装置以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。記憶回路15は、医用データ処理装置1にネットワークを介して接続された他のコンピュータ内にあってもよい。
【0034】
以下、医用データ処理装置1の動作例について説明する。
【0035】
図2は、処理回路11による医用生データセットの圧縮処理の典型的な流れを示す図である。
図2に示すように、圧縮処理の前段において、処理回路11の取得機能111により、圧縮対象である、複数のコンポーネントにそれぞれ対応する複数の医用生データセットD1が取得される。
【0036】
複数の医用生データセットD1が取得されると、処理回路11は、圧縮機能112の実現により、複数の医用生データセットD1に変換処理を施して圧縮データセットD3を生成する。処理回路11は、空間相関とコンポーネント相関との双方を利用して複数の医用生データセットD1を圧縮する。より詳細には、処理回路11は、複数の医用生データセットD1に含まれる空間領域の冗長性とコンポーネント間の冗長性との双方を低減して圧縮が行われる。
【0037】
具体的には、処理回路11は、まず、複数の医用生データセットD1に基底変換を施してブレンドデータセットD2を生成する(ステップSA1)。
【0038】
図3は、基底変換を模式的に示す図である。なお、
図3において医用生データセットはフォトンカウンティングCTにより収集された投影データであるとする。
図3に示すように、例えば、コンポーネントC1に対応する医用生データセット、コンポーネントC2に対応する医用生データセット及びコンポーネントC3に対応する医用生データセットが取得されるものとする。医用生データセットは、2次元以上の空間領域表現により規定される。例えば、医用生データセットは、
図3に示すように、2次元の場合、第1軸xがX線検出器の列方向又は検出器チャネル方向に規定され、第2軸yはビュー方向に規定される。3次元の場合、医用生データセットは、第1軸がX線検出器の列方向、第2軸がX線検出器の検出器チャネル方向に規定され、第3軸はビュー方向に規定される。
【0039】
まず、
図3の中段に示すように、処理回路11は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを第1の領域表現により規定される情報空間に配置する。第1の領域表現は、空間領域次元とコンポーネント次元とを含む。例えば、2次元の医用生データセットの場合、第1の領域表現の第1軸xはX線検出器の列方向又は検出器チャネル方向、第2軸yはビュー方向、第3軸zはコンポーネント方向に規定される。3次元の医用生データセットの場合、第1の領域表現の第1軸はX線検出器の列方向、第2軸は検出器チャネル方向、第3軸はビュー方向、第4軸はコンポーネント方向に規定される。このように複数の医用生データセットD1は、3次元又は4次元のデータとして表現される。
【0040】
次に、
図3の下段に示すように、処理回路11は、第1の領域表現により規定される情報空間に配置された複数の医用生データセットD1に基底変換を施して、第2の領域表現により規定される単一のブレンドデータセットD2を生成する。基底変換は、空間領域方向及びコンポーネント方向により規定される第1の領域表現を、空間周波数方向により規定される第2の領域表現に変換する処理である。例えば、基底変換として直交変換が行われる。直交変換としては、例えば、離散コサイン変換(DCT:Discrete Cosine Transform)や離散サイン変換、離散フーリエ変換、離散アダマール変換、主成分分析等、直交関係にある如何なる基底の変換が行われてもよい。以下の説明においては、直交変換として離散コサイン変換が行われるものとする。
【0041】
離散コサイン変換においては、まず、処理回路11は、情報空間に配置された複数の医用生データセットD1を所定のマトリクスサイズを有する複数のブロックに分割する。ブロックは、典型的には、第1の領域表現と同一の次元を有する。例えば、第1の領域表現が2次元の空間領域と1次元のコンポーネント領域とからなる3次元である場合、ブロックは3次元構造を有する。この場合、情報空間に配置された複数の医用生データセットD1の集合を複数の3次元ブロックで分割する。第1の領域表現が3次元の空間領域と1次元のコンポーネント領域とからなる4次元である場合、ブロックは4次元構造を有する。この場合、情報空間に配置された複数の医用生データセットD1の集合を複数の4次元ブロックで分割する。
【0042】
処理回路11は、各ブロックに離散コサイン変換を適用し、変換係数を算出する。処理回路11は、算出された変換係数を第2の領域表現の情報空間に配置することによりブレンドデータセットD2を生成する。
【0043】
3次元離散コサイン変換による変換係数F(u、v、w)は以下の式により表現される。ここで、f(j、k、l)は情報空間における点(j、k、l)における医用生データセットの値である。Nはブロックのサイズである。
【0044】
【0045】
変換係数F(u、v、w)はDCT係数とも呼ばれる。DCT係数F(u、v、w)は浮動小数点で表記され、ブレンドデータセットの各点にはDCT係数F(u、v、w)が割り当てられる。なお、4次元離散コサイン変換による変換係数については上記の式に従い拡張可能である。
【0046】
離散コサイン変換は、次元ごとに独立して処理されてもよい。例えば、情報空間が3次元である場合、1次元離散コサイン変換が複数の医用生データセットD1に対してx次元、y次元及びz次元の順番に適用される。なお、x次元、y次元及びz次元の順番に限定されず、例えば、z次元、y次元及びx次元の順番等いかなる順番に行われてもよい。情報空間が4次元である場合も同様に適用可能である。なお、1次元離散コサイン変換による変換係数F(u)は以下の式により表現可能である。
【0047】
【0048】
医用生データセットD1は低周波成分が支配的であるため、ブレンドデータセットD2の低周波領域のDCT係数は比較的大きな値を有するが、高周波領域のDCT係数は略ゼロを有する傾向にある。
【0049】
ステップSA1が行われると処理回路11は、量子化テーブルT1を使用して、ブレンドデータセットD2に対して量子化を行う(ステップSA3)。
【0050】
図4は、量子化を模式的に示す図である。なお、
図4のブレンドデータセットD2と量子化テーブルT1は、図面の簡単のため、紙面の最前面のみ数値を表示している。ブレンドデータセットD2及び量子化テーブルT1の左上方向が低周波領域であり、右下方向が高周波数領域である。ブレンドデータセットD2の各点にはDCT係数が割り当てられている。量子化テーブルT1は、ブレンドデータセットD2と同一のマトリクスサイズを有し、各点に既定のルールに従い予め決定されたテーブル値が割り当てられている。例えば、画像に対する寄与の比較的高い低周波数領域の点に比較的小さな値が割り当てられ、反対に画像に対する寄与の比較的低い高周波数領域の点に比較的大きな値が割り当てられる。
【0051】
図4に示すように、処理回路11は、量子化テーブルT1をブレンドデータセットD2に適用することにより量子化後データセットを生成する。具体的には、同一座標のブレンドデータセットD2のDCT係数を量子化テーブルT1のテーブル値で割ることにより除算値を算出する。そして除算値の小数点以下の端数を切り捨てたり、4捨6入したり、もしくは5より小さい数値を切り捨て5より大きい数値を切り上げる等して整数にする。この整数値を量子化値と呼ぶことにする。整数化により各座標の量子化値のデータ長を削減することができる。具体的には、
図4の左上端の点に着目すると、DCT係数「298」をテーブル値「8」で割ると、除算値「37.25」が得られ、0.5未満を切り捨てることにより、量子化値「37」が得られる。得られた量子化値が量子化後データセットの対応点に割り当てられる。上記処理が各点について行われることにより量子化後データセットが生成される。
【0052】
ステップSA2が行われると処理回路11は、符号化テーブルT2を使用して、量子化後データセットにエントロピー符号化を行う(ステップSA3)。これにより圧縮データセットD3が生成される。具体的には、処理回路11は、まず、3次元の量子化後データセットを所定の軌道でスキャンして1次元の数列(以下、量子化数列と呼ぶ)に並び替え、量子化数列に対してエントロピー符号化を行う。軌道は、例えば、ジグザグスキャンやラスタスキャン等の予め定められた軌道に決定される。
【0053】
図5は、ジグザグスキャンの一例を示す図である。
図5に示すように、ジグザグスキャンの軌道は、低周波領域から高周波領域に向けて量子化後データセットをサンプリングするように決定される。処理回路11は、ジグザグスキャンの軌道に従い量子化後データの各画素の量子化値を特定し、特定した量子化値を当該軌道の始点から終点に沿って1次元に並べ替える。ジグザグスキャンにより、高い値からゼロに向かうように量子化値が配列された量子化数列が得られる。量子化後データセットのうちの低周波領域以外の領域にはゼロ値が割り当てられる傾向にあるので、数列の序盤の区間では非ゼロの量子化値が配列されるが、序盤以降の区間はゼロの量子化値が配列されることとなる。なお、
図5のジグザグスキャンの軌道は一例であり、これに限定されず、厳密に低周波から高周波に向けてスキャンする軌道でもよい。
【0054】
なお、量子化データセットのスキャンの軌道は、標準的な軌道だけでなく、任意に決定されてもよい。例えば、処理回路11は、例えば、50程度の任意数の量子化後データセットの各画素の量子化値を特定し、始点から終点に向けて量子化値が低減するような軌道を決定する。軌道は、具体的には、画素の座標と当該画素のサンプリング順位との関連づけにより規定され、LUTに登録されるとよい。処理回路11は、LUTから軌道を読み出し、読み出した軌道に従って量子化後データセットをスキャンすることにより量子化数列を生成する。
【0055】
なお、量子化データセットの全ての画素がスキャンされる必要はなく、後続の画素の量子化値が全てゼロ値である場合、最後の非ゼロの画素に後続する画素についてはスキャンする必要はない。
【0056】
量子化数列が生成されると処理回路11は、量子化数列を符号化テーブルT2に適用して圧縮データを生成する。エントロピー符号化としては、ハフマン符号化や算術圧縮符号化が用いられる。具体的には、例えば、H.264やJPEG(Joint Photographic Experts Group)等により規定される、可変長コード(VLC:Variable Length Code)やコンテキスト依存適応算術圧縮法が用いられればよい。符号化テーブルT2には、可変長コード又はコンテキスト依存適応算術圧縮法に応じた内容が登録される。可変長コードを用いる場合、量子化値と符号との関係が符号化テーブルT2に登録される。例えば、出現頻度の高い量子化値「ゼロ」が桁数の小さい符号で置き換えられる。このようにして得られた符号の1次元の系列が圧縮データセットである。コンテキスト依存適応算術圧縮法が用いられる場合、コンテキストは、処理対象のブロックに対して物理的に隣接するブロックの値を継承するように設定される。
【0057】
なお、圧縮データセットには、圧縮方法に関する付帯情報が関連付けられてもよい。付帯情報は、復元処理において圧縮データセットから医用生データセットを復元するために用いられる。付帯情報としては、例えば、基底変換の種類や量子化処理の種類、エントロピー符号化の種類、量子化テーブル、符号化テーブル等が用いられるとよい。圧縮データセットは、記憶回路15に記憶されてもよいし、通信インタフェース12等により他のコンピュータに転送され保管等されてもよい。
【0058】
以上により、処理回路11による医用生データセットに対する圧縮処理が終了する。
【0059】
上記の圧縮処理によれば、2次元以上の領域表現により規定される、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを、1次元の符号系列である圧縮データセットに変換することができる。上記の通り、複数のコンポーネントにそれぞれ対応する複数の医用生データセットは、撮像対象が物理的に略同一であり収集過程が異なるデータ群であり、コンポーネントは収集過程に対応する。すなわち、異なるコンポーネントに対応する異なる医用生データセット同士は空間分布が高度に類似する傾向にある。圧縮過程において、これら複数の医用生データセットを纏めて基底変換してブレンドデータセットに変換し、その後、ブレンドデータセットに対し量子化及びエントロピー符号化を行う。空間次元だけでなくコンポーネント次元に関しても基底変換を行うことにより、空間次元の冗長性だけでなくコンポーネント次元の冗長性をも利用した高効率の圧縮が可能になる。
【0060】
なお、上記処理においては、医用画像診断装置により収集された全てのコンポーネントに対応する医用生データセットが圧縮データセットに変換されるとした。しかしながら、本実施形態はこれに限定されない。例えば、医用画像診断装置により収集された全てのコンポーネントに対応する医用生データセットのうちの少なくとも二以上のコンポーネントの医用生データセットが圧縮データセットに変換されればよい。例えば、ステップSA1の前段において、ユーザにより入力インタフェース14を介して選択された圧縮対象のコンポーネントに限定して、ステップSA1-ステップSA3が行われることにより、圧縮対象のコンポーネントの医用生データセットのみが圧縮データセットに変換されてもよい。
【0061】
なお、上記の圧縮処理は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットから圧縮データセットを生成可能であれば如何なる方法でもよく、種々の変形が可能である。以下、圧縮処理の変形例について説明する。
【0062】
上記の圧縮処理の基底変換SA1は、学習済みのニューラルネットワーク(以下、学習済みモデルと呼ぶ)を用いた機械学習により行われてもよい。学習済みモデルは、複数の調整可能な関数及びパラメータ(重み付け行列又はバイアス)の組合せにより定義されるパラメータ付き合成関数を含む。学習済みモデルのネットワーク構成は、入力層、中間層及び出力層を有する多層のネットワークモデル(DNN:Deep Neural Network)により実現されるとよい。学習済みモデルは、プログラムとして実装されてもよいし、ASIC等のプロセッサに物理的に実装されてもよい。
【0063】
図6は、学習済みモデルの入力と出力との関係を模式的に示す図である。
図6に示すように、学習済みモデルは、複数のコンポーネントにそれぞれ対応する複数の医用生データセットD1を入力して、当該複数の医用生データセットに対応するブレンドデータセットD2を出力するように学習されたニューラルネットワークである。学習済みモデルの種類としては、例えば、CNN(Convolutional Neural Network)がよい。
【0064】
学習済みモデルは、医用データ処理装置1により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、学習済みモデルを生成するための、CPU及びGPU等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。モデル学習装置は、複数の学習サンプルを含む学習データに基づいて、ニューラルネットワークに機械学習を行わせて学習済みモデルを生成する。学習サンプルとしては、例えば、入出力とも同一のデータが用意される。モデル学習装置は、入力に対してランダムノイズを付加し、エンコーダネットワークとデコーダネットワークとを組み合わせたオートエンコーダネットワークに入力して学習を行う。エンコーダネットワークはブレンドデータセットを出力する。デコーダネットワークはブレンドデータセットから元のデータを出力する。エンコーダネットワークの出力のデータ量は元のデータ量よりも低く設定される。上記の入出力データに基づいてオートエンコーダネットワークを学習することにより、エンコーダネットワークが、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを入力としブレンドデータセットを出力する学習済みモデルとして生成される。
【0065】
別の方法として、学習サンプルは、入力データである複数のコンポーネントにそれぞれ対応する複数の医用生データセットと、教師データである当該複数の医用生データセットに対応するブレンドデータセットとの組合せである。教師データであるブレンドデータセット(以下、教師ブレンドデータセットと呼ぶ)を陽に与え、複数のコンポーネントにそれぞれ対応する複数の医用生データセットに対して直交変換を施すことにより生成することも可能である。モデル学習装置は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットにニューラルネットワークを適用して順伝播処理を行い、ブレンドデータセット(以下、推定ブレンドデータセット)を出力する。次にモデル学習装置は、推定ブレンドデータセットと教師ブレンドデータセットとの差分(誤差)を当該ニューラルネットワークに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ニューラルネットワークの重み付き行列やバイアス等のパラメータを更新する。順伝播処理、逆伝播処理及びパラメータ更新処理を、学習サンプルを変更しながら繰り返すことにより、学習済みモデルが生成される。
【0066】
学習済みモデルは、被検体の撮像部位に応じて生成及び記憶されてもよい。撮像部位としては、例えば、頭部や胸部、腹部、下肢、心臓、肺、肝臓等の人体の如何なる解剖学的部位でもよい。撮像部位毎の学習済みモデルは、単一の撮像部位に関する学習サンプルに基づきニューラルネットワークを機械学習することにより生成される。撮像部位毎の学習済みモデルは、撮像部位に関する情報に関連付けて記憶回路15に記憶される。
【0067】
図7は、撮像部位に応じて学習済みモデルが生成及び記憶されている場合における、処理回路11による医用生データセットの圧縮処理を模式的に示す図である。
図7に示すように、圧縮処理の前段において、処理回路11の取得機能111により、圧縮対象である、複数のコンポーネントにそれぞれ対応する複数の医用生データセットD1が取得される。また、処理回路11の取得機能111により、複数の医用生データセットD1の被検体に関する撮像部位D5に関する情報が取得される。撮像部位D5に関する情報は、例えば、複数の医用生データセットD1に関連付けられている。
【0068】
複数の医用生データセットD1及び撮像部位D5に関する情報が取得されると、処理回路11は、圧縮機能112の実現により、複数の医用生データセットD1に、機械学習による基底変換(以下、AI基底変換と呼ぶ)を伴う変換処理を施して圧縮データセットD3を生成する。
【0069】
まず、処理回路11は、圧縮機能112により、撮像部位D5に関連付けられた学習済みモデルD6を選択する(ステップSB1)。ステップSB1において処理回路11は、具体的には、記憶回路15に記憶されている複数の学習済みモデルの中から、撮像部位D5に関連付けられた学習済みモデルを選択し、選択された学習済みモデルを読み出す。
【0070】
撮像部位D5が異なっても学習済みモデルのネットワーク構造が同一であり、パラメータ集合が異なる場合がある。この場合、撮像部位D5に関する情報にパラメータ集合を関連付けて記憶回路15に記憶されてもよい。ステップSB1において処理回路11は、記憶回路15に記憶されている複数のパラメータ集合の中から、撮像部位D5に関連付けられたパラメータ集合を選択し、選択されたパラメータ集合を読み出す。そして処理回路11は、読み出したパラメータ集合をニューラルネットワークに設定する。これにより学習済みモデルが選択されることとなる。
【0071】
ステップSB1が行われると処理回路11は、AI基底変換を実行する(ステップSB2)。具体的には、処理回路11は、ステップSB1において選択された学習済みモデルD6を複数の医用生データセットD1に適用してブレンドデータセットD2を生成する。
【0072】
ステップSB2が行われると処理回路11は、量子化テーブルT1を使用して、ブレンドデータセットD2に対して量子化を行い(ステップSB3)、符号化テーブルT2を使用して、量子化後データにエントロピー符号化を行い(ステップSB4)、圧縮データセットD3を生成する。ステップSB3は
図2のステップSA2と同一であり、ステップSB4は
図2のステップSA3と同一である。
【0073】
AI基底変換を実行する場合、医用生データセットの収集過程毎に量子化テーブルT1を変化させてもよい。以下、この実施例について、医用生データセットがX線コンピュータ断層撮影装置によるディアルエナジースキャンにより収集された投影データセットである場合を例に挙げて説明する。なお、医用生データセットは、複数のX線検出器チャネル毎にグループ化されているものとする。
【0074】
図8は、X線検出器チャネルのグループと量子化テーブルとの対応関係を示す図である。
図8に示すように、X線検出器チャネルは、例えば、チャネル方向CHに関して中央部DE0と中間部DE1と端部DE2とにグループ化される。この場合、中央部DE0に対応する量子化テーブルT10、中間部DE1に対応する量子化テーブルT11、端部DE2に対応する量子化テーブルT12が用意される。そして中央部DE0の投影データセットに基づいてブレンドデータセットが生成され、各中間部DE1の投影データセットに基づいてブレンドデータセットが生成され、各端部DE2の投影データセットに基づいてブレンドデータセットが生成される。端部DE2では被検体を透過しない直接X線を検出する傾向にあり、端部DE2により収集された投影データセットは画像にあまり寄与しない傾向にあるので、量子化テーブルT12のテーブル値は比較的大きい値に設定されるとよい。一方、中央部DE0及び中間部DE1では被検体を透過したX線を検出する傾向にあり、中央部DE0及び中間部DE1により収集された投影データセットは画像に寄与する傾向にあるので、量子化テーブルT10及び量子化テーブルT11のテーブル値は比較的小さい値に設定されるとよい。特に、中央部DE0により収集された投影データセットは画像に大きく寄与する傾向にあるので、量子化テーブルT10のテーブル値は、量子化テーブルT11及びT12に比して大きい値に設定される。
【0075】
このように、医用生データセットの物理的な位置に応じて量子化テーブルT1を変更することにより、物理的な位置に応じて最適な圧縮効率を実現することが可能になる。
【0076】
上記の実施例において学習済みモデルは、入力の医用生データセットのコンポーネント数と出力のブレンドデータセットのコンポーネント数とは同一であるとした。しかしながら、本実施形態はこれに限定されない。以下、この実施例について、医用生データセットがX線コンピュータ断層撮影装置によるフォトンカウンティングCTにより収集された投影データである場合を例に挙げて説明する。
【0077】
図9は、入力と出力とでコンポーネント数が異なる学習済みモデルの入力と出力との関係を示す図である。
図9に示す学習済みモデルは、入力のコンポーネント数に比して出力のコンポーネント数が小さく設定される。フォトンカウンティングCTではエネルギービン毎に投影データセットが収集されるが、全てのエネルギービンの投影データセットが必要であるとは限らない。例えば、水を透過したX線フォトンの弁別のための第一のエネルギービン、骨を透過したX線フォトンの弁別のための第二のエネルギービン及びノイズを弁別するための第三のエネルギービンの3つのエネルギービンが設定されるとする。ノイズを弁別するための第三のエネルギービンの投影データセットは、画像化に必要ではないため、圧縮しなくてもよい。そこで、第一、第二及び第三のエネルギービンのうちの第一及び第二のエネルギービンの投影データセットをブレンドデータセットに変換し、第三のエネルギーの投影データセットはブレンドデータセットに変換しないことにより、圧縮効率を更に高めることが可能になる。
【0078】
図9に示す学習済みモデルは、第一、第二及び第三のコンポーネントにそれぞれ対応する第一、第二及び第三の医用生データセットを入力して、第一及び第二の医用生データセットに対応するブレンドデータセットを出力するように学習されたニューラルネットワークである。学習サンプルは、入力データである第一、第二及び第三の医用生データセットと、教師データである第一及び第二の医用生データセットに対応するブレンドデータセットとの組合せである。教師データであるブレンドデータセットは、第一及び第二の医用生データセットに対して直交変換を施すことにより生成される。
【0079】
次に、処理回路11の復元機能113による復元処理について説明する。
【0080】
図10は、
図1の処理回路による圧縮データセットに対する復元処理の典型的な流れを示す図である。復元処理の前段において、処理回路11の取得機能111により、復元対象である圧縮データセットD3が取得される。
【0081】
圧縮データセットD3が取得されると、処理回路11は、復元機能113の実現により、圧縮データセットD3に復元処理を施して複数のコンポーネントにそれぞれ対応する複数の医用生データセットD8を復元する。復元処理は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットD1から圧縮データセットD3への変換過程(圧縮過程)を逆に辿ることにより行われる。以下、復元された医用生データセットを復元医用生データセットと呼ぶことにする。
【0082】
具体的には、処理回路11は、まず、符号化テーブルT3を使用して、圧縮データセットD3にエントロピー復号化を施す(ステップSC1)。ステップSC1において処理回路11は、圧縮データセットD3に関連づけられた、圧縮方法に関する付帯情報を参照してエントロピー復号化を行う。エントロピー復号化により量子化数列が生成される。
【0083】
ステップSC1が行われると処理回路11は、量子化テーブルT4を使用して、量子化数列に逆量子化を施す(ステップSC2)。ステップSC2において処理回路11は、圧縮データセットD3に関連づけられた、圧縮方法に関する付帯情報を参照して逆量子化を行う。逆量子化によりブレンドデータセットD7が生成される。
【0084】
ステップSC2が行われると処理回路11は、ブレンドデータセットD7に逆基底変換を施して復元医用生データセットD8を生成する(ステップSC3)。例えば、処理回路11は、圧縮データセットD3に取り込まれた全てのコンポーネントに対応する復元医用生データセットD8を復元する。また、処理回路11は、圧縮データセットD3に取り込まれた全てのコンポーネントのうちの、任意のコンポーネントに対応する復元医用生データセットD8に限定して復元してもよい。例えば、ユーザにより入力インタフェース14を介して選択された、画像化対象であるコンポーネントに限定して復元医用生データセットD8が復元されればよい。
【0085】
逆基底変換は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットD1からブレンドデータセットD2への基底変換の逆変換である。例えば、ブレンドデータセットD2への基底変換として直交変換が行われた場合、逆基底変換としては逆直交変換が行われる。より具体的には、直交変換として離散コサイン変換が行われた場合、逆直交変換として逆離散コサイン変換が行われる。
【0086】
3次元逆離散コサイン変換による逆変換係数f(j、k、l)は以下の式により表現される。ここで、F(u、v、w)は空間周波数空間における点(u、v、w)におけるブレンドデータセットの値である。Nはブロックのサイズである。なお、空間周波数空間が4次元である場合、下記式を4次元に拡張すればよい。
【0087】
【0088】
逆離散コサイン変換も、離散コサイン変換と同様、次元ごとに独立して処理されてもよい。例えば、空間周波数空間が3次元である場合、1次元逆離散コサイン変換がブレンドデータセットD7に対してfx次元、fy次元及びfz次元の順番に適用される。なお、fx次元、fy次元及びfz次元の順番に限定されず、例えば、fz次元、fy次元及びfx次元の順番等いかなる順番に行われてもよい。空間周波数空間が4次元である場合も同様に適用可能である。なお、1次元逆離散コサイン変換による逆変換係数f(j)は以下の式により表現可能である。
【0089】
【0090】
以上により、処理回路11による圧縮データセットに対する復元処理が終了する。その後、復元医用生データセットに基づいて医用画像データが生成され、適当な画像処理が施されて表示機器13に表示される。
【0091】
上記の復元処理によれば、上記の圧縮処理により生成された1次元の符号系列である圧縮データセットを、上記の圧縮処理の変換過程を利用して、2次元以上の領域表現により規定される、複数のコンポーネントにそれぞれ対応する複数の復元医用生データセットに復元することができる。圧縮データセットは空間次元及びコンポーネント次元の双方に関して高効率で圧縮されているので、上記の圧縮処理の変換過程を利用した復元処理により、空間次元及びコンポーネント次元の双方に関して高効率で復元することができる。
【0092】
なお、上記の復元処理は、圧縮データから復元医用生データセットを生成可能であれば如何なる方法でもよく、種々の変形が可能である。以下、復元処理の変形例について説明する。
【0093】
上記の復元処理の逆基底変換SC3は、学習済みモデルを用いた機械学習により行われてもよい。
【0094】
図11は、復元処理に係る学習済みモデルの入力と出力との関係を模式的に示す図である。
図11に示すように、学習済みモデルは、ブレンドデータセットを入力して、当該圧縮データセットに対応する複数のコンポーネントにそれぞれ対応する複数の医用生データセットを出力するように学習されたニューラルネットワークである。
【0095】
学習済みモデルは、モデル学習装置により生成される。モデル学習装置は、複数の学習サンプルを含む学習データに基づいて、ニューラルネットワークに機械学習を行わせて学習済みモデルを生成する。学習サンプルとしては、例えば、入出力とも同一のデータが用意される。モデル学習装置は、入力に対してランダムノイズを付加し、エンコードネットワークとデコーダネットワークとを組み合わせたオートエンコーダネットワークに入力して学習を行う。エンコードネットワークはブレンドデータセットを出力する。デコーダネットワークはブレンドデータセットから元のデータを出力する。エンコーダネットワークの出力のデータ量を元のデータ量よりも低く設定される。上記の入出力データ基づいてオートエンコーダネットワークを学習することにより、デコーダネットワークが、ブレンドデータセットを入力とし複数のコンポーネントにそれぞれ対応する複数の復元医用生データセットを出力する学習済みモデルとして生成される。
【0096】
別の方法として、学習サンプルは、入力データであるブレンドデータセットと、教師データである当該ブレンドデータセットに対応する、複数のコンポーネントにそれぞれ対応する複数の復元医用生データセットとの組合せである。教師データである複数の復元医用生データセット(以下、教師復元医用生データセットと呼ぶ)を陽に与え、ブレンドデータセットに対して逆直交変換を施すことにより生成することも可能である。モデル学習装置は、ブレンドデータセットにニューラルネットワークを適用して順伝播処理を行い、複数のコンポーネントにそれぞれ対応する複数の医用生データセット(以下、推定復元医用生データセット)を出力する。次にモデル学習装置は、推定復元医用生データセットと教師復元医用生データセットとの差分(誤差)を当該ニューラルネットワークに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ニューラルネットワークのパラメータを更新する。順伝播処理、逆伝播処理及びパラメータ更新処理を、学習サンプルを変更しながら繰り返すことにより、学習済みモデルが生成される。
【0097】
復元用の学習済みモデルも、圧縮用の学習済みモデルと同様、被検体の撮像部位に応じて生成及び記憶されてもよい。撮像部位毎の復元用の学習済みモデルは、単一の撮像部位に関する学習サンプルに基づくニューラルネットワークを機械学習することにより生成される。撮像部位毎の復元用の学習済みモデルは、撮像部位に関する情報に関連付けて記憶回路15に記憶される。
【0098】
図12は、撮像部位に応じて復元用の学習済みモデルが生成及び記憶されている場合における、処理回路11による圧縮データセットに対する復元処理の典型的な流れを示す図である。
図12に示すように、復元処理の前段において、処理回路11の取得機能111により、復元対象である圧縮データセットD3が取得される。また、処理回路11の取得機能111により、圧縮データセットの被検体に関する撮像部位D5に関する情報が取得される。
圧縮データセットD3及び撮像部位D5に関する情報が取得されると、処理回路11は、復元機能113の実現により、圧縮データセットD3に、機械学習による逆基底変換(以下、AI逆基底変換と呼ぶ)を伴う逆変換処理を施して複数のコンポーネントにそれぞれ対応する複数の復元医用生データセットD8を生成する。
【0099】
まず、処理回路11は、符号化テーブルT3を使用して、圧縮データセットD3にエントロピー復号化を施し(ステップSD1)、量子化テーブルT4を使用して、量子化数列に逆量子化を施し(ステップSD2)、ブレンドデータセットD7を生成する。ステップSD1は
図10のステップSC1と同一であり、ステップSD2は
図10のステップSC2と同一である。
一方、処理回路11は、復元機能113により、撮像部位D5に関連付けられた復元用の学習済みモデルD9を選択する(ステップSD3)。ステップSD3において処理回路11は、具体的には、記憶回路15に記憶されている複数の復元用の学習済みモデルの中から、撮像部位D5に関連付けられた復元用の学習済みモデルを選択し、選択された復元用の学習済みモデルを読み出す。
【0100】
撮像部位D5が異なっても学習済みモデルのネットワーク構造が同一であり、パラメータ集合が異なる場合がある。この場合、撮像部位D5に関する情報にパラメータ集合を関連付けて記憶回路15に記憶されてもよい。ステップSD3において処理回路11は、記憶回路15に記憶されている複数のパラメータ集合の中から、撮像部位D5に関連付けられたパラメータ集合を選択し、選択されたパラメータ集合を読み出す。そして処理回路11は、読み出したパラメータ集合を復元用のニューラルネットワークに設定する。これにより復元用の学習済みモデルが選択されることとなる。
【0101】
ステップSD2及びステップSD3が行われると処理回路11は、AI逆基底変換を実行する(ステップSD4)。具体的には、処理回路11は、ステップSD3において選択された復元用の学習済みモデルD9をブレンドデータセットD7に適用して複数のコンポーネントにそれぞれ対応する複数の医用生データセットD8を生成する。
【0102】
以上により、AI逆基底変換を利用した復元処理が終了する。なお、ステップSD3は、ステップSD4が行われる前であれば、如何なる段階で行われてもよい。すなわち、ステップSD3は、ステップSD1の前やステップSD2の前に行われてもよい。
【0103】
上記の実施例において学習済みモデルは、入力のブレンドデータセットのコンポーネント数と出力の復元医用生データセットのコンポーネント数とは同一であるとした。しかしながら、本実施形態はこれに限定されない。以下、この実施例について、医用生データセットがX線コンピュータ断層撮影装置によるフォトンカウンティングCTにより収集された投影データである場合を例に挙げて説明する。
【0104】
図13は、入力と出力とでコンポーネント数が異なる、復元用の学習済みモデルの入力と出力との関係を示す図である。
図13に示す学習済みモデルは、入力のコンポーネント数に比して出力のコンポーネント数が小さく設定される。フォトンカウンティングCTではエネルギービン毎に投影データセットが収集されるが、全てのエネルギービンの投影データセットが必要であるとは限らない。例えば、水を透過したX線フォトンの弁別のための第一のエネルギービン、骨を透過したX線フォトンの弁別のための第二のエネルギービン及びノイズを弁別するための第三のエネルギービンの3つのエネルギービンが設定されるとする。ノイズを弁別するための第三のエネルギービンの投影データセットは、画像化に必要ではないため、復元しなくてもよい。そこで、第一、第二及び第三のエネルギービンのうちの第一及び第二のエネルギービンの投影データセットを復元し、第三のエネルギーの投影データセットは復元しないことにより、復元効率を更に高めることが可能になる。
【0105】
図13に示す学習済みモデルは、第一、第二及び第三のコンポーネントに関するブレンドデータセットを入力して、第一及び第二のコンポーネントにそれぞれ対応する第一及び第二の医用生データセットを出力するように学習されたニューラルネットワークである。学習サンプルは、入力データである第一、第二及び第三のコンポーネントに関するブレンドデータセットと、教師データである第一及び第二の医用生データセットとの組合せである。教師データである第一及び第二の医用生データセットは、第一、第二及び第三のブレンドデータセットに対して直交変換を施すことにより生成され抽出されたものでもよいし、オリジナルの第一及び第二の医用生データセットでもよい。
【0106】
上記例において出力側のコンポーネント数は、入力側のコンポーネント数よりも1少ないものとした。しかしながら、本実施形態はこれに限定されない。例えば、出力側のコンポーネント数は、入力側のコンポーネント数よりも2以上少なくてもよいし、入力側のコンポーネント数に関わらず1でもよい。
【0107】
上記の通り、医用データ処理装置1は、処理回路11を有する。処理回路11は、少なくとも取得機能111と復元機能113とを実現する。取得機能111の実現により、処理回路11は、空間領域次元とコンポーネント次元とを含む第1の領域表現により規定され、複数のコンポーネントにそれぞれ対応する複数の第1の医用データセットを、周波数次元を含む第2の領域表現により規定される中間データセットを経由して圧縮した圧縮データセットを取得する。復元機能113の実現により、処理回路11は、圧縮データセットを、複数の第1の医用データセットから圧縮データセットへの変換過程に基づいて、第1の領域表現により規定される第2の医用データセットに復元する。
【0108】
上記の構成によれば、複数のコンポーネントにそれぞれ対応する複数の医用データセットが、空間相関だけでなくコンポーネント相関を利用することにより、空間領域の冗長性とコンポーネント間の冗長性との双方を低減して高効率で圧縮される。よって複数の医用データセットを高効率で圧縮することができる。また、このような圧縮過程に基づいて圧縮データセットから医用データセットを高効率で復元することができる。
【0109】
(変形例1)
図1に示す医用データ処理装置1は、圧縮機能112と復元機能113との双方を有する処理回路11を搭載するものとした。しかしながら、圧縮機能112と復元機能113とは異なるハードウェア機器に分散して実装されてもよい。以下、変形例1について説明する。なお以下の説明において、本実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
【0110】
図14は、変形例1に係る医用画像診断装置の構成を示す図である。
図14に示すように、変形例1に係る医用画像診断装置は、互いに有線ケーブル又はネットワークを介して接続された医用撮像機構16と医用データ処理装置2とを有する。医用撮像機構16は、上記の医用画像診断装置の撮像機構である。医用データ処理装置2は、医用撮像機構16の制御及び画像再構成等を行うコンソールである。
【0111】
医用撮像機構16は、被検体に各々の撮像原理に応じた医用撮像を施して複数のコンポーネントにそれぞれ対応する複数の医用生データセットを収集する。医用撮像機構16の処理回路は圧縮機能112を有する。圧縮機能112により、医用撮像機構16は、収集された複数の医用生データセットに基づいて圧縮データセットを生成する。医用撮像機構16は、圧縮データセットを、医用データ処理装置2に伝送する。
【0112】
医用データ処理装置2は、処理回路11、通信インタフェース12、表示機器13、入力インタフェース14及び記憶回路15を有する。処理回路11は、CPUやGPU等のプロセッサを有する。当該プロセッサが記憶回路15等にインストールされた各種プログラムを起動することにより、取得機能111、復元機能113、画像生成機能114及び表示制御機能115等を実現する。
【0113】
取得機能111の実現により、処理回路11は、医用撮像機構16から伝送された圧縮データセットを取得する。圧縮データセットは、通信インタフェース12や可搬記録媒体等を介して医用撮像機構16から直接的に取得してもよいし、医用撮像機構16から伝送され記憶回路15に記憶された圧縮データセットを取得してもよい。
【0114】
復元機能113の実現により、処理回路11は、圧縮データセットを、複数の医用生データセットから圧縮データセットへの変換過程に基づいて、第1の領域表現により規定される復元医用生データセットに復元する。
【0115】
画像生成機能114、表示制御機能115、通信インタフェース12、表示機器13、入力インタフェース14及び記憶回路15については、上記実施形態と同様なので、ここでの説明を省略する。
【0116】
以下、変形例1に係る具体例について説明する。
【0117】
医用撮像機構16がX線コンピュータ断層撮影装置の架台である場合、圧縮機能112を実現する処理回路は、回転部に設けられる。回転部において、複数のコンポーネントにそれぞれ対応する複数の投影データセットが圧縮データセットに変換される。デュアルエナジースキャンの場合、複数の管電圧値にそれぞれ対応する複数の投影データセットが圧縮データセットに変換される。圧縮データセットは、固定部を介して医用データ処理装置2に伝送される。そして復元機能113により、圧縮データセットが複数の管電圧値にそれぞれ対応する複数の復元投影データセットに復元され、画像生成機能114により、複数の復元投影データセットに基づき単色X線画像や物質弁別画像等が生成され、表示機器13に表示される。
【0118】
フォトンカウンティングCTの場合、複数のエネルギービンにそれぞれ対応する複数の投影データセットが圧縮データセットに変換される。圧縮データセットは、固定部を介して医用データ処理装置2に伝送される。そして復元機能113により、圧縮データセットが複数のエネルギービンにそれぞれ対応する複数の復元投影データセットに復元され、画像生成機能114により、複数の復元投影データセットに基づき単色X線画像や物質弁別画像等が生成され、表示機器13に表示される。
【0119】
医用撮像機構16が磁気共鳴イメージング装置の架台である場合、圧縮機能112を実現する処理回路は受信回路に設けられる。受信回路において、複数の受信チャネルにそれぞれ対応する複数のk空間データセットが圧縮データセットに変換される。圧縮データセットは、固定部を介して医用データ処理装置2に伝送される。そして復元機能113により、圧縮データセットが複数の管電圧値にそれぞれ対応する複数の復元k空間データセットに復元され、画像生成機能114により、複数の復元k空間データセットに基づきMR画像が生成され、表示機器13に表示される。
【0120】
上記の通り、変形例1によれば、医用撮像機構16は、圧縮データを伝送するので、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを伝送する場合に比して、伝送するデータ量を削減することができる。これにより、高速にデータ伝送することができ、また、伝送設備を簡略化することが可能になる。また、医用データ処理装置2に復元機能113を搭載することにより、医用データ処理装置2により圧縮データセットに基づき医用画像を生成して表示等することできる。
【0121】
(変形例2)
複数のコンポーネントにそれぞれ対応する複数の医用生データセットが機械学習の学習サンプルとして用いられる場合がある。機械学習のためには多量の学習サンプルが必要であるため、学習サンプルの保存には多量の記憶領域を要する。変形例2に係る医用データ処理システムは、学習サンプルを生成する各医用画像診断装置に圧縮機能112を搭載し、モデル学習装置に復元機能113を搭載する。以下、変形例2に係る医用データ処理システムについて説明する。なお以下の説明において、本実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
【0122】
図15は、変形例2に係る医用データ処理システムの構成を示す図である。
図15に示すように、変形例2に係る医用データ処理システムは、複数の医用画像診断装置4A,4B,4C、データベース5及びモデル学習装置6を有する。なお、
図15において医用画像診断装置は医用画像診断装置4A、医用画像診断装置4B及び医用画像診断装置4Cの3台であるとしているが、医用データ処理システムに設けられる医用画像診断装置4の台数については特に限定はなく、2台以下でもよいし、4台以上でもよい。以下、医用画像診断装置4A、医用画像診断装置4B及び医用画像診断装置4Cを区別せず、単に医用画像診断装置4と称することにする。
【0123】
医用画像診断装置4は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを収集する。各医用画像診断装置の種類は同一でもよいし異なっていてもよい。医用画像診断装置4は、圧縮機能112の実現により、複数の医用生データセットに圧縮処理を施して圧縮データセットを生成する。生成された圧縮データセットと当該圧縮データセットに基づく複数の医用生データセットとが学習サンプルとしてはデータベース5に伝送される。なお、学習サンプルに含まれる複数の医用生データセットには可逆圧縮が施されてもよい。
【0124】
データベース5は、医用画像診断装置4から伝送された圧縮データセットと当該圧縮データセットに基づく複数の医用生データセットとを有する学習サンプルを保存する大容量記憶装置又は当該大容量記憶装置を装備するコンピュータである。
【0125】
モデル学習装置6は、上述の通り、複数の学習サンプルを含む学習データに基づいて、ニューラルネットワークに機械学習を行わせて学習済みモデルを生成するコンピュータである。変形例2に係るモデル学習装置6は、復元機能113の実現により、一の学習サンプルに含まれる圧縮データセットに基づいて複数のコンポーネントにそれぞれ対応する複数の復元医用生データセットを復元する。複数の復元医用生データセットは教師データとして利用される。そしてモデル学習装置6は、圧縮データセットと複数の復元医用生データセットとに基づいてニューラルネットワークのパラメータを学習させる。モデル学習装置6は、圧縮データセットを変更しながらパラメータ学習を繰り返すことにより学習済みモデルを生成する。
【0126】
なお、変形例2に係る医用データ処理システムの構成は
図14に示す構成のみに限定されない。例えば、データベース5はモデル学習装置6に組み込まれてもよい。また、モデル学習装置6に復元機能113が搭載されているとしたが、モデル学習装置6とは異なるコンピュータに復元機能113が搭載されてもよい。また、医用画像診断装置4に圧縮機能112が搭載されているとしたが、医用画像診断装置4とは異なるコンピュータに圧縮機能112が搭載されてもよい。
【0127】
上記の通り、変形例2に係る医用データ処理システムに圧縮機能112を設けることにより、複数のコンポーネントにそれぞれ対応する複数の医用生データセットを機械学習用の学習サンプルとして用いる場合において、学習サンプルを圧縮して保存することが可能になる。これにより学習サンプルの保存領域を低減し、保存設備を簡略化することができる。また、変形例2に係る医用データ処理システムに復元機能113を設けることにより、圧縮された学習サンプルを復元して機械学習を適切に行う事が可能になる。
【0128】
(変形例3)
変形例3に係る処理回路11は、複数のコンポーネント間で予測を行ってもよい。処理回路11は、医用データセットがX線コンピュータ断層撮影装置により収集された場合、X線検出器の所定列数単位で投影データセットの予測を行う。隣接する検出器列の投影データ同士は類似するので予測効率が高い。医用生データセットが磁気共鳴イメージング装置磁気共鳴イメージング装置により収集された場合、FFE又はFSEのブロック毎のリードアウト傾斜磁場の印加回数、換言すれば、エコートレイン数の整数倍のブロック単位でk空間データセットの予測を行う。隣接するブロックのk空間データ同士は類似するので予測効率が高い。予測は、Intra予測やDC予測等のH.264等の規格により規定されている方法により行われればよい。また、RNN(Recurrent neural network)により予測が行われてもよい。予測を行うことにより、更にデータ量を低減することが可能になる。なお、圧縮過程において予測が行われた場合、復号過程においても圧縮過程と同様の予測が行われればよい。すなわち、処理回路11は、X線検出器の所定列数単位で復元投影データセットの予測を行ったり、エコートレイン数の整数倍のブロック単位で復元k空間データセットの予測を行ったりすればよい。
【0129】
(変形例4)
上記の実施形態においては、複数のコンポーネントにそれぞれ対応する複数の医用生データセットが基底変換されるとした。しかしながら、本実施形態はこれに限定されない。処理回路11は、複数のコンポーネントにそれぞれ対応する複数の医用生データセット間の残差を学習済みモデルに入力し、ブレンドデータセットを出力してもよい。具体的には、物理的に隣接する二つのコンポーネント間の医用生データセットの残差が学習済みモデルに入力される。あるいは、処理回路11は、複数のコンポーネントにそれぞれ対応する複数の医用生データセットに直交変換を施して複数のACT係数データセットを生成し、複数のACT係数データセット間の残差を学習済みモデルに入力し、ブレンドデータセットを出力してもよいこのように残差を学習済みモデルの入力にすることにより学習済みモデルの段数を減少させることが可能になる。
【0130】
(変形例5)
上記の実施形態においては、複数のコンポーネントにそれぞれ対応する複数の医用生データセットが圧縮されるものとした。しかしながら、本実施形態はこれに限定されない。複数のコンポーネントにそれぞれ対応する複数のデータセットであれば、如何なるデータでもよく、例えば、複数のコンポーネントにそれぞれ対応する複数の医用画像データセットが圧縮されてもよい。例えば、複数の管電圧にそれぞれ対応する複数のCT画像データセットや複数のエネルギービンにそれぞれ対応する複数のCT画像データセット、複数の受信チャネルにそれぞれ対応する複数のMR画像データセットが圧縮されてもよい。同様に、複数のコンポーネントにそれぞれ対応する複数の医用画像データセットを圧縮した圧縮データセットが復元されてもよい。これにより、圧縮データセットから、例えば、複数の管電圧にそれぞれ対応する複数のCT画像データセットや複数のエネルギービンにそれぞれ対応する複数のCT画像データセット、複数の受信チャネルにそれぞれ対応する複数のMR画像データセットが復元される。
【0131】
以上説明した少なくとも1つの実施形態によれば、マルチコンポーネントの医用データに対する圧縮及び/又は復元の効率を向上することができる。
【0132】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1、
図14及び
図15における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0133】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0134】
1 医用データ処理装置
2 医用データ処理装置
4 医用画像診断装置
5 データベース
6 モデル学習装置
11 処理回路
12 通信インタフェース
13 表示機器
14 入力インタフェース
15 記憶回路
16 医用撮像機構
111 取得機能
112 圧縮機能
113 復元機能
114 画像生成機能
115 表示制御機能