(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-24
(45)【発行日】2022-07-04
(54)【発明の名称】読影練習支援装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20220627BHJP
A61B 5/00 20060101ALI20220627BHJP
G06T 7/00 20170101ALI20220627BHJP
A61B 6/00 20060101ALI20220627BHJP
G09B 19/00 20060101ALN20220627BHJP
【FI】
A61B6/03 360Z
A61B5/00 F
G06T7/00 350C
G06T7/00 612
A61B6/00 360Z
G09B19/00 Z
(21)【出願番号】P 2018095551
(22)【出願日】2018-05-17
【審査請求日】2021-03-09
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】100108855
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100179062
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100189913
【氏名又は名称】鵜飼 健
(72)【発明者】
【氏名】森安 健太
【審査官】遠藤 直恵
(56)【参考文献】
【文献】米国特許第06669482(US,B1)
【文献】米国特許出願公開第2014/0270493(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/14、5/00-5/01
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
被検体をスキャンして得られる医用画像データを入力する入力層と、前記医用画像データに対応したフラグ情報に関する第1数値情報を出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも1層の中間層とを有する学習済みモデルと、
前記医用画像データと、前記第1数値情報に基づく前記フラグ情報とを記憶する記憶部と、
前記記憶されたフラグ情報に基づいて、前記記憶された医用画像データである練習用画像を表示部に表示させる表示制御部と
を備え
、
前記出力層は、前記医用画像データが読影練習に適する確率を示す第2数値情報に対して閾値処理を実行し、前記閾値処理の結果に対応した前記第1数値情報を出力する、
読影練習支援装置。
【請求項2】
被検体をスキャンして得られる医用画像データを入力する入力層と、前記医用画像データに対応したフラグ情報に関する第1数値情報を出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも1層の中間層とを有する学習済みモデルと、
前記医用画像データが読影練習に適する確率を示す前記第1数値情報に対して閾値処理を実行し、前記閾値処理の結果に対応した二値情報を得る閾値処理部と、
前記医用画像データと、前記二値情報である前記フラグ情報と、前記確率とを記憶する記憶部と、
前記記憶されたフラグ情報に基づいて、前記記憶された医用画像データである練習用画像を表示部に表示させ、且つ前記記憶された前記確率を練習適任度として前記表示部に表示させる表示制御部と
を備えた読影練習支援装置。
【請求項3】
前記出力層は、前記医用画像データの種別に関するカテゴリ情報を更に出力し、
前記記憶部は、前記カテゴリ情報を更に記憶し、
前記表示制御部は、前記記憶されたフラグ情報とカテゴリ情報とに基づいて、前記練習用画像を前記表示部に表示させる、請求項
1又は2に記載の読影練習支援装置。
【請求項4】
前記学習済みモデルは、前記医用画像データの種別に関するカテゴリ情報を前記医用画像データの画素値情報に基づいて特定し、前記特定したカテゴリ情報を前記出力層から更に出力する、請求項
3に記載の読影練習支援装置。
【請求項5】
前記カテゴリ情報は、前記医用画像データに含まれる部位に関する情報である、請求項
3又は
4に記載の読影練習支援装置。
【請求項6】
前記カテゴリ情報は、前記医用画像データに対応する疾患名に関する情報である、請求項
3乃至5のいずれか一項に記載の読影練習支援装置。
【請求項7】
医用画像データに基づいて、前記医用画像データの読影練習に関する第1数値情報を生成するように機能付けられた学習済みモデルを記憶する記憶部と、
医用画像データを取得する取得部と、
前記学習済みモデルを用い、前記取得された医用画像データに基づいて前記第1数値情報を生成する処理部と、
前記第1数値情報に関するフラグ情報に基づいて、前記取得された医用画像データである練習用画像を表示部に表示させる表示制御部と
を備え
、
前記学習済みモデルの出力層は、前記医用画像データが読影練習に適する確率を示す第2数値情報に対して閾値処理を実行し、前記閾値処理の結果に対応した前記第1数値情報を出力する、読影練習支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、読影練習支援装置に関する。
【背景技術】
【0002】
一般に、医用画像診断装置が被検体をスキャンして得られた多数の医用画像は、読影医により読影作業が施される。この種の読影作業は、多数の医用画像の読影に多くの時間を要し、読影医の負担となっている。このため、近年では、AI(artificial intelligence)による読影技術が研究されてきている。AIによる読影によれば、読影作業の負担を軽減させる。
【0003】
しかしながら、本発明者の検討によれば、AIによる読影が普及すると、読影はもっぱらAIが行うようになることが予想されるため、読影医のスキルが低下してしまう恐れがある。AIは、基本的に学習された病変を発見することについては非常に有用だが、新病などについては対応できないから医師の対応が必須である。このため、読影医のスキルが低下することは問題である。従って、得られた多数の医用画像の中から、読影練習に適した練習用画像を提示できるようにすることが好ましい。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明が解決しようとする課題は、得られた多数の医用画像の中から、読影練習に適した練習用画像を提示できるようにすることである。
【課題を解決するための手段】
【0006】
実施形態に係る読影練習支援装置は、記憶部及び表示制御部を備えている。
前記記憶部は、被検体をスキャンして得られる医用画像データと、当該医用画像データに対してユーザからの入力に基づいたフラグ情報とを記憶する。
前記表示制御部は、前記フラグ情報に基づいて、前記医用画像データである練習用画像を表示部に表示させる。
【図面の簡単な説明】
【0007】
【
図1】
図1は、第1の実施形態に係る読影練習支援装置を備えたX線CT装置の構成を示すブロック図である。
【
図2】
図2は、第1の実施形態に係る医用画像ファイルを説明するための模式図である。
【
図3】
図3は、第1の実施形態に係る動作を説明するためのフローチャートである。
【
図4】
図4は、第1の実施形態の変形例に係る読影練習支援装置及びその周辺構成を示すブロック図である。
【
図5】
図5は、第2の実施形態に係る学習済みモデルを説明するための模式図である。
【
図6】
図6は、第2の実施形態に係る他の学習済みモデルを説明するための模式図である。
【
図7】
図7は、第2の実施形態に係る多層化ネットワークの典型的な構成を示す模式図である。
【
図8】
図8は、第2の実施形態に係る動作を説明するためのフローチャートである。
【
図9】
図9は、第3の実施形態に係る医用画像ファイルを説明するための模式図である。
【
図10】
図10は、第3の実施形態に係る動作を説明するためのフローチャートである。
【
図11】
図11は、第4の実施形態に係る学習済みモデルを説明するための模式図である。
【
図12】
図12は、第4の実施形態に係る他の学習済みモデルを説明するための模式図である。
【
図13】
図13は、第4の実施形態に係る動作を説明するためのフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら各実施形態に係わる読影練習支援装置について説明する。読影練習支援装置は、医用画像を表示するためのコンピュータ装置(いわゆるビューワ)に組み込まれてもよく、被検体を撮像して読影対象の医用画像データを取得する医用画像診断装置に組み込まれてもよい。医用画像診断装置としては、X線診断装置、X線CT装置、MRI装置、超音波診断装置、SPECT装置、及びPET装置等の既存のあらゆるモダリティが該当する。なお、「CT」は、「computed tomography」の略語である。「MRI」は、「magnetic resonance imaging」の略語である。「SPECT」は、「single photon emission computed tomography」の略語である。「PET」は、「positron emission computed tomography」の略語である。幾つかの実施形態では、X線CT装置を医用画像診断装置の例に用いて述べる。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
<第1の実施形態>
図1は、第1の実施形態に係る読影練習支援装置を備えたX線CT装置の構成を示すブロック図である。X線CT装置1は、架台装置10と、寝台装置30と、コンソール装置40とを有する。なお、
図1に描画された複数の架台装置10は、1台の架台装置10の正面及び側面を示している。また、本実施形態では、非チルト状態での回転フレーム13の回転軸又は寝台装置30の天板33の長手方向をZ軸方向と定義する。また、Z軸方向に直交し、床面に対し水平である軸方向をX軸方向と定義する。Z軸方向に直交し、床面に対し垂直である軸方向をY軸方向と定義する。
【0009】
ここで、架台装置10は、X線管11、X線検出器12、回転フレーム13、X線高電圧装置14、制御装置15、ウェッジ16、コリメータ17及びDAS18を有する。
【0010】
X線管11は、X線高電圧装置14からの高電圧の印加及びフィラメント電流の供給により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子を照射することでX線を発生させる真空管である。
【0011】
X線検出器12は、X線管11から照射され、被検体Pを通過したX線を検出し、当該X線量に対応した電気信号をDAS18へと出力する。
【0012】
回転フレーム13は、X線管11とX線検出器12とを対向支持し、後述する制御装置15によってX線管11とX線検出器12とを回転させる円環状のフレームである。なお、回転フレーム13は、X線管11とX線検出器12に加えて、X線高電圧装置14やDAS18を更に備えて支持する。DAS18が生成した検出データは、回転フレームに設けられた発光ダイオード(LED)を有する送信機から光通信によって架台装置の非回転部分(例えば、図示しない固定フレーム)に設けられた、フォトダイオードを有する受信機に送信される。しかる後、検出データは、受信機からコンソール装置40へと転送される。なお、回転フレームから架台装置の非回転部分への検出データの送信方法は、前述の光通信に限らず、非接触型のデータ伝送であれば如何なる方式を採用しても構わない。
【0013】
X線高電圧装置14は、高電圧発生装置と、X線制御装置とを有する。高電圧発生装置は、変圧器(トランス)及び整流器等の電気回路を有し、X線管11に印加する高電圧及びX線管11に供給するフィラメント電流を発生する機能を有する。X線制御装置は、X線管11が照射するX線に応じた出力電圧の制御を行う。X線高電圧装置14は、回転フレーム13に設けられてもよいし、架台装置10の固定フレーム(図示しない)側に設けられても構わない。なお、固定フレームは回転フレーム13を回転可能に支持するフレームである。
【0014】
制御装置15は、CPU(Central Processing Unit)等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。制御装置15は、コンソール装置40若しくは架台装置10に取り付けられた入力インターフェース43からの入力信号を受けて、架台装置10及び寝台装置30の動作制御を行う機能を有する。例えば、制御装置15は、入力信号を受けて回転フレーム13を回転させる制御や、架台装置10をチルトさせる制御、及び寝台装置30及び天板33を動作させる制御を行う。制御装置15は架台装置10に設けられてもよいし、コンソール装置40に設けられても構わない。
【0015】
ウェッジ16は、X線管11から照射されたX線量を調節するためのフィルタである。
【0016】
コリメータ17は、ウェッジ16を透過したX線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。なお、コリメータ17は、X線絞りと呼ばれる場合もある。
【0017】
DAS18は、X線検出器12の各X線検出素子から出力される電気信号に対して増幅処理を行う増幅器と、増幅された電気信号をデジタル信号に変換するA/D変換器とを有し、当該デジタル信号が示すデジタル値を有する検出データを生成する。「DAS」は、「Data Acquisition System」の略語である。検出データは、生成元のX線検出素子のチャンネル番号、列番号、および収集されたビューを示すビュー番号により識別されたX線強度のデジタル値のセットである。DAS18が生成した検出データは、架台装置10に収容された非接触データ伝送回路(図示せず)を介してコンソール装置40へと転送される。
【0018】
寝台装置30は、スキャン対象の被検体Pを載置、移動させる装置であり、基台31と、寝台駆動装置32と、天板33と、支持フレーム34とを備えている。
【0019】
基台31は、支持フレーム34を鉛直方向に移動可能に支持する筐体である。
【0020】
寝台駆動装置32は、被検体Pが載置された天板33を天板33の長手方向に移動するモータあるいはアクチュエータである。支持フレーム34の上面に設けられた天板33は、被検体Pが載置される板である。なお、寝台駆動装置32は、天板33に加え、支持フレーム34を天板33の長手方向に移動してもよい。
【0021】
コンソール装置40は、メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44と、通信インターフェース45とを有する。処理回路44は、システム制御機能441、画像生成機能442、読影練習支援機能443及び表示制御機能444を実行する。メモリ41、ディスプレイ42、入力インターフェース43、読影練習支援機能443及び表示制御機能444は、読影練習支援装置46を構成している。メモリ41と、ディスプレイ42と、入力インターフェース43と、処理回路44と、通信インターフェース45との間のデータ通信は、バス(bus)を介して行われる。なお、コンソール装置40は架台装置10とは別体として説明するが、架台装置10にコンソール装置40又はコンソール装置40の各構成要素の一部が含まれてもよい。
【0022】
メモリ41は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ41は、例えば、投影データや医用画像データ、フラグ情報、本実施形態に係るプログラム等を記憶する。
【0023】
医用画像データ及びフラグ情報は、例えば
図2に示すように、医用画像ファイルFA内に組み込まれてもよい。医用画像ファイルFAは、DICOM(Digital Imaging and Communications in Medicine)規格に準拠したデータ形式のファイルである。医用画像ファイルFAは、互いに関連付けられた医用画像データd1と付帯情報d2とを有する。
【0024】
医用画像データd1は、被検体Pをスキャンして得られた医用画像データであり、被検体の医用画像をDICOM規格に従って符号化したデータから成る。例えば、医用画像データd1は、医用画像を構成する各画素に関する画素データの集合であり、画素データは医用画像を構成する各画素の座標と表示色に対応するグレー値またはカラー値を表現している。
【0025】
付帯情報d2は、例えば、被検体Pの患者情報、スキャン条件、再構成条件等のDICOM規格において標準的に利用されている情報と、メモ情報、フラグ情報等のDICOM規格において標準的に利用されていない情報とを含む。
【0026】
患者情報としては、体重、年齢、身長、性別、既往症等の医学的な情報が含まれる。すなわち、患者情報は、読影練習用の医学的な情報であり、患者の個人名などは不要である。既存の匿名化機能により、既存の患者情報から個人名などの医学的でない個人情報を消去し、匿名化した患者情報が読影練習用画像の付帯情報d2として使用可能である。但し、患者情報は、匿名化が必須という訳ではなく、読影練習に用いない個人名を含んでもよい。
【0027】
スキャン条件としては、X線照射条件、視野(Field of View:FOV)、撮影(スキャン)範囲、スキャンモード、スライス厚等が含まれる。
【0028】
再構成条件としては、再構成関数、再構成間隔等が含まれる。
メモ情報は、読影練習の参考になる記述であればよく、任意の文字列で構わない。但し、メモ情報は、例えば、この医用画像が読影練習に適している理由や、この医用画像を読影する際の注意点といった読影ポイントを含むことが好ましい。ここでいう理由は、上級の読影医の主観的な理由でよく、例えば「この画像は、○○の症例の参考になる。」、「この画像は、○○の検査結果になる。」、「この画像は、金属アーチファクトを示す。」というように、任意の形式で記載される。読影ポイントは、同様に主観的に記載してよく、例えば、「CTの金属アーチファクトがPETにアーチファクトとして撮像されることがあるから注意するように。」、「一見、光っていて癌に見えるが、実は癌ではない。」といった任意の形式で記載される。メモ情報の理由や読影ポイントは、両者が混在してもよく、例えば、理由が読影ポイントを含んでもよく、読影ポイントが理由を含んでもよい。また、メモ情報は、これらの例に限らず、「金属アーチファクト」、「○○症例」というように、読影練習の種別や読影結果を示す文字列であってもよい。すなわち、メモ情報は、後述するカテゴリ情報と同様の記述になってもよい。
【0029】
なお、メモ情報は、上級の読影医の主観で記述されるため、主観的に医用画像データが読影練習に適さない場合には、読影練習の参考にならない旨を示す記述としてもよい。例えば、医用画像データが典型的な金属アーチファクトや症例を示し、極めて容易に読影される場合には、当該医用画像データを練習用画像にせず、読影練習に適さない旨をメモ情報に記述してもよい。但し、医用画像データが読影練習に適さない場合には、メモ情報が参照される読影練習が行われないため、メモ情報を記述する意味はない。但し、読影練習に適さない医用画像データに対し、後述する機械学習を行う場合には、読影練習に適さない旨のメモ情報を記述する意味がある。
【0030】
フラグ情報は、医用画像データが読影練習に適するか否かを示す情報であり、当該医用画像データに対してユーザからの入力に基づいて設定される。例えば、フラグ情報は、医用画像データが読影練習に適するときに“1”と設定され、他のときに“0”と設定される。以下、特に断りのない限り、フラグ情報“1”が読影練習に適する旨を意味し、フラグ情報“0”が読影練習に適さない旨を意味する。但し、フラグ情報の示す数値“1”,“0”は、逆の意味で用いてもよい。
【0031】
また、フラグ情報は、メモ情報と同様に、上級の読影医であるユーザの主観で設定される。このため、前述同様に、医用画像データが典型的な症例などで読影練習の参考にならない旨がユーザの主観で判断された場合には、当該医用画像データに対してフラグ情報が“0”に設定される。このように本実施形態は、医用画像がアーチファクトや病変を示すか否かではなく、医用画像が読影練習に適するか否かという観点からフラグ情報を設定するので、より読影練習に適した練習用画像をメモリ41に記憶できる利点がある。
【0032】
また、メモリ41としては、複数の医用画像ファイルFAのうち、読影練習に適する医用画像ファイルのみを冗長化して記憶させた練習用画像DBを含んでもよい。なお、ここでいう冗長化することは、コピーした後に匿名化することを意味する。あるいはメモリ41は、練習用画像DBを含まなくてもよい。
【0033】
あるいはメモリ41とは別体として、練習用画像DBを構成する別メモリ(図示せず)を設けてもよい。
【0034】
練習用画像DBは、後述するカテゴリ情報のように、適宜、医用画像ファイルFAの種別を分類した階層構造を有してもよい。なお、練習用画像DBを用いない場合、メモリ41が、当該階層構造を有していてもよい。
【0035】
また、メモリ41及び別メモリは、被検体をスキャンして得られる医用画像データと、当該医用画像データに対してユーザからの入力に基づいたフラグ情報とを記憶する記憶部の一例である。なお、メモリ41及び別メモリの保存領域は、X線CT装置1内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。
【0036】
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路44によって生成された医用画像(CT画像)や、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。GUIは、例えば表示制御機能444により制御され、読影練習ボタンを含むメニュー画面を表示し、入力インターフェース43を介して読影練習ボタンが操作されると、フラグ情報に基づいて、読影練習に適した医用画像を一覧表示するようにしてもよい。この場合、表示制御機能444は、フラグ情報“1”に基づき、メモリ41を検索してヒットした医用画像ファイルFA内の医用画像データd1に応じた医用画像を一覧表示させればよい。あるいは、表示制御機能444は、読影練習ボタンの操作に応じて、メモリ41内の読影練習用DBからフラグ情報“1”をもつ医用画像ファイルFAを読み出し、当該医用画像ファイルFA内の医用画像データd1に応じた医用画像を一覧表示させればよい。また、画像一覧に表示された医用画像は、ユーザの操作に応じて、適宜、拡大表示され、読影練習に用いられる。
【0037】
また、GUIとしては、例えば、付帯情報d2の表示制御に関する情報表示ボタンを含む画面を表示し、情報表示ボタンの操作に応じて、練習用画像の表示中に、付帯情報d2内の患者情報やメモ情報を表示するか否かを制御してもよい。このような付帯情報d2の表示制御は、表示された患者情報やメモ情報が読影のヒントになるので、難易度を付けた読影練習を実施可能となる。このような付帯情報d2の表示制御は、後述するカテゴリ情報についても適用可能である。
【0038】
また例えば、ディスプレイ42としては、例えば、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。また、ディスプレイ42は、表示部の一例である。また、ディスプレイ42は、架台装置10に設けられてもよい。ディスプレイ42は、デスクトップ型でもよいし、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
【0039】
入力インターフェース43は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路44に出力する。例えば、入力インターフェース43は、付帯情報d2に含める各種情報等をユーザから受け付ける。入力インターフェース43としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品が適宜、使用可能となっている。また、入力インターフェース43は、入力部の一例である。なお、入力インターフェース43は、前述した物理的な操作部品を備えるものに限定されない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路44へ出力する電気信号の処理回路も入力インターフェース43の例に含まれる。また、入力インターフェース43は、架台装置10に設けられてもよい。また、入力インターフェース43は、コンソール装置40本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
【0040】
処理回路44は、X線CT装置1全体の動作を制御する。例えば、処理回路44は、ハードウェア資源として、CPUやMPU、GPU(Graphics Processing Unit)等のプロセッサとROMやRAM等のメモリとを有する。処理回路44は、メモリに展開された各プログラムを実行するプロセッサにより、システム制御機能441、画像生成機能442、読影練習支援機能443及び表示制御機能444などを実行する。補足すると、各プログラムを読み出した状態の処理回路44は、
図1の処理回路44内に示された各機能を有することとなる。なお、
図1においては単一のプロセッサにて各機能を実行する旨を説明したが、複数の独立したプロセッサを組み合わせて処理回路44を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、
図1においては単一のメモリ41が各機能に対応するプログラムを記憶するものとして説明したが、複数のメモリを分散して配置して、処理回路44は個別のメモリから対応するプログラムを読み出す構成としても構わない。また、処理回路44は、処理部の一例である。
【0041】
システム制御機能441は、入力インターフェース43を介してユーザから受け付けた入力操作に基づいて、処理回路44の各機能を制御する。具体的には、システム制御機能441は、メモリ41に記憶されている制御プログラムを読み出して処理回路44内のメモリ上に展開し、展開された制御プログラムに従ってX線CT装置1の各部を制御する。また、システム制御機能441は、制御部の一例である。
【0042】
画像生成機能442は、DAS18から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理等の前処理を施したデータを生成する。なお、前処理前のデータ(検出データ)および前処理後のデータを総称して投影データと称する場合や生データと称する場合がある。
【0043】
画像生成機能442は、当該生成した投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行ってCT画像データを生成する。
【0044】
これに加え、画像生成機能442は、入力インターフェース43を介してユーザから受け付けた入力操作に基づいて、当該CT画像データを公知の方法により、任意断面の断層像データや3次元画像データに変換する。公知の方法としては、例えば、ボリュームレンダリングや、サーフェスレンダリング、画像値投影処理、MPR処理、CPR処理等の3次元画像処理が適宜、使用可能となっている。「MPR」は、「Multi-Planer Reconstruction」の略語である。「CPR」は、「Curved MPR」の略語である。返還後の断層像データや3次元画像データは、3次元空間におけるCT値の分布情報を有するデータである。このようなCT画像データや断層像データを含む医用画像データd1と、付帯情報d2とを含む医用画像ファイルFAは、メモリ41に保存される。また、画像生成機能442は、画像処理部の一例である。
【0045】
読影練習支援機能443は、医用画像の表示中、ユーザによる入力インターフェース43の操作に応じて、当該医用画像の付帯情報d2を編集可能となっている。例えば、読影練習支援機能443は、メモリ41内の医用画像ファイルFAに対し、上級の読影医であるユーザの操作に応じて、医用画像が練習に適していることを示すフラグ情報“1”を付帯情報d2に書き込む。これにより、医用画像ファイルFA内の医用画像データd1が(読影の)練習用画像として利用可能となる。また、読影練習支援機能443は、ユーザの操作に応じて、医用画像の読影のポイント等を示すメモ情報を付帯情報d2に書き込んでもよい。また、読影練習支援機能443は、メモリ41内の医用画像ファイルFAを読影練習用DBに登録する場合、既存の匿名化機能により、付帯情報d2内の患者情報から患者名などの個人識別情報を削除した医用画像ファイルFAを登録する。また適宜、付帯情報d2のスキャン条件、再構成条件なども維持して登録する。但し、患者情報、メモ情報、スキャン条件及び再構成条件は、任意の付加的事項であり、練習用画像の付帯情報d2から省略してもよい。後述するカテゴリ情報も同様に省略可能である。
【0046】
表示制御機能444は、各種の情報を表示するようにディスプレイ42を制御する。表示制御機能444は、例えば、読影練習に適した医用画像を表示する際に、フラグ情報“1”に基づいて、医用画像データd2である練習用画像をディスプレイ42に表示させる。表示制御機能444は、表示制御部の一例である。
【0047】
なお、システム制御機能441、画像生成機能442、読影練習支援機能443、表示制御機能444は、一つの基板の処理回路44により実装されてもよいし、複数の基板の処理回路44により分散して実装されてもよい。同様に、コンソール装置40は、単一のコンソールにて複数の機能を実行するものとして説明したが、複数の機能を別々のコンソールが実行することにしても構わない。処理回路44はコンソール装置40に含まれる場合に限らず、図示しない複数の医用画像診断装置にて取得された検出データに対する処理を一括して行う統合サーバに含まれてもよい。
【0048】
通信インターフェース45は、有線、無線又はその両方にて外部装置と通信するための通信回路である。外部装置は、例えば、各モダリティ(医用画像診断装置)、放射線部門情報管理システム(RIS)、病院情報システム(HIS)及びPACS等のシステムに含まれるサーバ、あるいは他のワークステーション等である。「RIS」は、「Radiological Information System」の略語である。「HIS」は、「Hospital Information System」の略語である。「PACS」は、「Picture Archiving and Communication System」である。
【0049】
次に、以上のように構成されたX線診断装置の動作について
図3のフローチャートを用いて説明する。
【0050】
始めに、X線CT装置1は、通信インターフェース45を介して、図示しない検査予約システム等から検査対象の被検体に関する患者情報(被検体情報)を取得する。患者情報は、患者ID、患者名、生年月日、年齢、身長、体重、性別、検査部位、既往症である。なお、患者情報は、患者のインプラントを示すインプラント情報を含んでもよい
続いて、X線CT装置1においては、ユーザにより、天板33上に被検体Pがセッティングされる。また、ユーザによる入力インターフェース43の操作により、位置決め撮影の開始位置に天板33が移動する。ユーザによる入力インターフェース43の操作により、プリセットされたスキャン計画が選択され、当該スキャン計画の詳細条件が設定される。
【0051】
次に、X線CT装置1は、スキャン計画に従って、被検体の位置決め撮影を実行し、被検体のスキャノ画像を生成する。スキャノ画像はメモリ41に保存される。続いて、X線CT装置1は、スキャノ画像を用いて撮影範囲を設定し、撮影開始位置に天板33を移動させる。また、X線CT装置1は、スキャノ画像を用いてスキャン条件、再構成条件を設定する。
【0052】
しかる後、ステップST1において、X線CT装置1は、設定された条件に基づいて本スキャンを実行し、被検体Pの医用画像データを得る。
【0053】
ステップST1の後、ステップST2において、X線CT装置1は、被検体Pをスキャンして得られた医用画像データd1と、付帯情報d2とを有する医用画像ファイルFAをメモリ41に記憶する。この時点では、付帯情報d2は、フラグ情報を含まないか、デフォルトでフラグ情報“0”を含む。すなわち、この時点では、医用画像データd1が読影に適する旨が付帯情報d2に記録されていない。
【0054】
ステップST2の後、ステップST3において、処理回路44は、ユーザの操作に応じて、メモリ41内の医用画像データd1に基づき、医用画像をディスプレイ42に表示させる。
【0055】
ステップST3の後、ステップST4において、表示中の医用画像が読影練習に適するか否かを、上級の読影医であるユーザが判断する。
【0056】
ステップST4の判断の結果、否の場合、処理回路44は、ユーザの操作に応じて、医用画像の付帯情報d2にフラグ情報“0”を書き込むか、又はフラグ情報をデフォルト値“0”のままとして、医用画像ファイルFAを更新する。これにより、メモリ41は、医用画像ファイルFAの付帯情報d2としてフラグ情報“0”を記憶する(ステップST5)。また、処理回路44は、ユーザの操作があれば、当該操作に応じて、読影練習に適さない理由をメモ情報に記述する。
【0057】
ステップST4の判断の結果、読影練習に適する場合、処理回路44は、ユーザによる入力インターフェース43の操作に応じて、医用画像の付帯情報d2にフラグ情報“1”を書き込んで、医用画像ファイルFAを更新する。あるいは、処理回路44は、ユーザによる入力インターフェース43の操作に応じて、フラグ情報のデフォルト値“0”を“1”に書き換えて、医用画像ファイルFAを更新する。いずれにしても、メモリ41は、医用画像ファイルFAの付帯情報d2としてフラグ情報“1”を記憶する(ステップST6)。また、処理回路44は、ユーザの操作があれば、当該操作に応じて、読影練習の参考になる理由などのメモ情報を記述する。
【0058】
ステップST5又はST6の後、ステップST7において、処理回路44は、未読影の医用画像があるか否かを判断し、未読影の医用画像がある場合にはステップST3~ST6の処理を繰り返す。なお、この判断は、ユーザが行ってもよい。ステップST7の判断の結果、否の場合には、処理回路44は、読影練習用の医用画像の登録処理を終了する。
【0059】
ステップST7の後、メモリ41内の多数の医用画像データd2は、読影練習に適する旨を示すフラグ情報“1”と、読影練習に適さない旨を示すフラグ情報“0”とのいずれかに対応付けられた状態となる。
【0060】
従って、処理回路44は、経験の浅いユーザの読影練習の際に、フラグ情報“1”に基づいて、読影練習に適した練習用画像をディスプレイ42に表示させることができる。すなわち、被検体をスキャンして得られた多数の医用画像のうち、読影練習に適した練習用画像のみを表示することができる。
【0061】
上述したように第1の実施形態によれば、被検体をスキャンして得られる医用画像データと、当該医用画像データに対してユーザからの入力に基づいたフラグ情報とを記憶する。当該フラグ情報に基づいて、医用画像データである練習用画像を表示部に表示させる。
【0062】
従って、得られた多数の医用画像の中から、読影練習に適した練習用画像を提示することができる。これに伴い、AIによる読影が普及したとしても、読影練習の機会を減少させずに、読影スキルの低下を防ぐことができる。
【0063】
補足すると、読影練習支援装置46は、読影用の医用画像を表示するが、それだけではない。例えば、上級の読影医が「この医用画像は読影の参考/練習になる」と判断した場合に、読影練習支援装置46は、その医用画像に対して、読影練習に適した画像か否かを示すフラグ情報を上級の読影医に入力させ、当該フラグ情報を記憶部に記憶する。練習用画像の提示時には、フラグ情報に基づき、読影練習に適した医用画像を読み出してディスプレイ42に表示し、経験の浅い読影医に提示する。これにより、経験の浅い読影医は、多数の医用画像の中から練習用画像のみを読影練習することができる。
【0064】
また、ユーザからの入力に基づいたフラグ情報を記憶するので、典型的なアーチファクトや症例を示して読影が極めて容易な医用画像を練習用画像にせず、読影練習に適した医用画像のみを表示するようにフラグ情報を設定できる。このため、読影練習支援装置46は、より一層、読影練習に適した練習用画像を提示することができ、もって、読影練習の効率向上を図ることができる。
【0065】
これに加え、読影練習の参考になるメモ情報を付帯情報に書き込む場合、メモ情報の内容に応じて、読影練習の効率向上を期待することができる。また、練習用画像の表示中に、付帯情報d2を表示するか否かを制御する場合、難易度を付けた読影練習を実施することができる。
【0066】
<変形例>
図4は、第1の実施形態の変形例に係る読影練習支援装置及びその周辺構成を示すブロック図である。この変形例は、X線CT装置1の外部装置として、読影練習支援装置50を備えている。読影練習支援装置50は、ネットワークNwを介して、X線CT装置1、MRI装置60及び超音波診断装置70等の各モダリティと通信可能となっている。各モダリティはそれぞれ、被検体をスキャンして得られた医用画像データd1と付帯情報d2とを含む医用画像ファイルFAをメモリに保存する。また、各モダリティは、送信要求などに応じて、メモリ内の医用画像ファイルFAを読影練習支援装置50に送信する。
【0067】
ここで、読影練習支援装置50は、メモリ51、ディスプレイ52、入力インターフェース53、処理回路54及び通信インターフェース55を備えている。処理回路54は、図示しないプロセッサとメモリを備えている。処理回路54のプロセッサは、メモリ51内のプログラムを呼び出し実行することにより、プログラムに対応する読影練習支援機能541、表示制御機能542を実行する。
【0068】
ここで、読影練習支援装置50は、X線CT装置1、MRI装置60及び超音波診断装置70等の各モダリティとネットワークNwを介して通信可能であり、前述した読影練習支援装置46と同様の機能をもっている。
【0069】
すなわち、メモリ51は、前述したメモリ41と同様の構成であり、被検体Pをスキャンして得られた医用画像データと、当該医用画像データに対してユーザからの入力に基づいたフラグ情報とを記憶する。具体的には、メモリ51は、前述同様の医用画像ファイルFAを記憶する。この医用画像ファイルFAは、外部装置から送信され、通信インターフェース55により受信されてメモリ51に書き込まれる。外部装置としては、前述した例の各モダリティとして、X線CT装置1、MRI装置60及び超音波診断装置70を用いている。また、メモリ51は、処理回路54のプログラムを記憶する。メモリ51は記憶部の一例である。
【0070】
ディスプレイ52は、前述したディスプレイ42と同様の構成であり、処理回路54に制御され、医用画像などを表示する。
【0071】
入力インターフェース53は、前述した入力インターフェース43と同様の構成であり、操作者の操作に応じた電気信号を処理回路54に出力する。
【0072】
処理回路54は、前述した処理回路44と同様の構成であり、図示しないプロセッサとメモリを備え、入力インターフェース53にて入力あるいは設定された各種情報がメモリに保存される。処理回路54のプロセッサは、メモリ51内のプログラムを呼び出し実行することにより、プログラムに対応する読影練習支援機能541及び表示制御機能542を実行する。但し、処理回路54は、前述した処理回路44とは異なり、X線CT装置1のシステム制御機能441及び画像生成機能442に対応する機能を有していない。
【0073】
読影練習支援機能543は、前述した読影練習支援機能443と同様の構成であり、医用画像の表示中、ユーザによる入力インターフェース43の操作に応じて、当該医用画像の付帯情報d2を編集可能となっている。
【0074】
表示制御機能544は、前述した表示制御機能444と同様の構成であり、各種の情報を表示するようにディスプレイ52を制御する。表示制御機能544は、例えば、読影練習に適した医用画像を表示する際に、フラグ情報“1”に基づいて、医用画像データd2である練習用画像をディスプレイ52に表示させる。表示制御機能544は、表示制御部の一例である。
【0075】
通信インターフェース55は、前述した通信インターフェース45と同様の構成であり、有線、無線又はその両方にて外部装置と通信するための通信回路である。外部装置は、前述した例の各モダリティとして、X線CT装置1、MRI装置60及び超音波診断装置70を用いている。
【0076】
このような読影練習支援装置50は、X線CT装置1内の読影練習支援装置46が外部装置として設けられたものとして機能する。あるいは、読影練習支援装置50は、各モダリティ内の読影練習支援装置が外部装置として設けられたものとして機能する。
【0077】
以上のような構成によれば、X線CT装置1等の外部装置として設けた読影練習支援装置50が、第1の実施形態の読影練習支援装置46と同様に動作して同様の効果を得ることができる。なお、以下の各実施形態も同様の変形例を適用できる。すなわち、各実施形態の変形例において、X線CT装置1等の医用画像診断装置の外部装置として設けた読影練習支援装置50が、各実施形態の読影練習支援装置46と同様に動作して同様の効果を得ることができる。
【0078】
<第2の実施形態>
次に、第2の実施形態に係る読影練習支援装置46について、前述した図面を参照しながら説明する。
【0079】
第2の実施形態は、第1の実施形態において上級の読影医により読影練習に適する旨が判断された医用画像を機械学習した学習済みモデルを用いる。この学習済みモデルにより、第2の実施形態は、上級の読影医が操作することなく、自動的に練習用画像を登録可能となっている。
【0080】
具体的には、メモリ41は、前述した構成に加え、
図5又は
図6に示す如き、学習済みモデル47と、図示しないモデル学習プログラムとを記憶する。学習済みモデル47は、学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、得られた学習済みの機械学習モデルである。ここで、学習データは、医用画像データである入力データと、フラグ情報に関する第1数値情報である出力データとを含んでいる。なお、学習データは、入力データとして、医用画像データに加え、フラグ情報以外の付帯情報を含んでもよい。機械学習モデルは、医用画像データ(及び付帯情報)を入力としてフラグ情報に関する第1数値情報を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル(以下、多層化ネットワークと呼ぶ)であるとする。この場合、学習済みモデル47は、被検体Pをスキャンして得られる医用画像データを入力する入力層と、当該医用画像データに対応したフラグ情報に関する第1数値情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有する。なお、入力層は、医用画像データ及び付帯情報を入力してもよく、フラグ情報は、当該医用画像データ及び付帯情報に対応した情報としてもよい。当該学習済みモデル47は、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。学習済みモデル47は、処理回路44にて用いられる。具体的には、処理回路44が、メモリ41に記憶された学習済みモデル47からの指令に従って、当該入力層に入力された医用画像データに対し、学習済みのパラメータに基づく演算を行い、当該出力層から第1数値情報を出力するように動作する。このように、当該学習済みモデル47は、医用画像データに基づいて第1数値情報を生成するように機能付けられている。
【0081】
本実施形態に係る多層化ネットワークの典型的な構成について、以下説明する。ここで、多層化ネットワークとは、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。本実施形態に係る多層化ネットワークは、
図7に示す様に、入力層(l=1)、中間層(l=2,3,・・・,L-1)、出力層(l=L)のL個の層から構成されるものとする。なお、以下は例を説明するものであって、多層化ネットワークの構成は以下の説明に限定されない。
【0082】
第l層でのユニット数をI個とし、第l層への入力u(l)を式(1-1)、第l層からの出力z(l)を式(l-2)の様にそれぞれ表記すると、第l層への入力と第l層からの出力との関係は、式(1-3)によって表すことができる。
【0083】
【0084】
ここで、右上の添字(l)は層の番号を示す。また、式(1-3)におけるf(u)は、活性化関数であり、ロジスティックシグモイド関数(ロジスティック関数)、双曲線正接関数、正規化線形関数(ReLU)、線形写像、恒等写像、マックスアウト関数等、目的に応じて種々の関数を選択することができる。「ReLU」は、「Rectified Liner Unit」の略語である。
【0085】
第l+1層でのユニット数をJ個とし、第l層と第l+1層との間の重み付行列W(l+1)を式(2-1)、第l+1層におけるバイアスb(l+1)を式(2-2)の様にそれぞれ表記したとする。このとき、第l+1層への入力u(l+1)、第l+1層からの出力z(l+1)は、それぞれ式(2-3)、式(2-4)によって表すことができる。
【0086】
【0087】
本実施形態に係る多層化ネットワークにおいて、入力層(l=1)には、式(3-1)で表現される医用画像データ(及び付帯情報)が入力される。また、当該入力層においては、入力データxがそのまま出力データz(1)となるため、式(3-2)の関係が成立する。
【0088】
【0089】
ここで、入力層に入力される医用画像データ(及び付帯情報)を「入力データx」と呼ぶことにすれば、入力データxについては、以下の(1)又は(2)等のように、種々の形式を用いることができる。(1)入力データxを一個の画像データ(及び付帯情報)とし、各成分xp(p=1,2,・・・,N)を当該一個の画像データ(及び付帯情報)を構成する位置毎の値(ピクセル値或いはボクセル値)(及び付帯情報の値)として規定する形式。(2)入力データxを、畳み込み処理が施された画像データ(及び付帯情報)として、(1)を採用する形式。
【0090】
入力層に続く中間層(l=2,3,・・・,L-1)層においては、式(2-3)、式(2-4)に従う計算を順次実行することで、各層の出力z(2),・・・z(L-1)を計算することができる。
【0091】
出力層(第L層)の出力z(L)を以下の式(4-1)の様に表記する。本実施形態に係る多層化ネットワークは、入力層に入力された画像データxが、入力層側から出力層側に向かって隣接層間でのみ結合しながら伝播する順伝播型ネットワークである。この様な順伝播型ネットワークは、式(4-2)の様な合成関数として表現することができる。
【0092】
【0093】
式(4-2)に示す合成関数は、式(2-3)、式(2-4)より、重み付行列W(l+1)を用いた各層間の線形関係、各層における活性化関数f(u(l+1))を用いた非線形関係(又は線形関係)、バイアスb(l+1)の組み合わせとして定義される。特に、重み付行列W(l+1)、バイアスb(l+1)はネットワークのパラメータpと呼ばれる。式(4-2)によって定義される合成関数は、パラメータpをどのように選ぶかで、関数としての形を変える。従って、本実施形態に係る多層化ネットワークは、式(4-2)を構成するパラメータpを適切に選ぶことで、出力層が好ましい結果yを出力することができる関数として、定義することができる。
【0094】
パラメータpを適切に選ぶためには、学習データと誤差関数を用いた学習を実行する。ここで、学習データとは、入力xnに対する望ましい出力(正解出力)をdnとすると、式(5-1)のように表現される学習サンプル(xn,dn)の集合D(n=1,・・・,S)である。
【0095】
【0096】
また、誤差関数とは、xnを入力した多層化ネットワークからの出力と学習データdnとの近さを表す関数である。誤差関数の代表例としては、二乗誤差関数、最尤度推定関数、交差エントロピー関数等を挙げることができる。どのような関数を誤差関数に選択するかは、多層化ネットワークが取り扱う問題(例えば、回帰問題、二値問題、多クラス分類問題等)に依存する。
【0097】
誤差関数をE(p)と表記し、一つの学習サンプル(xn,dn)のみを使用して計算される誤差関数をEn(p)と表記する。現在のパラメータp(t)は、勾配降下法に従う場合には誤差関数E(p)の勾配ベクトルを用いた式(6-1)、確率的勾配降下法に従う場合には誤差関数En(p)の勾配ベクトルを用いた式(6-3)によって、新たなパラメータp(t+1)に更新される。
【0098】
【0099】
ここで、εはパラメータpの更新量の大きさを定める学習係数である。
【0100】
式(6-1)又は式(6-3)に従って、現在のpを負の勾配方向に少し動かし、これを逐次繰り返すことで、誤差関数E(p)を極小にするパラメータpを決定することができる。
【0101】
なお、式(6-1)又は式(6-3)を計算するためには、式(6-2)で示されるE(p)の勾配ベクトル、又は式(6-4)で示されるEn(p)の勾配ベクトルを計算する必要がある。誤差関数が二乗誤差関数である場合を例とすれば、式(7-1)に示される誤差関数について、各層の重み係数と各ユニットのバイアスとで微分する必要がある。
【0102】
【0103】
一方、最終出力yが式(4-2)で表される合成関数であることから、E(p)又はEn(p)の勾配ベクトルの計算は複雑であり、その計算量も膨大なものとなる。
【0104】
この様な勾配計算における不具合は、誤差逆伝播法によって解決することができる。例えば、第l-1層の第iユニットと第l層の第jユニットとを繋ぐ重みwji
(l)についての誤差関数の微分は、以下の式(8-1)の様に表すことができる。
【0105】
【0106】
l層の第jユニットへの入力uj
(l)がEnに与える変化量は、当該第jユニットからの出力zj
(l)を通じて第l+1層の各ユニットkへの各入力uk
(l+1)を変化させることのみを介して生じるものである。このことから、式(8-1)の右辺第1項は、微分の連鎖則を用いて、次の式(9-1)の様に表すことができる。
【0107】
【0108】
ここで、式(9-1)の左辺をδj
(l)とおくと、式(10-1)、式(10-2)の関係を使って、式(9-1)は式(10-3)の様に書き直すことができる。
【0109】
【0110】
式(10-3)より、左辺のδj
(l)は、δk
(l+1)(k=1,2,・・・・)から計算できることがわかる。すなわち、一つ上位の出力層側に存在する第l+1層の第kユニットに関するδk
(l+1)が与えられれば、第l層についてのδj
(l)を計算することができる。さらに、第l+1層の第kユニットに関するδk
(l+1)についても、その一つ上位の出力層側に存在する第l+2層の第kユニットに関するδk
(l+2)が与えられれば、計算することができる。このことを逐次繰り返して最上位層である出力層まで辿ることができる。
【0111】
最初に第L層である出力層の第kユニットに関するδk
(L)が取得されていれば、式(10-3)を用いて下位側(すなわち入力層側)に向かって逐次計算を繰り返すことにより(逆伝播)、任意層におけるδk
(l+1)を計算することができる。
【0112】
一方、式(8-1)の右辺第2項については、式(2-3)を第l層について成分で表現した式(11-1)を用いて、式(11-2)の様に計算することができる。
【0113】
【0114】
従って、第l-1層の第iユニットと第l層の第jユニットとを繋ぐ重みwji
(l)についての誤差関数の微分は、式(8-1)、式(10-3)によるδj
(l)、式(11-2)を用いて、以下の式(12-1)の様に表現することができる。
【0115】
【0116】
式(12-1)から、第l-1層の第iユニットと第l層の第jユニットとを繋ぐ重みwji
(l)についての誤差関数の微分は、第jユニットに関するδj
(l)と、第iユニットからの出力であるzi
(l-1)との積で与えられることがわかる。なお、δj
(l)についての計算は、上述した様に、式(10-3)を用いて逆伝播により求めることができ、また、逆伝播の最初の値、すなわち、第L層である出力層に関するδj
(L)は、以下の式(13-1)の様に計算することができる。
【0117】
【0118】
以上の手順により、本実施形態に係る多層化ネットワークについて、ある学習サンプル(xn,dn)を用いた学習を実現することができる。なお、複数の学習サンプルに対する誤差の総和E=ΣnEnに関する勾配ベクトルについては、上述した手順を学習サンプル(xn,dn)毎に並列的に繰り返し、以下の式(14-1)に示す和を計算することで、取得することができる。
【0119】
【0120】
以上が本実施形態に係る多層化ネットワークに関する説明である。また、本実施形態に係る多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(DNN:Deep Neural Network)を用いている。DNNとしては、例えば、画像を対象とする畳込みニューラルネットワーク(CNN:Convolutional Neural Network))を用いてもよい。以上の当該多層化ネットワークに関する説明は、以下の各実施形態のうち、機械学習モデル及び学習済みモデル47を用いる全ての実施形態にも該当する。続いて、処理回路44の各機能について述べる。
【0121】
処理回路44の読影練習支援機能443は、前述した構成に加え、学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、学習済みモデル47を得る。得られた学習済みモデル47は、メモリ41に保存される。ここで、学習データは、被検体Pをスキャンして得られる医用画像データ(及び付帯情報)である入力データと、当該医用画像データ(及び付帯情報)に対してユーザからの入力に基づいたフラグ情報である出力データとを含んでいる。
【0122】
また、読影練習支援機能443は、メモリ41内の学習済みモデル47を用いて、被検体をスキャンして得られる医用画像データから、当該医用画像データに対応したフラグ情報に関する第1数値情報を得る。例えば、読影練習支援機能443は、学習済みモデル47の入力層に入力された医用画像データに対し、学習済みのパラメータpに基づく演算を行い、学習済みモデル47の出力層から第1数値情報を出力するように動作する。ここで、第1数値情報は、医用画像データが読影練習に適するか否かを示す二値情報(1又は0)でもよく、医用画像データが練習用画像に適する確率でもよい。第1数値情報が二値情報の場合には、第1数値情報は、フラグ情報でもある。いずれにしても、メモリ41内の学習済みモデル47は、医用画像データに基づいて、当該医用画像データの読影練習に関する第1数値情報を生成するように機能付けられている。読影練習支援機能443は、第1数値情報が二値情報の場合には、当該二値情報であるフラグ情報を付帯情報d2に書き込む。この場合、機械学習モデル及び学習済みモデル47の出力層は、医用画像データが読影練習に適する確率を示す第2数値情報に対して閾値処理を実行し、閾値処理の結果に対応した第1数値情報(二値情報)を出力する層であるとしてもよい。一方、第1数値情報が確率の場合には、フラグ情報は、当該確率に対して閾値処理を施した結果に対応した二値情報である。読影練習支援機能443は、第1数値情報が確率の場合には、当該確率に対して閾値処理を施し、得られた二値情報であるフラグ情報を付帯情報d2に書き込む。
【0123】
また、読影練習支援機能443は、学習済みモデル47を用いて自動的に書き込んだフラグ情報“1”を、上級の読影医であるユーザの操作に応じて、フラグ情報“0”に更新してもよい。すなわち、ユーザの操作に応じて、練習用画像を読影練習の参考にならないという理由で消去できてもよい。この場合、学習済みモデル47は、読影練習の参考にならないために練習用画像が消去(フラグ情報が更新)されたことを学習し、医用画像が読影練習に適するかの判断のブラッシュアップを行うようにしてもよい。
【0124】
表示制御機能444は、第1の実施形態と同様の構成である。他の構成も第1の実施形態と同様である。
【0125】
次に、以上のように構成された読影練習支援装置の動作について
図8のフローチャートを用いて説明する。
【0126】
始めに、前述した通り、ステップST1~ST7が実行される。これにより、医用画像データd1と、フラグ情報を含む付帯情報d2とを有する医用画像ファイルFAがメモリ41に記憶される。
【0127】
次に、ステップST11において、処理回路44の読影練習支援機能443は、メモリ41内の医用画像ファイルFAから学習データを得る。読影練習支援機能443は、学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせることにより、学習済みモデル47を得る。得られた学習済みモデル47は、メモリ41に保存される。
【0128】
ステップST11の後、ステップST12において、前述同様に、位置決め撮影及び本スキャンが実行され、被検体Pの医用画像データが得られる。
【0129】
ステップST12の後、ステップST13において、前述したステップST2と同様の処理が実行される。すなわち、X線CT装置1は、被検体Pをスキャンして得られた医用画像データd1と、付帯情報d2とを有する医用画像ファイルFAをメモリ41に記憶する。この時点では、医用画像データd1が読影に適する旨が付帯情報d2に記録されていない。
【0130】
ステップST13の後、ステップST14において、処理回路44は、ステップST13で記憶された医用画像ファイルFAの医用画像データd1をメモリ41から取得する。処理回路44は、取得した医用画像データd1が読影練習に適するか否かを、処理回路44が学習済みモデル47を用いて判断する。例えば、処理回路44は、学習済みモデル47を用い、当該取得された医用画像データに基づいて第1数値情報を生成する。しかる後、処理回路44は、生成した第1数値情報と閾値とを比較し、医用画像データd1が読影練習に適するか否かを判断する。
【0131】
ステップST14の判断の結果、否の場合、処理回路44は、医用画像ファイルFAを更新する。これにより、メモリ41は、医用画像ファイルFAの付帯情報d2としてフラグ情報“0”を記憶する(ステップST15)。
【0132】
ステップST14の判断の結果、読影練習に適する場合、処理回路44は、医用画像ファイルFAを更新する。これにより、メモリ41は、医用画像ファイルFAの付帯情報d2としてフラグ情報“1”を記憶する(ステップST16)。
【0133】
ステップST15又はST16の後、ステップST17において、処理回路44は、未読影の医用画像があるか否かを判断し、未読影の医用画像がある場合にはステップST14~ST16の処理を繰り返す。ステップST17の判断の結果、否の場合には、処理回路44は、読影練習用の医用画像の登録処理を終了する。
【0134】
以下、前述同様に、処理回路44は、経験の浅いユーザの読影練習の際に、フラグ情報“1”に基づいて、読影練習に適した練習用画像をディスプレイ42に表示させることができる。その際、処理回路44は、上級の読影医の操作により、フラグ情報“1”を“0”に更新し、読影練習に適さない練習用画像については消去することができる。
【0135】
上述したように第2の実施形態によれば、医用画像データに基づいて、医用画像データの読影練習に関する第1数値情報を生成するように機能付けられた学習済みモデルを記憶する。しかる後、医用画像データを取得する。また、学習済みモデルを用い、当該取得された医用画像データに基づいて第1数値情報を生成する。当該第1数値情報に関するフラグ情報に基づいて、当該取得された医用画像データである練習用画像を表示部に表示させる。具体的には例えば、被検体をスキャンして得られる医用画像データを入力する入力層と、医用画像データに対応したフラグ情報に関する第1数値情報を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有する学習済みモデルを備える。これにより、上級の読影医の操作を介在させずに、医用画像データと、第1数値情報に基づくフラグ情報とを記憶する。また、記憶されたフラグ情報に基づいて、当該記憶された医用画像データである練習用画像を表示部に表示させる。
【0136】
従って、得られた多数の医用画像の中から、読影練習に適した練習用画像を提示することができる。
【0137】
補足すると、読影練習支援装置46は、ユーザが読影練習に適すると判断した医用画像データ(及び付帯情報)と、フラグ情報とを学習する。これにより、読影練習支援装置46は、新たに得られた医用画像が読影練習に適するか否かを自動的に判断する。これにより、新たに得られた医用画像のうち、自動的に、読影練習に適する医用画像を練習用画像として保存できる。従って、第2の実施形態によれば、上級の読影医による判断や操作の手間を省略しつつ、第1の実施形態と同様の効果を得ることができる。
【0138】
また、出力層が、医用画像データが読影練習に適する確率を示す第2数値情報に対して閾値処理を実行し、閾値処理の結果に対応した第1数値情報を出力する場合、学習済みモデル47の出力である第1数値情報をそのままフラグ情報に用いることができる。一方、第1数値情報が確率の場合には、確率は練習用画像が読影練習に向いている度合いと解釈できるので、確率を付帯情報に記録しておき、ユーザが読影練習を行う際に「練習適任度」として表示しても良い。
【0139】
また、機械学習モデル及び学習済みモデル47の入力データがフラグ情報以外の付帯情報を含む場合には、医用画像とフラグ情報のみを学習する場合に比べ、多数の医用画像間の違いが明確になるので、より一層、機械学習の精度向上を期待することができる。これに加え、入力データがフラグ情報以外の付帯情報を含む場合には、機械学習の負荷を低減させ、機械学習の効率向上を期待することができる。
【0140】
また、上級の読影医の操作により、フラグ情報“1”を“0”に更新し、読影練習に適さない練習用画像については消去することができる。この場合、読影練習支援装置46は、練習用画像が消去されたことを学習し、練習用画像が参考になるか否かの判断のブラッシュアップを行うことができる。
【0141】
<第3の実施形態>
次に、第3の実施形態に係る読影練習支援装置46について、前述した図面を参照しながら説明する。
【0142】
第3の実施形態は、第1の実施形態において、
図9に示すように、付帯情報d2にカテゴリ情報が含まれる。これにより、第3の実施形態は、読影練習の際に、カテゴリ情報に応じた練習用画像を表示可能となっている。
【0143】
具体的には、メモリ41は、前述した構成において、記憶する医用画像ファイルFAの付帯情報d2にカテゴリ情報が含まれる。すなわち、メモリ41は、前述した構成において、カテゴリ情報を更に記憶する。
【0144】
処理回路44の読影練習支援機能443は、前述した付帯情報d2を編集する構成において、ユーザによる入力インターフェース43の操作に応じて、カテゴリ情報を付帯情報d2に書き込む。例えば、読影医がフラグ情報“1”を登録する際に、金属アーチファクトの読影練習に適した医用画像に対応して、金属アーチファクトのカテゴリ情報を登録することにより、読影練習を行う際に参考になる。カテゴリ情報としては、読影練習の種別に関する情報であればよく、例えば、医用画像データの種別に関する情報としてもよい。また、カテゴリ情報としては、例えば、医用画像データに含まれる部位に関する情報としてもよく、医用画像データに対応する疾患名に関する情報としてもよい。医用画像データの種別としては、医用画像データに含まれる部位を用いてもよく、医用画像データに対応する疾患名を用いてもよく、部位及び疾患名の両方を用いてもよい。また、このカテゴリ情報は、適宜、編集可能である。カテゴリ情報は、大項目、中項目、小項目などのように、階層構造を有していてもよい。このようなカテゴリ情報の書き込み処理は、キー入力を行う方式でもよく、表示された幾つかのカテゴリ情報を選択する方式でもよい。
【0145】
表示制御機能444は、前述した構成に加え、カテゴリ情報及びフラグ情報“1”に基づいて、医用画像データd2である練習用画像をディスプレイ42に表示させる。練習用画像を表示させる際のカテゴリ情報は、例えば、読影練習を行うユーザ(練習医)が入力インターフェース43を介して、表示制御機能444に指定する。
【0146】
他の構成は、第1の実施形態と同様である。
【0147】
以上のような構成をもつ第3の実施形態によれば、
図10のステップST6aに示すように、例えばフラグ情報“1”を記憶する際に、医用画像データの種別に関するカテゴリ情報を更に記憶する。カテゴリ情報及びフラグ情報に基づいて、練習用画像を表示部に表示させる。従って、第3の実施形態によれば、第1の実施形態の効果に加え、カテゴリ情報に応じた読影練習を実施することができる。また、読影練習の際に、カテゴリ情報を参考にすることができる。
【0148】
また、カテゴリ情報が、医用画像データに含まれる部位に関する情報である場合、カテゴリ情報に関する上述した効果を、当該部位に関する効果として得ることができる。
【0149】
同様に、カテゴリ情報が、医用画像データに対応する疾患名に関する情報である場合、カテゴリ情報に関する上述した効果を、当該疾患名に関する効果として得ることができる。すなわち、部位又は疾患名に応じた読影練習を実施できる。また、読影練習の際に、部位又は疾患名を参考にすることができる。
【0150】
<第4の実施形態>
次に、第4の実施形態に係る読影練習支援装置46について、前述した図面を参照しながら説明する。
【0151】
第4の実施形態は、第2及び第3の実施形態の組み合わせであり、
図9に示すように、付帯情報d2にカテゴリ情報が含まれると共に、
図11又は
図12に示す如き、学習済みモデル47が第1数値情報及びカテゴリ情報を出力する。すなわち、第4の実施形態は、カテゴリ情報を用いた機械学習により得られた学習済みモデル47を用い、新たな医用画像データに対して自動的にカテゴリ情報を生成する。これにより、第4の実施形態は、読影練習の際に、カテゴリ情報に応じた練習用画像を表示可能となっている。
【0152】
具体的には、メモリ41は、第3の実施形態と同様に、記憶する医用画像ファイルFAの付帯情報d2にカテゴリ情報が含まれる。すなわち、メモリ41は、第1又は第2の実施形態に述べた構成に比べ、カテゴリ情報を更に記憶する。カテゴリ情報については、第3の実施形態に述べた通りである。すなわち、カテゴリ情報は、例えば、医用画像データの種別に関する情報、医用画像データに含まれる部位に関する情報、医用画像データに対応する疾患名に関する情報、のいずれとしてもよい。また、カテゴリ情報は、当該部位に関する情報と、当該疾患名に関する情報との両方でもよい。また、カテゴリ情報は、階層構造を有していてもよい。
【0153】
また、メモリ41は、第2の実施形態に述べた構成に比べ、
図11又は
図12に示す如き、学習済みモデル47を記憶する。学習済みモデル47を得るための学習データの出力データは、フラグ情報に関する第1数値情報と、カテゴリ情報とを含んでいる。なお、学習データの入力データは、前述同様に、医用画像データだけでもよく、医用画像データに加え、フラグ情報以外の付帯情報を含んでもよい。機械学習モデルは、医用画像データ(及び付帯情報)を入力として第1数値情報及びカテゴリ情報を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、前述同様に、多層化ネットワークであるとする。この場合、学習済みモデル47は、前述した入力層、出力層及び中間層を有し、当該出力層が、医用画像データの種別に関するカテゴリ情報を更に出力する。例えば、学習済みモデル47は、入力層に入力された医用画像データの種別に関するカテゴリ情報を当該医用画像データの画素値情報に基づいて特定し、当該特定したカテゴリ情報を出力層から更に出力してもよい。また同様に、学習済みモデル47の出力層は、医用画像データが読影練習に適する確率を示す第2数値情報に対して閾値処理を実行し、当該閾値処理の結果に対応した第1数値情報(二値情報)を出力してもよい。
【0154】
読影練習支援機能443は、メモリ41内の学習済みモデル47を用いて、学習済みモデル47から出力された第1数値情報に基づくフラグ情報、及びカテゴリ情報をそれぞれ付帯情報d2に書き込む。あるいは同様に、第1数値情報が確率の場合には、読影練習支援機能443が当該確率に対して閾値処理を施し、得られた二値情報であるフラグ情報を付帯情報d2に書き込む。
【0155】
表示制御機能444は、第3の実施形態と同様に、カテゴリ情報及びフラグ情報“1”に基づいて、医用画像データd2である練習用画像をディスプレイ42に表示させる。練習用画像を表示させる際のカテゴリ情報は、例えば、前述同様に、入力インターフェース43を介して処理回路44に指定される。
【0156】
他の構成は、第2又は第3の実施形態と同様である。
【0157】
以上のような構成をもつ第4の実施形態によれば、
図13のステップST16aに示すように、例えばフラグ情報“1”を記憶する際に、医用画像データの種別に関するカテゴリ情報を更に記憶する。カテゴリ情報及びフラグ情報に基づいて、練習用画像を表示部に表示させる。従って、第4の実施形態によれば、第2の実施形態の効果に加え、カテゴリ情報に応じた読影練習を実施することができる。また、読影練習の際に、カテゴリ情報を参考にすることができる。
【0158】
また、学習済みモデルは、医用画像データの種別に関するカテゴリ情報を医用画像データの画素値情報に基づいて特定し、当該特定したカテゴリ情報を出力層から更に出力する。従って、医用画像データを自動的に種別に分類することができる。
【0159】
補足すると、読影練習支援装置46は、ユーザ(上級の読影医)が読影練習用画像を保存する際に、医用画像データd1と、カテゴリ情報を含む付帯情報d2を学習データとして、練習用画像がどのカテゴリ情報に分類されるかを学習する。学習済みモデル47が得られた後、読影練習支援装置46は、医用画像データd1(及び付帯情報d2)から、医用画像データを自動的に分類(カテゴライズ)し、分類結果を示すカテゴリ情報を出力する。なお、カテゴリ情報の出力後、当該カテゴリ情報をユーザが変更してもよい。変更した場合には、読影練習支援装置46は、カテゴリ情報に変更があったことを学習することにより、自動的に行われるカテゴライズの精度を向上させることができる。
【0160】
また、カテゴリ情報が、医用画像データに含まれる部位に関する情報である場合、カテゴリ情報に関する上述した効果を、当該部位に関する効果として得ることができる。
【0161】
同様に、カテゴリ情報が、医用画像データに対応する疾患名に関する情報である場合、カテゴリ情報に関する上述した効果を、当該疾患名に関する効果として得ることができる。
【0162】
以上述べた少なくとも一つの実施形態によれば、被検体をスキャンして得られる医用画像データと、当該医用画像データに対してユーザからの入力に基づいたフラグ情報とを記憶する。当該フラグ情報に基づいて、医用画像データである練習用画像を表示部に表示させる。
【0163】
従って、得られた多数の医用画像の中から、読影練習に適した練習用画像を提示することができる。
【0164】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス(SPLD)、複合プログラマブル論理デバイス(CPLD)、及びフィールドプログラマブルゲートアレイ(FPGA)等がある。「CPU」は、「Central Processing Unit」の略語である。「GPU」は、「Graphics Processing Unit」の略語である。「ASIC」は、Application Specific Integrated Circuit」の略語である。「SPLD」は、「Simple Programmable Logic Device」の略語である。「CPLD」は、「Complex Programmable Logic Device」の略語である。「FPGA」は、「Field Programmable Gate Array」の略語である。この種のプロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、
図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0165】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0166】
1 X線CT装置
10 架台装置
11 X線管
12 X線検出器
13 回転フレーム
14 X線高電圧装置
15 制御装置
16 ウェッジ
17 コリメータ
18 DAS18
30 寝台装置
31 基台
32 寝台駆動装置
33 天板
34 支持フレーム
40 コンソール装置
41,51 メモリ
42,52 ディスプレイ
43,53 入力インターフェース
44,54 処理回路
441 システム制御機能
442 画像生成機能
443,541 読影練習支援機能
444,542 表示制御機能
45,55 通信インターフェース
46,50 読影練習支援装置
47 学習済みモデル
60 MRI装置
70 超音波診断装置
d1 医用画像データ
d2 付帯情報
FA 医用画像ファイル
P 被検体