(58)【調査した分野】(Int.Cl.,DB名)
ニューラルネットワークを含んで構成される複数の認識器の中から1以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
を備え、
前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第1認識器と、病変部位の性状を示す値を出力する第2認識器と、を含み、
前記選択手段は、前記検査情報により特定される検査の種類がスクリーン検査である場合に前記第1認識器を選択する一方、前記検査の種類が精密検査である場合に前記第2認識器を選択する、診断支援装置。
ニューラルネットワークを含んで構成される複数の認識器の中から1以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
を備え、
前記複数の認識器は、病変部位のカテゴリーを示す値を出力する第1認識器と、病変部位の性状を示す値を出力する第2認識器と、を含み、
前記選択手段は、前記検査情報により特定される表示手段であって前記乳房画像を表示させる表示手段の表示性能が相対的に低い場合に前記第1認識器を選択する一方、前記表示手段の表示性能が相対的に高い場合に前記第2認識器を選択する、診断支援装置。
ニューラルネットワークを含んで構成される複数の認識器の中から1以上の認識器を用いて、被検者の乳房の投影像又は断面像を示す乳房画像の認識処理を行う認識手段と、
前記被検者の検査に関する検査情報に応じて、前記複数の認識器の中から、前記認識処理に用いられる認識器又は前記認識処理による認識結果を出力すべき認識器を選択する選択手段と、
を備え、
前記複数の認識器は、第1認識器と、該第1認識器と比べて演算量又は演算時間が相対的に少ない第2認識器と、を含み、
前記選択手段は、前記検査情報により特定される前記乳房画像の種類が静止画像である場合に前記第1認識器を選択する一方、前記乳房画像の種類が動画像である場合に前記第2認識器を選択する、診断支援装置。
【発明を実施するための形態】
【0020】
本発明における診断支援プログラムについて、診断支援装置及び診断支援方法との関係において好適な実施形態を挙げ、添付の図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対して可能な限り同一の符号を付するとともに、重複する説明を省略する場合がある。
【0021】
[医用画像診断システム10の構成]
<全体構成>
図1は、本発明の一実施形態における診断支援装置18が組み込まれた医用画像診断システム10の全体構成図である。この医用画像診断システム10は、医療施設内にて医療業務を行う医師等に対して、コンピュータ支援診断/検出機能(つまり、CAD機能)を提供可能に構成される。
【0022】
医用画像診断システム10は、画像撮影装置12,14と、画像サーバ16と、診断支援装置18と、診断端末20と、中継装置22と、機械学習用サーバ24と、を含んで構成される。機械学習用サーバ24を除く各機器は、院内ネットワークNT1を介して、相互に通信可能に構成される。
【0023】
画像撮影装置12,14は、被検者の乳房の投影像又は断面像を示す乳房画像54(
図3)を撮影する装置である。撮影態様(いわゆる、モダリティ)の種類は、例えば、超音波、単純X線、X線CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)、トモシンセシス、光CTのいずれであってもよい。CAD機能部を備えていない画像撮影装置12の場合、画像サーバ16、診断支援装置18及び診断端末20が協働することで、オンデマンド型のCAD機能が提供される。一方、CAD機能部14fを備える画像撮影装置14の場合、画像撮影装置14が単体で動作することで、リアルタイム型のCAD機能が提供される。
【0024】
画像サーバ16は、画像撮影装置12,14により取得された乳房画像54を、いずれも後述する検査情報56及び結果情報58と対応付けて管理するファイルサーバである。診断支援装置18は、乳房画像54に対して様々な認識処理を行い、医師等の診断を支援するための各種情報を生成するデータ処理サーバである。診断端末20は、医師等が読影を行うための端末装置であり、ディスプレイ装置からなる表示手段26と、表示手段26に対して表示制御を行う表示制御手段28と、を備える。機械学習用サーバ24は、院外ネットワークNT2及び中継装置22を介して、診断支援装置18及び画像撮影装置14と相互に通信可能に構成されるデータ処理サーバである。
【0025】
<診断支援装置18のハードウェア構成>
図2は、
図1における診断支援装置18のハードウェア構成の一例を示す図である。診断支援装置18は、通信I/F30と、プロセッサ32と、メモリ34と、記憶装置36と、を含んで構成される。
【0026】
通信I/F30は、外部装置に対して電気信号を送受信するインターフェースである。これにより、診断支援装置18は、例えば、認識処理の対象である乳房画像54(
図3)を画像サーバ16から受信可能であるとともに、乳房画像54の認識結果を示す結果情報58(
図3)を画像サーバ16に送信可能である。
【0027】
プロセッサ32は、CPU(Central Processing Unit)を含む汎用プロセッサであってもよいし、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)を含む専用プロセッサであってもよい。メモリ34は、非一過性の記憶媒体であり、プロセッサ32が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶装置36は、例えば、ハードディスクドライブ(HDD:Hard Disk Drive)やソリッドステートドライブ(SSD:Solid State Drive)を含む非一過性の記憶媒体である。
【0028】
<診断支援装置18の機能ブロック>
図3は、
図1及び
図2における診断支援装置18の機能ブロックの一例を示す図である。診断支援装置18は、メモリ34に記憶された診断支援プログラムを読み出して実行することで、取得手段40、認識手段42、選択手段44、送信手段46、及び記憶手段48として機能する。取得手段40は、
図2の通信I/F30及びプロセッサ32によって実現される手段である。認識手段42及び選択手段44はそれぞれ、
図2のプロセッサ32により実現される手段である。送信手段46は、
図2の通信I/F30及びプロセッサ32によって実現される手段である。記憶手段48は、
図2の記憶装置36によって実現される手段である。
【0029】
取得手段40は、画像サーバ16との通信によって、認識処理の対象である乳房画像54及び検査情報56を取得する。取得手段40は、画像サーバ16以外の装置(例えば、被検者、医療従事者又は医用機器に関する様々な情報を管理する院内サーバ)に記憶されている検査情報56を取得してもよい。また、取得手段40は、機械学習用サーバ24との通信によって、1グループ以上の学習パラメータ群52を取得する。
【0030】
認識手段42は、取得手段40により取得された乳房画像54に対して様々な認識処理を施すことで、乳房画像54の認識結果を出力する。また、認識手段42は、複数グループの学習パラメータ群52をセットすることで複数の認識器50として機能する。この複数の認識器50には、例えば、出力値の定義、認識性能、テスト画像71(
図5)の収集地域、演算量又は演算時間のうち少なくともいずれかが異なる2以上の認識器が含まれる。
【0031】
選択手段44は、乳房画像54に関連付けられた検査情報56に応じて、複数の認識器50の中から、認識処理に用いられる1の認識器50を選択する。あるいは、選択手段44は、上記した検査情報56に応じて、複数の認識器50の中から、認識処理による認識結果を出力すべき1の認識器50を選択する。
【0032】
送信手段46は、認識手段42から出力された結果情報58を外部に送信する。送信手段46は、画像サーバ16から管理IDと一緒に乳房画像54を受け取った場合、この管理IDを付与した結果情報58を画像サーバ16に送信する。
【0033】
記憶手段48は、複数グループの学習パラメータ群52、乳房画像54、検査情報56、及び結果情報58を記憶する。学習パラメータ群52は、認識器50の演算規則を定めるための学習パラメータの集合体である。乳房画像54は、1又は複数の画像からなり、静止画像あるいは動画像であってもよい。検査情報56は、被検者の検査に関する情報であり、例えば、検査ID、被検者の身体的情報(例えば、年齢・性別・身長・体重等)、検査の種類、表示手段26の種類、医師等による読影の熟練度、検査の実施地域、乳房画像54の種類等が含まれる。結果情報58は、認識手段42による認識結果を示す情報であり、例えば、病変部位の有無、個数、種類(例えば、腫瘍)、位置、性状、又は確度等が含まれる。
【0034】
<認識器50の処理流れ>
図4は、
図3における認識器50の処理流れの一例を示す図である。認識器50は、ニューラルネットワークを含んで構成される。認識器50は、ニューラルネットワークのみで構成されてもよい。このニューラルネットワークは、機械学習(以下、単に「学習」ともいう)を通じて、画像中の物体を検出する「物体検出モデル」を構築可能に構成される。物体検出モデルの種類は、関心領域(ROI:Region Of Interest)の抽出器が物体の検出器とは別に設けられている「two-stage detector」(例えば、Faster R-CNNやその派生モデル等)であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」(例えば、YOLO、SSD、M2Detやこれらの派生モデル等)であってもよい。
【0035】
認識器50は、上流側から下流側にわたって順に、特徴マップ生成部60と、腫瘍検出部62と、データ解釈部64と、を含んで構成される。本図の例では、特徴マップ生成部60及び腫瘍検出部62が学習処理の対象であり、データ解釈部64が学習処理の対象ではない。
【0036】
特徴マップ生成部60は、乳房画像54に対して畳み込み演算及びプーリング演算(いわゆるCNN演算)を繰り返して実行することで、乳房画像54の形態的特徴を示す特徴マップをチャンネル毎に生成する。上記したCNN演算は、VGG16、ResNetを含む様々なネットワーク構造により実行され得る。
【0037】
腫瘍検出部62は、チャンネル毎の特徴マップを用いて、乳房画像54の全体領域66内における腫瘍領域Tの有無及び位置を検出する。例えば、「YOLO」モデルの場合、検出結果として、クラス毎の確度(あるいは、ラベル値の合計が1に正規化された確率)を示すテンソル形式の出力データが得られる。
【0038】
データ解釈部64は、腫瘍検出部62からの出力データを解釈することで、乳房画像54の認識結果(例えば、腫瘍領域Tの有無、位置、又は性状)を取得する。ここで、腫瘍領域Tの位置は、腫瘍領域Tの代表的な位置(例えば、重心)であってもよいし、腫瘍領域Tに外接する矩形状の関心領域68に関する位置であってもよい。
【0039】
<機械学習用サーバ24の構成>
図5は、機械学習用サーバ24の学習処理に関わる機能ブロック図である。この機械学習用サーバ24は、予め準備された教師データ70を用いて、学習器74に対する学習処理を行うことで、1グループ以上の学習パラメータ群52を作成する。本図では、機械学習用サーバ24の構成のうち、学習器74及び学習処理手段76を模式的に示している。
【0040】
学習器74の演算規則は、学習パラメータ群52を構成する学習パラメータの各値によって定められる。学習パラメータ群52は、例えば、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度を含む「可変パラメータ」と、ネットワーク構造を特定するための「固定パラメータ」(いわゆる、ハイパーパラメータ)から構成される。ハイパーパラメータの例として、各層を構成する演算ユニットの個数、中間層の数、物体検出モデルの種類が挙げられる。
【0041】
学習処理手段76は、複数組の教師データ70を用いて、学習器74に対する学習処理(つまり、学習パラメータ群52の最適化処理)を行う。学習処理手段76は、データ取得部78と、目的関数算出部80と、パラメータ更新部82と、収束判断部84と、を備える。
【0042】
データ取得部78は、予め準備されたデータベース86の中から1組又は複数組の教師データ70を取得する。この教師データ70は、テスト画像71と正解情報72のデータセットからなる。テスト画像71は、臨床画像やファントム画像であってもよいし、GAN(Generative Adversarial Network)を含む生成モデルを用いて生成した疑似画像であってもよい。正解情報72には、ラベル値、境界ボックスの位置情報が含まれる。
【0043】
目的関数算出部80は、教師データ70のテスト画像71に対する学習器74の出力情報と、教師データ70の正解情報72の間の誤差(以下、学習誤差という)を含む目的関数を算出する。この学習誤差は、差分の絶対値を返すL1ノルム関数であってもよいし、差分の2乗値を返すL2ノルム関数であってもよい。また、この学習誤差は、1組の教師データ70における誤差(オンライン学習の場合)であってもよいし、複数組の教師データ70に関する誤差(バッチ学習又はミニバッチ学習の場合)であってもよい。
【0044】
パラメータ更新部82は、目的関数算出部80により算出された目的関数が小さくなるように学習パラメータ群52(上記した可変パラメータ)を更新する。更新アルゴリズムとして、例えば、勾配降下法、確率的勾配降下法、モーメンタム法、RMSpropを含む様々な手法を用いてもよい。
【0045】
収束判断部84は、現在の学習時点にて予め定められた収束条件を満たすか否かを判断する。この収束条件の一例として、[1]目的関数が十分に小さくなったこと、[2]目的関数の更新量が十分に小さくなったこと、[3]学習の繰り返し回数が上限値に到達したこと、等が挙げられる。
【0046】
[医用画像診断システム10の動作]
本発明の一実施形態における診断支援装置18が組み込まれた医用画像診断システム10は、以上のように構成される。続いて、医用画像診断システム10の全体動作について
図1〜
図3及び
図6を、診断支援装置18による認識器50の選択動作について
図7〜
図10を参照しながらそれぞれ説明する。
【0047】
<全体動作>
(1.学習パラメータ群52のダウンロード)
機械学習用サーバ24は、新たな学習又は追加的な学習を通じて学習パラメータ群52を生成する。そして、機械学習用サーバ24は、診断支援装置18又は画像撮影装置14の要求に応じて、自装置が記憶している学習パラメータ群52を要求先に向けて送信する。これにより、診断支援装置18又は画像撮影装置14は、機械学習用サーバ24からの学習パラメータ群52を取得・記憶することで、最新バージョンの認識器50が利用可能となる。
【0048】
(2.被検者の撮影)
医師等は、画像撮影装置12を用いて、被検者の乳房を撮影する作業を行う。撮影の終了後、画像撮影装置12は、自装置が生成した乳房画像54を、被検者ID及び検査情報56と紐付けた状態にて画像サーバ16に送信する。これにより、画像サーバ16には、乳房画像54及び検査情報56を含むデータセット(以下、診断情報)が記憶される。なお、現時点の診断情報には結果情報58が含まれない。
【0049】
(3.認識処理)
診断支援装置18は、定期的に又は不定期に、画像サーバ16に対して未処理の乳房画像54があるか否かを問い合わせる。未処理の乳房画像54がある場合、診断支援装置18の取得手段40は、該当する診断情報とその管理IDを画像サーバ16から取得する。
【0050】
選択手段44は、診断情報に含まれる検査情報56が所定の条件を満たすか否かに応じて、認識手段42が利用可能な複数の認識器50の中から、認識処理に用いられる1の認識器50を選択する。例えば、選択手段44が該当する学習パラメータ群52を記憶手段48から読み出して認識手段42に供給することで、選択された認識器50が利用可能になる。
【0051】
認識手段42は、選択された認識器50を用いて乳房画像54の認識処理を行うことで、乳房画像54の認識結果を示す結果情報58を出力する。送信手段46は、得られた結果情報58を該当する管理IDと紐付けた状態にて画像サーバ16に送信する。これにより、画像サーバ16には、乳房画像54、検査情報56及び結果情報58を含む診断情報が記憶される。
【0052】
(4.診断画面100の表示)
医師等は、診断端末20を用いて、診断対象である被検者の診断画面100(
図6)の表示を要求する操作を行う。そうすると、診断端末20は、指定された被検者に対応する診断情報を要求する旨の信号(つまり、要求信号)を画像サーバ16に送信する。画像サーバ16は、診断端末20からの要求信号に応答して、乳房画像54、検査情報56及び結果情報58(
図3)を含む診断情報を診断端末20に送信する。
【0053】
診断端末20の表示制御手段28は、画像サーバ16から診断情報を受信すると、この診断情報を用いて診断画面100の表示用データを生成した後、この表示用データを表示手段26に供給する。これにより、表示手段26の図示しない表示領域内には、
図6の診断画面100が表示される。
【0054】
図6に示すように、診断画面100上には、検査情報欄102と、画像欄104と、サムネイル欄106と、処理情報欄108と、検査結果欄110と、が設けられている。検査情報欄102には、被検者名や画像IDを含む検査情報56が表示されている。画像欄104には、指定された1枚の乳房画像54が表示されている。乳房画像54上には、角丸矩形枠を示すマーク112,114が、それぞれの腫瘍を囲む位置に重ねて表示されている。サムネイル欄106は、複数枚の乳房画像54の中から画像欄104に表示させる1枚を、UI(ユーザインターフェース)を通じて選択可能に構成される。
【0055】
処理情報欄108には、認識器50の種類又は特性を示す認識器情報116と、マーク112,114の意味を説明するための説明情報118と、が表示されている。認識器情報116には、例えば、認識器50の名称、物体検出モデルの呼称、認識特性の特徴(例えば、高感度型、高特異度型、バランス型)、推奨ユーザ名(例えば、初級者向け、熟練者向け)等が含まれる。
【0056】
なお、結果情報58は、医師等が認識手段42による認識結果を一見して把握可能な態様で表示されている。本図の例では、この結果情報58は、画像欄104内のマーク112,114、及び、処理情報欄108内の説明情報118として可視化されている。また、この結果情報58と併せて認識器情報116が表示されているので、医師等は、表示されている認識結果を認識器50の種類又は特性と関連付けて把握することができる。
【0057】
ここで、医師等は、診断画面100上の画像欄104及び処理情報欄108を視認しながら乳房画像54の読影を行い、検査結果に関する所見やコメントを検査結果欄110内に入力する。このようにして、医用画像診断システム10による診断支援動作が終了する。
【0058】
ところで、上記した動作の例では、認識手段42は、選択手段44により選択された認識器50のみを用いて認識処理を行っているが、これに代えて、同一の乳房画像54に対して複数の認識処理を行ってそれぞれの認識結果を得てもよい。この場合、選択手段44は、複数の認識器50の中から、認識処理による認識結果を出力すべき認識器50を選択すればよい。
【0059】
<認識器50の選択動作>
続いて、診断支援装置18が備える選択手段44による認識器50の選択動作について、
図7〜
図10を参照しながら説明する。
【0060】
(第1例:出力値の定義)
選択動作の第1例では、認識手段42に実装される複数の認識器50には、出力値の定義が異なる2以上の認識器50が含まれることを想定する。この「出力値の定義」とは、検出対象である病変部位の表現方法を意味し、例えば、病変部位の種類、性状、又はカテゴリーが含まれる。種類の一例として、具体的には、腫瘍、微小石灰化等が挙げられる。性状の一例として、具体的には、良性、悪性等が挙げられる。カテゴリーの一例として、BI−RADS(Breast Imaging Reporting And Data System)分類のカテゴリー1〜5、あるいはサブカテゴリー4A/4B/4C等が挙げられる。
【0061】
図7(a)は、出力値の定義が異なる認識器50の生成方法を示す模式図である。ここでは、教師データ70を構成するテスト画像71及び正解情報72のうち、ラベル値の定義が異なる2値のラベルA,Bを準備した後、同一のネットワーク構造を有する学習器74によりそれぞれ学習させる。例えば、ラベルAに関して、「0」のラベル値はBI−RADS分類の「カテゴリーが3以下」であることを示し、「1」のラベル値はBI−RADS分類の「カテゴリーが4以上」であることを示す。一方、ラベルBに関して、「0」のラベル値は「良性」であることを示し、「1」のラベル値は「悪性」であることを示す。
【0062】
図7(b)は、認識器50の選択規則を記述する選択テーブルの第1例を示す。検査の種類が「スクリーン検査」である場合には、「BI−RADS」のカテゴリー判定値を出力する認識器50が選択される。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になる。一方、検査の種類が「精密検査」である場合には、「良性/悪性」の性状判定値を出力する認識器50が選択される。これにより、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
【0063】
ところで、精密検査の場合には、スクリーン検査の場合と比べてより高性能な表示手段26が用いられる傾向がある。そこで、検査の種類に代わって、表示手段26の種類が用いられてもよい。例えば、表示手段26の種類が、表示性能が相対的に低い「第1グループ」に属する場合には、「BI−RADS」のカテゴリー判定値を出力する認識器50が選択される。一方、表示手段26の種類が、表示性能が相対的に高い「第2グループ」に属する場合には、「良性/悪性」の性状判定値を出力する認識器50が選択される。なお、第1/第2グループの分類は、表示手段26の機種、管理状態、製品仕様、用途(例えば、読影用/電子カルテ用)等の様々な観点で予め行われてもよいし、輝度・解像度を含む定量値を用いた閾値判定により行われてもよい。
【0064】
(第2例:認識性能)
選択動作の第2例では、認識手段42に実装される複数の認識器50には、認識性能が異なる2以上の認識器50が含まれることを想定する。この「認識性能」は、感度、特異度、ROC(Receiver Operating Characteristic)曲線のAUC(Area Under the Curve)スコア等により評価される。
【0065】
図8(a)は、認識性能が異なる認識器50の生成方法を示す模式図である。例えば、教師データ70を蓄積したデータベース86から異なる母集団A,Bを形成した後、同一のネットワーク構造を有する学習器74をそれぞれ学習させる。例えば、学習パラメータ群52aは、母集団Aを構成する教師データ群90aを用いた学習を通じて生成される。一方、学習パラメータ群52bは、母集団Bを構成する教師データ群90bを用いた学習を通じて生成される。なお、母集団A,Bは、標本の分布又は標本数が異なってもよいし、正例と負例の配分、訓練データと検証データの配分が異なってもよい。
【0066】
図8(b)は、認識器50の選択規則を記述する選択テーブルの第2例を示す。検査の種類が「精密検査」である場合には、スクリーン検査と比べて「感度」が高い認識器50が選択される。これによって偽陰性率が下がり、病気で「ある」被検者を病気で「ない」と誤って診断する可能性が低下する。一方、検査の種類が「スクリーン検査」である場合には、精密検査と比べて「特異度」が高い認識器50が選択される。これによって偽陽性率が下がり、病気で「ない」被検者を病気で「ある」と誤って診断する可能性が低下する。
【0067】
ところで、熟練度が低い医師等は、読影に不慣れであるため、診断に時間が掛かる傾向がある。そこで、検査の種類と併せて又はこれとは別に、医師等による読影の熟練度が用いられてもよい。例えば、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に低い「第1グループ」に属する場合には、上記した「特異度」が高い認識器50が選択される。一方、検査の種類が「スクリーン検査」であって医師等の熟練度が相対的に高い「第2グループ」に属する場合には、上記した2種類の「中間」の認識性能を有する認識器50が選択される。これにより、スクリーン検査時において熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。なお、第1/第2グループの分類は、医師等の経験度、役職、資格、年齢等の様々な観点で予め行われてもよいし、経験年齢を含む定量値を用いた閾値判定により行われてもよい。
【0068】
(第3例:テスト画像71の収集地域)
選択動作の第3例では、認識手段42に実装される複数の認識器50には、異なる地域で収集されたテスト画像71を含む2以上の母集団を用いて学習がなされた2以上の認識器50が含まれることを想定する。この「収集地域」は、被検者の体格又は食文化等が統計的に有意に異なる地域を意味し、例えば、国家共同体、国、県、州等により区分される。
【0069】
図9(a)は、テスト画像71の収集地域が異なる認識器50の生成方法を示す模式図である。例えば、地域別のテスト画像71を含む教師データ70を蓄積したデータベース86a,86bを構築した後、同一のネットワーク構造を有する学習器74をそれぞれ学習させる。例えば、学習パラメータ群52aは、データベース86aを用いた学習を通じて生成される。一方、学習パラメータ群52bは、データベース86bを用いた学習を通じて生成される。
【0070】
図9(b)は、認識器50の選択規則を記述する選択テーブルの第3例を示す。検査の実施地域が「地域A」である場合には、地域Aに対応する学習パラメータ群52aが設定された認識器50が選択される。一方、検査の実施地域が「地域B」である場合には、地域Bに対応する学習パラメータ群52bが設定された認識器50が選択される。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
【0071】
(第4例:演算量・演算時間)
選択動作の第4例では、認識手段42に実装される複数の認識器50には、演算時間又は演算量が異なる2以上の認識器50が含まれることを想定する。
【0072】
図10(a)は、演算時間又は演算量が異なる認識器50の生成方法を示す模式図である。例えば、データベース86に蓄積されている教師データ70を用いて、異なるネットワーク構造を有する学習器74a,74bをそれぞれ学習させる。例えば、学習パラメータ群52aは学習器74aに適したパラメータセットであり、学習パラメータ群52bは学習器74bに適したパラメータセットである。なお、学習器74a,74bは、ネットワーク構造を特定するハイパーパラメータが異なってもよいし、物体検出モデルの種類が異なってもよい。
【0073】
図10(b)は、認識器50の選択規則を記述する選択テーブルの第4例を示す。乳房画像54の種類が「静止画像」である場合には、「動画像」と比べて演算時間が長い(あるいは演算量が多い)認識器50が選択される。一方、乳房画像54の種類が「動画像」である場合には、「静止画像」と比べて演算時間が短い(あるいは演算量が少ない)認識器50が選択される。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
【0074】
[実施形態による効果]
以上のように、この診断支援装置18は、ニューラルネットワークを含んで構成される複数の認識器50の中から1以上の認識器50を用いて、被検者の乳房の投影像又は断面像を示す乳房画像54の認識処理を行う認識手段42と、被検者の検査に関する検査情報56に応じて、複数の認識器50の中から、認識処理に用いられる認識器50又は認識処理による認識結果を出力すべき認識器50を選択する選択手段44を備える。
【0075】
また、この診断支援方法及びプログラムでは、1又は複数のコンピュータが、ニューラルネットワークを含んで構成される複数の認識器50を用いて、被検者の乳房の投影像又は断面像を示す乳房画像54の認識処理を行い、被検者の検査に関する検査情報56に応じて、複数の認識器50の中から、認識処理に用いられる認識器50又は認識処理による認識結果を出力すべき認識器50を選択する。このように構成したので、被検者の検査に応じた認識処理による認識結果を選択的に出力可能となり、CAD機能の使用状況に適した認識結果を提示することができる。
【0076】
また、複数の認識器50が、病変部位のカテゴリーを示す値を出力する第1認識器と、病変部位の性状を示す値を出力する第2認識器を含む場合、選択手段44は、検査情報56により特定される検査の種類がスクリーン検査である場合に第1認識器を選択する一方、検査の種類が精密検査である場合に第2認識器を選択してもよい。これにより、スクリーン検査時において医師等による客観的な判断に対する支援になり、精密検査時において医師等による正確な判断や意思決定に対する支援になる。
【0077】
また、複数の認識器50が、病変部位のカテゴリーを示す値を出力する第1認識器と、病変部位の性状を示す値を出力する第2認識器を含む場合、選択手段44は、検査情報56により特定される表示手段26であって乳房画像54を表示させる表示手段26の表示性能が相対的に低い場合に第1認識器を選択する一方、表示手段26の表示性能が相対的に高い場合に第2認識器を選択してもよい。これにより、スクリーン検査を実施している確度が高い状況下にて医師等による客観的な判断に対する支援になり、精密検査を実施している確度が高い状況下において医師等による正確な判断や意思決定に対する支援になる。
【0078】
この場合、第1認識器は、BI−RADSカテゴリーを区別する値を出力し、第2認識器は、良性であるか悪性であるかを区別する値を出力してもよい。
【0079】
また、複数の認識器50が、第1認識器と、該第1認識器と比べて感度が相対的に高く又は特異度が相対的に低い第2認識器を含む場合、選択手段44は、検査情報56により特定される検査の種類がスクリーン検査である場合に第1認識器を選択する一方、検査の種類が精密検査である場合に第2認識器を選択してもよい。これにより、スクリーン検査時において偽陽性と判定する誤診の可能性が低下し、精密検査時において偽陰性と判定する誤診の可能性が低下する。
【0080】
また、複数の認識器50が、第1認識器と、該第1認識器と比べて感度が相対的に高く又は特異度が相対的に低い第2認識器を含む場合、選択手段44は、検査情報56により特定される医師等による読影の熟練度が相対的に低い場合に第1認識器を選択する一方、読影の熟練度が相対的に高い場合に第2認識器を選択してもよい。これにより、スクリーン検査時において読影の熟練度が低い医師等が偽陽性と判定する誤診が抑制されやすくなる。
【0081】
また、複数の認識器50が、異なる地域で収集されるテスト画像71を含む母集団を用いて機械学習がなされた2以上の認識器50を含む場合、選択手段44は、検査情報56により特定される検査の実施地域に対応する認識器50を選択してもよい。これにより、実施地域内の被検者に適した認識処理を実行可能となり、その分だけ認識精度が向上する。
【0082】
また、複数の認識器50が、第1認識器と、該第1認識器と比べて演算量又は演算時間が相対的に少ない第2認識器を含む場合、選択手段44は、検査情報56により特定される乳房画像54の種類が静止画像である場合に第1認識器を選択する一方、乳房画像54の種類が動画像である場合に第2認識器を選択してもよい。これにより、静止画像又は動画像に適した認識処理を選択的に行うことができる。
【0083】
また、診断支援装置18又は診断端末20は、選択手段44により選択された認識器50の種類又は特性を示す認識器情報116を、認識結果を示す結果情報58と併せて表示手段26に表示させる制御を行う表示制御手段28をさらに備えてもよい。これにより、医師等は、認識器情報116を視認することで、表示された結果情報58を、認識器50の種類又は特性と関連付けて把握することができる。
【0084】
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
【0085】
上記した実施形態では、被検者の撮影部位として乳房を例に挙げて説明したが、乳房以外の様々な人体部位に適用され得る。また、病変部位として腫瘍を例に挙げて説明したが、微小石灰化を含む他の病変であってもよい。特に、2以上の病変部位を検出対象とする場合、認識器50は、複数の分類クラスに関する認識結果を出力してもよい。また、上記した実施形態では、認識器50は、BI−RADS分類の結果を2値として出力するが、これに代えて、カテゴリー毎(1〜5)又はサブカテゴリー毎(4A〜4C)のラベル値を出力してもよい。
【0086】
上記した実施形態では、選択手段44は、複数の認識器50の中から1の認識器50を選択しているが、これに代えて、2以上の認識器50を同時に選択してもよい。この場合、表示制御手段28は、得られた2以上の認識結果を同時に表示手段26に表示させてもよいし、2以上の認識結果を合成した1の認識結果を表示手段26に表示させてもよい。
【0087】
上記した実施形態では、選択手段44は、検査の種類、表示手段26の種類、読影の熟練度、検査の実施地域、乳房画像54の種類のうち少なくともいずれかを用いて認識器50を選択しているが、選択の根拠となる検査情報56はこれに限られない。例えば、選択手段44は、被検者の身体的情報を用いて、被検者の年齢又は体重の区分に応じた認識器50を選択してもよい。
【0088】
上記した実施形態では、認識器50は、単体のニューラルネットワークから構成されるが、これに代えて、機能が異なる2又は3以上のニューラルネットワークによって構成されてもよい。
【0089】
図11は、変形例における認識器140の処理流れを示す図である。この認識器140は、腫瘍認識器142と、他組織認識器144と、性状判定部146と、を含んで構成される。なお、「他組織」には、骨、筋肉、乳腺、脂肪等が含まれる。
【0090】
腫瘍認識器142は、乳房画像54を入力とし、乳房画像54に対する腫瘍の認識結果を出力とする認識器である。腫瘍認識器142は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、腫瘍領域Tの位置情報及び良性・悪性の確率を含むリスト(以下、「腫瘍位置リストL1」という)が出力される。
【0091】
他組織認識器144は、乳房画像54を入力とし、乳房画像54に対する他組織の認識結果を出力とする認識器である。他組織認識器144は、ニューラルネットワークを含んで構成される。上記した認識結果として、例えば、他組織領域の位置情報及び確率を含むリスト(以下、「他組織位置リストL2」という)が出力される。
【0092】
性状判定部146は、腫瘍位置リストL1及び他組織位置リストL2を用いて、複数の領域間の位置関係を特定し、当該位置関係に基づいて、腫瘍の性状、例えば良性であるか悪性であるかを判定する。具体的には、腫瘍領域Tが骨領域又は筋肉領域よりも体表から遠い側にある場合には、当該腫瘍領域Tは腫瘍に該当しないと判定される。また、複数の腫瘍領域Tが重ならない場合、腫瘍認識器142から出力された確率をそのまま用いて、当該腫瘍が良性/悪性であると判定される。また、2以上の腫瘍領域Tが少なくとも部分的に重なる場合、腫瘍認識器142から出力された2以上の確率のうちの最大値を求め、この確率の最大値を用いて当該腫瘍が良性/悪性であると判定される。
【課題】CAD(Computer-Assisted Diagnosis/Detection)機能の使用状況に適した認識結果を提示可能な診断支援プログラム、装置、及び方法を提供する。
【解決手段】診断支援装置18が、ニューラルネットワークを含んで構成される複数の認識器50の中から1以上の認識器50を用いて、被検者の乳房の投影像又は断面像を示す乳房画像54の認識処理を行い、被検者の検査に関する検査情報56に応じて、複数の認識器50の中から、認識処理に用いられる認識器50又は認識処理による認識結果を出力すべき認識器50を選択する。