IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニック株式会社の特許一覧

特許7607671医療用画像の異常検出システム及び異常検出方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-19
(45)【発行日】2024-12-27
(54)【発明の名称】医療用画像の異常検出システム及び異常検出方法
(51)【国際特許分類】
   A61B 6/00 20240101AFI20241220BHJP
   G06T 7/00 20170101ALI20241220BHJP
【FI】
A61B6/00 550D
A61B6/00 550Z
G06T7/00 612
【請求項の数】 10
(21)【出願番号】P 2022565238
(86)(22)【出願日】2021-11-15
(86)【国際出願番号】 JP2021041902
(87)【国際公開番号】W WO2022113801
(87)【国際公開日】2022-06-02
【審査請求日】2023-02-03
【審判番号】
【審判請求日】2023-10-18
(31)【優先権主張番号】P 2020195390
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000005821
【氏名又は名称】パナソニックホールディングス株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】石井 正宏
(72)【発明者】
【氏名】近藤 堅司
(72)【発明者】
【氏名】田中 雅人
(72)【発明者】
【氏名】藤本 真一
【合議体】
【審判長】南 宏輔
【審判官】萩田 裕介
【審判官】▲高▼見 重雄
(56)【参考文献】
【文献】国際公開第2010/078112(WO,A1)
【文献】国際公開第2019/102829(WO,A1)
【文献】国際公開第2018/088055(WO,A1)
【文献】中国特許出願公開第110555850(CN,A)
【文献】清水 英男,正常肝と肝細胞癌の類洞の立体構造,MEDICAL IMAGING TECHNOLOGY,1997年,vol.15, no.5,pp.597-602
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/00-5/01
A61B 5/055
A61B 6/00-6/58
A61B 8/00-8/15
(57)【特許請求の範囲】
【請求項1】
医療用画像に基づいて前記医療用画像に含まれる予め特定された一の解剖学的構造物であって本来一つのブロックとして検出されるべき解剖学的構造物についての異常の有無を検出する異常検出システムであって、
前記異常には、医療用画像において臓器の正常な構造の一部に腫瘍及び水を含む他の異常物が重なっているケースが含まれ、
前記異常検出システムは、
前記医療用画像において前記解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得部と、
前記取得部が取得した前記ブロック情報が示すブロックの数に基づいて前記ケースによる異常であるか否かを判定して出力する判定部とを備え、
前記判定部は、前記ブロック情報が示すブロックの数が1である場合に、前記ケースによる異常でないと判定し、前記ブロック情報が示すブロックの数が2以上である場合に、前記ブロック情報が示すブロックが所定の条件を満たすときに、前記ケースによる異常であると判定する、
異常検出システム。
【請求項2】
前記所定の条件は、前記ブロック情報が示す2以上のブロックのうち、前記医療用画像における面積が2番目に大きいブロックに関する条件である、
請求項1記載の異常検出システム。
【請求項3】
前記所定の条件は、前記ブロック情報が示す2以上のブロックのうち、前記医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有することである、
請求項2記載の異常検出システム。
【請求項4】
前記所定の条件は、前記ブロック情報が示す2以上のブロックのうち、前記医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの前記医療用画像における距離のうちの最小値が第2閾値以下であることである、
請求項1記載の異常検出システム。
【請求項5】
前記所定の条件は、さらに、前記ブロック情報が示す2以上のブロックのうち、前記医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有することである、
請求項4記載の異常検出システム。
【請求項6】
前記第1閾値は、様々な前記面積について予め得られる、前記解剖学的構造物の異常と正常とを区別するためのROC曲線(receiver operating characteristic curve)に依
存して定まる値である、
請求項3又は5記載の異常検出システム。
【請求項7】
前記第2閾値は、様々な前記距離について予め得られる、前記解剖学的構造物の異常と正常とを区別するためのROC曲線に依存して定まる値である、
請求項4記載の異常検出システム。
【請求項8】
医療用画像に基づいて前記医療用画像に含まれる予め特定された一の解剖学的構造物であって本来一つのブロックとして検出されるべき解剖学的構造物についての異常の有無を検出する異常検出システムによる異常検出方法であって、
前記異常には、医療用画像において臓器の正常な構造の一部に腫瘍及び水を含む他の異常物が重なっているケースが含まれ、
前記異常検出方法は、
前記医療用画像において前記解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得ステップと、
前記取得ステップで取得した前記ブロック情報が示すブロックの数に基づいて前記ケースによる異常であるか否かを判定して出力する判定ステップとを含み、
前記判定ステップでは、前記ブロック情報が示すブロックの数が1である場合に、前記ケースによる異常でないと判定し、前記ブロック情報が示すブロックの数が2以上である場合に、前記ブロック情報が示すブロックが所定の条件を満たすときに、前記ケースによる異常であると判定する、
異常検出方法。
【請求項9】
さらに、前記解剖学的構造物の異常と正常とを区別するためのROC曲線を取得し、取得した前記ROC曲線に基づいて、前記所定の条件を決定する決定ステップを含む、
請求項8記載の異常検出方法。
【請求項10】
前記解剖学的構造物は、左室、右房、下行大動脈、又は、横隔膜である、
請求項1~7のいずれか1項に記載の異常検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医療用画像の異常検出システム及び異常検出方法に関し、特に、医療用画像に含まれる解剖学的構造物について異常の有無を検出するシステム等に関する。
【背景技術】
【0002】
従来、医療用画像に基づいて臓器等の解剖学的構造物について異常の有無を検出する技術が提案されている(例えば、特許文献1参照)。特許文献1では、医療用画像に対して画像セグメンテーションを施して医療用画像から関心領域を分離し、分離した関心領域の重心位置、ボリューム、形状、強度、密度及び透明度等によって、異常の有無を判定している。なお、本明細書において、「異常」/「正常」とは、医学的な見地での(つまり、診断上の)「異常」/「正常」を意味する。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2019-530488号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1のような画像セグメンテーションで分離した関心領域の特性を利用する方法では、例えば、医療用画像において臓器の正常な構造の一部に腫瘍や水等の他の異常なものが重なっているケースでは、異常な症例を判別できない場合がある。
【0005】
そこで、本開示は、より高い精度で解剖学的構造物について異常の有無を検出することができる医療用画像の異常検出システム及び異常検出方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本開示の一形態に係る医療用画像の異常検出システムは、医療用画像に基づいて前記医療用画像に含まれる予め特定された一の解剖学的構造物であって本来一つのブロックとして検出されるべき解剖学的構造物についての異常の有無を検出する異常検出システムであって、前記異常には、医療用画像において臓器の正常な構造の一部に腫瘍及び水を含む他の異常物が重なっているケースが含まれ、前記異常検出システムは、前記医療用画像において前記解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得部と、前記取得部が取得した前記ブロック情報が示すブロックの数に基づいて前記ケースによる異常であるか否かを判定して出力する判定部とを備え、前記判定部は、前記ブロック情報が示すブロックの数が1である場合に、前記ケースによる異常でないと判定し、前記ブロック情報が示すブロックの数が2以上である場合に、前記ブロック情報が示すブロックが所定の条件を満たすときに、前記ケースによる異常であると判定する。
【0007】
また、上記目的を達成するために、本開示の一形態に係る医療用画像の異常検出方法は、医療用画像に基づいて前記医療用画像に含まれる予め特定された一の解剖学的構造物であって本来一つのブロックとして検出されるべき解剖学的構造物についての異常の有無を検出する異常検出システムによる異常検出方法であって、前記異常には、医療用画像において臓器の正常な構造の一部に腫瘍及び水を含む他の異常物が重なっているケースが含まれ、前記異常検出方法は、前記医療用画像において前記解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得ステップと、前記取得ステップで取得した前記ブロック情報が示すブロックの数に基づいて前記ケースによる異常であるか否かを判定して出力する判定ステップとを含み、前記判定ステップでは、前記ブロック情報が示すブロックの数が1である場合に、前記ケースによる異常でないと判定し、前記ブロック情報が示すブロックの数が2以上である場合に、前記ブロック情報が示すブロックが所定の条件を満たすときに、前記ケースによる異常であると判定する。
【発明の効果】
【0008】
本開示により、より高い精度で解剖学的構造物について異常の有無を検出することができる医療用画像の異常検出システム及び異常検出方法が提供される。
【図面の簡単な説明】
【0009】
図1図1は、実施の形態に係る診断支援システムの構成を示すブロック図である。
図2A図2Aは、医療用画像における解剖学的構造物の例を示す図である。
図2B図2Bは、医療用画像における解剖学的構造物の他の例を示す図である。
図2C図2Cは、医療用画像における解剖学的構造物の他の例を示す図である。
図2D図2Dは、医療用画像における解剖学的構造物の他の例を示す図である。
図3図3は、図1における異常検出システムの主要な動作を示すフローチャートである。
図4図4は、図3におけるステップS23の具体例を示すフローチャートである。
図5図5は、図3及び図4に示された判定の結果例を説明するための医療用画像における解剖学的構造物の例を示す模式図である。
図6図6は、図4に示された判定を評価するための症例を用いた実験の結果を示す図である。
図7図7は、図3におけるステップS23の他の具体例を示すフローチャートである。
図8A図8Aは、図3及び図7に示された判定の結果例を説明するための医療用画像における解剖学的構造物の例を示す模式図である。
図8B図8Bは、図7に示された判定の結果例を説明するための医療用画像における解剖学的構造物の撮像例を示す図である。
図9図9は、図3におけるステップS23のさらに他の具体例を示すフローチャートである。
図10A図10Aは、図4に示される面積を用いた判定に用いられる第1閾値の決定方法を示すフローチャートである。
図10B図10Bは、図7に示される距離を用いた判定に用いられる第2閾値の決定方法を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【0011】
図1は、実施の形態に係る診断支援システム10の構成を示すブロック図である。診断支援システム10は、医療用画像に基づいて解剖学的構造物について医師が効率的に診断するのを支援するシステムであり、インターネット等の通信路で接続された撮影装置20、画像サーバ30、ビューワ装置40、及び、異常検出システム50を備える。
【0012】
撮影装置20は、人の解剖学的構造物を撮影することで医療用画像31aを生成する装置であり、本実施の形態では、医療用画像として胸部X線画像を生成して画像サーバ30に格納するX線撮影装置である。なお、医療用画像としては、胸部X線画像に限られず、他の部位のX線画像であってもよいし、CTスキャン、PET/CTスキャン、SPECTスキャン、MRI、超音波、X線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又は、これらの組み合わせにより提供される画像であってもよい。
【0013】
画像サーバ30は、撮影装置20によって生成された医療用画像31a、及び、異常検出システム50によって生成された検出後の医療用画像32aを保持したり、保持している医療用画像32bをビューワ装置40に提供したりするデータサーバであり、例えば、ハードディスク等のストレージを備えるコンピュータ装置である。なお、画像サーバ30が他の装置とやりとりするデータには、医療用画像だけでなく、医療用画像に付随する各種情報(撮影日時、患者に関する情報、検出結果等)が含まれてもよい。
【0014】
ビューワ装置40は、GUI(Graphical User Interface)を介して得たユーザからの指示に従って、画像サーバ30に保持されている医療用画像32b及び医療用画像に付随する各種情報を様々な態様で表示する装置であり、例えば、ディスプレイ、マウス等の入力装置、ハードディスク等の記憶装置等の周辺装置を備えるコンピュータ装置である。
【0015】
異常検出システム50は、画像サーバ30から取得した検出対象の医療用画像31bに基づいて、医療用画像に含まれる予め特定された一の解剖学的構造物について医学的な異常の有無を検出するシステムであり、ブロック情報生成部51、取得部52、判定部53、及び、画像処理部54を備える。
【0016】
ブロック情報生成部51は、画像サーバ30から取得した検出対象の医療用画像31bから、医療用画像31bに含まれる解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を生成する、つまり、医療用画像31bに対してラベリング処理を施して画像の塊に分離する。ブロック情報は、医療用画像31bにおける個々のブロックを特定する情報であれば、特定のフォーマットに限定されない。例えば、ブロック情報は、医療用画像31bにおける個々のブロックに属する画素とそれ以外の画素とを区別する情報(例えば、ブロックを構成する画素を「1」、それ以外の画素を「0」とする2値画像)であってもよいし、個々のブロックの特性を示す情報(例えば、上記2値画像を解析することで得られる各ブロックの面積、輪郭情報など)であってもよい。
【0017】
取得部52は、ブロック情報生成部51が生成したブロック情報を取得する。
【0018】
判定部53は、取得部52が取得したブロック情報が示すブロックの数に基づいて、医療用画像31bに含まれる解剖学的構造物が異常であるか否かを判定して出力する。このとき、判定部53は、ブロック情報が示すブロックの数が1である場合に、本来一つのブロックとして検出されるべき解剖学的構造物が一つのブロックとして検出されていると認識し、医療用画像31bに含まれる解剖学的構造物が異常でないと判定する。一方、判定部53は、ブロック情報が示すブロックの数が2以上である場合に、ブロック情報が示すブロックが所定の条件を満たすときに、画像上又は画像処理上のノイズではなく本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像31bに含まれる解剖学的構造物が異常であると判定する。
【0019】
ここで、所定の条件は、例えば、ブロック情報が示す2以上のブロックのうち、医療用画像31bにおける面積が2番目に大きいブロックに関する条件である。より詳しくは、所定の条件は、ブロック情報が示す2以上のブロックのうち、医療用画像31bにおける面積が2番目に大きいブロックが第1閾値以上の面積を有することである。
【0020】
また、所定の条件は、例えば、ブロック情報が示す2以上のブロックのうち、医療用画像31bにおける面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像31bにおける距離のうちの最小値が第2閾値以下であることである。このとき、所定の条件は、さらに、ブロック情報が示す2以上のブロックのうち、医療用画像31bにおける面積が2番目に大きいブロックが第1閾値以上の面積を有することを含んでもよい。
【0021】
画像処理部54は、判定部53による判定結果を、検出対象の医療用画像31bに反映することで、検出後の医療用画像32aを生成し、画像サーバ30に格納する。
【0022】
なお、異常検出システム50を構成するブロック情報生成部51、取得部52、判定部53、及び、画像処理部54は、具体的には、プログラムを保持する不揮発性メモリ、一時作業領域としての揮発性メモリ、プログラムを実行するプロセッサ、通信インタフェース及び通信ポートを含む入出力回路等を備える少なくとも一つのコンピュータで実現される。
【0023】
また、異常検出システム50を構成するブロック情報生成部51、取得部52、判定部53、及び、画像処理部54は、一つのコンピュータ又は画像処理装置で実現されてもよいし、通信路で接続された複数のコンピュータ又は画像処理装置によって分散して実現されてもよい。
【0024】
また、診断支援システム10は、通信路で接続された撮影装置20、画像サーバ30、ビューワ装置40、及び、異常検出システム50で構成されたが、これらの構成要素の全部又は一部が一つの装置として組み立てられていてもよい。
【0025】
また、異常検出システム50は、必ずしもブロック情報生成部51及び画像処理部54を備える必要はなく、少なくとも取得部52及び判定部53を備えればよい。そのような構成であっても、医療用画像に含まれる解剖学的構造物について異常の有無を検出することができる。逆に、異常検出システム50は、撮影装置20、画像サーバ30及びビューワ装置40の少なくとも一つの機能を備えてもよい。
【0026】
図2A図2Dは、医療用画像における(つまり、医療用画像に含まれる)解剖学的構造物の例(合計、7種類の解剖学的構造物の例)を示す図である。より詳しくは、図2A図2Dは、解剖学的構造物の例として、それぞれ、右房陰影及び左室陰影、下行大動脈陰影、右横隔膜ドーム陰影及び左横隔膜ドーム陰影、右肺外側陰影及び左肺外側陰影を示す。図2A図2Dのそれぞれの表では、左から順に、胸部X線画像、解剖学的構造物名、解剖学的構造物の領域、胸部X線画像と解剖学的構造物との重畳の例が示されている。
【0027】
胸部X線画像上における解剖学的構造物とは、図2A図2Cに示されるように、右房陰影、左室陰影、下行大動脈陰影、横隔膜ドーム陰影等である。右房陰影は、胸部X線画像上における右房とその周辺との境界に描出される境界線である。左室陰影は、胸部X線画像上における左室とその周辺との境界に描出される境界線である。下行大動脈陰影は、胸部X線画像上における下行大動脈とその周辺との境界に描出される境界線である。横隔膜ドーム陰影は、胸部X線画像上における横隔膜とその周辺との境界に描出される境界線である。
【0028】
なお、胸部X線画像上における解剖学的構造物は、これらに限定されない。解剖学的構造物は、例えば、図2Dに示されるように、胸部X線画像上における肺の外側部分とその周辺との境界に描出される境界線である肺外縁の陰影であってもよく、その他の構造物または臓器等の陰影であってもよい。また、解剖学的構造物は、胸部X線画像に含まれる構造物等に限定されるものではなく、CT画像やMRI画像など、その他の撮影装置で撮影した医療用画像に含まれる構造物等であってもよい。
【0029】
次に、以上のように構成される本実施の形態に係る診断支援システム10の動作について、診断支援システム10を構成する特徴的な異常検出システム50の動作を中心に、説明する。
【0030】
図3は、図1における異常検出システム50の主要な動作(つまり、異常検出方法)を示すフローチャートである。図3の(a)は、異常検出システム50の主要な動作の流れを示し、図3の(b)は、図3の(a)におけるステップS2の詳細を示す。
【0031】
まず、取得部52は、ブロック情報生成部51が生成したブロック情報を取得する(取得ステップS1)。
【0032】
次に、判定部53は、取得部52が取得したブロック情報が示すブロックの数に基づいて、医療用画像に含まれる解剖学的構造物が異常であるか否かを判定して出力する(判定ステップS2)。より詳しくは、判定部53は、ブロック情報が示すブロックの数を判定し(S21)、ブロックの数が1である場合に(S21でYes)、本来一つのブロックとして検出されるべき解剖学的構造物が一つのブロックとして検出されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(S22)。
【0033】
一方、判定部53は、ブロック情報が示すブロックの数が2以上である場合に、ブロック情報が示すブロックが所定の条件を満たすか否かを判定し(S23)、所定の条件を満たすときに(S23でYes)、画像上又は画像処理上のノイズではなく本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常であると判定し(S24)、所定の条件を満たさないときに(S23でNo)、画像上又は画像処理上のノイズによって本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(S22)。
【0034】
図4は、図3におけるステップS23(所定の条件を満たすか否かの判定)の具体例を示すフローチャートである。
【0035】
本図に示される判定例では、判定部53は、所定の条件を満たすか否かの判定として、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有するか否かを判定する(S23a)。
【0036】
その結果、判定部53は、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有する場合には(S23aでYes)、画像上又は画像処理上のノイズではなく本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常であると判定する(図3のS24へ)。
【0037】
一方、判定部53は、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有さない場合には(S23aでNo)、画像上又は画像処理上のノイズによって本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(図3のS22へ)。
【0038】
図5は、図3及び図4に示された判定の結果例を説明するための医療用画像における解剖学的構造物(ここでは、下行大動脈陰影)の例を示す模式図である。より詳しくは、図5の(a)は、1つのブロック60として検出されたために(図3のステップS21でYes)、「異常でない」と判定される下行大動脈陰影の例を示す。図5の(b)は、2つのブロック60a及び60bとして検出され(図3のステップS21でNo)、かつ、2番目に大きいブロック60aが第1閾値以上の面積を有するために(図4のステップS23aでYes)、「異常である」と判定される下行大動脈陰影の例を示す。図5の(c)は、2つのブロック60c及び60dとして検出されたが(図3のステップS21でNo)、2番目に大きいブロック60cが第1閾値以上の面積を有さないために(図4のステップS23aでNo)、「異常でない」と判定される下行大動脈陰影の例を示す。
【0039】
図6は、図4に示された判定を評価するための症例を用いた実験の結果を示す図である。より詳しくは、図6の(a)は、右房陰影を解剖学的構造物として異常の有無を判定した場合のROC曲線(receiver operating characteristic curve)を示し、図6の(b)は、左室陰影を解剖学的構造物として異常の有無を判定した場合のROC曲線を示し、図6の(c)は、下行大動脈陰影を解剖学的構造物として異常の有無を判定した場合のROC曲線を示し、図6の(d)は、図6の(a)~(c)に示されたROC曲線の閾値選択結果及びAUC(Area Under the Curve)を示す図である。
【0040】
図6の(a)~(c)に示されるROC曲線において、横軸は、偽陽性率(つまり、正常と判明している症例を異常検出システム50が異常と判定した確率(1-特異度))を示し、縦軸は、陽性率(つまり、異常と判明している症例を異常検出システム50が異常と判定した確率(感度))を示す。これらのROC曲線は、正常及び異常が判明している複数の症例について、図4に示される判定に用いられる第1閾値を変化させて得られた異常検出システム50による判定結果をプロットしたものである。
【0041】
ROC曲線は、左上隅に近い位置を通る曲線であるほど、症例に対して正しい判定ができていることを示す。発明者らの比較によれば、図6の(b)及び(c)に示される左室陰影及び下行大動脈陰影に関する症例に対する判定精度は、従来の画像処理に基づく判定精度よりも改善されていることが判明している。これは、一つの解剖学的構造物について、医療用画像から抽出されるブロックの数、及び、2番目に面積が大きいブロックの大きさに基づいて異常/正常を判定する手法により、従来では判定が難しいケース(例えば、医療用画像において臓器の正常な構造の一部に腫瘍や水等の他の異常なものが重なっているケース)であっても、正しい判定ができているためと考えられる。なお、ROC曲線において、左上隅に最も近いポイント(図6の(a)~(c)における黒点)に対応する第1閾値が図4に示される判定に用いる閾値として最もふさわしいといえる。
【0042】
なお、ROC曲線において、判定に用いる閾値の選定方法にはいくつかある。例えば、ROC曲線上で陽性率+(1-偽陽性率)の値が最も大きくなる点(図6の(a)~(c)における黒点)を選択する方法である。陽性率+(1-偽陽性率)はYouden Indexと呼ばれるもので、それが最大になる点を選択する方法である。他には、陽性率を目標値(例えば0.9)になるような点を選択したり、偽陽性率を目標値(例えば0.1)となるような点を選択したりする方法もある。
【0043】
図7は、図3におけるステップS23(所定の条件を満たすか否かの判定)の他の具体例を示すフローチャートである。
【0044】
本図に示される判定例では、判定部53は、所定の条件を満たすか否かの判定として、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下であるか否かを判定する(S23b)。
【0045】
その結果、判定部53は、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下である場合には(S23bでYes)、画像上又は画像処理上のノイズではなく本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常であると判定する(図3のS24へ)。
【0046】
一方、判定部53は、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下でない場合には(S23bでNo)、画像上又は画像処理上のノイズによって本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(図3のS22へ)。
【0047】
図8Aは、図3及び図7に示された判定の結果例を説明するための医療用画像における解剖学的構造物(ここでは、下行大動脈陰影)の例を示す模式図である。より詳しくは、図8Aの(a)は、1つのブロック60として検出されたために(図3のステップS21でYes)、「異常でない」と判定される下行大動脈陰影の例を示す。図8Aの(b)は、2つのブロック60c及び60dとして検出され(図3のステップS21でNo)、かつ、医療用画像における面積が最も大きいブロック60dと他のブロックのそれぞれ(ここでは、ブロック60c)との医療用画像における距離のうちの最小値(ここでは、ブロック60dとブロック60cとの距離)が第2閾値以下であるために(図7のステップS23bでYes)、「異常である」と判定される下行大動脈陰影の例を示す。図8Aの(c)は、2つのブロック60e及び60fとして検出されたが(図3のステップS21でNo)、医療用画像における面積が最も大きいブロック60fと他のブロックのそれぞれ(ここでは、ブロック60e)との医療用画像における距離のうちの最小値(ここでは、ブロック60fとブロック60eとの距離)が第2閾値以下でないために(図7のステップS23bでNo)、「異常でない」と判定される下行大動脈陰影の例を示す。
【0048】
図8Bは、図7に示された判定の結果例を説明するための医療用画像における解剖学的構造物(ここでは、下行大動脈陰影)の実際の撮像例を示す図である。図8Bには、実際にブロックとして抽出された下行大動脈陰影の像が示されている。図8Bの(a)~(c)は、医療用画像における面積が最も大きいブロック(ここでは、70b、70d、70f)と他のブロックのそれぞれ(ここでは、70a、70c、70e)との医療用画像における距離のうちの最小値が第2閾値以下でないために(図7のステップS23bでNo)、「異常でない」と正しく判定される下行大動脈陰影の例を示し、図8Bの(d)は、医療用画像における面積が最も大きいブロック(ここでは、70h)と他のブロック(ここでは、70g)、70i)のそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下であるために(図7のステップS23bでNo)、「異常である」と正しく判定される下行大動脈陰影の例を示す。
【0049】
具体的には、図8Bの(a)に示すブロック70aとブロック70bは、下行大動脈陰影の検出結果であり、とぎれが生じているが「異常でない」と判定される例を示している。図8Bの(b)に示すブロック70cとブロック70dは、右側の横隔膜ドーム陰影の検出結果であり、とぎれが生じているが「異常でない」と判定される例を示している。図8Bの(c)に示すブロック70eとブロック70fは、左室陰影の検出結果であり、とぎれが生じているが「異常でない」と判定される例を示している。図8Bの(d)に示すブロック70gとブロック70hとブロック70iは、左室陰影の別の検出結果であり、小さなとぎれが生じているので「異常である」と判定される例を示している。
【0050】
なお、図3におけるステップS23(所定の条件を満たすか否かの判定)の具体例としては、図4に示される面積を用いた判定、及び、図7に示される距離を用いた判定に限られない。面積を用いた判定、及び、距離を用いた判定の両方を用いた判定であってもよい。図9は、面積を用いた判定、及び、距離を用いた判定の両方を用いた判定の一例を示すフローチャートである。つまり、図9は、図3におけるステップS23(所定の条件を満たすか否かの判定)のさらに他の具体例を示すフローチャートである。
【0051】
本図に示される判定例では、判定部53は、まず、所定の条件を満たすか否かの判定として、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有するか否かを判定する(S23a)。
【0052】
その結果、判定部53は、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有さない場合には(S23aでNo)、画像上又は画像処理上のノイズによって本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(図3のS22へ)。
【0053】
一方、判定部53は、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有する場合には(S23aでYes)、続いて、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下であるか否かを判定する(S23b)。
【0054】
その結果、判定部53は、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下である場合には(S23bでYes)、画像上又は画像処理上のノイズではなく本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常であると判定する(図3のS24へ)。
【0055】
一方、判定部53は、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下でない場合には(S23bでNo)、画像上又は画像処理上のノイズによって本来一つのブロックとして検出されるべき解剖学的構造物が2以上に分離されていると認識し、医療用画像に含まれる解剖学的構造物が異常でないと判定する(図3のS22へ)。
【0056】
なお、図9に示される判定では、面積についての条件を満たし(S23aでYes)、かつ、距離についての条件を満たす(S23bでYes)場合に、医療用画像に含まれる解剖学的構造物が異常であると判定され、それ以外の場合に、医療用画像に含まれる解剖学的構造物が異常でないと判定されたが、これに代えて、面積についての条件(S23a)、及び、距離についての条件(S23b)の少なくとも一方を満たす場合に、医療用画像に含まれる解剖学的構造物が異常であると判定され、それ以外の場合に、医療用画像に含まれる解剖学的構造物が異常でないと判定されてもよい。
【0057】
また、図3におけるステップS23(所定の条件を満たすか否かの判定)の具体例として、図4図7図9等で示された判定例のいずれを採用するかは、判定の対象とする解剖学的構造物の種類等に依存して、予め異常/正常が判明している症例に対して実験しておくことで、異常/正常判定の的中率が最も高い判定方法に決定してもよい。
【0058】
図10Aは、図4に示される面積を用いた判定に用いられる第1閾値の決定方法を示すフローチャートである。図4に示される面積を用いた判定では、判定部53は、所定の条件を満たすか否かの判定として、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有するか否かを判定するが、そのときに用いられる第1閾値の決定方法は、以下の通りである。
【0059】
まず、正常及び異常と判明している複数の症例について、図4に示される判定に用いられる第1閾値を変化させて異常検出システム50に判定させることで、図6の(a)~(c)に示されるようなROC曲線を算出する(S30)。次に、算出されたROC曲線において、左上隅に最も近いポイントに対応する第1閾値を、図4に示される判定に用いる閾値として決定する(S31)。
【0060】
つまり、予め、様々な第1閾値を用いて暫定的な判定をし、最も高い的中率を出した第1閾値を、異常/正常が未知の解剖学的構造物に対する判定の閾値として採用する。これにより、高い精度で解剖学的構造物について異常の有無が検出される。
【0061】
図10Bは、図7に示される距離を用いた判定に用いられる第2閾値の決定方法を示すフローチャートである。図7に示される距離を用いた判定では、判定部53は、所定の条件を満たすか否かの判定として、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下であるか否かを判定するが、そのときに用いられる第2閾値の決定方法は、以下の通りである。
【0062】
まず、正常及び異常と判明している複数の症例について、図7に示される判定に用いられる第2閾値を変化させて異常検出システム50に判定させることで、図6の(a)~(c)に示されるようなROC曲線を算出する(S40)。次に、算出されたROC曲線において、左上隅に最も近いポイントに対応する第2閾値が図7に示される判定に用いる閾値として決定する(S41)。
【0063】
つまり、予め、様々な第2閾値を用いて暫定的な判定をし、最も高い的中率を出した第2閾値を、異常/正常が未知の解剖学的構造物に対する判定の閾値として採用する。これにより、高い精度で解剖学的構造物について異常の有無が検出される。
【0064】
なお、図10Aに示される第1閾値の決定方法、及び、図10Bに示される第2閾値の決定方法は、解剖学的構造物の異常と正常とを区別するためのROC曲線を取得し、取得したROC曲線に基づいて、所定の条件(ここでは、第1閾値、第2閾値)を決定する決定ステップの一例といえる。
【0065】
以上のように、本実施の形態に係る診断支援システム10を構成する異常検出システム50は、医療用画像に基づいて医療用画像に含まれる予め特定された一の解剖学的構造物について異常の有無を検出するシステムであって、医療用画像において解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得部52と、取得部52が取得したブロック情報が示すブロックの数に基づいて解剖学的構造物が異常であるか否かを判定して出力する判定部53とを備え、判定部53は、ブロック情報が示すブロックの数が1である場合に、解剖学的構造物が異常でないと判定し、ブロック情報が示すブロックの数が2以上である場合に、ブロック情報が示すブロックが所定の条件を満たすときに、解剖学的構造物が異常であると判定する。
【0066】
これにより、本来一つのブロックとして検出されるべき解剖学的構造物が一つのブロックとして検出されたか否かに基づいて異常の有無が判定されるので、従来では判定が難しいケース(例えば、医療用画像において臓器の正常な構造の一部に腫瘍や水等の他の異常なものが重なっているケース)であっても、正しい判定が可能になる。よって、従来よりも高い精度で解剖学的構造物について異常の有無が検出される。
【0067】
また、一例として、所定の条件は、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックに関する条件である。より詳しくは、所定の条件は、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有することである。
【0068】
これにより、図6の(b)及び(c)に示される実験結果のように、判定部53の判定精度は、従来の画像処理に基づく判定精度よりも改善される。
【0069】
また、所定の条件は、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が最も大きいブロックと他のブロックのそれぞれとの医療用画像における距離のうちの最小値が第2閾値以下であることであってもよい。ここで、所定の条件は、さらに、ブロック情報が示す2以上のブロックのうち、医療用画像における面積が2番目に大きいブロックが第1閾値以上の面積を有することであってもよい。
【0070】
これにより、本来一つのブロックとして検出されるべき解剖学的構造物がどのような複数のブロックとして検出されたかの情報に基づいて解剖学的構造物の異常/正常が判定されるので、従来では判定が難しいケースであっても、正しい判定が可能になり得る。
【0071】
また、第1閾値は、様々な面積について予め得られる、解剖学的構造物の異常と正常とを区別するためのROC曲線に依存して定まる値であってもよい。同様に、第2閾値は、様々な距離について予め得られる、解剖学的構造物の異常と正常とを区別するためのROC曲線に依存して定まる値であってもよい。
【0072】
これにより、予め異常/正常が判明している症例に対して得られたROC曲線から第1閾値及び第2閾値が決定されるので、高い精度で解剖学的構造物について異常の有無が検出される。
【0073】
また、本実施の形態に係る異常検出方法は、医療用画像に基づいて医療用画像に含まれる予め特定された一の解剖学的構造物について異常の有無を検出する異常検出システム50による異常検出方法であって、医療用画像において解剖学的構造物を示す画素が繋がった領域であるブロックを示すブロック情報を取得する取得ステップS1と、取得ステップS1で取得したブロック情報が示すブロックの数に基づいて解剖学的構造物が異常であるか否かを判定して出力する判定ステップS2とを含み、判定ステップS2では、ブロック情報が示すブロックの数が1である場合に、解剖学的構造物が異常でないと判定し、ブロック情報が示すブロックの数が2以上である場合に、ブロック情報が示すブロックが所定の条件を満たすときに、解剖学的構造物が異常であると判定する。
【0074】
これにより、本来一つのブロックとして検出されるべき解剖学的構造物が一つのブロックとして検出されたか否かに基づいて異常の有無が判定されるので、従来では判定が難しいケース(例えば、医療用画像において臓器の正常な構造の一部に腫瘍や水等の他の異常なものが重なっているケース)であっても、正しい判定が可能になる。よって、従来よりも高い精度で解剖学的構造物について異常の有無が検出される。
【0075】
また、さらに、解剖学的構造物の異常と正常とを区別するためのROC曲線を取得し、取得したROC曲線に基づいて、所定の条件を決定する決定ステップ(S30~S31、S40~S41)を含んでもよい。これにより、予め異常/正常が判明している症例に対して得られたROC曲線から第1閾値及び第2閾値を含む所定の条件が決定されるので、高い精度で解剖学的構造物について異常の有無が検出される。
【0076】
以上、本開示の診断支援システム、医療用画像の異常検出システム及び異常検出方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
【0077】
例えば、本開示は、上記実施の形態における異常検出方法に含まれるステップを実行するプログラムとして実現したり、そのプログラムが記録されたDVD等のコンピュータ読み取り可能な非一時的な記録媒体として実現したりしてもよい。そのプログラムは、1つの記憶装置に保存されてもよいし、複数の記憶装置に分散して記憶されてもよい。また、そのプログラムは、1台のコンピュータによって実行されてもよいし、通信路で接続された複数のコンピュータによって分散して実行されてもよい。
【0078】
また、上記実施の形態における異常検出方法には、取得部52及び判定部53によるステップが含まれたが、これらのステップだけに限られず、ブロック情報生成部51、画像処理部54、撮影装置20による処理、及び、ビューワ装置40による処理の少なくとも一つが含まれてもよい。
【0079】
また、上記実施の形態では、所定の条件として、複数の判定例が示されたが、これら複数の判定例は、ユーザから指示に基づいて異常検出システム50が決定してもよいし、医療用画像又は解剖学的構造物の種類に応じて過去において最も的中率の高かった判定例を異常検出システム50が自動で決定及び更新してもよい。
【0080】
また、上記実施の形態では、所定の条件に用いられる第1閾値及び第2閾値は、ROC曲線において左上隅に最も近いポイントに対応する値に決定されたが、そのポイントに近い別のポイントに決定されてもよいし、左上隅に近い複数のポイントからユーザによって選択されてもよい。
【産業上の利用可能性】
【0081】
本開示に係る医療用画像の異常検出システム及び異常検出方法は、医療用画像に含まれる解剖学的構造物について異常の有無を検出するシステムとして、例えば、医師が効率的に病気を診断するのを支援するシステムとして、利用できる。
【符号の説明】
【0082】
10 診断支援システム
20 撮影装置
30 画像サーバ
31a、31b、32a、32b 医療用画像
40 ビューワ装置
50 異常検出システム
51 ブロック情報生成部
52 取得部
53 判定部
54 画像処理部
60、60a~60f、70a~70f ブロック
図1
図2A
図2B
図2C
図2D
図3
図4
図5
図6
図7
図8A
図8B
図9
図10A
図10B