(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018250
(43)【公開日】2025-02-06
(54)【発明の名称】診断支援装置、診断支援プログラムおよび学習済モデルの構築方法
(51)【国際特許分類】
A61B 6/03 20060101AFI20250130BHJP
【FI】
A61B6/03 360D
A61B6/03 360J
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023121798
(22)【出願日】2023-07-26
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】510094724
【氏名又は名称】国立研究開発法人国立循環器病研究センター
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】山内 崇史
(72)【発明者】
【氏名】荒 哉太
(72)【発明者】
【氏名】▲高▼橋 遼
(72)【発明者】
【氏名】▲高▼橋 正憲
(72)【発明者】
【氏名】浅海 泰栄
(72)【発明者】
【氏名】和山 啓馬
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA22
4C093AA26
4C093CA15
4C093DA02
4C093FD03
4C093FD09
4C093FF16
4C093FF22
4C093FF28
4C093FG13
(57)【要約】
【課題】プラークの誤検出による医師の診断の手間を低減する。
【解決手段】診断支援装置(3)は、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印(B)が付された医用画像における、目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類部(334)と、血管領域の幅に対するプラーク領域の幅の割合を算出する算出部(335)と、割合が所定の判断用閾値以上であるか否かを判断する判断部(336)と、判断部による判断結果に基づく出力処理を行う出力処理部(338)と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類部と、
前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出部と、
前記割合が所定の判断用閾値以上であるか否かを判断する判断部と、
前記判断部による判断結果に基づく出力処理を行う出力処理部と、
を備えることを特徴とする診断支援装置。
【請求項2】
前記出力処理部は、前記割合が前記判断用閾値以上ではないと前記判断部が判断した場合に、対応する前記対象領域を囲んでいた前記目印を前記医用画像から削除する、
ことを特徴とする請求項1に記載の診断支援装置。
【請求項3】
前記分類部は、K-means法を用いて、前記対象領域を、前記血管領域と前記プラーク領域とに分類する、
ことを特徴とする請求項1に記載の診断支援装置。
【請求項4】
前記分類部は、K=4のK-means法を用いて、前記対象領域を、
最も高い輝度を示す前記プラーク領域と、
最も低い輝度を示す外部組織が写った外部領域と、
上から2番目および3番目に高い輝度を示す前記血管領域と、
に分類する、
ことを特徴とする請求項3に記載の診断支援装置。
【請求項5】
前記算出部は、
前記血管領域および前記プラーク領域を、前記血管の延長方向に沿って走査し、
前記判断部は、最も高い前記割合が前記判断用閾値以上であるか否かを判断する、
ことを特徴とする請求項1に記載の診断支援装置。
【請求項6】
前記目印は、四辺がそれぞれ前記医用画像の四辺と並行な矩形の枠であり、
前記算出部は、
前記対象領域を、前記血管領域の延長方向が、当該対象領域のいずれかの枠線と並行になるよう回転させ、
前記血管領域および前記プラーク領域を、前記枠線の延長方向に沿って走査する、
ことを特徴とする請求項5に記載の診断支援装置。
【請求項7】
血管が写った医用画像であって、前記目印が付されていない抽出前の医用画像のデータを取得する取得部と、
血管が写った過去の医用画像と、医師によって付された、当該過去の医用画像における血管内のプラークが写った領域を囲む目印と、の組を教師データとする機械学習により構築された学習済モデルに、前記抽出前の医用画像のデータを入力することにより、当該抽出前の医用画像に、血管内のプラークとされる領域を囲む目印を付すプラーク抽出部と、
を更に備える、
ことを特徴とする請求項1に記載の診断支援装置。
【請求項8】
前記教師データは、前記過去の医用画像と、前記目印と、前記目印に囲まれた領域に写ったプラークが、プラークの大きさに応じて設定されている複数のグループのうちどのグループに分類されるかを示すプラークグループデータと、の組であり、
前記プラーク抽出部は、血管内のプラークとされる領域を囲む目印を付す際に、当該プラークに対応する前記プラークグループデータに基づく情報を出力する、
ことを特徴とする請求項7に記載の診断支援装置。
【請求項9】
前記対象領域を所定の分類用閾値で二値化する二値化部と、
二値化された前記対象領域に白い領域が存在するか否かを判断する第二判断部と、
を備え、
前記分類部は、白い領域が存在すると前記第二判断部が判断した前記対象領域を、前記血管領域と前記プラーク領域とに分類する、
ことを特徴とする請求項1に記載の診断支援装置。
【請求項10】
前記プラークは石灰化プラークであり、
前記分類部は、前記対象領域を、血管が写っている血管領域と、石灰化プラークが写っている石灰化プラーク領域と、に分類する、
ことを特徴とする請求項1から9のいずれか一項に記載の診断支援装置。
【請求項11】
プロセッサに、
血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類ステップと、
前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出ステップと、
前記割合が所定の判断用閾値以上であるか否かを判断する判断ステップと、
前記判断ステップにおける判断結果に基づく出力処理を行う出力処理ステップと、
を実行させることを特徴とする診断支援プログラム。
【請求項12】
血管、及び当該血管内のプラークが写った医用画像であって、前記プラークを囲む目印が付された複数の医用画像における、前記目印によって囲まれた対象領域を、所定の分類用閾値で二値化する二値化ステップと、
二値化された前記対象領域に白い領域が存在する場合、前記対象領域内のプラークが石灰化プラークである旨のラベルを付す付与ステップと、
前記医用画像と、当該医用画像における前記対象領域に付されたラベルと、の組を教師データとする機械学習により学習済モデルを構築する学習ステップと、
を有することを特徴とする学習済モデルの構築方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断支援装置、診断支援プログラムおよび学習済モデルの構築方法に関する。
【背景技術】
【0002】
従来、血管内のプラークを分類する各種技術が提案されている。例えば特許文献1には、組織特性決定アプリケーションにより、血管断面に関する超音波エコー情報のスペクトル解析から特性決定された組織成分マップを提供するステップであって、特性決定された組織マップにおいて異なるプラーク成分が割り当てられた識別値により弁別されるステップと、プラーク分類アプリケーションにより特性決定された組織マップの空間的に配置されたデータに分類基準を適用するステップと、適用するステップに応じて血管断面に関連するプラーク分類を提供するステップと、を備える方法について記載されている。
【0003】
また、プラークの分類に学習済モデルを用いることも行われている。例えば特許文献2には、医療画像を取得する画像取得部と、医療画像から得られる特徴量に基づいて医療画像又は医療画像に含まれる注目領域を2以上のクラスのうちのいずれかに分類する分類器と、分類器による医療画像または注目領域の分類結果の信頼度算出する信頼度算出部と、信頼度に基づいて医療画像又は注目領域の分類結果を確定する確定部と、を備えた医療画像処理装置について記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特表2009-530068号公報
【特許文献2】国際公開2020/170791号
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の装置や方法では、狭心症や心筋梗塞等を発症するリスクが比較的低い低リスクのプラークを、発症するリスクが高い高リスクなプラークとして誤判断してしまうことがあった。このため、医用画像には、高リスクなプラークの存在を示す目印が、実際に存在する高リスクなプラークの数よりも多く付されてしまうことがあった。このような医用画像を医師がそのまま診断に用いると、目印の適否も含め、医師が必要以上に多くの診断を行わなければならなくなってしまう。
【課題を解決するための手段】
【0006】
本発明の一態様に係る診断支援装置は、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類部と、前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出部と、前記割合が所定の判断用閾値以上であるか否かを判断する判断部と、前記判断部による判断結果に基づく出力処理を行う出力処理部と、を備える。
【0007】
また、本発明の他の態様に係る診断支援プログラムは、プロセッサに、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類ステップと、前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出ステップと、前記割合が所定の判断用閾値以上であるか否かを判断する判断ステップと、前記判断ステップにおける判断結果に基づく出力処理を行う出力処理ステップと、を実行させる。
【0008】
また、他の発明の一態様に係る学習済モデルの構築方法は、血管、及び当該血管内のプラークが写った医用画像であって、前記プラークを囲む目印が付された複数の医用画像における、前記目印によって囲まれた対象領域を、所定の分類用閾値で二値化するステップと、二値化された前記対象領域に白い領域が存在する場合、前記対象領域内のプラークが石灰化プラークである旨のラベルを付すステップと、前記医用画像と、当該医用画像における前記対象領域に付されたラベルと、の組を教師データとする機械学習により学習済モデルを構築するステップと、を有する。
【図面の簡単な説明】
【0009】
【
図1】一の発明の実施形態に係る診断支援システムの概略構成を示すブロック図である。
【
図2】同システムが備える診断支援装置の機能的構成を示すブロック図である。
【
図4】同装置による対象領域の分類の一例を示す図である。
【
図7】同実施形態の変形例に係る診断支援システムの概略構成を示すブロック図である。
【
図8】他の発明の実施形態に係る学習済モデルの構築方法の流れを示すフローチャートである。
【発明を実施するための形態】
【0010】
<診断支援システム>
まず、一の発明に係る診断支援システム100(以下、システム100)の実施形態について詳細に説明する。
【0011】
図1に示したように、システム100は、モダリティ1と、サーバ2と、診断支援装置3と、端末装置4と、を備える。
【0012】
[モダリティ]
モダリティ1は、被験者の診断対象部位を撮影し、診断対象部位が写った医用画像のデータを生成する。本実施形態に係るモダリティ1が生成する医用画像のデータは、DICOM(Digital Imaging and Communications in Medicine)規格に則った形式になっている。本実施形態に係るモダリティ1は、CT(Computed Tomography)装置である。モダリティ1は、生成した医用画像のデータを、サーバ2へ送信する。なお、モダリティ1は、MRI(Magnetic Resonance Imaging)、一般のX線撮影装置等であってもよい。
【0013】
[サーバ]
サーバ2は、モダリティ1または診断支援装置3から取得した医用画像のデータを、被験者の情報と対応付けて記憶する。サーバ2は、PACS(Picture Archiving and Communications System)を構成している。
【0014】
[端末装置]
端末装置4は、医師による操作に応じた医用画像のデータをサーバ2または診断支援装置3から取得する。そして、端末装置4は、取得したデータに基づく医用画像を表示する。端末装置4は、PC(Personal Computer)、スマートフォン、タブレット端末、またはモニターで構成されている。また、端末装置4は、表示した医用画像に対する診断結果の入力を受け付けることが可能に構成されている。端末装置4は、診断結果の入力を受け付けると、それをサーバ2へ送信する。診断結果を受信したサーバ2は、受信した診断結果を医用画像のデータと対応付けて記憶する。
【0015】
[診断支援装置]
診断支援装置3は、モダリティ1またはサーバ2から取得した医用画像のデータに、診断を支援するための処理を施す。診断支援装置3は、PC(Personal Computer)、または専用の装置で構成されている。
図2に示したように、本実施形態に係る診断支援装置3は、通信部31と、記憶部32と、制御部33と、を備える。
【0016】
〔通信部〕
通信部31は、サーバ2と通信する。本実施形態に係る通信部31は、通信モジュールで構成されている。なお、通信部31は、サーバ2を介してモダリティ1および端末装置4の少なくとも一方と通信するよう構成されていてもよい。また、通信部31は、モダリティ1および端末装置4の少なくとも一方と、サーバ2を介さずに直接通信するよう構成されていてもよい。
【0017】
〔記憶部〕
記憶部32は、診断支援プログラム321を記憶している。本実施形態に係る記憶部32は、学習済モデル322も記憶している。また、本実施形態に係る記憶部32は、半導体メモリ、ハードディスク等で構成されている。なお、記憶部32は、診断支援プログラム321を記憶するものと、学習済モデル322を記憶するものと、に分けられていてもよい。また、学習済モデル322は、診断支援装置3が通信可能な他の装置に記憶されていてもよい。
【0018】
診断支援プログラム321は、診断支援装置の制御部33の動作を記述したものである。
【0019】
学習済モデル322は、血管が写った過去の医用画像と、医師によって付された、当該過去の医用画像における血管内のプラークが写った領域を囲む目印Bと、の組を教師データとする機械学習により構築されている。本実施形態に係る学習済モデル322は、冠動脈が写った過去の医用画像と、血管内の石灰化プラークが写った領域を囲む目印Bと、の組を教師データとする機械学習により構築されている。すなわち、本実施形態に係る学習済モデル322は、冠動脈が写った医用画像から石灰化プラークを抽出するためのものである。なお、学習済モデル322は、上記のように構築されたものに限られない。すなわち、学習済モデル322は、プラークが生じる可能性のある冠動脈以外の血管が写った医用画像と、目印Bと、の組を教師データとして構築されたものであってもよい。また、学習済モデル322は、医用画像と、血管内の脂質性プラークが写った領域を囲む目印Bと、の組を教師データとして構築されたものであってもよい。
【0020】
本実施形態に係る学習済モデル322の構築に用いられた教師データは、過去の医用画像と、目印Bと、プラークグループデータと、の組である。プラークグループデータは、目印Bに囲まれた領域に写ったプラークが、プラークの大きさに応じて設定されている複数のグループのうちどのグループに分類されるかを示すデータである。本実施形態では、教師データに含まれる過去の医用画像に写る(目印Bに囲まれる)プラークは、下記(1)~(3)の3のグループのいずれかに分類される。このうち、(2)のグループに分類されるプラークは、狭心症や心筋梗塞等を発症するリスクが高い高リスクのプラークである。(3)のグループに分類されるプラークは、発症のリスクが低い低リスクのプラークである。(1)のグループに分類されるプラークは、発症のリスクが(2)より低く(3)より高い中リスクのプラークである。
(1)血管と直交する方向の幅が所定以下のプラークが属するグループ。
(2)血管と直交する方向の幅が、血管に狭窄を生じさせる程度に大きなプラークが属するグループ。
(3)血管と直交する方向の幅が、血管に狭窄を生じさせるほどではないが、(1)より大きいプラークが属するグループ。
【0021】
抽出する対象が脂質性プラークである場合、(2)のグループに分類されるプラークは高リスクのプラークであり、(1)、(3)のグループに分類されるプラークは中リスクのプラークである。なお、医用画像に写るプラークは、高リスクのグループと低リスクのグループの2つのグループのどちらかに分類されてもよいし、発症するリスクがそれぞれ異なる4つ以上のグループに分類されてもよい。
【0022】
〔制御部〕
制御部33は、取得部331と、プラーク抽出部332と、二値化部333と、分類部334と、算出部335と、判断部336と、第二判断部337と、出力処理部338と、を備える。本実施形態に係る制御部33は、プロセッサで構成されている。このプロセッサが上記記憶部に記憶されている診断支援プログラムを実行することにより、診断支援プログラム321は制御部33を上記各制御ブロック331~338として機能させることができる。
【0023】
(取得部)
取得部331は、取得ステップを実行する。取得ステップにおいて、取得部331は、血管が写った医用画像であって、目印Bが付されていない抽出前の医用画像のデータを取得する。本実施形態に係る取得部331は、通信部31を介して医用画像のデータを取得する。
【0024】
(プラーク抽出部)
プラーク抽出部332は、プラーク抽出ステップを実行する。プラーク抽出ステップにおいて、プラーク抽出部332は、学習済モデル322に、抽出前の医用画像のデータを入力することにより、当該抽出前の医用画像に、血管内のプラークとされる領域を囲む目印Bを付す。上述したように、本実施形態に係る学習済モデル322は、冠動脈が写った過去の医用画像と、血管内の石灰化プラークが写った領域を囲む目印Bと、の組を教師データとする機械学習により構築されている。すなわち、本実施形態に係るプラーク抽出部332が抽出しようとするプラークは石灰化プラークである。本実施形態に係る目印Bは、
図3左側に示したように、四辺がそれぞれ医用画像の四辺と並行な矩形の枠(バウンディングボックス)である。なお、目印Bは、石灰化プラークが写った領域を囲むことができる形状であれば矩形に限られない。すなわち、目印Bは、例えば、円形、三角形等であってもよい。
【0025】
本実施形態に係るプラーク抽出部332は、血管内のプラークとされる領域を囲む目印Bを付す際に、当該プラークに対応するプラークグループデータに基づく情報を出力する。「プラークグループデータに基づく情報」は、例えば、過去の医用画像に写っているプラークがどのグループに属しているかという直接的な情報(「(1)のグループ」、「(2)のグループに分類される要件を満たしている」等の文言)であってもよいし、発症のリスクの高さ(「高リスクのプラークである」等の文言)であってもよい。また、「プラークグループデータに基づく情報」には、プラークがそのグループに分類されている理由(「プラークの大きさが・・であるため」等の文言)が付されていてもよい。
【0026】
なお、プラーク抽出部332は、学習済モデル322の学習の程度によって、プラークではないもの、低リスクのプラーク等を、石灰化プラークと誤判断して目印Bを付す可能性がある。このため、プラーク抽出部332が目印Bを付した直後のデータに基づく医用画像には、実際に存在する石灰化プラークの数よりも多くの目印Bが付されることがある。
【0027】
(二値化部)
二値化部333は、二値化ステップを実行する。二値化ステップにおいて、二値化部333は、
図3中央および右側に示したように、対象領域を所定の分類用閾値で二値化する。対象領域は、目印Bによって囲まれた領域である。一の医用画像に複数の目印Bが付されている場合、二値化部333は、各目印Bに囲まれた対象領域を順次抽出していき、各対象領域をそれぞれ二値化する。なお、制御部33は、二値化部333を備えていなくてもよい。
【0028】
(第二判断部)
第二判断部337は、第二判断ステップを実行する。第二判断ステップにおいて、第二判断部337は、二値化された対象領域に白い領域が存在するか否かを判断する。例えば、
図3右側に示した二値化された対象領域は、白い領域が存在すると判定される。なお、制御部33が二値化部333を備えていない場合、制御部33は、第二判断部337を備えていなくてもよい。
【0029】
(分類部)
分類部334は、分類ステップを実行する。分類ステップにおいて、分類部334は、医用画像における、対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する。本実施形態に係る分類部334は、白い領域が存在すると第二判断部337が判断した対象領域を、血管領域とプラーク領域とに分類する。これにより、狭窄の有無を判断する対象領域の数を予め絞ることができるので、処理の負担を低減することができる。
【0030】
本実施形態に係る分類部334は、対象領域を、血管が写っている血管領域と、石灰化プラークが写っている石灰化プラーク領域と、に分類する。本実施形態に係る分類部334は、K-means法を用いて、対象領域を、血管領域とプラーク領域とに分類する。特に、本実施形態に係る分類部334は、K=4のK-means法を用いて、対象領域を、
図4に示したような、プラーク領域と、外部領域と、血管領域と、に分類する。プラーク領域は、最も高い輝度を示す領域である。外部領域は、最も低い輝度を示す外部組織が写った領域である。血管領域は、上から2番目および3番目に高い輝度を示す領域である。Kの値を3以下にするとプラーク領域がつぶれてしまったり、Kの値を5以上にすると領域間の線引きが困難になってしまったりするが、K=4とすることでプラーク領域を自然な形状で抽出することができる。なお、分類部334は、K-means法以外のクラスタリング手法を用いて対象領域を分類するよう構成されていてもよい。
【0031】
(算出部)
算出部335は、算出ステップを実行する。算出ステップにおいて、算出部335は、血管領域の幅に対するプラーク領域の幅の割合を算出する。血管は、その幅が一様でない場合がある。同様に、血管内のプラークも、その幅が一様でない場合がある。このため、本実施形態に係る算出部335は、血管領域およびプラーク領域を、血管の延長方向に沿って走査する。具体的には、
図5に示したように、算出部335は、対象領域上に、血管領域の延長方向(
図5における上下方向)と直交するように引かれた直線Lと、3つの交点P1、P2、P3の座標を算出する。交点P1は、直線Lと、血管領域におけるプラークが生じていない側の内壁を示す線との交点である。交点P2は、直線Lと、血管領域におけるプラークが生じている側の内壁を示す線との交点である。交点P3は、直線Lと、プラーク領域における血管の内壁と接していない側の端との交点である。そして、算出部335は、交点P1と交点P2との距離(交点P1と交点P3との距離+交点P3と交点P2との距離との和)に対する交点P3と交点P2との距離の割合を算出する。以上の動作を、直線Lの位置を血管の延長方向に所定距離移動させて繰り返すことにより、割合を血管領域の部位毎にそれぞれ算出する。なお、プラーク領域が枝分かれしている場合、算出部335は、プラーク領域の本体部分の幅と枝分かれ部分の幅の和をプラーク領域の幅として割合を算出する。
【0032】
本実施形態に係る算出部335は、血管領域およびプラーク領域を走査する前に、血管領域の延長方向を確認する。そして、血管領域の延長方向が、
図6左側に示したように、当該対象領域のいずれの枠線とも並行でなかった場合、算出部335は、対象領域を、
図6右側に示したように、血管領域の延長方向が、当該対象領域のいずれかの枠線と並行になるよう回転させる。そして、算出部335は、血管領域およびプラーク領域を、枠線の延長方向に沿って走査する。これにより、血管領域およびプラーク領域の走査を容易に行うことができる。
【0033】
(判断部)
判断部336は、判断ステップを実行する。判断ステップにおいて、判断部336は、算出部335が算出した割合が所定の判断用閾値(例えば50%)以上であるか否かを判断する。そして、割合が判断用閾値以上(未満)であった場合、判断部336は、血管における対象領域に対応する部位に狭窄が生じている(いない)と判断する。上述したように、上記算出部335は、割合を血管領域の複数個所でそれぞれ算出する。このため、本実施形態に係る判断部336は、走査により得られた複数の割合のうち、最も高い割合が判断用閾値以上であるか否かを判断する。これにより、血管やプラークの幅が一様でない場合であっても狭窄が生じているか否かを正確に判定することができる。
【0034】
(出力処理部)
出力処理部338は、出力処理ステップを実行する。出力処理ステップにおいて、出力処理部338は、判断部336による判断結果に基づく出力処理を行う。本実施形態に係る出力処理部338は、まず、割合が判断用閾値以上ではないと判断部336が判断した場合に、対応する対象領域を囲んでいた目印Bを医用画像から削除する。これにより、医用画像が、真に診断を必要とする領域にのみ目印Bが付された見やすいものとなる。なお、出力処理部338は、医用画像から目印Bを削除するのではなく、判断用閾値以上であるか否かの判断結果を各目印Bについて表示するよう構成されていてもよい。次に、本実施形態に係る出力処理部338は、通信部31が、不要な目印Bが削除された医用画像のデータをサーバ2または端末装置4へ送信するよう、当該通信部31を制御する。
【0035】
[診断支援システムの変形例1]
図7に示したように、システム100は、診断支援装置3を備える代わりに、抽出装置3Aと、診断支援装置3Bと、を備えていてもよい。
【0036】
この場合、抽出装置3Aは、上記診断支援装置3と同様の通信部31の他に、図示しない第2の記憶部と、図示しない第2の制御部を備える。第2の制御部は、上記診断支援装置3と同様の取得部331、プラーク抽出部332の他に、図示しない第2の出力処理部を備える。第2の出力処理部は、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印Bが付された医用画像のデータを診断支援装置3Bへ出力するよう、通信部31を制御する。
【0037】
また、診断支援装置3Bは、上記診断支援装置3と同様の通信部31の他に、図示しない第3の記憶部と、図示しない第3の制御部と、を備える。第3の制御部は、上記診断支援装置3と同様の二値化部333、分類部334、算出部335、判断部336、第二判断部337、および出力処理部338の他に、図示しない第2の取得部を備える。第2の取得部は、抽出装置3Aから、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印Bが付された医用画像のデータを、当該診断支援装置3Bの通信部を介して取得する。第2の取得部は、血管内の石灰化プラークとされる領域を囲む目印Bが付された医用画像のデータを取得する。なお、第2の取得部は、人(技師等)によって目印Bが付された医用画像のデータを取得するよう構成されていてもよい。
【0038】
[診断支援システムの変形例2]
また、システム100は、診断支援装置3が端末装置4と一体に構成されたものであってもよい。また、システム100は、診断支援装置3がサーバ2と一体に構成されたものであってもよい。
【0039】
[診断支援システムの変形例3]
また、システム100は、図示しないモデル構築装置を備えていてもよい。モデル構築装置は、診断支援装置3のプラーク抽出部332が用いる学習済モデル322を構築するものである。このモデル構築装置は、二値化部と、判断部と、学習部と、を備える。二値化部は、医用画像の対象領域を所定の分類用閾値で二値化する。判断部は、二値化された対象領域に白い領域が存在するか否かを判断する。学習部は、医用画像と目印との組のうち、対象領域に石灰化プラークである旨のラベルが付された組を教師データとする機械学習により学習済モデルを構築する。なお、学習に用いられたラベル付きの医用画像は、診断支援装置3によって診断を支援するための処理が施されてもよい。
【0040】
[診断支援システムの変形例4]
また、システム100を構成する少なくともいずれかの装置(例えば診断支援装置3)の各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0041】
[診断支援装置の作用効果]
以上説明してきた診断支援装置3、3Aは、医用画像に付されている目印Bが、誤検出に基づくものか、真に診断を必要とする領域を囲んでいるものかを判断し、当該判断結果に基づく出力(誤検出に基づく目印Bの削除、判断結果の直接表示等)を行う。このため、診断支援装置3、3Aが出力する医用画像は、誤検出に基づく目印Bと、真に診断を必要とする領域を囲んでいる目印Bを区別できるもの、または真に診断を必要とする領域にのみ目印Bが付されたものとなる。その結果、医師は、対象を絞って診断を行うことができるようになる。すなわち、診断支援装置3、3Aによれば、プラークの誤検出による医師の診断の手間を低減することができる。特に、診断支援装置3は、プラーク抽出部332を備えている。このため、診断支援装置3によれば、プラーク抽出前の医用画像のデータを入力するだけで、真に診断を必要とする領域にのみ目印Bが付された医用画像を得ることができる。
【0042】
<学習済モデルの構築方法>
次に、他の発明に係る学習済モデルの構築方法の実施形態について説明する。
【0043】
[学習済モデルの構築方法の流れ]
学習済モデルの構築方法は、血管が写った医用画像から、血管内のプラークを抽出するための学習済モデルを構築するものである。
図8に示したように、学習済モデルの構築方法は、二値化ステップS1と、付与ステップS2と、学習ステップS3と、を有する。
【0044】
(二値化ステップ)
初めの二値化ステップS1では、血管、及び当該血管内のプラークが写った医用画像であって、プラークを囲む目印Bが付された複数の医用画像における、目印Bによって囲まれた対象領域を、所定の分類用閾値で二値化する。二値化に際しては、まず、医用画像のデータをDICOM規格から例えばpng形式へ変換する必要がある。その際に、ウィンドウレベルを例えば120、ウィンドウ幅を例えば1200に設定した場合には、分類用閾値(png画素値)は200~230の範囲内とすることが好ましい。対象領域の二値化は、例えば、上記「診断支援システムの変形例3」で説明したモデル構築装置等を用いて行う。
【0045】
(付与ステップ)
対象領域を二値化した後は、付与ステップS2に移る。付与ステップS2では、二値化された対象領域に白い領域が存在する場合、対象領域内のプラークが石灰化プラークである旨のラベルを付す。対象領域へのラベルの付与は、例えば、上記モデル構築装置等を用いて行う。一方、脂質性プラークを抽出するための学習済モデルモデルの構築においては、付与ステップでは、二値化された対象領域に白い領域が存在しない場合、対象領域内のプラークが脂質性プラークである旨のラベルを付す。
【0046】
(学習ステップ)
ラベルを付した後は、学習ステップS3に移る。学習ステップS3では、医用画像と、当該医用画像における対象領域に付されたラベルと、の組を教師データとする機械学習により学習済モデル322を構築する。学習済モデル322の構築は、例えば、上記モデル構築装置等を用いて行う。石灰化プラークを抽出するための学習済モデルモデルの構築においては、医用画像と、石灰化プラークである旨のラベルと、の組を教師データとして学習済モデルを構築する。一方、脂質性プラークを抽出するための学習済モデルモデルの構築においては、医用画像と、脂質性プラークである旨のラベルと、の組を教師データとして学習済モデルを構築する。
【0047】
[学習済モデルの構築方法の作用効果]
以上説明してきた学習済モデルの構築方法は、二値化によって、医用画像に写っているプラークを石灰化プラークと脂質性プラークのどちらかに分類する。このため、この学習済モデルの構築方法によれば、血管が写った医用画像から、プラークを抽出する学習済モデルを容易に構築することができる。
【0048】
なお、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0049】
〔まとめ〕
本発明の態様1に係る診断支援装置は、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類部と、前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出部と、前記割合が所定の判断用閾値以上であるか否かを判断する判断部と、前記判断部による判断結果に基づく出力処理を行う出力処理部と、を備える構成である。
【0050】
本発明の態様2に係る診断支援装置は、上記の態様1において、前記出力処理部は、前記割合が前記判断用閾値以上ではないと前記判断部が判断した場合に、対応する前記対象領域を囲んでいた前記目印を前記医用画像から削除する、構成としてもよい。
【0051】
本発明の態様3に係る診断支援装置は、上記の態様1または2において、前記分類部は、K-means法を用いて、前記対象領域を、前記血管領域と前記プラーク領域とに分類する、構成としてもよい。
【0052】
本発明の態様4に係る診断支援装置は、上記の態様3において、前記分類部は、K=4のK-means法を用いて、前記対象領域を、最も高い輝度を示す前記プラーク領域と、最も低い輝度を示す外部組織が写った外部領域と、上から2番目および3番目に高い輝度を示す前記プラーク領域と、に分類する、構成としてもよい。
【0053】
本発明の態様5に係る診断支援装置は、上記の態様1から4のいずれかにおいて、前記算出部は、前記血管領域および前記プラーク領域を、前記血管の延長方向に沿って走査し、前記判断部は、最も高い前記割合が前記判断用閾値以上であるか否かを判断する、構成としてもよい。
【0054】
本発明の態様6に係る診断支援装置は、上記の態様5において、前記目印は、四辺がそれぞれ前記医用画像の四辺と並行な矩形の枠であり、前記算出部は、前記対象領域を、前記血管領域の延長方向が、当該対象領域のいずれかの枠線と並行になるよう回転させ、前記血管領域および前記プラーク領域を、前記枠線の延長方向に沿って走査する、構成としてもよい。
【0055】
本発明の態様7に係る診断支援装置は、上記の態様1から6のいずれかにおいて、血管が写った医用画像であって、前記目印が付されていない抽出前の医用画像のデータを取得する取得部と、血管が写った過去の医用画像と、医師によって付された、当該過去の医用画像における血管内のプラークが写った領域を囲む目印と、の組を教師データとする機械学習により構築された学習済モデルに、前記抽出前の医用画像のデータを入力することにより、当該抽出前の医用画像に、血管内のプラークとされる領域を囲む目印を付すプラーク抽出部と、を更に備える、構成としてもよい。
【0056】
本発明の態様8に係る診断支援装置は、上記の態様7において、前記教師データは、前記過去の医用画像と、前記目印と、前記目印に囲まれた領域に写ったプラークが、プラークの大きさに応じて設定されている複数のグループのうちどのグループに分類されるかを示すプラークグループデータと、の組であり、前記プラーク抽出部は、血管内のプラークとされる領域を囲む目印を付す際に、当該プラークに対応する前記プラークグループデータに基づく情報を出力する、構成としてもよい。
【0057】
本発明の態様9に係る診断支援装置は、上記の態様1から8のいずれかにおいて、前記対象領域を所定の分類用閾値で二値化する二値化部と、二値化された前記対象領域に白い領域が存在するか否かを判断する第二判断部と、を備え、前記分類部は、白い領域が存在すると前記第二判断部が判断した前記対象領域を、前記血管領域と前記プラーク領域とに分類する、構成としてもよい。
【0058】
本発明の態様10に係る診断支援装置は、上記の態様1から9のいずれかにおいて、前記プラークは石灰化プラークであり、前記分類部は、前記対象領域を、血管が写っている血管領域と、石灰化プラークが写っている石灰化プラーク領域と、に分類する、構成としてもよい。
【0059】
本発明の態様11に係る診断支援プログラムは、プロセッサに、血管が写った医用画像であって、当該血管内のプラークとされる領域を囲む目印が付された医用画像における、前記目印によって囲まれた対象領域にクラスタリングを施して、当該対象領域を、血管が写っている血管領域と、プラークが写っているプラーク領域と、に分類する分類ステップと、前記血管領域の幅に対する前記プラーク領域の幅の割合を算出する算出ステップと、前記割合が所定の判断用閾値以上であるか否かを判断する判断ステップと、前記判断ステップにおける判断結果に基づく出力処理を行う出力処理ステップと、を実行させる構成である。
【0060】
本発明の態様12に係る学習済モデルの構築方法は、血管、及び当該血管内のプラークが写った医用画像であって、前記プラークを囲む目印が付された複数の医用画像における、前記目印によって囲まれた対象領域を、所定の分類用閾値で二値化する二値化ステップと、二値化された前記対象領域に白い領域が存在する場合、前記対象領域内のプラークが石灰化プラークである旨のラベルを付す付与ステップと、前記医用画像と、当該医用画像における前記対象領域に付されたラベルと、の組を教師データとする機械学習により学習済モデルを構築する学習ステップと、を有する方法である。
【符号の説明】
【0061】
100 診断支援システム
1 モダリティ
2 サーバ
3、3B 診断支援装置
3A 抽出装置
31 通信部
32 記憶部
321 診断支援プログラム
322 学習済モデル
33 制御部
331 取得部
332 プラーク抽出部
333 二値化部
334 分類部
335 算出部
336 判断部
337 第二判断部
338 出力処理部
4 端末装置