ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ソフトバンクモバイル株式会社の特許一覧 ▶ 独立行政法人国立循環器病研究センターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018249
(43)【公開日】2025-02-06
(54)【発明の名称】診断支援方法、診断支援プログラム及び診断支援装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20250130BHJP
A61B 6/46 20240101ALI20250130BHJP
【ＦＩ】
A61B6/03 360J
A61B6/03 360Z
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023121797
(22)【出願日】2023-07-26
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】510094724
【氏名又は名称】国立研究開発法人国立循環器病研究センター
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】桜庭 牧之
(72)【発明者】
【氏名】片田 晃輔
(72)【発明者】
【氏名】鈴木 隆之
(72)【発明者】
【氏名】浅海 泰栄
(72)【発明者】
【氏名】和山 啓馬
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA18
4C093DA02
4C093FD03
4C093FF16
4C093FF20
(57)【要約】
【課題】複雑なアルゴリズムを用いることなく、血管を被写体として含む原画像から、当該血管の異常部を検出する
【解決手段】診断支援方法（Ｓ１）は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程（Ｓ１０）と、学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程（Ｓ１１）と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程（Ｓ１３）と、を含む。
【選択図】図１
【解決手段】診断支援方法（Ｓ１）は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程（Ｓ１０）と、学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程（Ｓ１１）と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程（Ｓ１３）と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む、
ことを特徴とする診断支援方法。
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む、
ことを特徴とする診断支援方法。
【請求項2】
前記判定工程において、前記検査対象の血管に異常部が含まれると判定された場合、前記異常部の疾患リスクを分析する分析工程を更に含み、
前記表示制御工程は、前記分析工程において分析された分析結果を更に表示する、
ことを特徴とする請求項１に記載の診断支援方法。
前記表示制御工程は、前記分析工程において分析された分析結果を更に表示する、
ことを特徴とする請求項１に記載の診断支援方法。
【請求項3】
前記原画像は、前記検査対象の血管を異なる方向から投影した画像を含む、
ことを特徴とする請求項１に記載の診断支援方法。
ことを特徴とする請求項１に記載の診断支援方法。
【請求項4】
前記検査対象の血管を異なる方向から投影した画像の各々から抽出された前記抽出画像は、前記血管の同一部位を被写体として含む、
ことを特徴とする請求項３に記載の診断支援方法。
ことを特徴とする請求項３に記載の診断支援方法。
【請求項5】
前記表示制御工程は、前記原画像に、前記判定工程において判定した前記異常部を表する標示を付した画像をユーザに表示し、
前記標示は、前記異常部近傍に、前記血管に沿って付される、
ことを特徴とする請求項１に記載の診断支援方法。
前記標示は、前記異常部近傍に、前記血管に沿って付される、
ことを特徴とする請求項１に記載の診断支援方法。
【請求項6】
前記抽出画像は、前記原画像に被写体として含まれる前記検査対象の血管の中心線に基づいて抽出される、
ことを特徴とする請求項１に記載の診断支援方法。
ことを特徴とする請求項１に記載の診断支援方法。
【請求項7】
前記学習済みモデルは、血管を撮像した撮像画像から取得した前記血管の断片を含む画像において、当該血管の断片の異常部がラベリングされた画像を用いた機械学習により構築されたものである、
ことを特徴とする請求項１に記載の診断支援方法。
ことを特徴とする請求項１に記載の診断支援方法。
【請求項8】
前記異常部は、狭窄部である、
ことを特徴とする請求項１に記載の診断支援方法。
ことを特徴とする請求項１に記載の診断支援方法。
【請求項9】
コンピュータに、
検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む診断支援処理をさせる、
ことを特徴とする診断支援プログラム。
検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む診断支援処理をさせる、
ことを特徴とする診断支援プログラム。
【請求項10】
検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得部と、
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定部と、
前記判定部において判定した判定結果をユーザに表示する表示制御部と、を含む、
ことを特徴とする診断支援装置。
血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定部と、
前記判定部において判定した判定結果をユーザに表示する表示制御部と、を含む、
ことを特徴とする診断支援装置。
【請求項11】
前記表示制御部は、前記判定結果を画像表示装置に出力する、
ことを特徴とする請求項１０に記載の診断支援装置。
ことを特徴とする請求項１０に記載の診断支援装置。
【請求項12】
検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、
血管を撮像した撮像画像から取得した当該血管の断片を含む画像から当該断片の異常部を検出する人工知能アルゴリズムによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む、
ことを特徴とする診断支援方法。
血管を撮像した撮像画像から取得した当該血管の断片を含む画像から当該断片の異常部を検出する人工知能アルゴリズムによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、
前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む、
ことを特徴とする診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断支援方法、診断支援プログラム及び診断支援装置に関する。
【背景技術】
【0002】
心筋梗塞や狭心症等の虚血性心疾患は、冠動脈の内壁に脂肪の塊（プラーク）が蓄積し、当該冠動脈が閉塞又は狭窄することにより引き起こされる疾患である。一般的に、冠動脈において閉塞又は狭窄等の異常が生じているか否かは、当該冠動脈が被写体として含まれるＣＴ（Computed Tomography）画像やＭＲＩ（Magnetic Resonance Imaging）画像に基づいて医師が視覚的に診断している。また、医師はＣＴ画像やＭＲＩ画像に基づいて閉塞又は狭窄を形成するプラークの種類を診断し、治療方針を決定している。
【0003】
近年、人工知能（ＡＩ：Artificial Intelligence）を活用した画像解析技術の発展に伴い、血管を被写体として含む画像から、ＡＩを用いて当該血管の異常部を検出する診断支援技術が開発されている。このような技術としては、例えば、非特許文献１に記載されているような冠動脈のＸ線造影画像から、ＡＩ（ニューラルネットワーク）を用いて当該冠動脈の狭窄部を検出する技術が知られている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】[online]、Automated Detection of Coronary Artery Stenosis in X-ray Angiography using Deep Neural Networks［令和５年６月１日検索］、インターネット〈ＵＲＬ：https://arxiv.org/abs/2103.02969〉
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ＣＴ画像やＭＲＩ画像等のサイズの大きな医用画像から小さなサイズである冠動脈内のプラーク等の異常部を検出するには、複雑なアルゴリズムが必要である。その複雑なアルゴリズムを用いて医用画像から異常部を検出するＡＩ（Artificial Intelligence）モデルは、データサイズが大きくなり、学習に多大な時間を要する。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、複雑なアルゴリズムを用いることなく、血管を被写体として含む医用画像である原画像から、当該血管の異常部を検出することができる技術を実現することを目的とする。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、本発明の一態様に係る診断支援方法は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程とを含む。
【0008】
上記の課題を解決するために、本発明の一態様に係る診断支援装置は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得部と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定部と、前記判定工程において判定した判定結果をユーザに表示する表示制御部とを含む。
【0009】
本発明の各態様は、コンピュータによって実現してもよく、この場合には、コンピュータに上記方法の各工程を実施させるプログラム、コンピュータを前記診断支援装置が備える各部（ソフトウェア要素）として動作させることにより前記診断支援装置をコンピュータにて実現させる診断支援装置の制御プログラム、及びそれらを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0010】
本発明の一態様によれば、複雑なアルゴリズムを用いることなく、血管を被写体として含む医用画像である原画像から、当該血管の異常部を検出することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態１に係る診断支援システムの構成を示すブロック図である。
【図2】実施形態１に係る診断支援システムが実施する診断支援方法の流れを示すフロー図である。
【図4】画像取得工程の一例を示す模式図である。
【図7】画像取得工程の他の例を示す模式図である。
【図8】実施形態２に係る診断支援システムの構成を示すブロック図である。
【図9】実施形態２に係る診断支援システムが実施する診断支援方法の流れを示すフロー図である。
【図10】本実施形態１及び２に係る診断支援装置の各部がコンピュータを用いて構成される場合の一構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
【0013】
（診断支援システム１００の概要）
本開示の一態様に係る診断支援システム１００は、検査対象の血管を被写体として含む原画像から、当該血管に閉塞又は狭窄等が生じている異常部が含まれるか否かを、学習済みモデルを用いて判定し、その判定結果をユーザ（例えば、医師）に表示する診断支援システムである。
本開示の一態様に係る診断支援システム１００は、検査対象の血管を被写体として含む原画像から、当該血管に閉塞又は狭窄等が生じている異常部が含まれるか否かを、学習済みモデルを用いて判定し、その判定結果をユーザ（例えば、医師）に表示する診断支援システムである。
【0014】
本実施形態において、「検査対象の血管」とは、心臓の表面に分布する冠動脈である。また、「異常部」とは、不安定プラークによる血管の狭窄部である。すなわち、診断支援システム１００は、冠動脈に不安定プラークによる狭窄部が含まれるか否かを判定するシステムである。しかしながら、本開示の一態様に係る診断支援システムは、これに限定されない。例えば、動脈瘤、血栓症、動脈硬化、脳梗塞、脳出血、脳動脈奇形、血管の外傷、末梢動脈疾患、血管炎、腎動脈狭窄症、大動脈乖離等の血管に生じる疾患を診断するために、上記で列挙した疾患の各々に対応する血管の異常部を検出する診断支援システムも本実施形態の範疇である。
【0015】
従来の診断支援技術では、検査対象の血管が被写体として含まれるＣＴ画像、ＭＲＩ画像等の大きなサイズの医用画像をそのまま学習済みモデルに入力し、得られた出力に基づいて当該血管に異常部が含まれるか否かを判定していた。そのため、学習済みモデルは、大きなサイズの医用画像を学習データとして使用する学習に時間がかかる。また、学習済みモデルは、大きな医用画像を複雑なアルゴリズムを用いて処理する必要があるため、データサイズが大きくなるという問題が生じていた。
【0016】
これに対して、診断支援システム１００は、検査対象の血管を被写体として含む原画像から、当該血管の断片を含むように抽出した抽出画像を学習済みモデルに入力し、得られた出力に基づいて検査対象の血管に異常部が含まれるか否かを判定する。すなわち、原画像から抽出した小さな抽出画像から小さな異常部を検出するため、複雑なアルゴリズムを用いる必要が無い。そのため、高性能なハードウェア等を準備する必要が無い。また、学習済みモデルの学習に使用する学習データも血管の断片を含む小さな画像でよい。そのため、学習済みモデルの学習にかかる時間コスト及びシステムの導入にかかる導入コストを削減した診断支援システムを実現することができる。
【0017】
【0018】
図１に示すように、診断支援システム１００は、撮像装置１、診断支援装置２、及び画像表示装置３を含んでいる。診断支援装置２は、撮像装置１及び画像表示装置３と通信可能に構成されている。診断支援装置２と、撮像装置１及び画像表示装置３とは、データの送受信が可能であればよく、その通信形態は特に限定されない。本実施形態において、撮像装置１、診断支援装置２、及び画像表示装置３は、診断支援システム１００を利用する施設（例えば、医療機関）内に設置される場合を想定するため、通信形態としては、ＷｉＦｉ（登録商標）又はＢｌｕｔｏｏｔｈ（登録商標）等の近距離無線通信又は有線通信を採用する。
【0019】
なお、撮像装置１及び画像表示装置３が診断支援システム１００を利用する施設内に配置され、診断支援装置２が診断支援システム１００を利用する施設外に配置される場合には、診断支援装置２と、撮像装置１及び画像表示装置３と無線ＬＡＮ等の遠距離無線通信により通信可能に構成される。
【0020】
［撮像装置１］
撮像装置１は、検査対象の血管を撮像するための装置である。一例として、撮像装置１は、冠動脈を撮像する。また、撮像装置１は、検査対象の血管を撮像した撮像データを診断支援装置２に送信する。本実施形態においては、撮像装置１として公知のＣＴ装置を採用する。
撮像装置１は、検査対象の血管を撮像するための装置である。一例として、撮像装置１は、冠動脈を撮像する。また、撮像装置１は、検査対象の血管を撮像した撮像データを診断支援装置２に送信する。本実施形態においては、撮像装置１として公知のＣＴ装置を採用する。
【0021】
ＣＴ装置は、対象者（例えば、患者）を中心にＸ線管及びＸ線検出器を旋回移動させ、対象者を透過したＸ線を検出し、その検出したＸ線の線量等に基づいて対象者の生体の横断面画像を生成する装置である。撮像装置１として公知のＣＴ装置を使用する場合には、撮像データとして、生体の断面画像を生成するもとになる対象者を透過したＸ線の検出結果を表すデータ、又は、対象者の生体の断面画像を表す画像データを診断支援装置２に送信する。ここで、生体の断面画像は、検査対象の血管が被写体として含まれている画像である。
【0022】
なお、本実施形態においては、撮像装置１として公知のＣＴ装置を採用したが、これに限定されない。例えば、公知のＭＲＩ装置であってもよい。以下においては、撮像装置１がＣＴ装置である場合を例に挙げて説明する。
【0023】
［診断支援装置２］
診断支援装置２は、本発明の一実施形態に係る診断支援方法を実施するための装置である。診断支援装置２が実施する診断支援方法については、参照する図面を代えて後述する。
診断支援装置２は、本発明の一実施形態に係る診断支援方法を実施するための装置である。診断支援装置２が実施する診断支援方法については、参照する図面を代えて後述する。
【0024】
図１に示すように、診断支援装置２は、制御部２０と、通信部２１と、メモリ２２とを備えている。
【0025】
＜制御部２０＞
制御部２０は、診断支援装置２が備える各構成要素を制御する。また、制御部２０は、画像取得部２００、判定部２０１、画像生成部２０２、及び表示制御部２０３を備えている。
制御部２０は、診断支援装置２が備える各構成要素を制御する。また、制御部２０は、画像取得部２００、判定部２０１、画像生成部２０２、及び表示制御部２０３を備えている。
【0026】
画像取得部２００は、検査対象の血管を被写体として含む原画像から、当該血管の断片を含むように抽出した抽出画像を取得する。一例として、画像取得部２００は、撮像装置１から受信した撮像データに基づいて、検査対象の血管を被写体として含む原画像を生成し、その生成した原画像から検査対象の血管の断片を含むように抽出した抽出画像を取得する。
【0027】
判定部２０１は、画像取得部２００が取得した原画像に被写体として含まれている検査対象の血管に、異常部が存在するか否かを判定する。判定部２０１が実施する判定方法の一例として、学習済みモデルを用いた判定方法が挙げられる。具体的には、判定部２０１は、血管を被写体として含む画像から抽出した当該血管の断片を含む画像を入力情報として、当該血管の断片の異常部を検出するように学習された学習済みモデルに、抽出画像を入力する。そして、判定部２０１は、学習済みモデルによる検出結果を参照して、検査対象の血管に異常部が含まれるか否かを判定する。
【0028】
なお、判定部２０１が学習済みモデルの機能を備えていてもよいし、診断支援装置２とは異なる装置が学習済みモデルの機能を備え、判定部２０１が当該装置に抽出画像を出力し、当該装置から検出結果を取得してもよい。学習済みモデルの詳細については、後述する。
【0029】
画像生成部２０２は、判定部２０１において判定した判定結果をユーザに表示するための表示画像を生成する。一例として、画像生成部２０２は、検査対象の血管を被写体として含む原画像に、当該血管に異常部を示す標示を付した表示画像を生成する。
【0030】
表示制御部２０３は、各種画像をユーザに表示する。一例として、表示制御部２０３は、画像生成部２０２において生成された判定部２０１において判定した判定結果をユーザに表示するための表示画像をユーザに表示する。ユーザに表示画像を表示する方法の一例としては、ユーザが所持する画像表示装置３の表示部３１に当該表示画像を表示する方法が挙げられる。具体的には、表示制御部２０３は、画像生成部２０２が生成した表示画像を表す画像データを診断支援装置２の通信部２１を介して画像表示装置３に送信し、画像表示装置３が内蔵している表示部３１当該画像を出力する。本実施形態においては、診断支援装置２の外部装置である画像表示装置３の表示部３１に表示画像を表示する構成を採用するが、表示制御部２０３は、表示画像を診断支援装置２が内蔵する表示部（図示せず）に表示してもよい。
【0031】
なお、診断支援装置２の制御部２０は、少なくとも１つのプロセッサを備えており、このプロセッサが後述するメモリ２２に記録された診断支援プログラムを読み込んで実行することにより、画像取得部２００、判定部２０１、画像生成部２０２、及び表示制御部２０３として機能する構成を採用していてもよい。さらに、画像取得部２００として機能させるプログラム、判定部２０１として機能させるプログラム、画像生成部２０２として機能させるプログラム、及び表示制御部２０３として機能させるプログラムとは、それぞれ別々のプログラムであってもよく、それらが別々の装置のメモリに記録されていてもよい。このような構成については後述する。
【0032】
＜通信部２１＞
通信部２１は、撮像装置１及び画像表示装置３と通信を行う。一例として、通信部２１は、撮像装置１から撮像データを受信し、ユーザに判定結果を表示するための表示画像を画像表示装置３に送信する。本実施形態において、通信部２１は、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ等の無線通信インタフェースである。
通信部２１は、撮像装置１及び画像表示装置３と通信を行う。一例として、通信部２１は、撮像装置１から撮像データを受信し、ユーザに判定結果を表示するための表示画像を画像表示装置３に送信する。本実施形態において、通信部２１は、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ等の無線通信インタフェースである。
【0033】
＜メモリ２２＞
メモリ２２には、各種情報が記録される。一例として、メモリ２２には、制御部２０が実行する各種プログラム、画像取得部２００において取得した各種画像、判定部２０１において判定した判定結果、画像生成部２０２において生成された表示画像等が記録される。
メモリ２２には、各種情報が記録される。一例として、メモリ２２には、制御部２０が実行する各種プログラム、画像取得部２００において取得した各種画像、判定部２０１において判定した判定結果、画像生成部２０２において生成された表示画像等が記録される。
【0034】
［画像表示装置３］
画像表示装置３は、各種画像をユーザに表示するための装置である。画像表示装置３として利用可能なデバイスとしては、デスクトップＰＣ、タブレットＰＣ、タブレット端末、スマートフォン等が挙げられる。本実施形態においては、画像表示装置３として、ユーザが所持しているタブレット端末を想定する。また、画像表示装置３は、図１に示すように、通信部３０及び表示部３１を備えている。
画像表示装置３は、各種画像をユーザに表示するための装置である。画像表示装置３として利用可能なデバイスとしては、デスクトップＰＣ、タブレットＰＣ、タブレット端末、スマートフォン等が挙げられる。本実施形態においては、画像表示装置３として、ユーザが所持しているタブレット端末を想定する。また、画像表示装置３は、図１に示すように、通信部３０及び表示部３１を備えている。
【0035】
＜通信部３０＞
通信部３０は、診断支援装置２と通信を行う。一例として、通信部３０は、診断支援装置２から判定結果をユーザに表示するための表示画像を受信する。また、通信部３０は、画像表示装置３の入力部（図示せず）において、ユーザからの表示画像の閲覧要求を受け付け、その旨を示す信号を診断支援装置２に送信してもよい。
通信部３０は、診断支援装置２と通信を行う。一例として、通信部３０は、診断支援装置２から判定結果をユーザに表示するための表示画像を受信する。また、通信部３０は、画像表示装置３の入力部（図示せず）において、ユーザからの表示画像の閲覧要求を受け付け、その旨を示す信号を診断支援装置２に送信してもよい。
【0036】
＜表示部３１＞
表示部３１は、各種画像を表示する。一例として。表示部３１は、診断支援装置２から受信した表示画像を表示する。表示部３１に表示される表示画像の具体例については、図面を代えて後述する。
表示部３１は、各種画像を表示する。一例として。表示部３１は、診断支援装置２から受信した表示画像を表示する。表示部３１に表示される表示画像の具体例については、図面を代えて後述する。
【0037】
（学習済みモデル）
本実施形態において、検査対象の血管に異常部が存在するか否かを判定するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の断片の異常部を認識するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管を被写体として含む画像から取得した当該血管の断片を含む画像と、該画像における異常部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、冠動脈の不安定プラークによる狭窄部を認識するように学習済みの場合、冠動脈を被写体として含む画像から取得した当該冠動脈の断片を含む画像と、該画像における不安定プラークによる狭窄部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。このように、認識する異常部に合わせて教師データを調整することにより、様々な疾患の判定に当該学習モデルを使用し得る。
本実施形態において、検査対象の血管に異常部が存在するか否かを判定するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の断片の異常部を認識するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管を被写体として含む画像から取得した当該血管の断片を含む画像と、該画像における異常部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、冠動脈の不安定プラークによる狭窄部を認識するように学習済みの場合、冠動脈を被写体として含む画像から取得した当該冠動脈の断片を含む画像と、該画像における不安定プラークによる狭窄部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。このように、認識する異常部に合わせて教師データを調整することにより、様々な疾患の判定に当該学習モデルを使用し得る。
【0038】
当該学習済みモデルは、血管を被写体として含む画像から取得した当該血管の断片を含む画像を入力情報として、入力した画像内に含まれる異常部を認識する。そして当該学習済みモデルは、検出結果の一例として、認識した異常部の各々の領域にバウンディングボックスを付した画像を出力する。なお、学習済みモデルは、深層学習により生成されたモデルであってもよいし、深層学習以外の機械学習により生成されたモデルであってもよい。
【0039】
【0040】
診断支援方法Ｓ１は、図２に示すように、画像取得工程Ｓ１０と、判定工程Ｓ１１と、画像生成工程Ｓ１２と、表示制御工程Ｓ１３と、を含んでいる。診断支援装置２が診断支援方法Ｓ１を実施するタイミングは、任意に設定され得る。例えば、診断支援装置２は、撮像装置１から撮像データを受信する度に実施してもよいし、ユーザの指示に基づいて実施してもよい。
【0041】
［画像取得工程Ｓ１０］
画像取得工程Ｓ１０は、検査対象の血管を被写体として含む原画像から、当該血管の断片を含むように抽出した抽出画像を取得するための工程である。画像取得工程Ｓ１０において、画像取得部２００が実施する処理の一例について、図３を参照しながら説明する。図３は、画像取得工程において実施する各処理の流れを示すフロー図である。
画像取得工程Ｓ１０は、検査対象の血管を被写体として含む原画像から、当該血管の断片を含むように抽出した抽出画像を取得するための工程である。画像取得工程Ｓ１０において、画像取得部２００が実施する処理の一例について、図３を参照しながら説明する。図３は、画像取得工程において実施する各処理の流れを示すフロー図である。
【0042】
まず、画像取得部２００は、図３に示すように、撮像装置１から検査対象の血管を撮像した撮像データを取得する（ステップＳ１００）。
【0043】
次に、画像取得部２００は、撮像装置１から取得した撮像データに基づいて検査対象の血管を被写体として含む原画像を生成する（ステップＳ１０１）。ここで生成する原画像の例としては、ＣＰＲ（Curve Planar Reconstruction）画像、ＭＰＲ（Multi Planar Reconstruction）画像等が挙げられる。ＣＰＲ画像とは、３次元空間上の任意の曲線に沿った曲面として再構成した画像で、血管のような蛇行した長い管状の構造物や曲面に沿った部位の観察に適している。ＭＰＲ画像とは、任意の断面を切り出した画像であり、横断面画像だけでは把握しづらい血管や臓器などの位置関係や形状などを、任意の方向から見ることができる。なお、原画像は、検査対象の血管が被写体として含まれ、且つ、当該血管の中心を示す中心線に関する情報が含まれていればよく、上記に列挙した画像に限定されない。ここで、中心線に関する情報は、血管の対向する内壁同士又は外壁同士を繋いだ直線であり、中心線に垂直な示す幅線から導出した情報であってもよい。
【0044】
本実施形態においては、撮像装置１から取得した撮像データに基づいて検査対象の血管を被写体として含む原画像を生成する構成を採用したが、撮像装置１が原画像を生成し、当該撮像装置１から画像取得部２００が原画像を取得する構成であってもよい。また、撮像装置１とは異なる装置が原画像を生成する機能を備え、画像取得部２００が当該装置から原画像を取得する構成であってもよい。これらの場合、撮像データから原画像を生成するステップＳ１０１は省略される。
【0045】
最後に、画像取得部２００は、生成した原画像から、検査対象の血管の断片を含むように抽出した抽出画像を取得する（ステップＳ１０２）。画像取得部２００が原画像から検査対象の血管の断片を含むように抽出画像を抽出する方法としては、検査対象の血管の中心線を検出し、当該中心線に基づいて抽出する方法が挙げられる。当該方法の一具体例について、図４を参照して説明する。図４は、画像取得工程の一例を示す模式図である。図４では、冠動脈を被写体として含むＣＰＲ画像を原画像とする。図４の上図において、血管Ｘは冠動脈を示し、矩形の実線の枠は、抽出画像の領域を示す。また、血管Ｘに沿っている実線は、血管Ｘの中心線を示す。一例として、図４の上図に示すように、画像取得部２００は、矩形の実線の枠の中心が血管Ｘの中心線上に位置するように、血管Ｘの断片を含むような抽出画像を抽出する。抽出画像の例は、図４の下図に示す。
【0046】
なお、抽出画像の大きさ、抽出画像の形状、抽出頻度、抽出範囲、及び抽出画像の向き等は、任意に設定することができる。例えば、抽出画像の大きさは、検査対象の血管の標準幅に応じて決定してもよいし、抽出画像の形状は、円形、ひし形等であってもよい。抽出頻度は、画像一枚あたりの回数を定めてもよい。抽出範囲は、異常部の発生頻度が高い範囲に限定してもよい。抽出画像の向きは、原画像と同じ向きであってもよいし、血管に平行な向きであってもよい。また、上述した各設定は動的に変えてもよく、例えば、異常部の発生頻度が高い場所では抽出頻度を高く設定し、異常部の発生頻度が低い場所では抽出頻度を低く設定する等部位に応じて定めてもよい。
【0047】
［判定工程Ｓ１１］
判定工程Ｓ１１は、画像取得工程Ｓ１０において原画像から抽出した抽出画像に基づいて、検査対象の血管に異常部が含まれるか否かを判定するための工程である。一例として、判定工程Ｓ１１において、判定部２０１は、画像取得工程Ｓ１０において取得した抽出画像を学習済みモデルに入力し、当該学習済みモデルが認識した抽出画像に含まれる血管の断片の異常部にバウンディングボックスが付された出力画像を検出結果として取得する。判定部２０１は、学習済みモデルの検出結果に基づいて、検査対象の血管に異常部が含まれるか否かを判定する。判定部２０１は、検出結果として取得した出力画像にバウンディングボックスが付されている画像あるか否かに基づいて判定する。出力画像にバウンディングボックスが付されている画像が含まれている場合には、「異常部有り」と判定し、出力画像にバウンディングボックスが付されている画像が含まれていない場合には、「異常部無し」と判定する。
判定工程Ｓ１１は、画像取得工程Ｓ１０において原画像から抽出した抽出画像に基づいて、検査対象の血管に異常部が含まれるか否かを判定するための工程である。一例として、判定工程Ｓ１１において、判定部２０１は、画像取得工程Ｓ１０において取得した抽出画像を学習済みモデルに入力し、当該学習済みモデルが認識した抽出画像に含まれる血管の断片の異常部にバウンディングボックスが付された出力画像を検出結果として取得する。判定部２０１は、学習済みモデルの検出結果に基づいて、検査対象の血管に異常部が含まれるか否かを判定する。判定部２０１は、検出結果として取得した出力画像にバウンディングボックスが付されている画像あるか否かに基づいて判定する。出力画像にバウンディングボックスが付されている画像が含まれている場合には、「異常部有り」と判定し、出力画像にバウンディングボックスが付されている画像が含まれていない場合には、「異常部無し」と判定する。
【0048】
判定工程Ｓ１１において、検査対象の血管に異常部無し（判定工程Ｓ１１においてＮＯ）と判定された場合、診断支援装置２は、図２に示す表示制御工程Ｓ１３を実施する。
【0049】
［画像生成工程Ｓ１２］
判定工程Ｓ１１において、検査対象の血管に異常部有り（判定工程Ｓ１１においてＹＥＳ）と判定された場合、診断支援装置２は、画像生成工程Ｓ１２を実施する。
判定工程Ｓ１１において、検査対象の血管に異常部有り（判定工程Ｓ１１においてＹＥＳ）と判定された場合、診断支援装置２は、画像生成工程Ｓ１２を実施する。
【0050】
画像生成工程Ｓ１２は、画像生成部２０２が判定工程Ｓ１１において判定した判定結果をユーザに表示する表示画像を生成するための工程である。一例として、画像生成工程Ｓ１２において、画像生成部２０２は、判定工程Ｓ１１において学習済みモデルが認識した異常部を表す標示を、検査対象の血管を被写体として含む原画像の当該異常部近傍の血管内及び血管外に、当該血管に沿って付した表示画像を生成する。画像生成工程Ｓ１２において、画像生成部２０２が実施する表示画像の生成方法の一例としては、判定部２０１において学習済みモデルが出力した出力画像のうち、バウンディングボックスが付されている抽出画像に基づいて表示画像を生成する方法が挙げられる。この方法は、予め抽出画像が、原画像のどの部分を抽出した画像であるかを当該原画像上での位置情報等で紐づけておくことにより実現し得る。例えば、バウンディングボックスが付された抽出画像の位置情報に基づいて原画像上での異常部の位置を特定し、当該特定した異常部の血管近傍の血管内及び血管外に、当該血管に沿って標示を付す。
【0051】
［表示制御工程Ｓ１３］
表示制御工程Ｓ１３は、表示制御部２０３がユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１３において、表示制御部２０３は、画像生成工程Ｓ１２において生成された表示画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３は、判定工程Ｓ１１において、検査対象の血管に、異常部無し（判定工程Ｓ１１においてＮＯ）と判定された場合には、検査対象の血管を被写体として含む原画像を表示画像として表示する。
表示制御工程Ｓ１３は、表示制御部２０３がユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１３において、表示制御部２０３は、画像生成工程Ｓ１２において生成された表示画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３は、判定工程Ｓ１１において、検査対象の血管に、異常部無し（判定工程Ｓ１１においてＮＯ）と判定された場合には、検査対象の血管を被写体として含む原画像を表示画像として表示する。
【0052】
（画像取得工程Ｓ１０の変形例１）
画像取得工程Ｓ１０の変形例（以下、「画像取得工程Ｓ２０」と記載する）について、図５を参照して説明する。図５は、画像取得工程の変形例が実施する各処理の流れを示すフロー図である。
画像取得工程Ｓ１０の変形例（以下、「画像取得工程Ｓ２０」と記載する）について、図５を参照して説明する。図５は、画像取得工程の変形例が実施する各処理の流れを示すフロー図である。
【0053】
画像取得工程Ｓ２０は、異なる画素値で表現された複数の原画像から、検査対象の血管の断片を含む抽出画像を抽出するという点において、画像取得工程Ｓ１０とは異なる。まず、画像取得部２００は、図５に示すように、撮像装置１から検査対象の血管を撮像した撮像データを取得する（ステップＳ２００）。
【0054】
次に、画像取得部２００は、撮像装置１から受信した撮像データに基づいて異なる画素値で表現された、検査対象の血管が被写体として含む原画像を複数生成する（ステップＳ２０１）。ここで画素値とは、画像の各画素における色の濃淡を表す値である。
一例として、画像取得部２００は、被写体同一で画素値のみが異なる画像を原画像として生成する。
一例として、画像取得部２００は、被写体同一で画素値のみが異なる画像を原画像として生成する。
【0055】
以下、撮像装置１がＣＴ装置である場合を例として、ステップＳ２０１を具体的に説明する。ＣＴ装置が撮像した撮像データに基づいて生成されるＣＴ画像は、人体にＸ線を照射したとき、各臓器や各組織が吸収したＸ線の程度を数値化したＣＴ値を算出し、当該ＣＴ値の違いを濃淡で表現した画像である。すなわち、ＣＴ値は、画素値の一例である。一般的なＣＴ画像は、検査対象の臓器や組織の標準的なＣＴ値に応じて、画像上に濃淡で表現するＣＴ値の範囲ｗｗ及び画像上に濃淡で表現するＣＴ値の中央値ｗｌ（以下、「ｗｗ／ｗｌ」と記載する）をそれぞれ設定する。これにより、必要な情報のみをより鮮明に濃淡で表現することができる。本実施形態では、検査対象の血管を被写体として含む原画像としてｗｗ／ｗｌの値が異なる複数の画像を用いる。
【0056】
次に、画像取得部２００は、取得した原画像の各々から検査対象の血管の断片を含むような抽出画像を抽出する（ステップＳ２０２）。原画像から抽出画像を抽出する方法は、画像取得工程Ｓ１０のステップＳ１０２と同様であるためここでは説明を省略する。
【0057】
最後に、画像取得部２００は、ステップＳ２０２において抽出した抽出画像を統合する（ステップＳ２０３）。一例として、画像取得部２００は、ステップＳ２０２において抽出した抽出画像のうち、被写体同一で画素値のみが異なる抽出画像を統合する。ここで画像を統合する方法は特に限定されない。本実施形態においては、公知の方法を用いて画像を統合する。
【0058】
画像取得工程Ｓ２０は、ステップＳ２００～ステップＳ２０２の各処理を実行することにより、検査対象の血管の断片を含む抽出画像を取得する。
【0059】
（診断支援システム１００の効果）
診断支援システム１００は、上述のように、サイズの大きな医用画像から検査対象の血管の断片を含む抽出画像を抽出し、学習済みモデルに基づいて当該抽出画像の各々において異常部が含まれるか否かを判定することにより、検査対象の血管に異常部が含まれるか否かを判定する構成を採用している。これにより、学習済みモデルは、サイズの小さな抽出画像から異常部を検出するため、複雑なアルゴリズムを用いることなく、且つ、学習時間を短縮することができる。その結果、画像処理に特化したＧＰＵを搭載した高性能なハードウェア等を導入する必要がないため、一般的な医療機関への導入コストを削減することができる。また、診断支援システム１００が普及することにより、診断を効率化し、医師の負担を軽減することができる。
診断支援システム１００は、上述のように、サイズの大きな医用画像から検査対象の血管の断片を含む抽出画像を抽出し、学習済みモデルに基づいて当該抽出画像の各々において異常部が含まれるか否かを判定することにより、検査対象の血管に異常部が含まれるか否かを判定する構成を採用している。これにより、学習済みモデルは、サイズの小さな抽出画像から異常部を検出するため、複雑なアルゴリズムを用いることなく、且つ、学習時間を短縮することができる。その結果、画像処理に特化したＧＰＵを搭載した高性能なハードウェア等を導入する必要がないため、一般的な医療機関への導入コストを削減することができる。また、診断支援システム１００が普及することにより、診断を効率化し、医師の負担を軽減することができる。
【0060】
（画像取得工程Ｓ１０の変形例１の効果）
一般的なＣＴ画像は、検査対象の臓器や組織に応じたｗｗ／ｗｌの値が設定され、その値に応じた画像が生成されている。そのため、設定したｗｗ／ｗｌの値から外れたＣＴ値を有するものは画像上に表されない。したがって、実際には異常が生じているにも関わらずＣＴ画像には表れない場合がある。一方で、画像取得工程Ｓ２０は、異なる画素値で表した複数の原画像の各々から、抽出画像を取得し、統合する構成を採用することにより、精度高く異常部を画像上に示すことができる。これにより、医師の診断の精度向上に貢献することができる。
一般的なＣＴ画像は、検査対象の臓器や組織に応じたｗｗ／ｗｌの値が設定され、その値に応じた画像が生成されている。そのため、設定したｗｗ／ｗｌの値から外れたＣＴ値を有するものは画像上に表されない。したがって、実際には異常が生じているにも関わらずＣＴ画像には表れない場合がある。一方で、画像取得工程Ｓ２０は、異なる画素値で表した複数の原画像の各々から、抽出画像を取得し、統合する構成を採用することにより、精度高く異常部を画像上に示すことができる。これにより、医師の診断の精度向上に貢献することができる。
【0061】
（画像取得工程Ｓ１０の変形例２）
画像取得工程Ｓ１０の他の変形例（以下、「画像取得工程Ｓ３０」と記載する）について、図６を参照して説明する。図６は、画像取得工程の変形例が実施する各処理の流れを示すフロー図である。
画像取得工程Ｓ１０の他の変形例（以下、「画像取得工程Ｓ３０」と記載する）について、図６を参照して説明する。図６は、画像取得工程の変形例が実施する各処理の流れを示すフロー図である。
【0062】
画像取得工程Ｓ３０は、異なる方向から投影した検査対象の血管を被写体として含む原画像から、当該血管の断片を含む抽出画像を抽出するという点において、画像取得工程Ｓ１０とは異なる。まず、画像取得部２００は、図６に示すように、撮像装置１から検査対象の血管を撮像した撮像データを取得する（ステップＳ３００）。
【0063】
次に、画像取得部２００は、撮像装置１から受信した撮像データに基づいて異なる方向から投影した検査対象の血管を被写体として含む原画像を生成する（ステップＳ３０１）。異なる方向から投影した検査対象の血管を被写体として含む原画像の一例として、検査対象の血管を１枚の画像内に２次元的に表したＣＰＲ画像及び検査対象の血管の内腔断面を表したＭＰＲ画像を生成する。
【0064】
次に画像取得部２００は、異なる方向から投影した検査対象の血管を被写体として含む原画像の各々から、当該血管の断片を含むような抽出画像を抽出する（ステップＳ３０２）。ステップＳ３０２において、抽出画像を抽出する方法の一例について、図７を参照して説明する。図７は、画像取得工程の一変形例を示す模式図である。図７では、ＣＰＲ画像及びＭＰＲ画像に被写体として含まれる検査対象の血管を一部抽出した図を用いて抽出方法を説明する。
【0065】
まず、画像取得部２００は図７左上図に示すように、ＣＰＲ画像内の検査対象の血管Ｘの中心線に沿って、当該血管の断片を含む抽出画像を抽出する（図７左下図）。そして、画像取得部２００は、ＣＰＲ画像から抽出した抽出画像の各々に含まれる血管Ｘの断片と同一部位の内腔断面を含む抽出画像をＭＰＲ画像から抽出する。ここで「同一部位の内腔断面」とは、抽出画像に含まれる血管Ｘの断片の何れかの位置に対応する内腔断面であればよい。例えば、図７左下図の抽出画像Ａにおいて、Ｘ１及びＸ２の位置に対応する内腔断面は、何れも抽出画像Ａに含まれる血管Ｘの断片と同一部位の内腔断面である。なお、ＭＰＲ画像から対応する内腔断面を含む抽出画像を抽出する方法としては、検査対象の血管Ｘの特徴（例えば、中心線や形状）に基づいて、ＣＰＲ画像内の位置情報とＭＰＲ画像内の位置情報とを紐づける方法が挙げられる。
【0066】
画像取得工程Ｓ３０は、ステップＳ３００～ステップＳ３０２の各処理を実行することにより、検査対象の血管の断片を異なる方向から投影した抽出画像を取得する。
【0067】
（画像取得工程Ｓ１０の変形例２の効果）
画像取得工程Ｓ３０では、検査対象の血管の断片を異なる方向から投影した抽出画像を取得する構成を採用することにより、多方向から検査対象の血管を確認することができる。これにより、検査対象の血管の状態をより正確に把握し、医師はより的確な診断をすることができる。
画像取得工程Ｓ３０では、検査対象の血管の断片を異なる方向から投影した抽出画像を取得する構成を採用することにより、多方向から検査対象の血管を確認することができる。これにより、検査対象の血管の状態をより正確に把握し、医師はより的確な診断をすることができる。
【0068】
（診断支援システム１００の変形例）
本実施形態に係る診断支援システム１００において、判定部２０１は、検査対象の血管に異常部が含まれるか否かの判定に学習済みモデルを用いているが、本発明はこれに限定されない。例えば、パターン認識やルールベース等の人工知能アルゴリズム用いて、検査対象の血管に異常部が含まれるか否かを判定してもよい。この場合、判定部２０１は、パターン認識やルールベースの人工知能アルゴリズムを実行することにより、予め設定されるパターンやルールに基づき、画像取得部２００で取得した抽出画像内の異常部を検出し、検出結果の一例として、当該異常部の各々の領域にバウンディングボックスが付されている画像を出力する。出力した画像にバウンディングボックスが付されている画像が含まれる場合には、「異常部有り」と判定し、出力した画像にバウンディングボックスが付されている画像が含まれていない場合には、「異常部無し」と判定する。
本実施形態に係る診断支援システム１００において、判定部２０１は、検査対象の血管に異常部が含まれるか否かの判定に学習済みモデルを用いているが、本発明はこれに限定されない。例えば、パターン認識やルールベース等の人工知能アルゴリズム用いて、検査対象の血管に異常部が含まれるか否かを判定してもよい。この場合、判定部２０１は、パターン認識やルールベースの人工知能アルゴリズムを実行することにより、予め設定されるパターンやルールに基づき、画像取得部２００で取得した抽出画像内の異常部を検出し、検出結果の一例として、当該異常部の各々の領域にバウンディングボックスが付されている画像を出力する。出力した画像にバウンディングボックスが付されている画像が含まれる場合には、「異常部有り」と判定し、出力した画像にバウンディングボックスが付されている画像が含まれていない場合には、「異常部無し」と判定する。
【0069】
ここで、予め設定されるパターンやルールとしては、抽出画像において所定の値以上又は未満の輝度やＲＧＢ値を有する領域を検出した場合、その領域を異常部として検出する、抽出画像をハフ変換した画像から所定の形状が識別された場合、その識別された形状を異常部として検出する、グレーレベル共起行列（ＧＬＣＭ：Gray Level Co-occurrence Matrix）に基づく抽出画像のテクスチャ解析によって、所定のテクスチャが抽出された場合、その所定のテクスチャを有する領域を異常部として検出する、等が挙げられる。なお、予め設定されるパターンやルールは任意に定めることができ、当該パターンやルールに基づいて異常部を検出した検出結果の出力方法についても同様である。
〔実施形態２〕
本発明の他の実施形態について、図８及び図９を参照して以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
〔実施形態２〕
本発明の他の実施形態について、図８及び図９を参照して以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0070】
（診断支援システム１００ａの概要）
本実施形態に係る診断支援システム１００ａは、検査対象の血管に異常部が含まれるか否かを判定し、検査対象の血管に異常部が含まれると判定した場合には、当該異常部の疾患リスクを分析することを特徴とするシステムである。
本実施形態に係る診断支援システム１００ａは、検査対象の血管に異常部が含まれるか否かを判定し、検査対象の血管に異常部が含まれると判定した場合には、当該異常部の疾患リスクを分析することを特徴とするシステムである。
【0071】
【0072】
診断支援システム１００ａは、図８に示すように、診断支援装置２に代えて診断支援装置２ａを含んでいる点において診断支援システム１００と異なり、その他の構成は同じである。
【0073】
［診断支援装置２ａ］
診断支援装置２ａは、図８に示すように、制御部１２に代えて制御部１２ａを備える点において診断支援装置２と異なる。制御部２０ａは、画像生成部２０２に代えて画像生成部２０２ａ及び表示制御部２０３に代えて表示制御部２０３ａを備え、分析部２０４ａを更に備える点において制御部２０と異なる。
診断支援装置２ａは、図８に示すように、制御部１２に代えて制御部１２ａを備える点において診断支援装置２と異なる。制御部２０ａは、画像生成部２０２に代えて画像生成部２０２ａ及び表示制御部２０３に代えて表示制御部２０３ａを備え、分析部２０４ａを更に備える点において制御部２０と異なる。
【0074】
分析部２０４ａは、判定部２０１において、検査対象の血管に異常部が含まれると判定された場合に、当該異常部の疾患リスクを分析する。一例として、分析部２０４ａは、判定部２０１において学習済みモデルが出力した検査対象の血管の断片の異常部にバウンディングボックスが付された抽出画像に基づいて当該異常部の疾患リスクを分析する。バウンディングボックスが付された抽出画像から疾患リスクを分析する方法の一例としては、学習済みモデルを利用した方法が挙げられる。具体的には、分析部２０４ａは、異常部を含む血管の断片を被写体として含む画像を入力情報として、当該異常部の種類を判定するように学習された学習済みモデルに、検査対象の血管の断片の異常部にバウンディングボックスが付された抽出画像を入力する。そして、分析部２０４ａは、学習済みモデルによる判定結果を参照して、当該異常部の疾患リスクを判定する。
【0075】
画像生成部２０２ａは、判定部２０１において判定した判定結果及び分析部２０４ａにおいて分析した分析結果をユーザに表示するための表示画像を生成する。一例として、画像生成部２０２ａは、検査対象の血管を被写体として含む原画像に、当該血管に異常部及び当該異常部の疾患リスクを示す標示を付した表示画像を生成する。
【0076】
表示制御部２０３ａは、各種画像をユーザに表示する。一例として、表示制御部２０３ａは、画像生成部２０２ａにおいて生成された表示画像をユーザに表示する。ユーザに表示画像を表示する方法の一例としては、ユーザが所持する画像表示装置３の表示部３１に当該表示画像を表示する方法が挙げられる。具体的には、表示制御部２０３ａは、画像生成部２０２ａが生成した表示画像を表す画像データを診断支援装置２ａの通信部２１を介して画像表示装置３に送信し、画像表示装置３が内蔵している表示部３１当該画像を出力する。本実施形態においては、診断支援装置２ａの外部装置である画像表示装置３の表示部３１に表示画像を表示する構成を採用するが、表示制御部２０３ａは、表示画像を診断支援装置２ａが内蔵する表示部（図示せず）に表示してもよい。
【0077】
（学習済みモデル）
本実施形態において、疾患リスクを分析するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の断片の異常部の種類を判定するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管の断片に異常部を含む画像と、該画像における異常部の種類がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、判定部２０１において判定された異常部が不安定プラークによる狭窄部であり、狭窄部を形成する不安定プラークの種類を判定するように学習済みの場合、不安定プラークによる狭窄部を含む血管の断片を被写体として含む画像と、該画像における狭窄部を形成する不安定プラークの種類がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。
本実施形態において、疾患リスクを分析するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の断片の異常部の種類を判定するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管の断片に異常部を含む画像と、該画像における異常部の種類がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、判定部２０１において判定された異常部が不安定プラークによる狭窄部であり、狭窄部を形成する不安定プラークの種類を判定するように学習済みの場合、不安定プラークによる狭窄部を含む血管の断片を被写体として含む画像と、該画像における狭窄部を形成する不安定プラークの種類がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。
【0078】
当該学習済みモデルは、血管の断片に異常部を含む抽出画像を入力情報として、入力した画像内に含まれる異常部の種類を判定する。そして当該学習済みモデルは、検出結果の一例として、異常部の各々の領域にバウンディングボックス及び異常部の種類を表す情報を付した画像を出力する。なお、学習済みモデルは、深層学習により生成されたモデルであってもよいし、深層学習以外の機械学習により生成されたモデルであってもよい。
【0079】
【0080】
診断支援方法Ｓ１ａは、図９に示すように、画像取得工程Ｓ１０と、判定工程Ｓ１１と、分析工程Ｓ１４ａと、画像生成工程Ｓ１２ａと、表示制御工程Ｓ１３ａと、を含んでいる。診断支援方法Ｓ１ａは、画像生成工程Ｓ１２に代えて画像生成工程Ｓ１２ａ及び表示制御工程Ｓ１３に代えて表示制御工程Ｓ１３ａ含み、分析工程Ｓ１４ａを更に含む点において診断支援方法Ｓ１と異なる。画像取得工程Ｓ１０及び判定工程Ｓ１１は、画像取得工程Ｓ１０と同様であるため、ここでは説明を省略する。
【0081】
［分析工程Ｓ１４ａ］
分析工程Ｓ１４ａは、判定工程Ｓ１１において検査対象の血管に「異常部有り」と判定された場合に、異常部の疾患リスクを分析するための工程である。一例として、分析工程Ｓ１４ａにおいて、分析部２０４ａは、異常部を表すバウンディングボックスが付された抽出画像を学習済みモデルに入力し、当該学習済みモデルが判定した異常部の種類を表す文字をバウンディングボックス近傍に表示した出力画像を判定結果として取得する。分析部２０４ａは、出力画像を参照して、異常部に疾患リスクを分析する。例えば、バウンディングボックスが付された異常部が不安定プラークによる狭窄部である場合には、学習済みモデルは、狭窄部を形成する不安定プラークの種類を判定する。ここで判定される不安定プラークの種類は、ＳＣ、ＳＴ、ＬＨＵ、ＮＲＳの５種類である。この５種類の不安定プラークの出現パターンに基づいて疾患リスクを通常、危険、超危険の３段階で評価する。例えば、不安定プラークによる狭窄部を表すバウンディングボックスが付された抽出画像の各々において、それぞれの狭窄部を形成する不安定プラークの種類の判定結果を統合し、不安定プラークの種類の組合せから疾患リスクが通常、危険、超危険の何れに該当するかを評価する。
分析工程Ｓ１４ａは、判定工程Ｓ１１において検査対象の血管に「異常部有り」と判定された場合に、異常部の疾患リスクを分析するための工程である。一例として、分析工程Ｓ１４ａにおいて、分析部２０４ａは、異常部を表すバウンディングボックスが付された抽出画像を学習済みモデルに入力し、当該学習済みモデルが判定した異常部の種類を表す文字をバウンディングボックス近傍に表示した出力画像を判定結果として取得する。分析部２０４ａは、出力画像を参照して、異常部に疾患リスクを分析する。例えば、バウンディングボックスが付された異常部が不安定プラークによる狭窄部である場合には、学習済みモデルは、狭窄部を形成する不安定プラークの種類を判定する。ここで判定される不安定プラークの種類は、ＳＣ、ＳＴ、ＬＨＵ、ＮＲＳの５種類である。この５種類の不安定プラークの出現パターンに基づいて疾患リスクを通常、危険、超危険の３段階で評価する。例えば、不安定プラークによる狭窄部を表すバウンディングボックスが付された抽出画像の各々において、それぞれの狭窄部を形成する不安定プラークの種類の判定結果を統合し、不安定プラークの種類の組合せから疾患リスクが通常、危険、超危険の何れに該当するかを評価する。
【0082】
［画像生成工程Ｓ１２ａ］
画像生成工程Ｓ１２ａは、判定工程Ｓ１１において判定した判定結果及び分析工程Ｓ１４ａにおいて分析した分析結果をユーザに表示する表示画像を生成するための工程である。一例として、画像生成工程Ｓ１２ａにおいて、画像生成部２０２ａは、判定工程Ｓ１１において学習済みモデルが認識した異常部を表す標示及び分析工程Ｓ１４ａにおいて分析した異常部の疾患リスクの分析結果を、検査対象の血管を被写体として含む原画像の当該異常部近傍の血管内又は血管外に、当該血管に沿って付した表示画像を生成する。画像生成工程Ｓ１２ａにおいて、画像生成部２０２ａが実施する表示画像の生成方法の一例としては、判定部２０１ａにおいて学習済みモデルが出力した出力画像のうち、バウンディングボックスが付されている抽出画像に基づいて表示画像を生成する方法が挙げられる。この方法は、予め抽出画像が、原画像のどの部分を抽出した画像であるかを当該原画像上での位置情報等で紐づけておくことにより実現し得る。例えば、バウンディングボックスが付された抽出画像の位置情報に基づいて原画像上での異常部の位置を特定し、当該特定した異常部の血管近傍の血管内又は血管外に、当該血管に沿って標示を付す。そして、当該標示の色を変えたり、濃淡を変えたりすることにより、異常部の疾患リスクの分析結果を示す。
画像生成工程Ｓ１２ａは、判定工程Ｓ１１において判定した判定結果及び分析工程Ｓ１４ａにおいて分析した分析結果をユーザに表示する表示画像を生成するための工程である。一例として、画像生成工程Ｓ１２ａにおいて、画像生成部２０２ａは、判定工程Ｓ１１において学習済みモデルが認識した異常部を表す標示及び分析工程Ｓ１４ａにおいて分析した異常部の疾患リスクの分析結果を、検査対象の血管を被写体として含む原画像の当該異常部近傍の血管内又は血管外に、当該血管に沿って付した表示画像を生成する。画像生成工程Ｓ１２ａにおいて、画像生成部２０２ａが実施する表示画像の生成方法の一例としては、判定部２０１ａにおいて学習済みモデルが出力した出力画像のうち、バウンディングボックスが付されている抽出画像に基づいて表示画像を生成する方法が挙げられる。この方法は、予め抽出画像が、原画像のどの部分を抽出した画像であるかを当該原画像上での位置情報等で紐づけておくことにより実現し得る。例えば、バウンディングボックスが付された抽出画像の位置情報に基づいて原画像上での異常部の位置を特定し、当該特定した異常部の血管近傍の血管内又は血管外に、当該血管に沿って標示を付す。そして、当該標示の色を変えたり、濃淡を変えたりすることにより、異常部の疾患リスクの分析結果を示す。
【0083】
［表示制御工程Ｓ１３ａ］
表示制御工程Ｓ１３ａは、ユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１３ａにおいて、表示制御部２０３ａは、画像生成工程Ｓ１２ａにおいて生成された表示画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３ａは、判定工程Ｓ１１において、検査対象の血管に、異常部無し（判定工程Ｓ１１においてＮＯ）と判定された場合には、検査対象の血管を被写体として含む原画像を表示画像として表示する。
表示制御工程Ｓ１３ａは、ユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１３ａにおいて、表示制御部２０３ａは、画像生成工程Ｓ１２ａにおいて生成された表示画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３ａは、判定工程Ｓ１１において、検査対象の血管に、異常部無し（判定工程Ｓ１１においてＮＯ）と判定された場合には、検査対象の血管を被写体として含む原画像を表示画像として表示する。
【0084】
（診断支援システム１００ａの効果）
診断支援システム１００ａは、検査対象の血管に異常部が含まれるか否かを判定することに加えて、異常部の疾患リスクを判定する。これにより、更に効率的な診断に寄与する。
〔ハードウェア構成及びソフトウェアによる実現例〕
診断支援装置２（主に制御部２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、診断支援装置２は、図１０に示すようなコンピュータ（電子計算機）を用いて構成されてよい。
診断支援システム１００ａは、検査対象の血管に異常部が含まれるか否かを判定することに加えて、異常部の疾患リスクを判定する。これにより、更に効率的な診断に寄与する。
〔ハードウェア構成及びソフトウェアによる実現例〕
診断支援装置２（主に制御部２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、診断支援装置２は、図１０に示すようなコンピュータ（電子計算機）を用いて構成されてよい。
【0085】
図１０は、診断支援装置２として利用可能なコンピュータ４の構成の一例を示したブロック図である。コンピュータ４は、バスを介して互いに接続された演算装置４０と、主記憶装置４１と、補助記憶装置４２と、入出力インタフェース４３と、通信インタフェース４４とを備えている。演算装置４０、主記憶装置４１、及び補助記憶装置４２は、それぞれ、例えば、ＣＰＵ、ＲＡＭ（Random Access Memory）、ソリッドステートドライブ又はハードディスクドライブであってもよい。入出力インタフェース４３には、ユーザがコンピュータ４に各種情報を入力するための入力装置４５、及び、コンピュータ４がユーザに各種情報を出力するための出力装置４６が接続される。入力装置４５及び出力装置４６は、コンピュータ４に内蔵されたものであってもよいし、コンピュータ４に接続された（外付けされた）ものであってもよい。例えば、入力装置４５は、ボタン、キーボード、マウス、タッチセンサ等であってもよく、出力装置４６は、ランプ、ディスプレイ、プリンタ、スピーカ等であってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような入力装置４５及び出力装置４６の双方の機能を有する装置を適用してもよい。そして、通信インタフェース４４は、コンピュータ４が外部装置と通信するためのインタフェースである。
【0086】
補助記憶装置４２には、コンピュータ４を診断支援装置２として動作させるための診断支援プログラムが格納されている。そして、演算装置４０は、補助記憶装置４２に格納された上記情報処理プログラムを主記憶装置４１上に展開して該情報処理プログラムに含まれる命令を実行することによって、コンピュータ４を診断支援装置２が備える各部として機能させる。なお、補助記憶装置４２が情報処理プログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等であってもよい。
【0087】
また、コンピュータ４の外部の記録媒体に記録されているプログラム、あるいは任意の伝達媒体（通信ネットワークや放送波等）を介してコンピュータ４に供給されたプログラムを用いてコンピュータ４を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝達によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0088】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0089】
〔まとめ〕
本実施形態の態様１に係る診断支援方法は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む。
本実施形態の態様１に係る診断支援方法は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む。
【0090】
上記の構成によれば、医師は、検査対象の血管に異常部が含まれるか否かの判定結果を参照しながら診断することができるため、診断の効率化に寄与し、且つ医師による診断結果の違いが生じる可能性を低減することができる。
【0091】
本実施形態の態様２に係る診断支援方法は、上記態様１において、前記判定工程において、前記検査対象の血管に異常部が含まれると判定された場合、前記異常部の疾患リスクを分析する分析工程を更に含み、前記表示制御工程は、前記分析工程において分析された分析結果を更に表示する。
【0092】
上記の構成によれば、医師は、検査対象の血管に含まれる異常部の疾患リスクの分析結果を参照しながら診断することができるため、診断の効率化に寄与し、且つ医師による診断結果の違いが生じる可能性を低減することができる。
【0093】
本実施形態の態様３に係る診断支援方法は、上記態様１又は２において、前記原画像は、前記検査対象の血管を異なる方向から投影した画像を含む。
【0094】
上記の構成によれば、検査対象の血管に異常部が含まれるか否かの判定及び疾患リスクの分析の精度を向上させることができる。
【0095】
本実施形態の態様４に係る診断支援方法は、上記態様３において、前記検査対象の血管を異なる方向から投影した画像の各々から抽出された前記抽出画像は、前記血管の同一部位を被写体として含む。
【0096】
上記の構成によれば、検査対象の血管に異常部が含まれるか否かの判定及び疾患リスクの分析の精度を向上させることができる。
【0097】
本実施形態の態様５に係る診断支援方法は、上記態様１～４の何れか１つにおいて、前記表示制御工程は、前記原画像に、前記判定工程において判定した前記異常部を表す標示を付した画像をユーザに表示し、前記標示は、前記異常部近傍の血管外に、前記血管に沿って付される。
【0098】
上記の構成によれば、判定結果及び分析結果を医師に表示する際に、医師の診断を妨げないという効果を奏する。
【0099】
本実施形態の態様６に係る診断支援方法は、上記態様１～５の何れか１つにおいて、前記抽出画像は、前記原画像に被写体として含まれる前記検査対象の血管の中心線に基づいて抽出される。
【0100】
上記の構成によれば、血管を被写体として含む画像から、当該血管の位置を効率的に検出することができる。これにより、無駄なく血管の断片を含む抽出画像を抽出することができる。
【0101】
本実施形態の態様７に係る診断支援方法は、上記態様１～６の何れか１つにおいて、前記学習済みモデルは、血管を撮像した撮像画像から取得した前記血管の断片を含む画像において、当該血管の断片の異常部がラベリングされた画像を用いた機械学習により構築されたものである。
【0102】
上記の構成によれば、学習済みモデルは好適に血管の異常部を検出することができる。
【0103】
本実施形態の態様８に係る診断支援方法は、上記態様１～７の何れか１つにおいて、前記異常部は、狭窄部である。
【0104】
上記の構成によれば、検査対象の血管の異常部として、当該血管に狭窄部が存在するか否かを判定することができる。
【0105】
本実施形態の態様９に係る診断支援プログラムは、コンピュータに、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む診断支援処理をさせる。
【0106】
上記の構成によれば、医師は、検査対象の血管に異常部が含まれるか否かの判定結果を参照しながら診断することができるため、診断の効率化に寄与し、且つ医師による診断結果の違いが生じる可能性を低減することができる。
【0107】
本実施形態の態様１０に係る診断支援装置は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得部と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像を入力情報として、当該断片の異常部を検出するように学習された学習済みモデルに、前記抽出画像を入力することによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定部と、前記判定工程において判定した判定結果をユーザに表示する表示制御部と、を含む。
【0108】
上記の構成によれば、医師は、検査対象の血管に異常部が含まれるか否かの判定結果を参照しながら診断することができるため、診断の効率化に寄与し、且つ医師による診断結果の違いが生じる可能性を低減することができる。
【0109】
本実施形態の態様１１に係る診断支援装置は、上記態様１０において、前記表示制御部は、前記判定結果を画像表示装置に出力する。
【0110】
上記の構成によれば、診断支援装置は、判定結果を示す標示画像を外部装置である画像表示装置に表示することができる。これにより、画像表示装置３が持ち運び可能な装置である場合には、任意の場所で表示画像を閲覧することができる。
【0111】
本実施形態の態様１２に係る診断支援方法は、検査対象の血管を被写体として含む原画像から、前記血管の断片を含むように抽出した抽出画像を取得する画像取得工程と、血管を撮像した撮像画像から取得した当該血管の断片を含む画像から当該断片の異常部を検出する人工知能アルゴリズムによって、前記検査対象の血管に異常部が含まれるか否かを判定する判定工程と、前記判定工程において判定した判定結果をユーザに表示する表示制御工程と、を含む。
【0112】
上記の構成によれば、上記態様１と同様の効果を奏する。
【符号の説明】
【0113】
１ 撮像装置
２ 診断支援装置
３ 画像表示装置
４ コンピュータ
２ 診断支援装置
３ 画像表示装置
４ コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】