ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ソフトバンクモバイル株式会社の特許一覧 ▶ 独立行政法人国立循環器病研究センターの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018251
(43)【公開日】2025-02-06
(54)【発明の名称】画像表示方法、画像表示プログラム及び情報処理装置
(51)【国際特許分類】
A61B 6/46 20240101AFI20250130BHJP
A61B 6/03 20060101ALI20250130BHJP
【ＦＩ】
A61B6/03 360Z
A61B6/03 360J
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023121799
(22)【出願日】2023-07-26
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】510094724
【氏名又は名称】国立研究開発法人国立循環器病研究センター
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】桜庭 牧之
(72)【発明者】
【氏名】片田 晃輔
(72)【発明者】
【氏名】鈴木 隆之
(72)【発明者】
【氏名】浅海 泰栄
(72)【発明者】
【氏名】和山 啓馬
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA21
4C093DA02
4C093FD03
4C093FF16
4C093FF35
4C093FG13
4C093FG16
(57)【要約】
【課題】ＡＩ（Artificial Intelligence）よって検出した血管の異常部を医師の視覚的な診断を妨げないように標示した画像を表示すること
【解決手段】画像表示方法（Ｓ１）は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程（Ｓ１０）と、学習済みモデルに第１の画像を入力することによって、当該血管の異常部を特定する特定工程（Ｓ１１）と、特定した異常部を表す標示を当該血管外に付した第２の画像を生成する画像生成工程（Ｓ１３）と、第２の画像をユーザに表示する表示制御工程（Ｓ１４）と、を含む。
【選択図】図２
【解決手段】画像表示方法（Ｓ１）は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程（Ｓ１０）と、学習済みモデルに第１の画像を入力することによって、当該血管の異常部を特定する特定工程（Ｓ１１）と、特定した異常部を表す標示を当該血管外に付した第２の画像を生成する画像生成工程（Ｓ１３）と、第２の画像をユーザに表示する表示制御工程（Ｓ１４）と、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、
前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、
前記第２の画像をユーザに表示する表示制御工程と、を含み、
前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、
ことを特徴とする画像表示方法。
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、
前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、
前記第２の画像をユーザに表示する表示制御工程と、を含み、
前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、
ことを特徴とする画像表示方法。
【請求項2】
前記標示は、前記検査対象の血管に沿って付される、
ことを特徴とする請求項１に記載の画像表示方法。
ことを特徴とする請求項１に記載の画像表示方法。
【請求項3】
前記画像生成工程は、前記検査対象の血管の中心線を示す情報と、前記特定工程において特定された前記異常部を含む異常部領域を示す情報と、に基づいて前記第２の画像を生成する、
ことを特徴とする請求項１又は２に記載の画像表示方法。
ことを特徴とする請求項１又は２に記載の画像表示方法。
【請求項4】
前記異常部領域は、前記異常部を含む矩形領域であり、
前記画像生成工程は、前記矩形領域の各頂点を、前記中心線に投影し、
前記各頂点を投影した投影点を通過する、前記中心線に対する垂線の各々を繋ぐように前記標示を生成する、
ことを特徴とする請求項３に記載の画像表示方法。
前記画像生成工程は、前記矩形領域の各頂点を、前記中心線に投影し、
前記各頂点を投影した投影点を通過する、前記中心線に対する垂線の各々を繋ぐように前記標示を生成する、
ことを特徴とする請求項３に記載の画像表示方法。
【請求項5】
前記画像生成工程は、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示であって、少なくとも一部が前記検査対象の血管上に位置する標示を更に付す、
ことを特徴とする請求項１に記載の画像表示方法。
ことを特徴とする請求項１に記載の画像表示方法。
【請求項6】
前記標示は、前記特定工程において特定された前記異常部の自信度を更に表す、
ことを特徴とする請求項１に記載の画像表示方法。
ことを特徴とする請求項１に記載の画像表示方法。
【請求項7】
前記学習済みモデルは、血管を被写体として含む画像において、当該血管の異常部がラベリングされた画像を用いた機械学習により生成されたものである、
ことを特徴とする請求項１に記載の画像表示方法。
ことを特徴とする請求項１に記載の画像表示方法。
【請求項8】
前記異常部は狭窄部である、
ことを特徴とする請求項１に記載の画像表示方法。
ことを特徴とする請求項１に記載の画像表示方法。
【請求項9】
少なくとも１つのプロセッサに、
検査対象の血管を被写体として含む第１の画像を取得する画像取得処理と、
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定処理と、
前記第１の画像に、前記特定処理において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成処理と、
前記第２の画像をユーザに表示する表示制御処理と、を実行させるためのプログラムであって、
前記画像生成処理において、前記標示は前記異常部近傍の血管外に付される、
ことを特徴とする画像表示プログラム。
検査対象の血管を被写体として含む第１の画像を取得する画像取得処理と、
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定処理と、
前記第１の画像に、前記特定処理において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成処理と、
前記第２の画像をユーザに表示する表示制御処理と、を実行させるためのプログラムであって、
前記画像生成処理において、前記標示は前記異常部近傍の血管外に付される、
ことを特徴とする画像表示プログラム。
【請求項10】
検査対象の血管を被写体として含む第１の画像を取得する画像取得部と、
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定部と、
前記第１の画像に、前記特定部において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成部と、
前記第２の画像をユーザに表示する表示制御部と、を含み、
前記画像生成部は、前記標示を前記異常部近傍の血管外に付す、
ことを特徴とする情報処理装置。
血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定部と、
前記第１の画像に、前記特定部において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成部と、
前記第２の画像をユーザに表示する表示制御部と、を含み、
前記画像生成部は、前記標示を前記異常部近傍の血管外に付す、
ことを特徴とする情報処理装置。
【請求項11】
前記表示制御部は、前記画像生成部において生成された前記第２の画像を、画像表示装置に出力する、
ことを特徴とする請求項１０に記載の情報処理装置。
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、
血管を被写体として含む画像から、当該血管の異常部を検出する人工知能アルゴリズムによって、前記第１の画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、
前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、
前記第２の画像をユーザに表示する表示制御工程と、を含み、
前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、
ことを特徴とする画像表示方法。
血管を被写体として含む画像から、当該血管の異常部を検出する人工知能アルゴリズムによって、前記第１の画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、
前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、
前記第２の画像をユーザに表示する表示制御工程と、を含み、
前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、
ことを特徴とする画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像表示方法、画像表示プログラム及び情報処理装置に関する。
【背景技術】
【0002】
心筋梗塞や狭心症等の虚血性心疾患は、冠動脈の内壁に脂肪の塊（プラーク）が蓄積し、当該冠動脈が閉塞又は狭窄することにより引き起こされる疾患である。一般的に、冠動脈において閉塞又は狭窄等の異常が生じているか否かは、当該冠動脈が被写体として含まれるＣＴ（Computed Tomography）画像やＭＲＩ（Magnetic Resonance Imaging）画像に基づいて医師が視覚的に診断している。
【0003】
近年、人工知能（ＡＩ：Artificial Intelligence）を活用した画像解析技術の発展に伴い、ＡＩを用いて血管の異常部を検出する技術が開発されている。このような技術としては、例えば、非特許文献１又は非特許文献２に記載されているような、冠動脈の造影画像をＡＩに入力し、当該画像から冠動脈の狭窄部を検出する技術が挙げられる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】[online]、Automated Detection of Coronary Artery Stenosis in X-ray Angiography using Deep Neural Networks［令和５年６月１日検索］、インターネット〈ＵＲＬ：https://arxiv.org/abs/2103.02969〉
【非特許文献2】[online]、healthcare in europe.com［令和５年６月１日検索］、インターネット〈ＵＲＬ：https://healthcare-in-europe.com/en/news/ai-to-measure-coronary-plaque-in-six-seconds.html〉
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述の技術は発展途上であり、ＡＩによる冠動脈の狭窄部の検出精度は医師の診断に取って代わる程に高くない。そのため、実際には、ＡＩの検出結果を参照しながら、医師が視覚的に診断している。
【0006】
しかしながら、医師が参照するＡＩの検出結果は、一例として、冠動脈の造影画像に、検出した狭窄部を含むようにバウンディングボックスを付した画像、又は、検出した狭窄部に色を付した画像により示される。そのため、元の冠動脈の造影画像が見づらくなり医師の視覚的な診断を妨げるという問題がある。
【0007】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的は、ＡＩを併用した血管の異常部の診断において、ＡＩによって検出した当該血管の異常部を医師の視覚的な診断を妨げないように標示した画像を表示することにある。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明の一態様に係る画像表示方法は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、前記第２の画像をユーザに表示する表示制御工程と、を含み、前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、ことを特徴とする。
【0009】
上記の課題を解決するために、本発明の一態様に係る画像表示装置は、検査対象の血管を被写体として含む第１の画像を取得する画像取得部と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定部と、前記第１の画像に、前記特定部において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成部と、前記第２の画像をユーザに表示する表示制御部と、を含み、前記画像生成部は、前記標示を前記異常部近傍の血管外に付す、ことを特徴とする。
【0010】
本発明の各態様に係る画像表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記画像表示装置が備える各部（ソフトウェア要素）として動作させることにより前記画像表示装置をコンピュータにて実現させる画像表示装置の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0011】
本発明の一態様によれば、ＡＩを併用した血管の異常部の診断において、ＡＩが検出した異常部を医師の視覚的な診断を妨げないように標示した画像を表示することができる。
【図面の簡単な説明】
【0012】
【図1】従来技術を示す模式図である。
【図2】本発明の一実施形態に係る画像表示システムの構成を示すブロック図である。
【図3】本発明の一実施形態に係る画像表示システムが実施する画像表示方法の流れを示すフロー図である。
【発明を実施するための形態】
【0013】
【0014】
（画像表示システム１００の概要）
本開示の一実施形態に係る画像表示システム１００の概要について、図１を参照しながら説明する。図１は、従来の画像表示システムにより表示される画像の一例を示す模式図である。
本開示の一実施形態に係る画像表示システム１００の概要について、図１を参照しながら説明する。図１は、従来の画像表示システムにより表示される画像の一例を示す模式図である。
【0015】
画像表示システム１００は、検査対象の血管を被写体として含む画像から当該血管の異常部を特定し、特定した異常部を表す標示を当該異常部近傍の血管外に付した画像をユーザ（例えば、医師）に表示する情報処理装置２を含んでいる画像表示システムである。
【0016】
本実施形態において、「検査対象の血管」とは、心臓の表面に分布する冠動脈である。また、「異常部」とは、虚血性心疾患を引き起こす原因となる不安定プラークによる血管の狭窄部である。すなわち、画像表示システム１００は、不安定プラークによる冠動脈の狭窄部を特定し、当該狭窄部を表す標示を付した画像をユーザに表示するシステムである。しかしながら、本開示の一態様に係る画像表示システムはこれに限定されない。例えば、動脈瘤、血栓症、動脈硬化、脳梗塞、脳出血、脳動脈奇形、血管の外傷、末梢動脈疾患、血管炎、腎動脈狭窄症、大動脈解離等の疾患を診断するために、各々の疾患に対応する血管の異常部を特定し、特定した異常部を表す標示を付した画像をユーザに表示する画像表示システムも本実施形態の範疇である。
【0017】
従来の画像表示システムでは、検査対象の血管Ｘを撮像した画像（図１の元画像）からＡＩが血管Ｘの異常部を検出したとき、元画像の血管Ｘの異常部上に色を付して標示した画像（図１の左下図）や元画像の血管Ｘの異常部を含むようにバウンディングボックスを付して異常部を標示した画像（図１の右下図）をユーザに表示している。そのため、医師の視覚的な診断を妨げるという問題点が生じていた。
【0018】
これに対して、画像表示システム１００は、検査対象の血管を被写体として含む画像から、当該血管の異常部を特定し、特定した異常部を表す標示を当該異常部近傍の血管外に付すことにより、医師の視覚的な診断を妨げない画像を表示することができる画像表示システムを実現する。
【0019】
【0020】
画像表示システム１００は、図２に示すように、撮像装置１と、情報処理装置２と、画像表示装置３とを含んでいる。情報処理装置２は、撮像装置１及び画像表示装置３と通信可能に構成されている。情報処理装置２と、撮像装置１及び画像表示装置３とは、データの送受信が可能であればよく、その通信形態は特に限定されない。本実施形態において、撮像装置１、情報処理装置２、及び画像表示装置３は、画像表示システム１００を利用する施設（例えば、医療機関）内に配置される場合を想定するため、通信形態としては、ＷｉＦｉ（登録商標）又はＢｌｕｔｏｏｔｈ（登録商標）等の近距離無線通信又は有線通信を採用する。
【0021】
なお、撮像装置１及び画像表示装置３が画像表示システム１００を利用する施設内に配置され、情報処理装置２が画像表示システム１００を利用する施設外に配置される場合には、情報処理装置２は、撮像装置１及び画像表示装置３と無線ＬＡＮ等の遠距離無線通信により通信可能に構成される。
【0022】
［撮像装置］
撮像装置１は、検査対象の血管を撮像するための装置である。一例として、撮像装置１は、冠動脈を撮像する。また、撮像装置１は、検査対象の血管を撮像した撮像データを情報処理装置２に送信する。本実施形態においては、撮像装置１として公知のＣＴ装置を採用する。
撮像装置１は、検査対象の血管を撮像するための装置である。一例として、撮像装置１は、冠動脈を撮像する。また、撮像装置１は、検査対象の血管を撮像した撮像データを情報処理装置２に送信する。本実施形態においては、撮像装置１として公知のＣＴ装置を採用する。
【0023】
ＣＴ装置は、対象者（例えば、患者）を中心にＸ線管及びＸ線検出器を旋回移動させ、対象者を透過したＸ線を検出し、その検出したＸ線の線量等に基づいて対象者の生体の横断面画像を生成する装置である。撮像装置１として公知のＣＴ装置を使用する場合には、撮像データとして、生体の断面画像を生成するもとになる対象者を透過したＸ線の検出結果を表すデータ、又は、対象者の生体の断面画像を表す画像データを情報処理装置２に送信する。ここで、生体の断面画像は、検査対象の血管が被写体として含まれている画像である。
【0024】
なお、本実施形態においては、撮像装置１として公知のＣＴ装置を採用したが、これに限定されない。例えば、公知のＭＲＩ装置であってもよい。以下においては、撮像装置１がＣＴ装置である場合を例に挙げて説明する。
【0025】
［情報処理装置］
情報処理装置２は、本発明の一実施形態に係る画像表示方法を実施するための装置である。情報処理装置２が実施する画像表示方法の流れについては、参照する図面を代えて後述する。
情報処理装置２は、本発明の一実施形態に係る画像表示方法を実施するための装置である。情報処理装置２が実施する画像表示方法の流れについては、参照する図面を代えて後述する。
【0026】
情報処理装置２は、図２に示すように、制御部２０と、通信部２１と、メモリ２２とを備えている。
【0027】
＜制御部＞
制御部２０は、情報処理装置２が備える各構成要素を制御する。また、制御部２０は、画像取得部２００、特定部２０１、画像生成部２０２、及び表示制御部２０３を備えている。
制御部２０は、情報処理装置２が備える各構成要素を制御する。また、制御部２０は、画像取得部２００、特定部２０１、画像生成部２０２、及び表示制御部２０３を備えている。
【0028】
画像取得部２００は、検査対象の血管を被写体として含む第１の画像を取得する。一例として、画像取得部２００は、撮像装置１から受信した撮像データに基づいて、検査対象の血管を被写体として含む第１の画像を生成することにより取得する。
【0029】
特定部２０１は、画像取得部２００が取得した第１の画像に被写体として含まれている検査対象の血管の異常部を特定する。特定部２０１が実施する特定方法の一例として、学習済みモデルを用いた特定方法が挙げられる。具体的には、特定部２０１はまず、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、第１の画像を入力する。そして、特定部２０１は、学習済みモデルによる検出結果を参照して、検査対象の血管の異常部を特定する。
【0030】
なお、特定部２０１が学習済みモデルの機能を備えていてもよいし、情報処理装置２とは異なる装置が学習済みモデルの機能を備え、特定部２０１が当該装置に第１の画像を出力し、当該装置から検出結果を取得してもよい。学習済みモデルの詳細については、後述する。
【0031】
画像生成部２０２は、特定部２０１において特定した検査対象の血管の異常部をユーザに表示するための画像を生成する。一例として、画像生成部２０２は、検査対象の血管を被写体として含む第１の画像に、特定部２０１において特定した当該血管の異常部を表す標示を、当該血管の異常部近傍の血管外に付した第２の画像を生成する。
【0032】
表示制御部２０３は、各種画像をユーザに表示する。一例として、表示制御部２０３は、画像生成部２０２において生成された第２の画像をユーザに表示する。ユーザに第２の画像を表示する方法の一例としては、ユーザが所持する画像表示装置３が備える表示部３１に当該第２の画像を表示する方法が挙げられる。具体的には、表示制御部２０３は、画像生成部２０２が生成した第２の画像を表す画像データを情報処理装置２の通信部２１を介して画像表示装置３に送信し、画像表示装置３が備える表示部３１に当該第２の画像を出力する。本実施形態においては、情報処理装置２の外部装置である画像表示装置３の表示部３１に第２の画像を表示する構成を採用するが、表示制御部２０３は、第２の画像を情報処理装置２が内蔵する表示部（図示せず）に表示してもよい。
【0033】
なお、情報処理装置２の制御部２０は、少なくとも１つのプロセッサを備えており、このプロセッサがメモリ２２に記録された情報処理プログラムを読み込んで実行することにより、画像取得部２００、特定部２０１、画像生成部２０２、及び表示制御部２０３として機能する構成を有していてもよい。さらに、画像取得部２００として機能させるプログラム、特定部２０１として機能させるプログラム、画像生成部２０２として機能させるプログラム、及び表示制御部２０３として機能させるプログラムとは、それぞれ別々のプログラムであってもよく、それらが別々の装置のメモリに記録されていてもよい。このような構成については後述する。
【0034】
＜通信部＞
通信部２１は、撮像装置１及び画像表示装置３と通信を行う。一例として、通信部２１は、撮像装置１から撮像データを受信し、第２の画像を画像表示装置３に送信する。本実施形態において、通信部２１は、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ等の無線通信インタフェースである。
通信部２１は、撮像装置１及び画像表示装置３と通信を行う。一例として、通信部２１は、撮像装置１から撮像データを受信し、第２の画像を画像表示装置３に送信する。本実施形態において、通信部２１は、ＷｉＦｉ又はＢｌｕｅｔｏｏｔｈ等の無線通信インタフェースである。
【0035】
＜メモリ＞
メモリ２２には、各種情報が記録される。一例として、メモリ２２には、制御部２０が実行する各種プログラム、画像取得部２００において取得した第１の画像及び画像生成部２０２において生成された第２の画像が記録される。
メモリ２２には、各種情報が記録される。一例として、メモリ２２には、制御部２０が実行する各種プログラム、画像取得部２００において取得した第１の画像及び画像生成部２０２において生成された第２の画像が記録される。
【0036】
［画像表示装置］
画像表示装置３は、各種画像をユーザに表示するための装置である。画像表示装置３として利用可能なデバイスとしては、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、タブレット端末、スマートフォン等が挙げられる。本実施形態においては、画像表示装置３として、ユーザが所持しているタブレット端末を想定する。また、画像表示装置３は、図２に示すように、通信部３０及び表示部３１を備えている。
画像表示装置３は、各種画像をユーザに表示するための装置である。画像表示装置３として利用可能なデバイスとしては、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、タブレット端末、スマートフォン等が挙げられる。本実施形態においては、画像表示装置３として、ユーザが所持しているタブレット端末を想定する。また、画像表示装置３は、図２に示すように、通信部３０及び表示部３１を備えている。
【0037】
＜通信部＞
通信部３０は、情報処理装置２と通信を行う。一例として、通信部３０は、情報処理装置２から第２の画像を表す画像データを受信する。また、通信部３０は、画像表示装置３の入力部（図示せず）において、ユーザから第２の画像の閲覧要求を受け付け、その旨を示す信号を情報処理装置２に送信してもよい。
通信部３０は、情報処理装置２と通信を行う。一例として、通信部３０は、情報処理装置２から第２の画像を表す画像データを受信する。また、通信部３０は、画像表示装置３の入力部（図示せず）において、ユーザから第２の画像の閲覧要求を受け付け、その旨を示す信号を情報処理装置２に送信してもよい。
【0038】
＜表示部＞
表示部３１は、各種画像を表示する。一例として、表示部３１は、情報処理装置２から受信した第２の画像を表示する。表示部３１に表示される第２の画像は具体例を示して後述する。
表示部３１は、各種画像を表示する。一例として、表示部３１は、情報処理装置２から受信した第２の画像を表示する。表示部３１に表示される第２の画像は具体例を示して後述する。
【0039】
（学習済みモデル）
本実施形態において、検査対象の血管の異常部を特定するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の異常部を認識するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管を被写体として含む画像と、当該画像における異常部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、冠動脈の不安定プラークによる狭窄部を認識するように学習済みの場合、冠動脈を被写体として含む画像と、該画像における不安定プラークによる狭窄部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。このように、認識する異常部に合わせて教師データを調整することにより、様々な疾患の判定に当該学習モデルを使用し得る。
本実施形態において、検査対象の血管の異常部を特定するために用いる学習済みモデルの詳細を説明する。当該学習済みモデルは、血管の異常部を認識するように学習済みのモデルである。学習済みのモデルの教師データとしては、血管を被写体として含む画像と、当該画像における異常部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。例えば、冠動脈の不安定プラークによる狭窄部を認識するように学習済みの場合、冠動脈を被写体として含む画像と、該画像における不安定プラークによる狭窄部がラベリングされた画像との１又は複数の組を含む教師データが挙げられる。このように、認識する異常部に合わせて教師データを調整することにより、様々な疾患の判定に当該学習モデルを使用し得る。
【0040】
学習済みモデルは、血管を被写体として含む画像を入力情報として、入力した画像内に含まれる異常部を認識する。そして、当該学習済みモデルは、検出結果の一例として、認識した異常部を含む矩形領域（以下、「異常部領域」と記載する）にバウンディングボックスを付した画像を出力する。なお、学習済みモデルは、深層学習により生成されたモデルであってもよいし、深層学習以外の機械学習により生成されたモデルであってもよい。
【0041】
【0042】
画像表示方法Ｓ１は、図３に示すように、画像取得工程Ｓ１０と、特定工程Ｓ１１と、判定工程Ｓ１２と、画像生成工程Ｓ１３と、表示制御工程Ｓ１４、とを含んでいる。情報処理装置２が画像表示方法Ｓ１を実施するタイミングは、任意に設定され得る。例えば、情報処理装置２は、撮像装置１から撮像データを取得する度に実施してもよい。
【0043】
［画像取得工程］
画像取得工程Ｓ１０は、検査対象の血管を被写体として含む第１の画像を取得するための工程である。画像取得工程Ｓ１０において、画像取得部２００は、一例として、撮像装置１が撮像した撮像データに基づいて、検査対象の血管を被写体として含む画像を生成し、当該画像を第１の画像として取得する。ここで生成する画像の例としては、ＣＰＲ（Curve Planar Reconstruction）画像、ＭＰＲ（Multi Planar Reconstruction）画像等が挙げられる。ＣＰＲ画像とは、３次元空間上の任意の曲線に沿った曲面として再構成した画像で、血管のような蛇行した長い管状の構造物や曲面に沿った部位の観察に適している。ＭＰＲ画像とは、任意の断面を切り出した画像であり、横断面画像だけでは把握しづらい血管や臓器などの位置関係や形状などを、任意の方向から見ることができる。本実施形態においては、検査対象の血管のＣＰＲ画像を第１の画像として取得するが、これに限定されない。第１の画像には、検査対象の血管が被写体として含まれ、且つ、当該血管の中心を示す中心線に関する情報が含まれていればよい。ここで、中心線に関する情報は、血管の対向する内壁同士又は外壁同士を繋いだ直線であり、中心線に垂直な示す幅線から導出した情報であってもよい。この場合、第１の画像に幅線に関する情報が含まれていればよい。
画像取得工程Ｓ１０は、検査対象の血管を被写体として含む第１の画像を取得するための工程である。画像取得工程Ｓ１０において、画像取得部２００は、一例として、撮像装置１が撮像した撮像データに基づいて、検査対象の血管を被写体として含む画像を生成し、当該画像を第１の画像として取得する。ここで生成する画像の例としては、ＣＰＲ（Curve Planar Reconstruction）画像、ＭＰＲ（Multi Planar Reconstruction）画像等が挙げられる。ＣＰＲ画像とは、３次元空間上の任意の曲線に沿った曲面として再構成した画像で、血管のような蛇行した長い管状の構造物や曲面に沿った部位の観察に適している。ＭＰＲ画像とは、任意の断面を切り出した画像であり、横断面画像だけでは把握しづらい血管や臓器などの位置関係や形状などを、任意の方向から見ることができる。本実施形態においては、検査対象の血管のＣＰＲ画像を第１の画像として取得するが、これに限定されない。第１の画像には、検査対象の血管が被写体として含まれ、且つ、当該血管の中心を示す中心線に関する情報が含まれていればよい。ここで、中心線に関する情報は、血管の対向する内壁同士又は外壁同士を繋いだ直線であり、中心線に垂直な示す幅線から導出した情報であってもよい。この場合、第１の画像に幅線に関する情報が含まれていればよい。
【0044】
なお、本実施形態においては、撮像装置１から受信した撮像データに基づいて、検査対象の血管を被写体として含む画像を生成し、第１の画像として取得する構成を採用したが、撮像装置１から第１の画像を生成し、当該撮像装置１から画像取得部２００が第１の画像を取得する構成であってもよい。また、撮像装置１とは異なる装置が第１の画像を生成する機能を備え、画像取得部２００が当該装置から第１の画像を取得する構成であってもよい。
【0045】
［特定工程］
特定工程Ｓ１１は、画像取得工程Ｓ１０において取得した第１の画像において、検査対象の血管の異常部を特定するための工程である。一例として、特定工程Ｓ１１において、情報処理装置２の特定部２０１は、画像取得工程Ｓ１０において取得した第１の画像を学習済みモデルに入力し、当該学習済みモデルが認識した異常部領域にバウンディングボックスが付された出力画像を検出結果として取得する。特定部２０１は、出力画像においてバウンディングボックスが付されている箇所を、検査対象の血管の異常部として特定する。
特定工程Ｓ１１は、画像取得工程Ｓ１０において取得した第１の画像において、検査対象の血管の異常部を特定するための工程である。一例として、特定工程Ｓ１１において、情報処理装置２の特定部２０１は、画像取得工程Ｓ１０において取得した第１の画像を学習済みモデルに入力し、当該学習済みモデルが認識した異常部領域にバウンディングボックスが付された出力画像を検出結果として取得する。特定部２０１は、出力画像においてバウンディングボックスが付されている箇所を、検査対象の血管の異常部として特定する。
【0046】
［判定工程］
判定工程Ｓ１２は、第１の画像に被写体として含まれる検査対象の血管に異常部が含まれるか否かを判定するための工程である。一例として、判定工程Ｓ１２において、特定部２０１は、特定工程Ｓ１１において取得した学習済みモデルの検出結果を参照して、検査対象の血管に異常部が含まれるか否かを判定する。例えば、特定部２０１は、検出結果として取得した出力画像にバウンディングボックスが付されているか否かに基づいて判定する。出力画像にバウンディングボックスが付されている場合には、「異常部有り」と判定し、出力画像にバウンディングボックスが付されていない場合には、「異常部無し」と判定する。
判定工程Ｓ１２は、第１の画像に被写体として含まれる検査対象の血管に異常部が含まれるか否かを判定するための工程である。一例として、判定工程Ｓ１２において、特定部２０１は、特定工程Ｓ１１において取得した学習済みモデルの検出結果を参照して、検査対象の血管に異常部が含まれるか否かを判定する。例えば、特定部２０１は、検出結果として取得した出力画像にバウンディングボックスが付されているか否かに基づいて判定する。出力画像にバウンディングボックスが付されている場合には、「異常部有り」と判定し、出力画像にバウンディングボックスが付されていない場合には、「異常部無し」と判定する。
【0047】
判定工程Ｓ１２において、第１の画像に被写体として含まれる検査対象の血管に異常部無し（判定工程Ｓ１２においてＮＯ）と判定された場合、情報処理装置２は図３に示す表示制御工程Ｓ１４を実施する。
【0048】
［画像生成工程］
判定工程Ｓ１２において、第１の画像に被写体として含まれる検査対象の血管に「異常部有り」（判定工程Ｓ１２においてＹＥＳ）と判定された場合、情報処理装置２は画像生成工程Ｓ１３を実施する。
判定工程Ｓ１２において、第１の画像に被写体として含まれる検査対象の血管に「異常部有り」（判定工程Ｓ１２においてＹＥＳ）と判定された場合、情報処理装置２は画像生成工程Ｓ１３を実施する。
【0049】
画像生成工程Ｓ１３は、画像生成部２０２が第１の画像に被写体として含まれる検査対象の血管の異常部をユーザに表示するために用いる第２の画像を生成するための工程である。一例として、画像生成工程Ｓ１３において、情報処理装置２の画像生成部２０２は、特定工程Ｓ１１において特定部２０１が特定した異常部を表す標示を、第１の画像の当該異常部近傍の血管外に付した第２の画像を生成する。例えば、画像生成部２０２は、特定工程Ｓ１１において、学習済みモデルが検出結果として出力した検査対象の血管の異常部領域にバウンディングボックスが付された出力画像に基づいて第２の画像を生成する。
【0050】
【0051】
画像生成部２０２は、以下の処理を実行することにより第２の画像を生成する。
（１）バウンディングボックスの頂点を中心線に投影する処理。
（２）各投影点の中心を通過するように中心線に垂直な垂線を引く処理。
（３）各垂線の一方の端部及び各垂線の他方の端部をそれぞれ繋ぐ線を引く処理。
（４）（３）の線以外を削除する処理。
（１）バウンディングボックスの頂点を中心線に投影する処理。
（２）各投影点の中心を通過するように中心線に垂直な垂線を引く処理。
（３）各垂線の一方の端部及び各垂線の他方の端部をそれぞれ繋ぐ線を引く処理。
（４）（３）の線以外を削除する処理。
【0052】
図４の（１）は、学習済みモデルが検出結果として出力した検査対象の血管の異常部領域にバウンディングボックス（実線枠）が付された第１の画像である。血管Ｘの内壁に堆積している堆積物Ｐは、血管Ｘの異常部である狭窄部を形成する不安定プラークを示し、血管Ｘ内の破線は血管Ｘの中心線を示している。画像生成部２０２は、まず、図４（２）に示すように、バウンディングボックスの頂点（黒点）から中心線に向けて垂線を引くことにより、バウンディングボックスの頂点を血管Ｘの中心線に投影する（処理（１））。ここでは、中心線上に投影されたバウンディングボックスの頂点を投影点（白点）とする。
【0053】
次に画像生成部２０２は、図４（３）に示すように、各投影点の中心を通過するように中心線に垂直な垂線（実線）を引く（処理（２））。一例として、当該垂線を全て同一の長さとし、当該垂線の中点が投影点の中心と重なるようにする。
【0054】
次に画像生成部２０２は、図４（４）に示すように、各垂線の一方の端部及び各垂線の他方の端部をそれぞれ繋ぐ線（実線）を引く（処理（３））。処理（３）において引いた実線が血管Ｘの異常部を表す標示である。当該表示は、血管Ｘの中心線とほぼ平行となるため、細長く、複雑に蛇行する場合であっても血管に沿って付される。これにより、異常部を表す標示と、標示が示す血管Ｘ上の位置との対応が視覚的にわかりやすい。なお、ここで各垂線の一方の端部は、血管Ｘにおいて堆積物Ｐが堆積している血管壁側に位置する垂線の端部とし、他方の端部は、血管Ｘにおいて堆積物Ｐが堆積していない血管壁側とする。
【0055】
次に画像生成部２０２は、図４（５）に示すように、処理（３）で引いた線以外を削除する（処理（４））。これにより、血管Ｘの異常部を表す標示を当該異常部近傍であり、且つ、血管Ｘと重ならない位置に付すことができる。また、血管Ｘと重ならない位置に表示が付されることにより、医者の視覚的な診断を妨げないという効果を有する。
【0056】
図４においては、図面が煩雑になるのを防ぐために、血管Ｘを直線で示し、堆積物Ｐ及びバウンディングボックスを１つずつ図示しているが、実際には、血管Ｘは蛇行し、堆積物Ｐに対して複数のバウンディングボックスが付される（図１右下図参照）。そのような場合においても、バウンディングボックス毎に上述した処理（１）～（４）をそれぞれ実行し、第２の画像を生成する。
【0057】
本実施形態においては、検査対象の血管（図４においては、血管Ｘ）の異常部を表す標示を実線としたが、これに限定されない。例えば、破線や点線等の種々の線で標示してもよいし、矢印や星等の任意のマークを並べて標示してもよい。
【0058】
また、本実施形態の画像生成工程Ｓ１３においては、第１の画像に、検査対象の血管の異常部を表す標示であって、当該異常部近傍の血管外に当該血管に沿って付される標示を付した第２の画像を生成したが、これに限定されない。例えば、検査対象の血管の異常部を表す標示であって、少なくともその一部が当該血管上に位置する標示を更に付した第２画像を生成してもよい。このような標示の具体例としては、矢印が挙げられる。一例として、矢印は、血管外に付された標示に対応する異常部を示すようにその少なくとも一部が血管上に位置し、且つ、当該矢印先端が異常部の頂点を示すように付される。これにより、血管外に付された標示と、当該標示が表す血管Ｘの異常部との対応関係をユーザに分かりやすく示すことができる。
【0059】
［表示制御工程］
表示制御工程Ｓ１４は、表示制御部２０３がユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１４において、情報処理装置２の表示制御部２０３は、画像生成工程Ｓ１３において生成された第２の画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３は、判定工程Ｓ１２において、第１の画像に被写体として含まれる検査対象の血管に「異常部無し」と判定された場合には、特定工程Ｓ１１において学習済みモデルが出力した画像（すなわち、バウンディングボックスが付されていない第１の画像）を同様に表示する。
表示制御工程Ｓ１４は、表示制御部２０３がユーザに各種画像を表示するための工程である。一例として、表示制御工程Ｓ１４において、情報処理装置２の表示制御部２０３は、画像生成工程Ｓ１３において生成された第２の画像を画像表示装置３の表示部３１に表示する。また、表示制御部２０３は、判定工程Ｓ１２において、第１の画像に被写体として含まれる検査対象の血管に「異常部無し」と判定された場合には、特定工程Ｓ１１において学習済みモデルが出力した画像（すなわち、バウンディングボックスが付されていない第１の画像）を同様に表示する。
【0060】
【0061】
図５に示すように、第２の画像には、検査対象の血管の異常部を表す標示が付されている。また、当該標示は、特定工程Ｓ１１において特定された異常部の自信度を更に表してもよい。「異常部の自信度」とは、特定部２０１が特定した異常部の信頼性（確からしさ）をスコア（数値）で表したものである。数値が高いほど、当該部分が異常である蓋然性、信頼性が高いことを意味する。一例として、特定部２０１は、学習済みモデルの出力画像にバウンディングボックスが含まれる場合、検査対象の血管の種類、バウンディングボックスが付されている部位、及び対象被験者（例えば、患者）の医療情報等の任意のパラメータに設定される任意の値、及び重み付け係数に基づいて、バウンディングボックス毎に異常部の自信度となるスコアを算出する。ここで対象被験者の医療情報とは、対象者の年齢、既往歴、生活習慣、アレルギーの有無、血圧、体重、肥満度、腹囲、尿検査又は便検査で得られる蛋白・糖・潜血等のデータ、血液一般検査で得られる赤血球数・白血球数等のデータ、血液生化学検査で得られるＧＰＴ・尿酸・血糖・中性脂肪・コレステロール等のデータ、心電図検査又はＸ線検査で得られるデータ、胃部等の臓器におけるエックス線検査又は内視鏡検査で得られるデータを含む。なお、重み付け係数も、任意に設定することができ、且つ、適宜変更可能である。例えば、スコアの最高値を１とする場合には、次のように各パラメータと重み付け係数それぞれに対して０．１から０．９の間の任意の値を設定する。
・パラメータ
学習済モデルの出力として０．９
血管の種類として０．６
血管の部位として０．５
被験者の医療情報として０．４
・重み付け係数
学習済モデルの出力に対して、０．７
血管の種類に対して、０．３
血管の部位に対して、０．２
被験者の医療情報に対して、０．１
・自信度＝０．９×０．７＋０．６×０．３＋０．５×０．２＋０．４×０．１＝０．８６
・パラメータ
学習済モデルの出力として０．９
血管の種類として０．６
血管の部位として０．５
被験者の医療情報として０．４
・重み付け係数
学習済モデルの出力に対して、０．７
血管の種類に対して、０．３
血管の部位に対して、０．２
被験者の医療情報に対して、０．１
・自信度＝０．９×０．７＋０．６×０．３＋０．５×０．２＋０．４×０．１＝０．８６
【0062】
上述した例では、特定された異常部の自信度を表すスコアの算出において、学習済みモデルが第１の画像から異常部を認識したときのパラメータとして０．９を設定したが、常に０．９という定数を設定してもよいし、学習済みモデル自身の認識の自信度を考慮して０．１から０．９の間の任意の変数を設定してもよい。この場合、一例として、学習済みモデルは、認識した異常部にその認識の自信度に応じたバウンディングボックスを付した画像を検出結果として出力する。認識の自信度に応じた重み付け係数をさらに設定し、当該重み付け係数及び上述した任意のパラメータに設定される重み付け係数に基づいてバウンディングボックス毎にスコアを算出する。学習済みモデルの異常部の検出の自信度をスコアの算出に反映することにより、特定部２０１は、より精度高く異常部を特定することができる。
【0063】
図５においては、上述のように算出したスコアで表される異常部の自信度を、そのスコアに応じて標示の濃淡を変えることによって表現している。濃い標示ほど、自信度が高い（スコアが高い）ことを示し、淡い標示ほど、自信度が低い（スコアが低い）ことを示している。ユーザが、学習済みモデルが認識した異常部の自信度を参照する場合には、認識の自信度に応じたバウンディングボックスが付されている出力画像を表示部３１に表示する。認識の自信度に応じたバウンディングボックスの例としては、自信度によって色の濃淡が異なるバウンディングボックス、自信度に応じて色の異なるバウンディングボックス等が挙げられる。
【0064】
【0065】
図６に示すように、第２の画像には、検査対象の血管の異常部を表す標示が付されており、当該標示は、特定工程Ｓ１１において特定された異常部の自信度及び異常部の危険度を更に表してもよい。ここで、「特定された異常部の自信度」は、表示例１と同様である。「異常部の危険度」は、医学的介入の必要性を評価したものである。例えば、異常部が不安定プラークの蓄積によって引き起こされる狭窄部である場合には、不安定プラークの種類を判定し、当該種類の組合せに基づいて狭窄部の危険度をｍｉｄｄｌｅ、ｈｉｇｈ、ｖｅｒｙ ｈｉｇｈの３段階で評価する。この場合、ｍｉｄｄｌｅは要経過観察、ｈｉｇｈは医学的介入を要する、ｖｅｒｙ ｈｉｇｈは早急な医学的介入を要する、ことを表す。なお、評価の方法及び段階についてはユーザが任意に設定可能である。このような異常部の危険度は、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出し、且つ、当該異常部の危険度を検出するように学習された学習済みモデルにより特定され得る。
【0066】
図６においては、学習済みモデルによって特定され異常部の自信度を、検査対象の血管の異常部を表す標示の濃淡で表現し、異常部の危険度（ｖｅｒｙ ｈｉｇｈ、ｈｉｇｈ、ｍｉｄｄｌｅ）を、検査対象の血管の異常部を表す標示の色彩を変更することにより表現している。
【0067】
本実施形態の表示例１及び表示例２においては、学習済みモデルが特定した異常部の自信度及び異常部の危険度を、検査対象の血管の異常部を表す標示の色彩や濃淡で表現したが、これに限定されない。例えば、標示の色彩又は濃淡、標示の種類（実線、矢印、星マーク、太さの異なる線等）を適宜組み合わせて表現してもよい。これらの組み合わせにより、限られたスペースで多段階の危険度を表現することができるので、医師の視覚的診断を妨げることなく、危険度の詳細を示すことができる。
【0068】
（画像表示システム１００の効果）
上述のように画像表示システム１００は、画像表示方法Ｓ１を実施することにより、血管の異常部を表す標示が、当該異常部近傍の血管外に付されている第２の画像をユーザに表示する。これにより、ユーザは、学習済みモデルによる異常部の検出結果を参照しつつ、元の画像（第１の画像）に基づいて視覚的な診断を行うことができる。すなわち、検査対象の血管における異常部をより正確に診断することができ、迅速に必要な処置を講ずることができる。また、第２の画像は、標示の色彩や濃淡及び標示の種類等を変更することにより、直感的に分かりやすい第２の画像を表示することができるため、診断の用途に限らず、医師が患者や患者の家族に病状を説明する際に表示するなど他の用途に供することもできる。
上述のように画像表示システム１００は、画像表示方法Ｓ１を実施することにより、血管の異常部を表す標示が、当該異常部近傍の血管外に付されている第２の画像をユーザに表示する。これにより、ユーザは、学習済みモデルによる異常部の検出結果を参照しつつ、元の画像（第１の画像）に基づいて視覚的な診断を行うことができる。すなわち、検査対象の血管における異常部をより正確に診断することができ、迅速に必要な処置を講ずることができる。また、第２の画像は、標示の色彩や濃淡及び標示の種類等を変更することにより、直感的に分かりやすい第２の画像を表示することができるため、診断の用途に限らず、医師が患者や患者の家族に病状を説明する際に表示するなど他の用途に供することもできる。
【0069】
（付加機能）
本実施形態に係る画像表示システム１００は、ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能を有していてもよい。当該機能の具体例を以下に示す。
本実施形態に係る画像表示システム１００は、ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能を有していてもよい。当該機能の具体例を以下に示す。
【0070】
［具体例１］
ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能の一具体例としては、第２の画像内の標示のＯＮ／ＯＦＦを調整する機能である。ここでは、第２の画像に付されている標示をユーザが確認できる状態をＯＮとし、第２の画像に付されている標示をユーザが確認できない状態をＯＦＦとする。例えば、第２の画像に付されている標示と重なる位置の組織をユーザが確認したい場合に、第２の画像に付されている標示をＯＦＦにすることで、標示と重なる位置の組織をユーザが確認できるようにする。当該機能は、画像表示装置３がユーザから第２の画像内の標示をＯＦＦにする入力操作を受け付けたときに、標示の透明度を上げたり、第２の画像を表す画像データから標示に関するデータを削除したりすることにより実現し得る。
ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能の一具体例としては、第２の画像内の標示のＯＮ／ＯＦＦを調整する機能である。ここでは、第２の画像に付されている標示をユーザが確認できる状態をＯＮとし、第２の画像に付されている標示をユーザが確認できない状態をＯＦＦとする。例えば、第２の画像に付されている標示と重なる位置の組織をユーザが確認したい場合に、第２の画像に付されている標示をＯＦＦにすることで、標示と重なる位置の組織をユーザが確認できるようにする。当該機能は、画像表示装置３がユーザから第２の画像内の標示をＯＦＦにする入力操作を受け付けたときに、標示の透明度を上げたり、第２の画像を表す画像データから標示に関するデータを削除したりすることにより実現し得る。
【0071】
これにより、ユーザは検査対象の血管の異常部を診断する際に、当該異常部近傍の組織の状態等を考慮した診断を実施することができる。
【0072】
［具体例２］
ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能の他の具体例としては、第２の画像内の標示を、当該標示が表す異常部の自信度又は危険度に応じて選択的に表示する機能である。例えば、ユーザが指定した所定のスコアを有する自信度又はユーザが指定した所定の危険度を有する異常部を表す標示のみを選択的に表示する。当該機能は、画像表示装置３がユーザから表示する標示の条件（スコアの範囲や所定の危険度）の入力を受け付けたときに、当該条件に当てはまらない標示の透明度を上げたり、第２の画像を表す画像データから当該条件に当てはまらない標示に関するデータを削除したりすることにより実現し得る。
ユーザの入力操作に応じて第２の画像に付されている標示の表示を制御する機能の他の具体例としては、第２の画像内の標示を、当該標示が表す異常部の自信度又は危険度に応じて選択的に表示する機能である。例えば、ユーザが指定した所定のスコアを有する自信度又はユーザが指定した所定の危険度を有する異常部を表す標示のみを選択的に表示する。当該機能は、画像表示装置３がユーザから表示する標示の条件（スコアの範囲や所定の危険度）の入力を受け付けたときに、当該条件に当てはまらない標示の透明度を上げたり、第２の画像を表す画像データから当該条件に当てはまらない標示に関するデータを削除したりすることにより実現し得る。
【0073】
これにより、ユーザは第２の画像内に異常部を表す標示が多く表示される場合であっても、ユーザが所望する標示のみを選択的に第２の画像に表示することができるため、ユーザの視覚的な診断を妨げない第２の画像を提供することができる。
【0074】
〔ハードウェア構成及びソフトウェアによる実現例〕
情報処理装置２（主に制御部２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、情報処理装置２は、図７に示すようなコンピュータ（電子計算機）を用いて構成されてよい。
情報処理装置２（主に制御部２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、情報処理装置２は、図７に示すようなコンピュータ（電子計算機）を用いて構成されてよい。
【0075】
図７は、情報処理装置２として利用可能なコンピュータ４の構成の一例を示したブロック図である。コンピュータ４は、バスを介して互いに接続された演算装置４０と、主記憶装置４１と、補助記憶装置４２と、入出力インタフェース４３と、通信インタフェース４４とを備えている。演算装置４０、主記憶装置４１、及び補助記憶装置４２は、それぞれ、例えば、ＣＰＵ、ＲＡＭ（Random Access Memory）、ソリッドステートドライブ又はハードディスクドライブであってもよい。入出力インタフェース４３には、ユーザがコンピュータ４に各種情報を入力するための入力装置４５、及び、コンピュータ４がユーザに各種情報を出力するための出力装置４６が接続される。入力装置４５及び出力装置４６は、コンピュータ４に内蔵されたものであってもよいし、コンピュータ４に接続された（外付けされた）ものであってもよい。例えば、入力装置４５は、ボタン、キーボード、マウス、タッチセンサ等であってもよく、出力装置４６は、ランプ、ディスプレイ、プリンタ、スピーカ等であってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような入力装置４５及び出力装置４６の双方の機能を有する装置を適用してもよい。そして、通信インタフェース４４は、コンピュータ４が外部装置と通信するためのインタフェースである。
【0076】
補助記憶装置４２には、コンピュータ４を情報処理装置２として動作させるための情報処理プログラムが格納されている。そして、演算装置４０は、補助記憶装置４２に格納された上記情報処理プログラムを主記憶装置４１上に展開して該情報処理プログラムに含まれる命令を実行することによって、コンピュータ４を情報処理装置２が備える各部として機能させる。なお、補助記憶装置４２が情報処理プログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等であってもよい。
【0077】
また、コンピュータ４の外部の記録媒体に記録されているプログラム、あるいは任意の伝達媒体（通信ネットワークや放送波等）を介してコンピュータ４に供給されたプログラムを用いてコンピュータ４を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝達によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0078】
〔まとめ〕
本実施形態の態様１に係る画像表示方法は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、前記第２の画像をユーザに表示する表示制御工程と、を含み、前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付されることを特徴とする。
本実施形態の態様１に係る画像表示方法は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、前記第２の画像をユーザに表示する表示制御工程と、を含み、前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付されることを特徴とする。
【0079】
上記の構成によれば、学習済みモデルの検出結果に基づいて特定された異常部を参照しながら、検査対象の血管の異常部を診断するため、より正確で効率的な診断を行うことができる。
【0080】
本実施形態の態様２に係る画像表示方法は、上記態様１において、前記標示は、前記検査対象の血管に沿って付される。
【0081】
上記の構成によれば、細長い形状や、複雑に蛇行している形状を有する検査対象の血管に沿って標示を付すことにより、当該血管の異常部をよりわかりやすくユーザに示すことができる。
【0082】
本実施形態の態様３に係る画像表示方法は、上記態様１又は２において、前記画像生成工程は、前記検査対象の血管の中心線を示す情報と、前記特定工程において特定された前記異常部を含む異常部領域を示す情報と、に基づいて前記第２の画像を生成する。
【0083】
上記の構成によれば、上記の構成によれば、検査対象の血管の異常部を表す標示を、当該血管外に付し、且つ、当該血管の中心線に沿うように付すことができる。これにより、医師の視覚的な診断を妨げずに検査対象の血管の異常部を標示することができる。
【0084】
本実施形態の態様４に係る画像表示方法は、上記態様３において、前記異常部領域は、前記異常部を含む矩形領域であり、前記画像生成工程は、前記矩形領域の各頂点を、前記中心線に投影し、前記各頂点を投影した投影点を通過する垂線の各々を繋ぐように前記標示を生成する。
【0085】
上記の構成によれば、検査対象の血管の異常部を表す標示を、当該血管外に付し、且つ、当該血管の中心線に沿うように付すことができる。これにより、医師の視覚的な診断を妨げずに検査対象の血管の異常部を標示することができる。
【0086】
本実施形態の態様５に係る画像表示方法は、上記態様１から４の何れか１つにおいて、前記画像生成工程は、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示であって、少なくとも一部が前記検査対象の血管上に位置する標示を更に付す。
【0087】
上記の構成によれば、検査対象の血管の異常部を正確に、且つ、ユーザの視覚的な診断の妨げとならないように標示することができる。
【0088】
本実施形態の態様６に係る画像表示方法は、上記態様１から５の何れか１つにおいて、前記標示は、前記特定工程において特定された前記異常部の自信度を更に表す。
【0089】
上記の構成により、ユーザは特定された異常部の自信度を利用して効率的に診断を行うことができる。
【0090】
本実施形態の態様７に係る画像表示方法は、上記態様１から６の何れか１つにおいて、前記学習済みモデルは、血管を被写体として含む画像において、当該血管の異常部がラベリングされた画像を用いた機械学習により生成されたものである。
【0091】
上記の構成により、学習済みモデルは好適に血管の異常部を検出することができる。
【0092】
本実施形態の態様８に係る画像表示方法は、上記態様１から７の何れか１つにおいて、前記異常部は、狭窄部である。
【0093】
上記の構成によれば、検査対象の血管の狭窄部を特定することができる。これにより、ユーザは、患者に対して血管の狭窄を解消するために必要な治療を講ずることができる。
【0094】
本実施形態の態様９に係る画像表示プログラムは、少なくとも１つのプロセッサに、検査対象の血管を被写体として含む第１の画像を取得する画像取得処理と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定処理と、前記第１の画像に、前記特定処理において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成処理と、前記第２の画像をユーザに表示する表示制御処理と、を実行させるためのプログラムであって、前記画像生成処理において、前記標示は前記異常部近傍の血管外に付される、ことを特徴とする。
【0095】
上記の構成によれば、学習済みモデルの検出結果に基づいて特定された異常部を参照しながら、検査対象の血管の異常部を診断するため、より正確で効率的な診断を行うことができる。
【0096】
本実施形態の態様１０に係る情報処理装置は、検査対象の血管を被写体として含む第１の画像を取得する画像取得部と、血管を被写体として含む画像を入力情報として、当該血管の異常部を検出するように学習された学習済みモデルに、前記第１の画像を入力することによって、当該画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定部と、前記第１の画像に、前記特定部において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成部と、前記第２の画像をユーザに表示する表示制御部と、を含み、前記画像生成部は、前記標示を前記異常部近傍の血管外に付す、ことを特徴とする。
【0097】
上記の構成によれば、学習済みモデルの検出結果に基づいて特定された異常部を参照しながら、検査対象の血管の異常部を診断するため、より正確で効率的な診断を行うことができる。
【0098】
本実施形態の態様１１に係る情報処理装置は、上記態様１０において、前記表示制御部は、前記画像生成部において生成された前記第２の画像を、画像表示装置に出力する。
【0099】
上記の構成によれば、情報処理装置は、第２の画像を外部装置である画像表示装置に出力することができる。これにより、ユーザは、第２の画像を患者に病状を説明する等の用途に供することができる。
【0100】
本実施形態の態様１２に係る画像表示方法は、検査対象の血管を被写体として含む第１の画像を取得する画像取得工程と、血管を被写体として含む画像から、当該血管の異常部を検出する人工知能アルゴリズムによって、前記第１の画像に被写体として含まれる前記検査対象の血管の異常部を特定する特定工程と、前記第１の画像に、前記特定工程において特定した前記異常部を表す標示を付した第２の画像を生成する画像生成工程と、前記第２の画像をユーザに表示する表示制御工程と、を含み、前記画像生成工程において、前記標示は、前記異常部近傍の血管外に付される、ことを特徴とする。
【0101】
上記の構成によれば、上記態様１と同様の効果を奏する。
【0102】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0103】
１００ 画像表示システム
１ 撮像装置
２ 情報処理装置
３ 画像表示装置
４ コンピュータ
１ 撮像装置
２ 情報処理装置
３ 画像表示装置
４ コンピュータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】