特許 7114003 医療用画像表示システム、医療用画像表示方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-07-28

(45)【発行日】2022-08-05

(54)【発明の名称】医療用画像表示システム、医療用画像表示方法及びプログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20220729BHJP

   A61B 6/00 20060101ALI20220729BHJP

【ＦＩ】

A61B5/00 D

A61B6/00 350D

A61B6/00 320Z

A61B6/00 360A

【請求項の数】 8

(21)【出願番号】P 2022520027

(86)(22)【出願日】2021-11-15

(86)【国際出願番号】 JP2021041901

【審査請求日】2022-03-30

(31)【優先権主張番号】P 2020195303

(32)【優先日】2020-11-25

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000005821

【氏名又は名称】パナソニックホールディングス株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】能年 智治

(72)【発明者】

【氏名】石井 正宏

(72)【発明者】

【氏名】近藤 堅司

(72)【発明者】

【氏名】木村 浩彦

(72)【発明者】

【氏名】坂井 豊彦

(72)【発明者】

【氏名】田中 雅人

(72)【発明者】

【氏名】藤本 真一

【審査官】高松 大

(56)【参考文献】

【文献】特開２０１３－３９３４４（ＪＰ，Ａ）

【文献】特開２０１４－１３５９１（ＪＰ，Ａ）

【文献】特開２０１５－１３０９７３（ＪＰ，Ａ）

【文献】国際公開第２０２０／０８３７６４（ＷＯ，Ａ１）

【文献】国際公開第２０１８／２２１１５２（ＷＯ，Ａ１）

【文献】特開２０１５－１５０１５７（ＪＰ，Ａ）

【文献】清水昭伸，佐藤嘉伸，腹部臓器の統計アトラス構築と複数臓器セグメンテーションへの応用，MEDICAL IMAGING TECHNOLOGY，Vol. 24, No. 3, May 2006，pp. 153-160

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ａ６１Ｂ ６／００

(57)【特許請求の範囲】

【請求項1】

医療用画像を表示する医療用画像表示システムであって、
前記医療用画像は、対象者を撮影した撮影画像に写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像に重畳した画像を含み、
前記医療用画像表示システムは、
前記医療用画像を表示する表示部と、
前記１以上のアノテーションのうち異常がある解剖学的構造物を示すアノテーションのサイズが閾値未満である場合、当該異常がある解剖学的構造物が正常である場合の正常構造を示す確率アトラスを前記撮影画像に重畳して表示させる制御部とを備える
医療用画像表示システム。

【請求項2】

前記確率アトラスは、前記１以上のアノテーションと表示態様が異なる
請求項１に記載の医療用画像表示システム。

【請求項3】

前記１以上のアノテーションは、透過性を有しておらず、
前記確率アトラスは、透過性を有する
請求項１又は２に記載の医療用画像表示システム。

【請求項4】

前記１以上のアノテーションは、輝度又は色調の少なくとも一方が一定に表示され、
前記確率アトラスは、輝度又は色調の前記少なくとも一方を次第に変化させるグラデーションにより表示される
請求項１又は２に記載の医療用画像表示システム。

【請求項5】

前記制御部は、前記異常がある解剖学的構造物を示すアノテーションと、前記確率アトラスとが前記撮影画像に重畳して表示される場合、当該アノテーションが視認可能なように当該アノテーションと前記確率アトラスとを表示させる
請求項１又は２に記載の医療用画像表示システム。

【請求項6】

前記制御部は、前記異常がある解剖学的構造物を示すアノテーションのサイズが前記閾値未満であるか否かを判定し、当該アノテーションのサイズが前記閾値未満であると判定した場合に、当該異常がある解剖学的構造物に対応する確率アトラスを前記撮影画像に重畳して表示させる
請求項１～５のいずれか１項に記載の医療用画像表示システム。

【請求項7】

医療用画像を表示する医療用画像表示方法であって、
前記医療用画像は、対象者を撮影した撮影画像に写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像に重畳した画像を含み、
前記医療用画像表示方法は、前記１以上のアノテーションのうち異常がある解剖学的構造物を示すアノテーションのサイズが閾値未満である場合、当該異常がある解剖学的構造物が正常である場合の正常構造を示す確率アトラスを前記撮影画像に重畳して表示させる
医療用画像表示方法。

【請求項8】

請求項７に記載の医療用画像表示方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、医療用画像表示システム、医療用画像表示方法及びプログラムに関する。

【背景技術】

【0002】

従来、医療の分野では、医療用の撮影画像のデジタル化が進んでおり、例えば、所定の病変を識別できるように撮影画像に画像処理を行うことが検討されている。一方、診断時には、画像処理された処理画像に加えて当該処理画像と比較するための比較用画像（例えば、画像処理前の撮影画像）を用いることが提案されている。そこで、特許文献１には、処理画像及び比較用画像を出力する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１００４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、処理画像を用いて診断を行う上で、診断効率が低下することを抑制することが望まれる。

【0005】

そこで、本開示は、診断効率の低下を抑制することができる医療用画像表示システム及び医療用画像表示方法を提供する。

【課題を解決するための手段】

【0006】

本開示の一形態に係る医療用画像表示システムは、医療用画像を表示する医療用画像表示システムであって、前記医療用画像は、対象者を撮影した撮影画像に写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像に重畳した画像を含み、前記医療用画像表示システムは、前記医療用画像を表示する表示部と、前記１以上のアノテーションのうち異常がある解剖学的構造物を示すアノテーションのサイズが閾値未満である場合、当該異常がある解剖学的構造物が正常である場合の正常構造を示す確率アトラスを前記撮影画像に重畳して表示させる制御部とを備える。

【0007】

また、本開示の一形態に係る医療用画像表示方法は、医療用画像を表示する医療用画像表示方法であって、前記医療用画像は、対象者を撮影した撮影画像に写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像に重畳した画像を含み、前記医療用画像表示方法は、前記１以上のアノテーションのうち異常がある解剖学的構造物を示すアノテーションのサイズが閾値未満である場合、当該異常がある解剖学的構造物が正常である場合の正常構造を示す確率アトラスを前記撮影画像に重畳して表示させる。

【0008】

また、本開示の一形態に係るプログラムは、上記の医療用画像表示方法をコンピュータに実行させるためのプログラムである。

【発明の効果】

【0009】

本開示により、診断効率の低下を抑制することができる医療用画像表示システム、医療用画像表示方法及びプログラムが提供される。

【図面の簡単な説明】

【0010】

【図1】図１は、実施の形態１に係る診断支援システムの構成を示すブロック図である。

【図2A】図２Ａは、解剖学的構造物の例を示す図である。

【図2B】図２Ｂは、解剖学的構造物の他の例を示す図である。

【図2C】図２Ｃは、解剖学的構造物の他の例を示す図である。

【図2D】図２Ｄは、解剖学的構造物の他の例を示す図である。

【図3】図３は、実施の形態１に係る表示部が表示する医療用画像の一例を示す図である。

【図4】図４は、セグメンテーションにおいて気管陰影が選択された場合の医療用画像の一例を示す図である。

【図5】図５は、実施の形態１に係るビューワ装置の主要な動作を示すフローチャートである。

【図6】図６は、実施の形態１に係るビューワ装置における表示状態の遷移を示す状態遷移図である。

【図7】図７は、実施の形態２に係るビューワ装置の構成を示すブロック図である。

【図8A】図８Ａは、実施の形態２に係る表示部が表示する医療用画像の第１例を示す図である。

【図8B】図８Ｂは、実施の形態２に係る表示部が表示する医療用画像の第２例を示す図である。

【図8C】図８Ｃは、実施の形態２に係る表示部が表示する医療用画像の第３例を示す図である。

【図9】図９は、実施の形態２に係るビューワ装置の主要な動作を示すフローチャートである。

【発明を実施するための形態】

【0011】

（本開示の基礎になった知見）
近年、医師による診断の支援として、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を使ったＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：コンピュータ支援診断）の開発が行われている。ＣＡＤは、コンピュータが医療用の撮影画像の定量化及び分析を行い、その結果を第２の意見（ｓｅｃｏｎｄ ｏｐｉｎｉｏｎ）として医師等（ユーザ）が画像診断に利用することである。背景技術でも記載した、処理画像、及び、比較用画像を出力することは、ユーザによる診断の支援の一例である。

【0012】

しかしながら、ＣＡＤはまだ市場で広く認知されておらず、またＡＩのタイプ（例えば、Ｘ線画像用、超音波画像用等）も様々ある。例えば、ＡＩのタイプの一例として、正常な解剖学的構造物が写った画像を入力データとし、当該画像が正常な解剖学的構造物を示すことを正解データとして機械学習により学習された学習済みモデルを用いる場合がある。このような学習済みモデルを用いて解剖学的構造物を行う場合、異常がある解剖学的構造物（異常構造物）の検出に失敗することを利用して、異常を特定の疾病に限定せずに広く検出することができるメリットがある。

【0013】

しかしながら、異常な解剖学的構造物の検出に失敗することから、当該異常な解剖学的構造物を示すアノテーションが画像上に重畳して表示されず、ユーザが当該異常な解剖学的構造物を見落としてしまう可能性がある。

【0014】

そこで、本願発明者らは、ユーザが異常な解剖学的構造物を見落とすことによる診断効率の低下を抑制することができる医療用画像表示システム、医療用画像表示方法及びプログラムについて鋭意検討を行い、以下に説明する医療用画像表示システム、医療用画像表示方法及びプログラムを創案した。なお、医療用画像は、撮影装置によりユーザを撮影した医療用の撮影画像を含む画像であり、ユーザによる診断に用いられる診断用画像である。

【0015】

以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。

【0016】

また、本明細書において、一定、同じ等の要素間の関係性を示す用語、並びに、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。

【0017】

（実施の形態１）
［１－１．診断支援システムの構成］
図１は、本実施の形態に係る診断支援システム１０の構成を示すブロック図である。診断支援システム１０は、医療用画像に基づいて医師等が効率的に診断するのを支援するシステムである。診断は、例えば、解剖学的構造物についての診断であるがこれに限定されない。

【0018】

図１に示すように、診断支援システム１０は、撮影装置２０、画像サーバ３０、異常検出システム４０、及び、ビューワ装置５０を備える。撮影装置２０、画像サーバ３０、異常検出システム４０、及び、ビューワ装置５０は、互いにインターネット等の通信路で通信可能に接続されている。

【0019】

撮影装置２０は、人の解剖学的構造物を撮影することで撮影画像３１ａを生成する装置であり、本実施の形態では、医療用の撮影画像として胸部Ｘ線画像を生成して画像サーバ３０に格納するＸ線撮影装置である。なお、医療用の撮影画像としては、胸部Ｘ線画像に限られず、他の部位のＸ線画像であってもよいし、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）スキャン、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）／ＣＴスキャン、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）スキャン、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）、超音波、Ｘ線、乳房撮影、血管造影、蛍光撮影、顕微鏡写真、又は、これらの組み合わせにより提供される画像であってもよい。

【0020】

画像サーバ３０は、撮影装置２０によって生成された撮影画像３１ａ、及び、異常検出システム４０によって生成された検出後の撮影画像３２ａを保持したり、保持している撮影画像３２ｂをビューワ装置５０に提供したりするデータサーバであり、例えば、ハードディスク等のストレージを備えるコンピュータ装置である。なお、画像サーバ３０が他の装置とやりとりするデータには、撮影画像だけでなく、撮影画像に付随する各種情報（撮影日時、患者に関する情報、解剖学的構造物の検出結果、解析結果等）が含まれる。また、データには、さらに、異常検出システム４０の機能に関する情報が含まれていてもよい。異常検出システム４０の機能に関する情報は、例えば、異常検出システム４０により異常を検出可能な解剖学的構造物を示す情報を含む。異常検出システム４０の機能に関する情報は、検出部４２が学習済みの機械学習モデルを用いる場合、当該学習済みの機械学習モデルが検出可能な解剖学的構造物を示す情報を含む。なお、患者は、撮影装置２０による撮影が行われる対象者の一例である。

【0021】

異常検出システム４０は、画像サーバ３０から取得した検出対象の撮影画像３１ｂに基づいて、撮影画像３１ｂに含まれる予め特定された解剖学的構造物について医学的な異常の有無を検出するシステムであり、通信部４１、検出部４２、及び、解析部４３を有する。

【0022】

通信部４１は、画像サーバ３０から撮影画像３１ｂを、通信を介して取得する。通信部４１は、例えば、通信回路を含んで構成される。通信部４１は、取得部の一例である。

【0023】

検出部４２は、画像サーバ３０から取得した検出対象の撮影画像３１ｂから、解剖学的構造物を検出する。検出部４２は、例えば、撮影画像３１ｂから予め設定された１以上の解剖学的構造物を抽出することで検出する。検出部４２は、例えば、撮影画像３１ｂから予め設定された１以上の臓器等の陰影を検出する。検出部４２は、例えば、解剖学的構造物を示す情報を、撮影画像３１ｂに重畳して出力する。解剖学的構造物を示す情報は、アノテーションの一例である。ここでのアノテーションとは、例えば、画像に付加（又は付随）された情報のことであり、検出部４２による解剖学的構造物の検出結果を示す情報である。当該情報は、例えば、解剖学的構造物の大きさ、形状、位置等に関する情報を含んでいてもよい。また、アノテーションとは、解剖学的構造物の領域を示すデータ、セグメンテーションネットワークの出力値（例えば、画素毎の信頼度）を含んでいてもよい。解剖学的構造物の領域を示すデータは、二値データであってもよいし、多値データであってもよい。

【0024】

本実施の形態では、検出部４２は、例えば、各解剖学的構造物を区別するセグメンテーションを行う学習済みモデル（例えば、ニューラルネットワークモデル）を用いて、各解剖学的構造物を抽出する。学習済みモデルは、予め各解剖学的構造物を検出可能に学習されている。学習済みモデルは、例えば、正常な解剖学的構造物が写る撮影画像を入力データとし、当該撮影画像における正常な解剖学的構造物の領域を示す情報を正解データとして、機械学習により学習され、記憶装置（図示しない）に記憶されている。正常な解剖学的構造物の領域は、図２Ａ～図２Ｄの解剖学的構造物の領域の項目に示す領域である。

【0025】

この場合、検出部４２の検出結果（出力）は、セグメンテーション表示（セグメンテーション）が重畳された撮影画像３１ｂとなる。以下では、検出結果が、セグメンテーション表示が重畳された撮影画像３１ｂである例について説明する。なお、セグメンテーション表示とは、解剖学的構造物を抽出した結果であり、解剖学的構造物の輪郭又は領域等を示す情報である。セグメンテーション表示は、アノテーションの一例である。

【0026】

上記のように、正常な解剖学的構造物が写った撮影画像を用いて学習済みモデルが学習されていることで、検出部４２は、異常な解剖学的構造物がある場合、当該解剖学的構造物の検出に失敗する。異常検出システム４０は、このことを利用することで、異常を特定の疾病に限定せず、広く検出することが可能となる。なお、学習済みモデルは、例えば、特定の疾病の有無を検出可能なように学習されていてもよい。

【0027】

解析部４３は、検出部４２の検出結果に対する解析を行う。解析部４３は、例えば、検出部４２から出力された撮影画像３１ｂのセグメンテーション表示の大きさ、形状、位置等の少なくとも１つに基づいて解析する。解析部４３は、検出部４２から出力された撮影画像３１ｂに基づいて、解剖学的構造物の異常の有無を判定し、かつ、異常と判定した判定理由を示す情報（解析結果の一例）を生成する。

【0028】

異常検出システム４０を構成する通信部４１、検出部４２、及び、解析部４３は、具体的には、プログラムを保持する不揮発性メモリ、一時作業領域としての揮発性メモリ、プログラムを実行するプロセッサ、通信インタフェース及び通信ポートを含む入出力回路等を備える少なくとも一つのコンピュータで実現される。

【0029】

また、異常検出システム４０を構成する通信部４１、検出部４２、及び、解析部４３は、一つのコンピュータ又は画像処理装置で実現されてもよいし、通信路で接続された複数のコンピュータ又は画像処理装置によって分散して実現されてもよい。

【0030】

なお、異常検出システム４０は、解析部４３を有していなくてもよい。

【0031】

ビューワ装置５０は、撮影画像を含む医療用画像を表示する装置である。ビューワ装置５０は、受付部５２を介して得たユーザからの指示に従って、画像サーバ３０に保持されている撮影画像３２ｂ及び撮影画像３２ｂに付随する各種情報を様々な表示態様で表示する装置であり、通信部５１、受付部５２、制御部５３、及び、表示部５４を有する。ビューワ装置５０は、複数の装置により実現されてもよく、医療用画像表示システムの一例である。

【0032】

通信部５１は、画像サーバ３０から撮影画像３２ｂを、通信を介して取得する。通信部５１は、例えば、通信回路を含んで構成される。通信部５１は、取得部の一例である。

【0033】

受付部５２は、ユーザからの指示（入力）を受け付けるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を含む。受付部５２は、例えば、マウス、キーボード、タッチパネル等の入力装置により構成される。また、受付部５２は、音声、ジェスチャ等によりユーザからの指示を受付可能に構成されていてもよい。

【0034】

制御部５３は、ビューワ装置５０の各構成要素を制御する。制御部５３は、例えば、表示部５４が表示する医療用画像に関する各種制御を行う。制御部５３は、例えば、画像サーバ３０から取得した撮影画像３２ｂと、受付部５２から受け付けたユーザの指示とに基づいて、表示部５４に表示する医療用画像の表示態様を制御する。制御部５３は、例えば、１以上のアノテーション及び１以上の構造ラベル（後述する図３等を参照）の一方に対するユーザの入力に応じて、１以上のアノテーション及び１以上の構造ラベルの他方の表示態様を変更する制御を行う。なお、構造ラベルとは、解剖学的構造物を区別するためのＩＤ又は名称である。

【0035】

表示部５４は、制御部５３の制御により、画像サーバ３０から取得した撮影画像３２ｂを表示する。表示部５４は、例えば、液晶ディスプレイ等であるが、これに限定されない。

【0036】

ビューワ装置５０を構成する通信部５１、受付部５２、制御部５３、及び、表示部５４は、具体的には、プログラムを保持する不揮発性メモリ、一時作業領域としての揮発性メモリ、プログラムを実行するプロセッサ、通信インタフェース及び通信ポートを含む入出力回路等を備える少なくとも一つのコンピュータで実現される。

【0037】

また、ビューワ装置５０を構成する通信部５１、及び、制御部５３は、一つのコンピュータ又は画像表示装置で実現されてもよいし、通信路で接続された複数のコンピュータ又は画像表示装置によって分散して実現されてもよい。

【0038】

また、診断支援システム１０は、通信路で接続された撮影装置２０、画像サーバ３０、異常検出システム４０、及び、ビューワ装置５０で構成されたが、これらの構成要素の全部又は一部が一つの装置として組み立てられていてもよい。

【0039】

ここで、本開示における解剖学的構造物の例について、図２Ａ～図２Ｄを参照しながら説明する。図２Ａ～図２Ｄは、解剖学的構造物の例（合計、７種類の解剖学的構造物の例）を示す図である。より詳しくは、図２Ａ～図２Ｄは、解剖学的構造物の例として、それぞれ、右房陰影及び左室陰影、下行大動脈陰影、右横隔膜ドーム陰影及び左横隔膜ドーム陰影、右肺外側及び左肺外側を示す。図２Ａ～図２Ｄのそれぞれの表では、左から順に、胸部Ｘ線画像、解剖学的構造物名、解剖学的構造物の領域、胸部Ｘ線画像と解剖学的構造物との重畳の例が示されている。胸部Ｘ線画像と解剖学的構造物との重畳の例は、例えば、検出部４２の検出結果の一例である。

【0040】

胸部Ｘ線画像上における解剖学的構造物とは、図２Ａ～図２Ｃに示されるように、右房陰影、左室陰影、下行大動脈陰影、横隔膜ドーム陰影等である。右房陰影は、胸部Ｘ線画像上における右房とその周辺との境界に描出される境界線である。左室陰影は、胸部Ｘ線画像上における左室とその周辺との境界に描出される境界線である。下行大動脈陰影は、胸部Ｘ線画像上における下行大動脈とその周辺との境界に描出される境界線である。横隔膜ドーム陰影は、胸部Ｘ線画像上における横隔膜とその周辺との境界に描出される境界線である。

【0041】

なお、解剖学的構造物は、これらに限定されない。解剖学的構造物は、例えば、図２Ｄに示されるように、胸部Ｘ線画像上における肺の外側部分とその周辺との境界に描出される境界線である肺外縁であってもよく、その他の構造物又は臓器等であってもよい。また、解剖学的構造物は、胸部Ｘ線画像に含まれる構造物等に限定されるものではなく、ＣＴ画像やＭＲＩ画像など、その他の撮影装置で撮影した医療用画像に含まれる構造物等であってもよい。

【0042】

［１－２．医療用画像の構成］
次に、表示部５４が表示する医療用画像の構成について、図３及び図４を参照しながら説明する。図３は、本実施の形態に係る表示部５４が表示する医療用画像の一例を示す図である。図３では、表示態様が異なることをハッチングの態様を異ならせることで示している。なお、以降では、解剖学的構造の一例である気管陰影に異常が検出される場合について説明する。また、以降に示す医療用画像は、制御部５３の制御により表示部５４が表示する。

【0043】

図３に示すように、医療用画像には、処理画像５４ａ（図３中の解析結果）、比較用画像５４ｂ（図３中の比較画像）、構造ラベル欄５４ｃ（図３中の構造ラベル）、及び、解析結果欄５４ｄ（図３中の解析結果表示）が含まれる。処理画像５４ａ及び比較用画像５４ｂは、画像サーバ３０から取得される撮影画像３２ｂに含まれる画像である。１つの医療用画像において、処理画像５４ａ、比較用画像５４ｂ、構造ラベル欄５４ｃ、及び、解析結果欄５４ｄが同時に表示される。また、医療用画像における、処理画像５４ａが表示される領域は第１の表示領域の一例であり、構造ラベル欄５４ｃが表示される領域は第２の表示領域の一例であり、比較用画像５４ｂが表示される領域は第３の表示領域の一例であり、解析結果欄５４ｄが表示される領域は第４の表示領域の一例である。また、少なくとも第１の表示領域及び第２の表示領域は、医療用画像において互いに重ならない表示領域であってもよい。例えば、第１の表示領域～第４の表示領域のそれぞれは、医療用画像において互いに重ならない表示領域であってもよい。これにより、医療用画像の視認性が向上する。また、ビューワ装置５０がウィンドウシステムを使用する装置である場合、第１の表示領域～第４の表示領域は、１つのウィンドウ内に表示されてもよいし、２以上のウィンドウ内に分かれて表示されてもよい。

【0044】

処理画像５４ａは、検出部４２の検出結果を示す画像である。処理画像５４ａは、例えば、対象者を撮影した撮影画像３２ｂであって、当該撮影画像３２ｂに写る１以上の解剖学的構造物を示す１以上のセグメンテーションを当該撮影画像３２ｂに重畳した画像である。図３の例では、処理画像５４ａは、胸部Ｘ線画像に、第１基準構造、第２基準構造、正常構造、及び、異常構造を示す情報が重畳された画像である。なお、セグメンテーションとは、撮影画像３２ｂにセグメンテーション処理を行った結果（セグメンテーション結果）である領域データを示す。

【0045】

第１基準構造及び第２基準構造は、異常検出システム４０による異常の検出の対象外の解剖学的構造物（基準構造物）であり、異常検出システム４０による検出が行われる範囲（構造的な基準）を示す。第１基準構造及び第２基準構造は、処理画像５４ａにおける１以上の解剖学的構造物の構造上の基準である。また、第１基準構造は、対象となる臓器（例えば、肺）が存在し得るおおよその上限の位置を示しており、第２基準構造は、当該対象となる臓器が存在し得るおおよその下限の位置を示していてもよい。第１基準構造及び第２基準構造は、例えば、撮影診断においてユーザが特に注意して確認すべき範囲を示すとも言える。本実施の形態では、第１基準構造及び第２基準構造は、胸部画像診断においてユーザが特に注意して確認すべき範囲を示す。本実施の形態では、第１基準構造は、例えば、第１胸椎陰影であり、第２基準構造は、背側肺底部陰影を示すが、これに限定されない。

【0046】

正常構造は、異常検出システム４０により異常が検出されなかった解剖学的構造物（正常構造物）を示す。異常構造は、検出部４２により異常が検出された解剖学的構造物（異常構造物）を示す。異常検出システム４０により異常が検出されなかった場合、異常構造は表示されない。

【0047】

なお、第１基準構造、第２基準構造、正常構造、及び、異常構造は、特に言及がない限り、構造物を示す。

【0048】

ここで、第１基準構造、第２基準構造、正常構造、及び、異常構造の表示態様について説明する。

【0049】

第１基準構造及び第２基準構造、正常構造、並びに、異常構造を示すセグメンテーションは、互いに異なる表示態様で表示される。第１基準構造及び第２基準構造は、基準であるので、目立たず、かつ、他の構造より細い線で表示される。第１基準構造及び第２基準構造は、例えば、他の構造より視覚的に目立ちにくい色（例えば、無彩色）で表示され、例えば、白色（つまり、輝度の調整）で表示される。第１基準構造及び第２基準構造は、正常構造、及び、異常構造に比べて意味を持たないような表示態様で表示されるとも言える。

【0050】

正常構造は、正常であることを示すイメージ色（例えば、有彩色）で表示され、例えば、青色（図３中の右下がりハッチングに対応）で表示される。また、正常構造は、第１基準構造及び第２基準構造より太い線又は面状で表示される。また、例えば、複数の解剖学的構造物が正常と判定された場合、正常と判定された複数の解剖学的構造物のそれぞれの表示態様は、同じであってもよい。つまり、複数の解剖学的構造物において正常と判定された場合、当該複数の解剖学的構造物に対応するセグメンテーションのそれぞれは、青色で表示されてもよい。青色は、第１の表示色の一例である。

【0051】

異常構造は、注意喚起の促す色（例えば、有彩色）で表示され、例えば、黄色（図３中の右上がりハッチングに対応）で表示される。また、異常構造は、正常構造より太い線又は面状で表示されてもよい。また、例えば、複数の解剖学的構造物が異常と判定された場合、異常と判定された複数の解剖学的構造物のそれぞれの表示態様は、同じであってもよい。つまり、複数の解剖学的構造物において異常と判定された場合、当該複数の解剖学的構造物に対応するセグメンテーションのそれぞれは、黄色で表示されてもよい。黄色は、第２の表示色の一例である。

【0052】

このように、表示色は、解剖学的構造物の種類により決定されるわけではなく、異常検出システム４０の検出結果、つまり異常の有無により決定される。

【0053】

このように、表示色としては青色及び黄色の２色であり、例えば、３色以上の色分けは行われない。これにより、表示部５４は、色弱なユーザに配慮した処理画像５４ａを表示することができる。また、表示色が少ないことで、処理画像５４ａの情報量を減らすことができるので、ユーザは、処理画像５４ａをスムーズに理解することができる。また、表示色としては青色及び黄色の２色を用いることで、正常構造及び異常構造を直感的にユーザに伝えることが可能となる。

【0054】

また、正常構造及び異常構造の少なくとも一方は、透過性を有するように表示されてもよい。つまり、正常構造及び異常構造の少なくとも一方は、撮影画像自体が透けて見えるように表示されてもよい。例えば、正常構造及び異常構造のうち少なくとも異常構造は、透過性を有するように表示されてもよい。また、正常構造及び異常構造は、互いに異なる透過性を有するように表示されてもよい。例えば、異常構造は、正常構造に比べて透過性が高く設定されてもよい。

【0055】

これにより、処理画像５４ａを確認するだけで、原画像を読影することが可能となる。

【0056】

なお、第１基準構造及び第２基準構造、正常構造、並びに、異常構造の表示態様は、表示色が異なることに限定されない。第１基準構造及び第２基準構造、正常構造、並びに、異常構造のそれぞれが互いに異なる表示態様で表示されていればよく、例えば、線の表示態様（実線、破線、一点鎖線等）が異なっていてもよいし、点滅の有無等が異なっていてもよいし、それらの組み合わせであってもよい。

【0057】

比較用画像５４ｂは、処理画像５４ａの確認の比較に用いられる画像である。比較用画像５４ｂは、例えば、異常検出システム４０による異常検出が行われる前の撮影画像３１ｂ、本実施の形態では、学習済みモデルに入力される前の撮影画像３１ｂ（原画像）を示す。比較用画像５４ｂは、例えば、撮影装置２０が撮影した撮影画像３１ｂである。なお、比較用画像５４ｂは、表示されなくてもよい。例えば、比較用画像５４ｂは、処理画像５４ａが点滅表示を行う場合には、表示されなくてもよい。

【0058】

処理画像５４ａ及び比較用画像５４ｂは、例えば、一画面上に並んで表示される。処理画像５４ａ及び比較用画像５４ｂが一画面上に表示されることで、ユーザは、２つの画像の注目点を比較しながら診断を行うことが可能となる。なお、処理画像５４ａ及び比較用画像５４ｂが表示される領域は、画像表示領域の一例である。

【0059】

なお、比較用画像５４ｂは、処理画像５４ａに対応する撮影画像であることに限定されず、患者における過去（例えば、１年前等）に同一箇所を撮影した撮影画像であってもよい。これにより、ユーザは、過去の撮影画像における異常の有無等を考慮して診断を行うことができる。また、比較用画像５４ｂは、処理画像５４ａと異なる装置によりユーザを撮影した画像（例えば、ＣＴ画像）であってもよい。これにより、ユーザは、他の装置の画像における異常等を考慮して診断を行うことができる。

【0060】

なお、同時に表示される比較用画像５４ｂの数は特に限定されず、２以上であってもよい。例えば、比較用画像５４ｂとして、過去の異なる時期（例えば、半年前と１年前）に撮影された２枚の画像が同時に表示されてもよい。また、この場合、２枚の画像のうち最近撮影された画像を処理画像５４ａの隣に表示させてもよいし、２枚の画像のうちより過去に撮影された画像を処理画像５４ａの隣に表示させてもよい。

【0061】

なお、比較用画像５４ｂは、処理画像５４ａを撮影した患者を撮影した画像であることに限定されない。例えば、比較用画像５４ｂは、当該患者と似た所見又は似た症状等を示す異なる患者を撮影した画像であってもよい。

【0062】

なお、図３では、比較用画像５４ｂは、異常検出システム４０による異常検出が行われていない画像である例を示したが、これに限定されず、異常検出システム４０による異常検出が行われた画像（例えば、過去に撮影された画像に対して異常検出システム４０による異常検出の処理が行われた画像）であってもよい。制御部５３は、比較用画像５４ｂが異常検出システム４０による異常検出が行われていない画像である場合、異常検出システム４０に当該画像の異常検出を行わせてもよい。

【0063】

構造ラベル欄５４ｃは、異常検出システム４０により異常の検出が可能な１以上の解剖学的構造物のそれぞれを識別するための１以上の構造ラベルを表示する領域である。構造ラベル欄５４ｃには、例えば、検出部４２が用いた学習済みモデルで抽出可能な解剖学的構造物を示す構造ラベルが表示される。異常検出システム４０が有する異常検出の機能をユーザが容易に把握可能とする観点から、構造ラベル欄５４ｃには、例えば、異常検出システム４０において異常の検出が可能な解剖学的構造物の全てを示す構造ラベルが表示されるとよい。

【0064】

本実施の形態では、構造ラベル欄５４ｃには、「気管陰影」、「下行大動脈陰影」、「右房陰影」、「左室陰影」、「右横隔膜ドーム陰影」及び「左横隔膜ドーム陰影」の６つの構造ラベルが表示される。これにより、ユーザは、構造ラベル欄５４ｃを見るだけで、異常検出システム４０がどの解剖学的構造物の異常を検出可能であるかを知ることができる。

【0065】

なお、処理画像５４ａのセグメンテーションの選択（ユーザが確認したい解剖学的構造物の選択）を受付部５２がユーザから受け付けていない場合、構造ラベル欄５４ｃには、構造ラベルのみが表示される。つまり、構造ラベル欄５４ｃには、測定結果等の構造ラベルとは異なる情報は表示されない。

【0066】

処理画像５４ａの表示態様と構造ラベル欄５４ｃの表示態様とは、例えば、対応付けられている。処理画像５４ａにおける異常構造物の表示態様（例えば、気管陰影の左下がりのハッチング）と構造ラベル欄５４ｃにおける当該異常構造物を示す構造ラベルの表示態様（構造ラベルの気管陰影５４ｃ１の左下がりのハッチング）とが対応付けられている。例えば、処理画像５４ａにおいて異常構造物が黄色で表示されている場合、当該異常構造物を示す構造ラベルも黄色で表示される。例えば、処理画像５４ａにおいて異常構造物を示す表示態様と、当該異常構造物を示す構造ラベルの表示態様とは、同じである。

【0067】

これにより、ユーザは、処理画像５４ａにおける異常構造物に対応する構造ラベルを、複数の構造ラベルの中から容易に探すことができる。つまり、ユーザは、構造ラベル欄５４ｃを見るだけで、どの解剖学的構造物が異常であるかを知ることができる。

【0068】

また、例えば、処理画像５４ａにおいて正常構造物が青色で表示されている場合、当該正常構造物を示す構造ラベルも青色で表示される。これにより、ユーザは、処理画像５４ａにおける正常構造物に対応する構造ラベルを、複数の構造ラベルの中から容易に探すことができる。つまり、ユーザは、構造ラベル欄５４ｃを見るだけで、どの解剖学的構造物が正常であるかを知ることができる。

【0069】

解析結果欄５４ｄは、医療用画像において、検出部４２の検出結果を解析した解析結果を表示する領域である。つまり、解析結果欄５４ｄには、１以上の解剖学的構造物の異常に対する解析部４３の解析結果が表示される。例えば、解析結果欄５４ｄには、検出結果に基づいて解剖学的構造物がなぜ異常と判定されたかを示す情報が表示される。

【0070】

なお、処理画像５４ａのセグメンテーション又は構造ラベルの選択を受付部５２がユーザから受け付けていない場合、解析結果欄５４ｄには、解析結果に対する表示が行われない。なお、解析結果欄５４ｄは、表示されなくてもよい。

【0071】

なお、図３に示す医療用画像におけるレイアウトの配置、形状、大きさ等は、予めビューワ装置５０に記憶されていてもよいし、画像サーバ３０等から取得されてもよい。

【0072】

ここで、制御部５３は、図３に示す医療用画像に対して、処理画像５４ａのセグメンテーション又は構造ラベルの一方に対するユーザの入力を受付部５２が受け付けると、当該入力に応じてセグメンテーション又は構造ラベルの他方の表示態様を変化させるように表示部５４を制御する。セグメンテーションに対するユーザの入力に伴って構造ラベル欄５４ｃの表示態様が変化した医療用画像について、図４を参照しながら説明する。図４は、セグメンテーションにおいて気管陰影（図４に示す左下がりのハッチングを参照）が選択された場合の医療用画像の一例を示す図である。なお、選択とは、例えば、クリック操作、タッチ操作等の簡易な操作であるとよい。

【0073】

図４に示すように、表示部５４は、受付部５２がセグメンテーションの選択をユーザから受け付けると、当該セグメンテーションに対応する解剖学的構造物の測定値５４ｃ２を、構造ラベル欄５４ｃ内に表示（追加表示）する。表示部５４は、例えば、各解剖学的構造物の測定値のうちユーザに選択されたセグメンテーションに対応する解剖学的構造物の測定値５４ｃ２のみを構造ラベル欄５４ｃ内に表示する。このとき、表示部５４は、複数の構造ラベルの少なくとも１つの位置及び大きさの少なくとも１つを変更してもよい。なお、測定値５４ｃ２を構造ラベル欄５４ｃ内に表示（追加表示）することは、１以上の構造ラベルの表示態様を変更することの一例である。

【0074】

表示部５４は、ユーザに選択されたセグメンテーションに対応する構造ラベルに近接する位置（例えば、当該構造ラベルと接する位置）に、当該測定値５４ｃ２を表示するが、ユーザに選択されたセグメンテーションに対応する構造ラベル内に当該測定値５４ｃ２を表示（追加表示）してもよい。表示部５４が測定値５４ｃ２を対応する構造ラベルに近接する位置又は当該構造ラベル内に表示することは、測定値５４ｃ２をセグメンテーションに対応する構造ラベルに追加表示することの一例である。

【0075】

図４の例では、表示部５４は、異常構造（例えば、気管陰影）を示すセグメンテーションの選択を受付部５２がユーザから受け付けたので、構造ラベル欄５４ｃの気管陰影５４ｃ１に対する測定値５４ｃ２のみを表示する。また、表示部５４は、当該測定値５４ｃ２を、当該構造ラベルの表示態様と同じ表示態様で表示する。本実施の形態では、表示部５４は、測定値５４ｃ２を黄色（黄色の背景）で表示する。これにより、表示部５４は、ユーザが必要なときにのみ、測定値を表示させることができる。

【0076】

なお、表示部５４は、受付部５２がさらに別のセグメンテーションの選択をユーザから受け付けると、前に選択されたセグメンテーションに対応する測定値を非表示にしてもよいし、当該測定値を表示したままにしてもよい。

【0077】

また、構造ラベルである気管陰影５４ｃ１の選択を受付部５２がユーザから受け付けると、表示部５４は、処理画像５４ａにおける当該構造ラベルが示すセグメンテーションの表示及び非表示を切り替えてもよいし、当該セグメンテーションを強調して表示してもよい。また、表示部５４は、当該選択を受付部５２がユーザから受け付けると、選択された構造ラベルに対する測定値５４ｃ２を当該構造ラベルに近接して表示してもよい。

【0078】

このように、処理画像５４ａ及び構造ラベル欄５４ｃの表示態様は連動しており、ユーザにより処理画像５４ａ及び構造ラベル欄５４ｃの一方が選択されると、処理画像５４ａ及び構造ラベル欄５４ｃの他方の画像が当該選択に応じて変化する。

【0079】

また、さらに、表示部５４は、セグメンテーションの選択を受付部５２がユーザから受け付けると、当該セグメンテーションに対応する解剖学的構造物の解析部４３での解析結果を、解析結果欄５４ｄに表示してもよい。つまり、表示部５４は、ユーザによるセグメンテーションの選択に連動して、例えば選択されたセグメンテーションに対応する測定値５４ｃ２の表示に連動して、選択されたセグメンテーションに対応する解剖学的構造物の解析部４３での解析結果を、解析結果欄５４ｄに表示してもよい。

【0080】

解析結果欄５４ｄには、ユーザにより選択されたセグメンテーションに対応する解剖学的構造の解析結果のみが表示される。解析結果欄５４ｄには、解析結果がテキストで表示され、例えば、「気管陰影が十分に検出されず不明瞭です。」が解析結果として表示される。なお、「気管陰影が十分に検出されず不明瞭です。」は、例えば、気管陰影に対応するセグメンテーションの面積が、所定面積より小さい（例えば、面積が不足している）ことを示す。

【0081】

なお、表示部５４は、構造ラベル欄５４ｃの構造ラベルの選択を受付部５２がユーザから受け付けた場合も同様に、選択された構造ラベルに対応する解剖学的構造物の解析部４３での解析結果を、解析結果欄５４ｄに表示してもよい。

【0082】

このように、処理画像５４ａ及び構造ラベル欄５４ｃと、解析結果欄５４ｄの表示態様とは連動しており、ユーザにより処理画像５４ａ及び構造ラベル欄５４ｃの一方が選択されると、処理画像５４ａ及び構造ラベル欄５４ｃの他方の画像が当該選択に応じて変化し、さらに、当該選択に応じた解剖学的構造物の解析結果が解析結果欄５４ｄに表示されてもよい。この制御は、制御部５３により行われる。

【0083】

これにより、ユーザによる診断において、ユーザが確認したい解析結果のみを表示することができるので、複数の解析結果が表示されている場合に比べてユーザによる診断を効果的に行わせることが可能となる。

【0084】

［１－３．診断支援システムの動作］
次に、以上のように構成される本実施の形態に係る診断支援システム１０の動作について、診断支援システム１０を構成する特徴的なビューワ装置５０の動作を中心に説明する。

【0085】

図５は、本実施の形態に係るビューワ装置５０の主要な動作（つまり、医療用画像表示方法）を示すフローチャートである。なお、図５では、セグメンテーションの選択を受け付けた場合に、構造ラベルの表示態様を変更する動作について説明する。

【0086】

図５に示すように、まず、通信部５１は、撮影画像３２ｂ（図３に示す解析結果及び比較画像）を画像サーバ３０から取得する（Ｓ１０）。通信部５１は、例えば、撮影画像３２ｂとして、処理画像５４ａ及び比較用画像５４ｂを取得する。処理画像５４ａ及び比較用画像５４ｂは、同時に取得されてもよいし、異なるタイミングで取得されてもよい。撮影画像３２ｂの取得は、例えば、ビューワ装置５０の受付部５２へのユーザの操作に応じて行われてもよいし、画像サーバ３０が異常検出システム４０から異常検出後の撮影画像３２ａを取得するごとに行われてもよい。また、ビューワ装置５０が比較用画像５４ｂを格納している場合、制御部５３は、ビューワ装置５０の記憶装置から比較用画像５４ｂを取得してもよい。

【0087】

制御部５３は、取得した撮影画像３２ｂの処理画像５４ａに異常構造（異常構造物）があるか否かを判定する（Ｓ２０）。制御部５３は、例えば、異常検出システム４０から出力されるデータに含まれる異常検出システム４０の検出結果及び解析結果の少なくとも一方に基づいて、異常構造があるか否かを判定してもよい。制御部５３は、例えば、解析結果に含まれる異常の有無の判定結果に基づいて異常構造があるか否かを判定してもよい。

【0088】

制御部５３は、処理画像５４ａに異常構造がある場合（Ｓ２０でＹｅｓ）、異常構造の表示態様を正常構造（正常構造物）と異なる表示態様に決定する（Ｓ３０）。制御部５３は、例えば、異常構造と正常構造とが互いに異なる表示態様となるように、つまり異常検出システム４０による異常の有無の判定結果に応じて表示態様を決定する。制御部５３は、解剖学的構造物の種類に関係なく、異常構造及び正常構造のそれぞれの表示態様を決定するとも言える。本実施の形態では、制御部５３は、異常構造を注意喚起の促す黄色で表示し、正常を示すイメージ色である青色で表示すると決定する。

【0089】

制御部５３は、例えば、異常構造の有無と、表示色との関係が対応付けられたテーブルを用いて、表示色を決定してもよい。

【0090】

また、制御部５３は、ステップＳ３０において、さらに、第１基準構造及び第２基準構造の表示態様を決定してもよい。制御部５３は、第１基準構造及び第２基準構造の表示態様を、異常構造の表示態様及び正常構造の表示態様のそれぞれと異なる表示態様であって、処理画像５４ａにおいて他の構造より視覚的に目立ちにくい表示態様に決定してもよい。制御部５３は、例えば、第１基準構造及び第２基準構造を白色で表示してもよい。

【0091】

また、制御部５３は、さらに構造ラベル欄５４ｃの各構造ラベルの表示態様を、処理画像５４ａに応じた表示態様に決定してもよい。制御部５３は、例えば、解剖学的構造物に関係なく、異常構造を示す構造ラベルの表示態様と、処理画像５４ａにおける異常構造を示すセグメンテーションの表示態様とが等しく、かつ、正常構造を示す構造ラベルの表示態様と、処理画像５４ａにおける正常構造を示すセグメンテーションの表示態様とが等しくなるように表示態様を決定してもよい。

【0092】

なお、制御部５３は、処理画像５４ａに異常構造がない場合（Ｓ２０でＮｏ）、ステップＳ４０に進む。

【0093】

次に、制御部５３は、解析結果及び比較画像（つまり、処理画像５４ａ及び比較用画像５４ｂ）を１画面上に表示する（Ｓ４０）。制御部５３は、例えば、図３に示す医療用画像を表示部５４に表示させる。つまり、制御部５３は、例えば、処理画像５４ａ、比較用画像５４ｂ、構造ラベル欄５４ｃ、及び、解析結果欄５４ｄを含む医療用画像を表示部５４に表示する。

【0094】

次に、制御部５３は、受付部５２を介してユーザからセグメンテーション（セグメンテーション表示）の選択を受け付けたか否かを判定する（Ｓ５０）。制御部５３は、受付部５２を介してユーザからセグメンテーションの選択を受け付けると（Ｓ５０でＹｅｓ）、選択を受け付けたセグメンテーションに関する測定結果及び解析結果を表示する（Ｓ６０）。制御部５３は、ステップＳ５０でＹｅｓの場合、選択を受け付けたセグメンテーションに対応する解剖学的構造物の測定結果（例えば、測定値５４ｃ２）を、処理画像５４ａ及び比較用画像５４ｂとは重ならない位置に表示する。本実施の形態では、制御部５３は、当該測定結果を構造ラベル欄５４ｃ内に表示する。また、本実施の形態では、制御部５３は、ステップＳ５０でＹｅｓの場合、さらに、選択を受け付けたセグメンテーションに対応する解剖学的構造物の解析結果を解析結果欄５４ｄに表示する。つまり、制御部５３は、ステップＳ６０において、図４に示す医療用画像を表示する。表示部５４に表示される医療用画像の表示態様が、図３に示す表示態様から図４に示す表示態様に遷移するとも言える。

【0095】

制御部５３は、例えば、選択されたセグメンテーションに対応する構造ラベルに近接して測定結果の一例である測定値を表示し、かつ、当該構造ラベルが異常である場合、解析結果欄５４ｄに解析結果を表示する。測定値は、例えば、検出部４２により抽出された解剖学的構造物の位置（図４中の「Ｐｏｓｉｔｉｏｎ」）、面積（図４中の「Ａｒｅａ」）及び途切れの有無（図４中の「Ｆｒａｇｍｅｎｔ」）を含む。なお、途切れとは、例えば、陰影の線が複数に途切れて検出されることである。例えば、途切れがある場合、異常と判定される。

【0096】

これにより、表示部５４は、ユーザが診断において必要としている情報を、必要としているときに表示することができる。よって、表示部５４は、ユーザの診断において不要な情報が表示されることを抑制することができるので、診断効率の低下を抑制することができる。

【0097】

また、本実施の形態に係る診断支援システム１０において、全構造表示モードと選択構造表示モードとを切り替える表示が行われてもよく、図６を参照しながら説明する。以下の図６に示す表示を行ってもよい。図６は、本実施の形態に係るビューワ装置５０における表示状態の遷移を示す状態遷移図である。なお、図６に示す動作は、必須ではない。

【0098】

なお、初期状態Ｉ１では、図３の処理画像５４ａにおいて、各セグメンテーションの全てを点滅表示する全構造点滅表示を行っているものとして説明する。点滅は、異常構造の診断を可能な程度の時間間隔で行われるとよく、例えば、数秒ごとに行われるが、これに限定されない。初期状態Ｉ１は、第１の表示モードの一例である。

【0099】

初期状態Ｉ１では、検出部４２の機能の全容（例えば、構造ラベル）を提示することでユーザの見落としを防止するとともに、ユーザの理解を促進する効果が期待される。また、セグメンテーションが点滅しているので、ユーザは操作することなく、原画像を読影可能となる。なお、初期状態Ｉ１では、点滅表示を行うことは必須ではない。

【0100】

例えば、図３に示す状態で、所定の操作（例えば、マウスをクリック等）が行われると、点滅表示が行われてもよい。なお、図６に示す表示は、図３に示す処理画像５４ａにおける表示であり、比較用画像５４ｂにおける表示は、変化しない。つまり、比較用画像５４ｂの表示態様は、以下に示す動作に対しては変化しない。

【0101】

図６に示すように、表示部５４は、初期状態Ｉ１において、受付部５２を介してユーザから全構造表示モードに遷移するための操作（第１の操作）を受け付けると、初期状態Ｉ１から全構造表示モードに遷移し、全構造表示Ｉ２ａを行う（Ｓ７０）。全構造表示モードでは、初期状態Ｉ１においてセグメンテーションの点滅表示を停止した状態の画像を表示する。つまり、全構造表示モードでは、各セグメンテーションの全てが常時表示される（例えば、連続表示される）。全構造表示モードは、第３の表示モードの一例である。

【0102】

表示部５４は、さらに、受付部５２を介してユーザから第２の操作を受け付けると、全構造表示Ｉ２ａから原画像Ｉ２ｂの表示に遷移する（Ｓ７１）。原画像は、全構造表示Ｉ２ａに対して、セグメンテーション（アノテーション）を非表示とした画像である。原画像は、図３に示す処理画像５４ａにおいて、セグメンテーションを非表示とした画像である。比較用画像５４ｂが学習済みモデルに入力される前の撮影画像３１ｂである場合、比較用画像５４ｂと原画像Ｉ２ｂとは同一の画像となる。

【0103】

表示部５４は、さらに、受付部５２を介して第２の操作を受け付けると、原画像Ｉ２ｂの表示から全構造表示Ｉ２ａに遷移する（Ｓ７２）。表示部５４は、第２の操作が行われるごとに、全構造表示Ｉ２ａと原画像Ｉ２ｂとを交互に表示する。また、表示部５４は、受付部５２を介して全構造表示モードを停止するための操作（第３の操作）を受け付けると、全構造表示モードから初期状態Ｉ１に遷移する（Ｓ７３）。

【0104】

なお、第１～第３の操作は、例えば、キーボード又はマウスによる所定の操作であってもよい。第１～第３の操作は、例えば、キーボードにおける所定のキーを操作することであってもよい。また、第１の操作と第２の操作とは、同じ操作（同じキー操作）であってもよい。また、ステップＳ７１の遷移の為の第２の操作とステップＳ７２の遷移の為の第２の操作とは、同じ操作（同じキー操作）であってもよいし、異なる操作であってもよい。

【0105】

表示部５４は、初期状態Ｉ１において受付部５２がユーザからセグメンテーション又は構造ラベルの選択（第４の操作）を受け付けると、初期状態Ｉ１から選択構造表示モードに遷移し、選択構造表示Ｉ３ａを行う（Ｓ８０）。選択構造表示モードは、ユーザにより選択されたセグメンテーションを強調して表示するモードである。本実施の形態では、選択構造表示モードでは、ユーザにより選択されたセグメンテーションを点滅表示し、かつ、他のセグメンテーションを非表示とする。つまり、選択構造表示モードでは、ユーザにより選択されたセグメンテーションのみが点滅表示される。選択構造表示モードは、第２の表示モードの一例である。

【0106】

表示部５４は、さらに、受付部５２を介して第５の操作を受け付けると、選択構造表示Ｉ３ａから原画像Ｉ３ｂの表示に遷移する（Ｓ８１）。原画像は、選択構造表示Ｉ３ａに対して、セグメンテーション（アノテーション）を非表示とした画像である。原画像は、図３に示す処理画像５４ａにおいて、セグメンテーションを非表示とした画像である。原画像Ｉ３ｂは、例えば、原画像Ｉ２ｂと同じ画像であってもよい。

【0107】

表示部５４は、さらに、受付部５２を介して第５の操作を受け付けると、原画像Ｉ３ｂの表示から選択構造表示Ｉ３ａに遷移する（Ｓ８２）。表示部５４は、第５の操作が行われるごとに、選択構造表示Ｉ３ａと原画像Ｉ３ｂとを交互に表示する。また、表示部５４は、受付部５２を介して選択構造表示モードを停止するための操作（第６の操作）を受け付けると、選択構造表示モードから初期状態Ｉ１に遷移する（Ｓ８３）。

【0108】

なお、第４～第６の操作は、例えば、キーボード又はマウスによる所定の操作であってもよい。第４～第６の操作は、例えば、キーボードにおける所定のキーを操作することであってもよい。また、ステップＳ８１の遷移の為の第５の操作とステップＳ８２の遷移の為の第５の操作とは、同じ操作（同じキー操作）であってもよいし、異なる操作であってもよい。また、第４の操作と第５の操作とは、同じ操作（同じキー操作）であってもよいし、第５の操作と第２の操作とは、同じ操作であってもよい。また、第６の操作と第３の操作とは、同じ操作（同じキー操作）であってもよい。

【0109】

また、表示部５４は、全構造表示モードで表示しているときに受付部５２を介して第７の操作を受け付けると、全構造表示モードから選択構造表示モードに遷移してもよい（Ｓ９０）。また、表示部５４は、選択構造表示モードで表示しているときに受付部５２を介して第８の操作を受け付けると、選択構造表示モードから全構造表示モードに遷移してもよい（Ｓ９１）。なお、第７の操作と第８の操作とは、同じ操作であってもよい。

【0110】

このように、ビューワ装置５０は、受付部５２に対するユーザの操作に応じて、処理画像５４ａの表示態様を遷移させてもよい。これにより、ビューワ装置５０は、ユーザから所定の操作が行われることで、ユーザが必要なときに必要な量の情報を提供することができるので、ユーザによる読影が妨げられることを抑制することができる。

【0111】

また、ビューワ装置５０は、第１～第８の操作の一部が共通の操作で行われることで、多種の操作を行うことなく、容易に表示状態を遷移させることができる。

【0112】

なお、受付部５２に対する所定の操作による表示の切り替えは上記に限定されない。ビューワ装置５０は、例えば、所定の操作により、医療用画像に含まれる、比較用画像５４ｂ、構造ラベル欄５４ｃ、及び、解析結果欄５４ｄの少なくとも一つの表示の有無を切り替えてもよい。つまり、受付部５２に対する操作により、比較用画像５４ｂ、構造ラベル欄５４ｃ、及び、解析結果欄５４ｄの少なくとも一つは、非表示とされてもよい。

【0113】

また、ビューワ装置５０は、例えば、所定の操作により、面状構造物（例えば、気管陰影）又は線状構造物（例えば、気管陰影以外の５つの解剖学的構造物の陰影）のセグメンテーションの透過度合いを変化させてもよい。ビューワ装置５０の制御部５３は、例えば、異常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルの一方に対する入力に応じて、当該セグメンテーションの透過度合いを変化させてもよい。

【0114】

面状構造物又は線状構造物のセグメンテーションの透過率は、例えば、初期状態では５０％であり、所定の操作により透過率が８０％、１００％（非表示）と段階的に変化してもよい。これにより、ユーザは、セグメンテーションに重なっている他の臓器を確認することが可能となる。

【0115】

また、ビューワ装置５０は、例えば、所定の操作により、第１の表示色及び第２の表示色の少なくとも一方の表示色を変化させてもよい。ビューワ装置５０の制御部５３は、例えば、セグメンテーション及び当該１以上の構造ラベルの一方に対する入力に応じて、第１の表示色及び第２の表示色の少なくとも一方の表示色を変化させてもよい。制御部５３は、例えば、異常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルの一方に対する入力に応じて、当該異常構造物を示すセグメンテーションの表示色を変化させてもよい。また、制御部５３は、例えば、正常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルの一方に対する入力に応じて、当該正常構造物を示すセグメンテーションの表示色を変化させてもよい。なお、セグメンテーションの表示色の変化に伴い、当該セグメンテーションに対応する構造ラベルの表示色も同様に変化させてもよい。

【0116】

また、ビューワ装置５０は、例えば、所定の操作により、面状構造物のセグメンテーション（アノテーションの一例）の塗りつぶしの有無を変化させてもよい。面状構造物のセグメンテーションの塗りつぶしを無くすことで、ビューワ装置５０は、面状構造物の輪郭を残して表示することができる。これにより、ユーザは、セグメンテーションに重なっている他の臓器を確認することが可能となる。

【0117】

また、ビューワ装置５０は、例えば、所定の操作により、線状構造物のセグメンテーション（アノテーションの一例）の線の太さを変化させてもよい。線状構造物の線の太さを変化させることで、ユーザが読影しやすい線の太さとすることができる。

【0118】

なお、所定の操作は、例えば、マウスのドラック操作又はキー操作等の簡易な操作により行われるがこれに限定されない。

【0119】

［１－４．効果等］
以上のように、本実施の形態に係るビューワ装置５０（医療用画像表示システムの一例）は、医療用画像を表示する医療用画像表示システムである。医療用画像は、対象者を撮影した撮影画像３２ｂに写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像３２ｂに重畳した処理画像５４ａを表示する第１の表示領域と、１以上の解剖学的構造物のそれぞれを識別するための１以上の構造ラベルを表示する第２の表示領域（例えば、構造ラベル欄５４ｃ）とを有する。そして、ビューワ装置５０は、医療用画像を表示する表示部５４と、１以上のアノテーション及び１以上の構造ラベルの一方に対するユーザの入力に応じて、１以上のアノテーション及び１以上の構造ラベルの他方の表示態様を変更する制御部５３とを備える。

【0120】

これにより、ビューワ装置５０は、第２の表示領域に表示されている構造ラベルをユーザが確認するだけで、どの解剖学的構造物に対する検出結果が処理画像５４ａに表示されているかを一目でユーザに認識させることができるので、ユーザによる解剖学的構造物の見落としの防止、及び、解剖学的構造物に対する理解の促進に寄与することができる。よって、ビューワ装置５０は、ユーザが処理画像５４ａを用いて診断する場合の診断効率の低下を抑制することができる。言い換えれば、ビューワ装置５０は、ユーザが処理画像５４ａを用いて診断する場合の診断効率を向上させることができる。

【0121】

また、制御部５３は、１以上のアノテーションのうち第１のアノテーションを選択する入力に応じて、当該第１のアノテーションに対応する解剖学的構造物の測定結果を、当該第１のアノテーションに対応する構造ラベルに追加表示する。

【0122】

これにより、制御部５３は、ユーザが必要なときにのみ測定結果を表示させることができる。制御部５３は、例えば、各解剖学的構造物の測定結果が常に表示されている場合に比べて表示される情報量を減らすことができるので、ユーザによる測定結果の理解を促進させることができる。よって、ビューワ装置５０は、測定結果を用いて診断する場合の診断効率の低下を抑制することができる。

【0123】

また、制御部５３は、１以上の構造ラベルのうちの第１の構造ラベルを選択する入力に応じて、当該第１の構造ラベルに対応するアノテーションの表示及び非表示を切り替える。

【0124】

これにより、ビューワ装置５０は、ユーザが必要なときにのみアノテーションを表示させることができる。制御部５３は、例えば、各アノテーションが常に表示されている場合に比べて表示される情報量を減らすことができるので、ユーザによる処理画像５４ａの理解を促進させることができる。よって、ビューワ装置５０は、処理画像５４ａを用いて診断する場合の診断効率の低下をより抑制することができる。

【0125】

また、医療用画像は、さらに、処理画像５４ａとの比較に用いられる比較用画像５４ｂを表示する第３の表示領域を有する。

【0126】

これにより、ビューワ装置５０は、一画面上に処理画像５４ａと比較用画像５４ｂとを表示することができるので、処理画像５４ａと比較用画像５４ｂとの比較をユーザに容易に行わせることができる。よって、ビューワ装置５０は、処理画像５４ａと比較用画像５４ｂとを比較して診断する場合の診断効率の低下を抑制することができる。

【0127】

また、医療用画像は、さらに、１以上の解剖学的構造物の異常に対する解析結果を表示する第４の表示領域（例えば、解析結果欄５４ｄ）を有する。

【0128】

これにより、ビューワ装置５０は、解析結果を用いてユーザに診断を行わせることが可能となる。解析結果を用いて診断が行われることで、ユーザによる診断精度の向上が期待できる。

【0129】

また、制御部５３は、１以上のアノテーション及び１以上の構造ラベルの一方に対する入力に応じて、当該入力により特定される解剖学的構造物の解析結果を第４の表示領域に表示する。

【0130】

これにより、制御部５３は、ユーザが必要なときにのみ解析結果を表示させることができる。制御部５３は、例えば、各解剖学的構造物の解析結果が常に表示されている場合に比べて表示される情報量を減らすことができるので、ユーザによる解析結果の理解を促進させることができる。よって、ビューワ装置５０は、解析結果を用いて診断する場合の診断効率の低下を抑制することができる。

【0131】

また、１以上のアノテーションは、１以上の解剖学的構造物のうち異常構造物及び正常構造物のそれぞれを示すセグメンテーションであり、異常構造物を示すセグメンテーションは、透過性を有する。

【0132】

これにより、ビューワ装置５０は、ユーザによる原画像の読影を、処理画像５４ａを用いて行わせることができる。よって、ビューワ装置５０は、原画像の読影を容易に行わせることができるので、診断効率の低下を抑制することができる。

【0133】

また、制御部５３は、異常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルの一方に対する入力に応じて、当該セグメンテーションの透過度合いを変化させる。

【0134】

これにより、制御部５３は、セグメンテーションの透過度合いをユーザの所望の透過度合いに変化させることができる。つまり、制御部５３は、ユーザが理解しやすい処理画像５４ａを提示する機能を有する。よって、ビューワ装置５０は、診断効率の低下をさらに抑制することができる。

【0135】

また、１以上のアノテーションは、１以上の解剖学的構造物のうち異常構造物及び正常構造物のそれぞれを示すセグメンテーションである。正常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルは、第１の表示色により表示され、異常構造物を示すセグメンテーション及び当該セグメンテーションに対応する構造ラベルは第１の表示色とは異なる第２の表示色により表示される。

【0136】

これにより、ビューワ装置５０は、異常の有無の検出対象である解剖学的構造物の検出結果を、２色の表示色で表示することができるので、色弱者を考慮した医療用画像を表示することができる。よって、ビューワ装置５０は、ユーザが色弱者であっても、診断効率の低下を抑制することができる。

【0137】

また、制御部５３は、セグメンテーション及び１以上の構造ラベルの一方に対する入力に応じて、第１の表示色及び第２の表示色の少なくとも一方の表示色を変化させる。

【0138】

これにより、制御部５３は、セグメンテーションの表示色をユーザの所望の表示色に変化させることができる。つまり、制御部５３は、ユーザが理解しやすい処理画像５４ａを提示する機能を有する。よって、ビューワ装置５０は、診断効率の低下をさらに抑制することができる。

【0139】

また、１以上のアノテーションは、さらに処理画像５４ａにおける１以上の解剖学的構造物の構造上の基準である基準構造物を示すセグメンテーションを含み、基準構造物を示すセグメンテーションは、無彩色で表示される。

【0140】

これにより、ビューワ装置５０は、基準構造物を表示する場合に、表示色が増えることを抑制することができる。よって、ビューワ装置５０は、ユーザが色弱者であっても、診断効率の低下をさらに抑制することができる。

【0141】

また、表示態様は、１以上のアノテーションのそれぞれを点滅表示する第１の表示モードと、１以上のアノテーションのうち入力に応じた第２のアノテーションを点滅表示し、かつ、当該第２のアノテーション以外のアノテーションを非表示とする第２の表示モードとを含む。そして、制御部５３は、第１の表示モードにおいて、１以上のアノテーションのうち第２のアノテーションを選択する入力を受け付けると、第１の表示モードから第２の表示モードに移行させる。

【0142】

これにより、制御部５３は、第１の表示モード及び第２の表示モードのうちユーザが所望する表示モードで処理画像５４ａを表示することができる。つまり、制御部５３は、ユーザが理解しやすい処理画像５４ａを提示する機能を有する。よって、ビューワ装置５０は、診断効率の低下をさらに抑制することができる。また、制御部５３は、アノテーションを点滅表示させることで、ユーザが操作を行うことなく、原画像が読影可能な画像を表示することができる。

【0143】

また、以上のように、本実施の形態に係る医療用画像表示方法は、医療用画像を表示する医療用画像表示方法である。医療用画像は、対象者を撮影した撮影画像３２ｂに写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像３２ｂに重畳した処理画像５４ａを表示する第１の表示領域と、１以上の解剖学的構造物のそれぞれを識別するための１以上の構造ラベルを表示する第２の表示領域（例えば、構造ラベル欄５４ｃ）とを有する。そして、医療用画像表示方法は、１以上のアノテーション及び１以上の構造ラベルの一方に対するユーザの入力に応じて、１以上のアノテーション及び１以上の構造ラベルの他方の表示態様を変更する（Ｓ６０）。また、以上のように、本実施の形態に係るプログラムは、上記の医療用画像表示方法をコンピュータに実行させるためのプログラムであってもよい。

【0144】

これにより、上記のビューワ装置５０と同様の効果を奏する。

【0145】

（実施の形態２）
［２－１．診断支援システムの構成］
図７は、本実施の形態に係るビューワ装置５０ａの構成を示すブロック図である。本実施の形態に係るビューワ装置５０ａは、主に画像処理部５５を有する点において、実施の形態１に係るビューワ装置５０と相違する。以降において、本実施の形態に係るビューワ装置５０ａについて、実施の形態１に係るビューワ装置５０との相違点を中心に説明する。また、実施の形態１に係るビューワ装置５０と同一又は類似の構成については、実施の形態１に係るビューワ装置５０と同一の符号を付し、説明を省略又は簡略化する。なお、診断支援システム１０が備える他の構成要素は、実施の形態１と同一又は類似であってもよく、説明を省略する。

【0146】

ビューワ装置５０ａは、受付部５２を介して得たユーザからの指示に従って、画像サーバ３０に保持されている撮影画像３２ｂ及び撮影画像３２ｂに付随する各種情報を様々な態様で表示する装置であり、通信部５１、受付部５２、制御部５３、表示部５４、及び、画像処理部５５を有する。

【0147】

画像処理部５５は、検出部４２による解剖学的構造物の抽出量（例えば、画素の数）に応じて、撮影画像３２ｂに対して画像処理を行う処理部である。画像処理部５５は、例えば、検出部４２による解剖学的構造物の抽出量が閾値未満である場合、抽出量が閾値未満である解剖学的構造物に対応する確率アトラスを撮影画像３２ｂに重畳する。確率アトラスは、解剖学的モデルであり、医療用画像上での各解剖学的構造の空間的な存在確率（確率マップ）を示す。確率アトラスは、解剖学的構造物の存在確率を示す存在確率マップであるとも言える。確率アトラスは、存在確率を示すので多値である。

【0148】

確率アトラスは、例えば、正常な解剖学的構造物をモデル化することで生成される。確率アトラスは、例えば、予め取得された多数の正常症例画像（正常な解剖学的構造物が写る画像）に基づいて生成される。具体的な手順として、まず、多数の正常症例画像のそれぞれに対して、対象とする解剖学的構造物が占める画像上の領域（解剖構造領域）を手動（マニュアル）で指定した基準画像が作成される。基準画像は、正解データ又は教師データとも呼ばれる。次に、肺野領域など当該解剖学的構造物以外の基準とし得る解剖構造物の位置又は大きさを用いて、指定された解剖構造領域が正規化される。多数の正常症例画像に基づく多数の基準画像のそれぞれに対して、正規化が行われる。次に、正規化された解剖構造領域を平均化することで、当該解剖学的構造物の存在確率を示す存在確率マップが構築される。当該存在確率マップは、確率アトラスに相当する。なお、確率アトラスの生成方法はこれに限定されず、既知のいかなる方法が用いられてもよい。

【0149】

本実施の形態では、確率アトラスは、「気管陰影」、「下行大動脈陰影」、「右房陰影」、「左室陰影」、「右横隔膜ドーム陰影」、及び、「左横隔膜ドーム陰影」の６つの正常な解剖学的構造物のそれぞれをモデル化することで生成される。確率アトラスは、予め生成されており、ビューワ装置５０ａの記憶装置に格納されているが、画像サーバ３０等から取得されてもよい。

【0150】

画像処理部５５は、例えば、制御部５３の制御により上記の処理を実行するが、これに限定されない。

【0151】

制御部５３は、実施の形態１に記載の制御に加えて、又は、実施の形態１に記載の制御に替えて、処理画像に確率アトラスを重畳して表示させるための制御を行う。制御部５３は、例えば、１以上のアノテーションのうち異常が検出された解剖学的構造物（異常構造物）を示すアノテーションのサイズが閾値未満である場合、当該異常構造物が正常である場合の正常構造（当該異常構造物が正常である場合に想定される正常構造）を示す確率アトラスを撮影画像に重畳して表示させる。

【0152】

ビューワ装置５０ａを構成する画像処理部５５は、具体的には、プログラムを保持する不揮発性メモリ、一時作業領域としての揮発性メモリ、プログラムを実行するプロセッサ、通信インタフェース及び通信ポートを含む入出力回路等を備える少なくとも一つのコンピュータで実現される。

【0153】

また、ビューワ装置５０ａを構成する通信部５１、制御部５３、及び、画像処理部５５は、一つのコンピュータ又は画像表示装置で実現されてもよいし、通信路で接続された複数のコンピュータ又は画像表示装置によって分散して実現されてもよい。

【0154】

なお、制御部５３は、検出部４２による解剖学的構造物の抽出量が閾値未満であるか否かの判定処理を行ってもよいし、外部の装置から判定結果を取得してもよい。

【0155】

［２－２．医療用画像の構成］
次に、表示部５４が表示する医療用画像の構成について、図８Ａ～図８Ｃを参照しながら説明する。図８Ａは、本実施の形態に係る表示部５４が表示する医療用画像の第１例を示す図である。なお、図８Ａ及び図８Ｂでは、各解剖学的構造のうち気管陰影の抽出量のみが閾値未満である場合について図示している。

【0156】

図８Ａは、検出部４２により気管陰影が検出されなかった場合の処理画像１５４ａを示す。つまり、図８Ａは、気管陰影の抽出量（構造抽出量）が閾値未満（０画素）である場合の処理画像１５４ａを示す。処理画像１５４ａは、医療用画像の一例である。

【0157】

この場合、画像処理部５５は、確率アトラス１５４ａ１を処理画像１５４ａに重畳して表示させる。また、画像処理部５５は、例えば、確率アトラス１５４ａ１をセグメンテーション（例えば、２値化表示）と異なる表示態様で表示させる。

【0158】

画像処理部５５は、例えば、セグメンテーションが輝度又は色調の少なくとも一方が一定に表示されている（例えば、２値化表示されている）場合、確率アトラス１５４ａ１をグラデーションで表示してもよい。グラデーションとは、輝度又は色調の少なくとも一方を次第に変化させて表示することをいう。画像処理部５５は、確率アトラス１５４ａ１を、例えば、第１色（例えば、黄色）から第２色（例えば、赤）までのグラデーションで表示してもよいし、第１の明るさ（例えば、暗い表示）から第２の明るさ（例えば、第１の明るさより明るい表示）までのグラデーションで表示してもよい。

【0159】

また、画像処理部５５は、例えば、確率アトラス１５４ａ１における確率が所定値未満である領域をグラデーションで表示してもよい。つまり、画像処理部５５は、確率アトラス１５４ａ１の一部のみをグラデーションで表示してもよい。図８Ａでは、確率アトラス１５４ａ１の外周のみを他の部分より明るく表示している例を示している。また、画像処理部５５は、例えば、確率アトラスのグラデーションに解剖学的構造物の存在確率の大きさを反映させてもよい。画像処理部５５は、存在確率が高いところを明るく（輝度を高く）、存在確率が低いところを暗く（輝度を低く）表示してもよい。画像処理部５５は、例えば、存在確率が高いところを暖色系で表示し、存在確率が低いところを寒色系で表示してもよい。つまり、画像処理部５５は、いわゆるヒートマップのような表示を行ってもよい。

【0160】

また、画像処理部５５は、例えば、セグメンテーションが透過性を有していない場合、確率アトラス１５４ａ１が透過性を有するように表示させてもよいし、セグメンテーションが透過性を有している場合、確率アトラス１５４ａ１が透過性を有していないように表示させてもよい。

【0161】

これにより、画像処理部５５は、処理画像１５４ａに確率アトラス１５４ａ１が重畳されている場合に、当該確率アトラス１５４ａ１をセグメンテーション（検出部４２により抽出された構造物）であるとユーザが誤って判断することを抑制することができる。また、画像処理部５５は、検出部４２の検出結果をそのまま表示する場合には表示されない解剖学的構造物を確率アトラス１５４ａ１として表示することで、ユーザが当該解剖学的構造物を見落としてしまうことを抑制することができる。

【0162】

なお、画像処理部５５は、例えば、第１基準構造及び第２基準構造に基づいて、確率アトラスの大きさ及び位置を調整してもよい。例えば、画像処理部５５は、第１基準構造及び第２基準構造の大きさ及び位置の少なくとも１つに基づいて、確率アトラスの大きさ及び位置の少なくとも１つを正規化してもよい。なお、確率アトラスの正規化に用いる基準となる解剖学的構造物は、第１基準構造及び第２基準構造であることに限定されず、他の基準となり得る解剖学的構造物であってもよい。

【0163】

続いて、検出部４２により気管陰影が検出されたが、抽出量（構造抽出量）が閾値未満である場合の処理画像１５４ｂについて、図８Ｂを参照しながら説明する。図８Ｂは、本実施の形態に係る表示部５４が表示する医療用画像の第２例を示す図である。図８Ｂでは、気管陰影の一部が検出部４２により抽出されたので、当該気管陰影の一部を示すセグメンテーション１５４ｂ２が処理画像１５４ｂに含まれる。

【0164】

図８Ｂに示すように、画像処理部５５は、確率アトラス１５４ｂ１をセグメンテーション１５４ｂ２が視認可能なように、処理画像１５４ｂに重畳して表示する。画像処理部５５は、例えば、異常構造物を示すセグメンテーション１５４ｂ２と確率アトラス１５４ｂ１とが処理画像１５４ｂに重畳して表示される場合、セグメンテーション１５４ｂ２が視認可能なようにセグメンテーション１５４ｂ２と確率アトラス１５４ｂ１とを表示する。画像処理部５５は、例えば、検出部４２において抽出された領域（セグメンテーション１５４ｂ２の領域）以外の領域を確率アトラス１５４ｂ１で表示するとも言える。確率アトラス１５４ｂ１とセグメンテーション１５４ｂ２とは表示態様が異なるので、確率アトラス１５４ｂ１とセグメンテーション１５４ｂ２とが混在していても、ビューワ装置５０ａは、ユーザが確率アトラス１５４ｂ１とセグメンテーション１５４ｂ２とを混同することを抑制することができる。

【0165】

続いて、検出部４２により検出された気管陰影の抽出量（構造抽出量）が閾値以上である場合の処理画像１５４ｃについて、図８Ｃを参照しながら説明する。図８Ｃは、本実施の形態に係る表示部５４が表示する医療用画像の第３例を示す図である。図８Ｃでは、気管陰影が検出部４２により閾値以上抽出されたので、当該気管陰影に対応する確率アトラスは表示されていない。

【0166】

図８Ｃに示すように、処理画像１５４ｃは、閾値以上の画素により構成されるセグメンテーション１５４ｃ１が重畳された画像である。この場合、処理画像１５４ｃに確率アトラスは表示されず、セグメンテーション１５４ｃ１を含む複数のセグメンテーションのみが重畳される。図８Ｃに示す処理画像１５４ｃは、例えば、図３に示す処理画像５４ａと同じ画像であってもよい。

【0167】

これにより、検出部４２により検出された気管陰影の抽出量（構造抽出量）が閾値以上であり、ユーザによる異常構造物の見落としが発生しにくい場合に、表示部５４に表示される情報を減らすことができるので、ユーザによる診断効率の低下を抑制することができる。

【0168】

なお、閾値は、例えば、解剖学的構造物ごとに設定されていてもよいし、表示部５４の画素数等により設定されてもよい。

【0169】

なお、確率アトラスを含む処理画像を表示する場合に図６に示すステップＳ７０～Ｓ７３に対応する操作が行われた場合、制御部５３は、セグメンテーションのみの表示態様を遷移させてもよいし、セグメンテーションに加えて確率アトラスの表示態様を遷移させてもよいし、確率アトラスのみの表示態様を遷移させてもよい。例えば、ステップＳ７１の遷移において、確率アトラスを非表示とした画像が原画像として表示されてもよい。また、確率アトラスの表示態様は、セグメンテーションと同様、確率アトラスの選択に応じて、点滅表示の有無が切り替えられてもよいし、透過度合いが可変であってもよいし、グラデーションの態様が切り替えられてもよい。なお、非表示とは、受付部５２が所定の操作を受け付けない限り確率アトラスが表示されない状態である。

【0170】

［２－３．診断支援システムの動作］
次に、以上のように構成される本実施の形態に係る診断支援システム１０の動作について、診断支援システム１０を構成する特徴的なビューワ装置５０ａの動作を中心に説明する。図９は、本実施の形態に係るビューワ装置５０ａの主要な動作（つまり、医療用画像表示方法）を示すフローチャートである。

【0171】

なお、図９では、ビューワ装置５０ａが実施の形態に係るビューワ装置５０の動作に加えて、ステップＳ１１０及びＳ１２０の動作を行う例について説明するが、これに限定されず、ビューワ装置５０ａは、少なくともステップＳ１１０及びＳ１２０の動作を行えばよい。また、図９において、図５と同一又は類似の動作については図５と同一の符号を付し、説明を省略する。

【0172】

図９に示すように、制御部５３は、取得した撮影画像３２ｂに異常構造（異常構造物）がある場合（Ｓ２０でＹｅｓ）、さらに抽出量が閾値未満の構造（異常構造物）があるか否かを判定する（Ｓ１１０）。制御部５３は、例えば、構造ラベル欄５４ｃに含まれる各構造ラベルが示す解剖学的構造物のそれぞれにおいて、抽出量が閾値未満の異常構造物があるか否かを判定してもよい。抽出量は、例えば、画素数であるが、これに限定されない。制御部５３は、例えば、ビューワ装置５０ａが有する記憶装置（図示しない）から画素数の閾値を読み出し、読み出した閾値と撮影画像３２ｂにおけるセグメンテーションの画素数とを比較することで、ステップＳ１１０の判定を行う。なお、画素数の閾値は、解剖学的構造物毎に設定される。また、抽出量の他の例として、画素数を当該解剖学的構造物の標準的な画素数で除した割合とすることもできる。

【0173】

制御部５３は、抽出量が閾値未満の構造（異常構造物）がある場合（Ｓ１１０でＹｅｓ）、確率アトラスを撮影画像３２ｂに重畳する処理を画像処理部５５に行わせる。画像処理部５５は、ビューワ装置５０ａが有する記憶装置（図示しない）から抽出量が閾値未満の異常構造物に対する確率アトラスを読み出し、読み出した確率アトラスを撮影画像３２ｂに重畳する。つまり、画像処理部５５は、抽出量が閾値未満の異常構造物に応じた確率アトラスを撮影画像３２ｂに重畳する（Ｓ１２０）。画像処理部５５は、確率アトラスを撮影画像３２ｂにおける当該異常構造物に対応する位置に重畳する。

【0174】

このように、制御部５３は、異常構造物を示すセグメンテーションのサイズが閾値未満であるか否かを判定し、セグメンテーションのサイズが閾値未満であると判定した場合に、当該異常構造物に対応する確率アトラスを撮影画像３２ｂに重畳して表示させる。

【0175】

また、制御部５３は、抽出量が閾値未満の構造（異常構造物）がない場合（Ｓ１１０でＮｏ）、ステップＳ３０の処理に進む。

【0176】

なお、制御部５３は、ステップＳ５０において、セグメンテーション表示（セグメンテーション）に替えて確率アトラスの選択を受け付けた場合、ステップＳ６０において、選択を受け付けた確率アトラスに関する情報、及び、解析結果を表示部５４に表示してもよい。

【0177】

確率アトラスに関する情報は、例えば、確率アトラスの大きさ、画素数等であってもよいし、確率アトラスを表示している旨を示す情報であってもよい。また、解析結果は、異常な解剖学的構造物を表示するセグメンテーションの画素数であってもよい。

【0178】

なお、ビューワ装置５０ａは、処理画像１５４ａ～１５４ｃを医療用画像として表示部５４に表示させてもよいし、図３に示す処理画像５４ａに替えて処理画像１５４ａ～１５４ｃを含む医療用画像として表示部５４に表示させてもよい。ビューワ装置５０ａは、例えば、処理画像１５４ａ～１５４ｃのいずれか１つの処理画像、比較用画像５４ｂ、構造ラベル欄５４ｃ、及び、解析結果欄５４ｄを含む医療用画像を表示部５４に表示させてもよい。

【0179】

［２－４．効果等］
以上のように、本実施の形態に係るビューワ装置５０ａ（医療用画像表示システムの一例）は、医療用画像を表示する医療用画像表示システムである。医療用画像は、対象者を撮影した撮影画像３２ｂに写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーション（例えば、セグメンテーション１５４ｂ２等）を当該撮影画像３２ｂに重畳した処理画像１５４ａ等を含む。ビューワ装置５０ａは、医療用画像を表示する表示部５４と、１以上のアノテーションのうち異常が検出された解剖学的構造物（異常構造物）を示すアノテーションのサイズが閾値未満である場合、当該異常構造物が正常である場合の正常構造を示す確率アトラス１５４ａ１等を撮影画像３２ｂに重畳して表示させる制御部５３とを備える。

【0180】

これにより、ビューワ装置５０ａは、異常構造物を示すアノテーションのサイズが小さくユーザが異常を見落としてしまう可能性がある場合に、当該異常構造物が正常である場合の正常構造を示す確率アトラス１５４ａ１等を表示するので、ユーザによる解剖学的構造物の異常の見落としを抑制することができる。よって、ビューワ装置５０ａは、ユーザが処理画像１５４ａ等を用いて診断する場合の診断効率の低下を抑制することができる。

【0181】

また、確率アトラス１５４ａ１等は、１以上のアノテーションと表示態様が異なる。

【0182】

これにより、ビューワ装置５０ａは、ユーザがアノテーションと確率アトラス１５４ａ１等とを混同することを抑制することができる。よって、ビューワ装置５０ａは、アノテーションと確率アトラス１５４ａ１等との表示態様が同じ場合に比べて診断効率の低下を抑制することができる。

【0183】

また、１以上のアノテーションは、例えば、透過性を有しておらず、確率アトラス１５４ａ１等は、例えば、透過性を有してもよい。

【0184】

これにより、ビューワ装置５０ａは、確率アトラス１５４ａ１等が透過性を有するような表示を行うだけで、ユーザがアノテーションと確率アトラス１５４ａ１等とを混同することを抑制することができる。

【0185】

また、１以上のアノテーションは、例えば、輝度又は色調の少なくとも一方が一定に表示され、確率アトラス１５４ａ１等は、輝度又は色調の少なくとも一方を次第に変化させるグラデーションにより表示されてもよい。

【0186】

これにより、ビューワ装置５０ａは、確率アトラス１５４ａ１等をグラデーション表示するだけで、ユーザがアノテーションと確率アトラス１５４ａ１等とを混同することを抑制することができる。

【0187】

また、制御部５３は、異常が検出された解剖学的構造物を示すアノテーションと、確率アトラス１５４ａ１等とが撮影画像３２ｂに重畳して表示される場合、アノテーションが視認可能なようにアノテーションと確率アトラス１５４ａ１等とを表示する。

【0188】

これにより、ビューワ装置５０ａは、確率アトラス１５４ａ１等を表示する場合であっても、検出部４２が検出したアノテーションをユーザに視認させることができる。つまり、ユーザは、検出部４２が検出したアノテーションも含めて診断を行うことができる。よって、ビューワ装置５０ａは、検出部４２が検出したアノテーションをユーザに視認さない場合に比べて診断効率の低下を抑制することができる。

【0189】

また、制御部５３は、異常が検出された解剖学的構造物を示すアノテーションのサイズが閾値未満であるか否かを判定し、アノテーションのサイズが閾値未満であると判定した場合に、当該異常が検出された解剖学的構造物に対応する確率アトラス１５４ａ１等を撮影画像３２ｂに重畳して表示させる。

【0190】

これにより、ビューワ装置５０ａおいて、確率アトラスを重畳するか否かの判定から確率アトラスを重畳するまでの動作を一括して行うことができる。

【0191】

また、以上のように、本実施の形態に係る医療用画像表示方法は、医療用画像を表示する医療用画像表示方法である。医療用画像は、対象者を撮影した撮影画像３２ｂに写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像３２ｂに重畳した画像を含む。そして、医療用画像表示方法は、１以上のアノテーションのうち異常が検出された解剖学的構造物を示すアノテーションのサイズが閾値未満である場合（Ｓ１１０でＹｅｓ）、当該異常が検出された解剖学的構造物が正常である場合の正常構造を示す確率アトラス１５４ａ１等を撮影画像３２ｂに重畳して表示させる（Ｓ１２０）。また、以上のように、本実施の形態に係るプログラムは、上記の医療用画像表示方法をコンピュータに実行させるためのプログラムであってもよい。

【0192】

これにより、上記のビューワ装置５０ａと同様の効果を奏する。

【0193】

（その他の実施の形態）
以上、本開示の診断支援システム、医療用画像表示システム及び医療用画像表示方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。

【0194】

例えば、上記実施の形態では、医療用画像表示システムの一例としてビューワ装置を例示したが、医療用画像表示システムはビューワ装置に加えて、撮影装置、画像サーバ、及び、異常検出システムの少なくとも１つを備えていてもよい。

【0195】

また、上記実施の形態では、検出部は、ニューラルネットワークモデルを用いて検出を行う例について説明したが、学習済みの機械学習モデルはニューラルネットワークモデルに限定されず、いなかる機械学習モデルが用いられてもよい。また、検出部は、学習済みの機械学習モデルを用いて解剖学的構造物の検出を行うことに限定されず、例えば、パターンマッチング技術を用いて解剖学的構造物の検出を行ってもよい。撮影画像から解剖学的構造物を検出する方法は、既知のいなかる技術が用いられてもよい。

【0196】

また、上記実施の形態では、色弱なユーザを配慮して、セグメンテーションは、２色（黄色及び青色）と、白色（つまり、輝度の調整）とで表示される例について説明したが、これに限定されない。ビューワ装置は、例えば、ビューワ装置を使用するユーザが色弱であるか否かの入力を受付部を介して取得し、取得した入力に応じて解剖学的構造物を検出したアノテーションを表示する表示色を変化させてもよい。例えば、ビューワ装置は、ユーザが色弱である場合、上記実施の形態で説明した表示色の表示を行い、ユーザが色弱ではない場合、３色以上の表示色の表示を行ってもよい。ビューワ装置は、ユーザが色弱ではない場合、例えば、解剖学的構造物ごとに表示色を変化させてもよい。

【0197】

また、上記実施の形態における医療用画像表示方法には、ビューワ装置による処理が含まれたが、これらの処理に限定されず、さらに、異常検出システムによる処理（例えば、異常の検出処理）、及び、撮影装置による処理の少なくとも一つが含まれていてもよい。

【0198】

また、上記実施の形態では、アノテーションの一例としてセグメンテーションを説明したが、アノテーションはこれに限定されない。アノテーションは、例えば、検出部が検出した領域を線（例えば、破線）で囲む枠状であってもよい。

【0199】

また、上記実施の形態における基準構造物を示す線状のアノテーションの太さは、正常構造物及び異常構造物のそれぞれが線状のアノテーションで表示される場合、正常構造物を示す線状のアノテーション及び異常構造物を示す線状のアノテーションのそれぞれの太さより細くてもよい。

【0200】

また、上記実施の形態では、処理画像及び原画像が一画面上に表示される例について説明したが、これに限定されず、所定の操作の受付により処理画像及び原画像が交互に表示されてもよい。

【0201】

また、上記実施の形態では、医療用画像には、２枚の撮影画像が表示される例について説明したが、１枚の医療用画像に表示される撮影画像の数は２つに限定されず、３つ以上であってもよい。なお、３つ以上の撮影画像のうち１枚の撮影画像は、異常検出システムの検出部の検出結果を示す画像である。

【0202】

また、異常検出システム及びビューワ装置が有する機能は、異常検出システム及びビューワ装置の間においてどのように振り分けられてもよい。例えば、ビューワ装置が有する画像処理部は、異常検出システムが有していてもよい。また、異常検出システム及びビューワ装置は、例えば、単一の装置として実現されてもよいし、複数の装置（例えば、３つ以上の装置）によって実現されてもよい。異常検出システム及びビューワ装置が複数の装置によって実現される場合、異常検出システム及びビューワ装置が有する構成要素は、複数の装置にどのように振り分けられてもよい。また、複数の装置間の通信方法は、特に限定されない。

【0203】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0204】

また、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、プロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。プロセッサは、半導体集積回路（ＩＣ）、又はＬＳＩ（Ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路で構成される。複数の電子回路は、一つのチップに集積されていてもよいし、複数のチップに設けられてもよい。複数のチップは一つの装置に集約されていてもよいし、複数の装置に備えられていてもよい。

【0205】

また、上記実施の形態において説明された複数の処理の順序は一例である。複数の処理の順序は、変更されてもよいし、複数の処理の少なくとも一部は、並行して実行されてもよい。

【0206】

また、本開示の一態様は、医療用画像表示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、ＤＶＤ等のコンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。

【0207】

また、本開示の全般的又は具体的な態様は、システム、方法、集積回路、上記のコンピュータプログラム又は上記の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。

【産業上の利用可能性】

【0208】

本開示に係る医療用画像表示システム及び医療用画像表示方法は、医療用画像に含まれる解剖学的構造物について異常の有無を検出するシステムとして、例えば、医師が効率的に病気を診断するのを支援するシステムとして利用できる。

【符号の説明】

【0209】

１０ 診断支援システム
２０ 撮影装置
３０ 画像サーバ
３１ａ、３１ｂ、３２ａ、３２ｂ 撮影画像
４０ 異常検出システム
４１、５１ 通信部
４２ 検出部
４３ 解析部
５０、５０ａ ビューワ装置
５２ 受付部
５３ 制御部
５４ 表示部
５４ａ、１５４ａ、１５４ｂ、１５４ｃ 処理画像
５４ｂ 比較用画像
５４ｃ 構造ラベル欄
５４ｃ１ 気管陰影
５４ｃ２ 測定値
５４ｄ 解析結果欄
５５ 画像処理部
１５４ａ１、１５４ｂ１ 確率アトラス
１５４ｂ２、１５４ｃ１ セグメンテーション
Ｉ１ 初期状態
Ｉ２ａ 全構造表示
Ｉ２ｂ、Ｉ３ｂ 原画像
Ｉ３ａ 選択構造表示

【要約】

医療用画像表示システムは、医療用画像を表示する医療用画像表示システムであって、医療用画像は、対象者を撮影した撮影画像（３２ｂ）に写る１以上の解剖学的構造物の検出結果を示す１以上のアノテーションを当該撮影画像（３２ｂ）に重畳した画像を含む。そして、医療用画像表示システムは、医療用画像を表示する表示部（５４）と、１以上のアノテーションのうち異常がある解剖学的構造物を示すアノテーションのサイズが閾値未満である場合（Ｓ１１０でＹｅｓ）、当該異常がある解剖学的構造物が正常である場合の正常構造を示す確率アトラス（１５４ａ１）を撮影画像（３２ｂ）に重畳して表示させる制御部（５３）とを備える。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】