特開 2024-53473 優先度決定方法及び優先度決定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024053473

(43)【公開日】2024-04-15

(54)【発明の名称】優先度決定方法及び優先度決定プログラム

(51)【国際特許分類】

   A61B 5/055 20060101AFI20240408BHJP

   G16H 30/20 20180101ALI20240408BHJP

   A61B 6/03 20060101ALI20240408BHJP

【ＦＩ】

A61B5/055 380

G16H30/20

A61B6/03 360T

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022159785

(22)【出願日】2022-10-03

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】山口 達也

(72)【発明者】

【氏名】石原 正樹

(72)【発明者】

【氏名】馬場 孝之

【テーマコード（参考）】

4C093

4C096

5L099

【Ｆターム（参考）】

4C093AA22

4C093AA24

4C093AA26

4C093FA35

4C093FD03

4C093FF17

4C093FF18

4C093FF24

4C096AA03

4C096AA12

4C096AB36

4C096AC05

4C096AD14

4C096DC20

4C096DC21

4C096DC25

4C096DC40

5L099AA26

(57)【要約】

【課題】ダイナミック検査で撮影される複数の画像の優先度を適切に決定することを課題とする。
【解決手段】優先度決定方法では、ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、画像を良性または悪性のクラスに分類する機械学習モデルに第１の画像セットが入力された際の出力と、機械学習モデルに第２の画像セットが入力された際の出力との差に基づくスコアを第２の画像セットごとに算出し、複数の第２の画像セットのうちスコアが特定の条件を満たす第２の画像セットを出力する、処理をコンピュータが実行する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、
画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、
前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、
処理をコンピュータが実行することを特徴とする優先度決定方法。

【請求項2】

前記算出する処理は、前記第１の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力すると共に、前記第２の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力する処理を含む、
ことを特徴とする請求項１に記載の優先度決定方法。

【請求項3】

前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の最終層または中間層の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の前記最終層または前記中間層の出力との差に基づくスコアを算出する処理を含む、
ことを特徴とする請求項１に記載の優先度決定方法。

【請求項4】

前記生成する処理は、前記複数の第２の画像セットのうち前記スコアが最高である第２の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第３の画像セットを生成する処理を含み、
前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第３の画像セットが入力された際の出力との差に基づくスコアを前記第３の画像セットごとに算出する処理を含み、
前記出力する処理は、前記複数の第３の画像セットのうち前記スコアが最高である第３の画像セットを出力する処理を含む、
ことを特徴とする請求項１に記載の優先度決定方法。

【請求項5】

前記ダイナミック検査は、造影剤を用いるＭＲＩ検査またはＣＴ検査に対応する、
ことを特徴とする請求項１に記載の優先度決定方法。

【請求項6】

ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、
画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、
前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、
処理をコンピュータに実行させることを特徴とする優先度決定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、優先度決定方法及び優先度決定プログラムに関する。

【背景技術】

【0002】

例えば、検査画像を用いた診断の効率化を支援する技術として、未読の医療検査資料に含まれる画像に対する自動画像解析によって得られる所見に基づいて、未読の医療検査資料の優先度情報を決定する従来技術１が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－０８７４７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の従来技術１に代表される従来技術では、ダイナミック検査で撮影される複数の画像の優先度を適切に決定することが困難である側面がある。

【0005】

すなわち、上記の自動画像解析では、画像に異常がある可能性を示す異常性スコアが高い画像の優先度が一律に高く決定される。つまり、上記の従来技術１では、ＡＩ（Artificial Intelligence）などにより異常に対応する特徴が検出される画像の優先度が一律に高く決定される。

【0006】

ところが、診断においては、上記の自動画像解析で特徴が検出される画像の優先度が必ずしも高いとは限らない。ダイナミック検査では、造影剤が組織内を移動する様子が複数のタイミングで撮影されるが、複数の時相のうち特定の時相における画像に特徴が検出されないことが診断を左右する所見となる場合がある。

【0007】

あくまで１つの事例として、Ｇｄ－ＥＯＢ－ＤＴＰＡ造影剤（以下、ＥＯＢ造影剤）を用いるＭＲＩ（Magnetic Resonance Imaging）検査で肝腫瘤の良性または悪性を鑑別する場合を例に挙げる。この場合、悪性のがんでは、動脈相で病変が造影剤に早期に濃染して速やかにウオッシュアウトする一方で、良性の血管腫では、時間経過に連れて病変および周囲のコントラスト差が徐々に減少する。このため、悪性のがんでは、後期相で病変および周囲のコントラストが大きくなる一方で、良性の血管腫では、後期相で病変および周囲のコントラストが小さくなる。このことから、肝腫瘤から良性の血管腫を識別する場合、ダイナミック相、例えば後期相で病変および周囲のコントラストが小さい、言い換えれば画像に特徴がないという所見が重要となる場合がある。

【0008】

ところが、上記の従来技術１では、異常に対応する特徴が検出されない画像の優先度が一律に低く決定される。このため、後期相の画像の優先度が高く決定されるどころか低く決定されてしまう。このように、上記の従来技術１では、ＥＯＢ造影剤ＭＲＩ検査で撮影される複数の画像の優先度を適切に決定するのが困難である側面がある。

【0009】

１つの側面では、本発明は、ダイナミック検査で撮影される複数の画像の優先度を適切に決定できる優先度決定方法及び優先度決定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

１つの側面にかかる優先度決定方法では、ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、処理をコンピュータが実行する。

【発明の効果】

【0011】

一実施形態によれば、ダイナミック検査で撮影される複数の画像の優先度を適切に決定できる。

【図面の簡単な説明】

【0012】

【図1】図１は、サーバ装置の機能構成例を示すブロック図である。

【図2】図２は、ダイナミック検査の一例を示す図である。

【図3】図３は、検査画像セットの一例を示す図である。

【図4】図４は、検査画像セットの一例を示す図である。

【図5】図５は、診断モデルの一例を示す模式図である。

【図6】図６は、寄与度計測画像セットの生成例を示す模式図である。

【図7】図７は、寄与度の算出例を示す模式図である。

【図8】図８は、寄与度算出結果の一例を示す模式図である。

【図9】図９は、優先度決定結果の比較例を示す図である。

【図10】図１０は、検査画像セットの一例を示す図である。

【図11】図１１は、クライアント端末への表示例を示す図である。

【図12】図１２は、クライアント端末への表示例を示す図である。

【図13】図１３は、クライアント端末への表示例を示す図である。

【図14】図１４は、クライアント端末への表示例を示す図である。

【図15】図１５は、優先度決定処理の手順を示すフローチャートである。

【図16】図１６は、寄与度算出処理の手順を示すフローチャートである。

【図17】図１７は、検査画像データの一例を示す図である。

【図18】図１８は、寄与度データの一例を示す図である。

【図19】図１９は、表示制御処理の手順を示すフローチャートである。

【図20】図２０は、病変検出モデルの一例を示す模式図である。

【図21】図２１は、病変診断モデルの一例を示す模式図である。

【図22】図２２は、絞込用画像セットの一例を示す図である。

【図23】図２３は、最高寄与度の検査画像の絞込結果の一例を示す図である。

【図24】図２４は、クライアント端末への表示例を示す図である。

【図25】図２５は、ハードウェア構成例を示す図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して本願に係る画像の優先度決定方法及び優先度決定プログラムの実施例について説明する。各実施例には、あくまで１つの例や側面を示すに過ぎず、このような例示により数値や機能の範囲、利用シーンなどは限定されない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【実施例0014】

＜全体構成＞
図１は、サーバ装置１０の機能構成例を示すブロック図である。図１に示すサーバ装置１０は、医療用画像管理システム、あるいは画像保存通信システムなどと呼ばれるＰＡＣＳ（Picture Archiving and Communication System）に関する機能を提供するものである。

【0015】

ここで言う「ＰＡＣＳ」には、医療用の撮影装置２０、いわゆるモダリティにより撮影される検査画像を保存する画像保存機能や検査画像をクライアント端末３０へ伝送する伝送機能などが含まれてよい。

【0016】

図１に示すように、サーバ装置１０は、ネットワークＮＷを介して、撮影装置２０およびクライアント端末３０に接続され得る。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってよい。

【0017】

撮影装置２０は、ＣＴ（Computed Tomography）やＭＲＩを始め、デジタルＸ線診断装置、血管造影Ｘ線診断装置や超音波診断装置などの各種の医療機器により実現されてよい。このような撮影装置２０により撮影される検査画像は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）などの通信規格にしたがってサーバ装置１０へ伝送されてよい。

【0018】

クライアント端末３０は、上記のＰＡＣＳ機能の提供を受けるコンピュータの一例に対応する。例えば、クライアント端末３０は、上記のＰＡＣＳ機能の提供を受けるアカウントが発行された医療関係者、例えば放射線科の医師、いわゆる読影医により利用され得る。このようなクライアント端末３０は、あくまで一例として、デスクトップ型またはラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータにより実現されてよい。

【0019】

サーバ装置１０は、上記のＰＡＣＳ機能を提供する情報処理装置の一例に対応する。一実施形態として、サーバ装置１０は、上記のＰＡＣＳ機能をオンプレミスに提供するＤＩＣＯＭサーバとして実現され得る。他の実施形態として、サーバ装置１０は、ＰａａＳ（Platform as a Service）型、あるいはＳａａＳ（Software as a Service）型のアプリケーションとして実現することで、上記のＰＡＣＳ機能をクラウドサービスとして提供できる。

【0020】

なお、図１には、サーバ装置１０が上記のＰＡＣＳ機能をクライアント端末３０に提供する利用シーンを例に挙げるが、これはあくまで一例に過ぎない。例えば、クライアント端末３０上で動作するアプリケーションが上記のＰＡＣＳ機能に対応する処理をクライアント端末３０に実行させることにより、上記のＰＡＣＳ機能がスタンドアロンで提供されてもよい。

【0021】

＜課題の一側面＞
上記の背景技術の欄で説明した通り、上記の従来技術１に代表される従来技術では、ダイナミック検査で撮影される複数の画像の優先度を適切に決定することが困難である側面がある。

【0022】

すなわち、上記の従来技術１で実行される自動画像解析では、画像に異常がある可能性を示す異常性スコアが高い画像の優先度が一律に高く決定される。つまり、上記の従来技術１では、ＡＩなどにより異常に対応する特徴が検出される画像の優先度が一律に高く決定される。

【0023】

ところが、診断においては、上記の自動画像解析で特徴が検出される画像の優先度が必ずしも高いとは限らない。ダイナミック検査では、造影剤が組織内を移動する様子が複数のタイミングで撮影されるが、複数の時相のうち特定の時相における画像に特徴が検出されないことが診断を左右する所見となる場合がある。

【0024】

このような所見が要求されるダイナミック検査の例として、ＥＯＢ造影剤を用いるＭＲＩ検査で肝腫瘤の良性または悪性を鑑別する場合を例に挙げる。

【0025】

図２は、ダイナミック検査の一例を示す図である。図２には、ＥＯＢ造影剤を用いるＭＲＩ検査でＥＯＢ造影剤が肝臓の組織内を移動する様子を撮影する複数のタイミングが示されている。図２に示すように、造影前には、磁気共鳴現象の縦緩和、いわゆるＴ１が強調されたＭＲＩ画像、いわゆるＴ１ＷＩ（Weighted Image）がＭＲＩにより撮影される。その後、ＥＯＢ・プリモビスト（０．１ｍＬ／ｋｇ）が静脈内に投与される。

【0026】

このＥＯＢ造影剤は、約２０分かけて肝細胞に取り込まれる。このようなＥＯＢ造影剤による経時変化がダイナミック相としてＭＲＩにより撮影される。例えば、ＥＯＢ造影剤の投与から３０秒後に動脈相のＭＲＩ画像が撮影され、６０秒後または９０秒後に門脈相のＭＲＩ画像が撮影され、１２０秒後または１８０秒後に後期相のＭＲＩ画像が撮影される。

【0027】

その上で、ＥＯＢ造影剤投与の１０分、１５分または２０分経過後、肝細胞造影相のＭＲＩ画像が撮影される。さらに、ＥＯＢ造影剤が投与されてから肝細胞相までの時間を利用して、磁気共鳴現象の横緩和、いわゆるＴ２が強調されたＴ２ＷＩや分子のブラウン運動の程度が画像化されるＤＷＩ（Diffusion Weighted Image）などのＭＲＩ画像が撮影される。

【0028】

このように、ＥＯＢ造影剤を用いるダイナミック検査では、撮影のタイミングや磁気共鳴現象の条件などの撮影条件を変化させて、造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの７枚のＭＲＩ画像が撮影され得る。なお、上記７枚のＭＲＩ画像は、あくまで一例に過ぎず、一部が欠けてもよいし、その他の種類のＭＲＩ画像が追加されてもよい。

【0029】

以下、ダイナミック検査で撮影される複数の検査画像、例えば上記７枚のＭＲＩ画像の集合を指して「検査画像セット」と記載する場合がある。

【0030】

肝腫瘤の良性腫瘤として知られる血管腫は、ＥＯＢ造影剤を用いるＭＲＩ検査で得られた検査画像セットから識別が可能である。ＥＯＢ造影ＭＲＩでは、複数の時相で撮影された検査画像セットに含まれる検査画像同士を比較することにより、診断が実施される。

【0031】

図３および図４は、検査画像セットの一例を示す図である。図３および図４には、検査画像の例として、検査画像のうち病変に対応する肝腫瘤およびその周辺の領域がクロップされたクロップ画像が示されている。さらに、図３には、病変が悪性のがんに対応する検査画像セットが例示される一方で、図４には、病変が血管腫に対応する検査画像セットが例示されている。

【0032】

図３に示すように、悪性のがんの検査画像セットでは、動脈相で病変が造影剤に早期に濃染してから速やかにウオッシュアウトする。このため、後期相で病変および周囲のコントラストが大きくなる。例えば、動脈相で濃染が高信号（白色）で描画された後、門脈相および後期相で造影剤がウオッシュアウトした病変が低信号（黒色）で描画される。

【0033】

一方、図４に示すように、血管腫の検査画像セットでは、時間経過にしたがって病変および周囲のコントラストが徐々に減少する。例えば、動脈相では病変がその周辺よりも黒い低信号で描画された後、門脈相、後期相の順に病変の描画が等信号（灰色）に近づいてゆく。

【0034】

このように、肝腫瘤から良性の血管腫を識別する場合、ダイナミック相に血管腫および悪性のがんの違いが現れ易いので、ダイナミック相の優先度を高めるのが臨床において正しい。

【0035】

しかしながら、上記の従来技術１では、異常に対応する特徴が検出される画像の優先度が一律に高く決定される。例えば、図４に示す検査画像セットを例に挙げれば、造影前、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩなどの優先度が高く決定される。言い換えれば、上記の従来技術１では、異常に対応する特徴が検出されない画像の優先度が一律に低く決定される。例えば、図４に示す検査画像セットを例に挙げれば、病変およびその周囲のコントラストが小さいダイナミック相の優先度が低く決定される。特に、後期相では、病変の描画が等信号に近づいているので、高い優先度を割り当てることは困難である。

【0036】

したがって、上記の従来技術１では、ＥＯＢ造影ＭＲＩで撮影される複数の検査画像の優先度を適切に決定するのが困難である側面がある。

【0037】

このような課題の一側面を解決する側面から、本実施例に係るＰＡＣＳ機能には、ダイナミック検査で撮影される複数の画像の優先度を適切に決定する優先度決定機能がパッケージ化される。

【0038】

＜サーバ装置の構成＞
上記の優先度決定機能を有するサーバ装置１０の機能構成例について説明する。図１には、サーバ装置１０が有する優先度決定機能に関連するブロックが模式化されている。図１に示すように、サーバ装置１０は、通信制御部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記の優先度決定機能に関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部がサーバ装置１０に備わることとしてもよい。

【0039】

通信制御部１１は、撮影装置２０やクライアント端末３０などの他の装置との間の通信を制御する機能部である。あくまで一例として、通信制御部１１は、ＬＡＮカードなどのネットワークインタフェイスカードにより実現され得る。１つの側面として、通信制御部１１は、撮影装置２０により撮影された検査画像セットを受け付けたり、クライアント端末３０から検査画像セットの閲覧を要求する閲覧リクエストを受け付けたりする。他の側面として、通信制御部１１は、上記の閲覧リクエストに対応する検査画像セットのうち優先度が高い検査画像の組合せをクライアント端末３０へ出力したりする。

【0040】

記憶部１３は、各種のデータを記憶する機能部である。あくまで一例として、記憶部１３は、サーバ装置１０の内部、外部または補助のストレージにより実現され得る。例えば、記憶部１３は、検査画像データ１３Ａと、診断モデルデータ１３Ｂと、寄与度データ１３Ｃとを記憶する。なお、検査画像データ１３Ａ、診断モデルデータ１３Ｂおよび寄与度データ１３Ｃの説明は、参照、生成または登録が実行される場面で併せて説明することとする。

【0041】

制御部１５は、サーバ装置１０の全体制御を行う機能部である。例えば、制御部１５は、ハードウェアプロセッサにより実現され得る。この他、制御部１５は、ハードワイヤードロジックにより実現されてもよい。図１に示すように、制御部１５は、取得部１５Ａと、判定部１５Ｂと、画像セット生成部１５Ｃと、寄与度算出部１５Ｄと、表示制御部１５Ｅとを有する。

【0042】

取得部１５Ａは、クライアント端末３０から各種の情報を取得する処理部である。あくまで一例として、取得部１５Ａは、撮影装置２０によりダイナミック検査で撮影された検査画像セットを取得する。このように取得された検査画像セットは、検査画像セットの識別情報、例えば図示しない電子カルテシステムまたは検査システムなどにより発行された検査オーダの識別情報などが関連付けられた上で記憶部１３に記憶された検査画像データ１３Ａに追加される。

【0043】

判定部１５Ｂは、検査画像セットを診断モデルに適用することにより、病変が陽性であるか否かを判定する処理部である。あくまで一例として、判定部１５Ｂは、記憶部１３に記憶された検査画像データ１３Ａに新規の検査画像セットが追加された場合、処理を起動する。すなわち、判定部１５Ｂは、記憶部１３に記憶された診断モデルデータ１３Ｂを図示しないワークエリアに読み込む。その上で、判定部１５Ｂは、新規の検査画像セットを診断モデルへ入力することにより、病変が陽性であるか否か、すなわち良性または悪性の病変が存在するか否かを判定する。

【0044】

このような「診断モデル」は、あくまで一例として、１または複数の画像を正常、病変良性または病変悪性に分類するクラス分類タスクを実行する機械学習モデルにより実現され得る。例えば、診断モデルは、画像認識タスクに用いられる畳み込みニューラルネットワーク、いわゆるＣＮＮ（Convolutional Neural Network）系のＶＧＧやＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどのライブラリにより実現されてよい。

【0045】

図５は、診断モデルの一例を示す模式図である。図５に示すように、診断モデルｍ１１の訓練には、検査画像セットおよび正解ラベルが対応付けられた訓練データを含むデータセットＴＲ１１を用いることができる。例えば、図５には、データセットＴＲ１１のあくまで一例として、３つのクラス「正常」、「病変良性（血管腫）」および「病変悪性（肝臓がん）」の正解ラベルごとに検査画像セットが対応付けられた３つの訓練データが抜粋して例示されている。

【0046】

訓練フェイズでは、検査画像セットを診断モデルｍ１１の説明変数とし、ラベルを診断モデルｍ１１の目的変数とし、任意の機械学習のアルゴリズム、例えば深層学習にしたがって診断モデルｍ１１を訓練できる。例えば、検査画像セットが入力された診断モデルｍ１１の出力と、正解ラベルとの損失を診断モデルｍ１１に逆伝播させることにより、診断モデルｍ１１のパラメータを更新する。このようにして得られた訓練済みの診断モデルＭ１１に関するデータが診断モデルデータ１３Ｂとして記憶部１３に保存される。例えば、診断モデルデータ１３Ｂには、診断モデルＭ１１を形成する入力層、隠れ層及び出力層のニューロンやシナプスなどの層構造に関連するハイパーパラメータ、各層の重みやバイアスなどの目的関数に関するパラメータが含まれてよい。

【0047】

推論フェイズでは、検査画像データ１３Ａに追加された新規の検査画像セットを診断モデルＭ１１へ入力する。このように検査画像セットが入力された診断モデルＭ１１は、最終層から出力されるクラス別の確信度のうち確信度が最高であるクラス「正常」、「病変良性」または「病変悪性」のラベルを出力する。

【0048】

なお、図５では、検査画像セットを診断モデルＭ１１へ入力する例を挙げたが、必ずしもダイナミック検査で撮影された全ての検査画像が入力されずともよい。例えば、診断モデルＭ１１には、１枚の検査画像を入力することもできれば、８以上の検査画像を入力することもできる。この他、診断モデルＭ１１には、ＭＲＩにより撮影されたＭＲＩ画像そのものでなく、例えば、詳細は図２０および図２１を用いて後述するが、ＭＲＩ画像から病変およびその周囲がクロップされたクロップ画像が入力されることとしてもよい。

【0049】

また、図５では、診断モデルＭ１１の機械学習タスクが画像を正常、病変良性および病変悪性の３つのクラスへ分類するクラス分類である例を挙げたが、診断モデルＭ１１の機械学習タスクはこれに限定されない。例えば、診断モデルＭ１１の機械学習タスクは、画像を正常、肝臓がん、血管腫、嚢胞などの診断名に対応するクラスへ分類する多クラス分類であってもよい。

【0050】

画像セット生成部１５Ｃは、検査画像セットに含まれる検査画像の集合のうち一または複数の検査画像の組合せに対応する複数の寄与度計測画像セットを生成する処理部である。

【0051】

ここで、上記の「寄与度計測画像セット」は、検査画像セットに含まれる検査画像の集合に含まれる検査画像の組合せごとに当該検査画像の組合せが診断に寄与する度合い（以下、「寄与度」）を計測する側面から生成される。

【0052】

図６は、寄与度計測画像セットの生成例を示す模式図である。図６には、説明を簡便にする側面からあくまで一例として７枚の検査画像のうち左から順に、造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２ＷＩの６枚の検査画像が抜粋されている。

【0053】

図６に示すように、画像セット生成部１５Ｃは、検査画像セット２１に含まれる検査画像の集合のうち検査画像セット２１の検査画像数「６」未満となる組合せを列挙することにより、寄与度計測画像セットＣ１、Ｃ２、Ｃ３、Ｃ４・・・の集合ＣＳを生成できる。

【0054】

例えば、寄与度計測画像セットＣ１の例で言えば、検査画像セット２１に含まれる６枚の検査画像の集合のうち造影前の検査画像が選択される。このとき、選択されなかった残り５枚の検査画像数の分、ブランク画像が生成される。このようにブランク画像を生成するのは、診断モデルＭ１１の入力層のサイズ、すなわち６枚分の検査画像のサイズに合わせるためである。なお、他の寄与度計測画像セットＣ２、Ｃ３、Ｃ４・・・についても、検査画像セット２１に含まれる６枚の検査画像の集合から選択される組合せが異なれども同様の動作により生成できる。

【0055】

あくまで一例として、画像セット生成部１５Ｃは、検査画像セットに含まれる検査画像の集合から生成できる全ての組合せを寄与度計測画像セットとして列挙することができる。例えば、検査画像セットが造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの７枚の検査画像の集合であるとしたとき、１２６個＝（_７Ｃ_１＋_７Ｃ_２＋_７Ｃ_３＋_７Ｃ_４＋_７Ｃ_５＋_７Ｃ_６）の組合せの寄与度計測画像セットが生成される。

【0056】

図１の説明に戻り、寄与度算出部１５Ｄは、診断モデルに検査画像セットが入力された際の出力と、診断モデルに寄与度計測画像セットが入力された際の出力との差に基づく寄与度を寄与度計測画像セットごとに算出する処理部である。

【0057】

あくまで一例として、寄与度算出部１５Ｄは、新規の検査画像セットを図５に示す診断モデルＭ１１を入力する。これにより、診断モデルＭ１１の出力ｙ_０が得られる。このような動作と前後、同時または並行に、寄与度算出部１５Ｄは、画像セット生成部１５Ｃにより生成される寄与度計測画像セットｉごとに当該寄与度計測画像セットｉを図５に示す診断モデルＭ１１を入力する。これにより、寄与度計測画像セットｉごとに診断モデルＭ１１の出力ｙ_ｉが得られる。これら診断モデルＭ１１の出力ｙ_０および診断モデルＭ１１の出力ｙ_ｉの距離に基づいて、寄与度算出部１５Ｄは、寄与度計測画像セットｉごとに寄与度を算出する。

【0058】

図７は、寄与度の算出例を示す模式図である。図７には、層構造の他、重みやバイアスなどのパラメータが共通する２つの診断モデルＭ１１－１およびＭ１１－２が示されている。図７に示すように、診断モデルＭ１１－１には、検査画像セット２１が入力される一方で、診断モデルＭ１１－２には、寄与度計測画像セットＣ１が入力される。

【0059】

ここで、寄与度算出部１５Ｄは、ｍ層の診断モデルＭ１１－１のうちｍ－１層目の隠れ層（中間層）の出力ｙ_０を取得すると共に、ｍ層の診断モデルＭ１１－２のうちｍ－１層目の隠れ層（中間層）の出力ｙ_Ｃ１を取得する。なお、ここでは、最終層１つ前の中間層の出力を取得する例を挙げたが、最終層の出力であってもよし、他の中間層の出力であってもよい。

【0060】

そして、寄与度算出部１５Ｄは、診断モデルＭ１１－１の出力ｙ_０および診断モデルＭ１１－２の出力ｙ_Ｃ１の距離を算出する。ここで言う「距離」には、ユークリッド距離やマンハッタン距離、マハラノビス距離などの任意の距離計測方法を用いることができる。

【0061】

その上で、寄与度算出部１５Ｄは、出力ｙ_０および出力ｙ_Ｃ１の診断モデルＭ１１－１の出力ｙ_０および診断モデルＭ１１－２の出力ｙ_Ｃ１の距離に基づいて寄与度計測画像セットＣ１の寄与度を算出する。例えば、寄与度は、図７に示す式（１）にしたがって算出できる。ここで、式（１）にしたがって算出される寄与度では、ブランク画像の枚数が増えるほど寄与度が低くなる傾向がある。このことから、図７に示す式（２）のように、ブランク画像の枚数を乗じることで、寄与度計測画像セット間のブランク画像の枚数の差による影響も含めた寄与度を算出できる。なお、式（１）および式（２）に示す「ｃ」は、任意の定数であってよい。

【0062】

このような寄与度の算出が寄与度計測画像セットごとに実行される。これにより、図８に示す寄与度算出結果を得ることができる。図８は、寄与度算出結果の一例を示す模式図である。図８に示すように、寄与度計測画像セットの集合ＣＳに含まれる寄与度計測画像セットＣ１、Ｃ２、Ｃ３、Ｃ４・・・ごとに寄与度「０．３４」、「０．５１」、「０．４１」、「０．９２」、・・・が得られる。このように寄与度計測画像セットごとに寄与度が対応付けられたリストは、検査オーダの識別情報に対応付けられた状態で記憶部１３に記憶された寄与度データ１３Ｃに追加して保存される。

【0063】

ここで、本実施例および従来技術１の間で同一の検査画像セットに対する優先度決定結果について比較する。

【0064】

図９は、優先度決定結果の比較例を示す図である。図９には、肝腫瘤の良性腫瘤として知られる血管腫がＥＯＢ造影剤を用いるＭＲＩ検査で撮影された検査画像セット２３に対する優先度決定結果が本実施例および従来技術１ごとに示されている。さらに、図９には、検査画像セットの例として、各検査画像のうち病変に対応する肝腫瘤およびその周辺の領域がクロップされたクロップ画像が示されている。

【0065】

例えば、従来技術１では、異常に対応する特徴が検出される画像の優先度が一律に高く決定される。すなわち、図９に示す検査画像セット２３の例で言えば、造影前、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの検査画像の優先度がダイナミック相よりも高く決定される。このように高優先度が設定された造影前、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの検査画像には、良性の血管腫または悪性のがんの間で差が現れない。このため、検査画像セット２３のうち造影前、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの検査画像を優先して表示したとしても、良性の血管腫を識別する手掛かりにならないので、診断効率を向上させることは困難である。

【0066】

その一方で、本実施例では、検査画像セット２３が入力された診断モデルＭ１１の出力に対する距離の差が最小である診断モデルＭ１１の出力が得られる寄与度計測画像セットに対応する検査画像の組合せの優先度が高く決定される。これにより、本実施例では、診断モデルＭ１１で診断の根拠となる検査画像の優先度が高く設定される。すなわち、図９に示す検査画像セット２３の例で言えば、造影前およびＤＷＩの検査画像に加え、悪性のがんに対する識別根拠となり得るダイナミック相、すなわち動脈相および後期相の検査画像の優先度が高く決定される。例えば、動脈相の検査画像に早期濃染が見られないことから悪性のがんの疑いを除外すると共に、後期相の検査画像における病変が等信号であることから良性の血管腫である可能性が高いことを識別できる。

【0067】

以上のことから、本実施例に係る優先度決定機能によれば、ＥＯＢ造影ＭＲＩで撮影される複数の検査画像の優先度を適切に決定できることが明白である。

【0068】

図１０は、検査画像セットの一例を示す図である。図１０には、検査画像の例として、検査画像のうち病変に対応する肝腫瘤およびその周辺の領域がクロップされたクロップ画像が示されている。さらに、図１０には、病変が良性の嚢胞に対応する検査画像セットが例示されている。図１０に示すように、嚢胞の検査画像セットのうちＤＷＩでは、病変および周囲が等信号となり、輝度差がほとんど見られない。このことから、嚢胞の識別根拠としてＤＷＩの検査画像が有用であることがわかる。

【0069】

このことから、本実施例に係る優先度決定機能によれば、ＤＷＩの検査画像の優先度も高く設定できるので、嚢胞の識別根拠も高優先度の検査画像に含まれていることがわかる。このため、ＤＷＩの検査画像が等信号でないことから嚢胞の疑いも除外できる。このように、本実施例に係る優先度決定機能によれば、悪性のがんに加えて良性の嚢胞の除外診断、並びに、良性の血管腫の確定診断に寄与する情報提供を実現できる。

【0070】

図１の説明に戻り、表示制御部１５Ｅは、クライアント端末３０に対する各種の表示制御を実行する処理部である。あくまで一例として、表示制御部１５Ｅは、画像セット生成部１５Ｃにより生成された寄与度計測画像セットの集合ＣＳのうち、寄与度算出部１５Ｄにより算出された寄与度が最高である寄与度計測画像セットをクライアント端末３０に表示させる。このとき、表示制御部１５Ｅは、検査画像セットに含まれる検査画像のうち、寄与度が最高である寄与度計測画像セットに対応する検査画像と、寄与度が最高である寄与度計測画像セットに対応しない検査画像との表示形態を変更することができる。

【0071】

図１１は、クライアント端末３０への表示例を示す図である。図１１には、ＰＡＣＳのクライアント機能を有するクライアント端末３０のビューワにより表示されるビューワ画面３００が示されている。図１１に示すように、ビューワ画面３００には、検査画像セットのサムネイルの一覧が表示される表示エリア３０１と、表示エリア３０１で選択された検査画像を表示する表示エリア３０２とが含まれ得る。

【0072】

表示エリア３０１では、検査画像セットのうち寄与度が最高である寄与度計測画像セットに対応するサムネイルが強調表示される。例えば、図１１に示すように、寄与度計測画像セットに対応する検査画像は、太線の枠で強調表示させる一方で、それ以外の検査画像は、強調表示されずに通常表示される。さらに、表示エリア３０２では、表示エリア３０１で選択された検査画像が表示される。このように検査画像を表示する場合、検査画像を拡大表示したり、病変部位およびその周囲を囲むバウンディングＢＢ１を表示したりすることもできる。

【0073】

図１２は、クライアント端末３０への表示例を示す図である。図１２にも、ＰＡＣＳのクライアント機能を有するクライアント端末３０のビューワにより表示されるビューワ画面３１０が示されている。図１２に示すように、ビューワ画面３１０には、電子カルテシステムなどによりオーダが発行された検査の検査番号の一覧表示される表示エリア３１１と、表示エリア３０１で選択された検査番号に対応する検査画像を表示する表示エリア３１２とが含まれ得る。

【0074】

表示エリア３１１には、電子カルテシステムなどによりオーダが発行された検査のうち、未読の検査番号の一覧を表示させることができる。例えば、図１２には、表示エリア３１１で検査番号「２」が選択された例が白黒の反転表示で示されている。この場合、表示エリア３１２には、検査番号「２」に対応する検査画像セットのうち、寄与度が最高である寄与度計測画像セットに対応する検査画像の一覧が表示される。

【0075】

図１３は、クライアント端末３０への表示例を示す図である。図１３にも、ＰＡＣＳのクライアント機能を有するクライアント端末３０のビューワにより表示されるビューワ画面３２０が示されている。図１３に示すように、ビューワ画面３２０には、検査画像セットに含まれる検査画像ごとに検査画像のサムネイルおよびその検査画像の名称が対応付けられた一覧が表示される。

【0076】

このように一覧が表示される際、検査画像セットのうち寄与度が最高である寄与度計測画像セットに対応するアイテムが強調表示される。例えば、図１３に示すように、寄与度計測画像セットに対応する検査画像は、感嘆符、あるいはエクスクラメーションマークと呼ばれる「！」の表示やアイテムの背景の強調表示などが実行される一方で、それ以外の検査画像は、通常表示される。

【0077】

図１４は、クライアント端末３０への表示例を示す図である。図１４にも、ＰＡＣＳのクライアント機能を有するクライアント端末３０のビューワにより表示されるビューワ画面３３０が示されている。図１４に示すように、ビューワ画面３３０には、ＭＲＩにより検査画像が撮影されるスライスの範囲に対応するスライダバー３３１と、スライス位置を示すスライダ３３２とが含まれる。このスライダ３３２のスライド方向は、ＭＲＩにより検査画像が撮影されるスライスの方向、すなわちＹ方向に対応する。ここで、スライダバー３３１には、判定部１５Ｂにより良性または悪性の病変ありと判定されたスライスの位置または範囲を対応付けて表示できる。図１４に示す例で言えば、良性または悪性の病変ありと判定されたスライスに対応する位置標示３３３Ａおよび３３３Ｂが表示される。例えば、スライダ３３２の位置が位置標示３３３Ａに合わせられた場合、図１４に示すスライスの検査画像が表示されると共に、当該検査画像のうち病変部位をクロップするバウンディングボックスＢＢ２が表示される。

【0078】

＜処理の流れ＞
次に、本実施例に係るサーバ装置１０の処理の流れについて説明する。以下、サーバ装置１０により実行される（１）優先度決定処理、（２）寄与度算出処理、（３）表示制御処理を説明する。

【0079】

（１）優先度決定処理
図１５は、優先度決定処理の手順を示すフローチャートである。この処理は、あくまで一例として、検査画像データ１３Ａに新規の検査画像セットが追加された場合、起動することができる。

【0080】

図１５に示すように、判定部１５Ｂは、新規の検査画像セットを診断モデルＭ１１へ入力することにより、病変が陽性であるか否か、すなわち良性または悪性の病変が存在するか否かを判定する（ステップＳ１０１）。

【0081】

このとき、病変が陽性である場合、すなわち良性または悪性の病変が存在する場合（ステップＳ１０２Ｙｅｓ）、画像セット生成部１５Ｃおよび寄与度算出部１５Ｄにより後述の「寄与度算出処理」が実行される（ステップＳ１０３）。

【0082】

一方、病変が陽性でない場合、すなわち良性または悪性の病変が存在しない場合（ステップＳ１０２Ｎｏ）、画像セット生成部１５Ｃおよび寄与度算出部１５Ｄによる「寄与度算出処理」は実行されず、そのまま処理を終了する。

【0083】

（２）寄与度算出処理
図１６は、寄与度算出処理の手順を示すフローチャートである。この処理は、図１５に示すステップＳ１０３の処理に対応する。図１６に示すように、記憶部１３に記憶された検査画像データ１３Ａのうち新規の検査画像セットが図示しないワークアリアなどに読み込まれる（ステップＳ３０１）。以下、検査画像セットに含まれる検査画像の各々が検査画像Ｎｏ［０、１、２、・・・、ｘ］により識別されることとする。

【0084】

図１７は、検査画像データ１３Ａの一例を示す図である。図１７に示すように、検査画像データ１３Ａは、検査番号および検査画像セットが対応付けられたデータである。ここで言う「検査番号」は、図示しない電子カルテシステムまたは検査システムなどにより発行される検査オーダの識別情報の一例であってよい。このような検査番号ごとに検査画像セット、例えば検査画像セットのバイナリデータが対応付けられたエントリの集合が検査画像データ１３Ａとして記憶部１３に保存される。上記のステップＳ３０１では、検査画像データ１３Ａのうち新規の検査画像セットが寄与度算出処理の対象としてワークアリアなどに読み込まれる。

【0085】

上記のステップＳ３０１の実行後、寄与度算出部１５Ｄは、ステップＳ３０１で読み込まれた検査画像セットを図５に示す診断モデルＭ１１を入力する（ステップＳ３０２）。これにより、診断モデルＭ１１の出力ｙ_０が得られる。続いて、画像セット生成部１５Ｃは、ステップＳ３０１で読み込まれた検査画像セットに含まれる検査画像の枚数をパラメータｃｏｕｎｔに設定する（ステップＳ３０３）。

【0086】

そして、画像セット生成部１５Ｃは、４つのパラメータｎ、ｉ、ｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙを初期化する（ステップＳ３０４）。ここで言う「ｎ」は、検査画像セットのうち寄与度計測画像セットとして選択する検査画像の枚数をカウントするループカウンタである。また、「ｉ」は、検査画像セットからｎ個の検査画像が選択された寄与度計測画像セットの組合せを識別するインデックスである。これらパラメータｎおよびｉの初期値として「１」が設定される。また、「ｄ＿ａｒｒａｙ」は、寄与度の配列を格納するポインタである。さらに、「ｐ＿ａｒｒａｙ」は、寄与度計測画像セットの組合せに対応する検査画像の配列を格納するポインタである。これらパラメータｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙの初期値としてブランク、あるいはＮＵＬＬが設定される。

【0087】

その後、ループカウンタｎがｃｏｕｎｔに達するまで下記のステップＳ３０５から下記のステップＳ３１０までの処理を反復するループ処理１が実行される。なお、図１６には、ステップＳ３０５～ステップＳ３１０の処理が反復される例を挙げたが、ステップＳ３０５～ステップＳ３１０の処理は並列して実行されることとしてもよい。

【0088】

すなわち、画像セット生成部１５Ｃは、ステップＳ３０１で読み込まれた検査画像セットからループカウンタｎに設定された個数の検査画像Ｎｏを選択する組合せを列挙してｌｉｓｔへ保存する（ステップＳ３０５）。ここで、検査画像セットの枚数を「７」としたとき、_７Ｃ_ｎ個の組合せが列挙される。例えば、ｎ＝１であれば_７Ｃ_１個（＝７個）の組合せ、ｎ＝２であれば_７Ｃ_２個（＝２１個）の組合せ、ｎ＝３であれば_７Ｃ_３個（＝３５個）の組合せ、ｎ＝４であれば_７Ｃ_４個（＝３５個）の組合せ、ｎ＝５であれば_７Ｃ_５個（＝２１個）の組合せ、ｎ＝６であれば_７Ｃ_６個（＝７個）の組合せが列挙される。

【0089】

その後、ｌｉｓｔに保存された全ての検査画像Ｎｏの組合せが選択されるまで下記のステップＳ３０６から下記のステップＳ３０９までの処理を反復するループ処理２が実行される。なお、図１６には、ステップＳ３０６～ステップＳ３０９の処理が反復される例を挙げたが、ステップＳ３０６～ステップＳ３０９の処理は並列して実行されることとしてもよい。

【0090】

さらに、ステップＳ３０１で読み込まれた検査画像セットのうちｌｉｓｔから選択された検査画像Ｎｏの組合せｐ以外の残りの検査画像の全てが選択されるまで下記のステップＳ３０６の処理を反復するループ処理３が実行される。なお、図１６には、ステップＳ３０６の処理が反復される例を挙げたが、ステップＳ３０６の処理は並列して実行されることとしてもよい。

【0091】

すなわち、画像セット生成部１５Ｃは、ｌｉｓｔから選択された検査画像Ｎｏの組合せｐ以外の残りの検査画像ｅに当該残りの検査画像ｅの画素値をゼロに置き換える（ステップＳ３０６）。

【0092】

このようにステップＳ３０６のループ処理３が反復されることにより、ｌｉｓｔから選択された検査画像Ｎｏの組合せｐ、すなわち寄与度計測画像セット以外の残りの検査画像ｅがブランク画像に置き換えられる。

【0093】

そして、寄与度算出部１５Ｄは、ループ処理３で寄与度計測画像セット以外の残りの検査画像ｅがブランク画像に置き換えられた検査画像セットを診断モデルＭ１１へ入力する（ステップＳ３０７）。これにより、診断モデルＭ１１の出力ｙ_ｉが得られる。

【0094】

その上で、寄与度算出部１５Ｄは、ステップＳ３０２で得られた診断モデルＭ１１の出力ｙ_０及びステップＳ３０７で得られた診断モデルＭ１１の出力ｙ_ｉの距離を上記の式（１）又は上記の式（２）に代入することにより寄与度を算出する（ステップＳ３０８）。このように算出された寄与度の数値の配列がｄ＿ａｒｒａｙに格納されると共に、寄与度が算出された検査画像Ｎｏの組合せｐがｐ＿ａｒｒａｙに格納される。その後、インデックスｉがインクリメントされる（ステップＳ３０９）。

【0095】

このようにステップＳ３０６～ステップＳ３０９のループ処理２が反復されることにより、ｌｉｓｔに保存された検査画像Ｎｏの組合せごとに寄与度および検査画像Ｎｏの組合せがｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙとしてリスト化される。その後、インデックスｎがインクリメントされる（ステップＳ３１０）。

【0096】

さらに、ステップＳ３０５～ステップＳ３１０のループ処理１が反復される。これにより、検査画像セットから１枚から検査画像セットの検査画像の総数－１までの全てのパターンの個数を選択する組合せごとに寄与度および検査画像Ｎｏの組合せがｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙとしてリスト化される。

【0097】

その後、寄与度算出部１５Ｄは、全てのパターンの個数を選択する組合せごとに寄与度および検査画像Ｎｏの組合せがリスト化されたｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙを記憶部１３に記憶された寄与度データ１３Ｃへ追加して保存する（ステップＳ３１１）。

【0098】

図１８は、寄与度データの一例を示す図である。図１８に示すように、寄与度データ１３Ｃは、検査オーダの識別情報の一例に対応する診断Ｎｏごとにｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙが対応付けられたデータである。これらｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙには、検査画像セットから１枚から検査画像セットの検査画像の総数－１までの全てのパターンの個数を選択する組合せおよびその寄与度のリストが含まれる。

【0099】

（３）表示制御処理
図１９は、表示制御処理の手順を示すフローチャートである。この処理は、クライアント端末３０で動作するビューワから検査オーダの識別情報の指定を含む検査画像セットの閲覧リクエストを受け付けた場合、起動することができる。

【0100】

図１９に示すように、表示制御部１５Ｅは、記憶部１３に記憶された寄与度データ１３Ｃのうち、指定の検査オーダの識別情報に対応するｄ＿ａｒｒａｙおよびｐ＿ａｒｒａｙを図示しないワークエリア等に読み込む（ステップＳ５０１）。

【0101】

そして、表示制御部１５Ｅは、ステップＳ５０１で読み込まれたｄ＿ａｒｒａｙに格納された寄与度のリストを寄与度が高い順にソートされたｉｎｄｅｘのリストであるｓｏｒｔ＿ｌｉｓｔを生成する（ステップＳ５０２）。

【0102】

続いて、表示制御部１５Ｅは、ステップＳ５０１で読み込まれたｄ＿ａｒｒａｙに格納された検査画像Ｎｏの組合せのリストをステップＳ５０２で生成されたｓｏｒｔ＿ｌｉｓｔのリスト順にソートされたｒｅｃｏｍｍｅｎｄ＿ｌｉｓｔを生成する（ステップＳ５０３）。

【0103】

その後、ｒｅｃｏｍｍｅｎｄ＿ｌｉｓｔに格納されたリストの先頭、すなわちｒｅｃｏｍｍｅｎｄ＿ｌｉｓｔ［０］の検査画像Ｎｏの組合せに対応する全ての検査画像がビューワ画面に表示されるまでステップＳ５０４の処理を反復するループ処理４を実行する。

【0104】

すなわち、表示制御部１５Ｅは、ｒｅｃｏｍｍｅｎｄ＿ｌｉｓｔに格納されたリストの先頭の検査画像Ｎｏの組合せに含まれる検査画像ごとに検査画像の表示、あるいは検査画像に対応するサムネイルやアイコンの強調表示をビューワに実行させる（ステップＳ５０４）。

【0105】

このようなループ処理４により、図１１～図１３に示すビューワ画面の表示が実現されることになる。

【0106】

＜効果の一側面＞
上述してきたように、本実施例に係るサーバ装置１０は、検査画像セット２３が入力された診断モデルＭ１１の出力に対する距離が最小である診断モデルＭ１１の出力が得られる寄与度計測画像セットに対応する検査画像の組合せの優先度を高く決定する。これにより、診断モデルＭ１１で診断の根拠となる検査画像の優先度が高く設定される。したがって、本実施例に係るサーバ装置１０によれば、ダイナミック検査で撮影される複数の画像の優先度を適切に決定できる。

【実施例0107】

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

【0108】

＜診断モデルの応用例＞
上記の実施例１では、検査画像セットを入力として正常、病変良性または病変悪性に分類する診断モデルＭ１１を例に挙げたが、このような診断モデルＭ１１に限定されない。あくまで一例として、病変の有無を検出する機械学習モデル（以下、「病変検出モデル」と記載）と、病変の診断を実行する機械学習モデル（以下、「病変診断モデル」と記載）とを個別に実現することもできる。

【0109】

例えば、病変検出モデルは、１または複数の画像を病変ありまたは病変なしのクラスに分類するクラス分類タスクを実行する機械学習モデルにより実現され得る。例えば、病変検出モデルは、画像認識タスクに用いられる畳み込みニューラルネットワーク、いわゆるＣＮＮ系のＶＧＧやＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどのライブラリにより実現されてよい。

【0110】

図２０は、病変検出モデルの一例を示す模式図である。図２０に示すように、病変検出モデルｍ２１の訓練には、検査画像および正解ラベルが対応付けられた訓練データを含むデータセットＴＲ２１を用いることができる。例えば、図２０には、データセットＴＲ２１のあくまで一例として、検査画像、例えば肝細胞造影相に対応する検査画像ごとに、２つのクラス「病変なし」または「病変あり」のクラスラベルと共に病変部位に設定されたバウンディングボックスが付与された正解ラベルが対応付けられた３つの訓練データが抜粋して例示されている。

【0111】

訓練フェイズでは、検査画像を診断モデルｍ２１の説明変数とし、正解ラベルを病変検出モデルｍ２１の目的変数とし、任意の機械学習のアルゴリズム、例えば深層学習にしたがって病変検出モデルｍ２１を訓練できる。例えば、検査画像が入力された病変検出モデルｍ２１の出力と、正解ラベルとの損失を病変検出モデルｍ２１に逆伝播させることにより、病変検出モデルｍ２１のパラメータを更新する。このようにして得られた訓練済みの病変検出モデルＭ２１に関するデータが診断モデルデータ１３Ｂとして記憶部１３に保存される。例えば、診断モデルデータ１３Ｂには、病変検出モデルＭ２１を形成する入力層、隠れ層及び出力層のニューロンやシナプスなどの層構造に関連するハイパーパラメータ、各層の重みやバイアスなどの目的関数に関するパラメータが含まれてよい。

【0112】

推論フェイズでは、検査画像データ１３Ａに追加された新規の検査画像セットのうち肝細胞造影相に対応する検査画像を病変検出モデルＭ２１へ入力する。このように検査画像が入力された病変検出モデルＭ１１は、最終層から出力されるクラス別の確信度のうち確信度が最高であるクラス「病変あり」または「病変なし」のクラスラベルを出力し、クラスラベルが「病変あり」である場合、病変部位を含むバウンディングボックスをさらに出力する。

【0113】

このような病変検出モデルＭ２１が用いられる場合、上記の実施例１に記載された処理は次のように変更できる。例えば、図１に示す判定部１５Ｂは、診断モデルＭ１１の代わりに、病変検出モデルＭ２１に肝細胞造影相の検査画像を入力して病変検出モデルＭ２１が出力するクラスラベルが「病変あり」である場合、図１６に示す寄与度算出処理を実行させることとすればよい。この場合、図１６に示す寄与度算出処理では、検査画像セットに含まれる検査画像の代わりに、検査画像ごとに当該検査画像から病変およびその周囲の病変部位がクロップされた検査画像が検査画像セットとして病変診断モデルへの入力とされる。

【0114】

次に、病変診断モデルは、１または複数の画像を病変の診断名に対応するクラスに分類するクラス分類タスクを実行する機械学習モデルにより実現され得る。例えば、病変診断モデルは、画像認識タスクに用いられる畳み込みニューラルネットワーク、いわゆるＣＮＮ系のＶＧＧやＲｅｓＮｅｔ、ＤｅｎｓｅＮｅｔなどのライブラリにより実現されてよい。

【0115】

図２１は、病変診断モデルの一例を示す模式図である。図２１に示すように、病変診断モデルｍ１２の訓練には、検査画像セットおよび正解ラベルが対応付けられた訓練データを含むデータセットＴＲ１２を用いることができる。例えば、図２１には、データセットＴＲ１２のあくまで一例として、３つのクラス「肝臓がん」、「血管腫」および「嚢胞」の正解ラベルごとに造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２ＷＩおよびＤＷＩの各時相で病変部位がクロップされた検査画像を含む検査画像セットが対応付けられた３つの訓練データが抜粋して例示されている。

【0116】

訓練フェイズでは、検査画像セットを診断モデルｍ１２の説明変数とし、ラベルを病変診断モデルｍ１２の目的変数とし、任意の機械学習のアルゴリズム、例えば深層学習にしたがって病変診断モデルｍ１２を訓練できる。例えば、検査画像セットが入力された診断モデルｍ１２の出力と、正解ラベルとの損失を診断モデルｍ１２に逆伝播させることにより、病変診断モデルｍ１２のパラメータを更新する。このようにして得られた訓練済みの病変診断モデルＭ１２に関するデータが診断モデルデータ１３Ｂとして記憶部１３に保存される。例えば、診断モデルデータ１３Ｂには、病変診断モデルＭ１２を形成する入力層、隠れ層及び出力層のニューロンやシナプスなどの層構造に関連するハイパーパラメータ、各層の重みやバイアスなどの目的関数に関するパラメータが含まれてよい。

【0117】

推論フェイズでは、検査画像データ１３Ａに追加された新規の検査画像セットに含まれる検査画像の各々から病変部位がクロップされた検査画像を生成し、生成された検査画像を検査画像セットとして病変診断モデルＭ１２へ入力する。このように検査画像セットが入力された病変診断モデルＭ１２は、最終層から出力されるクラス別の確信度のうち確信度が最高であるクラス「肝臓がん」、「血管腫」、「嚢胞」あるいはその他の診断名のラベルを出力する。

【0118】

このように、ＭＲＩなどの検査画像そのものではなく、検査画像から病変部位がクロップされたクロップ画像を検査画像として入力とする病変診断モデルＭ１２を用いることにより、診断精度を向上させることが可能になる。

【0119】

＜最高寄与度の画像の絞り込み＞
上記の実施例１では、検査画像セットの中から寄与度が最高である寄与度計測画像セットをクライアント端末３０に表示させる例を挙げたが、寄与度計測画像セットに含まれる検査画像は必ずしも１つの画像とは限らない。このため、応用例として、寄与度が最高である寄与度計測画像セットに含まれる検査画像の中でも最高の寄与度を有する検査画像をさらに絞り込むこともできる。

【0120】

図２２は、絞込用画像セットの一例を示す図である。図２２には、図９に示す検査画像セット２３から生成された寄与度計測画像セットの集合のうち寄与度が最高である寄与度計測画像セット、すなわち造影前、動脈相、後期相およびＤＷＩの４つの検査画像の組合せが示されている。この最高寄与度は、最高寄与度の組合せが入力された診断モデルＭ１１の出力（－１０．６５５３，－１４．４９９１，８．６７１７）と、検査画像セット２３が入力された診断モデルＭ１１の出力（－８．４７７１，－１２．７９１９，７．９０４５）との距離に基づいて算出されている。

【0121】

このような最高寄与度の組合せが得られている場合、造影前、動脈相、後期相およびＤＷＩの４つの検査画像の組合せを新たな検査画像セットを読み替えて図１６に示す寄与度算出処理を実行できる。

【0122】

すなわち、図２２に示すように、造影前、動脈相、後期相およびＤＷＩの４つの検査画像のうち１枚から３枚までの全てのパターンの枚数を選択する組合せを列挙することにより、１４個＝（_４Ｃ_１＋_４Ｃ_２＋_４Ｃ_３）の組合せの絞込用画像セットが生成される。このような１４個の絞込用画像セットごとに寄与度を算出し、寄与度が最高である絞込用画像セットを抽出する。これにより、当該絞込用画像セットに含まれる検査画像を当該絞込用画像セットに含まれない検査画像よりも高優先度の検査画像として絞り込むことができる。このような絞り込みを１枚の検査画像になるまで反復することにより、検査画像セット２３から診断に最も寄与する最高優先度の検査画像を絞り込むことができる。

【0123】

図２３は、最高寄与度の検査画像の絞込結果の一例を示す図である。図２３に示すように、検査画像セット２３に図１６に示す寄与度算出処理が実行される。この場合、検査画像セット２３が入力された診断モデルＭ１１の出力（－８．４７７１，－１２．７９１９，７．９０４５）に対する距離が最小である診断モデルＭ１１の出力（－１０．６５５３，－１４．４９９１，８．６７１７）が得られる寄与度計測画像セット、すなわち造影前、動脈相、後期相およびＤＷＩの４つの検査画像の組合せに絞り込まれる。

【0124】

さらに、造影前、動脈相、後期相およびＤＷＩの４つの検査画像の組合せからの絞り込みに図１６に示す寄与度算出処理をさらに適用する。この場合、検査画像セット２３が入力された診断モデルＭ１１の出力（－８．４７７１，－１２．７９１９，７．９０４５）に対する距離が最小である診断モデルＭ１１の出力（－６．１７５７，－８．３５１１，５．４８４８）が得られる造影前、後期相およびＤＷＩの３つの検査画像の組合せに絞り込まれる。

【0125】

さらに、造影前、後期相およびＤＷＩの３つの検査画像の組合せからの絞り込みに図１６に示す寄与度算出処理をさらに適用する。この場合、検査画像セット２３が入力された診断モデルＭ１１の出力（－８．４７７１，－１２．７９１９，７．９０４５）に対する距離が最小である診断モデルＭ１１の出力（－０．３８７１，－１１．０２２５，０．８７０４）が得られる後期相の検査画像の組合せに絞り込まれる。

【0126】

この結果、検査画像セット２３から最高優先度の検査画像として後期相の検査画像を絞り込むことができる。この場合、検査画像セット２３に含まれる検査画像の優先度を高い順から挙げると、後期相の優先度が最高であり、次に、造影前およびＤＷＩの優先度が２番目に高く、動脈相の優先度が３番目に高く、それ以外の検査画像が４番目となる。このように決定された優先度が最高である検査画像に絞り込んで表示を実行することもできれば、優先度に対応する順位に対応付けて当該順位の検査画像を表示することもできる。

【0127】

このような絞り込みが実施される場合、優先度に基づいて検査画像セット２３に含まれる検査画像をソートすることができる。図２４は、クライアント端末３０への表示例を示す図である。図２４にも、ＰＡＣＳのクライアント機能を有するクライアント端末３０のビューワにより表示されるビューワ画面３４０が示されている。図２４に示すように、ビューワ画面３４０にも、図１３と同様、検査画像セットに含まれる検査画像ごとに検査画像のサムネイルおよびその検査画像の名称が対応付けられたアイテムの一覧が表示される。

【0128】

ここで、図２４に示すビューワ画面３３０では、検査画像セットのうち上記の優先度が高い順に検査画像に対応するアイテムがソートされた順にアイテムが表示される。例えば、図２４に示すように、１番目に後期相に対応するアイテム、同率の２番目に造影前およびＤＷＩに対応するアイテム、そして、３番目に動脈相に対応するアイテムが表示された後に、その他の検査画像に対応するアイテムが表示される。

【0129】

＜分散および統合＞
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部１５Ａ、判定部１５Ｂ、画像セット生成部１５Ｃ、寄与度算出部１５Ｄまたは表示制御部１５Ｅをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、取得部１５Ａ、判定部１５Ｂ、画像セット生成部１５Ｃ、寄与度算出部１５Ｄまたは表示制御部１５Ｅを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、サーバ装置１０の機能を実現するようにしてもよい。

【0130】

＜ハードウェア構成＞
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２５を用いて、実施例１及び実施例２と同様の機能を有する優先度決定プログラムを実行するコンピュータの一例について説明する。

【0131】

図２５は、ハードウェア構成例を示す図である。図２５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。

【0132】

ＨＤＤ１７０には、図２５に示すように、上記の実施例１で示された取得部１５Ａ、判定部１５Ｂ、画像セット生成部１５Ｃ、寄与度算出部１５Ｄおよび表示制御部１５Ｅと同様の機能を発揮する優先度決定プログラム１７０ａが記憶される。この優先度決定プログラム１７０ａは、図１に示した取得部１５Ａ、判定部１５Ｂ、画像セット生成部１５Ｃ、寄与度算出部１５Ｄおよび表示制御部１５Ｅの各構成要素と同様、統合又は分離してもよい。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

【0133】

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から優先度決定プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、優先度決定プログラム１７０ａは、図２５に示すように、優先度決定プロセス１８０ａとして機能する。この優先度決定プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち優先度決定プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、展開された各種データを用いて各種の処理を実行する。例えば、優先度決定プロセス１８０ａが実行する処理の一例として、図１５、図１６、図１９に示す処理などが含まれ得る。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

【0134】

なお、上記の優先度決定プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に優先度決定プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から優先度決定プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに優先度決定プログラム１７０ａを記憶させておく。このように記憶された優先度決定プログラム１７０ａをコンピュータ１００にダウンロードさせた上で実行させるようにしてもよい。

【0135】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0136】

（付記１）ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、
画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、
前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、
処理をコンピュータが実行することを特徴とする優先度決定方法。

【0137】

（付記２）前記算出する処理は、前記第１の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力すると共に、前記第２の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力する処理を含む、
ことを特徴とする付記１に記載の優先度決定方法。

【0138】

（付記３）前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の最終層または中間層の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の前記最終層または前記中間層の出力との差に基づくスコアを算出する処理を含む、
ことを特徴とする付記１に記載の優先度決定方法。

【0139】

（付記４）前記生成する処理は、前記複数の第２の画像セットのうち前記スコアが最高である第２の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第３の画像セットを生成する処理を含み、
前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第３の画像セットが入力された際の出力との差に基づくスコアを前記第３の画像セットごとに算出する処理を含み、
前記出力する処理は、前記複数の第３の画像セットのうち前記スコアが最高である第３の画像セットを出力する処理を含む、
ことを特徴とする付記１に記載の優先度決定方法。

【0140】

（付記５）前記ダイナミック検査は、造影剤を用いるＭＲＩ検査またはＣＴ検査に対応する、
ことを特徴とする付記１に記載の優先度決定方法。

【0141】

（付記６）前記第１の画像セットは、造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２強調画像および拡散強調画像のうち少なくとも１つ以上の画像を含む、
ことを特徴とする付記５に記載の優先度決定方法。

【0142】

（付記７）ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、
画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、
前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、
処理をコンピュータに実行させることを特徴とする優先度決定プログラム。

【0143】

（付記８）前記算出する処理は、前記第１の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力すると共に、前記第２の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力する処理を含む、
ことを特徴とする付記７に記載の優先度決定プログラム。

【0144】

（付記９）前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の最終層または中間層の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の前記最終層または前記中間層の出力との差に基づくスコアを算出する処理を含む、
ことを特徴とする付記７に記載の優先度決定プログラム。

【0145】

（付記１０）前記生成する処理は、前記複数の第２の画像セットのうち前記スコアが最高である第２の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第３の画像セットを生成する処理を含み、
前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第３の画像セットが入力された際の出力との差に基づくスコアを前記第３の画像セットごとに算出する処理を含み、
前記出力する処理は、前記複数の第３の画像セットのうち前記スコアが最高である第３の画像セットを出力する処理を含む、
ことを特徴とする付記７に記載の優先度決定プログラム。

【0146】

（付記１１）前記ダイナミック検査は、造影剤を用いるＭＲＩ検査またはＣＴ検査に対応する、
ことを特徴とする付記７に記載の優先度決定プログラム。

【0147】

（付記１２）前記第１の画像セットは、造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２強調画像および拡散強調画像のうち少なくとも１つ以上の画像を含む、
ことを特徴とする付記１１に記載の優先度決定プログラム。

【0148】

（付記１３）ダイナミック検査で撮影される第１の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第２の画像セットを生成し、
画像を良性または悪性のクラスに分類する機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の出力との差に基づくスコアを前記第２の画像セットごとに算出し、
前記複数の第２の画像セットのうち前記スコアが特定の条件を満たす第２の画像セットを出力する、
処理を実行する制御部を含む情報処理装置。

【0149】

（付記１４）前記算出する処理は、前記第１の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力すると共に、前記第２の画像セットに含まれる画像のそれぞれから病変部位がクロップされた画像のそれぞれを前記機械学習モデルに入力する処理を含む、
ことを特徴とする付記１３に記載の情報処理装置。

【0150】

（付記１５）前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の最終層または中間層の出力と、前記機械学習モデルに前記第２の画像セットが入力された際の前記最終層または前記中間層の出力との差に基づくスコアを算出する処理を含む、
ことを特徴とする付記１３に記載の情報処理装置。

【0151】

（付記１６）前記生成する処理は、前記複数の第２の画像セットのうち前記スコアが最高である第２の画像セットに含まれる画像の集合のうち一または複数の画像の組合せに対応する複数の第３の画像セットを生成する処理を含み、
前記算出する処理は、前記機械学習モデルに前記第１の画像セットが入力された際の出力と、前記機械学習モデルに前記第３の画像セットが入力された際の出力との差に基づくスコアを前記第３の画像セットごとに算出する処理を含み、
前記出力する処理は、前記複数の第３の画像セットのうち前記スコアが最高である第３の画像セットを出力する処理を含む、
ことを特徴とする付記１３に記載の情報処理装置。

【0152】

（付記１７）前記ダイナミック検査は、造影剤を用いるＭＲＩ検査またはＣＴ検査に対応する、
ことを特徴とする付記１３に記載の情報処理装置。

【0153】

（付記１８）前記第１の画像セットは、造影前、動脈相、門脈相、後期相、肝細胞造影相、Ｔ２強調画像および拡散強調画像のうち少なくとも１つ以上の画像を含む、
ことを特徴とする付記１７に記載の情報処理装置。