特開 2024-44921 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044921

(43)【公開日】2024-04-02

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G16H 30/40 20180101AFI20240326BHJP

   A61B 5/00 20060101ALI20240326BHJP

   A61B 6/00 20240101ALI20240326BHJP

   A61B 6/03 20060101ALI20240326BHJP

   G06T 7/00 20170101ALI20240326BHJP

   G16H 50/20 20180101ALI20240326BHJP

【ＦＩ】

G16H30/40

A61B5/00 D

A61B6/00 350M

A61B6/03 360B

G06T7/00 612

G16H50/20

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022150754

(22)【出願日】2022-09-21

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】初谷 太郎

(72)【発明者】

【氏名】一ノ瀬 晶路

【テーマコード（参考）】

4C093

4C117

5L096

5L099

【Ｆターム（参考）】

4C093AA26

4C093CA18

4C093FF07

4C093FF17

4C093FF28

4C117XB08

4C117XE44

4C117XE45

4C117XK05

4C117XK33

4C117XL01

4C117XL11

4C117XR07

4C117XR08

5L096BA06

5L096BA13

5L096CA22

5L096DA04

5L096FA66

5L096GA51

5L099AA04

5L099AA26

(57)【要約】

【課題】医用画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、関心度が低い場合に、複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定し、複数の病変領域を強調表示して医用画像をディスプレイ２４に表示させる場合に、関心度が低いと分類された第１病変領域及び第２病変領域の表示方法を、他の病変領域と異ならせる。
【選択図】図５

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
複数の病変領域を含む医用画像を取得し、
前記複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、
前記関心度が低い場合に、前記複数の病変領域のうち前記第１病変領域に類似する少なくとも１つの第２病変領域を特定し、
前記複数の病変領域を強調表示して前記医用画像をディスプレイに表示させる場合に、前記関心度が低いと分類された前記第１病変領域及び前記第２病変領域の表示方法を、他の病変領域と異ならせる
情報処理装置。

【請求項2】

前記プロセッサは、
前記関心度が低いと分類された前記第１病変領域及び前記第２病変領域が、前記他の病変領域よりも強調されないように、前記医用画像をディスプレイに表示させる
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記医用画像の画像特徴に基づいて、前記第２病変領域を特定する
請求項１に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記関心度の高低の入力を受け付ける
請求項１に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記第１病変領域に類似する病変領域について予め定められた関心度を、前記第１病変領域の関心度として取得する
請求項１に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートに、当該病変領域についての記載があるか否かに基づいて、前記第１病変領域の関心度を推定する
請求項１に記載の情報処理装置。

【請求項7】

前記プロセッサは、
前記第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートに、当該病変領域についての記載がない場合に、前記第１病変領域の関心度が低いと推定する
請求項６に記載の情報処理装置。

【請求項8】

前記プロセッサは、
前記第１病変領域からの距離が予め定められた範囲内にある病変領域のうち、前記第１病変領域に類似する病変領域を前記第２病変領域として特定する
請求項１に記載の情報処理装置。

【請求項9】

複数の病変領域を含む医用画像を取得し、
前記複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、
前記関心度が低い場合に、前記複数の病変領域のうち前記第１病変領域に類似する少なくとも１つの第２病変領域を特定し、
前記複数の病変領域を強調表示して前記医用画像をディスプレイに表示させる場合に、前記関心度が低いと分類された前記第１病変領域及び前記第２病変領域の表示方法を、他の病変領域と異ならせる
処理を含む情報処理方法。

【請求項10】

複数の病変領域を含む医用画像を取得し、
前記複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、
前記関心度が低い場合に、前記複数の病変領域のうち前記第１病変領域に類似する少なくとも１つの第２病変領域を特定し、
前記複数の病変領域を強調表示して前記医用画像をディスプレイに表示させる場合に、前記関心度が低いと分類された前記第１病変領域及び前記第２病変領域の表示方法を、他の病変領域と異ならせる
処理をコンピュータに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置により得られる医用画像を用いての画像診断が行われている。また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer Aided Detection/Diagnosis）により医用画像を解析して、医用画像に含まれる構造物及び病変等を含む関心領域を検出及び／又は診断することが行われている。医用画像及びＣＡＤによる解析結果は、医用画像の読影を行う読影医等の医療従事者の端末に送信される。読影医等の医療従事者は、自身の端末を用いて医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

【0003】

また、医用画像の読影を支援する各種手法が提案されている。例えば、特許文献１には、読影医が入力したキーワード及び医用画像の解析結果に基づいて、読影レポートを作成する技術が開示されている。特許文献１に記載の技術では、入力された文字から文章を生成するように学習が行われたリカレントニューラルネットワークを用いて、読影レポートに記載するための文章が作成される。

【0004】

また例えば、特許文献２には、医用画像に基づいて病変候補の情報を取得し、病変候補の医学的重要度が閾値よりも高くなるデータを出力することによって、病変部位に関連する情報の効率的な参照を可能にする技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１５３２５０号公報

【特許文献2】特開２００９－０８２４４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、医用画像から検出される病変のなかには、医師の関心度が高い病変と低い病変とが混在している場合がある。例えば、治療及び経過観察等を要しない病変は臨床価値が低く、治療及び経過観察等を要する病変と比較して医師の関心度が低くなる。このような場合に、関心度の低い病変も含めて検出された全ての病変を提示すると、読影の妨げになることがあった。

【0007】

また、医用画像から検出される病変のなかには、類似する複数の病変が含まれる場合があり、それらの関心度は同様であることが想定される。そこで、類似する病変の関心度を利用しながら、関心度に応じて各病変の表示方法を異ならせることによって、より効率的に医用画像の読影を支援できる技術が望まれている。

【0008】

本開示は、医用画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

【課題を解決するための手段】

【0009】

本開示の第１態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、関心度が低い場合に、複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定し、複数の病変領域を強調表示して医用画像をディスプレイに表示させる場合に、関心度が低いと分類された第１病変領域及び第２病変領域の表示方法を、他の病変領域と異ならせる。

【0010】

本開示の第２態様は、上記第１態様において、プロセッサは、関心度が低いと分類された第１病変領域及び第２病変領域が、他の病変領域よりも強調されないように、医用画像をディスプレイに表示させてもよい。

【0011】

本開示の第３態様は、上記第１態様又は第２態様において、プロセッサは、医用画像の画像特徴に基づいて、第２病変領域を特定してもよい。

【0012】

本開示の第４態様は、上記第１態様から第３態様の何れか１つにおいて、プロセッサは、関心度の高低の入力を受け付けてもよい。

【0013】

本開示の第５態様は、上記第１態様から第４態様の何れか１つにおいて、プロセッサは、第１病変領域に類似する病変領域について予め定められた関心度を、第１病変領域の関心度として取得してもよい。

【0014】

本開示の第６態様は、上記第１態様から第５態様の何れか１つにおいて、プロセッサは、第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートに、当該病変領域についての記載があるか否かに基づいて、第１病変領域の関心度を推定してもよい。

【0015】

本開示の第７態様は、上記第６態様において、プロセッサは、第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートに、当該病変領域についての記載がない場合に、第１病変領域の関心度が低いと推定してもよい。

【0016】

本開示の第８態様は、上記第１態様から第７態様の何れか１つにおいて、プロセッサは、第１病変領域からの距離が予め定められた範囲内にある病変領域のうち、第１病変領域に類似する病変領域を第２病変領域として特定してもよい。

【0017】

本開示の第９態様は、情報処理方法であって、複数の病変領域を含む医用画像を取得し、複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、関心度が低い場合に、複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定し、複数の病変領域を強調表示して医用画像をディスプレイに表示させる場合に、関心度が低いと分類された第１病変領域及び第２病変領域の表示方法を、他の病変領域と異ならせる処理を含む。

【0018】

本開示の第１０態様は、情報処理プログラムであって、複数の病変領域を含む医用画像を取得し、複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、関心度が低い場合に、複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定し、複数の病変領域を強調表示して医用画像をディスプレイに表示させる場合に、関心度が低いと分類された第１病変領域及び第２病変領域の表示方法を、他の病変領域と異ならせる処理をコンピュータに実行させるためのものである。

【発明の効果】

【0019】

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、医用画像の読影を支援できる。

【図面の簡単な説明】

【0020】

【図1】情報処理システムの概略構成の一例を示す図である。

【図2】医用画像の一例を示す図である。

【図3】医用画像の一例を示す図である。

【図4】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図5】情報処理装置の機能的な構成の一例を示すブロック図である。

【図6】ディスプレイに表示される画面の一例を示す図である。

【図7】ディスプレイに表示される画面の一例を示す図である。

【図8】ディスプレイに表示される画面の一例を示す図である。

【図9】ディスプレイに表示される画面の一例を示す図である。

【図10】情報処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して本開示の実施形態について説明する。まず、本開示の情報処理装置１０を適用した情報処理システム１の構成について説明する。図１は、情報処理システム１の概略構成を示す図である。図１に示す情報処理システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被検体の検査対象部位の撮影、撮影により取得された医用画像の保管を行う。また、読影医による医用画像の読影作業及び読影レポートの作成、並びに、依頼元の診療科の医師による読影レポートの閲覧を行う。

【0022】

図１に示すように、情報処理システム１は、撮影装置２、読影端末である読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８を含む。撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、有線又は無線のネットワーク９を介して互いに通信可能な状態で接続されている。

【0023】

各機器は、情報処理システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、例えば、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされてもよい。また例えば、ネットワーク９に接続されたサーバコンピュータの記憶装置又はネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされてもよい。

【0024】

撮影装置２は、被検体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。撮影装置２の一例としては、単純Ｘ線撮影装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography)装置、超音波診断装置、内視鏡及び眼底カメラ等が挙げられる。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

【0025】

図２は、撮影装置２によって取得される医用画像の一例を模式的に示す図である。図２に示す医用画像Ｔは、例えば、１人の被検体（人体）の頭部から腰部までの断層面をそれぞれ表す複数の断層画像Ｔ１～Ｔｍ（ｍは２以上）からなるＣＴ画像である。

【0026】

図３は、複数の断層画像Ｔ１～Ｔｍのうちの１枚の断層画像Ｔｘの一例を模式的に示す図である。図３に示す断層画像Ｔｘは、肺を含む断層面を表す。各断層画像Ｔ１～Ｔｍには、人体の各種器官及び臓器（例えば肺及び肝臓等）、並びに、各種器官及び臓器を構成する各種組織（例えば血管、神経及び筋肉等）等を示す構造物の領域ＳＡが含まれ得る。また、各断層画像には、例えば結節、腫瘍、損傷、欠損及び炎症等の病変領域ＡＡが含まれ得る。図３に示す断層画像Ｔｘにおいては、肺の領域が構造物の領域ＳＡであり、結節の領域が病変領域ＡＡである。なお、１枚の断層画像に複数の構造物の領域ＳＡ及び／又は病変領域ＡＡが含まれていてもよい。以下、医用画像に含まれる構造物の領域ＳＡ、及び医用画像に含まれる病変領域ＡＡの少なくとも一方を「関心領域」という。

【0027】

読影ＷＳ３は、例えば放射線科の読影医等の医療従事者が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本実施形態に係る情報処理装置１０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、及び、医用画像に関する文章の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求及び閲覧要求、並びに、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0028】

診療ＷＳ４は、例えば診療科の医師等の医療従事者が、医用画像の詳細観察、読影レポートの閲覧、及び、電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置を含んで構成される。診療ＷＳ４では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及び、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0029】

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System：ＤＢＭＳ）の機能を提供するソフトウェアプログラムがインストールされたものである。画像サーバ５は、画像ＤＢ６と接続される。なお、画像サーバ５と画像ＤＢ６との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）等のネットワークを介して接続される形態でもよい。

【0030】

画像ＤＢ６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。画像ＤＢ６には、撮影装置２において取得された医用画像と、医用画像に付帯された付帯情報と、が対応付けられて登録される。

【0031】

付帯情報には、例えば、医用画像を識別するための画像ＩＤ(identification)、医用画像に含まれる断層画像ごとに割り振られる断層ＩＤ、被検体を識別するための被検体ＩＤ、及び検査を識別するための検査ＩＤ等の識別情報が含まれてもよい。また、付帯情報には、例えば、医用画像の撮影に関する撮影方法、撮影条件、撮影目的及び撮影日時等の撮影に関する情報が含まれていてもよい。「撮影方法」及び「撮影条件」とは、例えば、撮影装置２の種類、撮影部位、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無及び断層撮影におけるスライス厚等である。また、付帯情報には、被検体の名前、生年月日、年齢及び性別等の被検体に関する情報が含まれていてもよい。

【0032】

また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受信すると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求を受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

【0033】

レポートサーバ７は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。レポートサーバ７は、レポートＤＢ８と接続される。なお、レポートサーバ７とレポートＤＢ８との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ及びＳＡＮ等のネットワークを介して接続される形態でもよい。

【0034】

レポートＤＢ８は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。レポートＤＢ８には、読影ＷＳ３において作成された読影レポートが登録される。また、レポートＤＢ８には、医用画像に関する所見情報が記憶されていてもよい。所見情報とは、例えば読影ＷＳ３がＣＡＤ（Computer Aided Detection/Diagnosis）技術及びＡＩ（Artificial Intelligence）技術等を用いて医用画像を画像解析して得た情報、並びにユーザが医用画像を読影して入力した情報等である。

【0035】

例えば、所見情報には、医用画像に含まれる関心領域の名称（種類）、性状、位置、測定値及び推定病名等の各種所見を示す情報が含まれる。名称（種類）の例としては、「肺」及び「肝臓」等の構造物の名称、並びに、「結節」等の病変の名称が挙げられる。性状とは、主に病変の特徴を意味する。例えば肺結節の場合、「充実型」及び「すりガラス型」等の吸収値、「明瞭／不明瞭」、「平滑／不整」、「スピキュラ」、「分葉状」及び「鋸歯状」等の辺縁形状、並びに、「類円形」及び「不整形」等の全体形状を示す所見が挙げられる。また例えば、「胸膜接触」及び「胸膜陥入」等の周辺組織との関係、並びに、造影有無及びウォッシュアウト等に関する所見が挙げられる。

【0036】

位置とは、解剖学的な位置、医用画像中の位置、並びに、「内部」、「辺縁」及び「周囲」等の他の関心領域との相対的な位置関係等を意味する。解剖学的な位置とは、「肺」及び「肝臓」等の臓器名で示されてもよいし、肺を「右肺」、「上葉」、及び肺尖区（「Ｓ１」）のように細分化した表現で表されてもよい。測定値とは、医用画像から定量的に測定可能な値であり、例えば、関心領域の大きさ及び信号値の少なくとも一方である。大きさは、例えば、関心領域の長径、短径、面積及び体積等で表される。信号値は、例えば、関心領域の画素値、及び単位をＨＵとするＣＴ値等で表される。推定病名とは、病変に基づいて推定した評価結果であり、例えば、「がん」及び「炎症」等の病名、並びに、病名及び性状に関する「陰性／陽性」、「良性／悪性」及び「軽症／重症」等の評価結果が挙げられる。

【0037】

また、レポートＤＢ８には、医用画像に含まれる病変領域について定められた関心度の高低（詳細は後述）が記憶されていてもよい。

【0038】

また、レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受信すると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求を受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

【0039】

ネットワーク９は、例えば、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等のネットワークである。なお、情報処理システム１に含まれる撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、それぞれ同一の医療機関に配置されていてもよいし、異なる医療機関等に配置されていてもよい。また、撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８の各装置の台数は図１に示す台数に限らず、各装置はそれぞれ同様の機能を有する複数台の装置で構成されていてもよい。

【0040】

ところで、医用画像から検出される病変のなかには、医師の関心度が高い病変と低い病変とが混在している場合がある。例えば、治療及び経過観察等を要しない病変は臨床価値が低く、治療及び経過観察等を要する病変と比較して医師の関心度が低くなる。また、医用画像から検出される病変のなかには、類似する複数の病変が含まれる場合があり、それらの関心度は同様であることが想定される。

【0041】

そこで、本実施形態に係る情報処理装置１０は、類似する病変の関心度を利用しながら、関心度に応じて各病変の表示方法を異ならせることによって、より効率的に医用画像の読影を支援する機能を有する。以下、情報処理装置１０について説明する。上述したように、情報処理装置１０は読影ＷＳ３に内包される。

【0042】

まず、図４を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。図４に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、情報処理装置１０は、液晶ディスプレイ等のディスプレイ２４、キーボード及びマウス等の入力部２５、並びにネットワークＩ／Ｆ（Interface）２６を含む。ネットワークＩ／Ｆ２６は、ネットワーク９に接続され、有線及び／又は無線通信を行う。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

【0043】

記憶部２２は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、情報処理装置１０における情報処理プログラム２７が記憶される。ＣＰＵ２１は、記憶部２２から情報処理プログラム２７を読み出してからメモリ２３に展開し、展開した情報処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。情報処理装置１０としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。

【0044】

次に、図５～図９を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図５に示すように、情報処理装置１０は、取得部３０、解析部３２、分類部３４、特定部３６及び制御部３８を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、解析部３２、分類部３４、特定部３６及び制御部３８の各機能部として機能する。

【0045】

取得部３０は、画像サーバ５から、被検体を撮影して得られた複数の病変領域を含む医用画像を取得する。ここで、取得部３０が取得する医用画像は、１つの画像からなるものであってもよいし、例えば図２の断層画像Ｔ１～Ｔｍからなる医用画像Ｔのように、複数の画像を含んで構成されていてもよい。したがって例えば、１つの画像に複数の病変領域が含まれていてもよいし、複数の画像のそれぞれに病変領域が含まれていてもよい。また例えば、医用画像が複数の画像を含んで構成される場合、少なくとも一部の画像に病変領域が含まれていればよく、一部の画像には病変領域が含まれていなくてもよい。

【0046】

解析部３２は、取得部３０により取得された医用画像から関心領域を抽出する。すなわち、解析部３２は、医用画像から複数の病変領域を少なくとも抽出し、その他にも構造物の領域等を抽出してもよい。関心領域の抽出手法としては、公知のＣＡＤ技術及びＡＩ技術を用いた方法等を適宜適用できる。例えば、解析部３２は、医用画像を入力とし、当該医用画像に含まれる関心領域を抽出して出力するよう学習されたＣＮＮ(Convolutional Neural Network)等の学習モデルを用いて、医用画像から関心領域を抽出してもよい。

【0047】

また、解析部３２は、抽出した関心領域に関する所見文を生成してもよい。所見文の生成手法としては、公知のＣＡＤ技術及びＡＩ技術を用いた方法等を適宜適用できる。例えば、解析部３２は、医用画像から抽出された関心領域を入力とし、関心領域の所見情報を出力するよう予め学習されたＣＮＮ等の学習モデルを用いて、関心領域の所見情報を生成してもよい。その後、解析部３２は、生成した所見情報を含む所見文を生成してもよい。例えば、解析部３２は、上記特許文献１に記載のリカレントニューラルネットワーク等の機械学習を用いた手法を用いて所見文を生成してもよい。また例えば、解析部３２は、予め定められたテンプレートに所見情報を埋め込むことによって所見文を生成してもよい。

【0048】

制御部３８は、解析部３２により抽出された複数の病変領域を強調表示して、医用画像をディスプレイ２４に表示させる制御を行う。図６に、制御部３８によってディスプレイ２４に表示される画面Ｄ１の一例を示す。画面Ｄ１には医用画像Ｔ１０が含まれ、そのうち病変領域Ａ１～Ａ３がそれぞれバウンディングボックスＢ１～Ｂ３で囲われることによって強調されている。

【0049】

なお、強調表示の方法としては、図６に示すようなバウンディングボックスＢ１～Ｂ３を用いた方法に限定されない。例えば、制御部３８は、病変領域の付近に矢印等のマーカを付したり、病変領域とその他の領域で色等の表示方法を異ならせたり（所謂マスク処理）、医用画像における病変領域の部分を拡大表示したりしてもよい。

【0050】

また、制御部３８は、解析部３２により生成された所見文をディスプレイ２４に表示させる制御を行ってもよい。図６の画面Ｄ１には、病変領域Ａ１～Ａ３のそれぞれに関する所見文９２が含まれている。

【0051】

分類部３４は、取得部３０により取得された医用画像に含まれる複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類する。具体的には、分類部３４は、第１病変領域の関心度の高低の入力を受け付けてもよい。例えば、分類部３４は、ディスプレイ２４に第１病変領域の関心度の高低を入力する画面を表示させる制御を行ってもよい。

【0052】

例えば、分類部３４は、まず図６の画面Ｄ１において、関心度の入力を受け付ける第１病変領域の指定を受け付けてもよい。読影医等のユーザは、入力部２５を介してマウスポインタ９０を操作し、関心度を入力する第１病変領域を指定する。図６の例では、第１病変領域として、病変領域Ａ１が指定されている。

【0053】

ユーザによって第１病変領域が指定されると、分類部３４は、指定された第１病変領域の関心度の高低の入力を受け付けるための画面をディスプレイ２４に表示させる制御を行う。図７に、分類部３４によってディスプレイ２４に表示される画面Ｄ２の一例を示す。画面Ｄ２には、関心度の高低の入力を受け付けるためのラジオボタン９４と、決定ボタン９６と、が含まれる。ユーザは、入力部２５を介してマウスポインタ９０を操作し、ラジオボタン９４によって関心度を入力し、決定ボタン９６を押下する。分類部３４は、画面Ｄ２において入力された関心度の高低に基づき、画面Ｄ１において指定された第１病変領域の関心度の高低を分類する。図６及び図７の例では、第１病変領域Ａ１について、関心度が低いと分類される。

【0054】

特定部３６は、分類部３４により分類された第１病変領域の関心度が低い場合に、解析部３２により抽出された複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定する。具体的には、特定部３６は、医用画像の画像特徴に基づいて、第２病変領域を特定してもよい。例えば、特定部３６は、医用画像を入力とし、入力された医用画像の特徴量を出力するよう予め学習されたＣＮＮ等の学習モデルを用いて、医用画像の画像特徴量を抽出してもよい。そして特定部３６は、画像特徴量に基づいて第１病変領域と他の病変領域との類似度を導出し、類似度が予め定められた閾値以上となる病変領域を第２病変領域として特定してもよい。なお、類似度としては、例えば画像特徴量をベクトル化した特徴量ベクトルの距離の逆数等を適宜適用できる。

【0055】

また例えば、特定部３６は、第１病変領域からの距離が予め定められた範囲内にある病変領域のうち、第１病変領域に類似する病変領域を第２病変領域として特定してもよい。換言すれば、特定部３６は、第１病変領域からの距離が予め定められた範囲外の病変領域については、仮に画像特徴に基づけば類似するものであっても、第２病変領域とは特定しないようにしてもよい。ここで、第１病変領域からの距離とは、１つの医用画像内の距離であってもよいし、図２に示すように複数の断層画像からなる医用画像の場合の頭尾方向の距離であってもよい。

【0056】

また例えば、特定部３６は、第１病変領域が位置する構造物（人体の器官、臓器及び組織）と同一又は関連のある構造物に位置する病変領域のうち、第１病変領域に類似する病変領域を第２病変領域として特定してもよい。換言すれば、特定部３６は、第１病変領域が位置する構造物と関連のない他の構造物に位置する病変領域については、仮に画像特徴に基づけば類似するものであっても、第２病変領域とは特定しないようにしてもよい。例えば、特定部３６は、右腎臓に第１病変領域が位置する場合、右腎臓又は右腎臓に関連する左腎臓に位置する病変領域のうち第１病変領域に類似する病変領域を第２病変領域として特定してもよい。なお、構造物間の関連性については、例えば記憶部２２に予め記憶されていてもよい。

【0057】

また例えば、特定部３６は、上記の第１病変領域からの距離及び第１病変領域が位置する構造物についての条件を組み合わせて第２病変領域を特定してもよい。例えば、特定部３６は、第１病変領域からの距離が予め定められた範囲内であり、かつ、第１病変領域が位置する構造物と同一又は関連のある構造物に位置する病変領域のうち、第１病変領域に類似する病変領域を第２病変領域として特定してもよい。例えば、特定部３６は、肝臓に第１病変領域が位置する場合、肺及び横隔膜のような肝臓とは関連のない構造物に位置する病変領域については、第１病変領域からの距離が近くとも、第２病変領域とは特定しないようにしてもよい。

【0058】

制御部３８は、分類部３４により関心度が低いと分類された第１病変領域、及び特定部３６により特定された第２病変領域の表示方法を、他の病変領域と異ならせてディスプレイ２４に表示させる制御を行う。具体的には、制御部３８は、分類部３４により関心度が低いと分類された第１病変領域及び特定部３６により特定された第２病変領域が、他の病変領域よりも強調されないように、医用画像をディスプレイ２４に表示させる制御を行う。

【0059】

図８に、制御部３８によってディスプレイ２４に表示される画面Ｄ３の一例を示す。画面Ｄ３は、画面Ｄ２において第１病変領域Ａ１の関心度が低いと入力された後、第１病変領域Ａ１に類似する第２病変領域として病変領域Ａ２が特定された場合に、画面Ｄ１から遷移する画面である。画面Ｄ３においては、画面Ｄ１において第１病変領域Ａ１及び第２病変領域Ａ２を囲っていたバウンディングボックスＢ１及びＢ２が除去されている。一方、第１病変領域Ａ１に類似する第２病変領域としては特定されなかった（すなわち第１病変領域Ａ１とは類似していないと特定された）病変領域Ａ３については、画面Ｄ１から引き続きバウンディングボックスＢ３により強調表示されている。

【0060】

また、制御部３８は、解析部３２により生成された所見文から、関心度が低いと分類された第１病変領域及び第２病変領域に関する部分を削除してもよい。図９に、この場合に制御部３８によってディスプレイ２４に表示される画面Ｄ４の一例を示す。画面Ｄ４の所見文９２からは、第１病変領域Ａ１及び第２病変領域Ａ２に関する部分が削除されている。一方、第１病変領域Ａ１に類似する第２病変領域としては特定されなかった（すなわち第１病変領域Ａ１とは類似していないと特定された）病変領域Ａ３については、画面Ｄ１から引き続き所見文９２に含まれている。

【0061】

次に、図１０を参照して、本実施形態に係る情報処理装置１０の作用を説明する。情報処理装置１０において、ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１０に示す情報処理が実行される。情報処理は、例えば、ユーザにより入力部２５を介して実行開始の指示があった場合に実行される。

【0062】

ステップＳ１０で、取得部３０は、画像サーバ５から、被検体を撮影して得られた複数の病変領域を含む医用画像を取得する。ステップＳ１２で、解析部３２は、ステップＳ１０で取得された医用画像から、複数の病変領域を抽出する。ステップＳ１４で、分類部３４は、ステップＳ１２で抽出された複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類する。

【0063】

ステップＳ１４で第１病変領域の関心度が低いと分類された場合（ステップＳ１４がＹ）、ステップＳ１６に移行する。ステップＳ１６で、特定部３６は、ステップＳ１２で抽出された複数の病変領域のうち、第１病変領域に類似する少なくとも１つの第２病変領域を特定する。ステップＳ１８で、制御部３８は、ステップＳ１２で抽出された複数の病変領域を強調してディスプレイ２４に表示させる場合に、第１病変領域及びステップＳ１６で特定された第２病変領域の表示方法を、他の病変領域と異ならせてディスプレイ２４に表示させる制御を行い、本情報処理を終了する。

【0064】

一方、ステップＳ１４で第１病変領域の関心度が高いと分類された場合（ステップＳ１４がＮ）、ステップＳ２０に移行する。ステップＳ２０で、制御部３８は、ステップＳ１２で抽出された複数の病変領域を強調してディスプレイ２４に表示させる制御を行い、本情報処理を終了する。

【0065】

以上説明したように、本開示の一態様に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、複数の病変領域を含む医用画像を取得し、複数の病変領域のうち少なくとも１つの第１病変領域の関心度の高低を分類し、関心度が低い場合に、複数の病変領域のうち第１病変領域に類似する少なくとも１つの第２病変領域を特定し、複数の病変領域を強調表示して医用画像をディスプレイ２４に表示させる場合に、関心度が低いと分類された第１病変領域及び第２病変領域の表示方法を、他の病変領域と異ならせる。

【0066】

すなわち、本実施形態に係る情報処理装置１０によれば、医用画像の読影において関心度が高い病変と低い病変とで表示方法を異ならせることができるので、煩雑になることを抑制し、視認性を向上できる。また、類似する病変の関心度を利用することによって、より効率的に関心度が高い病変と低い病変とで表示方法を異ならせることができ、医用画像の読影を支援できる。

【0067】

なお、上記実施形態においては、第１病変領域の関心度について、ユーザによる関心度の高低の入力を受け付ける形態について説明したが、これに限らない。例えば、分類部３４は、第１病変領域に類似する病変領域について予め定められた関心度を、第１病変領域の関心度として取得してもよい。上述したように、レポートＤＢ８には、読影作業において病変領域について定められた関心度の高低が記憶されていてもよい。そこで分類部３４は、レポートＤＢ８を参照し、第１病変領域に類似する病変領域について過去の読影時に定められた関心度を、第１病変領域の関心度に流用してもよい。

【0068】

ここで、第１病変領域に類似する病変領域とは、現在読影を行っている対象の被検体と同一の被検体を撮影して得られた医用画像に含まれるものであってもよいし、異なる被検体を撮影して得られた医用画像に含まれるものであってもよい。例えば、同一の被検体について経過観察を行う場合には、過去の読影作業において入力した同一の病変領域の関心度を流用できる場合がある。また例えば、被検体が同一か異なるかに限らず、読影医及び医療機関等の方針に応じて病変領域の種類ごとに関心度が定まっており、同種の他の病変領域の関心度を流用できる場合がある。

【0069】

また例えば、分類部３４は、第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートに、当該病変領域についての記載があるか否かに基づいて、第１病変領域の関心度を推定してもよい。具体的には、分類部３４は、レポートＤＢ８を参照し、第１病変領域に類似する病変領域が含まれる他の医用画像について記載された読影レポートを検索する。また、分類部３４は、検索により得られた読影レポートに、第１病変領域に類似する病変領域についての記載がない場合に、第１病変領域の関心度が低いと推定してもよい。一方、分類部３４は、検索により得られた読影レポートに、第１病変領域に類似する病変領域についての記載がある場合は、第１病変領域の関心度が高いと推定してもよい。

【0070】

また、上記実施形態においては、図６に示すように、まずは全ての病変領域を強調表示する形態について説明したが、これに限らない。上記各例のように、第１病変領域の関心度について、予め定められた関心度を取得する場合、及び他の読影レポートの記載に基づく推定を行う場合は、関心度が低い第１病変領域及び第２病変領域について、はじめから強調表示しないようにしてもよい。

【0071】

また、上記実施形態の図６～図８を用いた説明においては、１つの医用画像Ｔ１０に第１病変領域及び第２病変領域が含まれている形態について説明したが、これに限らない。上述したように、取得部３０が取得する医用画像は、例えば図２の断層画像Ｔ１～Ｔｍからなる医用画像Ｔのように、複数の画像を含んで構成されるものであってもよい。したがって例えば、分類部３４によりある断層画像に含まれる第１病変領域について関心度が低いと分類された後、特定部３６は、別の断層画像に含まれる第２病変領域を特定してもよい。

【0072】

また、上記実施形態の図６～図８を用いた説明においては、関心度が低いと分類された第１病変領域Ａ１に類似する第２病変領域Ａ２を１つ特定する形態について説明したが、これに限らない。例えば、特定部３６は、関心度が低いと分類された第１病変領域に類似する複数の第２病変領域を特定してもよい。

【0073】

また、上記実施形態の図６～図８を用いた説明においては、１つの第１病変領域Ａ１について関心度の高低を分類する形態について説明したが、これに限らない。例えば、分類部３４は、複数の第１病変領域のそれぞれについて関心度の高低を分類してもよい。特定部３６は、関心度が低いと分類された第１病変領域のそれぞれについて、類似する少なくとも１つの第２病変領域を特定してもよい。

【0074】

また、上記実施形態においては、解析部３２が医用画像に基づいて所見情報及び所見文を生成する形態について説明したが、これに限らない。例えば、解析部３２は、記憶部２２、画像サーバ５、画像ＤＢ６、レポートサーバ７、レポートＤＢ８及びその他外部装置等に予め記憶されている所見情報及び所見文を取得してもよい。また例えば、解析部３２は、入力部２５を介してユーザにより手動で入力された所見情報及び所見文を取得してもよい。

【0075】

また、上記実施形態において、例えば、取得部３０、解析部３２、分類部３４、特定部３６及び制御部３８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0076】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0077】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0078】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0079】

また、上記実施形態では、情報処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0080】

本開示の技術は、上記実施形態例及び実施例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

【符号の説明】

【0081】

１ 情報処理システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
９ ネットワーク
１０ 情報処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 情報処理プログラム
２８ バス
３０ 取得部
３２ 解析部
３４ 分類部
３６ 特定部
３８ 制御部
９０ マウスポインタ
９２ 所見文
９４ ラジオボタン
９６ 決定ボタン
ＡＡ、Ａ１～Ａ３ 病変領域
Ｂ１～Ｂ３ バウンディングボックス
Ｄ１～Ｄ４ 画面
ＳＡ 構造物の領域
Ｔ、Ｔ１０ 医用画像
Ｔ１～Ｔｍ、Ｔｘ 断層画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】