特開 2024-44923 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024044923

(43)【公開日】2024-04-02

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240326BHJP

   A61B 5/00 20060101ALI20240326BHJP

   A61B 6/46 20240101ALI20240326BHJP

   A61B 6/03 20060101ALI20240326BHJP

   G16H 30/20 20180101ALI20240326BHJP

   G16H 50/00 20180101ALI20240326BHJP

【ＦＩ】

G06T7/00 612

A61B5/00 D

A61B6/00 360

A61B6/03 360B

G16H30/20

G16H50/00

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022150756

(22)【出願日】2022-09-21

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】初谷 太郎

(72)【発明者】

【氏名】一ノ瀬 晶路

【テーマコード（参考）】

4C093

4C117

5L096

5L099

【Ｆターム（参考）】

4C093AA26

4C093CA18

4C093FF17

4C093FF28

4C093FF50

4C117XB08

4C117XB09

4C117XE44

4C117XE45

4C117XG24

4C117XK05

4C117XK33

4C117XL01

4C117XL11

4C117XR07

4C117XR08

5L096CA24

5L096FA06

5L096FA18

5L096GA10

5L096KA04

5L099AA04

5L099AA26

(57)【要約】

【課題】画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、画像を取得し、画像に含まれる第１関心領域を示す図形を画像に重ねてディスプレイに表示させ、図形の少なくとも一部について修正指示を受け付け、画像の画像特徴及び修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
画像を取得し、
前記画像に含まれる第１関心領域を示す図形を前記画像に重ねてディスプレイに表示させ、
前記図形の少なくとも一部について修正指示を受け付け、
前記画像の画像特徴及び前記修正指示に基づいて、前記第１関心領域と少なくとも一部が重なる第２関心領域を特定する
情報処理装置。

【請求項2】

前記プロセッサは、
前記第２関心領域を示す図形を前記画像に重ねて前記ディスプレイに表示させる
請求項１に記載の情報処理装置。

【請求項3】

前記プロセッサは、
前記修正指示として、前記図形を形成する点のうち少なくとも１点の修正を受け付ける
請求項１に記載の情報処理装置。

【請求項4】

前記プロセッサは、
前記画像に含まれる関心領域のうち、当該関心領域の外縁から予め定められた範囲内に修正後の前記図形を形成する少なくとも１点が位置する関心領域を、前記第２関心領域として特定する
請求項３に記載の情報処理装置。

【請求項5】

前記プロセッサは、
前記修正指示として、前記図形の形状の変化を表す言語による指示を受け付ける
請求項１に記載の情報処理装置。

【請求項6】

前記プロセッサは、
前記画像、前記第１関心領域及び前記修正指示を入力とし、前記第２関心領域を出力とするよう予め学習された第１学習モデルを用いて、前記第２関心領域を特定する
請求項１に記載の情報処理装置。

【請求項7】

前記プロセッサは、
画像を入力とし、入力された画像の特徴マップを出力とするよう予め学習された第２学習モデルを用いて、前記画像の特徴マップを生成し、
前記特徴マップ、前記第１関心領域及び前記修正指示を入力とし、前記第２関心領域を出力とするよう予め学習された第３学習モデルを用いて、前記第２関心領域を特定する
請求項１に記載の情報処理装置。

【請求項8】

前記プロセッサは、
前記特徴マップに基づいて、前記第１関心領域を特定する
請求項７に記載の情報処理装置。

【請求項9】

前記図形は、バウンディングボックス、マスク及びメッシュの少なくとも１つである
請求項１に記載の情報処理装置。

【請求項10】

前記画像は、医用画像であり、
前記第１関心領域及び前記第２関心領域は、前記医用画像に含まれる構造物の領域、及び前記医用画像に含まれる病変の領域の少なくとも一方である
請求項１に記載の情報処理装置。

【請求項11】

画像を取得し、
前記画像に含まれる第１関心領域を示す図形を前記画像に重ねてディスプレイに表示させ、
前記図形の少なくとも一部について修正指示を受け付け、
前記画像の画像特徴及び前記修正指示に基づいて、前記第１関心領域と少なくとも一部が重なる第２関心領域を特定する
処理を含む情報処理方法。

【請求項12】

画像を取得し、
前記画像に含まれる第１関心領域を示す図形を前記画像に重ねてディスプレイに表示させ、
前記図形の少なくとも一部について修正指示を受け付け、
前記画像の画像特徴及び前記修正指示に基づいて、前記第１関心領域と少なくとも一部が重なる第２関心領域を特定する
処理をコンピュータに実行させるための情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

従来、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置により得られる医用画像を用いての画像診断が行われている。また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer Aided Detection/Diagnosis）により医用画像を解析して、医用画像に含まれる構造物及び病変等を含む関心領域を検出及び／又は診断することが行われている。医用画像及びＣＡＤによる解析結果は、医用画像の読影を行う読影医等の医療従事者の端末に送信される。読影医等の医療従事者は、自身の端末を用いて医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

【0003】

また、医用画像の読影を支援する各種手法が提案されている。例えば、特許文献１には、読影医が入力したキーワード及び医用画像の解析結果に基づいて、読影レポートを作成する技術が開示されている。特許文献１に記載の技術では、入力された文字から文章を生成するように学習が行われたリカレントニューラルネットワークを用いて、読影レポートに記載するための文章が作成される。

【0004】

また例えば、特許文献２には、医用画像における関心領域の形状を修正する場合、多節線分又は点列を等間隔に配列し、その内の一つをドラッグすることによって、隣接する他の多節線分又は点列を所定の張力に応じて追随して移動させる技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１５３２５０号公報

【特許文献2】特開２０００－３０８６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来、ＣＡＤによって医用画像から関心領域を検出する場合に、周囲の余分な範囲を含んでしまったり、周縁部の検出漏れがあったりして、正しく検出できないことがあった。検出された関心領域を利用する場合（例えば、医用画像中の関心領域を強調表示する場合、及び関心領域に関する所見文を生成する場合等）には、ユーザにより手動で正しい関心領域に修正することが求められるが、この際の手間を軽減できる技術が望まれている。特許文献２に記載の技術では、ドラッグした点に隣接する他の点が所定の張力に応じて移動するため、正しい関心領域に合わせて精度良く修正することが困難な場合があった。

【0007】

本開示は、画像の読影を支援できる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

【課題を解決するための手段】

【0008】

本開示の第１態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、画像を取得し、画像に含まれる第１関心領域を示す図形を画像に重ねてディスプレイに表示させ、図形の少なくとも一部について修正指示を受け付け、画像の画像特徴及び修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する。

【0009】

本開示の第２態様は、上記第１態様において、プロセッサは、第２関心領域を示す図形を画像に重ねてディスプレイに表示させてもよい。

【0010】

本開示の第３態様は、上記第１態様又は第２態様において、プロセッサは、修正指示として、図形を形成する点のうち少なくとも１点の修正を受け付けてもよい。

【0011】

本開示の第４態様は、上記第３態様において、プロセッサは、画像に含まれる関心領域のうち、当該関心領域の外縁から予め定められた範囲内に修正後の図形を形成する少なくとも１点が位置する関心領域を、第２関心領域として特定してもよい。

【0012】

本開示の第５態様は、上記第１態様から第４態様の何れか１つにおいて、プロセッサは、修正指示として、図形の形状の変化を表す言語による指示を受け付けてもよい。

【0013】

本開示の第６態様は、上記第１態様から第５態様の何れか１つにおいて、プロセッサは、画像、第１関心領域及び修正指示を入力とし、第２関心領域を出力とするよう予め学習された第１学習モデルを用いて、第２関心領域を特定してもよい。

【0014】

本開示の第７態様は、上記第１態様から第５態様の何れか１つにおいて、プロセッサは、画像を入力とし、入力された画像の特徴マップを出力とするよう予め学習された第２学習モデルを用いて、画像の特徴マップを生成し、特徴マップ、第１関心領域及び修正指示を入力とし、第２関心領域を出力とするよう予め学習された第３学習モデルを用いて、第２関心領域を特定してもよい。

【0015】

本開示の第８態様は、上記第７態様において、プロセッサは、特徴マップに基づいて、第１関心領域を特定してもよい。

【0016】

本開示の第９態様は、上記第１態様から第８態様の何れか１つにおいて、図形は、バウンディングボックス、マスク及びメッシュの少なくとも１つであってもよい。

【0017】

本開示の第１０態様は、上記第１態様から第９態様の何れか１つにおいて、画像は、医用画像であり、関心領域は、医用画像に含まれる構造物の領域、及び医用画像に含まれる病変の領域の少なくとも一方であってもよい。

【0018】

本開示の第１１態様は、情報処理方法であって、画像を取得し、画像に含まれる第１関心領域を示す図形を画像に重ねてディスプレイに表示させ、図形の少なくとも一部について修正指示を受け付け、画像の画像特徴及び修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する処理を含む。

【0019】

本開示の第１２態様は、情報処理プログラムであって、画像を取得し、画像に含まれる第１関心領域を示す図形を画像に重ねてディスプレイに表示させ、図形の少なくとも一部について修正指示を受け付け、画像の画像特徴及び修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する処理をコンピュータに実行させるためのものである。

【発明の効果】

【0020】

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、画像の読影を支援できる。

【図面の簡単な説明】

【0021】

【図1】情報処理システムの概略構成の一例を示す図である。

【図2】医用画像の一例を示す図である。

【図3】医用画像の一例を示す図である。

【図4】情報処理装置のハードウェア構成の一例を示すブロック図である。

【図5】情報処理装置の機能的な構成の一例を示すブロック図である。

【図6】ディスプレイに表示される画面の一例を示す図である。

【図7】ディスプレイに表示される画面の一例を示す図である。

【図8】第２関心領域の特定方法を説明するための図である。

【図9】ディスプレイに表示される画面の一例を示す図である。

【図10】情報処理の一例を示すフローチャートである。

【図11】第２関心領域の特定方法を説明するための図である。

【発明を実施するための形態】

【0022】

以下、図面を参照して本開示の実施形態について説明する。まず、本開示の情報処理装置１０を適用した情報処理システム１の構成について説明する。図１は、情報処理システム１の概略構成を示す図である。図１に示す情報処理システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被検体の検査対象部位の撮影、撮影により取得された医用画像の保管を行う。また、読影医による医用画像の読影作業及び読影レポートの作成、並びに、依頼元の診療科の医師による読影レポートの閲覧を行う。

【0023】

図１に示すように、情報処理システム１は、撮影装置２、読影端末である読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像ＤＢ（DataBase）６、レポートサーバ７及びレポートＤＢ８を含む。撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、有線又は無線のネットワーク９を介して互いに通信可能な状態で接続されている。

【0024】

各機器は、情報処理システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、例えば、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）及びＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされてもよい。また例えば、ネットワーク９に接続されたサーバコンピュータの記憶装置又はネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされてもよい。

【0025】

撮影装置２は、被検体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。撮影装置２の一例としては、単純Ｘ線撮影装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography)装置、超音波診断装置、内視鏡及び眼底カメラ等が挙げられる。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

【0026】

図２は、撮影装置２によって取得される医用画像の一例を模式的に示す図である。図２に示す医用画像Ｔは、例えば、１人の被検体（人体）の頭部から腰部までの断層面をそれぞれ表す複数の断層画像Ｔ１～Ｔｍ（ｍは２以上）からなるＣＴ画像である。

【0027】

図３は、複数の断層画像Ｔ１～Ｔｍのうちの１枚の断層画像Ｔｘの一例を模式的に示す図である。図３に示す断層画像Ｔｘは、肺を含む断層面を表す。各断層画像Ｔ１～Ｔｍには、人体の各種器官及び臓器（例えば肺及び肝臓等）、並びに、各種器官及び臓器を構成する各種組織（例えば血管、神経及び筋肉等）等を示す構造物の領域ＳＡが含まれ得る。また、各断層画像には、例えば結節、腫瘍、損傷、欠損及び炎症等の病変の領域ＡＡが含まれ得る。図３に示す断層画像Ｔｘにおいては、肺の領域が構造物の領域ＳＡであり、結節の領域が病変の領域ＡＡである。なお、１枚の断層画像に複数の構造物の領域ＳＡ及び／又は病変の領域ＡＡが含まれていてもよい。以下、医用画像に含まれる構造物の領域ＳＡ、及び医用画像に含まれる病変の領域ＡＡの少なくとも一方を「関心領域」という。

【0028】

読影ＷＳ３は、例えば放射線科の読影医等の医療従事者が、医用画像の読影及び読影レポートの作成等に利用するコンピュータであり、本実施形態に係る情報処理装置１０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、及び、医用画像に関する文章の入力受付が行われる。また、読影ＷＳ３では、医用画像に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求及び閲覧要求、並びに、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0029】

診療ＷＳ４は、例えば診療科の医師等の医療従事者が、医用画像の詳細観察、読影レポートの閲覧、及び、電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置を含んで構成される。診療ＷＳ４では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、及び、レポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0030】

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System：ＤＢＭＳ）の機能を提供するソフトウェアプログラムがインストールされたものである。画像サーバ５は、画像ＤＢ６と接続される。なお、画像サーバ５と画像ＤＢ６との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）等のネットワークを介して接続される形態でもよい。

【0031】

画像ＤＢ６は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。画像ＤＢ６には、撮影装置２において取得された医用画像と、医用画像に付帯された付帯情報と、が対応付けられて登録される。

【0032】

付帯情報には、例えば、医用画像を識別するための画像ＩＤ(identification)、医用画像に含まれる断層画像ごとに割り振られる断層ＩＤ、被検体を識別するための被検体ＩＤ、及び検査を識別するための検査ＩＤ等の識別情報が含まれてもよい。また、付帯情報には、例えば、医用画像の撮影に関する撮影方法、撮影条件、撮影目的及び撮影日時等の撮影に関する情報が含まれていてもよい。「撮影方法」及び「撮影条件」とは、例えば、撮影装置２の種類、撮影部位、撮影プロトコル、撮影シーケンス、撮像手法、造影剤の使用有無及び断層撮影におけるスライス厚等である。また、付帯情報には、被検体の名前、生年月日、年齢及び性別等の被検体に関する情報が含まれていてもよい。

【0033】

また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受信すると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。また、画像サーバ５は、読影ＷＳ３及び診療ＷＳ４からの閲覧要求を受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

【0034】

レポートサーバ７は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。レポートサーバ７は、レポートＤＢ８と接続される。なお、レポートサーバ７とレポートＤＢ８との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ及びＳＡＮ等のネットワークを介して接続される形態でもよい。

【0035】

レポートＤＢ８は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。レポートＤＢ８には、読影ＷＳ３において作成された読影レポートが登録される。また、レポートＤＢ８には、医用画像に関する所見情報が記憶されていてもよい。所見情報とは、例えば読影ＷＳ３がＣＡＤ（Computer Aided Detection/Diagnosis）技術及びＡＩ（Artificial Intelligence）技術等を用いて医用画像を画像解析して得た情報、並びにユーザが医用画像を読影して入力した情報等である。

【0036】

所見情報とは、例えば、医用画像に含まれる関心領域の種類（名称）、性状、位置、大きさ等の測定値、及び推定病名等の各種所見を示す。種類（名称）の例としては、「肺」及び「肝臓」等の構造物の種類、並びに、「結節」及び「腫瘤」等の病変の種類が挙げられる。性状とは、主に病変の特徴を意味する。例えば肺結節の場合、「充実型」及び「すりガラス型」等の吸収値、「明瞭／不明瞭」、「平滑／不整」、「スピキュラ」、「分葉状」及び「鋸歯状」等の辺縁形状、並びに、「類円形」及び「不整形」等の全体形状を示す所見が挙げられる。また例えば、「胸膜接触」及び「胸膜陥入」等の周辺組織との関係、並びに、造影有無及びウォッシュアウト等に関する所見が挙げられる。

【0037】

位置とは、解剖学的な位置、医用画像中の位置、並びに、「内部」、「辺縁」及び「周囲」等の他の関心領域との相対的な位置関係等を意味する。解剖学的な位置とは、「肺」及び「肝臓」等の臓器名で示されてもよいし、肺を「右肺」、「上葉」、及び肺尖区（「Ｓ１」）のように細分化した表現で表されてもよい。測定値とは、医用画像から定量的に測定可能な値であり、例えば、関心領域の大きさ及び信号値の少なくとも一方である。大きさは、例えば、関心領域の長径、短径、面積及び体積等で表される。信号値は、例えば、関心領域の画素値、及び単位をＨＵとするＣＴ値等で表される。推定病名とは、病変に基づいて推定した評価結果であり、例えば、「がん」及び「炎症」等の病名、並びに、病名及び性状に関する「陰性／陽性」、「良性／悪性」及び「軽症／重症」等の評価結果が挙げられる。

【0038】

また、レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受信すると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。また、レポートサーバ７は、読影ＷＳ３及び診療ＷＳ４からの読影レポートの閲覧要求を受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを閲覧要求元の読影ＷＳ３及び診療ＷＳ４に送信する。

【0039】

ネットワーク９は、例えば、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等のネットワークである。なお、情報処理システム１に含まれる撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８は、それぞれ同一の医療機関に配置されていてもよいし、異なる医療機関等に配置されていてもよい。また、撮影装置２、読影ＷＳ３、診療ＷＳ４、画像サーバ５、画像ＤＢ６、レポートサーバ７及びレポートＤＢ８の各装置の台数は図１に示す台数に限らず、各装置はそれぞれ同様の機能を有する複数台の装置で構成されていてもよい。

【0040】

ところで、ＣＡＤによって医用画像から関心領域を検出する場合に、周囲の余分な範囲を含んでしまったり、周縁部の検出漏れがあったりして、正しく検出できないことがあった。検出された関心領域を利用する場合（例えば、医用画像中の関心領域を強調表示する場合、及び関心領域に関する所見文を生成する場合等）には、ユーザにより手動で正しい関心領域に修正することが求められる。

【0041】

そこで、本実施形態に係る情報処理装置１０は、医用画像から検出された関心領域を修正する場合の補助を行うことによって、修正の手間を軽減し、医用画像の読影を支援する機能を有する。以下、情報処理装置１０について説明する。上述したように、情報処理装置１０は読影ＷＳ３に内包される。

【0042】

まず、図４を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。図４に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、情報処理装置１０は、液晶ディスプレイ等のディスプレイ２４、キーボード及びマウス等の入力部２５、並びにネットワークＩ／Ｆ（Interface）２６を含む。ネットワークＩ／Ｆ２６は、ネットワーク９に接続され、有線及び／又は無線通信を行う。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

【0043】

記憶部２２は、例えば、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、情報処理装置１０における情報処理プログラム２７が記憶される。ＣＰＵ２１は、記憶部２２から情報処理プログラム２７を読み出してからメモリ２３に展開し、展開した情報処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。情報処理装置１０としては、例えば、パーソナルコンピュータ、サーバコンピュータ、スマートフォン、タブレット端末及びウェアラブル端末等を適宜適用できる。

【0044】

次に、図５～図９を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図５に示すように、情報処理装置１０は、取得部３０、特定部３２、受付部３４及び制御部３６を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、ＣＰＵ２１が取得部３０、特定部３２、受付部３４及び制御部３６の各機能部として機能する。

【0045】

取得部３０は、画像サーバ５から、被検体を撮影して得られた医用画像を取得する。

【0046】

特定部３２は、取得部３０により取得された医用画像に含まれる第１関心領域Ａ１を特定する。第１関心領域Ａ１の特定手法としては、公知のＣＡＤ技術及びＡＩ技術を用いた方法等を適宜適用できる。例えば、特定部３２は、医用画像を入力とし、当該医用画像に含まれる関心領域を特定して出力するよう学習されたＣＮＮ(Convolutional Neural Network)等の学習モデルを用いて、医用画像から第１関心領域Ａ１を特定してもよい。

【0047】

また、特定部３２は、特定した第１関心領域Ａ１に関する所見文を生成してもよい。所見文の生成手法としては、公知のＣＡＤ技術及びＡＩ技術を用いた方法等を適宜適用できる。例えば、特定部３２は、医用画像から特定された関心領域を入力とし、関心領域の所見情報を出力するよう予め学習されたＣＮＮ等の学習モデルを用いて、第１関心領域Ａ１の所見情報を生成してもよい。その後、特定部３２は、生成した所見情報を含む所見文を生成してもよい。例えば、特定部３２は、上記特許文献１に記載のリカレントニューラルネットワーク等の機械学習を用いた手法を用いて所見文を生成してもよい。また例えば、特定部３２は、予め定められたテンプレートに所見情報を埋め込むことによって所見文を生成してもよい。

【0048】

制御部３６は、特定部３２により特定された第１関心領域Ａ１を示す図形を、取得部３０により取得された医用画像に重ねてディスプレイ２４に表示させる制御を行う。図６に、制御部３６によってディスプレイ２４に表示される画面Ｄ１の一例を示す。画面Ｄ１には医用画像Ｔ１０が含まれ、そのうち第１関心領域Ａ１がバウンディングボックスＢ１で囲われることによって強調されている。バウンディングボックスＢ１が、本開示の第１関心領域Ａ１を示す図形の一例である。

【0049】

なお、図６ではバウンディングボックスＢ１が矩形である例を示しているが、これに限らず、バウンディングボックスＢ１は矩形以外の多角形であってもよい。また、第１関心領域Ａ１を示す図形は、バウンディングボックスＢ１に限らず、例えば、第１関心領域Ａ１とその他の領域で色等の表示方法を異ならせるマスク、及び第１関心領域Ａ１の幾何形状を表現するメッシュの少なくとも１つであってもよい。

【0050】

また、制御部３６は、特定部３２により生成された第１関心領域Ａ１に関する所見文をディスプレイ２４に表示させる制御を行ってもよい。図６の画面Ｄ１には、第１関心領域Ａ１に関する所見文９２が含まれている。

【0051】

ここで、ユーザが、画面Ｄ１の医用画像Ｔ１０において注目する関心領域（正しい関心領域）を第１関心領域Ａ１から第２関心領域Ａ２に修正することを所望したとする。この場合、ユーザは、画面Ｄ１において修正ボタン９６を入力部２５を介して選択する。制御部３６は、修正ボタン９６が選択されると、図７に示す画面Ｄ２に遷移する。画面Ｄ２は、第１関心領域Ａ１を示す図形の修正を受け付けるための画面である。

【0052】

受付部３４は、第１関心領域Ａ１を示す図形（バウンディングボックスＢ１）の少なくとも一部について修正指示を受け付ける。具体的には、受付部３４は、修正指示として、第１関心領域Ａ１を示す図形を形成する点のうち少なくとも１点の修正を受け付けてもよい。ユーザは、入力部２５を介してマウスポインタ９０を操作し、画面Ｄ２に表示されているバウンディングボックスＢ１を形成する点のうち少なくとも１点（図７では左上の点）を、第２関心領域Ａ２に合わせるように修正する。画面Ｄ２には、修正前のバウンディングボックスＢ１を点線で示し、修正後のバウンディングボックスＢＢを実線で示している。

【0053】

特定部３２は、取得部３０により取得された医用画像の画像特徴、及び受付部３４により受け付けられた修正指示に基づいて、第１関心領域Ａ１と少なくとも一部が重なる第２関心領域Ａ２を特定する。すなわち、第２関心領域Ａ２は、第１関心領域Ａ１と少なくとも一部が重なっていればよく、一部は重なっていなくてもよい。また、第２関心領域Ａ２は、第１関心領域Ａ１より小さくても大きくてもよい。一方、第１関心領域Ａ１と全く重ならない関心領域を、第２関心領域Ａ２として特定することはない。

【0054】

具体的には、特定部３２は、医用画像に含まれる関心領域のうち、当該関心領域の外縁から予め定められた範囲内に修正後の図形（バウンディングボックスＢＢ）を形成する少なくとも１点が位置する関心領域を、第２関心領域Ａ２として特定する。換言すれば、特定部３２は、医用画像における修正後の図形（バウンディングボックスＢＢ）から予め定められた範囲内を探索し、当該範囲内に外縁の少なくとも一部が位置するような関心領域を第２関心領域Ａ２として特定する。これにより、ユーザが特定を所望する第２関心領域Ａ２の一部又は全部が、修正後の図形（バウンディングボックスＢＢ）に対して内包されているか又は突出しているかに依らず、適切に第２関心領域Ａ２を特定できる。

【0055】

例えば図８に示すように、特定部３２は、医用画像、第１関心領域Ａ１及び修正指示（バウンディングボックスＢＢ）を入力とし、第２関心領域Ａ２を出力とするよう予め学習された第１学習モデル４０を用いて、第２関心領域Ａ２を特定してもよい。第１学習モデル４０は、学習用データとして医用画像、第１関心領域Ａ１及び修正指示と、第２関心領域Ａ２との組合せを用いて学習されたＣＮＮ等を含む学習モデルである。

【0056】

また、特定部３２は、上記の第１関心領域Ａ１に関する所見文の生成と同様に、第２関心領域Ａ２に関する所見文を生成してもよい。

【0057】

制御部３６は、特定部３２により特定された第２関心領域Ａ２を示す図形を、取得部３０により取得された医用画像に重ねてディスプレイ２４に表示させる制御を行ってもよい。図９に、制御部３６によってディスプレイ２４に表示される画面Ｄ３の一例を示す。画面Ｄ３には医用画像Ｔ１０が含まれ、そのうち第２関心領域Ａ２がバウンディングボックスＢ２で囲われることによって強調されている。バウンディングボックスＢ２が、本開示の第２関心領域Ａ２を示す図形の一例である。

【0058】

なお、図９ではバウンディングボックスＢ２が矩形である例を示しているが、これに限らず、バウンディングボックスＢ２は矩形以外の多角形であってもよい。また、第２関心領域Ａ２を示す図形は、バウンディングボックスＢ２に限らず、例えば、第２関心領域Ａ２とその他の領域で色等の表示方法を異ならせるマスク、及び第２関心領域Ａ２の幾何形状を表現するメッシュの少なくとも１つであってもよい。

【0059】

また、制御部３６は、特定部３２により生成された第２関心領域Ａ２に関する所見文をディスプレイ２４に表示させる制御を行ってもよい。図９の画面Ｄ３では、画面Ｄ１の第１関心領域Ａ１に関する所見文９２に替わって、第２関心領域Ａ２に関する所見文９３が含まれている。

【0060】

次に、図１０を参照して、本実施形態に係る情報処理装置１０の作用を説明する。情報処理装置１０において、ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１０に示す情報処理が実行される。情報処理は、例えば、ユーザにより入力部２５を介して実行開始の指示があった場合に実行される。

【0061】

ステップＳ１０で、取得部３０は、画像サーバ５から、被検体を撮影して得られた医用画像を取得する。ステップＳ１２で、特定部３２は、ステップＳ１０で取得された医用画像に含まれる第１関心領域を特定する。ステップＳ１４で、制御部３６は、ステップＳ１２で特定された第１関心領域を示す図形を、ステップＳ１０で取得された医用画像に重ねてディスプレイ２４に表示させる制御を行う。

【0062】

ステップＳ１６で、受付部３４は、ステップＳ１４でディスプレイ２４に表示させた第１関心領域を示す図形の少なくとも一部について修正指示を受け付ける。ステップＳ１８で、特定部３２は、ステップＳ１０で取得された医用画像の画像特徴、及びステップＳ１６で受け付けられた修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する。ステップＳ２０で、制御部３６は、ステップＳ１８で特定された第２関心領域を示す図形を、ステップＳ１０で取得された医用画像に重ねてディスプレイ２４に表示させる制御を行い、本情報処理を終了する。

【0063】

以上説明したように、本開示の一態様に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、画像を取得し、画像に含まれる第１関心領域を示す図形を画像に重ねてディスプレイに表示させ、図形の少なくとも一部について修正指示を受け付け、画像の画像特徴及び修正指示に基づいて、第１関心領域と少なくとも一部が重なる第２関心領域を特定する。

【0064】

すなわち、本実施形態に係る情報処理装置１０によれば、画像から検出された第１関心領域をユーザが修正する場合に、修正指示に加えて画像特徴に基づいて修正後の第２関心領域を特定できる。したがって、修正の手間を軽減しながら、精度良く第２関心領域を特定できるので、画像の読影を支援できる。

【0065】

なお、上記実施形態においては、修正指示として、第１関心領域を示す図形の修正を受け付ける形態について説明したが、これに限らない。例えば、受付部３４は、修正指示として、第１関心領域を示す図形の形状の変化を表す言語による指示を受け付けてもよい。例えば、受付部３４は、第１関心領域を示す図形の形状の変化を表す語句として、「大きく」、「小さく」、「辺縁を細かく」等の入力を受け付けてもよい。

【0066】

この場合、例えば、特定部３２は、医用画像、第１関心領域及び言語による修正指示を入力とし、第２関心領域を出力とするよう予め学習された学習モデルを用いて、第２関心領域を特定してもよい。この学習モデルは、学習用データとして医用画像、第１関心領域及び言語による修正指示と、第２関心領域との組合せを用いて学習されたＣＮＮ等を含む学習モデルである。これにより、例えば、「大きく」という修正指示については、第１関心領域を示す図形よりも第２関心領域を示す図形の方が大きくなるように学習される。また例えば、「辺縁を細かく」という修正指示については、第１関心領域を示す図形の頂点数よりも第２関心領域を示す図形の頂点数の方が増加するように学習される。

【0067】

また例えば、特定部３２は、言語による修正指示ごとに第１関心領域を示す図形の変化の仕方についての条件を予め定め、受け付けた修正指示に対応する条件に基づいて、第２関心領域を特定してもよい。例えば、「大きく」という修正指示については、第１関心領域を示す図形の縦幅及び横幅の少なくとも一方が大きくなるように条件を予め定めておく。また例えば、「辺縁を細かく」という修正指示については、第１関心領域を示す図形の頂点数を増加させるように条件を予め定めておく。受付部３４によって修正指示が受け付けられると、特定部３２は、予め定めておいた条件を参照し、修正指示にしたがって第１関心領域を示す図形を修正する。その後、上記実施形態において説明したのと同様に、特定部３２は、医用画像に含まれる関心領域のうち、当該関心領域の外縁から予め定められた範囲内に修正後の図形を形成する少なくとも１点が位置する関心領域を、第２関心領域として特定してもよい。

【0068】

また、上記実施形態においては、第２関心領域の特定に、医用画像、第１関心領域及び修正指示を入力とする第１学習モデル４０を用いる形態について説明したが、これに限らない。例えば図１１に示すように、特定部３２は、２つの学習モデル（第２学習モデル４２及び第３学習モデル４４）を組み合わせて第２関心領域を特定してもよい。具体的には、まず、特定部３２は、医用画像を入力とし、入力された医用画像の特徴マップＣ１～Ｃｎを出力とするよう予め学習された第２学習モデル４２を用いて、医用画像の特徴マップＣ１～Ｃｎを生成してもよい。第２学習モデル４２は、例えば、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量データからなる特徴マップＣ１～Ｃｎを出力するＣＮＮ等のモデルである。ｎは各種カーネルの数に対応する。

【0069】

次に、特定部３２は、第２学習モデル４２により生成された特徴マップＣ１～Ｃｎ、第１関心領域及び修正指示を入力とし、第２関心領域を出力とするよう予め学習された第３学習モデル４４を用いて、第２関心領域を特定してもよい。第３学習モデル４４は、例えば、第１関心領域の情報と、修正指示を含む第２関心領域の情報との組合せを用いて学習されたＣＮＮ等を含む学習モデルである。

【0070】

ここで、第３学習モデル４４の学習に用いられる「第１関心領域の情報」とは、例えば、特徴マップＣ１～Ｃｎと、第１関心領域を示す図形（例えばバウンディングボックスＢ１）又は第１関心領域の座標と、の組合せであってもよい。また例えば、この組合せに基づいて特徴マップＣ１～Ｃｎのそれぞれを編集して得られる、特徴マップＣ１～Ｃｎのそれぞれのうち第１関心領域の部分を切り取った部分特徴マップを用いてもよい。

【0071】

また、第３学習モデル４４の学習に用いられる「第２関心領域の情報」とは、例えば、特徴マップＣ１～Ｃｎと、修正指示との組合せであってもよい。また例えば、この組合せに基づいて特徴マップＣ１～Ｃｎのそれぞれを編集して得られる、特徴マップＣ１～Ｃｎのそれぞれのうち修正指示に応じた部分を切り取った部分特徴マップを用いてもよい。

【0072】

なお、特定部３２は、この第２学習モデル４２を第１関心領域の特定にも用いてもよい。例えば、特定部３２は、第２学習モデル４２を用いて、医用画像から特徴マップＣ１～Ｃｎを生成し、生成した特徴マップに基づいて、第１関心領域を特定してもよい。

【0073】

また、上記実施形態においては、医用画像についての読影を想定した形態について説明したが、これに限らない。本開示の情報処理装置１０は、被検体を撮影して得られ、関心領域を含む各種画像に適用可能である。例えば、情報処理装置１０を、放射線透過検査及び超音波探傷検査等の非破壊検査において、機器、建築物、配管及び溶接部等を被検体として取得される画像に適用してもよい。この場合、例えば関心領域は、ひび、きず、泡及び異物等を示す。

【0074】

また、上記実施形態において、例えば、取得部３０、特定部３２、受付部３４及び制御部３６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0075】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0076】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0077】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0078】

また、上記実施形態では、情報処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。

【0079】

本開示の技術は、上記実施形態例及び実施例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

【符号の説明】

【0080】

１ 情報処理システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
９ ネットワーク
１０ 情報処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 情報処理プログラム
２８ バス
３０ 取得部
３２ 特定部
３４ 受付部
３６ 制御部
４０ 第１学習モデル
４２ 第２学習モデル
４４ 第３学習モデル
９０ マウスポインタ
９２、９３ 所見文
９６ 修正ボタン
Ａ１ 第１関心領域
Ａ２ 第２関心領域
ＡＡ 病変の領域
Ｂ１、Ｂ２、ＢＢ バウンディングボックス
Ｃ１～Ｃｎ 特徴マップ
Ｄ１～Ｄ３ 画面
ＳＡ 構造物の領域
Ｔ、Ｔ１０ 医用画像
Ｔ１～Ｔｍ、Ｔｘ 断層画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】