特開 2024-143022 情報処理装置、表示装置、コンピュータプログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143022

(43)【公開日】2024-10-11

(54)【発明の名称】情報処理装置、表示装置、コンピュータプログラム及び情報処理方法

(51)【国際特許分類】

   G16H 50/00 20180101AFI20241003BHJP

   G16H 30/00 20180101ALI20241003BHJP

【ＦＩ】

G16H50/00

G16H30/00

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2023055478

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】和田 俊也

(72)【発明者】

【氏名】小原 史也

(72)【発明者】

【氏名】立石 貴代子

(72)【発明者】

【氏名】藤田 亮

(72)【発明者】

【氏名】新田 雅和

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA26

(57)【要約】

【課題】読影組織単位で提供する読影品質にばらつきを抑制できる情報処理装置、表示装置、コンピュータプログラム及び情報処理方法を提供する。
【解決手段】情報処理装置は、制御部を備え、制御部は、医用画像、医用画像に関する読影医師による読影結果、医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、取得した蓄積データを用いて読影医師による読影結果の精度及び学習モデルによる解析結果の精度を比較可能に表示する。
【選択図】図１

【特許請求の範囲】

【請求項1】

制御部を備え、
前記制御部は、
医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、
取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する、
情報処理装置。

【請求項2】

前記制御部は、
前記読影医師による読影結果の部位毎の精度又は前記学習モデルの解析結果の部位毎の精度を比較可能に表示する、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、
前記読影医師による読影結果の所見毎の精度又は前記学習モデルの解析結果の所見毎の精度を比較可能に表示する、
請求項１に記載の情報処理装置。

【請求項4】

前記制御部は、
複数の読影医師による読影結果を蓄積した蓄積データを取得し、
前記複数の読影医師毎の読影結果の精度を比較可能に表示する、
請求項１に記載の情報処理装置。

【請求項5】

前記制御部は、
前記医用画像に関する所定の読影医師による総合判定結果を蓄積した蓄積データを取得し、
前記総合判定結果に対する前記読影医師による読影結果の正誤に基づいて前記読影医師による読影結果の精度を算出する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項6】

前記制御部は、
前記医用画像に関する所定の読影医師による総合判定結果を蓄積した蓄積データを取得し、
前記総合判定結果に対する前記学習モデルによる解析結果の正誤に基づいて前記学習モデルによる解析結果の精度を算出する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項7】

前記制御部は、
前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、
前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項8】

前記制御部は、
前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、
前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習し、
再学習した再学習済学習モデルによる解析結果に対する前記読影医師による読影結果の正誤に基づいて前記読影医師による読影結果の精度を算出する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項9】

前記制御部は、
前記読影医師が読影した医用画像を収集し、
収集した医用画像の中の特定の医用画像を前記読影医師の閲覧端末に表示する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項10】

前記制御部は、
前記読影医師が読影した医用画像の中から前記読影医師による読影結果に誤読が含まれる医用画像を選定する、
請求項９に記載の情報処理装置。

【請求項11】

前記制御部は、
前記読影医師による読影結果の部位毎及び所見毎の少なくとも一つの精度に応じて、選定した医用画像の表示頻度を算出し、
選定した医用画像を前記表示頻度で前記読影医師の閲覧端末に表示する、
請求項９に記載の情報処理装置。

【請求項12】

前記制御部は、
前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を集計した集計データを取得し、
前記読影医師の読影結果の精度に応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項13】

前記制御部は、
前記学習モデルの解析結果の精度に応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する、
請求項１２に記載の情報処理装置。

【請求項14】

前記制御部は、
医用画像に関する前記学習モデルによる解析結果に含まれる部位又は所見が、前記読影医師の読影結果の精度が低い部位又は所見と一致する場合、前記学習モデルによる解析結果を強調して表示する、
請求項１２に記載の情報処理装置。

【請求項15】

前記制御部は、
医用画像に関する前記学習モデルによる解析結果に含まれる部位又は所見が、前記学習モデルの解析結果の精度が低い部位又は所見と一致する場合、前記医用画像に関する前記学習モデルによる解析結果を減弱して表示する、
請求項１２に記載の情報処理装置。

【請求項16】

前記制御部は、
前記読影医師の読影結果の精度の高低及び前記学習モデルの解析結果の精度の高低の組合せに応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する、
請求項１２に記載の情報処理装置。

【請求項17】

前記制御部は、
複数の読影医師による読影結果の精度を集計した集計データを取得し、
読影対象の医用画像を取得し、
取得した医用画像の属性を特定し、
取得した集計データに基づいて、特定した属性に関する前記複数の読影医師の専門性を判定し、
判定した専門性に基づいて前記読影対象の医用画像の読影担当医師を選定する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項18】

前記制御部は、
前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を集計した集計データを取得し、
前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、
前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習し、
再学習した再学習済学習モデルによる解析結果に対する前記読影医師による読影結果の精度に基づいて前記読影医師による読影結果に重み付けを付与し、
重み付けが付与された読影結果に基づいて所定の読影医師による総合判定の要否を判定する、
請求項１から請求項４のいずれか一項に記載の情報処理装置。

【請求項19】

前記制御部は、
前記再学習済学習モデルによる解析結果に対する前記学習モデルによる解析結果の精度に基づいて前記学習モデルによる解析結果に重み付けを付与し、
重み付けが付与された解析結果に基づいて所定の読影医師による総合判定の要否を判定する、
請求項１８に記載の情報処理装置。

【請求項20】

表示部を備え、
前記表示部は、
医用画像の読影を担当する読影医師の一覧を示す第１確認画面を表示し、
前記第１確認画面は、
各読影医師が担当する担当件数と、
各読影医師の読影作業に関する許容量と、前記担当件数の読影を担当した場合の前記許容量の減少度合いと
を含む、
表示装置。

【請求項21】

表示部を備え、
前記表示部は、
読影対象の医用画像を識別する識別子とともに前記医用画像の読影を担当する読影医師及び前記医用画像の属性を示す第２確認画面を表示し、
前記第２確認画面は、
前記読影医師の前記属性に対する専門性を含む、
表示装置。

【請求項22】

表示部を備え、
前記表示部は、
読影対象の医用画像を識別する識別子とともに前記医用画像の属性を示す第３確認画面を表示し、
前記第３確認画面は、
前記医用画像の読影を担当する読影医師の候補を含む、
表示装置。

【請求項23】

医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、
取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する、
処理をコンピュータに実行させるコンピュータプログラム。

【請求項24】

医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、
取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、表示装置、コンピュータプログラム及び情報処理方法に関する。

【背景技術】

【0002】

近年の医療分野では、放射線診断機器の進歩に伴い、画像診断情報量は飛躍的に増加し、また検査件数も増加している。このため、医療機関等で撮影された医用画像は、当該医療機関における専門医による読影が行われるとともに、専門医がいる別の読影施設に送信され、当該読影施設における専門医による読影も行われる場合もある。

【0003】

特許文献１には、読影施設において、２人の読影医師による１次読影と２次読影とが行われ、両方の読影結果に差異がある場合、別の読影医師による３次読影を行う遠隔読影システムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１８－１４２１４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、医療機関や読影施設などの読影組織には、読影組織単位で独自の読影基準が設けられており、読影基準に差がある。また、読影組織に所属する読影医師にも読影能力に差がある。このため、読影組織単位で提供する読影品質にばらつきが生じていた。

【0006】

本開示は、斯かる事情に鑑みてなされたものであり、読影組織単位で提供する読影品質にばらつきを抑制できる情報処理装置、表示装置、コンピュータプログラム及び情報処理方法を提供する。

【課題を解決するための手段】

【0007】

本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、情報処理装置は、制御部を備え、前記制御部は、医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する。

【発明の効果】

【0008】

本開示によれば、読影組織単位で提供する読影品質にばらつきを抑制できる。

【図面の簡単な説明】

【0009】

【図1】本実施の形態の情報処理システムの構成の一例を示す図である。

【図2】読影医師の読影結果の集計データの第１例を示す図である。

【図3】読影医師の読影結果の集計データの第２例を示す図である。

【図4】チューニング前の学習モデルの解析結果の集計データの一例を示す図である。

【図5】学習モデルの一例を示す図である。

【図6】学習モデルのチューニングの一例を示す図である。

【図7】精度管理画面の第１例を示す図である。

【図8】精度管理画面の第２例を示す図である。

【図9】精度管理画面の第３例を示す図である。

【図10】精度管理画面の第４例を示す図である。

【図11】精度管理画面の第５例を示す図である。

【図12】サーバによる精度管理の処理の一例を示す図である。

【図13】読影医師教育画面の第１例を示す図である。

【図14】読影医師教育画面の第２例を示す図である。

【図15】サーバによる読影医師教育の処理の一例を示す図である。

【図16】学習モデルの解析結果表示の第１例を示す図である。

【図17】学習モデルの解析結果表示の第２例を示す図である。

【図18】学習モデルの解析結果表示の第３例を示す図である。

【図19】学習モデルの解析結果表示の第４例を示す図である。

【図20】サーバによる学習モデルの解析結果表示の処理の一例を示す図である。

【図21】サーバによる読影医師の割振処理の一例を示す図である。

【図22】割振先確認画面の第１例を示す図である。

【図23】割振先確認画面の第２例を示す図である。

【図24】割振先確認画面の第３例を示す図である。

【図25】突合判定での重み付けの一例を示す図である。

【図26】サーバによる突合判定処理の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態を図面に基づいて説明する。図１は本実施の形態の情報処理システムの構成の一例を示す図である。情報処理システムは、情報処理装置としてのサーバ５０を備える。サーバ５０には、事務端末１０、閲覧端末２０、読影端末３０、及びＤＢ４０が接続されている。事務端末１０、及び読影端末３０は、例えば、パーソナルコンピュータ等で構成することができる。閲覧端末２０は、例えば、パーソナルコンピュータやタブレット端末で構成することができる。閲覧端末２０に代えて、読影端末３０を閲覧端末として使用してもよい。なお、事務端末１０、閲覧端末２０、及び読影端末３０それぞれが複数台サーバ５０に接続されてもよい。

【0011】

ＤＢ４０は、医療機関や読影施設などの読影組織内で蓄積されたデータを記憶している。ＤＢ４０は、例えば、ＤＩＣＯＭ画像（ＤＩＣＯＭ形式の医用画像）、医用画像に関する読影医師による読影結果、医用画像に関する学習モデル（画像処理の一形態）による解析結果、所定の読影医師（総合判定を行う読影医師）による総合判定結果、読影医師による読影結果及び学習モデルによる解析結果の精度を集計した精度集計データ、読影対象の医用画像をどの読影医師に割り振るかを示す割振先リスト（読影医師のリスト）、複数の読影医師による読影結果あるいは１又は複数の読影医師による読影結果及び学習モデルによる解析結果に基づく総合判定の要否を示す突合判定結果などの情報を含む。サーバ５０は、ＤＢ４０に対して情報の読み出し及び書き込みを行うことができる。

【0012】

本明細書において、医用画像は、Ｘ線撮影装置、超音波検査装置、ＣＴ(Computed Tomography)装置、ＭＲＩ(Magnetic Resonance Imaging)装置等による撮影によって得られる画像を含む。読影（読影行為とも称する）は、専門の読影医師が医用画像を見ることにより、医用画像を判定し、所見の有無や所見の内容をレポートとして作成することを含む。所見は、読影した結果であり、読影対象の医用画像の中の結節などの正常でない箇所があると判断される結果であり、結果についての意見も含む。なお、所見は、読影医師によって入力された結果だけでなく、機械学習された学習モデルやＣＡＤ（Computer Aided Detection：画像処理ソフト／Computer Aided Diagnosis：画像診断ソフト）等による解析結果も含む。医用画像は、ＤＩＣＯＭ(Digital Imaging and Communications in Medicine)形式のデータで保存してもよい。ＤＩＣＯＭデータは、画像情報と、患者名や撮影部位などのタグ情報とを含む。所見は、医療画像が保存されたＤＩＣＯＭデータの中のタグ情報として書き込まれるようにしてもよいが、医用画像を含むＤＩＣＯＭデータとは別のデータとして保存してもよい。例えば、読影医師による所見は、所見の有無や内容、名前等の情報を含み、平文のテキストもしくはコード化されたレポートデータとして保存してもよい。学習モデルによる解析処理に基づく所見は、所見の有無や内容、名前等をコード化したDICOM-SRデータもしくはヒートマップのように画像化したDICOM-SCデータとして保存してもよい。

【0013】

サーバ５０は、ＤＢ４０に記憶された、医療機関や読影施設などの読影組織内で蓄積されたデータを用いて、（１）精度管理、（２）教育、（３）学習モデルによる解析結果表示、（４）読影医師の割振、及び（５）突合判定などの業務支援を行う。（１）精度管理、（２）教育、（３）学習モデルによる解析結果表示、（４）読影医師の割振、及び（５）突合判定それぞれの具体例は後述する。

【0014】

サーバ５０は、サーバ５０全体を制御する制御部５１、通信部５２、メモリ５３、インタフェース部５４、記憶部５５、記録媒体読取部５７、画像処理部６１、精度集計部６２、画像選定部６３、タグ付け部６４、読影医師選定部６５、突合判定部６６、及び学習処理部６７を備える。

【0015】

制御部５１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）等の全部又は一部が所要数組み込まれて構成されている。

【0016】

通信部５２は、例えば、通信モジュールを備え、必要に応じて外部の装置との間で情報やデータなどの送受信を行うことができる。

【0017】

インタフェース部５４は、事務端末１０、閲覧端末２０、読影端末３０、及びＤＢ４０との間のインタフェース機能を提供する。サーバ５０は、インタフェース部５４を通じて、事務端末１０、閲覧端末２０、及び読影端末３０との間で情報の送信及び受信を行うことができる。サーバ５０は、インタフェース部５４を通じて、ＤＢ４０へアクセスすることができる。

【0018】

記憶部５５は、例えば、ハードディスク又は半導体メモリ等で構成することができ、コンピュータプログラム（プログラム製品）５６、及び所要の情報を記憶する。

【0019】

コンピュータプログラム５６は、サーバ５０で動作するコンピュータプログラムであり、コンピュータプログラム５６を記録した記録媒体１（例えば、ＣＤ－ＲＯＭ等の光学可読ディスク記憶媒体）を記録媒体読取部５７で読み取り、読み取ったコンピュータプログラム５６を記憶部５５に記憶する。また、コンピュータプログラム５６は、通信部５２を介して外部の装置からダウンロードして記憶部５５に記憶してもよい。

【0020】

メモリ５３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の半導体メモリで構成することができる。コンピュータプログラム５６をメモリ５３に展開して、制御部５１がコンピュータプログラム５６を実行することができる。制御部５１は、コンピュータプログラム５６で定められた処理を実行することができる。すなわち、制御部５１による処理は、コンピュータプログラム５６による処理でもある。

【0021】

画像処理部６１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＤＳＰ（Digital Signal Processors）、又はＦＰＧＡ（Field-Programmable Gate Arrays）等で構成することができる。画像処理部６１は、読影対象の医用画像に対して、画像解析処理を行って、医用画像上の「正常」ではない箇所又は領域を特定し、特定した箇所又は領域が含まれる所見部位を出力する。画像処理部６１は、読影医師による読影結果と同様の解析結果を出力するようにしてもよい。画像処理部６１が出力する解析結果は、少なくとも、所見部位を含んでいればよい。画像処理部６１は、１又は複数の画像処理モジュールを備えていてもよく、あるいは機械学習によって生成された学習モデル６１１を備えていてもよい。本明細書では、学習モデル６１１による解析結果を利用する場合について説明する。また、本明細書において、「学習モデル６１１」は、チューニング前の学習モデル、及びチューニング後のチューニングされた学習モデルの両方を含むものとし、「チューニングされた学習モデル６１１」は、文字通りチューニング後の学習モデルであり、チューニング前の学習モデルは含まないものとする。

【0022】

精度集計部６２、画像選定部６３、タグ付け部６４、読影医師選定部６５、突合判定部６６、及び学習処理部６７は、ハードウェアで構成してもよく、コンピュータプログラム５６の処理によって実現することで、ソフトウェアで構成してもよい。精度集計部６２、画像選定部６３、タグ付け部６４、読影医師選定部６５、突合判定部６６、及び学習処理部６７の詳細は後述する。

【0023】

なお、サーバ５０は、図１に例示するように１台のサーバで構成してもよく、サーバ５０が有する複数の機能を分散させて複数台のサーバで構成してもよい。また、コンピュータプログラム５６は、単一のコンピュータ上で、または通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。

【0024】

制御部５１は、医用画像、当該医用画像に関する読影医師による読影結果、当該医用画像に関する学習モデル６１１による解析結果を蓄積した蓄積データをＤＢ４０から取得する。ここで、学習モデル６１１による解析結果は、チューニング前の学習モデル６１１による解析結果であるが、チューニング後の学習モデル６１１による解析結果を含めてもよい。また、制御部５１は、当該医用画像に関する所定の読影医師による総合判定結果をＤＢ４０から取得する。

【0025】

次に、サーバ５０による精度管理について説明する。精度管理は、ある検査でのある読影医師の読影結果と正解（所定の読影医師の総合判定結果、又はチューニングされた学習モデル６１１の解析結果）とを比較した正誤判定データを読影医師毎に集計し、読影医師毎の精度や読影の得意・不得意を管理する。同様に、精度管理は、ある検査でのチューニング前の学習モデル６１１の解析結果と正解（所定の読影医師の総合判定結果、又はチューニングされた学習モデル６１１の解析結果）とを比較した正誤判定データを集計し、チューニング前の学習モデル６１１の精度や解析の得意・不得意を管理することも含む。

【0026】

精度集計部６２は、取得した蓄積データを用いて読影医師による読影結果の精度及び学習モデル６１１による解析結果を集計する。

【0027】

図２は読影医師の読影結果の集計データの第１例を示す図である。図２は、読影医師ＸＸＸの読影結果の集計データを示す。集計データは、検査毎に読影結果と正解との正誤判定を含む。図２の例では、検査ＩＤがＡ０００１０、Ａ００２０３、Ａ００２５１、…の３つの検査についての読影結果を示しているが、検査ＩＤの数は３個に限定されない。各検査において、読影医師は、１又は複数の関連する医用画像を読影して読影結果を作成する。また、図２では、検査として胸部Ｘ線検査を例に挙げているが、検査は胸部Ｘ線検査に限定されるものではなく、他の臓器についてのＣＴ画像、ＭＲＩ画像や超音波画像等による検査も含まれる。また、胸部の部位は、左右それぞれについて、「全肺野」、「上肺野」、「中肺野」、「下肺野」、「肺門部」、「縦隔」、「横隔膜」、「骨」、「心臓・血管」などがあるが、本明細書では便宜上、「右上」、「右下」、「左上」、「左下」の４つの部位について説明する。

【0028】

図２に示すように、検査ＩＤがＡ０００１０の読影結果については、判定が「正常」であり、右上に「結節」があり、左下に「術後変化」がある。右下及び左上には所見がない。読影結果の正解との正誤は、符号○が正、符号×が誤を示す。右上・結節、左上・所見なし、左下・術後変化は正解と一致し、判定・正常、右下・所見なしは正解と一致していないことが分かる。正解は、所定の読影医師の総合判定結果、又はチューニングされた学習モデル６１１の解析結果である。

【0029】

検査ＩＤがＡ００２０３の読影結果については、判定が「要精密検査」であり、右上に「結節」があり、右下に「腫瘤」がある。左上及び左下には所見がない。読影結果の正解との正誤は、判定及び全ての部位について正解と一致している。

【0030】

検査ＩＤがＡ００２５１の読影結果については、判定が「肺がんの疑い」であり、右上に「結節」があり、右下に「腫瘍」がある。左上及び左下には所見がない。読影結果の正解との正誤は、判定・肺がんの疑い、右下・腫瘍、左上・所見なし、左下・所見なしは正解と一致し、右上・結節は正解と一致していないことが分かる。

【0031】

図３は読影医師の読影結果の集計データの第２例を示す図である。図３は、読影医師ＹＹＹの読影結果の集計データを示す。図３の例では、検査ＩＤがＡ０００２０、Ａ００１０４、Ａ００２０２、…の３つの検査についての読影結果を示している。図３の検査ＩＤが、図２の検査ＩＤと一致してもよい。検査ＩＤが一致している場合は、読影医師ＸＸＸ、ＹＹＹの一方が、第１読影医師であり、他方が第２読影医師である。

【0032】

図３に示すように、検査ＩＤがＡ０００２０の読影結果については、判定が「検査不要」であり、右下に「結節」があり、右上、左上、及び左下には所見がない。読影結果の正解との正誤は、判定及び全ての部位について正解と一致している。

【0033】

検査ＩＤがＡ００１０４の読影結果については、判定が「要治療」であり、右上に「肺結核」があり、右下、左上及び左下には所見がない。読影結果の正解との正誤は、判定・要治療、右上・肺結核、右下・所見なし、及び左下・所見なしは正解と一致し、左上・所見なしは正解と一致していないことが分かる。

【0034】

検査ＩＤがＡ００２０２の読影結果については、判定が「検査不要」であり、右下に「術後変化」があり、左下に「結節」があり、右上及び左上には所見がない。読影結果の正解との正誤は、判定・正常、右上・所見なし、右下・術後変化、及び左上・所見なしは正解と一致し、左下・結節は正解と一致していないことが分かる。

【0035】

図４はチューニング前の学習モデル６１１の解析結果の集計データの一例を示す図である。図４の例では、検査ＩＤがＡ０００３１、Ａ００１８９、Ａ００２１６、…の３つの検査についての読影結果を示している。図４の検査ＩＤが、図２の検査ＩＤと一致してもよい。なお、チューニング前の学習モデル６１１の解析結果には「判定」が含まれないとしている。

【0036】

図４に示すように、検査ＩＤがＡ０００３１の解析結果については、右上及び右下に「何かあり」があり、左上及び左下には所見がない。解析結果の正解との正誤は、右上・何かあり、左上・所見なしは正解と一致し、右下・何かあり、左下・所見なしは正解と一致していないことが分かる。

【0037】

検査ＩＤがＡ００１８９の解析結果については、右上及び左上に「何かあり」があり、右下及び左下には所見がない。解析結果の正解との正誤は、右下・所見なし、左上・何かあり、左下・所見なしは正解と一致し、右上・何かありは正解と一致していないことが分かる。

【0038】

検査ＩＤがＡ００２１６の解析結果については、右下に「何かあり」があり、右上、左上及び左下には所見がない。解析結果の正解との正誤は、右下・何かあり、左上・所見なしは正解と一致し、右上・所見なし、左下・所見なしは正解と一致していないことが分かる。

【0039】

図５は学習モデル６１１の一例を示す図である。学習モデル６１１は、例えば、入力層、中間層、及び出力層を備え、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）で構成することができる。中間層は、複数の畳み込み層、複数のプーリング層、及び全結合層を備える。図５Ａは、学習モデル６１１の一形態である学習モデル６１１ａを示す。学習モデル６１１ａは、医用画像が入力されると、解析結果として、医用画像上の「正常」ではない箇所又は領域を特定し、特定した箇所又は領域が含まれる部位に対して「何かあり」を出力する。医用画像上の「正常」な箇所又は領域については、学習モデル６１１ａは、「所見なし」を出力する。なお、学習モデル６１１ａは、部位の数に対応する出力ノードを出力層に設ければよい。出力層の各出力ノードは、部位に対する「何かあり」の確度（確率）も出力することができ、出力された確度が所定の閾値以上の場合、「何かあり」と判定でき、当該確度が所定の閾値未満の場合、「所見なし」と判定できる。また、学習モデル６１１ａがチューニング後、すなわち、所定の読影医師による総合判定結果を教師データとして用いて再学習されている場合、学習モデル６１１ａがチューニング前の場合に比べ、チューニング後の学習モデル６１１ａが出力する解析結果は、読影医師による読影結果により近づく。

【0040】

図５Ｂは、学習モデル６１１の別の形態である学習モデル６１１ｂを示す。学習モデル６１１ｂは、医用画像が入力されると、解析結果として、部位ＸＸＸ及び所見ＸＸＸ、部位ＯＯＯ及び所見ＯＯＯの如く、部位毎の所見を出力する。所見がない部位については、部位△△△及び所見なしのように出力する。なお、部位及び所見は予め符号化しておけばよい。また、解析結果に「判定」を含めてもよい。学習モデル６１１ｂについても、部位の数に対応する出力ノードを出力層に設ければよい。また、出力層の各出力ノードは、部位に対する「所見ＸＸＸ」の確度（確率）も出力することができ、出力された確度が所定の閾値以上の場合、「所見ＸＸＸ」があると判定でき、当該確度が所定の閾値未満の場合、「所見ＸＸＸ」がないと判定できる。また、学習モデル６１１ｂがチューニング後、すなわち、所定の読影医師による総合判定結果を教師データとして用いて再学習されている場合、学習モデル６１１ｂがチューニング前の場合に比べ、チューニング後の学習モデル６１１ｂが出力する解析結果は、読影医師による読影結果により近づく。

【0041】

学習モデル６１１は、例えば、AlexNet、ＶＧＧ、GoogleNet、ResNetなどの種々のアーキテクチャを用いることができる。また、学習モデル６１１は、畳み込みニューラルネットワークに限定されるものではなく、例えば、ＳＶＭ（サポート・ベクタ・マシン）などの分類アルゴリズムを用いてもよい。

【0042】

図６は学習モデル６１１ａ、６１１ｂのチューニングの一例を示す図である。学習モデル６１１ａ、６１１ｂをチューニング（再学習）する際には、教師データとして、所定の読影医師による総合判定結果を用いる。再学習用の訓練データとして、複数の医用画像、及び当該医用画像それぞれに対する所定の読影医師による総合判定結果を収集する。学習モデル６１１ａ、６１１ｂのチューニングは、訓練データに含まれる医用画像を学習モデル６１１ａ、６１１ｂに入力した場合に、学習モデル６１１ａ、６１１ｂが出力する解析結果が、教師データである所定の読影医師による総合判定結果に近づくように、学習モデル６１１ａ、６１１ｂのパラメータを調整して、学習モデル６１１ａ、６１１ｂを再学習すればよい。学習モデル６１１ａ、６１１ｂを纏めて学習モデル６１１と称する。

【0043】

すなわち、制御部５１は、複数の医用画像、及び当該医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得する。学習処理部６７（制御部５１）は、訓練データに基づいて、医用画像を学習モデル６１１に入力した場合、学習モデル６１１が、教師データとしての総合判定結果を出力するように学習モデル６１１をチューニング（再学習）する。

【0044】

チューニングされた学習モデル６１１は、所定の読影医師による総合判定結果に近い解析結果を出力することができるので、チューニングされた学習モデル６１１を精度評価の正解として用いることで、読影組織の読影基準に合わせた読影結果の評価を行うことができる。例えば、病変の大きさによって読影組織の読影基準に差がある場合でも、各読影組織の読影基準でチューニングした学習モデル６１１を用いることで、読影品質のばらつきを抑制できる。また、読影医師の読影能力に差がある場合でも、所定の読影医師の総合判定結果を読影基準として用いることになるので、読影品質のばらつきを抑制できる。

【0045】

精度集計部６２は、集計データに基づいて読影医師による読影結果の精度及び学習モデル６１１による解析結果の精度を算出する。精度集計部６２は、算出した精度を精度集計データとしてＤＢ４０に書き込む。

【0046】

精度は、部位毎、所見毎、部位及び所見の組合せ毎、あるいは部位、所見及び判定の全ての項目に対して算出することができる。部位毎の精度は、ある部位に関する読影数に対する正解数の比率で求めることができる。所見毎の精度は、ある所見についての読影数に対する正解数の比率で求めることができる。部位及び所見の組合せ毎の精度は、ある部位の精度とある所見の精度との積で求めることができる。全ての項目に対する基本精度は、全ての項目数に対する正解数の比率で求めることができる。

【0047】

精度は、感度及び特異度という２つの側面を有する。感度は、ある疾患がある人のうち正しく陽性と判定される人の比率をいう。例えば、疾患がある１００人のうち９０人が正しく陽性と判定できれば感度は９０％となる。特異度は、疾患がない人のうち正しく陰性と判定される人の比率をいう。例えば、疾患がない１００人のうち９０人が正しく陰性と判定できれば特異度は９０％となる。本明細書では、読影医師による読影結果の精度として、読影医師がある疾患を正しく疾患と読影できるかという観点で感度に注目する。また、学習モデル６１１による解析結果の精度として、学習モデル６１１が、疾患がないことを正しく疾患なしと解析できるかという観点で特異度に注目する。なお、読影医師の読影結果の精度として特異度を含めてもよく、学習モデル６１１の解析結果の精度として感度を含めてもよい。

【0048】

制御部５１は、医用画像に関する所定の読影医師による総合判定結果を蓄積した蓄積データを取得し、総合判定結果に対する読影医師による読影結果の正誤に基づいて読影医師の読影結果の精度を算出することができる。

【0049】

また、制御部５１は、医用画像に関するチューニング後の学習モデル６１１の解析結果を蓄積した蓄積データを取得し、当該解析結果に対する読影医師による読影結果の正誤に基づいて読影医師の読影結果の精度を算出することができる。

【0050】

また、制御部５１は、所定の読影医師による総合判定結果に対する学習モデル６１１による解析結果の正誤に基づいて学習モデル６１１による解析結果の精度を算出することができる。ここで、学習モデル６１１は、チューニング前の学習モデルを想定している。

【0051】

次に、読影結果及び解析結果の精度を管理するための精度管理画面について説明する。精度管理画面は、事務端末１０に表示されることを想定しているが、他の端末に表示させてもよい。

【0052】

図７は精度管理画面１００の第１例を示す図である。制御部５１は、精度集計部６２が集計した精度集計データに基づいて、読影医師による読影結果の精度及び学習モデル６１１による解析結果の精度を比較可能に表示する。ここで、学習モデル６１１は、チューニング前の学習モデルを想定しているが、チューニング後の学習モデル６１１でもよい。精度管理画面１００では、読影組織内の読影医師の一覧が表示され、管理者は所要の読影医師を選択できる。

【0053】

図７の例では、読影医師ＸＸＸの読影結果の精度として「感度」と、学習モデル６１１（画像処理）の解析結果の精度として「感度」とが比較可能に表示されている。精度管理画面１００における精度は、前述の基本精度を表し、全ての項目数に対する正解数の比率である。読影医師一覧の中から別の読影医師を選択すれば、選択した読影医師の読影結果の精度が表示される。なお、図示していないが、読影医師ＸＸＸの読影結果の精度として「特異度」と、学習モデル６１１（画像処理）の解析結果の精度として「特異度」とを比較可能に表示してもよく、１人の読影医師の「感度」と「特異度」とを比較可能に表示してもよく、学習モデル６１１の「感度」と「特異度」とを比較可能に表示してもよい。

【0054】

上述のように、読影医師の読影結果の精度と学習モデル６１１の解析結果の精度とを対比可能に表示することにより、読影医師の読影の特徴（例えば、陽性を陽性と判定できる能力）と学習モデル６１１の解析の特徴（例えば、陽性を陽性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。

【0055】

図８は精度管理画面１１０の第２例を示す図である。制御部５１は、精度集計部６２が集計した精度集計データに基づいて、複数の読影医師毎の読影結果の精度を比較可能に表示することができる。図８の例では、読影医師ＸＸＸの読影結果の精度（感度）と、読影医師ＺＺＺの読影結果の精度（感度）とが比較可能に表示されている。

【0056】

上述のように、複数の読影医師それぞれの読影結果の精度を対比可能に表示することにより、各読影医師の読影の特徴（例えば、陽性を陽性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。

【0057】

図９は精度管理画面１２０の第３例を示す図である。制御部５１は、精度集計部６２が集計した精度集計データに基づいて、読影医師による読影結果の部位毎の精度又は学習モデル６１１の解析結果の部位毎の精度を比較可能に表示することができる。精度管理画面１２０には、読影医師を選択する選択アイコン１２１、学習モデル６１１を選択する選択アイコン１２２が表示されている。図９の例では、選択アイコン１２１が選択され、読影医師ＸＸＸが選択されたとする。精度管理画面１２０には、読影医師ＸＸＸの読影結果の部位毎の精度（感度）が比較可能に表示されている。

【0058】

図９の例では、胸部の部位を例として表示し、部位は、左右の肺尖部、上肺部、中肺部、下肺部としている。部位：右尖の感度は８６％である。これは、読影医師ＸＸＸの過去の精度集計データから、右尖に所見があると読影した読影総数のうち正しく所見があると読影した比率が８６％であることを表す。他の部位も同様である。また、図示していないが、選択アイコン１２２が選択すると、学習モデル６１１の解析結果の部位毎の精度（特異度）を比較可能に表示することができる。

【0059】

上述のように、読影医師による読影結果の部位毎の精度を比較可能に表示することにより、読影医師の読影の特徴（例えば、部位毎に陽性を陽性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。また、学習モデル６１１による解析結果の部位毎の精度を比較可能に表示することにより、学習モデル６１１の解析の特徴（例えば、部位毎に陰性を陰性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。

【0060】

図１０は精度管理画面１３０の第４例を示す図である。制御部５１は、精度集計部６２が集計した精度集計データに基づいて、読影医師による読影結果の所見毎の精度又は学習モデル６１１の解析結果の所見毎の精度を比較可能に表示することができる。精度管理画面１３０には、読影医師を選択する選択アイコン１３１、学習モデル６１１を選択する選択アイコン１３２が表示されている。図１０の例では、選択アイコン１３１が選択され、読影医師ＸＸＸが選択されたとする。精度管理画面１３０には、読影医師ＸＸＸの読影結果の所見毎の精度（感度）が比較可能に表示されている。

【0061】

図１０の例では、所見として、気胸、石灰化影、胸膜肥厚、結節影、気管支拡張、浸潤影などが表示されている。所見：気胸の感度は９８％である。これは、読影医師ＸＸＸの過去の精度集計データから、所見として気胸と読影した読影総数のうち正しく気胸があると読影した比率が９８％であることを表す。他の所見も同様である。また、図示していないが、選択アイコン１３２が選択すると、学習モデル６１１の解析結果の所見毎の精度（特異度）を比較可能に表示することができる。

【0062】

上述のように、読影医師による読影結果の所見毎の精度を比較可能に表示することにより、読影医師の読影の特徴（例えば、所見毎に陽性を陽性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。また、学習モデル６１１による解析結果の所見毎の精度を比較可能に表示することにより、学習モデル６１１の解析の特徴（例えば、所見毎に陰性を陰性と判定できる能力）を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。

【0063】

図１１は精度管理画面１４０の第５例を示す図である。制御部５１は、精度集計部６２が集計した精度集計データに基づいて、読影医師による読影結果の部位と所見との組合せ毎の精度又は学習モデル６１１の解析結果の部位と所見との組合せ毎の精度を比較可能に表示することができる。精度管理画面１４０には、読影医師を選択する選択アイコン１４１、学習モデル６１１を選択する選択アイコン１４２が表示されている。図１１の例では、選択アイコン１４１が選択され、読影医師ＹＹＹが選択されたとする。精度管理画面１４０には、読影医師ＹＹＹの読影結果の部位と所との組合せ毎の精度（感度）が比較可能に表示されている。また、部位と所見との組合せ毎の精度を表示する際に、精度（感度）が低い順に表示することで読影医師の苦手ランキングを表示することができる。

【0064】

上述のように、読影医師による読影結果又は学習モデル６１１の解析結果の部位と所見との組合せ毎の精度を比較可能に表示することにより、読影医師の読影の特徴（例えば、読影医師の苦手とする部位と所見の組合せ）や、学習モデル６１１の解析の特徴を明確にすることができ、読影組織単位で提供する読影品質のばらつきを抑制するための精度管理に役立てることができる。

【0065】

図１２はサーバ５０による精度管理の処理の一例を示す図である。制御部５１は、読影医師による読影結果、学習モデル６１１による解析結果、及び所定の読影医師による総合判定結果をＤＢ４０から取得する（Ｓ１１）。ここで、学習モデル６１１は、チューニング前の学習モデルを想定しているが、チューニング後の学習モデル６１１でもよい。制御部５１は、取得した読影結果及び解析結果に対する正解データを抽出する（Ｓ１２）。ここで、正解データは、所定の読影医師の総合判定結果、又はチューニングされた学習モデル６１１の解析結果のいずれでもよい。

【0066】

制御部５１は、読影医師の読影結果の部位毎の精度（例えば、感度）、及び所見毎の精度（例えば、感度）を算出し（Ｓ１３）、学習モデル６１１の解析結果の部位毎の精度（例えば、特異度）、及び所見毎の精度（例えば、特異度）を算出する（Ｓ１４）。制御部５１は、読影医師による読影結果の精度及び学習モデル６１１による解析結果の精度を比較可能に表示する（Ｓ１５）。ステップＳ１５の処理は図７を参照。

【0067】

制御部５１は、複数の読影医師毎の読影結果の精度を比較可能に表示する（Ｓ１６）。ステップＳ１６の処理は図８を参照。制御部５１は、読影医師の読影結果又は学習モデル６１１の解析結果の部位毎又は所見毎の精度を比較可能に表示し（Ｓ１７）、処理を終了する。ステップＳ１７の処理は図９又は図１０を参照。

【0068】

上述のように、本実施形態によれば、所定の読影医師による総合判定結果を教師データとして用いて再学習された、チューニング後の学習モデル６１１を読影医師の読影結果の精度評価の正解として用いることにより、各読影組織の読影基準に合わせた評価をすることができ、読影組織単位で提供する読影品質のばらつきを抑制できる。また、各読影医師の読影の特徴を明確にすることができ、精度管理に役立てることができる。

【0069】

一般論として、読影医師の場合は、同じ医用画像を読影しても体調や気分などによって読影結果が変わることがある。一方、学習モデル６１１の場合には、内部のプログラムやパラメータが変わらない限り、同じ医用画像に対して同じ解析結果を出力する。このため、チューニング後の学習モデル６１１の解析結果を正解とすることで、所定の読影医師の総合判定結果を正解とする場合に比べて、正解のブレが抑えられるので、より正確な精度管理を実現できる。

【0070】

また、チューニング後の学習モデル６１１の解析結果を正解とすることで、同一のチューニング後の学習モデル６１１を用いている複数の読影組織間での読影精度の比較・管理ができるとともに、読影組織間での読影品質のばらつきを抑制できる。

【0071】

また、所定の読影医師による総合判定時に、例えば、第１読影医師の読影結果、第２読影医師の読影結果とともに学習モデル６１１の解析結果も見ることで、学習モデル６１１の過検出を抑制しながら総合判定のブレを抑えることができる。

【0072】

また、チューニング後の学習モデル６１１の解析結果を正解とすることで、読影医師の読影結果との一致度により正誤を自動的に判定できる。また、正と判定された医用画像と読影結果は、正解事例として、読影医師の教育に活用できる。

【0073】

次に、サーバ５０による読影医師の教育について説明する。

【0074】

読影医師の読影結果の精度を集計した精度集計データを用いて、読影医師毎に読影結果の誤読があった医用画像を収集する。これらの医用画像は、読影医師が間違った読影結果を示したものであるから、再度、当該読影医師に読影させることで、読影医師の読影能力の向上が見込まれる。

【0075】

すなわち、制御部５１は、読影医師が読影した医用画像を収集して、収集した医用画像の中の特定の医用画像を読影医師の閲覧端末２０に表示することができる。

【0076】

より具体的には、画像選定部６３は、読影医師が読影した医用画像の中から読影医師による読影結果に誤読が含まれる医用画像を選定することができる。選定された医用画像は収集され、誤読の医用画像群として保管される。医用画像群毎に、読影医師が読影した医用画像の全数に対する正しく読影した医用画像の数の比率として精度を求めることができる。

【0077】

また、制御部５１は、読影医師による読影結果の部位毎及び所見毎の少なくとも一つの精度に応じて、選定した医用画像の表示頻度を算出し、選定した医用画像を、算出した表示頻度で閲覧端末２０に表示してもよい。例えば、１サイクルの教育において、読影医師に対して５０枚の医用画像の読影をさせる場合、精度が３０％以下の医用画像は、ランダムに３回表示して読影させ、精度が３０％～６０％の医用画像は、ランダムに２回表示して読影させ、精度が６０％～８０％の医用画像は１回だけ表示させて読影させることができる。精度が低いほど、読影医師が読影を苦手とする部位や所見であるということができる。

【0078】

図１３は読影医師教育画面１５０の第１例を示す図である。読影医師教育画面１５０には、教育対象の医師名、教育用の医用画像を表示する画像領域１５１、次の医用画像を表示するための「次へ」アイコン１５３、前の医用画像を表示するための「戻る」アイコン１５４、表示中の医用画像が全体の医用画像の中でどの位置にあるかを示すスケール１５２、部位、所見及び判定の解答選択欄、解答を実施するための「解答」アイコン１５５、選択した解答をキャンセルするための「キャンセル」アイコン１５６などが表示される。

【0079】

教育対象の読影医師は、最初の医用画像を表示させて、部位、所見及び判定の解答選択欄で解答を選択し、「解答」アイコン１５５を操作することで最初の医用画像の読影を終了できる。次に、２枚目の医用画像を表示させて、同様に解答することで読影を行う。同様の操作を最後の医用画像まで実施することにより、１サイクルの教育が終了する。表示される医用画像の中には、読影結果の精度に応じて２回、３回とランダムに繰り返し表示される医用画像が含まれる。部位、所見及び判定に対する回答は、予め用意された選択肢の中から選択してもよく、読影医師が文字入力してもよい。

【0080】

図１４は読影医師教育画面１６０の第２例を示す図である。読影医師教育画面１６０は、読影医師が解答した結果を示す画面である。読影医師教育画面１６０には、総合正答率、部位正答率、所見正答率、苦手部位ランキング、苦手所見ランキングなどが表示される。総合正答率は、教育用の医用画像を読影した枚数に対する、部位・所見・判定などの全ての解答項目を正解した枚数の比率を示す。部位正答率は、教育用の医用画像を読影した枚数に対する、部位を正解した枚数の比率を示す。所見正答率は、教育用の医用画像を読影した枚数に対する、所見を正解した枚数の比率を示す。苦手部位ランキングは、正答率の低い部位の順序で表示したものであり、苦手所見ランキングは、正答率の低い所見の順序で表示したものである。

【0081】

図１５はサーバ５０による読影医師教育の処理の一例を示す図である。制御部５１は、読影医師による読影結果の精度を集計した精度集計データを取得し（Ｓ２１）、取得した精度集計データに基づいて、読影結果に誤読が含まれる医用画像を選定する（Ｓ２２）。制御部５１は、誤読が含まれる読影結果の部位毎又は所見毎の精度に応じて、選定した医用画像の表示頻度を算出する（Ｓ２３）。

【0082】

制御部５１は、閲覧端末２０に表示させる医用画像の指定の有無を判定し（Ｓ２４）、指定がない場合（Ｓ２４でＮＯ）、選定した医用画像を表示頻度に応じて選択して閲覧端末２０に表示し（Ｓ２５）、すべての医用画像を表示したか否かを判定する（Ｓ２６）。

【0083】

すべての医用画像を表示していない場合（Ｓ２６でＮＯ）、制御部５１は、ステップＳ２４以降の処理を続ける。すべての医用画像を表示した場合（Ｓ２６でＹＥＳ）、制御部５１は、処理を終了する。閲覧端末２０に表示させる医用画像の指定がある場合（Ｓ２４でＹＥＳ）、制御部５１は、指定した医用画像を閲覧端末２０に表示し（Ｓ２７）、ステップＳ２６の処理を行う。

【0084】

上述のように、読影医師の過去の読影結果から誤読した医用画像を教育用の医用画像として収集し、収集した医用画像を閲覧端末２０で読影医師に見せて読影させることで、通常の読影業務の中で教育用の医用画像を見せる必要がなく、読影業務とは別に、読影の訓練をしたいときに読影医師自身の苦手分野を集中的に学習できる。

【0085】

また、読影結果の精度に応じて医用画像の表示頻度を変えることで、苦手分野の医用画像を繰り返し読影訓練することができ、効率的に苦手分野を克服でき、読影品質の全体的な向上を図ることができる。

【0086】

また、チューニング後の学習モデル６１１の解析結果を正解として精度評価するので、各読影組織が求める正解を目標とした教育を行うことができる。

【0087】

また、チューニング後の学習モデル６１１の解析結果を正解として用いることにより、仮に総合判定を行う所定の読影医師との相性が悪い読影医師に対しては、より教育を受け入れやすくなる。

【0088】

上述の実施形態において、読影医師が解答をした結果、誤った解答をした医用画像については、当該医用画像とともに読影医師の読影結果と正解とを対比可能に表示してもよい。これにより、読影医師は読影結果の何処が間違ったのかを直ちに確認することができ、学習効果を上げることができる。また、医用画像上で明るさや形状など定量的な判断理由を提示してもよい。

【0089】

上述の実施形態では、サーバ５０が誤読した医用画像を選定する構成であるが、これに限定されるものではなく、閲覧端末２０に画像選定部６３の機能を設けてもよい。

【0090】

次に、サーバ５０による学習モデル６１１の解析結果表示について説明する。

【0091】

学習モデル６１１の解析結果表示は、読影端末３０のビューワー上で学習モデル６１１の解析結果を表示する際に、当該解析結果に対する読影医師の得意・苦手、あるいは当該解析結果に対する学習モデル６１１の得意・苦手を考慮して表示態様を変えるものである。ここで、学習モデル６１１は、チューニング前の学習モデルでもよく、あるいはチューニング後の学習モデル６１１でもよい。

【0092】

図１６は学習モデル６１１の解析結果表示の第１例を示す図である。図１６に示すように、学習モデル６１１の解析結果が、右尖・結節、左下・結節であるとする。読影結果の精度から、読影医師が右尖・結節の読影が苦手である場合、画面上の表示では、苦手な右尖・結節の表示態様を変えて学習モデル６１１の解析結果表示する。具体的には、苦手な右尖・結節の部分を強調表示する。強調表示の例としては、例えば、文字・線を太くする、感嘆符を三角形で囲んだ、注意を促すマークを付す、点滅表示、強調色（赤やピンクなど）で表示する方法が含まれる。なお、強調表示は、これらに限定されない。

【0093】

また、読影医師が右尖・結節の読影が得意である場合、画面上の表示では、特に強調表示はしない。しかし、例えば、星マークのような、得意であることを表すマークを付してもよい。なお、得意とは、読影結果の精度がある程度良い場合を示す。例えば、精度を０～１００％とすると、９０％以上であれば得意と区分してもよい。また、苦手とは、読影結果の精度があまり良くない場合を示す。例えば、精度を０～１００％とすると、６０％以下であれば苦手と区分してもよい。なお、得意・苦手の区分は一例であって、これらに限定されない。

【0094】

図１７は学習モデル６１１の解析結果表示の第２例を示す図である。図１７に示すように、学習モデル６１１の解析結果が、右尖・結節、左下・結節であるとする。解析結果の精度から、学習モデル６１１が左下・結節の解析が苦手である場合、画面上の表示では、苦手な左下・結節の表示態様を変えて学習モデル６１１の解析結果表示する。具体的には、苦手な左下・結節の部分を減弱表示する。減弱表示の例としては、例えば、文字・線を細くする、疑問符を円で囲んだ、苦手を表すマークを付す、灰色などの薄い色で表示、苦手を示す特定の色で表示する方法が含まれる。なお、減弱表示は、これらに限定されない。

【0095】

また、学習モデル６１１が左下・結節の読影が得意である場合、画面上の表示では、得意な左下・結節の部分を強調表示する。強調表示の例としては、例えば、強調した色で表示する、二重丸などの得意を表すマークを付す、得意を示す特定の色で表示する方法が含まれる。なお、強調表示は、これらに限定されない。

【0096】

上述のように、制御部５１は、読影医師による読影結果の精度及び学習モデル６１１による解析結果の精度を集計した集計データを取得する。制御部５１は、読影医師の読影結果の精度に応じて、医用画像に関する学習モデル６１１による解析結果を表示する際に当該解析結果の表示態様を変更する。具体的には、図１６に示すように、制御部５１は、医用画像に関する学習モデル６１１による解析結果に含まれる部位又は所見が、読影医師の読影結果の精度が低い部位又は所見と一致する場合、学習モデル６１１による解析結果を強調して表示することができる。精度が低い部位又は所見は、読影医師が苦手とする部位又は所見である。

【0097】

これにより、読影医師は、学習モデル６１１の解析結果を参照する際に、読影自身が苦手な所見や部位が強調表示されるので、注意が喚起され、読影時の見逃しを抑制して読影精度の向上を支援できる。

【0098】

また、制御部５１は、学習モデル６１１の解析結果の精度に応じて、医用画像に関する学習モデル６１１による解析結果を表示する際に当該解析結果の表示態様を変更する。具体的には、図１７に示すように、制御部５１は、医用画像に関する学習モデル６１１による解析結果に含まれる部位又は所見が、学習モデル６１１の解析結果の精度が低い部位又は所見と一致する場合、医用画像に関する学習モデル６１１による解析結果を減弱して表示することができる。

【0099】

これにより、読影医師は、学習モデル６１１の解析結果を参照する際に、学習モデル６１１自体が苦手とする部位や所見が減弱表示されるので、学習モデル６１１が誤りやすい解析結果に読影医師の注意が及びにくくなり、過検出を抑えた読影精度向上を支援できる。

【0100】

図１８は学習モデル６１１の解析結果表示の第３例を示す図である。前述の解析結果表示例では、様々な表示のバリエーションについて説明したが、実運用時における読影医師の見やすさ、分かりやすさを考慮すると、図１８に示す第３例による組み合わせが妥当である。第３例では、読影医師が得意である場合、特に表現しない。すなわち、特に表示（強調表示を含む）をしない。読影医師が苦手である場合、所見をマークで強調する。例えば、図１８に示すような、注意を促すマークを添えることができる。なお、学習モデルの場合の表示と混同しないように、矩形の色による表現はしない。また、学習モデルが得意・苦手であるかは、矩形の色の違いで表現する。例えば、学習モデルが得意である場合、得意を示す色で表示し、苦手である場合、苦手を示す色で表示する。

【0101】

図１９は学習モデル６１１の解析結果表示の第４例を示す図である。得意、普通、苦手は、読影結果又は解析結果の精度に応じて区分できる。精度を０～１００％とした場合、例えば、得意は精度が９０％以上、普通は精度が６０％～９０％、苦手は精度が６０％以下とすることができるが、これに限定されない。図１９に示すように、「学習モデルが得意、かつ読影医師が苦手」のように、特徴が重複する所見は、図１９に示すように、両方の表現を合わせて表示する。すなわち、特徴が重複する所見は、より強調される表現を用いることができる。

【0102】

タグ付け部６４（制御部５１）は、読影医師の読影結果の精度、及び学習モデル６１１の解析結果の精度に応じて、学習モデル６１１が出力する解析結果に含まれる検出領域（部位、あるいは部位及び所見が特定される医用画像上の領域）それぞれについて、得意、普通、苦手のいずれかのタグを付けることができる。

【0103】

図２０はサーバ５０による学習モデル６１１の解析結果表示の処理の一例を示す図である。制御部５１は、読影医師による読影結果の精度及び学習モデル６１１による解析結果の精度を集計した精度集計データを取得する（Ｓ３１）。制御部５１は、読影対象の医用画像が入力された学習モデル６１１が解析した結果の検出領域群を取得する（Ｓ３２）。検出領域は、入力された医用画像を学習モデル６１１が解析した結果、部位が特定された、あるいは部位及び所見が特定された医用画像上の領域を含む。

【0104】

制御部５１は、読影医師の読影結果の精度又は読影結果における部位毎又は所見毎の精度に応じて、検出領域を、例えば、得意、普通又は苦手のいずれかにタグ付けをする（Ｓ３３）。タグ付けは、タグ付け部６４が行う。制御部５１は、学習モデル６１１による解析結果の精度又は解析結果における部位毎又は所見毎の精度に応じて、検出領域を、例えば、得意、普通又は苦手のいずれかにタグ付けをする（Ｓ３４）。タグ付けは、タグ付け部６４が行う。

【0105】

制御部５１は、全ての検出領域についてタグ付けを完了したか否かを判定し（Ｓ３５）、タグ付けが完了していない場合（Ｓ３５でＮＯ）、ステップＳ３３以降の処理を続ける。タグ付けが完了した場合（Ｓ３５でＹＥＳ）、制御部５１は、各検出領域をタグに応じた表示態様で表示し（Ｓ３６）、処理を終了する。

【0106】

上述のように、本実施形態によれば、読影時の見逃しを抑制して読影精度の向上を支援できる。また、過検出を抑えた読影精度向上を支援できる。

【0107】

また、チューニング後の学習モデル６１１の解析結果を精度評価の正解として用いる場合には、各読影組織が求める正解を読影基準として得意、苦手などを判定するので、その正解に合わせるような読影支援がなされるようになる。

【0108】

上述の実施形態において、患者の属性（例えば、年齢、性別、検査目的など）から推定される、注視すべき所見・部位だけを強調表示するようにしてもよい。この場合、注視すべき所見・部位毎に患者の属性を設定して学習した学習モデル６１１を用いるのが望ましい。

【0109】

次に、サーバ５０による読影医師の割振について説明する。

【0110】

読影業務を運営する上で、読影依頼された医用画像をどの読影医師に割り振る（担当させる）かを判断する必要があるが、手作業で割振り先を決めるのは手間がかかる。本実施形態では、読影依頼された医用画像を読影医師に割り振る際に、読影医師の専門性を考慮して医用画像を自動で割り振ることができる。

【0111】

制御部５１は、チューニング後の学習モデル６１１の解析結果を正解とした、複数の読影医師による読影結果の精度を集計した集計データを取得するとともに、読影依頼された読影対象の医用画像を取得する。読影医師選定部６５（制御部５１）は、取得した医用画像の属性を特定し、取得した集計データに基づいて、特定した属性に関する複数の読影医師の専門性を判定する。読影医師選定部６５（制御部５１）は、判定した専門性に基づいて読影対象の医用画像の読影担当医師を選定する。

【0112】

医用画像の属性は、例えば、モダリティ、撮影部位、学習モデル６１１による予測所見、医用画像の画質、臓器領域の形状や大きさ（画像処理によって事前に検出できる場合）など読影の困難性を評価できる指標であればよい。モダリティは、ＣＴ：コンピュータ断層撮影装置、ＭＲＩ：磁気共鳴診断装置、ＤＲ：デジタルＸ線撮影装置、ＣＲ：コンピュータ・ラジオグラフィ、ＸＡ：血管造影Ｘ線診断装置、ＵＳ：超音波診断装置などである。撮影部位は、例えば、胸部、腹部、頭部などを含む。

【0113】

専門性の判定には、チューニング後の学習モデル６１１の解析結果を正解とした、読影結果の精度を集計した集計データを用いることができる。すなわち、読影結果の精度が低い場合には、専門性は低いと判定でき、逆に読影結果の精度が高い場合には、専門性が高いと判定できる。例えば、ある読影医師による読影結果において、ＭＲＩによる医用画像に対する読影精度が高い場合、当該読影医師のＭＲＩ（属性）に対する専門性は高いと判定できる。また、ある読影医師による読影結果において、腹部の医用画像に対する読影精度が高い場合、当該読影医師の腹部（属性）に対する専門性は高いと判定できる。

【0114】

図２１はサーバ５０による読影医師の割振処理の一例を示す図である。制御部５１は、読影依頼された読影対象の医用画像を取得し（Ｓ４１）、チューニング後の学習モデル６１１の解析結果を正解とした、複数の読影医師による読影結果の精度を集計した精度集計データを取得する（Ｓ４２）。

【0115】

制御部５１は、取得した医用画像の属性を特定し（Ｓ４３）、精度集計データに基づいて、特定した属性に関する複数の読影医師の専門性を判定する（Ｓ４４）。制御部５１は、判定した専門性に基づいて読影依頼された医用画像毎の読影担当医師を選定し（Ｓ４５）、処理を終了する。なお、医用画像毎の読影担当医師を選定するとは、具体的には、読影対象となる検査ＩＤに含まれる１又は複数の医用画像を１つの纏まりとして読影医師を選定することである。

【0116】

上述のように、本実施形態によれば、各読影組織でチューニングされた学習モデル６１１の解析結果を精度評価の正解として得られた読影医師の読影結果の精度から判定される専門性に基づいて、読影依頼された医用画像の読影担当位置を選定するので、各読影組織が求める専門性に応じた、読影医師の適切な割振りを行うことができる。

【0117】

本実施形態において、専門性以外の割振りアルゴリズムとして、例えば、読影依頼された医用画像を画像処理して画質（品質）を評価し、評価結果に応じて読影を担当する読影医師を選定してもよい。例えば、医用画像の品質が悪い場合、ベテランの読影医師を選定することができる。また、読影依頼された医用画像を画像処理して臓器（例えば、肺野など）の形状を抽出できる場合、抽出した臓器の形状が一般的なテンプレートと大きな差があるときは、ベテランの読影医師を選定することができる。このとき、テンプレートとの差を算出する際に患者の年齢や性別を考慮してテンプレートを修正し、あるいは差の許容範囲を調整してもよい。

【0118】

次に、サーバ５０によって読影医師の割振りが行われた結果を確認する方法について説明する。サーバ５０によって読影医師の割振りが行われた結果を示す割振先確認画面は、例えば、事務端末１０で表示させることができる。以下、割振先確認画面について説明する。

【0119】

図２２は割振先確認画面１７０の第１例を示す図である。割振先確認画面１７０は、トグル１７１が「全体表示」に切り替えられた場合を示す。割振先確認画面１７０には、割振結果が表示される。割振結果には、選定された読影医師（図の例では、ＸＸＸ、ＹＹＹ、ＺＺＺ）、各読影医師の業務の許容量、モダリティ・撮影部位別の割振り数が表示される。例えば、読影医師ＸＸＸには、Ｘ線胸部の読影が２０件割り振られている。割振前の許容量が９５％であり、割振後の許容量が－２０％減少することが分かる。読影医師ＹＹＹには、ＣＴ腹部の読影が１件割り振られている。割振前の許容量が６０％であり、割振後の許容量が－５％減少することが分かる。読影医師ＺＺＺには、ＣＴ頭部の読影が２件、及びＭＲＩ頭部の読影が２件割り振られている。割振前の許容量が８０％であり、割振後の許容量が－２０％減少することが分かる。

【0120】

割振り数は、モダリティ・撮影部位別に集計してもよいが、これに限定されない。例えば、健診と診療、依頼病院別などの別の基準で割振り数を計算してもよい。また、割振前後の業務上の許容量を表示するので、読影医師の業務上のワークロードを考慮して、サーバ５０による割振り結果が妥当であるか否かを判断できる。

【0121】

割振先管理者は、各読影医師に対する割振り数が妥当であると判断した場合、「割振実行」アイコン１７２を操作して、割振先を確定できる。また、割振先管理者は、各読影医師に対する割振り数が妥当ではないと判断した場合、「キャンセル」アイコン１７３を操作して、割振先を変更できる。

【0122】

上述のように、事務端末（表示装置）１０は、表示部を備え、表示部は、医用画像の読影を担当する読影医師の一覧を示す割振先確認画面１７０（第１確認画面）を表示し、割振先確認画面１７０は、各読影医師が担当する担当件数と、各読影医師の読影作業に関する許容量と、担当件数の読影を担当した場合の許容量の減少度合いとを含む。これにより、割振りの妥当性を判断できる。

【0123】

図２３は割振先確認画面１８０の第２例を示す図である。割振先確認画面１８０は、トグル１７１が「詳細表示」に切り替えられた場合を示す。割振先確認画面１８０には、読影依頼された検査ＩＤ毎に、割振先、許容量、モダリティ、部位（撮影部位）、学習モデル６１１による予測所見が表示される。例えば、検査ＩＤ：Ａ００００５については、読影医師ＸＸＸが割り振られ、読影医師ＸＸＸの業務上の許容量が図示され、モダリティがＸ線、撮影部位が胸部、予測所見が右下結節である。また、読影医師ＸＸＸの各属性（モダリティ、部位、予測所見）の専門性を表示する。図の例では、実線は専門性が高く、破線は専門性が低いことを示す。なお、線の色や線の長さで専門性の高低を表示してもよい。割振り先の読影医師を変更したい場合、「変更」アイコンを操作することで、後述の変更画面へ遷移できる。他の検査ＩＤについても同様である。

【0124】

図２３の例では、属性として、モダリティ、部位（撮影部位）、予測所見を図示し、各属性に対する読影医師の専門性を図示している。属性は、図２３の例に限定されるものではなく、例えば、患者の年齢、性別、読影依頼病院、読影の難易度などを含めてもよい。

【0125】

上述のように、事務端末（表示装置）１０は、表示部を備え、表示部は、読影対象の医用画像を識別する検査ＩＤ（識別子）とともに医用画像の読影を担当する読影医師及び医用画像の属性を示す割振先確認画面１８０（第２確認画面）を表示し、割振先確認画面１８０は、読影医師の属性に対する専門性を含む。これにより、読影依頼された各検査の詳細を確認できる。

【0126】

図２４は割振先確認画面１９０の第３例を示す図である。割振先確認画面１９０は、図２３に示す割振先確認画面１８０で「変更」アイコンを操作することで遷移する画面であり、割振先管理者が割振り先の読影医師を変更する画面である。割振先確認画面１９０には、割振り先を変更する対象画像の情報が表示される。図の例では、検査ＩＤ：Ａ００００５である。すなわち、図２３に示す割振先確認画面１８０において、検査ＩＤ：Ａ００００５の読影の割振り先の変更がなされた。

【0127】

割振先確認画面１９０には、新しい割振先の候補医師の一覧が表示される。図の例では、読影医師ＸＸＸ、ＡＡＡ、ＢＢＢの順序で表示される。表示順序は、読影医師の専門性に基づき割当推奨度の高い順番に表示することができる。読影医師ＸＸＸが一番上に表示されるのは、図２３の割振先選定と同様に読影医師ＸＸＸの専門性が高いからである。

【0128】

各候補医師の業務上の許容量、属性（モダリティ、撮影部位、予測所見）毎の専門性が表示される。割振先管理者がアイコン１９２を予測所見（図の例では、右下結節）付近に近づけると、専門性を判定する元となった精度データ１９３を表示することができる。割振先管理者がアイコン１９１を操作して候補医師の中から読影医師を選択して「変更」アイコン１９４を操作することで、割振先を変更できる。「キャンセル」アイコン１９５を操作すれば、変更処理をキャンセルできる。また、検索ボックス１９６に特定の読影医師を入力することで、当該読影医師の許容量、専門性を表示できる。

【0129】

上述のように、事務端末（表示装置）１０は、表示部を備え、表示部は、読影対象の医用画像を識別する検査ＩＤ（識別子）とともに医用画像の属性を示す割振先確認画面１９０（第３確認画面）を表示し、割振先確認画面１９０は、医用画像の読影を担当する読影医師の候補を含む。これにより、新たな割振先に容易に変更できる。

【0130】

次に、サーバ５０による突合判定について説明する。

【0131】

読影品質を高めるため、同一の医用画像を複数の読影医師で読影する場合、読影医師の読影に加えて、学習モデル（画像処理を含む）による解析結果を考慮する場合がある。このとき、読影結果や解析結果に差異がある場合、各結果を突合してどの結果を採用するか、あるいは別の読影医師による総合判定の要否を決定する必要がある。本実施形態では、読影医師の読影結果や学習モデルの解析結果を突合する際に、読影医師の専門性、学習モデルの専門性を考慮して突合の重み付けをして総合判定の要否を決定する。

【0132】

図２５は突合判定での重み付けの一例を示す図である。図２５Ａは、比較例であり重み付けなしの例であり、図２５Ｂは本実施形態の専門性を考慮した重み付けありの場合を示す。図２５では、第１読影医師による第１読影結果、第２読影医師による第２読影結果、及び学習モデル６１１の解析結果を用いて突合判定するとする。学習モデル６１１は、チューニング前の学習モデルでもよく、チューニング後の学習モデル６１１でもよい。図２５Ａでは、多数決で突合判定する。すなわち、第１読影結果及び解析結果が「所見なし」であり、第２読影結果が「左下・結節」（所見あり）なので、所見なし：所見ありが、２：１となり、所定の読影医師による第３読影の要否は「否」となる。すなわち、医用画像は第３読影医師には回さないと決定される。

【0133】

図２５Ｂは、専門性を考慮する場合を示す。専門性の判定には、チューニング後の学習モデル６１１の解析結果を正解とした、読影結果の精度及び解析結果の精度を集計した集計データを用いることができる。すなわち、読影結果の精度が低い場合には、読影医師の専門性は低いと判定でき、逆に読影結果の精度が高い場合には、読影医師の専門性が高いと判定できる。また、解析結果の精度が低い場合には、学習モデル６１１の専門性は低いと判定でき、逆に解析結果の精度が高い場合には、学習モデル６１１の専門性が高いと判定できる。

【0134】

制御部５１は、チューニング後の学習モデル６１１による解析結果に対する（解析結果を精度評価の正解として）読影医師による読影結果の精度に基づいて読影医師による読影結果に重み付けを付与する。突合判定部６６（制御部５１）は、重み付けが付与された読影結果に基づいて所定の読影医師による総合判定の要否を判定することができる。

【0135】

制御部５１は、チューニング後の学習モデル６１１による解析結果に対する（解析結果を精度評価の正解として）学習モデル６１１による解析結果の精度に基づいて学習モデル６１１による解析結果に重み付けを付与する。突合判定部６６（制御部５１）は、重み付けが付与された解析結果に基づいて所定の読影医師による総合判定の要否を判定することができる。

【0136】

例えば、精度が６０％～７０％の場合、重み付けを１とし、精度が７０％～８０％の場合、重み付けを２とし、精度が８０％～９０％の場合、重み付けを３とし、精度が９０％以上の場合、重み付けを４とすることができる。また、精度が５０％～６０％の場合、重み付けを０．５とし、精度が５０％以下の場合、重み付けを０．１とすることができる。なお、重み付けは一例であって、これに限定されない。

【0137】

図２５Ｂの例では、第２読影医師の専門性を判定して、第２読影結果に対して３倍の重み付けを付与している。この場合、所見なし：所見ありが、２：３となり、所定の読影医師による第３読影の要否は「要」となる。すなわち、医用画像は第３読影医師に回すと決定される。

【0138】

図２６はサーバ５０による突合判定処理の一例を示す図である。制御部５１は、突合判定対象の読影医師の読影結果及び学習モデル６１１の解析結果を取得する（Ｓ５１）。学習モデル６１１は、チューニング前の学習モデル６１１でもよく、チューニング後の学習モデル６１１でもよい。

【0139】

制御部５１は、チューニング後の学習モデル６１１の解析結果を精度評価の正解とした、読影医師による読影結果の精度及び学習モデル６１１の解析結果の精度を集計した精度集計データを取得する（Ｓ５２）。

【0140】

制御部５１は、取得した精度集計データに基づいて、突合判定対象の読影結果及び解析結果の重み付けを算出する（Ｓ５３）。制御部５１は、突合判定対象の読影結果及び解析結果に重み付けして突合判定し（Ｓ５４）、処理を終了する。

【0141】

上述のように、各読影組織でチューニングされた学習モデル６１１の解析結果を精度評価の正解とした、読影医師の読影結果の精度、及び学習モデル６１１の解析結果の精度に基づいて、専門性を考慮して突合判定対象の読影結果及び解析結果に重み付けして突合判定するので、各読影組織が求める専門性に応じた、適切な読影結果及び解析結果を用いて突合判定を行うことができる。

【0142】

本実施形態において、学習モデル６１１が出力する解析結果の確度（確率）に応じて当該解析結果に重み付けを付与してよい。例えば、確度（確率）が高いほど、大きな値の重み付けを付与できる。また、学習モデル６１１が出力する解析結果に含まれる部位に応じて重み付けを補正してもよい。例えば、偽陽性が起きやすい（特異度が低い）部位では重み付けを小さくすることで、偽陽性を抑制できる。

【0143】

（付記１）情報処理装置は、制御部を備え、前記制御部は、医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する。

【0144】

（付記２）情報処理装置は、付記１において、前記制御部は、前記読影医師による読影結果の部位毎の精度又は前記学習モデルの解析結果の部位毎の精度を比較可能に表示する。

【0145】

（付記３）情報処理装置は、付記１又は付記２において、前記制御部は、前記読影医師による読影結果の所見毎の精度又は前記学習モデルの解析結果の所見毎の精度を比較可能に表示する。

【0146】

（付記４）情報処理装置は、付記１から付記３のいずれか一つにおいて、前記制御部は、複数の読影医師による読影結果を蓄積した蓄積データを取得し、前記複数の読影医師毎の読影結果の精度を比較可能に表示する。

【0147】

（付記５）情報処理装置は、付記１から付記４のいずれか一つにおいて、前記制御部は、前記医用画像に関する所定の読影医師による総合判定結果を蓄積した蓄積データを取得し、前記総合判定結果に対する前記読影医師による読影結果の正誤に基づいて前記読影医師による読影結果の精度を算出する。

【0148】

（付記６）情報処理装置は、付記１から付記５のいずれか一つにおいて、前記制御部は、前記医用画像に関する所定の読影医師による総合判定結果を蓄積した蓄積データを取得し、前記総合判定結果に対する前記学習モデルによる解析結果の正誤に基づいて前記学習モデルによる解析結果の精度を算出する。

【0149】

（付記７）情報処理装置は、付記１から付記６のいずれか一つにおいて、前記制御部は、前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習する。

【0150】

（付記８）情報処理装置は、付記１から付記７のいずれか一つにおいて、前記制御部は、前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習し、再学習した再学習済学習モデルによる解析結果に対する前記読影医師による読影結果の正誤に基づいて前記読影医師による読影結果の精度を算出する。

【0151】

（付記９）情報処理装置は、付記１から付記８のいずれか一つにおいて、前記制御部は、前記読影医師が読影した医用画像を収集し、収集した医用画像の中の特定の医用画像を前記読影医師の閲覧端末に表示する。

【0152】

（付記１０）情報処理装置は、付記９において、前記制御部は、前記読影医師が読影した医用画像の中から前記読影医師による読影結果に誤読が含まれる医用画像を選定する。

【0153】

（付記１１）情報処理装置は、付記９又は付記１０において、前記制御部は、前記読影医師による読影結果の部位毎及び所見毎の少なくとも一つの精度に応じて、選定した医用画像の表示頻度を算出し、選定した医用画像を前記表示頻度で前記読影医師の閲覧端末に表示する。

【0154】

（付記１２）情報処理装置は、付記１から付記１１のいずれか一つにおいて、前記制御部は、前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を集計した集計データを取得し、前記読影医師の読影結果の精度に応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する。

【0155】

（付記１３）情報処理装置は、付記１２において、前記制御部は、前記学習モデルの解析結果の精度に応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する。

【0156】

（付記１４）情報処理装置は、付記１２又は付記１３において、前記制御部は、医用画像に関する前記学習モデルによる解析結果に含まれる部位又は所見が、前記読影医師の読影結果の精度が低い部位又は所見と一致する場合、前記学習モデルによる解析結果を強調して表示する。

【0157】

（付記１５）情報処理装置は、付記１２から付記１４のいずれか一つにおいて、前記制御部は、医用画像に関する前記学習モデルによる解析結果に含まれる部位又は所見が、前記学習モデルの解析結果の精度が低い部位又は所見と一致する場合、前記医用画像に関する前記学習モデルによる解析結果を減弱して表示する。

【0158】

（付記１６）情報処理装置は、付記１２から付記１５のいずれか一つにおいて、前記制御部は、前記読影医師の読影結果の精度の高低及び前記学習モデルの解析結果の精度の高低の組合せに応じて、医用画像に関する前記学習モデルによる解析結果を表示する際に前記解析結果の表示態様を変更する。

【0159】

（付記１７）情報処理装置は、付記１から付記１６のいずれか一つにおいて、前記制御部は、複数の読影医師による読影結果の精度を集計した集計データを取得し、読影対象の医用画像を取得し、取得した医用画像の属性を特定し、取得した集計データに基づいて、特定した属性に関する前記複数の読影医師の専門性を判定し、判定した専門性に基づいて前記読影対象の医用画像の読影担当医師を選定する。

【0160】

（付記１８）情報処理装置は、付記１から付記１７のいずれか一つにおいて、前記制御部は、前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を集計した集計データを取得し、前記医用画像、及び前記医用画像に関する所定の読影医師による総合判定結果を含む訓練データを取得し、前記訓練データに基づいて、医用画像を前記学習モデルに入力した場合、前記総合判定結果を出力するように前記学習モデルを再学習し、再学習した再学習済学習モデルによる解析結果に対する前記読影医師による読影結果の精度に基づいて前記読影医師による読影結果に重み付けを付与し、重み付けが付与された読影結果に基づいて所定の読影医師による総合判定の要否を判定する。

【0161】

（付記１９）情報処理装置は、付記１８において、前記制御部は、前記再学習済学習モデルによる解析結果に対する前記学習モデルによる解析結果の精度に基づいて前記学習モデルによる解析結果に重み付けを付与し、重み付けが付与された解析結果に基づいて所定の読影医師による総合判定の要否を判定する。

【0162】

（付記２０）表示装置は、表示部を備え、前記表示部は、医用画像の読影を担当する読影医師の一覧を示す第１確認画面を表示し、前記第１確認画面は、各読影医師が担当する担当件数と、各読影医師の読影作業に関する許容量と、前記担当件数の読影を担当した場合の前記許容量の減少度合いとを含む。

【0163】

（付記２１）表示装置は、表示部を備え、前記表示部は、読影対象の医用画像を識別する識別子とともに前記医用画像の読影を担当する読影医師及び前記医用画像の属性を示す第２確認画面を表示し、前記第２確認画面は、前記読影医師の前記属性に対する専門性を含む。

【0164】

（付記２２）表示装置は、表示部を備え、前記表示部は、読影対象の医用画像を識別する識別子とともに前記医用画像の属性を示す第３確認画面を表示し、前記第３確認画面は、前記医用画像の読影を担当する読影医師の候補を含む。

【0165】

（付記２３）コンピュータプログラムは、医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する、処理をコンピュータに実行させる。

【0166】

（付記２４）情報処理方法は、医用画像、前記医用画像に関する読影医師による読影結果、前記医用画像に関する学習モデルによる解析結果を蓄積した蓄積データを取得し、取得した蓄積データを用いて前記読影医師による読影結果の精度及び前記学習モデルによる解析結果の精度を比較可能に表示する。

【0167】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0168】

１ 記録媒体
１０ 事務端末
２０ 閲覧端末
３０ 読影端末
４０ ＤＢ
５０ サーバ
５１ 制御部
５２ 通信部
５３ メモリ
５４ インタフェース部
５５ 記憶部
５６ コンピュータプログラム
５７ 記録媒体読取部
６１ 画像処理部
６１１、６１１ａ、６１１ｂ 学習モデル
６２ 精度集計部
６３ 画像選定部
６４ タグ付け部
６５ 読影医師選定部
６６ 突合判定部
６７ 学習処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】