特許 7361505 医用情報処理装置及び医用情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-05

(45)【発行日】2023-10-16

(54)【発明の名称】医用情報処理装置及び医用情報処理方法

(51)【国際特許分類】

   G16H 50/20 20180101AFI20231006BHJP

   G06N 20/00 20190101ALI20231006BHJP

   A61B 5/00 20060101ALI20231006BHJP

【ＦＩ】

G16H50/20

G06N20/00

A61B5/00 G

【請求項の数】 9

(21)【出願番号】P 2019113084

(22)【出願日】2019-06-18

(65)【公開番号】P2020204970

(43)【公開日】2020-12-24

【審査請求日】2022-04-13

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】永井 康仁

(72)【発明者】

【氏名】三森 恵太

【審査官】鹿谷 真紀

(56)【参考文献】

【文献】特開２０１９－０６１５７８（ＪＰ，Ａ）

【文献】特開２０１８－１０８３６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｎ ２０／００

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

複数の医用データを元に作成された、作成元の医用データの少なくとも一部又は作成に係るパラメータ条件が異なる複数の機械学習モデルの各々に、同一の医用データを入力することで得られた前記機械学習モデル毎の出力結果と、当該出力結果に対する正否の判定結果とに基づいて、前記機械学習モデルの各々を評価する評価部と、
前記評価部で評価された前記機械学習モデル毎の評価結果を比較可能な状態で表示させる表示制御部と、
を備え、
前記表示制御部は、前記機械学習モデルの評価に係る集計種別が指定されると、前記機械学習モデルの各々から出力された出力結果のうち、指定された前記集計種別の条件に該当する出力結果と、当該出力結果に係る医用データと、当該医用データに対する医師の診断結果とを対応付けて表示させる、医用情報処理装置。

【請求項2】

前記評価部は、前記複数の機械学習モデルのうち、一の機械学習モデルの前記出力結果と、当該機械学習モデルに入力された医用データに対する医師の診断結果とに基づいて、他の機械学習モデルの出力結果の正否を判定する請求項１に記載の医用情報処理装置。

【請求項3】

前記表示制御部は、指定された前記集計種別の条件に該当する出力結果の件数を前記機械学習モデル毎に表示させる請求項１に記載の医用情報処理装置。

【請求項4】

前記複数の機械学習モデルは、同一の医療施設で取得された前記複数の医用データを作成元とする第１の機械学習モデルを含む、請求項１に記載の医用情報処理装置。

【請求項5】

前記複数の機械学習モデルは、複数の医療施設で取得された前記複数の医用データを作成元とする第２の機械学習モデルを含む、請求項１に記載の医用情報処理装置。

【請求項6】

前記表示制御部は、前記第２の機械学習モデルの作成に係る前記複数の医療施設の各々を表示させる請求項５に記載の医用情報処理装置。

【請求項7】

前記表示制御部は、前記第２の機械学習モデルの作成に係る前記複数の医療施設の各々で評価された前記第２の機械学習モデルの評価結果を比較可能な状態で表示させる請求項５又は６に記載の医用情報処理装置。

【請求項8】

前記表示制御部は、前記第２の機械学習モデルの評価結果に対し予め設定された公開又は非公開の設定内容に基づいて、前記第２の機械学習モデルの評価結果の表示を制御する請求項７に記載の医用情報処理装置。

【請求項9】

複数の医用データを元に作成された、作成元の医用データの少なくとも一部又は作成に係るパラメータ条件が異なる複数の機械学習モデルの各々に、同一の医用データを入力することで得られた前記機械学習モデル毎の出力結果と、当該出力結果に対する正否の判定結果とに基づいて、前記機械学習モデルの各々を評価し、
前記機械学習モデル毎の評価結果を比較可能な状態で表示させ、
前記機械学習モデルの評価に係る集計種別が指定されると、前記機械学習モデルの各々から出力された出力結果のうち、指定された前記集計種別の条件に該当する出力結果と、当該出力結果に係る医用データと、当該医用データに対する医師の診断結果とを対応付けて表示させる、
ことを含む、コンピュータが行う医用情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、医用情報処理装置及び医用情報処理方法に関する。

【背景技術】

【0002】

近年、ＡＩ（機械学習）技術が多様なシステムに用いられるようになってきており、医療業界への適用も盛んになってきている。例えば、特定の症例であれば、読影医よりも高速、高精度に異常個所を検出することができる機械学習モデルが知られている。

【0003】

ところで、機械学習モデルの作成には、複数の医用データを用いることになるが、データ数は日々増加するため、最新の医用データを用いて機械学習モデルを更新することが行われている。また、サンプル数を増やすため、複数の病院の医用データを用いて機械学習モデルを作成するようなことも想定される。

【0004】

上記の場合、作成元のデータ条件や、ハイパーパラメータ等の機械学習モデルの作成に係るパラメータ条件が異なる複数の機械学習モデルが作成されることになるが、通常使用される機械学習モデルは一つとなるため、複数の機械学習モデルの性能を比較するのは容易ではない。そのため、機械学習モデルの選定作業を容易に行うことが可能な技術が望まれている。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１７－５２７３９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、機械学習モデルの選定作業を支援できるようにすることである。

【課題を解決するための手段】

【0007】

実施形態に係る医用情報処理装置は、評価部と、表示制御部とを備える。評価部は、複数の医用データを元に作成された、作成元の医用データの少なくとも一部又は作成に係るパラメータ条件が異なる複数の機械学習モデルの各々に、同一の医用データを入力することで得られた前記機械学習モデル毎の出力結果と、当該出力結果に対する正否の判定結果とに基づいて、前記機械学習モデルの各々を評価する。表示制御部は、前記機械学習モデルの各々の評価結果を比較可能な状態で表示させる。また、表示制御部は、前記機械学習モデルの評価に係る集計種別が指定されると、前記機械学習モデルの各々から出力された出力結果のうち、指定された前記集計種別の条件に該当する出力結果と、当該出力結果に係る医用データと、当該医用データに対する医師の診断結果とを対応付けて表示させる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る医用情報システムの構成の一例を示す図である。

【図2】図２は、実施形態に係るデータ管理装置の構成の一例を示す図である。

【図3】図３は、実施形態に係る評価機能の動作を説明するための図である。

【図4】図４は、実施形態の表示制御機能によって表示されるモデル比較画面の一例を示す図である。

【図5】図５は、実施形態のデータ管理装置が実行する評価処理の一例を示すフローチャートである。

【図6】図６は、実施形態のデータ管理装置が実行するモデル比較画面表示処理の一例を示すフローチャートである。

【図7】図７は、変形例１の表示制御機能によって表示されたモデル比較画面の一例を示す図である。

【図8】図８は、変形例１の表示制御機能によって表示された施設比較画面の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、医用情報処理装置及び医用情報処理方法の実施形態について説明する。

【0010】

図１は、本実施形態に係る医用情報システムの構成の一例を示す図である。図１に示すように、医用情報システム１は、複数の医療施設システム１０（１０ａ～１０ｃ）を有する。医療施設システム１０同士は、例えばイントラネットや専用回線等のネットワークＮ１を介して通信可能に接続される。なお、ネットワークＮ１に接続される医療施設システム１０の個数は特に問わないものとする。

【0011】

医療施設システム１０は、病院等の医療施設が備えるシステムである。図１に示す例では、医療施設システム１０ａは、病院Ａの医療施設システムであり、医療施設システム１０ｂは、病院Ｂの医療施設システムであり、医療施設システム１０ｃは、病院Ｃの医療施設システムである。

【0012】

医療施設システム１０は、例えば、医用画像診断装置１００、医用画像管理システム２００、データ管理装置３００及び端末装置４００等を有する。医用画像診断装置１００、医用画像管理システム２００、データ管理装置３００及び端末装置４００は、ＬＡＮ（Local Area Network）等のネットワークＮ２を介して通信可能に接続される。また、ネットワークＮ２は、ルータ等のネットワーク機器を介して、ネットワークＮ１に接続される。

【0013】

医用画像診断装置１００は、患者を撮影等することにより検査を実施する装置である。医用画像診断装置１００は、例えばＸ線コンピュータ断層撮影装置、Ｘ線診断装置、磁気共鳴イメージング装置、核医学診断装置、及び超音波診断装置等を含む。

【0014】

医用画像診断装置１００は、検査の実施により医用画像データを生成する。医用画像データは、例えばＸ線ＣＴ画像データ、Ｘ線画像データ、ＭＲＩ画像データ、核医学画像データ、及び超音波画像データ等である。医用画像データは、例えばＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格に準拠した形式で生成される。医用画像診断装置１００は、生成した医用画像データを医用画像管理システム２００に送信する。

【0015】

医用画像管理システム２００は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）であり、医用画像診断装置１００によって生成された医用画像データを記憶し管理する。

【0016】

データ管理装置３００は、医用情報処理装置の一例である。データ管理装置３００は、医療施設システム１０で使用される各種データを管理する。例えば、データ管理装置３００は、医師等の医療従事者の診断支援に係る機械学習モデル（以下、モデルともいう）として、後述するローカルモデルＬＭ及びグローバルモデルＧＭを記憶する（図２参照）。また、データ管理装置３００は、モデルを用いて診断された診断結果を端末装置４００から収集する。例えば、データ管理装置３００は、ワークステーションやサーバ装置等のコンピュータ機器によって実現される。

【0017】

端末装置４００は、医師等の医療従事者が使用する端末装置である。端末装置４００は、医療従事者の操作に応じて種々の処理を実行する。具体的には、端末装置４００は、医用画像管理システム２００が管理する医用画像データを、データ管理装置３００が管理するモデルを用いて解析することで、異常個所の検出等の診断支援を行う。例えば、端末装置４００は、パーソナルコンピュータやタブレット端末等のコンピュータ機器によって実現される。

【0018】

次に、上述したデータ管理装置３００の構成について説明する。図２は、データ管理装置３００の構成の一例を示す図である。図２に示すように。データ管理装置３００は、通信インタフェース３０１と、記憶回路３０２と、入力インタフェース３０３と、ディスプレイ３０４と、処理回路３０５とを有する。

【0019】

通信インタフェース３０１は、処理回路３０５に接続されており、データ管理装置３００と外部装置との間で行われる各種データの伝送及び通信を制御する。例えば、通信インタフェース３０１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

【0020】

記憶回路３０２は、処理回路３０５に接続されており、各種データや各種プログラムを記憶する。具体的には、記憶回路３０２は、医師の診断支援に係るモデルとして、ローカルモデルＬＭとグローバルモデルＧＭとを記憶する。また、記憶回路３０２は、端末装置４００から送信された診断結果データを格納するための診断結果ＤＢ３０２ａを保持する。例えば、記憶回路３０２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。なお、記憶回路３０２は、記憶部の実現手段の一例である。

【0021】

ここで、ローカルモデルＬＭは、第１の機械学習モデルの一例であり、自己の医療施設（例えば病院Ａ）のデータを用いて作成されたモデルである。具体的には、ローカルモデルＬＭは、自己の医療施設の医用画像診断装置１００で得られた医用画像データと、医用画像データに対した行われた自己の医療施設での診断結果（異常個所の指定等）との関係を学習することによって作成される。かかるローカルモデルＬＭは、医用画像データが入力されると、医用画像データに含まれた異常箇所や病巣箇所等を推定（検出）し、推定した結果を出力する。

【0022】

また、記憶回路３０２は、ローカルモデルＬＭを世代毎に記憶する。ローカルモデルＬＭ１は第１世代のローカルモデルＬＭであり、ローカルモデルＬＭ２は第２世代のローカルモデルＬＭを意味する。また、ローカルモデルＬＭの作成に使用されたデータセット（医用画像データ、診断結果）の条件は世代間で相違する。例えば、自己の医療施設で行われた現在までの診断件数が１０００件であり、５００件毎に新たなローカルモデルＬＭを作成したとすると、ローカルモデルＬＭ１は、１～５００件目のデータセットで作成されたものであり、ローカルモデルＬＭ２は、１～１０００件目（又は５００～１０００件目）のデータセットで作成されたものとなる。すなわち、ローカルモデルＬＭ１とローカルモデルＬＭ２とでは、作成元のデータセットの一部又は全てが相違する。

【0023】

なお、ローカルモデルＬＭの作成方法は特に問わず、公知の技術を用いて作成してもよい。また、ローカルモデルＬＭの作成は、自己の医療施設のデータ管理装置３００が行ってもよいし、自己の医療施設内の他の装置が行っても形態としてもよい。例えば、データ管理装置３００でローカルモデルＬＭを作成する場合、データ管理装置３００は、医用画像管理システム２００に記憶された医用画像データと、診断結果ＤＢ３０２ａに記憶された診断結果データとを用いてローカルモデルＬＭを作成してもよい。

【0024】

一方、グローバルモデルＧＭは、第２の機械学習モデルの一例であり、複数の医療施設のデータを用いて作成されたモデルである。例えば、グローバルモデルＧＭは、自己の医療施設（例えば、病院Ａ）及び他の医療施設（例えば、病院Ｂ、病院Ｃ）の医用画像診断装置１００で得られた医用画像データと、当該医用画像データに対して行われた各々の医療施設での診断結果（異常個所の指定等）との関係を学習することによって生成される。かかるグローバルモデルＧＭは、医用画像データが入力されると、ローカルモデルＬＭと同様、医用画像データに含まれた異常箇所や病巣箇所等を推定（検出）し、推定した結果を出力する。

【0025】

また、記憶回路３０２は、グローバルモデルＧＭを世代毎に記憶する。グローバルモデルＧＭ１は、第１世代のグローバルモデルＧＭを意味する。ここで、各世代のグローバルモデルＧＭの作成に使用されたデータセット（医用画像データ、診断結果）は、ローカルモデルＬＭと同様に世代間で相違する。すなわち、グローバルモデルＧＭの作成元となるデータセットは、その一部又は全てが世代間で相違する。また、ローカルモデルＬＭとグローバルモデルＧＭとの間においても、作成元のデータセットの一部又は全てが相違する。

【0026】

なお、グローバルモデルＧＭの作成方法は特に問わず、公知の技術を用いて作成してもよい。また、グローバルモデルＧＭの作成は、各医療施設の各々でデータ管理装置３００等が行ってもよいし、代表となる一の医療施設のデータ管理装置３００等が行ってもよい。例えば、データ管理装置３００でグローバルモデルＧＭを作成する場合、データ管理装置３００は、各医療施設の医用画像管理システム２００に記憶された医用画像データと、各医療施設の診断結果ＤＢ３０２ａに記憶された診断結果データとを用いてグローバルモデルＧＭを作成してもよい。

【0027】

データ管理装置３００は、上述したローカルモデルＬＭ及びグローバルモデルＧＭのうち、使用中モデルとして設定された何れか一つのモデル（一つの世代）を、端末装置４００が利用可能に提供する。端末装置４００では、医師等の医療従事者の操作の下、医用画像管理システム２００から取得された診断対象となる患者の医用画像データが使用中モデルに入力される。使用中モデルは、医用画像データに含まれた異常箇所等を推定し、その推定結果を端末装置４００のディスプレイ等に出力する。

【0028】

端末装置４００を操作する医療従事者は、使用中モデルの推定結果を参考に、医用画像データに対する所見や診断を行うことができる。このように、データ管理装置３００が管理するモデルは、医師の診断支援に使用される。端末装置４００を操作する医師は、使用中モデルを用いて診断を行った場合、推定結果の正否を示す情報等を診断結果とともに入力する。そして、入力された診断結果は診断結果データとしてデータ管理装置３００へと送信されることで、端末装置４００の診断結果ＤＢ３０２ａに格納される。

【0029】

ここで、診断結果データには、例えば、診断対象となった患者を識別する患者ＩＤ、医用画像データを識別する画像ＩＤ、使用したモデル（使用中モデル）を識別するモデルＩＤ、使用中モデルの推定結果、医師の診断結果、使用中モデルの推定結果が正解か不正解かを示す正否情報等が含まれる。これらの情報のうち、例えば、医師の診断結果と正否情報とが医師によって入力される。

【0030】

なお、診断結果データに含まれる情報は上記例に限らず、他の情報を含んでいてもよい。例えば、医療従事者からコメントが入力された場合や、重要等の理由によりフラグが付された場合には、診断結果データは、入力されたコメントの内容やフラグ（以下、重篤フラグ）等の情報を含んでもよい。また、例えば、診断を行った医師を識別する医師ＩＤ等を含んでもよい。また、正否情報を明示的に含まず、使用中モデルの推定結果と医師の診断結果とから導出される形態としてもよい。

【0031】

入力インタフェース３０３は、処理回路３０５に接続されており、操作者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インタフェース３０３は、操作者から受け付けた入力操作を電気信号へ変換して処理回路３０５に出力する。例えば、入力インタフェース３０３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、入力インタフェース３０３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インタフェース３０３の例に含まれる。

【0032】

ディスプレイ３０４は、処理回路３０５に接続されており、各種情報及び各種画像を表示する。具体的には、ディスプレイ３０４は、処理回路３０５から送られる各種情報及び各種画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ３０４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。

【0033】

処理回路３０５は、入力インタフェース３０３を介して操作者から受け付けた入力操作に応じて、データ管理装置３００の構成要素を制御する。具体的には、処理回路３０５は、記憶回路３０２から医用データを読み出し、ディスプレイ３０４に表示する。例えば、処理回路３０５は、プロセッサによって実現される。

【0034】

また、データ管理装置３００は、上述した各モデルの選定作業を支援するための機能を有している。具体的には、データ管理装置３００は、収集機能３５１と、評価機能３５２と、設定機能３５３と、表示制御機能３５４とを有する。なお、評価機能３５２は、評価部の一例である。また、表示制御機能３５４は、表示制御部の一例である。

【0035】

収集機能３５１は、端末装置４００の各々から送信される診断結果データを収集（取得）する。また、収集機能３５１は、収集した診断結果データを診断結果ＤＢ３０２ａに記憶する。

【0036】

評価機能３５２は、診断結果ＤＢ３０２ａに記憶された診断結果データに基づいて、記憶回路３０２に記憶された各モデルの性能を評価する。具体的には、評価機能３５２は、診断結果データに含まれた医師の診断結果や正否情報等に基づき、使用中モデル及び非使用中モデルの推定結果を正答率等の指標を用いて評価する。

【0037】

例えば、使用中モデル（例えば、ローカルモデルＬＭ１）に入力された医用画像データについて、一の診断結果データが検査結果ＤＢ３０２ａに格納されたとする。この場合、評価機能３５２は、診断結果データに含まれた正否情報及びモデルＩＤに基づき、当該モデルＩＤに対応するモデル（使用中モデル）の推定結果が正解であったか否かを判定する。ここで、使用中モデルの推定結果が正解であった場合、評価機能３５２は、使用中モデルの正解数を１カウントする。

【0038】

また、評価機能３５２は、診断結果データＤ１に含まれた画像ＩＤに対応する医用画像データを医用画像管理システム２００から読み出し、非使用中モデル（例えば、ローカルモデルＬＭ２、グローバルモデルＧＭ１）の各々に入力する。そして、評価機能３５２は、使用中モデルの診断結果データに含まれた医療従事者の診断結果と、非使用中モデルの各々から出力される推定結果とを比較し、その推定結果が正解か否かを判定する。

【0039】

具体的には、評価機能３５２は、非使用中モデルの推定結果が医療従事者の診断結果と同様と判断した場合、非使用中モデルの推定結果が正解と判定する。また、評価機能３５２は、非使用中モデルの推定結果が医療従事者の診断結果と相違すると判断した場合、非使用中モデルの推定結果が不正解と判定する。ここで、非使用中モデルの推定結果が正解であった場合、評価機能３５２は、該当する非使用中モデルの正解数を１カウントする。

【0040】

図３は、評価機能３５２の動作を説明するための図であり、正解数のカウント方法の一例を示す図である。同図において、“Ｎｏ（ナンバー）”は診断件数を計数するための番号である。例えば、“０００１”番の診断について、各モデルの推定結果が図３の状態であったとする。ここで、“１”は推定結果が正解であったことを意味し、“０”は推定結果が不正解であったことを意味する。評価機能３５２は、使用中モデルを用いた診断が行われる度に各モデルの推定結果が正解か否かを判定し、その判定結果に基づいて正解数をカウントする。

【0041】

そして、例えば、評価機能３５２は、診断件数が１０００件に達すると、その診断件数のうち正解数が占める割合を正解率として算出する。評価機能３５２により算出された各モデルの評価結果は、該当するモデルのモデルＩＤと対応付けて記憶回路３０２等に保存される。

【0042】

なお、モデルの評価方法は正解率に限らず、他の評価指標を用いて評価してもよい。例えば、機械学習等の分野で用いられる再現率や適合率、Ｆ値、分散等の統計的な評価指標を用いて機会学習モデルを評価してもよい。また、新たな世代のモデルが作成された場合には、そのモデルが作成される以前の過去の診断結果データに遡って正解か否かの判定を行う形態としてもよい（図３の状態）。

【0043】

また、評価機能３５２が評価処理を開始するタイミングは特に問わず、任意に設定することが可能であるとする。例えば、評価機能３５２は、診断結果データが所定件数分登録される毎（１００件毎等）に評価処理を開始する形態としてもよい。また、評価機能３５２は、入力インタフェース３０３等を介して、評価結果の更新が指示されたような場合に評価処理を開始する形態としてもよい。

【0044】

また、上記では非使用中モデルに係る正否の判定を評価機能３５２が自動で行う形態としたが、これに限らず、医師等の医療従事者が手動で行う形態としてもよい。

【0045】

図２に戻り、表示制御機能３５４は、ディスプレイ３０４に表示する画面を制御する。具体的には、表示制御機能３５４は、評価機能３５２によって算出された評価結果等に基づき、各モデルの性能を比較可能な画面（以下、モデル比較画面）をディスプレイ３０４に表示させる。

【0046】

図４は、表示制御機能３５４によって表示されるモデル比較画面の一例を示す図である。図４に示すように、モデル比較画面Ｇ１には、記憶回路３０２に記憶されたモデル毎に、当該モデルに関する各種の情報が対応付けて表示される。図４では、上述したローカルモデルＬＭ１、ローカルモデルＬＭ２及びグローバルモデルＧＭ１を表示した例を示しており、これらのモデルに関する情報が集計結果表示欄Ｇ１１、内容表示欄Ｇ１２、評価表示欄Ｇ１３に表示される。

【0047】

ここで、表示制御機能３５４は、使用中モデル（例えば、ローカルモデルＬＭ１）を、非使用中モデルと識別可能な状態で強調表示させる。具体的には、表示制御機能３５４は、ローカルモデルＬＭ１に対し、使用中モデルであることを示すマークＡ１を対応付けることで、ローカルモデルＬＭ２、グローバルモデルＧＭ１と識別可能な状態で強調表示させている。

【0048】

また、図４において、操作子Ａ２は、集計種別を選択するための操作子である。具体的には、操作子は、プルダウンメニュー方式等により、複数の集計種別の中から一の集計種別を選択可能に構成されている。例えば、集計種別は、“全部”、“正解のみ”、“偽陰性のみ”、“偽陽性のみ”等が挙げられる。データ管理装置３００のユーザは、操作子Ａ２を操作することで、一の集計種別を選択することができる。

【0049】

操作子Ａ２を介して一の集計種別が選択されると、表示制御機能３５４は、各モデルを用いて行われた診断のうち、選択された集計種別の条件に該当する診断件数を、該当するモデルの集計結果表示欄Ｇ１１に表示させる。ここで、診断件数は、医師が実際に使用中モデルを用いて行った診断件数だけでなく、評価機能３５２が非使用有モデルを用いて診断（正否判定）した件数も含めることが好ましい。

【0050】

例えば、集計種別“全部”が選択された場合、表示制御機能３５４は、各モデルのモデルＩＤを含む診断結果データの件数を該当するモデルに対応付けて表示させる。また、例えば、集計種別“正解のみ”が選択された場合、表示制御機能３５４は、各モデルを用いて行われた診断のうち、評価結果に“正解”が設定された診断結果データの件数を該当するモデルに対応付けて表示させる。

【0051】

また、例えば、集計種別“偽陰性のみ”が選択された場合、表示制御機能３５４は、各モデルを用いて行われた診断のうち、診断結果データに設定されたモデルの推定結果が異常なし等の陰性を示し、医療従事者の診断結果が腫瘍あり等の陽性を示す診断結果データの件数を該当するモデルに対応付けて表示させる。図４では、集計種別“偽陰性のみ”が選択された場合の表示例を示している。ここでは、“偽陰性のみ”の診断結果データが、ローカルモデルＬＭ１で２０件、ローカルモデルＬＭ２で１５件、グローバルモデルＧＭ１で５件存在したことが、集計結果表示欄Ｇ１１に表示されている。

【0052】

なお、集計種別は上記例に限らず、他の条件を選択可能としてもよい。例えば、重篤フラグが付加された診断結果データのみを抽出する条件を選択可能としてもよい。また、例えば、医師ＩＤを選択可能としてもよい。また、例えば、使用中モデルの正否情報では“不正解”、未使用モデルの正否情報では“正解”となった同一画像ＩＤの診断結果データを抽出する条件を選択可能としてもよい。

【0053】

また、表示制御機能３５４は、集計種別の条件に該当した各診断結果データの内容を、内容表示欄Ｇ１２に表示させる。例えば、図４では、集計種別「偽陰性のみ」の条件に該当した診断結果データの内容を内容表示欄Ｇ１２に表示させている。ここでは、診断結果データの内容として、モデルの推定結果（モデル出力）と、医師の診断結果（医師所見）とを表示させた例を示している。なお、内容表示欄Ｇ１２において、同列に表示された診断内容は、内容表示欄Ｇ１２の上部に表示した医用画像データに対する各モデルの診断内容を意味する。また、評価機能３５２による非使用モデルの評価結果等、診断結果データ自体が存在しないものについては、診断内容を空としている。

【0054】

また、表示制御機能３５４は、各モデルに対する評価機能３５２の評価結果を評価表示欄Ｇ１３に表示させる。ここで、評価表示欄Ｇ１３の操作子Ａ３は、評価指標を選択するための操作子である。具体的には、操作子Ａ３は、プルダウンメニュー方式等により、複数の評価指標の中から一の評価指標を選択可能に構成されている。評価指標は、例えば、正解率、再現率、適合率、Ｆ値、分散等が挙げられる。データ管理装置３００のユーザは、操作子Ａ３を操作することで、一の評価指標を選択することができる。

【0055】

操作子Ａ３を介して一の評価指標が選択されると、表示制御機能３５４は、選択された評価指標を用いた評価機能３５２の評価結果を該当するモデルに対応付けて表示させる。図４では、評価指標“正解率”が選択された場合の表示例を示している。ここでは、ローカルモデルＬＭ１の正解率が８７％、ローカルモデルＬＭ２の正解率が８８％、グローバルモデルＧＭ１の正解率が９５％であることが、評価表示欄Ｇ１３に表示されている。

【0056】

また、評価表示欄Ｇ１３の操作子Ａ４は、評価結果の値を基準にモデルの表示順序を切り替えるための操作子である。具体的には、操作子Ａ４は、プルダウンメニュー方式等により、昇順又は降順を選択可能に構成されている。データ管理装置３００のユーザは、操作子Ａ４を操作することで、各モデルの表示順として昇順又は降順を選択することができる。

【0057】

操作子Ａ３を介して昇順又は降順が選択されると、表示制御機能３５４は、操作子Ａ３で選択された評価指標での各モデルの評価結果に基づき、モデルの表示順序を昇順又は降順に切り替える。図４では、“昇順”が選択された場合の表示例を示しており、評価指標に設定された“正解率”の低いモデルから順に表示されている。

【0058】

また、表示制御機能３５４は、各モデルの評価結果のうち、最も評価の高い高評価モデルが使用中モデル以外の場合に、その高評価モデルに対応付けて、使用中モデルの切り替えを提案するメッセージを含んだ提案情報Ａ５を表示させる。図４の例では、“正解率”が最も高いモデルが、使用中モデル以外のグローバルモデルＧＭ１であるため、このグローバルモデルＧＭ１の評価表示欄Ｇ１３に提案情報Ａ５を表示した例を示している。

【0059】

このように、表示制御機能３５４は、モデル比較画面Ｇ１において、各モデルの評価結果等を比較可能な状態で表示する。これにより、データ管理装置３００では、使用中モデルと非使用モデルとの評価結果等、各モデルの性能等を容易に比較することができるようになるため、モデルの選定作業を支援することができる。

【0060】

なお、上述した提案情報Ａ５は、使用中モデルを切り替えるための操作子として機能させてもよい。この場合、設定機能３５３は、入力インタフェース３０３等を介し、提案情報Ａ５に対する操作を受け付けると、その提案情報Ａ５が対応付けられたモデルを使用中モデルに設定する。例えば、図４の場合、提案情報Ａ５が操作されると、設定機能３５３は、ローカルモデルＬＭ１からグローバルモデルＧＭ１に使用中モデルを切り替える。これにより、データ管理装置３００のユーザは、使用中モデルの切り替えを容易に行うことができるため、モデルの選定作業に係る利便性の向上を図ることができる。

【0061】

次に、図５及び図６を参照して、データ管理装置３００の動作例について説明する。ここで、図５は、データ管理装置３００が実行する評価処理の一例を示すフローチャートである。なお、本処理の前提として、使用中モデルを含む複数のモデルは予め作成済であるとする。

【0062】

まず、収集機能３５１は、端末装置４００の各々から、使用中モデルを用いて行われた診断の診断結果データを収集する（ステップＳ１１）。収集された診断結果データは、診断結果ＤＢ３０２ａに登録される。

【0063】

評価機能３５２は、診断結果ＤＢ３０２ａは、新たに収集された診断結果データに含まれた正否情報を参照し（ステップＳ１２）、使用中モデルの推定結果が正解であったか否かを判定する（ステップＳ１３）。

【0064】

使用中モデルの推定結果が正解であった場合（ステップＳ１３；Ｙｅｓ）、評価機能３５２は、使用中モデルの正解数を１カウントし（ステップＳ１４）、ステップＳ１５に移行する。また、使用中モデルの推定結果が不正解であった場合（ステップＳ１３；Ｎｏ）、評価機能３５２は、ステップＳ１５に直ちに移行する。なお、不正解数もカウントする形態の場合には、使用中モデルの不正解数をカウントした後にステップＳ１５に移行してもよい。

【0065】

続いて、評価機能３５２は、診断結果データに含まれた画像ＩＤに対応する医用画像データを医用画像管理システム２００から読み出し、モデルＩＤで指定された使用中モデル以外の非使用中モデルの各々に入力する（ステップＳ１５）。次いで、評価機能３５２は、使用中モデルの診断結果データに含まれた医師の診断結果と、非使用中モデルの各々から出力される推定結果とを比較することで（ステップＳ１６）、非使用中モデルの推定結果が正解か否かを判定する（ステップＳ１７）。

【0066】

非使用中モデルの推定結果が正解であった場合（ステップＳ１７；Ｙｅｓ）、評価機能３５２は、非使用中モデルの正解数を１カウントし（ステップＳ１８）、ステップＳ１９に移行する。また、非使用中モデルの推定結果が不正解であった場合（ステップＳ１７；Ｎｏ）、評価機能３５２は、ステップＳ１９に直ちに移行する。なお、不正解数もカウントする形態の場合には、非使用中モデルの不正解数をカウントした後にステップＳ１９に移行してもよい。

【0067】

続いて、評価機能３５２は、モデルの評価を開始するタイミングに達したか否かを判定する（ステップＳ１９）。例えば、診断結果データが所定件数分登録される毎（１００件毎等）に各モデルの評価を行うような場合、評価機能３５２は、診断結果データが所定件数分登録されるまでは、評価を行うタイミングに達していないと判定し（ステップＳ１９；Ｎｏ）、ステップＳ１２に処理を戻す。

【0068】

一方、診断結果データが所定件数分登録された場合、評価機能３５２は、評価を開始するタイミングに達したと判定する（ステップＳ１９；Ｙｅｓ）。評価機能３５２は、モデル毎の正解数のカウント結果に基づき、正解率等の評価指標を用いて各モデルの性能を評価し（ステップＳ２０）、本処理を終了する。

【0069】

図６は、データ管理装置３００が実行するモデル比較画面表示処理の一例を示すフローチャートである。なお、本処理の前提として、評価機能３５２による各モデルの評価結果は記憶回路３０２等に保存済みであるとする。

【0070】

入力インタフェース３０３等を介して、所定の操作を受け付けると（ステップＳ３１）、表示制御機能３５４は、記憶回路３０２に記憶された各モデルを識別可能な状態でディスプレイ３０４に表示させる（ステップＳ３２）。また、表示制御機能３５４は、ディスプレイ３０４に表示させたモデルのうち、使用中モデルに設定されたモデルを強調して表示させる（ステップＳ３３）。

【0071】

続いて、表示制御機能３５４は、評価機能３５２によって導出された各モデルの評価結果に基づき、選択された評価指標の評価結果を各モデルに対応付けて表示させる（ステップＳ３４）。なお、初期表示状態では、デフォルトの評価指標（例えば“正解率”）及び表示順（例えば“昇順”）が自動で選択されるものとする。

【0072】

続いて、表示制御機能３５４は、評価結果の最も高いモデルが使用中モデルか否かを判定する（ステップＳ３５）。ここで、非使用中モデルの評価結果が最も高い場合（ステップＳ３５；Ｎｏ）、該当する非使用中モデルに対応付けて、使用中モデルの切り替えを提案する提案情報を表示させた後（ステップＳ３６）、ステップＳ３７に移行する。なお、使用中モデルの評価結果が最も高い場合には（ステップＳ３５；Ｙｅｓ）、ステップＳ３７に直ちに移行する。

【0073】

続いて、表示制御機能３５４は、入力インタフェース３０３等を介して、評価指標の切り替えが指示されたか否かを判定する（ステップＳ３７）。ここで、評価指標の切り替えが指示された場合（ステップＳ３７；Ｙｅｓ）、表示制御機能３５４は、ステップＳ３４に処理を戻すことで、切り替えによって選択された評価指標で各モデルの評価結果を表示させる。一方、評価指標の切り替えが指示されない場合には（ステップＳ３７；Ｎｏ）、ステップＳ３８に移行する。

【0074】

続いて、表示制御機能３５４は、入力インタフェース３０３等を介して、表示順の切り替えが指示されたか否かを判定する（ステップＳ３８）。ここで、表示順の切り替えが指示された場合（ステップＳ３８；Ｙｅｓ）、表示制御機能３５４は、切り替えによって選択された表示順に表示を切り替え（ステップＳ３９）、ステップＳ４０に移行する。一方、表示順の切り替えが指示されない場合には（ステップＳ３８；Ｎｏ）、ステップＳ４０に直ちに移行する。

【0075】

続いて、表示制御機能３５４は、入力インタフェース３０３等を介して、集計種別の選択（又は切り替え）が指示されたか否かを判定する（ステップＳ４０）。ここで、集計種別の選択が指示された場合（ステップＳ４０；Ｙｅｓ）、表示制御機能３５４は、選択された集計種別の条件に該当する診断件数を集計結果表示欄Ｇ１１に表示させる（ステップＳ４１）。また、表示制御機能３５４は、集計種別の条件に該当した各診断の診断内容を内容表示欄Ｇ１２に表示させ（ステップＳ４２）、ステップＳ４３に移行する。一方、集計種別の選択が指示されない場合には（ステップＳ４０；Ｎｏ）、ステップＳ４３に移行する。また、初期表示状態では、デフォルトの集計種別（例えば“偽陰性のみ”）が自動で選択される形態としてもよい。

【0076】

続いて、設定機能３５３は、入力インタフェース３０３等を介して、使用中モデルの切り替えが指示されたか否かを判定する（ステップＳ４３）。ここで、使用中モデルの切り替えが指示された場合（ステップＳ４３；Ｙｅｓ）、設定機能３５３は、選択された非使用中モデルを使用中モデルに設定することで、使用中モデルの切り替えを行った後（ステップＳ４４）、ステップＳ３３に処理を戻す。一方、使用中モデルの切り替えが指示されない場合には（ステップＳ４３；Ｎｏ）、ステップＳ４５に移行する。

【0077】

続いて、表示制御機能３５４は、入力インタフェース３０３等を介して、モデル比較画面の終了が指示されたか否かを判定する（ステップＳ４５）。ここで、モデル比較画面の終了が指示されない場合には（ステップＳ４５；Ｎｏ）、表示制御機能３５４は、ステップＳ３７に処理を戻す。一方、モデル比較画面の終了が指示されると（ステップＳ４５；Ｙｅｓ）、表示制御機能３５４は、本処理を終了する。

【0078】

上述したように、本実施形態では、複数の医用画像データを元に作成された、作成元の医用画像データの少なくとも一部が異なる複数の機械学習モデルの各々に、同一の医用画像データを入力することで得られた機械学習モデル毎の出力結果と、当該出力結果に対する成否の判定結果とに基づいて、機械学習モデルの各々を評価する。そして、本実施形態では、各機械学習モデルの評価結果等を比較可能な状態で表示する。これにより、データ管理装置３００のユーザは、表示された画面（モデル比較画面）に基づき、使用中モデルと非使用モデルとの評価結果等、各機械学習モデルの性能を容易に比較することができる。したがって、本実施形態では、機械学習モデルの選定作業を行うユーザに対し、好適な環境を提供することができる。

【0079】

なお、上述した実施形態は、データ管理装置３００が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する変形例は、個別に実施されてもよいし、適宜組み合わせて実施されてもよい。

【0080】

（変形例１）
上述した実施形態では、グローバルモデルＧＭを用いた診断に関し、自己の医療施設での統計実績（集計結果、評価結果）をモデル比較画面に表示する形態を説明した。しかしながら、グローバルモデルＧＭについては、複数の医療施設のデータを使用しているため、モデル作成に参加した医療施設の一覧も見えるようにすることが好ましい。そこで、本変形例では、グローバルモデルＧＭの作成に関係した医療施設の一覧や統計実績を表示することが可能な形態について説明する。

【0081】

具体的な手法としては、例えば、各医療施設の表示制御機能３５４等が、自己の医療施設でのグローバルモデルＧＭを用いた診断の評価結果や集計結果を、グローバルモデルＧＭの作成に関係した他の医療施設に送信又は提供（公開）する。これにより、グローバルモデルＧＭの作成に関係した医療施設の各々では、グローバルモデルＧＭを用いて行われた診断の評価結果や集計結果を相互に参照することができる。

【0082】

なお、医療施設の各々では、自己の医療施設で得られた評価結果及び集計結果の何れか一方又は両方を、非公開に設定できることが好ましい。この場合、評価機能３５２は、“非公開”に設定された項目を他の医療施設から参照できないよう制御する。

【0083】

図７は、本変形例の表示制御機能３５４によって表示されたモデル比較画面の一例を示す図である。図７のモデル比較画面Ｇ２は、図４で説明したモデル比較画面Ｇ１と同様の画面構成を有する。また、本変形例の表示制御機能３５４は、モデル比較画面Ｇ１と相違する点として、グローバルモデルＧＭ１の作成に関係した各医療施設に関する情報を表示するための操作子Ａ６を、グローバルモデルＧＭ１に対応付けて表示させている。

【0084】

表示制御機能３５４は、操作子Ａ６に対する操作を受け付けると、図８に示すように、グローバルモデルＧＭ１の作成に関係した各医療施設と、各医療施設で得られた評価結果及び集計結果とを対応付けた施設比較画面Ｇ３をディスプレイ３０４に表示させる。

【0085】

図８の例では、グローバルモデルＧＭ１の作成に関係した医療施設として、Ａ病院、Ｂ病院及びＣ病院が表示されている。なお、表示制御機能３５４は、自己の医療施設（例えば、Ａ病院）を強調して表示させてもよい。また、図８に示すように、病院Ａ、病院Ｂ及び病院Ｃの各々に対応付けて、評価結果（正解率）及び集計結果（偽陰性のみ）が表示されている。

【0086】

ここで、情報元の医療施設が非公開に設定した項目については、施設比較画面Ｇ３に表示されない。例えば、Ｂ病院の正解率とＣ病院の集計結果とは、各々の医療施設で非公開に設定された項目であるため空欄として表されている。

【0087】

このように、グローバルモデルＧＭ１の作成に関係した各医療施設での評価結果等を参照可能とすることで、データ管理装置３００のユーザは、例えば他の病院での実績等に基づいて、グローバルモデルＧＭ１を使用中モデルに選定する否かを判断することができる。したがって、本変形例によれば、機械学習モデルの選定作業を支援することができる。

【0088】

上述した実施形態では、医用画像データを用いて作成した機械学習モデルを選定する例を説明したが、これに限らず、医用画像データ以外の医用データから作成された機械学習モデルについても適用することが可能であるとする。

【0089】

（変形例２）
上述した実施形態では、作成元の医用画像データの少なくとも一部が異なる複数の機械学習モデルを評価対象とした例を説明した。しかしながら、評価対象の機械学習モデルは上述の実施形態に限らず、互いに異なる条件で作成された複数の機械学習モデルを評価対象とすることが可能である。例えば、ハイパーパラメータ等の機械学習モデルの作成に係るパラメータ条件が相違する複数の機械学習モデルを評価対象としてもよい。この場合、同一のデータセット（医用画像データ、診断結果）を基に、互いに異なるパラメータ条件を用いて作成した複数の機械学習モデルを評価対象としてもよい。したがって、本変形例によれば、様々な条件で作成された機械学習モデルの中から好適な機械モデルを効率的に選定することができる。

【0090】

（変形例３）
上述した実施形態では、機械学習モデルの作成に係る医用データとして、医用画像データを用いた例を説明したが、これに限らず、他の種類の医用データを用いて作成した機械学習モデルであっても、上記実施形態と同様の方法で機械学習モデルの選定支援を行うことができる。

【0091】

（変形例４）
上述した実施形態では、データ管理装置３００が、収集機能３５１、評価機能３５２、設定機能３５３、表示制御機能３５４を備える形態としたが、これら機能をデータ管理装置３００以外の装置が具備する形態としてもよい。

【0092】

例えば、医用画像管理システム２００等の装置が、上述した各機能を備える形態としてもよい。また、データ管理装置３００は、例えば、Ｗｅｂサービス等の形態で上述した各種の画面を端末装置４００のディスプレイに表示させる形態としてもよい。また、データ管理装置３００は一のコンピュータ装置に限らず、ネットワーク接続された複数のコンピュータ装置により実現されてもよい。この場合、コンピュータ装置の各々は、上述した機能の一部を具備し、全体として医用情報処理装置を実現する形態としてもよい。

【0093】

なお、上述した各実施形態では、本明細書における評価部及び表示制御部を、それぞれ、処理回路３０５の収集機能３５１、評価機能３５２、設定機能３５３、表示制御機能３５４によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における評価部及び表示制御部は、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。

【0094】

また、上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは、記憶回路３０２に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路３０２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

【0095】

ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

【0096】

以上説明した少なくとも１つの実施形態及び変形例によれば、機械学習モデルの選定作業を支援することができる。

【0097】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0098】

１ 医用情報システム
１０ 医療施設システム
３００ データ管理装置
３５１ 収集機能
３５２ 評価機能
３５３ 設定機能
３５４ 表示制御機能

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】