特開 2024-110218 医用情報処理装置、医用情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024110218

(43)【公開日】2024-08-15

(54)【発明の名称】医用情報処理装置、医用情報処理方法、及びプログラム

(51)【国際特許分類】

   G16H 50/00 20180101AFI20240807BHJP

   G16H 20/00 20180101ALI20240807BHJP

【ＦＩ】

G16H50/00

G16H20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023014672

(22)【出願日】2023-02-02

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】岩村 泰輔

(72)【発明者】

【氏名】森島 大静

(72)【発明者】

【氏名】柳田 和鋭

(72)【発明者】

【氏名】種元 貴行

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA04

(57)【要約】

【課題】学習済モデルを適切に更新できるようにする
【解決手段】実施形態の医用情報処理装置は、取得部と、特定部と、を持つ。取得部は、医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得する。特定部は、前記医用データが入力されて前記結果データを出力する第１学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得する取得部と、
前記医用データが入力されて前記結果データを出力する第１学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する特定部と、を備える、
医用情報処理装置。

【請求項2】

前記第１学習済モデルと前記対象検証データセットとの関係、及び前記医用データが入力されて前記結果データを出力し、前記第１学習済モデルと異なる第２学習済モデルと前記検証データセットとの関係に基づいて、前記第２学習済モデルの性能を評価する評価部、を更に備える、
請求項１に記載の医用情報処理装置。

【請求項3】

前記結果データは、診断結果に関するデータであり、
前記学習済モデルに要求される性能は、前記診断結果の偽陽性の誤検出率の低さを含む、
請求項１に記載の医用情報処理装置。

【請求項4】

前記特定部は、前記結果データが陽性を示し、前記正誤データが陰性を示す前記検証データセットを含めて前記対象検証データセットを特定する、
請求項３に記載の医用情報処理装置。

【請求項5】

前記結果データは、診断結果に関するデータであり、
前記学習済モデルに要求される性能は、前記診断結果の偽陰性の誤検出率の低さを含む、
請求項１に記載の医用情報処理装置。

【請求項6】

前記特定部は、前記結果データが陰性を示し、前記正誤データが陽性を示す前記検証データセットを含めて前記対象検証データセットを特定する、
請求項５に記載の医用情報処理装置。

【請求項7】

前記正誤データは、所見レポートに基づくデータを含む、
請求項１に記載の医用情報処理装置。

【請求項8】

前記医用データは、医用画像データである、
請求項１に記載の医用情報処理装置。

【請求項9】

コンピュータが、
医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得し、
前記医用データが入力され前記結果データを出力する第１学習済モデルと前記検証データセットとの関係、及び前記医用データが入力され前記結果データを出力し、前記第１学習済モデルと異なる第２学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する、
医用情報処理方法。

【請求項10】

コンピュータに、
医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得し、
前記医用データが入力され前記結果データを出力する第１学習済モデルと前記検証データセットとの関係、及び前記医用データが入力され前記結果データを出力し、前記第１学習済モデルと異なる第２学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する、ことを行わせる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書及び図面に開示の実施形態は、医用情報処理装置、医用情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

近年、人工知能（ＡＩ：Artificial Intelligence）を利用した機械学習による技術が多様なシステムに用いられてり、機械学習による技術は、医療業界へも多く適用されている。機械学習に用いられる解析アプリケーションなどの学習済モデルは、追加学習などにより更新されて、定期的に精度の向上が図られている。

【0003】

学習済モデルを更新して精度の向上を図る場合に、更新の方向が利用者のニーズや運用と一致しないことがあり、場合によっては学習済モデルの更新が改悪になるケースもある。学習済モデルの更新が改悪になるケースなどを避けるために、利用者のニーズや運用に適するように学習済モデルを更新することが求められる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－２０４９７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書及び図面に開示の実施形態が解決しようとする課題は、学習済モデルを適切に更新できるようにすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

【課題を解決するための手段】

【0006】

実施形態の医用情報処理装置は、取得部と、特定部と、を持つ。取得部は、医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得する。特定部は、前記医用データが入力されて前記結果データを出力する第１学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する。

【図面の簡単な説明】

【0007】

【図1】実施形態の病院内システム１の構成の一例を示すブロック図。

【図2】実施形態の医用情報処理装置１００の構成の一例を示すブロック図。

【図3】学習済モデルＤＢ１５１の内容の一例を示す図。

【図4】検証データセットＤＢ１５２の内容の一例を示す図。

【図5】判定基準データの内容の一例を示す図。

【図6】検証データセットＤＢ１５２に含まれる検証データセットの数を示す図。

【図7】実施形態の医用情報処理装置１００における処理の一例を示すフローチャート。

【図8】実施形態の医用情報処理装置１００における処理の一例を示すフローチャート。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、実施形態の医用情報処理装置、医用情報処理方法、及びプログラムについて説明する。実施形態の医用情報処理装置は、例えば、病院内に設けられる病院内システムの一部に利用される。

【0009】

図１は、実施形態の病院内システム１の構成の一例を示すブロック図である。実施形態の病院内システム１は、例えば、病院情報システム（Hospital Information System：以下、ＨＩＳ）１０と、放射線科情報システム（Radiology Information System：以下、ＲＩＳ）２０と、医用画像診断装置（モダリティ）３０と、画像保存通信システム（ＰＡＣＳ：Picture Archiving and Communication System）４０と、医用情報処理装置１００とを備える。

【0010】

ＨＩＳ１０は、病院内での業務支援を行うコンピュータシステムである。具体的には、ＨＩＳ１０は、各種サブシステムを有する。各種サブシステムとしては、例えば、電子カルテシステム、医療会計システム、診療予約システム、来院受付システム、入退院管理システムが含まれる。

【0011】

ＨＩＳ１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、ディスプレイ、入力インターフェース及び通信インターフェースを備えるサーバ装置やクライアント端末等のコンピュータを含む。

【0012】

ユーザは、ＨＩＳ１０に含まれる電子カルテシステムを用いて、患者に関する情報を入力したり参照したりする。ユーザは、ＨＩＳ１０に対して画像検査オーダーを発行する。ＨＩＳ１０は、画像検査オーダーに応じたオーダー情報をＲＩＳ２０などの他のシステムに転送する。

【0013】

ＲＩＳ２０は、画像診断部門での業務支援を行うコンピュータシステムである。ＲＩＳ２０は、ＨＩＳ１０と連携した画像検査オーダーの予約管理のほか、検査機器への予約情報連携、検査情報の管理などを行う。ＲＩＳ２０は、例えば、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ディスプレイ、入力インターフェース及び通信インターフェースを備えるサーバ装置やクライアント端末等のコンピュータを含む。

【0014】

モダリティ３０は、例えば、画像検査指示等に基づき決定される撮影条件（撮影プロトコル）に従い撮像（撮影）を実行する。モダリティ３０としては、例えば、Ｘ線コンピュータ断層撮影装置、Ｘ線診断装置、磁気共鳴イメージング装置、超音波診断装置、核医学診断装置等が挙げられる。モダリティ３０は、例えば、医師（放射線科医）や診療放射線技師等のオペレータにより操作される。モダリティ３０の撮像により生成された医用画像（画像データ）はＰＡＣＳ４０に送信される。

【0015】

ＰＡＣＳ４０は、モダリティ３０により送信された医用画像を受信してデータベースに保存するコンピュータシステムである。ＰＡＣＳ４０は、クライアントからのリクエストに応じて、データベースに保存された医用画像を送信（転送）する。ＰＡＣＳ４０は、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ディスプレイ、入力インターフェース、通信インターフェースを含むサーバ・コンピュータを含む。ＰＡＣＳ４０に記憶された医用画像には、撮影対象の患者や撮影に関する情報が付帯情報として付帯されている。付帯情報には、例えば、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格に準拠した形式で、患者ＩＤ、検査ＩＤ、撮影条件（撮影プロトコル）等の情報が含まれる。

【0016】

病院内システム１の構成は上記に限定されない。病院内システム１は、例えば、読影レポート作成装置等を含んでいてもよい。また、病院内システム１のいくつかの要素が統合されていてもよい。例えば、ＨＩＳ１０とＲＩＳ２０とが１個のシステムに統合されていてもよい。

【0017】

図２は、実施形態の医用情報処理装置１００の構成の一例を示すブロック図である。医用情報処理装置１００は、例えば、通信インターフェース１１０と、入力インターフェース１２０と、ディスプレイ１３０と、処理回路１４０と、メモリ１５０と、を備える。医用情報処理装置１００における通信インターフェース１１０、入力インターフェース１２０、及びディスプレイ１３０は、ＨＩＳ１０が備える通信インターフェース、入力インターフェース及びディスプレイとは別個に設けられているが、これらが共通していてもよい。

【0018】

通信インターフェース１１０は、例えば、ＬＡＮ(Local Area Network)などのネットワークＮＷを介してＲＩＳ２０、モダリティ３０、ＰＡＣＳ４０等の外部装置と通信する。通信インターフェース１１０は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースを含む。ネットワークＮＷは、ＬＡＮに代えてまたは加えて、インターネット、セルラー網、Ｗｉ－Ｆｉ網、ＷＡＮ（Wide Area Network）等を含んでもよい。

【0019】

入力インターフェース１２０は、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等を含む。入力インターフェース１２０は、例えば、マイク等の音声入力を受け付けるユーザインターフェースであってもよい。入力インターフェース１２０がタッチパネルである場合、入力インターフェース１２０は、ディスプレイ１３０の表示機能を兼ね備えるものであってもよい。

【0020】

なお、本明細書において入力インターフェースはマウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェースの例に含まれる。

【0021】

入力インターフェース１２０は、医師等からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１４０に出力する。医師等は、例えば、医用画像データを撮像された患者（以下、対象患者）における特定の疾病（例えば、脳梗塞、以下、特定疾病）等を発見するための学習済モデルを選定するための選定入力操作を行う。入力インターフェース１２０は、例えば、医師等により選定入力操作が行われた場合に、入力操作に応じた選定情報を生成する。入力インターフェース１２０は、生成した選定情報を処理回路１４０に出力する。医用画像データは、医用データの一例である。

【0022】

医師等は、例えば、学習済モデルの性能を評価するにあたり、評価の対象となる学習済モデル、及び評価の対象となる学習済モデルに要求される性能を特定するための性能要求入力操作を行う。入力インターフェース１２０は、例えば、医師等により性能要求入力操作が行われた場合に、入力操作に応じた性能要求情報を生成する。入力インターフェース１２０は、生成した性能要求情報を処理回路１４０に出力する。学習済モデルの性能の評価については、後にさらに説明する。

【0023】

ディスプレイ１３０は、各種の情報を表示する。例えば、ディスプレイ１３０は、処理回路１４０によって生成された画像や、操作者からの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）等を表示する。例えば、ディスプレイ１３０は、ＬＣＤ（Liquid Crystal Display）や、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等である。

【0024】

処理回路１４０は、例えば、判定処理回路１４１と、評価処理回路１４２とを備える。処理回路１４０は、例えば、ハードウェアプロセッサ（コンピュータ）がメモリ（記憶回路）１５０に記憶されたプログラムを実行することにより、これらの機能を実現するものである。

【0025】

ハードウェアプロセッサとは、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit; ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device; ＳＰＬＤ）または複合プログラマブル論理デバイス（Complex Programmable Logic Device; ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array; ＦＰＧＡ）などの回路（circuitry）を意味する。

【0026】

メモリ１５０にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ１５０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医用情報処理装置１００のドライブ装置（不図示）に装着されることで非一時的記憶媒体からメモリ１５０にインストールされてもよい。

【0027】

ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて１つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を１つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。医用情報処理装置１００におけるハードウェアプロセッサやメモリ等は、ＨＩＳ１０のハードウェアプロセッサやメモリ等とは別個に設けられているが、これらが共通していてもよい。

【0028】

メモリ１５０は、学習済モデルデータベース（以下、ＤＢ）１５１と、検証データセットＤＢ１５２とを記憶する。学習済モデルＤＢ１５１は、複数の学習済モデルを含むＤＢである。検証データセットＤＢ１５２は、複数の検証データセットを含むＤＢである。検証データセットは、医用画像データと、結果データと、正解データと、がセットとなったデータセットである。

【0029】

図３は、学習済モデルＤＢ１５１の内容の一例を示す図である。学習済モデルＤＢ１５１には、複数の学習済モデルのデータが含まれる。各学習済モデルには、モデルＩＤと名称が付されている。例えば、第１モデルには、「Ｍ００１」のモデルＩＤが付与されている。

【0030】

学習済モデルＤＢ１５１に含まれる学習済モデルは、対象患者を診断するためのモデルである。学習済モデルは、対象患者の診断として、例えば、対象患者から特定の疾患が発見されるか否か（陽性であるか陰性であるか）を判定する。対象患者から特定の疾患が発見されるか否は、例えば、対象患者を撮像した医用画像データが特定疾病を含む画像データであるか否かにより判定される。

【0031】

学習済モデルには、それぞれ対応する特定疾病が設定されている。学習済モデルには、特定疾病が設定されておらず、学習済モデルは、例えば、疾病の内容（種類）を特定するモデルでもよい。学習済モデルは、入力データとして医用画像データが入力されると、特定疾病に該当するか否かの判定結果を出力データとして出力する。

【0032】

学習済モデルは、学習済モデルを利用した特定疾病に該当するか否かの判定が行われた判定結果と、例えば所見レポート等により取得して得られた正解データとを利用して、更新される。学習済モデルの更新は、例えば、判定結果の出力がなされるごとに行われてもよいし、所定回数の判定結果の出力がなされるごとに行われてもよい。

【0033】

図４は、検証データセットＤＢ１５２の内容の一例を示す図である。検証データセットＤＢ１５２は、複数の検証データセットを含む。各検証データセットには、検証ＩＤと判定結果が付されている。検証データセットＤＢ１５２は、複数の学習済モデルのそれぞれに対して作成される。

【0034】

医用画像データは、例えば、病院内システム１に含まれるモダリティ３０により撮像された医用画像のデータである。医用画像データは、ＰＡＣＳ４０により提供されるデータでもよいし、病院内システム１の外部に設置された外部装置により提供されるデータでもよい。

【0035】

結果データは、例えば、診断結果に関するデータであり、医用画像データを学習済モデルに入力して得られる結果を示すデータである。正解データは、学習済モデルに設定された特定疾病の当否（陽性または陰性）を示すデータである。正解データは、例えば、医師の所見に基づくデータである。正解データは、例えば、医師により作成される所見レポートに含まれる。判定結果は、判定基準データに基づいて定められる。正解データは、正誤データの一例である。

【0036】

図５は、判定基準データの内容の一例を示す図である。判定基準データは、結果データが「陽性」、正解データが「陽性」のとき、真陽性「ＴＰ（True Positive）」となり、結果データが「陰性」、正解データが「陰性」のとき、真陰性「ＮＰ（True Negative）」となる。判定基準データは、結果データが「陽性」、正解データが「陰性」のとき、偽陽性「ＦＰ（False Positive）」となり、結果データが「陰性」、正解データが「陽性」のとき、偽陰性「ＮＰ（False Negative）」となる。

【0037】

検証データセットＤＢ１５２は、複数の検証データを含んでいる。図６は、検証データセットＤＢ１５２に含まれる検証データセットの数を示す図である。図６に示す検証データセットＤＢ１５２は、判定結果が「ＴＰ」のデータセットが１００、判定結果が「ＴＮ」のデータセットが１００、判定結果が「ＮＰ」のデータセットが２０、判定結果が「ＦＮ」のデータセットが２０含まれる。この結果、検証データセットＤＢ１５２が作成された学習済モデルの正解率は、約０．８３（８３％）である。

【0038】

処理回路１４０における判定処理回路１４１は、モダリティ３０等により撮像された医用画像データに基づいて、学習済モデルを用いて特定疾病の有無を判定するための回路である。判定処理回路１４１は、例えば、第１取得機能１４３と、判定機能１４４とを備える。

【0039】

第１取得機能１４３は、モダリティ３０により撮像された医用画像データを取得する。ここでの医用画像データは、特定疾病の有無を判定するための画像データである。医用画像データは、モダリティ３０により撮像された医用画像データ以外の医用画像データでもよい。

【0040】

判定機能１４４は、医師等の入力操作に応じて入力インターフェース１２０により送信される入力操作情報に基づいて、第１取得機能１４３により取得された医用画像データを判定するための学習済モデルを学習済モデルＤＢ１５１の中から選定する。判定機能１４４は、第１取得機能１４３により取得された医用画像データを、選定した学習済モデルに入力することにより、対象患者から特定の疾患が発見されるか否かを判定する。

【0041】

処理回路１４０における評価処理回路１４２は、判定処理回路１４１により対象患者から特定の疾患が発見されるか否かの判定に利用される学習済モデルの性能を評価するための回路である。評価処理回路１４２は、例えば、第２取得機能１４５と、特定機能１４６と、評価機能１４７と、を備える。

【0042】

第２取得機能１４５は、例えば、学習済モデルの性能を評価するにあたり、複数の検証データセットを取得する。第２取得機能１４５は、更に、評価される学習済モデルに要求される性能（以下、モデル要求性能）と、性能の評価の基準となる学習済モデル（以下、第１学習済モデル）とを取得する。第２取得機能１４５は、取得部の一例である。

【0043】

特定機能１４６は、例えば、モデル要求性能の評価に適した検証データセット（以下、対象検証データセット）を特定する。モデル要求性能としては、例えば、真陽性や真陰性と判定される可能性が高い（正検出率が高い）性能であったり、偽陽性や偽陰性と判定される可能性が低い（誤検出率が低い）性能であったりしてよい。

【0044】

ここで求められるモデル要求性能は、例えば、入力インターフェース１２０により送信される性能要求情報に基づいて定められる。対象検証データセットは、例えば、モデル要求性能に相当する結果を得られた検証データセットである。例えば、モデル要求性能が真陽性の可能性を高めることである場合には、対象検証データセットとして、判定結果が真陽性「ＴＰ」である検証データセットの数を多く特定し、あるいは対象検証データセットを全て判定結果が真陽性「ＴＰ」である検証データセットを特定する。

【0045】

評価機能１４７は、例えば、評価の対象となる学習済モデル（以下、第２学習済モデル）を指定し、第２学習済モデルを評価する。第２学習済モデルは、第１学習済モデルと異なる。評価機能１４７は、特定機能１４６により特定された対象検証データセットを用いて、第１学習済モデルと対象検証データセットとの関係、及び第２学習済モデルと対象検証データセットとの関係に基づいて、第２学習済モデルの性能を評価する。第２学習済モデルは、例えば、第１学習済モデルからさらに学習が進んだ学習済モデルである。評価機能１４７は、評価部の一例である。

【0046】

第１実施形態の医用情報処理装置１００では、対象患者における特定疾患の判定を行う処理及び診断に利用される学習済モデルを評価する処理が行われる。以下、これらの処理について説明する。ここでは、まず、対象患者における特定疾患の判定を行う処理について説明する。図７及び図８は、実施形態の医用情報処理装置１００における処理の一例を示すフローチャートである。

【0047】

図７には、対象患者における特定疾患の判定を行う処理の一例を示す。図７に示すフローチャートに示す処理は、例えば、判定処理回路１４１において主に行われる。医用情報処理装置１００は、まず、第１取得機能１４３において、対象患者における診断を行う部位、例えば、特定疾病が脳梗塞である場合には脳の医用画像データを取得する（ステップＳ１０１）。

【0048】

続いて、第１取得機能１４３は、医師等が入力インターフェース１２０を操作することにより送信される選定情報を取得する（ステップＳ１０３）。選定情報には、診断に利用するために医師等が学習済モデルＤＢ１５１の中から選定する学習済モデルの情報が含まれる。

【0049】

続いて、判定機能１４４は、第１取得機能１４３により取得された選定情報に基づいて、診断に利用する学習済モデルを選定する（ステップＳ１０５）。続いて、判定機能１４４は、第１取得機能１４３により取得された医用画像データを、選定した学習済モデルに入力する（ステップＳ１０７）。

【0050】

判定機能１４４において、学習済モデルは、医用画像データを入力データとした際の判定結果を示す結果データを出力する（ステップＳ１０９）。判定機能１４４は、例えば、結果データにより示される判定結果（「ＴＰ」、「ＦＮ」等）をディスプレイ１３０に表示させる。こうして、医用情報処理装置１００は、図７に示す処理を終了する。

【0051】

続いて、診断に利用される学習済モデルを評価する処理について説明する。図８には、診断に利用される学習済モデルを評価する処理の一例を示す。図８に示すフローチャートに示す処理は、例えば、評価処理回路１４２において主に行われる。医用情報処理装置１００は、まず、第２取得機能１４５において、医師等が入力インターフェース１２０を操作することにより送信される性能要求情報を取得する（ステップＳ２０１）。

【0052】

続いて、特定機能１４６は、第２取得機能１４５により取得された性能要求情報に基づいて、評価の対象となる第２学習済モデルを指定する（ステップＳ２０３）。続いて、特定機能１４６は、指定した第２学習済モデルに基づいて、第１学習済モデルを指定する（ステップＳ２０５）。特定機能１４６は、例えば、第２学習済モデルが更新される直前の学習済モデルを第１学習済モデルトして指定する。特定機能１４６は、その他の学習済モデル、例えば、第２学習済モデル複数の更新が行われる前の学習済モデルや、既知の学習済モデルを第１学習済モデルとしてもよい。

【0053】

続いて、特定機能１４６は、第２取得機能１４５により取得された性能要求情報に基づいて、対象検証データセットを特定する（ステップＳ２０７）。特定機能１４６は、性能要求情報が求める性能に応じて、対象検証データセットを特定する。例えば、性能要求情報において、モデル要求性能が真陽性の可能性を高めることである場合には、対象検証データセットとして、判定結果が真陽性「ＴＰ」である検証データセットの数を多く特定し、あるいは対象検証データセットを全て判定結果が真陽性「ＴＰ」である検証データセットを特定する。

【0054】

また、モデル要求性能が真陰性の可能性を高めることである場合には、対象検証データセットとして、判定結果が真陰性「ＴＮ」である検証データセットの数を多く特定し、あるいは対象検証データセットを全て判定結果が真陰性「ＴＮ」である検証データセットを特定する。

【0055】

また、モデル要求性能が偽陽性の可能性を低下させることである場合には、対象検証データセットとして、判定結果が偽陽性「ＦＰ」である検証データセットの正解データを「陰性」とした検証データを生成し、生成した検証データを含めて対象検証データセットに特定する。

【0056】

また、モデル要求性能が偽陰性の可能性を低下させることである場合には、対象検証データセットとして、判定結果が偽陰性「ＦＮ」である検証データセットの正解データを「陽性」とした検証データを生成し、生成した検証データを含めて対象検証データセットに特定する。

【0057】

続いて、評価機能１４７は、特定機能１４６により特定された対象検証データセットを用いて、第２学習済モデルを評価するために、複数の対象検証データセットのそれぞれに含まれる医用画像データを第２学習済モデルに入力する（ステップＳ２０９）。続いて、医用画像データを入力された第２学習済モデルは、結果データ（以下、第２結果データ）を出力する（ステップＳ２１１）。

【0058】

続いて、評価機能１４７は、第２結果データを得た医用画像データを第１学習済モデルに入力することで第１学習済モデルにより出力される結果データ（以下、第１結果データ）を検証データセットＤＢ１５２から収集する。評価機能１４７は、検証データセットＤＢ１５２を参照し、第２結果データと正解データの一致度及び第１結果データと正解データの一致度をそれぞれ求める。評価機能１４７は、第２結果データと正解データの一致度と第１結果データと正解データの一致度を比較する（ステップＳ２１３）。第２結果データと正解データの一致度と第１結果データと正解データの一致度を比較した結果に基づいて、第２学習済モデルを評価する（ステップＳ２１５）。

【0059】

評価機能１４７は、例えば、第２結果データと正解データの一致度が第１結果データと正解データの一致度よりも高い場合には、第２学習済モデルは、第１学習済モデルよりも性能が高いと評価する。評価機能１４７は、例えば、第２結果データと正解データの一致度が第１結果データと正解データの一致度よりも低い場合には、第２学習済モデルは、第１学習済モデルよりも性能が低いと評価する。こうして、医用情報処理装置１００は、図８に示す処理を終了する。

【0060】

実施形態の医用情報処理装置１００は、評価機能１４７において、第１学習済モデルを更新して生成される学習済モデルのモデル要求性能を評価する際に利用する対象検証データセットを第１学習済モデルと対象検証データセットとの関係に基づいて特定する。このため、第２学習済モデルのモデル要求性能を評価するために適した対象検証データを特定できるので、学習済モデルを適切に更新できるようにすることができる。

【0061】

上記の実施形態において、医用情報処理装置１００は、判定処理回路１４１及び評価処理回路１４２を備え、判定処理及び評価処理を行うが、医用情報処理装置１００は、判定処理回路１４１を備えることなく評価処理回路１４２を備えるようにしてもよい。この場合、医用情報処理装置１００は、特定疾病に該当するか否かの判定結果や検証データセットを外部の装置により提供されるようにしてもよい。

【0062】

また、上記の実施形態において、医用情報処理装置１００は、病院内システム１の一部として設けられているが、医用情報処理装置１００は、病院内システム１から独立して設けられていてもよい。この場合、医用情報処理装置１００は、病院内で生成された検証データセットを用いて第２学習済モデルを評価してもよいし、病院に外部から提供される検証データセットを用いて第２学習済モデルを評価してもよい。

【0063】

また、上記の実施形態においては、学習済モデルの選定は、医師等による選定入力操作に応じた選定情報に基づいて行われるが、医用画像データの種類などの各種情報に基づいて、医用情報処理装置１００が行うようにしてもよい。

【0064】

また、上記の実施形態において、正誤データは正解データであるが、正誤データは、誤解データ（誤答データ）でもよいし、正解データと誤解データを含んでいてもよい。また、上記の実施形態において、医用データは、医用画像データであるが、医用データは、医用画像データ以外のデータでもよい。医用データは、例えば、診断結果等が記入された医用テキストデータでもよい。

【0065】

以上説明した少なくとも１つの実施形態によれば、医用データと、前記医用データを学習済モデルに入力して得られる結果データと、前記結果データに関する正誤データと、を含む複数の検証データセットを取得する取得部と、前記医用データが入力されて前記結果データを出力する第１学習済モデルと前記検証データセットとの関係に基づいて、前記医用データが入力されて前記結果データを出力する学習済モデルに要求される性能の評価に適した対象検証データセットを、前記複数の検証データセットの中から特定する特定部と、を持つことにより、学習済モデルを適切に更新することができる。

【0066】

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0067】

１…病院内システム
１０…病院情報システム（ＨＩＳ）
２０…放射線科情報システム（ＲＩＳ）
３０…医用画像診断装置（モダリティ）
４０…画像保存通信システム（ＰＡＣＳ）
１００…医用情報処理装置
１１０…通信インターフェース
１２０…入力インターフェース
１３０…ディスプレイ
１４０…処理回路
１４１…判定処理回路
１４２…評価処理回路
１４３…第１取得機能
１４４…判定機能
１４５…第２取得機能
１４６…特定機能
１４７…評価機能
１５０…メモリ
１５１…学習済モデルＤＢ
１５２…検証データセットＤＢ
ＮＷ…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】