特開 2024-125070 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024125070

(43)【公開日】2024-09-13

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G16H 15/00 20180101AFI20240906BHJP

【ＦＩ】

G16H15/00

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2023033155

(22)【出願日】2023-03-03

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】100083116

【弁理士】

【氏名又は名称】松浦 憲三

(74)【代理人】

【識別番号】100170069

【弁理士】

【氏名又は名称】大原 一樹

(74)【代理人】

【識別番号】100128635

【弁理士】

【氏名又は名称】松村 潔

(74)【代理人】

【識別番号】100140992

【弁理士】

【氏名又は名称】松浦 憲政

(74)【代理人】

【識別番号】100153822

【弁理士】

【氏名又は名称】増田 重之

(72)【発明者】

【氏名】初谷 太郎

(72)【発明者】

【氏名】小笠原 彩

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA21

(57)【要約】

【課題】文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成する情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、受け付けた１以上の画像に写っている物体に関する情報を取得し、受け付けた１以上の文章に記載されている情報を取得し、物体に関する情報と記載されている情報とに基づいて、画像と文章との対応の有無を判断し、対応の有無に基づいて画像と文章とを含む文書の作成を補助する処理を実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
を備え、
前記少なくとも１つのプロセッサは、
受け付けた１以上の画像に写っている物体に関する情報を取得し、
受け付けた１以上の文章に記載されている情報を取得し、
前記物体に関する情報と前記記載されている情報とに基づいて、前記画像と前記文章との対応の有無を判断し、
前記対応の有無に基づいて前記画像と前記文章とを含む文書の作成を補助する処理を実行する、
情報処理装置。

【請求項2】

前記処理は、前記文章に対応する前記画像が非存在の場合に警告する処理である、
請求項１に記載の情報処理装置。

【請求項3】

前記処理は、前記文章に対応する前記画像が非存在であり、かつ前記文章の重要度であって、前記文章に対応する画像が必要である程度を示す重要度が閾値以上の場合に警告する処理である、
請求項１に記載の情報処理装置。

【請求項4】

前記処理は、前記画像に対応する前記文章が非存在の場合に警告する処理である、
請求項１に記載の情報処理装置。

【請求項5】

前記処理は、前記対応が有ると判断された前記文章及び前記画像のうちの一方の順序に基づいて他方の順序を並べ替える処理である、
請求項１に記載の情報処理装置。

【請求項6】

前記処理は、前記文章の順序に基づいて前記画像の順序を並べ替える処理である、
請求項５に記載の情報処理装置。

【請求項7】

前記処理は、前記対応が有ると判断された前記文章及び前記画像のうちの前記画像に図番号を付与する処理である、
請求項１に記載の情報処理装置。

【請求項8】

前記図番号を付与する処理は、前記画像に写っている物体が前記対応する前記文章に登場する順に図番号を付与する処理である、
請求項７に記載の情報処理装置。

【請求項9】

前記処理は、前記対応が有ると判断された前記文章及び前記画像のうちの前記文章に対して前記画像に付与された図番号を付与する処理である、
請求項８に記載の情報処理装置。

【請求項10】

前記処理は、前記文章の対応する部分に図番号を付与する処理である、
請求項９に記載の情報処理装置。

【請求項11】

前記少なくとも１つのプロセッサは、
前記画像の入力、及び前記文章の入力のうちのいずれかを受け付けるごとに、前記処理を実行する、
請求項１に記載の情報処理装置。

【請求項12】

前記画像の入力、及び前記文章の入力のうちのいずれかを受け付けるごとに、前記処理を実行する第１のモードと、すべての前記画像、及びすべての前記文章の入力を受け付けた後に前記処理を実行する第２のモードと、
を備える、
請求項１１に記載の情報処理装置。

【請求項13】

前記少なくとも１つのプロセッサは、
前記物体に関する情報と前記記載されている情報とが対応している確からしさを示す確信度を取得し、
前記確信度に基づいて前記画像と前記文章との対応の有無を判断する、
請求項１に記載の情報処理装置。

【請求項14】

前記少なくとも１つのプロセッサは、
前記受け付けた画像、又は前記受け付けた画像の作成元となった元画像を解析して前記物体に関する情報を取得する、
請求項１に記載の情報処理装置。

【請求項15】

前記画像は、医療画像に基づくキー画像である、
請求項１から１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記物体は、臓器及び腫瘍のうちの少なくとも一方を含み、
前記物体に関する情報は、大きさ、性状、病名、位置、及び特徴量のうちの少なくとも１つを含む、
請求項１５に記載の情報処理装置。

【請求項17】

少なくとも１つのプロセッサが、
受け付けた１以上の画像に写っている物体に関する情報を取得し、
受け付けた１以上の文章に記載されている情報を取得し、
前記物体に関する情報と前記記載されている情報とに基づいて、前記画像と前記文章との対応の有無を判断し、
前記対応の有無に基づいて前記画像と前記文章とを含む文書の作成を補助する処理を実行する、
情報処理方法。

【請求項18】

請求項１７に記載の情報処理方法をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理装置、情報処理方法及びプログラムに係り、特に文章及び画像を含む文書の作成を補助する技術に関する。

【背景技術】

【0002】

医師は読影レポートを作成する際に、重要所見に対してキー画像を作成する。キー画像は、他の医師が読影レポートを読む際に素早く病変の状況及び位置等を確認できるように、また将来同一患者の画像を読影する際に参考にするために作成される。

【0003】

医師はキー画像の作成に伴い、重要所見のキー画像が作成されているかの確認、読影レポートの順番とキー画像の順番とを同じにする並べ替え、読影レポートへの図番号の挿入、といった作業が必要となる。

【0004】

しかしながら、これらの作業は負担のかかる作業であり、読影レポートの順番とキー画像の順番とが一致しない、不要なキー画像が存在する、及び記述漏れのあるキー画像が存在する等の不具合が発生することがある。

【0005】

特許文献１には、読影中の注目領域と読影レポートの内容を取得し、整合性を判断する技術が開示されている。特許文献１の技術は、キー画像の有無の判定は行っておらず、読影レポート中の重要所見に対してキー画像の添付がない不具合が発生する可能性がある。また、特許文献１の技術は、キー画像と所見文との対応付けを行っておらず、図番号の付与等を行うことはできない。

【0006】

また、特許文献２には、所見文の順番に画像を並べ替える技術が開示されている。しかしながら、特許文献２の技術は、ユーザが画像と所見との対応付けを行う技術であり、医師の負担を減らすものではなかった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１６－０５７６９５号公報

【特許文献2】特許第６９２３８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明はこのような事情に鑑みてなされたもので、文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成する情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本開示の第１態様に係る情報処理装置は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、受け付けた１以上の画像に写っている物体に関する情報を取得し、受け付けた１以上の文章に記載されている情報を取得し、物体に関する情報と記載されている情報とに基づいて、画像と文章との対応の有無を判断し、対応の有無に基づいて画像と文章とを含む文書の作成を補助する処理を実行する情報処理装置である。

【0010】

第１態様によれば、文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成することができる。

【0011】

本開示の第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、処理は、文章に対応する画像が非存在の場合に警告する処理であってもよい。これにより、文章に対応する画像が非存在となる画像添付漏れを無くすことができる。

【0012】

本開示の第３態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、処理は、文章に対応する画像が非存在であり、かつ文章の重要度であって、文章に対応する画像が必要である程度を示す重要度が閾値以上の場合に警告する処理であってもよい。これにより、重要な文章にもかかわらず対応する画像が非存在となる画像添付漏れを無くすことができる。

【0013】

本開示の第４態様に係る情報処理装置は、第１態様から第３態様のいずれかに係る情報処理装置において、処理は、画像に対応する文章が非存在の場合に警告する処理であってもよい。これにより、画像に対応する文章が非存在となる文章記載漏れを無くすことができる。

【0014】

本開示の第５態様に係る情報処理装置は、第１態様から第４態様のいずれかに係る情報処理装置において、処理は、対応が有ると判断された文章及び画像のうちの一方の順序に基づいて他方の順序を並べ替える処理であってもよい。これにより、文章の順番と画像の順番とを一致させて読みやすい文書にすることができる。

【0015】

本開示の第６態様に係る情報処理装置は、第１態様から第５態様のいずれかに係る情報処理装置において、処理は、文章の順序に基づいて画像の順序を並べ替える処理であってもよい。これにより、文章の順番と画像の順番とを一致させることができる。

【0016】

本開示の第７態様に係る情報処理装置は、第１態様から第６態様のいずれかに係る情報処理装置において、処理は、対応が有ると判断された文章及び画像のうちの画像に図番号を付与する処理であってもよい。これにより、画像に図番号を付与し、文書の記載を豊富にすることができる。

【0017】

本開示の第８態様に係る情報処理装置は、第７態様に係る情報処理装置において、図番号を付与する処理は、画像に写っている物体が対応する文章に登場する順に図番号を付与する処理であってもよい。これにより、文章の登場順に図番号を付与することができる。

【0018】

本開示の第９態様に係る情報処理装置は、第８態様に係る情報処理装置において、処理は、対応が有ると判断された文章及び画像のうちの文章に対して画像に付与された図番号を付与する処理であってもよい。これにより、文章に図番号を付与し、文書の記載を豊富にすることができる。

【0019】

本開示の第１０態様に係る情報処理装置は、第９態様に係る情報処理装置において、処理は、文章の対応する部分に図番号を付与する処理であってもよい。これにより、読みやすい文書にすることができる。

【0020】

本開示の第１１態様に係る情報処理装置は、第１態様から第１０態様のいずれかに係る情報処理装置において、少なくとも１つのプロセッサは、画像の入力、及び文章の入力のうちのいずれかを受け付けるごとに、処理を実行してもよい。これにより、処理を随時実行することができる。

【0021】

本開示の第１２態様に係る情報処理装置は、第１態様から第１１態様のいずれかに係る情報処理装置において、画像の入力、及び文章の入力のうちのいずれかを受け付けるごとに、処理を実行する第１のモードと、すべての画像、及びすべての文章の入力を受け付けた後に処理を実行する第２のモードと、を備えてもよい。これにより、いずれかのモードで処理を実行することができる。

【0022】

本開示の第１３態様に係る情報処理装置は、第１態様から第１２態様のいずれかに係る情報処理装置において、少なくとも１つのプロセッサは、物体に関する情報と記載されている情報とが対応している確からしさを示す確信度を取得し、確信度に基づいて画像と文章との対応の有無を判断してもよい。これにより、画像と文章との対応の有無を適切に判断することができる。

【0023】

本開示の第１４態様に係る情報処理装置は、第１態様から第１３態様のいずれかに係る情報処理装置において、少なくとも１つのプロセッサは、受け付けた画像、又は受け付けた画像の作成元となった元画像を解析して物体に関する情報を取得してもよい。これにより、物体に関する情報を適切に取得することができる。

【0024】

本開示の第１５態様に係る情報処理装置は、第１態様から第１４態様のいずれかに係る情報処理装置において、画像は、医療画像に基づくキー画像であってもよい。

【0025】

本開示の第１６態様に係る情報処理装置は、第１５態様に係る情報処理装置において、物体は、臓器及び腫瘍のうちの少なくとも一方を含み、物体に関する情報は、大きさ、性状、病名、位置、及び特徴量のうちの少なくとも１つを含んでもよい。

【0026】

上記目的を達成するために、本開示の第１７態様に係る情報処理方法は、少なくとも１つのプロセッサが、受け付けた１以上の画像に写っている物体に関する情報を取得し、受け付けた１以上の文章に記載されている情報を取得し、物体に関する情報と記載されている情報とに基づいて、画像と文章との対応の有無を判断し、対応の有無に基づいて画像と文章とを含む文書の作成を補助する処理を実行する情報処理方法である。

【0027】

第１７態様によれば、文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成することができる。第１７態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。

【0028】

上記目的を達成するために、本開示の第１８態様に係るプログラムは、第１７態様の情報処理方法をコンピュータに実行させるプログラムである。第１８態様に係るプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的かつコンピュータ読取可能な記録媒体も本開示に含まれる。

【0029】

第１８態様によれば、文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成することができる。

【発明の効果】

【0030】

本発明によれば、文章及び画像を含む文書の画像と文章との対応付けに関する間違いを減らし、及び／又は元の文書と比較して読みやすい文書を作成することができる。

【図面の簡単な説明】

【0031】

【図1】図１は、医用情報処理システムの全体構成図である。

【図2】図２は、医用情報処理装置の電気的構成を示すブロック図である。

【図3】図３は、医用情報処理装置の機能的構成を示すブロック図である。

【図4】図４は、読影レポートを示す図である。

【図5】図５は、医用情報処理方法を示すフローチャートである。

【図6】図６は、読影レポートを示す図である。

【図7】図７は、読影レポートを示す図である。

【図8】図８は、確信度を用いた所見文とキー画像との対応を説明するための図である。

【図9】図９は、２つ以上のキー画像と１つの所見文とが対応付いた場合を説明するための図である。

【図10】図１０は、１つのキー画像と複数の所見文とが対応付いた場合を説明するための図である。

【図11】図１１は、言語特徴抽出モデルの生成方法に用いられる学習用のデータの例を示す説明図である。

【図12】図１２は、言語特徴抽出モデルを学習させる機械学習装置の機能的構成を概略的に示すブロック図である。

【図13】図１３は、機械学習装置のハードウェア構成の例を示すブロック図である。

【図14】図１４は、機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図15】図１５は、画像特徴抽出モデル及びクロスモーダル特徴統合モデルを学習させる機械学習装置の機能的構成を概略的に示すブロック図である。

【図16】図１６は、機械学習装置が実行する機械学習方法の例を示すフローチャートである。

【図17】図１７は、物体情報取得部の機能的構成を示すブロック図である。

【図18】図１８は、物体情報取得部による医療画像解析方法を示すフローチャートである。

【発明を実施するための形態】

【0032】

以下、添付図面に従って本発明の好ましい実施形態について詳説する。ここでは、本発明に係る情報処理装置、情報処理方法及びプログラムの一例として、医用情報処理システムを例に説明する。

【0033】

＜医用情報処理システム＞
本実施形態に係る医用情報処理システムは、医療画像に基づくキー画像に写っている物体に関する情報を取得し、所見文に記載されている情報を取得し、物体に関する情報と記載されている情報とに基づいてキー画像と所見文との対応の有無を判断し、対応の有無に基づいて所見文及びキー画像を含む読影レポートの作成を補助する補助処理を実行するシステムである。医用情報処理システムにより、読影レポート（「文書」の一例）の医療画像と所見文との対応付けに関する間違いを減らし、及び／又は元の読影レポートと比較して読みやすい読影レポートを作成することができる。

【0034】

図１は、医用情報処理システム１０の全体構成図である。図１に示すように、医用情報処理システム１０は、医療画像検査機器１２と、医療画像データベース１４と、ユーザ端末装置１６と、読影レポートデータベース１８と、医用情報処理装置２０と、を備えて構成される。

【0035】

医療画像検査機器１２と、医療画像データベース１４と、ユーザ端末装置１６と、読影レポートデータベース１８と、医用情報処理装置２０とは、ネットワーク２２を介してそれぞれデータを送受信可能に接続される。ネットワーク２２は、医療機関内の各種機器を通信接続する有線、又は無線のＬＡＮ（Local Area Network）を含む。ネットワーク２２は、複数の医療機関のＬＡＮ同士を接続するＷＡＮ（Wide Area Network）を含んでもよい。

【0036】

医療画像検査機器１２は、被検体の検査対象部位を撮像し、医療画像を生成する撮影装置である。医療画像検査機器１２の例として、Ｘ線撮影装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、平面Ｘ線検出器を用いたＣＲ（Computed Radiography）装置、及び内視鏡装置が挙げられる。

【0037】

医療画像データベース１４は、医療画像検査機器１２によって撮像された医療画像を管理するデータベースである。医療画像データベース１４は、医療画像を保存するための大容量ストレージ装置を備えるコンピュータが適用される。コンピュータには、データベース管理システムの機能を提供するソフトウェアが組み込まれる。

【0038】

医療画像は、ＣＴ装置、ＭＲＩ装置等によって撮像された複数の断層画像であってもよいし、複数の断層画像を用いて再構成された３次元再構成画像であってもよい。３次元再構成画像の任意の方向の断面画像であってもよい。

【0039】

医療画像のフォーマットは、Ｄｉｃｏｍ（Digital Imaging and COmmunications in Medicine）規格を適用可能である。医療画像は、Ｄｉｃｏｍ規格において規定された付帯情報（Ｄｉｃｏｍタグ情報）が付加されてもよい。なお、本明細書における画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれる。

【0040】

ユーザ端末装置１６は、ユーザである医師が読影レポートを作成、及び閲覧するための端末機器であり、医師が医療画像を閲覧するビューアソフトウェアを含む。ユーザ端末装置１６は、例えばパーソナルコンピュータが適用される。ユーザ端末装置１６は、ワークステーションであってもよいし、タブレット端末であってもよい。ユーザ端末装置１６は、入力装置１６Ａ及び表示装置であるディスプレイ１６Ｂを備える。入力装置１６Ａは、マウス、及びキーボードを含んでもよい。

【0041】

医師は、入力装置１６Ａを使用して医療画像の表示の指示を入力する。ユーザ端末装置１６は、指示に従って医療画像をディスプレイ１６Ｂに表示させる。医師は、入力装置１６Ａを使用して表示された医療画像からキー画像を作成する。さらに、医師は、入力装置１６Ａを使用して医療画像の読影結果を示す文章である所見文を入力する。このように、医師は、ユーザ端末装置１６を用いてキー画像及び所見文を含む読影レポートを作成する。

【0042】

なお、キー画像とは、読影レポートの対象となる被検体の検査において撮像された医療画像のうち、所見文の内容から読影において重要と判断される画像である。

【0043】

読影レポートデータベース１８は、医師が作成した読影レポートを管理するデータベースである。読影レポートデータベース１８は、読影レポートを保存するための大容量ストレージ装置を備えるコンピュータが適用される。コンピュータには、データベース管理システムの機能を提供するソフトウェアが組み込まれる。医療画像データベース１４と読影レポートデータベース１８とは、１つのコンピュータで構成されてもよい。

【0044】

医用情報処理装置２０は、読影レポートの作成を補助する処理である補助処理を実行する装置である。医用情報処理装置２０は、パーソナルコンピュータ、又はワークステーション（「コンピュータ」の一例）を適用可能である。図２は、医用情報処理装置２０の電気的構成を示すブロック図である。図２に示すように、医用情報処理装置２０は、プロセッサ２０Ａと、メモリ２０Ｂと、通信インターフェース２０Ｃと、を備える。

【0045】

プロセッサ２０Ａは、メモリ２０Ｂに記憶された命令を実行する。プロセッサ２０Ａのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0046】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

【0047】

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

【0048】

メモリ２０Ｂは、プロセッサ２０Ａに実行させるための命令を記憶する。メモリ２０Ｂは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ２０Ａは、ＲＡＭを作業領域とし、ＲＯＭに記憶された後述する医用情報処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、医用情報処理装置２０の各種の処理を実行する。

【0049】

通信インターフェース２０Ｃは、所定のプロトコルに従って、ネットワーク２２を介した医療画像検査機器１２、医療画像データベース１４、ユーザ端末装置１６、及び読影レポートデータベース１８との通信を制御する。

【0050】

医用情報処理装置２０は、インターネットを介して複数の医療機関からアクセス可能なクラウドサーバであってもよい。医用情報処理装置２０で行う処理は、課金制、又は固定料金制のクラウドサービスであってもよい。

【0051】

〔医用情報処理装置の機能的構成〕
図３は、医用情報処理装置２０の機能的構成を示すブロック図である。医用情報処理装置２０の各機能は、プロセッサ２０Ａがメモリ２０Ｂに記憶された医用情報処理プログラムを実行することで具現化される。図３に示すように、医用情報処理装置２０は、画像取得部３２と、物体情報取得部３４と、文章取得部３６と、記載情報取得部３８と、対応判断部４０と、補助処理実行部４２と、を備える。

【0052】

画像取得部３２は、読影レポートに使用される１以上のキー画像を取得する。例えば、画像取得部３２は、医療画像データベース１４から医療画像を取得し、ディスプレイ１６Ｂに表示させる。医師は、ディスプレイ１６Ｂに表示された医療画像から読影において重要と判断される領域を入力装置１６Ａによってトリミングしてキー画像を作成する。画像取得部３２は、医師によって作成されたキー画像を受け付ける。画像取得部３２は、読影レポートに既に記載されているキー画像を取得してもよい。

【0053】

物体情報取得部３４は、画像取得部３２が取得した１以上のキー画像に写っている物体に関する物体情報を取得する。物体情報取得部３４は、キー画像を解析して物体情報を取得してもよいし、キー画像の作成元となった元画像である医療画像を解析して物体情報を取得してもよい。物体は、臓器及び腫瘍のうちの少なくとも一方を含む。物体情報は、大きさ、性状、病名、位置、及び特徴量のうちの少なくとも１つを含む。物体情報取得部３４は、物体情報として、キー画像の特徴量を示す画像特徴を取得してもよい。画像特徴は、キー画像を特徴ベクトル化して得られる画像特徴ベクトルで表現されてもよいし、複数チャンネルの特徴マップであってもよい。

【0054】

文章取得部３６は、読影レポートに使用される１以上の所見文を取得する。例えば、医師は、キー画像に関する所見文を入力装置１６Ａによって入力する。文章取得部３６は、医師によって入力された所見文を受け付ける。文章取得部３６は、医師によって入力された所見文を構造解析によって構造化した構造化データを受け付けてもよい。

【0055】

記載情報取得部３８は、文章取得部３６が取得した１以上の所見文に記載されている記載情報を取得する。記載情報取得部３８は、記載情報として、所見文に対応する特徴量が抽出された言語特徴ベクトルを取得してもよい。

【0056】

対応判断部４０は、物体情報取得部３４が取得した物体情報と記載情報取得部３８が取得した記載情報とに基づいて、画像取得部３２が取得したキー画像と文章取得部３６が取得した所見文とのそれぞれの組み合わせについて対応の有無を判断する。対応判断部４０は、物体情報と記載情報とが対応している確からしさを示す確信度を取得し、取得した確信度に基づいてキー画像と所見文との対応の有無を判断してもよい。例えば、対応判断部４０は、キー画像の物体情報と所見文の記載情報との確信度が閾値以上の場合にキー画像と所見文との対応が有ると判断し、確信度が閾値未満の場合にキー画像と所見文との対応が無いと判断してもよい。

【0057】

補助処理実行部４２は、対応判断部４０が判断した対応の有無に基づく補助処理を実行する。補助処理は、所見文に対応するキー画像が非存在の場合に警告する処理であってもよい。補助処理は、所見文に対応するキー画像が非存在であり、かつ所見文が重要所見である場合に警告する処理であってもよい。所見文に対応するキー画像が非存在であり、かつ所見文が重要所見ではない場合は、補助処理を行わなくてよい。

【0058】

なお、重要所見とは、キー画像を作成する必要がある所見である。キー画像を作成する必要がある所見とは、例えば特定の病気が記載された所見である。補助処理実行部４２は、所見文の重要度であって、所見文に対応するキー画像が必要である程度を示す重要度を算出し、所見文の重要度が閾値以上の場合に重要所見であると判断してもよい。

【0059】

補助処理は、キー画像に対応する所見文が非存在の場合に警告する処理であってもよい。補助処理は、対応が有ると判断された所見文及びキー画像のうちの一方の順序に基づいて他方の順序を並べ替える処理であってもよい。補助処理は、所見文の順序に基づいてキー画像の順序を並べ替える処理であってもよい。

【0060】

補助処理は、対応が有ると判断された所見文及びキー画像のうちのキー画像に図番号を付与する処理であってもよい。図番号を付与する処理は、キー画像に写っている物体が対応する所見文に登場する順に図番号を付与する処理であってもよい。

【0061】

補助処理は、対応が有ると判断された所見文及びキー画像のうちの所見文にキー画像に付与された図番号を付与する処理であってもよい。補助処理は、所見文の対応する部分に図番号を付与する処理であってもよい。

【0062】

補助処理実行部４２は、画像取得部３２におけるキー画像、及び文章取得部３６における所見文のうちのいずれかを受け付けるごとに、補助処理を実行してもよい。補助処理実行部４２は、画像取得部３２におけるすべてのキー画像、及び文章取得部３６におけるすべての所見文を受け付けた後に補助処理を実行しもよい。医用情報処理装置２０は、キー画像及び所見文のうちのいずれかを受け付けるごとに補助処理を実行する第１のモードと、すべてのキー画像及びすべての所見文の取得を受け付けた後に補助処理を実行する第２のモードと、を備えてもよい。第１のモードと第２のモードとは、医師による入力装置１６Ａの操作によって切り替え可能であってもよい。

【0063】

＜医用情報処理方法＞
図４は、ユーザ端末装置１６のディスプレイ１６Ｂに表示された読影レポートＲＰ１を示す図である。読影レポートＲＰ１は、医師によって作成されたものである。

【0064】

読影レポートＲＰ１の表示領域Ｄ１は、所見文が表示される領域である。表示領域Ｄ１には、上から順に、所見文ＳＮ１「有意なリンパ節腫大は認めません。」、所見文ＳＮ２「coronary a.に石灰化が認められます。」、所見文ＳＮ３「少量の右胸水が認められます。」、所見文ＳＮ４「甲状腺左葉に11mm大の低吸収が認められます。」、及び所見文ＳＮ５「右鎖骨遠位部及び右第肋骨に骨折後の変化が認められます。」が表示されている。

【0065】

また、読影レポートＲＰ１の表示領域Ｄ２は、キー画像が表示される領域である。表示領域Ｄ２には、左から順に病変領域Ａ１を含むキー画像ＩＫ１、及び病変領域Ａ２を含むキー画像ＩＫ２が表示されている。

【0066】

図５は、医用情報処理装置２０を用いた医用情報処理方法を示すフローチャートである。医用情報処理方法は、キー画像に写っている物体情報と、所見文に記載されている記載情報とに基づいて、キー画像と所見文との対応の有無に基づく補助処理を実行する方法である。医用情報処理方法は、プロセッサ２０Ａがメモリ２０Ｂに記憶された医用情報処理プログラムを実行することで実現される。医用情報処理プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって医用情報処理装置２０に提供されてもよいし、インターネットを介して医用情報処理装置２０に提供されてもよい。ここでは、図４に示した読影レポートＲＰ１に対して補助処理を実行する例を説明する。

【0067】

ステップＳ１では、画像取得部３２は、読影レポートに使用される１以上のキー画像を取得する。ここでは、画像取得部３２は、キー画像ＩＫ１、及びキー画像ＩＫ２を取得する。

【0068】

ステップＳ２では、物体情報取得部３４は、ステップＳ１で取得したキー画像ＩＫ１、及びキー画像ＩＫ２にそれぞれ写っている物体に関する物体情報を取得する。ここでは、物体情報取得部３４は、物体情報として、キー画像ＩＫ１から病変領域Ａ１の情報を、キー画像ＩＫ２から病変領域Ａ２の情報を取得する。

【0069】

ステップＳ３では、文章取得部３６は、読影レポートに使用される１以上の所見文を取得する。ここでは、文章取得部３６は、所見文ＳＮ１～ＳＮ５を取得する。

【0070】

ステップＳ４では、記載情報取得部３８は、ステップＳ３で取得した所見文ＳＮ１～ＳＮ５にそれぞれ記載されている記載情報を取得する。ここでは、記載情報取得部３８は、記載情報として、所見文ＳＮ１から「認めません」を、所見文ＳＮ２から「coronary a.」と「石灰化」を、所見文ＳＮ３から「少量」と「右胸水」を、所見文ＳＮ４から「甲状腺左葉」と「11mm大の低吸収」を、所見文ＳＮ５から「右鎖骨遠位部」と「右第肋骨」と「骨折後の変化」を取得する。

【0071】

ステップＳ５では、対応判断部４０は、ステップＳ２で取得した物体情報とステップＳ４で取得した記載情報とに基づいて、キー画像ＩＫ１、及びキー画像ＩＫ２と所見文ＳＮ１～ＳＮ５とについて総当たりで対応の有無を判断する。すなわち、対応判断部４０は、キー画像ＩＫ１と所見文ＳＮ１、キー画像ＩＫ１と所見文ＳＮ２、…、キー画像ＩＫ１と所見文ＳＮ５、キー画像ＩＫ２と所見文ＳＮ１、キー画像ＩＫ２と所見文ＳＮ２、…、キー画像ＩＫ２と所見文ＳＮ５、とのそれぞれの組み合わせの対応の有無を判断する。ここでは、対応判断部４０は、キー画像ＩＫ１と所見文ＳＮ５との組み合わせ、及びキー画像ＩＫ２と所見文ＳＮ４との組み合わせにおいて、対応が有ると判断したものとする。

【0072】

ステップＳ６では、補助処理実行部４２は、ステップＳ５で判断した対応の有無に基づく補助処理を実行する。ここでは、補助処理は、対応が有ると判断された所見文とキー画像との複数の組み合わせにおいて、所見文の順序に基づいてキー画像の順序を並べ替える処理であるとする。

【0073】

図６は、ユーザ端末装置１６のディスプレイ１６Ｂに表示された読影レポートＲＰ２を示す図である。読影レポートＲＰ２は、読影レポートＲＰ１について補助処理が実行されたものである。読影レポートＲＰ２は、表示領域Ｄ１の所見文ＳＮ１～ＳＮ５の表示は読影レポートＲＰ１と同様である。また、読影レポートＲＰ２は、表示領域Ｄ２のキー画像の位置が読影レポートＲＰ１から変更されており、左から順にキー画像ＩＫ２、キー画像ＩＫ１が表示されている。

【0074】

すなわち、補助処理実行部４２は、対応が有ると判断されたキー画像ＩＫ１と所見文ＳＮ５との組み合わせ、及びキー画像ＩＫ２と所見文ＳＮ４との組み合わせにおいて、所見文ＳＮ５及びＳＮ４のうち表示領域Ｄ１における上からの順序が先である所見文ＳＮ４と対応するキー画像ＩＫ２を左側に、上からの順序が後である所見文ＳＮ５と対応するキー画像ＩＫ１を右側に配置している。

【0075】

読影レポートの所見文は上から下に順に読まれ、キー画像は左から右に順に視認されると考えられる。したがって、所見文の上下の順序に基づいてキー画像の左右の順序を並べ替えることで、読みやすい読影レポートを作成することができる。

【0076】

補助処理は、キー画像の順序を並べ替える処理に限定されない。図７は、ユーザ端末装置１６のディスプレイ１６Ｂに表示された読影レポートＲＰ３を示す図である。読影レポートＲＰ３は、補助処理が実行されたものである。ここでは、図５と同様の所見文ＳＮ１～ＳＮ５、及びキー画像ＩＫ１～ＩＫ２に加えて、所見文ＳＮ６「右肺S10に径68mm程度の辺縁分葉状の充実型腫瘤を認めます。肺癌疑い。」、及び病変領域Ａ３を含むキー画像ＩＫ３が記載された場合を示している。

【0077】

読影レポートＲＰ３では、所見文ＳＮ６に対応するキー画像が存在しない（「非存在」の一例）ことが所見文ＳＮ６を強調表示するマーカＭＫ１により警告されている。所見文ＳＮ６は、対応するキー画像が存在せず、かつ所見文ＳＮ６が重要所見の場合にのみ警告されてもよい。ここでは、所見文ＳＮ６の記載情報「充実型腫瘤」が病気の記載であるため、所見文ＳＮ６が重要所見であると判断されている。

【0078】

また、読影レポートＲＰ３の表示領域Ｄ２には、読影レポートＲＰ２と同様に、対応する所見文ＳＮ４、所見文ＳＮ５の順序に基づいて、左から順にキー画像ＩＫ２、キー画像ＩＫ１が表示されている。さらに、キー画像ＩＫ２、キー画像ＩＫ１には、左から順に図番号が付与されている。ここでは、キー画像ＩＫ２には図番号ＮＦ１として「図１」が、キー画像ＩＫ１には図番号ＮＦ２として「図２」が付与されている。このように、図番号ＮＦ１、図番号ＮＦ２は、キー画像ＩＫ２に写っている病変領域Ａ２、キー画像ＩＫ１に写っている病変領域Ａ１がそれぞれ対応する所見文ＳＮ４、所見文ＳＮ５に登場する順に付与されている。

【0079】

所見文ＳＮ４、所見文ＳＮ５には、それぞれ対応するキー画像の図番号ＮＦ１、図番号ＮＦ２が付与されている。所見文ＳＮ４、所見文ＳＮ５に付与される図番号ＮＦ１、図番号ＮＦ２は、所見文ＳＮ４、所見文ＳＮ５の対応する部分に付与されてもよい。

【0080】

読影レポートＲＰ３では、キー画像ＩＫ３に対応する所見文が存在しないことがキー画像ＩＫ３を強調表示する枠ＦＬ１により警告されている。

【0081】

＜キー画像と所見文との対応付けの詳細＞
図８は、確信度を用いた所見文とキー画像との対応付けを説明するための図である。図８に示す例では、画像取得部３２によりキー画像ＩＫ１１、キー画像ＩＫ１２、キー画像ＩＫ１３が取得され、文章取得部３６により所見文ＳＮ１１「右鎖骨遠位部及び右第肋骨に骨折後の変化が認められます。」、所見文ＳＮ１２「甲状腺左葉に11mm大の低吸収が認められます。」が取得されている。この場合、対応判断部４０は、所見文ＳＮ１１とキー画像ＩＫ１１、所見文ＳＮ１１とキー画像ＩＫ１２、所見文ＳＮ１１とキー画像ＩＫ１３、所見文ＳＮ１２とキー画像ＩＫ１１、所見文ＳＮ１２とキー画像ＩＫ１２、所見文ＳＮ１２とキー画像ＩＫ１３、のそれぞれの組み合わせについて、物体情報と記載情報とに基づいて確信度を算出し、対応の有無を判断する。

【0082】

確信度は、値が大きいほど物体情報と記載情報とが対応している確からしさが高いことを示す指標であり、例えば０以上かつ１以下の値である。また、閾値は例えば０．９０である。すなわち、対応判断部４０は、確信度が０．９０以上の場合に、キー画像と所見文との対応が有ると判断し、キー画像と所見文とを対応付ける。

【0083】

図９は、２つ以上のキー画像と１つの所見文とが対応付いた場合を説明するための図である。図９に示す例では、所見文ＳＮ２１「S3に径1cm大の結節状の早期濃染域を認める。平衡相ではwashoutが認められ、HCC再発を考える。」とキー画像ＩＫ２１との確信度が０．９５であり、所見文ＳＮ２１とキー画像ＩＫ２２との確信度が０．９６である。キー画像ＩＫ２１とキー画像ＩＫ２２とは同じ解剖学的位置の画像であり、いずれも確信度が閾値０．９０より高いため、キー画像ＩＫ２１とキー画像ＩＫ２２との両方が所見文ＳＮ２１と対応付けられる。このように、１つの所見文に２つ以上のキー画像が対応する場合がある。

【0084】

なお、所見文ＳＮ２１は、文Ｌ１「S3に径1cm大の結節状の早期濃染域を認める。」と文Ｌ２「平衡相ではwashoutが認められ、HCC再発を考える。」とを含んでいるが、文Ｌ１と文Ｌ２とをそれぞれ異なる所見文として扱ってもよい。

【0085】

図１０は、１つのキー画像と複数の所見文との確信度が閾値以上となった場合を説明するための図である。図１０に示す例では、所見文ＳＮ３１「右鎖骨遠位部及び右第肋骨に骨折後の変化が認められます。」とキー画像ＩＫ３１との確信度は０．９５であり、閾値０．９０以上である。また、所見文ＳＮ３２「coronary a.に石灰化が認められます。」とキー画像ＩＫ３１との確信度は０．９０であり、閾値０．９０以上である。この場合は、確信度が相対的に高い所見文に対応付けされる。すなわち、対応判断部４０は、キー画像ＩＫ３１と所見文ＳＮ３１とを対応付ける。このように、１つのキー画像には１つの所見文が対応する。

【0086】

＜言語特徴抽出モデル＞
記載情報取得部３８は、言語特徴抽出モデルを備えてもよい。言語特徴抽出モデルは、所見文の入力を受けて、対応する所見特徴を出力するように訓練された学習済みモデルである。

【0087】

〔機械学習に用いるデータの例〕
図１１は、言語特徴抽出モデルの生成方法に用いられる学習（訓練）用のデータの例を示す説明図である。ここでは、キー画像ＩＭｊと、キー画像ＩＭｊ内の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｊについて記述された所見文ＴＸｊとを含む訓練データＴＤｊの例を説明する。キー画像ＩＭｊ、関心領域ＲＯＩｊに関する位置情報ＴＰｊ及び所見文ＴＸｊは互いに関連付け（紐付け）されている。添字のｊは、関連付けされたデータ組の識別符号としてのインデックス番号を表す。関心領域ＲＯＩｊとは主に病変領域である。

【0088】

関心領域ＲＯＩｊに関する位置情報ＴＰｊとは、キー画像ＩＭｊ中における関心領域ＲＯＩｊの位置を特定し得る情報である。位置情報ＴＰｊは、キー画像ＩＭｊ中の座標を示す座標情報であってもよいし、キー画像ＩＭｊ中の領域又は範囲を示す情報であってもよく、これらの組み合わせであってもよい。位置情報ＴＰｊは、キー画像ＩＭｊに対するアノテーション情報として付与された情報であってもよいし、ＤＩＣＯＭタグのようなキー画像ＩＭｊに付属するメタ情報であってもよい。

【0089】

所見文ＴＸｊは、例えば、読影レポートに記載された文章であってよい。ここでは、所見文ＴＸｊとして、構造化される前の自由記述型の文章形式による非構造化データであるテキストを例示するが、文章の構造解析によって構造化された構造化データを用いることも可能である。

【0090】

このような訓練データＴＤｊは、病院等の医療機関における過去の検査事例に係る医療画像及び読影レポートのデータが関連付けされて蓄積保存されるデータベースから適当なデータをサンプリングして生成することができる。

【0091】

〔機械学習装置の構成例〕
図１２は、言語特徴抽出モデルを学習させる機械学習装置１００の機能的構成を概略的に示すブロック図である。機械学習装置１００は、医用情報処理装置２０と同じ装置であってもよいし、異なる装置であってもよい。

【0092】

機械学習装置１００は、言語特徴抽出モデル１０２と、領域推定モデル１０４と、損失演算部１０６と、パラメータ更新部１０８とを含む。機械学習装置１００の各部の機能は、コンピュータのハードウェアとソフトウェアとの組み合わせによって実現し得る。

【0093】

言語特徴抽出モデル１０２には、例えば、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）と呼ばれる自然言語処理モデルが適用される。言語特徴抽出モデル１０２は、テキストである所見文ＴＸｊの入力を受け付け、入力された所見文ＴＸｊに対応する特徴量を抽出して言語特徴ベクトル（所見特徴ベクトル）である所見特徴ＬＦＶｊを出力する。

【0094】

領域推定モデル１０４には、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）が適用される。領域推定モデル１０４は、キー画像ＩＭｊと、所見特徴ＬＦＶｊとの入力を受け付け、入力された所見文ＴＸｊで言及しているキー画像ＩＭｊ内の病変領域を推定し、推定した病変領域の位置を示す推定領域情報ＰＡｊを出力する。推定領域情報ＰＡｊは、例えば、推定した病変領域の範囲を囲む矩形（バウンディングボックス）の位置を特定する座標情報であってもよいし、推定した病変領域を画素単位で特定するセグメンテーションマスク画像等であってもよい。

【0095】

損失演算部１０６は、領域推定モデル１０４から出力された推定領域情報ＰＡｊに示される推定病変領域と、キー画像ＩＭｊに紐付けされている正解の位置情報ＴＰｊが示す正解の関心領域ＲＯＩｊとの誤差を示す損失（ロス）を算出する。

【0096】

パラメータ更新部１０８は、損失演算部１０６によって算出された損失に基づいて、損失が小さくなるように、領域推定モデル１０４及び言語特徴抽出モデル１０２の各モデルのパラメータの更新量を算出し、算出した更新量にしたがい各モデルのパラメータを更新する。各モデルのパラメータは、ニューラルネットワークの各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）及びノードのバイアス等を含む。パラメータ更新部１０８は、例えば確率的勾配降下法（Stochastic Gradient Descent：ＳＧＤ）等の手法により、各モデルのパラメータの最適化を行う。

【0097】

図１３は、機械学習装置１００のハードウェア構成の例を示すブロック図である。機械学習装置１００は、プロセッサ１１２と、非一時的な有体物であるコンピュータ可読媒体１１４と、通信インターフェース１１６と、入出力インターフェース１１８と、バス１１９とを備える。プロセッサ１１２は、バス１１９を介してコンピュータ可読媒体１１４、通信インターフェース１１６及び入出力インターフェース１１８と接続される。

【0098】

機械学習装置１００の形態は、特に限定されず、サーバであってもよいし、ワークステーション、又はパーソナルコンピュータ等であってもよい。

【0099】

プロセッサ１１２は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ１１２は、ＧＰＵ（Graphics Processing Unit）を含んでもよい。コンピュータ可読媒体１１４は、主記憶装置であるメモリ１１４Ａ及び補助記憶装置であるストレージ１１４Ｂを含む。コンピュータ可読媒体１１４は、例えば、半導体メモリ、ハードディスク（Hard Disk Drive：ＨＤＤ）装置、もしくはソリッドステートドライブ（Solid State Drive：ＳＳＤ）装置又はこれらの複数の組み合わせであってよい。

【0100】

機械学習装置１００は、さらに、入力装置１４２と、表示装置１４４とを備えていてもよい。入力装置１４２は、例えば、キーボード、マウス、マルチタッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、又はこれらの適宜の組み合わせによって構成される。表示装置１４４は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、もしくは、プロジェクタ、又はこれらの適宜の組み合わせによって構成される。入力装置１４２と表示装置１４４とは、入出力インターフェース１１８を介してプロセッサ１１２と接続される。

【0101】

機械学習装置１００は、通信インターフェース１１６を介して不図示の電気通信回線に接続され得る。電気通信回線は、広域通信回線であってもよいし、構内通信回線であってもよく、これらの組み合わせであってもよい。

【0102】

機械学習装置１００は、通信インターフェース１１６を介して訓練データ保存部１５０等の外部装置と通信可能に接続される。訓練データ保存部１５０は、複数の訓練データＴＤｊを含む訓練データセットが保存されているストレージを含む。なお、訓練データ保存部１５０は、機械学習装置１００内のストレージ１１４Ｂに構築されてもよい。

【0103】

コンピュータ可読媒体１１４には、学習処理プログラム１２０及び表示制御プログラム１３０を含む複数のプログラム及びデータ等が記憶される。「プログラム」という用語はプログラムモジュールの概念を含む。プロセッサ１１２は、コンピュータ可読媒体１１４に記憶されたプログラムの命令を実行することにより、各種の処理部として機能する。

【0104】

学習処理プログラム１２０は、訓練データＴＤｊを取得して言語特徴抽出モデル１０２及び領域推定モデル１０４の学習処理を実行させる命令を含む。すなわち、学習処理プログラム１２０は、データ取得プログラム１２２、言語特徴抽出モデル１０２、領域推定モデル１０４、損失算出プログラム１２６及びオプティマイザ１２８を含む。データ取得プログラム１２２は、訓練データ保存部１５０から訓練データＴＤｊを取得する処理を実行させる命令を含む。

【0105】

損失算出プログラム１２６は、領域推定モデル１０４から出力された病変領域の位置を示す情報が示す推定領域情報と、言語特徴抽出モデル１０２に入力した所見文ＴＸｊに対応する正解の位置情報ＴＰｊとの誤差を示す損失を算出する処理を実行させる命令を含む。オプティマイザ１２８は、算出された損失から領域推定モデル１０４及び言語特徴抽出モデル１０２の各モデルのパラメータの更新量を算出し、各モデルのパラメータを更新する処理を実行させる命令を含む。

【0106】

表示制御プログラム１３０は、表示装置１４４への表示出力に必要な表示用信号を生成し、表示装置１４４の表示制御を実行させる命令を含む。

【0107】

〔機械学習方法の概要〕
図１４は、機械学習装置１００が実行する機械学習方法の例を示すフローチャートである。図１４のフローチャートを実行する前に、訓練用のキー画像ＩＭｊと、キー画像ＩＭｊ中のある関心領域ＲＯＩｊを説明したテキストである所見文ＴＸｊと、関心領域ＲＯＩｊに関する位置情報ＴＰｊとが紐付けされたデータの組である訓練データＴＤｊを複数組用意して、訓練用のデータセットを準備しておく。

【0108】

ステップＳ１００において、プロセッサ１１２は、訓練用のデータセットからキー画像ＩＭｊと、キー画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｊを説明した所見文ＴＸｊとを含むデータ組を取得する。

【0109】

ステップＳ１１０において、プロセッサ１１２は、所見文ＴＸｊを言語特徴抽出モデル１０２に入力し、言語特徴抽出モデル１０２に所見文ＴＸｊの特徴量を示す所見特徴ＬＦＶｊを抽出させ、言語特徴抽出モデル１０２から所見特徴ＬＦＶｊの出力を得る。所見特徴ＬＦＶｊは、所見文ＴＸｊを特徴ベクトル化して得られる言語特徴ベクトルで表現される。

【0110】

ステップＳ１２０において、プロセッサ１１２は、言語特徴抽出モデル１０２が出力した所見特徴ＬＦＶｊと、所見文ＴＸｊに紐付けされたキー画像ＩＭｊとを領域推定モデル１０４に入力し、所見文ＴＸｊで言及しているキー画像ＩＭｊ中の関心領域（病変領域）を領域推定モデル１０４に推定させる。領域推定モデル１０４は、入力された所見特徴ＬＦＶｊとキー画像ＩＭｊとから推定した推定領域情報ＰＡｊを出力する。

【0111】

ステップＳ１３０において、プロセッサ１１２は、領域推定モデル１０４によって推定された病変領域の推定領域情報ＰＡｊと正解の関心領域ＲＯＩｊの位置情報ＴＰｊとの誤差を示す損失を算出する。

【0112】

ステップＳ１４０において、プロセッサ１１２は、損失を最小化するように、言語特徴抽出モデル１０２及び領域推定モデル１０４の各モデルのパラメータ更新量を算出する。

【0113】

そして、ステップＳ１５０において、プロセッサ１１２は、算出したパラメータ更新量に従い、言語特徴抽出モデル１０２及び領域推定モデル１０４の各モデルのパラメータを更新する。なお、損失を最小化するように各モデルを訓練することは、領域推定モデル１０４によって推定される推定病変領域が正解の関心領域ＲＯＩｊと一致するように（両者の誤差が小さくなるように）各モデルを訓練することを意味している。上述したステップＳ１００からステップＳ１５０の動作はミニバッチの単位で実施されてもよい。

【0114】

ステップＳ１５０の後、ステップＳ１６０において、プロセッサ１１２は、学習を終了するか否かを判定する。学習の終了条件は、損失の値に基づいて定められていてもよいし、パラメータの更新回数に基づいて定められていてもよい。損失の値に基づく方法としては、例えば、損失が規定の範囲内に収束していることを学習終了条件としてよい。また、更新回数に基づく方法としては、例えば、更新回数が規定回数に到達したことを学習終了条件としてよい。あるいは、訓練データとは別にモデルの性能評価用のデータセットを用意しておき、評価用のデータを用いた評価値に基づいて学習終了の可否を判定してもよい。

【0115】

ステップＳ１６０の判定結果がＮｏ判定である場合、プロセッサ１１２はステップＳ１００に戻り、学習処理を継続する。一方、ステップＳ１６０の判定結果がＹｅｓ判定である場合、プロセッサ１１２は図１４のフローチャートを終了する。

【0116】

こうして、生成された学習済み（訓練済み）の言語特徴抽出モデル１０２は、所見文の入力を受けて、その所見文が言及している画像中の病変領域（関心領域）に関する位置の情報が埋め込まれた所見特徴（特徴ベクトル）を出力し得るモデルとなる。つまり、言語特徴抽出モデル１０２が出力する所見特徴には、画像中の病変領域に関する位置を特定するために必要な情報が埋め込まれる。機械学習装置１００が実行する機械学習方法は、所見文に記述された画像中の病変領域の位置を特定する情報を含んだ言語特徴ベクトルを出力する言語特徴抽出モデル１０２を生成する方法と理解することができる。

【0117】

＜画像特徴抽出モデルとクロスモーダル特徴統合モデル＞
物体情報取得部３４は、画像特徴抽出モデルを備えてもよい。画像特徴抽出モデルは、キー画像とキー画像内の関心領域に関する位置情報との入力を受け付け、キー画像の特徴量を示す画像特徴を出力するように訓練された学習済みモデルである。

【0118】

対応判断部４０は、クロスモーダル特徴統合モデルを備えてもよい。クロスモーダル特徴統合モデルは、画像中の関心領域に関する位置情報を備えた画像と、関心領域について説明した所見文との対応関係を判別するように訓練された学習済みモデルである。

【0119】

図１５は、学習済みの言語特徴抽出モデルを用いて画像特徴抽出モデル及びクロスモーダル特徴統合モデルを学習させる機械学習装置１６０の機能的構成を概略的に示すブロック図である。機械学習装置１６０は、機械学習装置１００と同じ装置であってもよいし、医用情報処理装置２０と同じ装置であってもよい。

【0120】

機械学習装置１６０は、言語特徴抽出モデル１０２Ｅと、画像特徴抽出モデル１６２と、クロスモーダル特徴統合モデル１６４と、損失演算部１６６と、パラメータ更新部１６８とを含む。

【0121】

訓練用のデータセットは、機械学習装置１００で用いたデータセットと同様であってよい。画像特徴抽出モデル１６２には、例えば、ＣＮＮが適用される。画像特徴抽出モデル１６２は、キー画像ＩＭｊとキー画像内の関心領域ＲＯＩｊに関する位置情報ＴＰｊとの入力を受け付け、キー画像ＩＭｊの特徴量を示す画像特徴ＩＦＶｊを出力する。画像特徴ＩＦＶｊは、キー画像ＩＭｊを特徴ベクトル化して得られる画像特徴ベクトルで表現されてもよい。画像特徴ＩＦＶｊは、複数チャンネルの特徴マップであってもよい。

【0122】

言語特徴抽出モデル１０２Ｅは、所見文ＴＸｉの入力を受けて、対応する所見特徴ＬＦＶｉを出力するように訓練された学習済みモデルである。言語特徴抽出モデル１０２Ｅに入力される所見文ＴＸｉは、キー画像ＩＭｊに紐付けされている所見文ＴＸｊ（ｉ＝ｊ）である場合に限らず、キー画像ＩＭｊに紐付けされていない所見文（ｉ≠ｊ）である場合もあり得る。

【0123】

クロスモーダル特徴統合モデル１６４は、画像特徴ＩＦＶｊと所見特徴ＬＦＶｊとの入力を受け付け、両者の関連性を示す関連度スコアを出力する。関連度スコアは、関連性の程度を示す数値であってよく、例えば、関連性がない場合を「０」、関連性がある場合を「１」として０から１の範囲の数値により関連性の確信度を示してもよい。

【0124】

損失演算部１６６は、クロスモーダル特徴統合モデル１６４から出力された関連度スコアと、正解の関連度スコアとの誤差を示す損失を算出する。画像特徴抽出モデル１６２と言語特徴抽出モデル１０２Ｅとに対してキー画像ＩＭｊとこれに紐付けされた所見文ＴＸｉ（ｉ＝ｊ）との組み合わせが入力される場合、正解関連度スコアは「１」と定められてよい。一方、画像特徴抽出モデル１６２と言語特徴抽出モデル１０２Ｅとに対してキー画像ＩＭｊと紐付けされていない無関係な所見文ＴＸｉ（ｉ≠ｊ）との組み合わせが入力される場合、正解関連度スコアは「０」と定められてよい。

【0125】

パラメータ更新部１６８は、損失演算部１６６にて算出される損失が最小化するように、クロスモーダル特徴統合モデル１６４と画像特徴抽出モデル１６２との各モデルのパラメータの更新量を算出し、算出した更新量に従い各モデルのパラメータを更新する。

【0126】

機械学習装置１６０のハードウェア構成は、図１３に示した機械学習装置１００と同様であってよい。機械学習装置１６０は、図１３の領域推定モデル１０４の代わりに、クロスモーダル特徴統合モデル１６４を含む。機械学習装置１６０は、損失算出プログラム１２６が算出する損失の損失関数と、オプティマイザ１２８によりパラメータの更新する対象のモデルとが、機械学習装置１００と異なる。

【0127】

〔機械学習方法の概要〕
図１６は、機械学習装置１６０が実行する機械学習方法の例を示すフローチャートである。ステップＳ１０１において、プロセッサ１１２は、訓練用のデータセットからキー画像ＩＭｊと、キー画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊと、関心領域ＲＯＩｉについて説明した（記述された）所見文ＴＸｉとのデータ組を取得する。この際に取得されたデータ組においてｉ＝ｊである場合、プロセッサ１１２は、正解関連度スコアとして「１」を取得し、ｉ≠ｊである場合、正解関連度スコアとして「０」を取得する。

【0128】

ステップＳ１１１において、プロセッサ１１２は、所見文ＴＸｉを言語特徴抽出モデル１０２Ｅに入力し、言語特徴抽出モデル１０２Ｅに所見特徴ＬＦＶｉを抽出させる。

【0129】

ステップＳ１１２において、プロセッサ１１２は、キー画像ＩＭｊと、キー画像ＩＭｊ中の関心領域ＲＯＩｊに関する位置情報ＴＰｊとを画像特徴抽出モデル１６２に入力し、画像特徴抽出モデル１６２に画像特徴ＩＦＶｊを抽出させる。

【0130】

ステップＳ１１４において、プロセッサ１１２は、画像特徴抽出モデル１６２から出力された画像特徴ＩＦＶｊと、言語特徴抽出モデル１０２Ｅから出力された所見特徴ＬＦＶｉとをクロスモーダル特徴統合モデル１６４に入力し、クロスモーダル特徴統合モデル１６４に関連度スコアを推定させる。画像特徴抽出モデル１６２に画像特徴ＩＦＶｊを抽出させる。

【0131】

その後、ステップＳ１２８において、プロセッサ１１２は、クロスモーダル特徴統合モデル１６４から出力された関連度スコア（推定値）と、正解関連度スコアとの誤差を示す損失を算出する。

【0132】

そして、ステップＳ１４２において、プロセッサ１１２は、算出された損失が最小化するように、画像特徴抽出モデル１６２及びクロスモーダル特徴統合モデル１６４の各モデルのパラメータ更新量を算出する。

【0133】

ステップＳ１５２において、プロセッサ１１２は、算出されたパラメータ更新量に従い、画像特徴抽出モデル１６２及びクロスモーダル特徴統合モデル１６４の各モデルのパラメータを更新する。

【0134】

図１６に示すステップＳ１０１～ステップＳ１５２の動作は、ミニバッチの単位で実施されてもよい。

【0135】

ステップＳ１５２の後、ステップＳ１６０において、プロセッサ１１２は、学習を終了するか否かを判定する。

【0136】

ステップＳ１６０の判定結果がＮｏ判定である場合、プロセッサ１１２はステップＳ１０１に戻り、学習処理を継続する。一方、ステップＳ１６０の判定結果がＹｅｓ判定である場合、プロセッサ１１２は図１６のフローチャートを終了する。

【0137】

このように各モデルを学習させることにより、入力された画像と所見文とが対応するか（関連性があるか否か）を精度よく判定し得る関連度判定ＡＩ（Artificial Intelligence）を構築することが可能である。

【0138】

＜医療画像の関心領域の特定＞
〔物体情報取得部の構成〕
物体情報取得部３４は、キー画像の作成元となった元画像である医療画像を解析して物体情報を取得してもよい。ここでは、キー画像の病変領域である関心領域に基づいて、キー画像の作成元の医療画像の関心領域を特定する方法について説明する。

【0139】

図１７は、物体情報取得部３４の機能的構成を示すブロック図である。図１７に示すように、物体情報取得部３４は、キー画像取得部１７０と、紐付け情報抽出部１７２と、関心領域特定部１８２と、出力部１９０と、を備える。

【0140】

キー画像取得部１７０は、医用情報処理装置２０の画像取得部３２が受け付けたキー画像を取得する。

【0141】

紐付け情報抽出部１７２は、キー画像を解析してキー画像の作成元の医療画像との紐付け情報を抽出する。すなわち、紐付け情報とは、キー画像とキー画像の作成元の医療画像とを紐付けるための情報である。紐付け情報は、例えば、被写体とは別にキー画像に写り込んだ情報である。紐付け情報は、例えば、キー画像の作成元の医療画像のシリーズ番号、スライス番号、ウィンドウ幅、ウィンドウレベル、及びアノテーションのうちの少なくとも１つを含む。紐付け情報は、キー画像とキー画像の作成元の医療画像との位置合わせの結果であってもよい。紐付け情報抽出部１７２は、文字認識部１７４と、画像認識部１７６と、位置合わせ結果取得部１８０と、を含む。

【0142】

文字認識部１７４は、ＯＣＲ（Optical Character Recognition）等の既知の手法の文字認識によってキー画像内の文字を解析して紐付け情報を抽出する。文字認識部１７４によって抽出する紐付け情報は、キー画像のウィンドウ幅、ウィンドウレベル、スライス番号、及びシリーズ番号のうちの少なくとも１つを含んでもよい。

【0143】

画像認識部１７６は、キー画像を画像認識して紐付け情報を抽出する。画像認識部１７６が抽出する紐付け情報は、キー画像のウィンドウ幅、ウィンドウレベル、及びアノテーションのうちの少なくとも１つを含んでもよい。画像認識部１７６は、画像認識モデル１７８を備える。キー画像のウィンドウ幅、又はウィンドウレベルを抽出する画像認識モデル１７８は、ＣＮＮを用いた分類モデル、又は回帰モデルである。また、キー画像のアノテーションを認識する画像認識モデル１７８は、畳み込みニューラルネットワークが適用されたセグメンテーションモデル、又は検出モデルである。画像認識部１７６は、分類モデル、回帰モデル、セグメンテーションモデル、及び検出モデルのうちの複数の画像認識モデル１７８を備えてもよい。画像認識モデル１７８は、メモリ２０Ｂに記憶される。

【0144】

また、画像認識部１７６は、キー画像に付加されたアノテーションを検出する。画像認識部１７６が検出するアノテーションは、円、矩形、矢印、線分、点、及びスクリブルのうちの少なくとも１つを含んでもよい。

【0145】

位置合わせ結果取得部１８０は、後述する位置合わせ部１８６によるキー画像と医療画像との位置合わせの結果を取得する。

【0146】

関心領域特定部１８２は、紐付け情報抽出部１７２が抽出した紐付け情報に基づいて関心領域を特定する。関心領域特定部１８２は、紐付け情報を用いて、例えば、まずキー画像の作成元の医療画像のうちキー画像に対応する位置を推定し、次に医療画像の関心領域を特定する。

【0147】

関心領域特定部１８２は、２次元画像から関心領域を特定してもよいし、３次元画像から関心領域を特定してもよい。特定される関心領域は、２次元の領域であってもよいし、３次元の領域であってもよい。

【0148】

関心領域特定部１８２は、関心領域推定モデル１８４と、位置合わせ部１８６と、アノテーション付加部１８８と、を含む。関心領域推定モデル１８４は、画像を入力として与えると入力された画像内の関心領域の位置を出力する深層学習モデルである。関心領域推定モデル１８４は、ＣＮＮが適用された学習済みモデルであってもよい。関心領域推定モデル１８４は、メモリ２０Ｂに記憶される。

【0149】

位置合わせ部１８６は、キー画像とキー画像の作成元の医療画像との位置合わせを行う。キー画像とキー画像の作成元の医療画像と位置合わせとは、臓器等の同じ被写体を示す両画像のそれぞれの画素を対応付けることをいう。位置合わせ部１８６によるキー画像と医療画像との位置合わせの結果とは、キー画像の画素と医療画像の画素との対応関係を含む。アノテーション付加部１８８は、キー画像の作成元の医療画像にアノテーションを付加する。

【0150】

出力部１９０は、関心領域特定部１８２によって特定された関心領域を出力する。出力される関心領域は、キー画像の作成元の医療画像に付与されたマスク、バウンディングボックス、及びヒートマップのうちの少なくとも１つであってもよい。

【0151】

〔医療画像解析方法〕
図１８は、物体情報取得部３４による医療画像解析方法を示すフローチャートである。医療画像解析方法は、キー画像の作成元の医療画像の関心領域を特定する方法である。

【0152】

ステップＳ１７１では、キー画像取得部１７０は、医用情報処理装置２０の画像取得部３２が受け付けたキー画像を取得する。紐付け情報抽出部１７２は、キー画像からキー画像の作成元の医療画像と紐付けるのに必要な紐付け情報を抽出する。ここでは、画像認識部１７６は、画像認識モデル１７８によりキー画像から紐付け情報を抽出する。また、文字認識部１７４は、ＯＣＲによりキー画像から紐付け情報を抽出する。

【0153】

ステップＳ１７２では、ステップＳ１７１で取得したキー画像にアノテーションが付加されている場合、画像認識部１７６はキー画像からアノテーションを検出する。

【0154】

ステップＳ１７３では、関心領域特定部１８２は、ステップＳ１７１で抽出した紐付け情報のうちのスライス番号に基づいて、作成元の医療画像のスライス画像であって、キー画像と同じ位置のスライス画像を特定する。ステップＳ１７１において、スライス番号を抽出できなかった場合は、既知の方法でキー画像と同じ位置のスライス画像を特定する。

【0155】

ステップＳ１７４では、位置合わせ部１８６は、キー画像とステップＳ１７３で特定したスライス画像との位置合わせを行う。キー画像は、作成元の医療画像のスライス画像からクロップ、又は回転されている場合があるので、位置合わせが必要なケースがある。

【0156】

ステップＳ１７５では、ステップＳ１７１で取得したキー画像にアノテーションが付加されている場合、アノテーション付加部１８８は、ステップＳ１７３で特定したスライス画像にアノテーションを付加する。アノテーション付加部１８８は、ステップＳ１７４での位置合わせにより、キー画像のアノテーションの位置と同じスライス画像の位置にアノテーションを付加することができる。

【0157】

ステップＳ１７６では、関心領域特定部１８２は、ステップＳ１７５で付加したアノテーションに基づいてスライス画像の関心領域を特定する。ここでは、関心領域特定部１８２は、関心領域推定モデル１８４を用いて関心領域を特定する。関心領域を特定した結果は、マスク、バウンディングボックス、及びヒートマップのうちの少なくとも１つであってもよい。出力部１９０は、特定された関心領域を出力する。

【0158】

このように、キー画像のアノテーションをキー画像の作成元のスライス画像に付加し、これに基づいて関心領域を推定することで、スライス画像の関心領域を特定することができる。したがって、作成元の医療画像の関心領域を特定することができる。

【0159】

ここでは、ステップＳ１７１で取得したキー画像にアノテーションが付加されている場合について説明したが、関心領域推定モデル１８４は、アノテーションが含まれないキー画像から関心領域を推定することも可能である。

【0160】

＜その他＞
本実施形態に係る医用情報処理装置、医用情報処理方法及び医用情報処理プログラムは、医療画像以外の自然画像を用いる情報処理装置、情報処理方法及び情報処理プログラムにも適用可能である。

【0161】

例えば、交通、電気、ガス、及び水道等の社会的インフラ設備に関するレポート作成に適用することができる。この場合、受け付けた１以上のインフラ設備の画像に写っている物体に関する情報を取得し、受け付けた１以上のインフラ設備に関する文章に記載されている情報を取得し、物体に関する情報と記載されている情報とに基づいて、画像と文章との対応の有無を判断し、対応の有無に基づいて画像と文章とを含む文書の作成を補助する処理を実行することができる。

【0162】

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

【符号の説明】

【0163】

１０…医用情報処理システム
１２…医療画像検査機器
１４…医療画像データベース
１６…ユーザ端末装置
１６Ａ…入力装置
１６Ｂ…ディスプレイ
１８…読影レポートデータベース
２０…医用情報処理装置
２０Ａ…プロセッサ
２０Ｂ…メモリ
２０Ｃ…通信インターフェース
２２…ネットワーク
３２…画像取得部
３４…物体情報取得部
３６…文章取得部
３８…記載情報取得部
４０…対応判断部
４２…補助処理実行部
１００…機械学習装置
１０２…言語特徴抽出モデル
１０２Ｅ…言語特徴抽出モデル
１０４…領域推定モデル
１０６…損失演算部
１０８…パラメータ更新部
１１２…プロセッサ
１１４…コンピュータ可読媒体
１１４Ａ…メモリ
１１４Ｂ…ストレージ
１１６…通信インターフェース
１１８…入出力インターフェース
１１９…バス
１２０…学習処理プログラム
１２２…データ取得プログラム
１２６…損失算出プログラム
１２８…オプティマイザ
１３０…表示制御プログラム
１４２…入力装置
１４４…表示装置
１５０…訓練データ保存部
１６０…機械学習装置
１６２…画像特徴抽出モデル
１６４…クロスモーダル特徴統合モデル
１６６…損失演算部
１６８…パラメータ更新部
１７０…キー画像取得部
１７２…情報抽出部
１７４…文字認識部
１７６…画像認識部
１７８…画像認識モデル
１８０…結果取得部
１８２…関心領域特定部
１８４…関心領域推定モデル
１８６…位置合わせ部
１８８…アノテーション付加部
１９０…出力部
Ａ１…病変領域
Ａ２…病変領域
Ａ３…病変領域
Ｄ１…表示領域
Ｄ２…表示領域
ＦＬ１…枠
ＩＫ１…キー画像
ＩＫ２…キー画像
ＩＫ３…キー画像
ＩＫ１１…キー画像
ＩＫ１２…キー画像
ＩＫ１３…キー画像
ＩＫ２１…キー画像
ＩＫ２２…キー画像
ＩＫ３１…キー画像
ＩＭｊ…キー画像
Ｌ１…文
Ｌ２…文
ＬＦＶｊ…所見特徴
ＭＫ１…マーカ
ＮＦ１…図番号
ＮＦ２…図番号
ＰＡｊ…推定領域情報
ＲＯＩｉ…関心領域
ＲＯＩｊ…関心領域
ＲＰ１…読影レポート
ＲＰ２…読影レポート
ＲＰ３…読影レポート
ＳＮ１…所見文
ＳＮ２…所見文
ＳＮ３…所見文
ＳＮ４…所見文
ＳＮ５…所見文
ＳＮ６…所見文
ＳＮ１１…所見文
ＳＮ１２…所見文
ＳＮ２１…所見文
ＳＮ３１…所見文
ＳＮ３２…所見文
Ｓ１～Ｓ６……医用情報処理方法のステップ
Ｓ１０１～Ｓ１６０……機械学習方法のステップ
Ｓ１７１～Ｓ１７６……医療画像解析方法のステップ
ＴＤｊ…訓練データ
ＴＰｊ…位置情報
ＴＸｉ…所見文
ＴＸｊ…所見文

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】