特許 7502089 医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム

(51)【国際特許分類】

   G16H 15/00 20180101AFI20240611BHJP

   G16H 50/20 20180101ALI20240611BHJP

【ＦＩ】

G16H15/00

G16H50/20

【請求項の数】 17

(21)【出願番号】P 2020097140

(22)【出願日】2020-06-03

(65)【公開番号】P2021189962

(43)【公開日】2021-12-13

【審査請求日】2023-05-24

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】菊地 徹

【審査官】早川 学

(56)【参考文献】

【文献】特開２０１９－１４９１３０（ＪＰ，Ａ）

【文献】特開２００５－１４８９９１（ＪＰ，Ａ）

【文献】特表２０２０－５１５９２４（ＪＰ，Ａ）

【文献】特開２００４－１３９３１２（ＪＰ，Ａ）

【文献】特開２０１２－６９０８９（ＪＰ，Ａ）

【文献】特開２０１９－２０２２２９（ＪＰ，Ａ）

【文献】特開２０１６－１３３９７４（ＪＰ，Ａ）

【文献】国際公開第２０２０／２０２８２２（ＷＯ，Ａ１）

【文献】特開２０１４－１６０４８２（ＪＰ，Ａ）

【文献】特開２０１７－１２９９２２（ＪＰ，Ａ）

【文献】韓国登録特許第１０－１８８７１９４（ＫＲ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ａ６１Ｂ ６／００－６／５１

(57)【特許請求の範囲】

【請求項1】

診断の対象となる病変に対する複数の所見を取得する取得手段と、
前記複数の所見から、所定の条件に基づいて所見を選択する選択手段と、
前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成手段と、
前記選択手段で選択された前記所見の選択状態を維持するか否かを設定する設定手段と、
前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容に基づいて前記レポートを更新する更新手段と、
前記複数の所見のうち少なくとも一つの所見の内容を、入力手段からの第１の指示に基づき変更する第１の変更手段と、を備え、
前記設定手段は前記複数の所見のうち少なくとも一つの所見に対して前記選択状態を維持するか否かを、前記入力手段からの第２の指示に基づき設定し、
前記更新手段は、前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容と前記第１の変更手段における変更とに基づいて、前記レポートを更新することを特徴とする医用情報処理装置。

【請求項2】

前記選択手段は、前記変更に応じて前記複数の所見の中から少なくとも一つの所見を選択し直す際に、前記設定手段の設定に従い前記所見を選択することを特徴とする請求項１に記載の医用情報処理装置。

【請求項3】

前記設定手段は、前記複数の所見毎に前記選択状態を維持するか否かを設定することを特徴とする請求項１または２に記載の医用情報処理装置。

【請求項4】

前記設定手段は、前記複数の所見の全ての選択の状態を維持するか否かをまとめて設定することを特徴とする請求項１乃至３のいずれか１項に記載の医用情報処理装置。

【請求項5】

前記複数の所見のうち少なくとも一つの所見に対する選択状態を、前記入力手段からの第３の指示に基づき変更する第２の変更手段を更に備え、
前記設定手段は、前記第２の変更手段により変更された前記選択状態を維持することを特徴とする請求項１に記載の医用情報処理装置。

【請求項6】

前記レポート生成手段は、前記選択手段で選択した前記所見をテンプレートに当てはめて前記レポートの文章を生成することを特徴とする請求項１乃至５のいずれか１項に記載の医用情報処理装置。

【請求項7】

前記取得手段は、前記診断の対象となる医用画像を取得し、前記医用画像を解析することで前記所見を取得することを特徴とする請求項１に記載の医用情報処理装置。

【請求項8】

前記取得手段は、前記医用画像に付随して、医用画像内での病変の位置や範囲を示す座標情報を含む医用情報を取得し、
前記病変の位置と範囲に基づき前記医用画像の一部を入力とした解析により、前記所見を取得することを特徴とする請求項７に記載の医用情報処理装置。

【請求項9】

前記入力手段からの前記第１の指示を入力するための所見値表示領域を表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項５に記載の医用情報処理装置。

【請求項10】

前記表示制御手段は、前記入力手段からの前記第２の指示を入力するための所見別維持指定領域を前記表示手段に表示させることを特徴とする請求項９に記載の医用情報処理装置。

【請求項11】

前記表示制御手段は、前記入力手段からの前記第３の指示を入力するための選択状態変更領域を前記表示手段に表示させることを特徴とする請求項９に記載の医用情報処理装置。

【請求項12】

診断の対象となる病変に対する複数の所見を取得する取得手段と、
前記複数の所見から、所定の条件に基づいて所見を選択する選択手段と、
前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成手段と、
前記選択手段で選択された前記所見の選択状態を維持するか否かを入力手段からの指示に基づいて設定する設定手段と、
前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容に基づいて前記レポートを更新する更新手段と、
を備えることを特徴とする医用情報処理装置。

【請求項13】

診断の対象となる病変に対する複数の所見を取得する取得手段と、
前記複数の所見から、所定の条件に基づいて所見を選択する選択手段と、
前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成手段と、
前記選択手段で選択された前記所見の選択状態を維持するか否かを設定する設定手段と、
前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて、前記選択された所見の内容に基づいて生成された前記レポートを更新する更新手段と、
前記複数の所見のうち少なくとも一つの所見の内容を、入力手段からの第１の指示に基づき変更する第１の変更手段と、を備え、
前記設定手段は前記複数の所見のうち少なくとも一つの所見に対して前記選択状態を維持するか否かを、前記入力手段からの第２の指示に基づき設定し、
前記更新手段は、前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容と前記第１の変更手段における変更とに基づいて、前記レポートを更新することを特徴とする医用情報処理システム。

【請求項14】

診断の対象となる病変に対する複数の所見を取得する取得手段と、
前記複数の所見から、所定の条件に基づいて所見を選択する選択手段と、
前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成手段と、
前記選択手段で選択された前記所見の選択状態を維持するか否かを入力手段からの指示に基づいて設定する設定手段と、
前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて、前記選択された所見の内容に基づいて生成された前記レポートを更新する更新手段と、
を備えることを特徴とする医用情報処理システム。

【請求項15】

取得手段が、診断の対象となる病変に対する複数の所見を取得する取得ステップと、
選択手段が、前記複数の所見から、所定の条件に基づいて所見を選択する選択ステップと、
レポート生成手段が、前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成ステップと、
設定手段が、前記選択された前記所見の選択状態を維持するか否かを設定する設定ステップと、
更新手段が、前記設定ステップで設定された前記選択状態を維持するか否かの設定に応じて、前記選択された所見の内容に基づいて前記レポートを更新する更新ステップと、
第１の変更手段が、前記複数の所見のうち少なくとも一つの所見の内容を、入力手段からの第１の指示に基づき変更する第１の変更ステップと、を有し、
前記設定ステップでは前記複数の所見のうち少なくとも一つの所見に対して前記選択状態を維持するか否かを、前記入力手段からの第２の指示に基づき設定し、
前記更新ステップでは、前記設定ステップで設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容と前記第１の変更ステップにおける変更とに基づいて、前記レポートを更新することを特徴とする医用情報処理方法。

【請求項16】

取得手段が、診断の対象となる病変に対する複数の所見を取得する取得ステップと、
選択手段が、前記複数の所見から、所定の条件に基づいて所見を選択する選択ステップと、
レポート生成手段が、前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成ステップと、
設定手段が、前記選択された前記所見の選択状態を維持するか否かを入力手段からの指示に基づいて設定する設定ステップと、
更新手段が、前記設定ステップで設定された前記選択状態を維持するか否かの設定に応じて、前記選択された所見の内容に基づいて前記レポートを更新する更新ステップと、
を有することを特徴とする医用情報処理方法。

【請求項17】

コンピュータを、請求項１乃至１２のいずれか１項に記載の医用情報処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

計算機で医用画像等を解析し、医師に対して、診断の助けとなる情報を提示するコンピュータ支援診断（Computer Aided Diagnosis：ＣＡＤ）システムが知られている。

【0003】

特許文献１には、解剖学的組織内の領域に関する、複数の医用画像データを分析して特徴を抽出し、抽出した特徴を複数の医用画像データ間で関連付け、病変の可能性の総合評価を算定するＣＡＤシステムが開示されている。特許文献１のＣＡＤシステムは、複数の医用画像データの分析により抽出した特徴や、算定した総合評価をユーザに提示し、ユーザは提示された特徴や総合評価を確認し、修正することができる。特許文献１のＣＡＤシステムは、ユーザにより確認、修正された特徴や総合評価を用いて読影レポートを生成し、ユーザが特徴を修正した際に、修正した特徴を用いて総合評価を再算出することができる。

【0004】

また、特許文献２には、入力情報として医用画像から得られる画像所見などを取得し、取得した入力情報に基づいて診断名を推論した上で、入力情報の夫々の推論への影響度を算出し、算出した影響度を基に入力情報を選択して、レポートを生成する医療診断支援装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２００９－５１６５５１号公報

【文献】特開２０１３－１６７９７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

評価の対象とする症例によっては、症例を診断する上で必要とされる所見の数が多く、全ての所見をレポートに記載すると煩雑なレポートになる場合が生じ得る。

【0007】

特許文献１に記載のＣＡＤシステムでは、所見を選択してレポートを生成することができない。また、特許文献２記載の医療診断支援装置では、影響度に基づいて所見を自動的に選択してレポートを生成することができるが、レポートに記載する所見、或いは、レポートに記載しない所見を、ユーザが設定することができない。

【0008】

本発明は、上記の課題に鑑み、所見の選択状態の設定として、レポートに記載する所見、あるいは、記載しない所見をユーザが設定することができ、レポートを更新する際には、選択状態の設定に従い選択された所見の内容に基づいてレポートを更新することが可能な医用情報処理技術の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る医用情報処理装置は、
診断の対象となる病変に対する複数の所見を取得する取得手段と、
前記複数の所見から、所定の条件に基づいて所見を選択する選択手段と、
前記選択された前記所見の内容に基づいて、前記病変に関するレポートを生成するレポート生成手段と、
前記選択手段で選択された前記所見の選択状態を維持するか否かを設定する設定手段と、
前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容に基づいて前記レポートを更新する更新手段と、
前記複数の所見のうち少なくとも一つの所見の内容を、入力手段からの第１の指示に基づき変更する第１の変更手段と、を備え、
前記設定手段は前記複数の所見のうち少なくとも一つの所見に対して前記選択状態を維持するか否かを、前記入力手段からの第２の指示に基づき設定し、
前記更新手段は、前記設定手段で設定された前記選択状態を維持するか否かの設定に応じて選択された所見の内容と前記第１の変更手段における変更とに基づいて、前記レポートを更新することを特徴とする。

【発明の効果】

【0010】

本発明によれば、レポートに記載する所見、あるいは、記載しない所見をユーザが設定することができ、レポートを更新する際には、選択状態の設定に従い選択された所見の内容に基づいてレポートを更新することが可能になる。

【図面の簡単な説明】

【0011】

【図1】実施形態１又は２に係る医用情報処理システムの構成を示す図。

【図2】実施形態１又は２に係る医用情報処理装置のハードウェア構成を示す図。

【図3】実施形態１に係る医用情報処理装置の機能の機能構成を示す図。

【図4】実施形態１に係る医用情報処理装置のユーザインタフェース画面の一例を示す図。

【図5】実施形態１に係る医用情報処理装置の処理を示すフロー図。

【図6】実施形態２に係る医用情報処理装置の機能の機能構成を示す図。

【図7】実施形態２に係る医用情報処理装置のユーザインタフェース画面の一例を示す図。

【図8】実施形態２に係る医用情報処理装置の処理を示すフロー図。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0013】

＜実施形態１＞
実施形態１では、胸部Ｘ線ＣＴ（Computed Tomography）画像上の肺結節影に対する読影レポートの作成を支援する医用情報処理装置について説明する。

【0014】

本実施形態の医用情報処理装置は、まず、肺結節影の画像から画像所見を推定する。画像所見とは、肺結節の「全体形状」、「境界」、「辺縁」などの、肺結節の性状を表す情報である。

【0015】

「全体形状」に関する画像所見は、「球形」、「分葉状形」、「多角形」、「楔形」、「扁平形」、「不整形」などの値をとる。「境界」に関する画像所見は、「明瞭」、「不明瞭」などの値をとり、「辺縁」に関する画像所見は「整」、「不整」などの値をとる。以降、「全体形状」、「境界」、「辺縁」などを画像所見の種別と記載し、「球形」、「明瞭」、「整」などを画像所見の値又は内容と記載する。画像所見の推定には、教師データで学習された既知のＣＮＮ（Convolutional Neural Network）を用いることが可能である。

【0016】

本実施形態の医用情報処理装置は、推定された画像所見を用いて診断名を推定する。診断名は、例えば、「良性肺結節」、「原発性肺癌」、「転移性肺癌」などである。診断名の推定には、教師データで学習された既知のＢｙｅｓｉａｎ Ｎｅｔｗｏｒｋを用いることが可能である。また、医用情報処理装置は、診断名を推定する際に、推定した診断名に対して入力された個々の画像所見の影響度を算出する。次に、医用情報処理装置は、影響度が所定の閾値を超える画像所見を選定し、選定した画像所見と診断名をテンプレートに当てはめてレポート（以下、「読影レポート」ともいう）を自動生成する。

【0017】

（医用情報処理システムの構成）
図１は、本実施形態の医用情報処理装置を含む医用情報処理システム１０の構成を示す図である。図１に示すように、医用情報処理システム１０は、症例データベース（以降、「症例ＤＢ」と呼ぶ）１０２、医用情報処理装置１０１、ＬＡＮ（Local Area Network）１０３を有する。

【0018】

症例ＤＢ１０２は、Ｘ線ＣＴ装置など医用画像を撮像する装置で撮影された医用画像と、その医用画像に付随する医用情報とを記憶する記憶部として機能する。医用情報には、医用画像内での病変の位置や範囲を示す座標情報も含まれる。医用画像に付随する医用情報は、医用画像のヘッダ情報として格納される場合もある。症例ＤＢ１０２は、データベース機能を提供し、医用情報処理装置１０１は、ＬＡＮ１０３を介して、医用情報を用いて症例ＤＢ１０２の医用画像を検索し、症例ＤＢ１０２から医用画像を取得することが可能である。

【0019】

（ハードウェア構成）
図２は、本実施形態の医用情報処理装置１０１のハードウェア構成を示す図である。図２において、医用情報処理装置１０１は、記憶媒体２０１、ＲＯＭ（Read Only Memory）２０２、ＣＰＵ（Central Processing Unit）２０３、ＲＡＭ（Random Access Memory）２０４を有する。更に、医用情報処理装置１０１は、ＬＡＮインタフェース２０５、入力インタフェース２０８、ディスプレイインタフェース２０６、及び内部バス２１１を有する。

【0020】

記憶媒体２０１は、ＯＳ（Operating System）や本実施形態に係る各種処理を行うための処理プログラムや、各種情報を記憶するＨＤＤ（Hard Disk Drive）等の記憶媒体である。ＲＯＭ２０２はＢＩＯＳ（Basic Input Output System）等、ハードウェアを初期化しＯＳを起動するためのプログラムを記憶する。ＣＰＵ２０３は、ＢＩＯＳやＯＳ、処理プログラムを実行する際の演算処理を行う。ＲＡＭ２０４は、ＣＰＵ２０３がプログラムを実行する際の情報を一時的に記憶する。ＬＡＮインタフェース２０５は、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３ａｂ等の規格に対応し、ＬＡＮ１０３を介して通信を行うためのインタフェースである。

【0021】

ディスプレイ２０７は表示画面を表示し、ディスプレイインタフェース２０６はディスプレイ２０７に表示する画像情報を信号に変換し、ディスプレイ２０７に出力する。ＣＰＵ２０３及びディスプレイインタフェース２０６はディスプレイ２０７の表示を制御する表示制御部として機能する。キーボード２０９はキー入力を行い、マウス２１０は画面上の座標位置を指定及びボタン操作の入力を行い、入力インタフェース２０８は、キーボード２０９及びマウス２１０から入力された信号を受信する。内部バス２１１は、機能構成の各ブロック間で通信を行う際に信号の伝送を行う。

【0022】

（機能ブロック）
図３は、本実施形態の医用情報処理装置１０１の機能ブロックを示す図である。図３において、医用情報処理装置１０１は、機能ブロックとして、所見取得部３０１、所見選択部３０２、レポート生成部３０３、第１の変更部３０４、更新部３０５、選択状態維持部３０６を有する。症例ＤＢ１０２には、複数の医用画像３１０－ｉ（ｉ＝１、２、３、・・・）が保存される。これらの機能ブロックは、医用情報処理装置１０１の制御部として機能するＣＰＵ２０３が記憶媒体２０１から読み込んだ処理プログラムを実行することで実現することができる。各機能ブロックの構成は、同様の機能を果たすのであれば、それらは集積回路などで構成してもよい。

【0023】

所見取得部３０１は、診断の対象となる病変に対する複数の所見を取得する。所見取得部３０１は、診断の対象となる医用画像３１０－ｉの病変に対する画像所見を取得する。具体的には、症例ＤＢ１０２から、ＬＡＮ１０３（ネットワーク）を介して診断の対象となる医用画像３１０－ｉを取得し、医用画像３１０－ｉを解析することで画像所見を取得する。所見取得部３０１は画像所見の解析にＣＮＮを用いることが可能であり、１つのＣＮＮで１つの画像所見を推定しても、複数の画像所見を推定してもよい。所見取得部３０１は医用画像３１０－ｉと、医用画像に付随する医用情報を取得する。医用情報には、医用画像内での病変の位置や範囲を示す座標情報も含まれており、所見取得部３０１は、医用情報から病変の位置及び範囲に関する情報を取得し、取得した病変の位置と範囲に基づき医用画像３１０－ｉの一部を入力とした解析により、画像所見の推定をしてもよい。

【0024】

所見選択部３０２は、複数の所見から、所定の条件に基づいて所見を選択する。例えば、所見選択部３０２は、複数の所見から推定した診断名に対する各所見の影響度を算出し、影響度が予め定めた値以上である所見を選択する。まず、所見選択部３０２は、所見取得部３０１で取得した画像所見からレポートの生成に用いる画像所見を選択する。画像所見の選択では、所見選択部３０２は、最初に画像所見から診断名を推定する。次に、所見選択部３０２は、推定した診断名に対する各画像所見の影響度を算出する。最後に、所見選択部３０２は、算出した影響度が予め定めた値以上である画像所見をレポートに用いる画像所見として選択する。ここで、所見選択部３０２は、診断名の推定に、Ｂｙｅｓｉａｎ Ｎｅｔｗｏｒｋを用いることが可能である。ここで、影響度は、画像所見を入力しない場合の診断推定結果の尤度と、画像所見を個々に入力した場合の診断推定結果の尤度との差である。

【0025】

レポート生成部３０３は、選択された所見の内容に基づいて、病変に関するレポートを生成する。レポート生成部３０３は、所見選択部３０２で選択した画像所見をテンプレートに当てはめてレポートの文章を生成する。例えば、「右肺に｛Ｘ｝の結節を認めます。｛Ｙ｝を伴います。」というテンプレートに、｛Ｘ｝＝「不整形」、｛Ｙ｝＝「スピキュラ」、「鋸歯状辺縁」という画像所見を当てはめると、レポート生成部３０３は、「右肺に不整形の結節を認めます。スピキュラ、鋸歯状辺縁を伴います。」というレポートの文章を生成する。尚、上記のテンプレート及び画像所見は一例でありこれに限られるものではない。

【0026】

第１の変更部３０４は、複数の所見のうち少なくとも一つの所見の内容を、ユーザからの操作入力としてキーボード２０９やマウス２１０などの入力部からの指示（第１の指示）に基づき変更する。第１の変更部３０４は、所見取得部３０１で取得した画像所見の内容（値）を変更する。例えば、所見取得部３０１が取得した、種別として「全体形状」に関する画像所見の値が「不整形」であったとすると、第１の変更部３０４は、操作入力に基づいて、他の値、例えば「球形」、「分葉状形」、「多角形」などに変更する。操作入力に基づいた変更は、例えば、プルダウンメニューやラジオボタンなど、ユーザインタフェース画面の操作に従い実施される。ユーザインタフェース画面については図４を用いて説明する。

【0027】

更新部３０５は、第１の変更部３０４による画像所見の値の変更を受けて、変更された画像所見と、変更されていない画像所見を用いてレポートを再度生成し更新する。ここで、レポートに用いる画像所見は所見選択部３０２を用いて再度選択され、レポートは更新部３０５を用いて再度生成され更新される。更新部３０５は、画像所見の値の変更に応じて、選択状態の設定に従い選択された所見の内容に基づいてレポートを更新する。すなわち、更新部３０５は再度生成したレポートにより、レポート生成部３０３で生成された生成済のレポートを更新する。

【0028】

選択状態維持部３０６は、所見選択部３０２により選択された所見の選択状態を維持するか否かを設定する。選択状態維持部３０６は、更新部３０５によりレポートを更新する際に、画像所見がレポートの再生成に用いられるか否かの指定に基づいて、選択状態を維持するよう動作する。更新部３０５は、選択状態維持部３０６で設定された選択状態を維持するか否かの設定に応じて、所見選択部３０２により選択された所見の内容に基づいて生成されたレポートを更新する。

【0029】

所見選択部３０２は、所見の内容の変更に応じて複数の所見の中から少なくとも一つの所見を選択し直す際に、選択状態維持部３０６の設定に従い所見を選択する。所見選択部３０２は、選択状態維持部３０６で設定された選択状態を維持するか否かの設定に応じて選択された所見の内容を選択する。所見選択部３０２で選択された画像所見のうち、指定された画像所見について、選択状態維持部３０６は選択状態を維持し、指定されない画像所見について、選択状態維持部３０６は選択状態を解除する。選択状態を維持する画像所見の指定は、チェックボックスやボタンなどのユーザインタフェース画面による指定に基づき設定される。ユーザインタフェース画面については図４を用いて説明する。

【0030】

更新部３０５は、選択状態維持部３０６で設定された選択状態を維持するか否かの設定に応じて選択された所見の内容と第１の変更部３０４における変更とに基づいて、レポートを更新する。ここで、更新部３０５は、再度生成したレポートにより、レポート生成部３０３で生成された生成済のレポートを更新する。

【0031】

（ユーザインタフェース画面）
図４は、本実施形態に係る医用情報処理装置１０１のユーザインタフェース画面４００の一例を示す図である。ユーザインタフェース画面４００はディスプレイ２０７に表示され、ユーザインタフェース画面４００に対する操作はキーボード２０９やマウス２１０により行われる。ＣＰＵ２０３及びディスプレイインタフェース２０６は表示制御部として機能して、ディスプレイ２０７の表示を制御する。

【0032】

図４において、ユーザインタフェース画面４００は、医用画像表示領域４０１、所見種別表示領域４０２、所見値表示領域４０３、選択状態表示領域４０４、レポート表示領域４０５を有する。更に、ユーザインタフェース画面４００は、全所見維持指定領域４０６、所見別維持指定領域４０７を有する。

【0033】

医用画像表示領域４０１には、症例ＤＢ１０２から取得した医用画像３１０－ｉが表示される。医用画像３１０－ｉは、複数の断面画像から構成されてもよく、この場合、キーボード２０９やマウス２１０による所定の操作に基づき表示する断面位置を変更することができる。また、医用画像３１０－ｉに付随する医用情報として病変の位置や範囲を示す情報が存在する場合は、医用情報を明示する。例えば、医用画像上に矩形などの図形が重ねて表示される。

【0034】

所見種別表示領域４０２には、画像所見の種別が表示される。ここで、画像所見の種別には、「全体形状」、「境界」、「スピキュラ」、「鋸歯状辺縁」、「気管支透亮像」などが含まれる。

【0035】

所見値表示領域４０３には、所見種別表示領域４０２に表示された所見種別に対応する画像所見の値が表示される。所見値表示領域４０３に表示される画像所見の値は、医用画像の解析に基づいて、所見取得部３０１が取得した値である。図４のユーザインタフェース画面４００の例では、所見種別「全体形状」の値が「不整形」であり、所見種別「境界」の値が「明瞭」、所見種別「スピキュラ」の値が「あり」であることを示している。また、ユーザインタフェース画面４００において、所見種別「鋸歯状辺縁」の値が「あり」であり、所見種別「気管支透亮像」の値が「あり」であることを示している。

【0036】

更に、所見値表示領域４０３の各行は、プルダウンメニューとなっており、画像所見の値を変更することができる。例えば、所見値が「不整形」と表示されている右側のアイコン（黒三角印）をマウス２１０でクリックすると、「球形」、「分葉状形」、「多角形」、「楔形」、「扁平形」、「不整形」など、所見種別「全体形状」で取り得る画像所見の内容（値）の一覧が候補として表示される。表示された候補の中から１つの画像所見の内容（値）をマウス２１０でクリックして選択することで、クリックした画像所見の内容（値）に変更することができる。すなわち、第１の変更部３０４は、複数の所見のうち少なくとも一つの所見の内容を、所見値表示領域４０３に対する入力部（キーボード２０９やマウス２１０）からの指示（第１の指示）に基づき変更する。表示制御部（ＣＰＵ２０３及びディスプレイインタフェース２０６）は、入力部（キーボード２０９やマウス２１０）からの指示（第１の指示）を入力するための所見値表示領域４０３をディスプレイ２０７に表示させる。

【0037】

選択状態表示領域４０４は、画像所見が、所見選択部３０２により選択されたか否かの選択状態を表示する。図４の例では、「〇」と表記された画像所見が所見選択部３０２により選択された画像所見であり、図４の例では、選択された画像所見は「全体形状」、「スピキュラ」、「鋸歯状辺縁」であることを示す。

【0038】

レポート表示領域４０５には、レポート生成部３０３で生成されたレポートの文章が表示される。図４の例では「右肺に不整形の結節を認めます。スピキュラ、鋸歯状辺縁を伴います。」というレポートが生成されたことを示す。

【0039】

全所見維持指定領域４０６は、全所見の選択状態を維持する旨を指定する領域であり、図４の例では、チェックボックスの形式で表示されている。選択状態維持部３０６は、全所見維持指定領域４０６のチェックボックスがチェックされると、全所見の選択状態を維持するよう動作する。選択状態維持部３０６は、複数の所見の全ての選択の状態を維持するか否かをまとめて設定する。図４の例では、チェックボックスがチェックされていないため、選択状態維持部３０６は、全所見の選択状態の維持を行わない。

【0040】

所見別維持指定領域４０７は、画像所見毎に選択状態を維持する旨を指定する領域であり、図４の例では、画像所見毎のチェックボックスの形式で表示されている。選択状態維持部３０６は、所見別維持指定領域４０７のチェックボックスがチェックされると、該当する画像所見の選択状態を維持するよう動作する。選択状態維持部３０６は、複数の所見のうち少なくとも一つの所見に対して選択状態を維持するか否かを、ユーザからの操作入力としてキーボード２０９やマウス２１０などの入力部からの指示（第２の指示）に基づき設定する。選択状態維持部３０６は、複数の所見毎に選択状態を維持するか否かを設定する。表示制御部（ＣＰＵ２０３及びディスプレイインタフェース２０６）は、入力部（キーボード２０９やマウス２１０）からの指示（第２の指示）を入力するための所見別維持指定領域４０７をディスプレイ２０７に表示させる。

【0041】

図４の例では、選択状態維持部３０６は、レポートの生成で選択された所見種別「全体形状」について、「全体形状」が選択された状態を維持すように動作し、レポートの生成で選択されていない所見種別「境界」について、「境界」が選択されない状態を維持するよう動作する。

【0042】

（処理フロー）
図５は、本実施形態に係る医用情報処理装置１０１の処理の流れを示すフロー図である。本処理フローは、医用情報処理装置１０１の起動後に、医用情報処理システム１０に含まれる他の装置、あるいは他のシステム、或いはユーザによる指示に基づき開始される。処理を開始する際には、処理の対象となる症例が指定される。

【0043】

ステップＳ５０１では、所見取得部３０１が、ＬＡＮ１０３（ネットワーク）を介して、症例ＤＢ１０２から医用画像３１０－ｉを取得する。所見取得部３０１は取得した医用画像３１０－ｉを医用画像表示領域４０１に表示する。

【0044】

ステップＳ５０２では、所見取得部３０１が、ステップＳ５０１で取得した医用画像３１０－ｉから画像所見を推定する。所見取得部３０１は推定した画像所見を所見値表示領域４０３に表示する。

【0045】

ステップＳ５０３では、所見選択部３０２が、ステップＳ５０２で取得した画像所見からレポートに用いる画像所見を選択する。所見選択部３０２は選択の結果を選択状態表示領域４０４に表示する。

【0046】

ステップＳ５０４では、レポート生成部３０３が、ステップＳ５０３で選択した画像所見を用いてレポートの文章を生成し、生成したレポートの文章をレポート表示領域４０５に表示する。

【0047】

ステップＳ５０５では、第１の変更部３０４が、所見値表示領域４０３での操作により、画像所見の内容（値）が変更されたか否かを判定する。画像所見の内容が変更されなかった場合（ステップＳ５０５のＮｏ）、ステップＳ５０６に処理を進め、画像所見の内容が変更された場合（ステップＳ５０５のＹｅｓ）、処理をステップＳ５１１に進める。

【0048】

ステップＳ５０６では、ＯＳが、本処理の終了の有無を判定する。終了が検出された場合（ステップＳ５０６のＹｅｓ）、処理を終了し、終了が検出されない場合（ステップＳ５０６のＮｏ）、ステップＳ５０５に処理を戻し、同様の処理を繰り返す。

【0049】

一方、ステップＳ５１１では、選択状態維持部３０６が、全所見維持指定領域４０６での操作により、全所見の選択状態の維持が指定されたか否かを判定する。全所見の選択状態の維持が指定された場合（ステップＳ５１１のＹｅｓ）、ステップＳ５１６へ処理を進め、全所見の選択状態の維持が指定されなかった場合（ステップＳ５１１のＮｏ）、ステップＳ５１２へ処理を進める。

【0050】

ステップＳ５１２からステップＳ５１５までの処理は、所見取得部３０１で取得された全ての画像所見の個々に対して、繰り返し実施される。具体的には、図４に示すような、「全体形状」、「境界」、「スピキュラ」、「鋸歯状辺縁」、「気管支透亮像」などについて実施される。

【0051】

ステップＳ５１３では、選択状態維持部３０６は、所見別維持指定領域４０７での操作により、処理対象となる画像所見の選択状態の維持が指定されたか否かを判定する。処理対象となる画像所見の選択状態の維持が指定された場合（ステップＳ５１３のＹｅｓ）、ステップＳ５１５へ処理を進め、処理対象となる画像所見の選択状態の維持が指定されなかった場合（ステップＳ５１３のＮｏ）、ステップＳ５１４へ処理を進める。

【0052】

ステップＳ５１４では、更新部３０５が、処理対象となる画像所見の選択状態を、ステップＳ５０５で検出した変更に基づく画像所見を用いて、選択した選択状態に更新し、選択状態表示領域４０４の表示を更新する。

【0053】

ステップＳ５１２からステップＳ５１５までの処理が、全ての画像所見の個々に対して終了すると、ステップＳ５１６に処理を進める。

【0054】

ステップＳ５１６では、更新部３０５は、選択状態維持部３０６で設定された選択状態を維持するか否かの設定に応じて選択された所見の内容と第１の変更部３０４における変更とに基づいて、レポートを更新する。更新部３０５は、選択状態を維持するか否かの設定に応じて選択された画像所見を用いてレポートを再度生成し、レポート表示領域４０５に表示するレポートの文章を更新し、ステップＳ５０６に処理を進め、ＯＳが、本処理の終了の有無を判定する。

【0055】

以上説明したように、本実施形態によれば、ユーザが、レポートに用いる画像所見の選択状態の維持を求める場合、選択状態の維持の指定に基づいて、画像所見のレポートへの記載の有無を維持した上で、画像所見の内容変更の指定に基づいてレポートに用いる画像所見を更新し、レポートの文章を生成するよう動作する。これにより、所見の選択状態の設定として、レポートに記載する所見、あるいは、記載しない所見をユーザが設定することが可能な医用情報処理技術を提供することが可能になる。

【0056】

（実施形態１の変形例１）
実施形態１では、撮影部位の例として胸部を撮影した例について説明したが、この例に限定されず、医用情報処理装置１０１は、腹部、乳腺、頭部など、胸部以外の部位の画像を対象としてもよい。また、医用画像を撮像する装置は、Ｘ線ＣＴ装置に限られず、ＭＲＩ（Magnetic Resonance Imaging）、超音波、単純Ｘ線などＸ線ＣＴ以外の装置で撮像された医用画像を対象としてもよい。また、病変は肺結節に限られず、びまん性肺疾患、乳腺腫瘤、肝腫瘤など肺結節以外の病変を対象としてもよい。また、病理診断、臨床診断など、画像診断以外の診断を対象としてもよい。この場合、所見は、画像所見でなく、視診、触診、血液検査などの臨床所見、病理所見など、対象とする診断に応じた所見を対象とすることができる。また、生成するレポートは、病理診断レポート、カルテなど、読影レポート以外の文書で用いるテキスト情報でもよい。

【0057】

所見取得部３０１は、画像特徴量を算出してＳＶＭ（Support Vector Machine）で推定するなど、ＣＮＮに限られず、他の機械学習による方法で所見を取得してもよい。また、画像処理ワークステーションなどの他の装置から所見を取得してもよい。また、ユーザインタフェース画面を介して、ユーザが所見を入力してもよい。また、自然文などのテキスト情報から抽出してもよい。

【0058】

所見選択部３０２は、診断名をＤＮＮ（Deep Neural Network）で推論し、推論結果に対する各入力ノードの勾配を算出し、勾配の大きさを影響度として選定してもよい。また、全所見を入力とし、選択された所見を出力とした教師データを作成し、当該教師データを機械学習した選定器により選定してもよい。また、全所見を入力とし、選択される所見を出力とするルールベースを構築し、ルールベースにより選定してもよい。

【0059】

また、その他の所見選定方法として、所見選択部３０２は、過去の症例から診断名に特異的な所見を統計的に解析し、支援対象となる症例の診断推論結果(診断名)に特異的な所見を選択することが可能である。また、医師が経験的に診断名に対応付けて選択されるべき所見を予め定義しておき、所見選択部３０２は、支援対象となる症例の診断推論結果に応じて当該定義にマッチする所見を選択してもよい。

【0060】

レポート生成部３０３は、既知のマルコフ連鎖、ＬＳＴＭ（Long Short－Term Memory）などを用いた文章生成によりレポートを生成することも可能である。

【0061】

第１の変更部３０４は、音声入力により画像所見の値を変更してもよい。また、画像処理ワークステーションなど他の装置から取得した情報に基づき画像所見の内容（値）を変更してもよい。

【0062】

更新部３０５は、ユーザインタフェース画面におけるボタンクリック操作検出など、ユーザから指示を受けたタイミングで、更新の処理を実施してもよい。

【0063】

選択状態維持部３０６は、ファイルやＯＳが提供するレジストリなど、設定情報に基づき選択状態を維持する所見を判定してもよい。また、他のアプリケーションや装置から取得した情報に基づき選択状態を維持するか否かを判定してもよい。

【0064】

＜実施形態２＞
実施形態２の医用情報処理装置１０１は、実施形態１の医用情報処理装置１０１に、選択状態をユーザが変更する機能を追加したものであり、医用情報処理装置１０１は、ユーザが選択状態を変更した画像所見について、選択状態を維持するよう動作する。尚、本実施形態の医用情報処理装置１０１のシステム構成は図１を用いて説明した実施形態１と同様であり、ハードウェア構成は図２を用いて説明した実施形態１と同様であるため、説明を省略する。

【0065】

（機能ブロック）
図６は、本実施形態の医用情報処理装置１０１の機能構成を示す図である。図６において、本実施形態の医用情報処理装置１０１は、実施形態１の医用情報処理装置１０１の各機能ブロックに加えて第２の変更部６０１を有する。また、第２の変更部６０１の追加に応じて更新部３０５と選択状態維持部３０６とに一部動作が追加される。

【0066】

第２の変更部６０１は、複数の所見のうち少なくとも一つの所見に対する選択状態を、ユーザからの操作入力としてキーボード２０９やマウス２１０などの入力部からの指示（第３の指示）に基づき変更する。すなわち、第２の変更部６０１は、所見選択部３０２で選択された画像所見の選択状態を、ユーザ指示に基づき変更する。変更は、チェックボックスなど、ユーザインタフェース画面の操作に従い実施される。ユーザインタフェース画面については図７を用いて説明する。

【0067】

更新部３０５は、実施形態１の機能に加えて、第２の変更部６０１による選択状態の変更を受けて、変更された選択状態に基づきレポートを再度生成し更新する。すなわち、更新部３０５は、第１の変更部３０４による画像所見の値の変更、及び第２の変更部６０１による選択状態の変更を受けて、変更された画像所見と、変更されていない画像所見を用いてレポートを再度生成し更新する。

【0068】

選択状態維持部３０６は、実施形態１の機能に加えて、第２の変更部６０１により選択状態が変更された画像所見については、選択状態を維持するよう動作する。すなわち、選択状態維持部３０６は、更新部３０５によりレポートを更新する際に、画像所見がレポートの再生成に用いられるか否かの指定に基づいて、選択状態を維持するよう動作するが、この際に、第２の変更部６０１により選択状態が変更された画像所見については、選択状態を維持するよう動作する。

【0069】

（ユーザインタフェース画面）
図７は、本実施形態に係る医用情報処理装置１０１のユーザインタフェース画面４００の一例を示す図である。本実施形態のユーザインタフェース画面４００は、実施形態１の選択状態表示領域４０４（図４）が選択状態変更領域７０１に変更されている。

【0070】

選択状態変更領域７０１は、画像所見が、所見選択部３０２で選択されたか否かの選択状態を表示すると共に、選択状態の変更を指示する領域である。第２の変更部６０１は、複数の所見のうち少なくとも一つの所見に対する選択状態を、選択状態変更領域７０１（図７）に対する入力部（キーボード２０９やマウス２１０）からの指示（第３の指示）に基づき変更する。表示制御部（ＣＰＵ２０３及びディスプレイインタフェース２０６）は、入力部（キーボード２０９やマウス２１０）からの指示（第３の指示）を入力するための選択状態変更領域７０１をディスプレイ２０７に表示させる。

【0071】

図７の例では、チェックボックスの形式で表示されており、チェックボックスがチェックされていれば選択された画像所見を示し、チェックボックスがチェックされていなければ選択されない画像所見を示す。チェックボックスをマウス２１０でクリックすることで、チェックの有無と選択状態を変更できる。図７の例では、所見種別「全体形状」、「スピキュラ」、「鋸歯状辺縁」が選択されていることを示す。選択状態維持部３０６は、第２の変更部６０１により変更された選択状態を維持するように動作し、図７の例では、選択された所見種別（「全体形状」、「スピキュラ」、「鋸歯状辺縁」）の選択状態が維持される。

【0072】

（処理フロー）
図８は、本実施形態の医用情報処理装置１０１の処理の流れを示すフロー図である。本実施形態の処理フローは、実施形態１の処理フローにステップＳ８０１、ステップＳ８１１、ステップＳ８２１の処理が追加されており、以下追加された処理ステップについて説明する。

【0073】

ステップＳ８０１では、第２の変更部６０１が、選択状態変更領域７０１での操作により、画像所見の選択状態が変更されたか否かを判定する。画像所見の選択状態が変更されなかった場合（ステップＳ８０１のＮｏ）、ステップＳ５０６に処理を進め、画像所見の選択状態が変更された場合（ステップＳ８０１のＹｅｓ）、ステップＳ８１１に処理を進める。

【0074】

ステップＳ８１１では、更新部３０５が、変更された選択状態に基づき画像所見を選択し、選択された画像所見を用いてレポートを再度生成し、レポート表示領域４０５に表示するレポートの文章を更新し、ステップＳ５０６に処理を進める。

【0075】

ステップＳ８２１では、選択状態維持部３０６が、処理対象となる画像所見の選択状態が変更された画像所見であるか否かを判定する。選択状態が変更された画像所見である場合（ステップＳ８２１のＹｅｓ）、ステップＳ５１５に処理を進め、選択状態が変更された画像所見でない場合（ステップＳ８２１のＮｏ）、ステップＳ５１４に処理を進める。

【0076】

以上説明したように、本実施形態によれば、実施形態１に加えて、ユーザが、画像所見の選択状態を明示的に変更した場合には、画像所見のレポートへの記載の有無を維持した上で、レポートに用いる画像所見を更新し、レポートの文章を生成するよう動作する。これにより、所見の選択状態の設定として、レポートに記載する所見、あるいは、記載しない所見をユーザが設定することが可能な医用情報処理技術を提供することが可能になる。更に、明示的に選択状態を変更した画像所見については、選択状態維持の操作が不要となる。

【0077】

（実施形態２の変形例１）
第２の変更部６０１は、ユーザインタフェース画面４００からの入力に限られず、音声入力により画像所見の値を変更してもよい。また、医用情報処理システム１０に含まれる他の装置、あるいは他のシステムから取得した情報に基づき変更してもよい。

【0078】

選択状態維持部３０６は、第２の変更部６０１により選択状態が変更された画像所見の選択状態を維持する処理を、全所見に実施するか否か、所見毎に実施するか否かを切り替えてもよい。また、全所見に実施するかしないか否かをユーザが指定できてもよい。また、医用情報処理システム１０に含まれる他の装置、あるいは他のシステム他の装置から指定することも可能である。

【0079】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0080】

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

【符号の説明】

【0081】

１０：医用情報処理システム、１０１：医用情報処理装置、
１０２：症例データベース、１０３：ＬＡＮ、２０１：記憶媒体、
２０３：ＣＰＵ（制御部）、２０７：ディスプレイ、２０９：キーボード、
２１０：マウス（２０９及び２１０：入力部）、３０１：所見取得部、
３０２：所見選択部、３０３：レポート生成部、３０４：第１の変更部、
３０５：更新部、３０６：選択状態維持部、４０１：医用画像表示領域、
４０２：所見種別表示領域、４０３：所見値表示領域、
４０４：選択状態表示領域、４０５：レポート表示領域、
４０６：全所見維持指定領域、４０７：所見別維持指定領域、
６０１：第２の変更部、７０１：選択状態変更領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】