特許 7426908 医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-25

(45)【発行日】2024-02-02

(54)【発明の名称】医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240126BHJP

   G16H 30/40 20180101ALI20240126BHJP

【ＦＩ】

A61B5/00 D

G16H30/40

【請求項の数】 17

(21)【出願番号】P 2020107226

(22)【出願日】2020-06-22

(65)【公開番号】P2022001241

(43)【公開日】2022-01-06

【審査請求日】2023-05-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】菊地 徹

【審査官】▲高▼原 悠佑

(56)【参考文献】

【文献】特開２００８－０５２５４４（ＪＰ，Ａ）

【文献】特開２００１－１８７０４４（ＪＰ，Ａ）

【文献】特開２００９－２３８０３７（ＪＰ，Ａ）

【文献】特開２００９－０８２４４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／００３５９６３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００

Ｇ１６Ｈ ３０／４０

(57)【特許請求の範囲】

【請求項1】

診断の対象となる医用画像から症例に対する複数の所見を取得する所見取得手段と、
前記複数の所見のうち少なくとも一部の所見に基づいてレポートの記載を生成するレポート生成手段と、
特定の症例を検索する条件として指定された指定所見と、前記指定所見が前記レポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を用いて、前記指定所見が、前記レポートに記載された所見であるか、前記レポートに記載されていない所見であるかを区別して、複数の症例を記憶した記憶手段から前記特定の症例を検索する検索手段と、
を備えることを特徴とする医用情報処理装置。

【請求項2】

前記記憶手段は、前記レポートの記載に用いた前記所見を複数の症例ごとに特定する特定情報を記憶し、前記検索手段は、前記特定情報及び前記区別情報に基づいて前記特定の症例を検索することを特徴とする請求項１に記載の医用情報処理装置。

【請求項3】

前記レポートの記載に用いた前記所見を特定する前記特定情報を前記記憶手段に記憶する情報記憶手段と、
前記特定の症例を検索する条件として指定された前記指定所見と、前記指定所見が前記レポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を取得する条件取得手段と、
前記検索手段による検索結果を、前記検索条件とともに表示手段に表示する検索結果表示手段と、を更に備え、
前記検索結果表示手段は、前記検索結果として、前記指定所見に基づいて検索された所見が、前記レポートに記載された所見であるか、前記レポートに記載されていない所見であるかを区別して前記表示手段に表示することを特徴とする請求項２に記載の医用情報処理装置。

【請求項4】

前記複数の所見の中から、前記レポートの生成に用いる所見として少なくとも一部の所見を選択する第１の所見選択手段と、
前記レポートの生成に用いる所見を、ユーザからの指示に基づき選択する第２の所見選択手段と、
を更に備えることを特徴とする請求項３に記載の医用情報処理装置。

【請求項5】

前記情報記憶手段は、前記第１の所見選択手段で選択された所見と、前記第２の所見選択手段で選択された所見とを区別した第２の特定情報として前記記憶手段に記憶することを特徴とする請求項４に記載の医用情報処理装置。

【請求項6】

前記条件取得手段は、
前記指定所見と、
前記指定所見が前記第１の所見選択手段で選択された所見であるか、前記第２の所見選択手段で選択された所見であるか、前記レポートに記載されていない所見であるかを、それぞれ区別した第２の区別情報と、
を含む検索条件を取得することを特徴とする請求項５に記載の医用情報処理装置。

【請求項7】

前記検索手段は、
前記第２の特定情報と前記第２の区別情報とに基づき、前記指定所見が、前記第１の所見選択手段で選択された所見であるか、前記第２の所見選択手段で選択された所見であるか、前記レポートに記載されていない所見であるか、を区別して前記特定の症例を検索することを特徴とする請求項６に記載の医用情報処理装置。

【請求項8】

前記検索結果表示手段は、前記検索結果として、前記指定所見に基づいて検索された所見が、前記第１の所見選択手段で選択された所見であるか、前記第２の所見選択手段で選択された所見であるか、前記レポートに記載されていない所見であるか、を区別して前記表示手段に表示することを特徴とする請求項４に記載の医用情報処理装置。

【請求項9】

前記検索結果表示手段は、表示色及び表示サイズのうち少なくともいずれか一方の変更により区別して前記表示手段に前記所見を表示することを特徴とする請求項３または８に記載の医用情報処理装置。

【請求項10】

前記検索結果表示手段は、前記検索手段により検索された前記特定の症例を識別する情報と、前記特定の症例を代表する医用画像とを前記表示手段に表示することを特徴とする請求項３乃至９のいずれか１項に記載の医用情報処理装置。

【請求項11】

前記検索結果表示手段は、前記検索手段の検索結果のうち、前記指定所見の値は一致するが、前記第２の区別情報の条件に該当しない症例を、前記検索結果の参考情報として前記表示手段に表示することを特徴とする請求項６または７に記載の医用情報処理装置。

【請求項12】

前記第１の所見選択手段は、前記複数の所見から推定した診断名に対する各所見の影響度を算出し、前記影響度が予め定められた値以上である所見を選択することを特徴とする請求項４乃至８のいずれか１項に記載の医用情報処理装置。

【請求項13】

前記レポート生成手段は、前記所見を予め設定されたテンプレートに当てはめて前記レポートの記載を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の医用情報処理装置。

【請求項14】

前記所見取得手段は、前記診断の対象となる医用画像を取得し、前記医用画像を解析することで前記複数の所見を取得することを特徴とする請求項１乃至１３のいずれか１項に記載の医用情報処理装置。

【請求項15】

診断の対象となる医用画像から症例に対する複数の所見を取得する所見取得手段と、
前記複数の所見のうち少なくとも一部の所見に基づいてレポートの記載を生成するレポート生成手段と、
特定の症例を検索する条件として指定された指定所見と、前記指定所見が前記レポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を用いて、前記指定所見が、前記レポートに記載された所見であるか、前記レポートに記載されていない所見であるかを区別して、複数の症例を記憶した記憶手段から前記特定の症例を検索する検索手段と、
を備えることを特徴とする医用情報処理システム。

【請求項16】

所見取得手段が、診断の対象となる医用画像から症例に対する複数の所見を取得する所見取得ステップと、
レポート生成手段が、前記複数の所見のうち少なくとも一部の所見に基づいてレポートの記載を生成するレポート生成ステップと、
検索手段が、特定の症例を検索する条件として指定された指定所見と、前記指定所見が前記レポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を用いて、前記指定所見が、前記レポートに記載された所見であるか、前記レポートに記載されていない所見であるかを区別して、複数の症例を記憶した記憶手段から前記特定の症例を検索する検索ステップと、
を有することを特徴とする医用情報処理方法。

【請求項17】

コンピュータを、請求項１乃至１４のいずれか１項に記載の医用情報処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用情報処理装置、医用情報処理システム、医用情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

計算機で医用画像を解析した結果や、医師が作成した文書を用いて、類似する症例の検索を行う症例検索システムが知られている。

【0003】

特許文献１には、属性項目と、属性項目毎の文字情報から構成される情報とを相互に関連付けて構成したネットワーク情報に基づき、属性項目と文字情報をユーザに選択させることで、レポートの入力を支援し、属性項目に対する文字情報を指定して、レポートを検索する症例検索システムが開示されている。

【0004】

特許文献２には、検索条件として種文書と検索対象構造の入力を受け、種文書から特徴文字列を抽出し、抽出した特徴文字列と入力された構造の組み合わせと、データベースに保存された文書の特徴文字列と構造の組み合わせとの類似度を算出して、類似度の高い文書を検索結果として提示する検索装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－１９８９２８号公報

【文献】特開２００１－０１４３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

読影レポート等の文書には医師が診断の参考にした所見が記載されるが、読影レポートには記載されていなくても同様な所見を持つ症例は存在し得る。このため、類似症例を検索する際には、当該所見が読影レポートに記載された症例だけでなく、当該所見が読影レポートに記載されていない症例も検索できることが望ましい。更に、当該所見の読影レポートへの記載の有無を区別して検索できることが望ましい。すなわち、当該所見が読影レポートに記載された症例のみを検索したり、当該所見が読影レポートに記載されていない症例のみを検索したりできることが望ましい。

【0007】

しかしながら、特許文献１に記載の手法では、読影レポートに記載された所見でしか症例を検索できず、読影レポートには記載されていないが、同様な所見を持つ症例を検索できなかった。また、特許文献２に記載の手法では、所見が出現する構造を検索条件として指定することはできるが、読影レポートに記載されていない同様な所見を持つ症例を検索することはできなかった。

【0008】

本発明は、上記の課題に鑑み、検索の条件として指定された所見が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを区別して症例の検索を行うことが可能な医用情報処理技術の提供を目的とする。

【課題を解決するための手段】

【0009】

本発明の一態様に係る医用情報処理装置は、診断の対象となる医用画像から症例に対する複数の所見を取得する所見取得手段と、
前記複数の所見のうち少なくとも一部の所見に基づいてレポートの記載を生成するレポート生成手段と、
特定の症例を検索する条件として指定された指定所見と、前記指定所見が前記レポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を用いて、前記指定所見が、前記レポートに記載された所見であるか、前記レポートに記載されていない所見であるかを区別して、複数の症例を記憶した記憶手段から前記特定の症例を検索する検索手段と、を備えることを特徴とする。

【発明の効果】

【0010】

本発明によれば、検索の条件として指定された所見が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを区別して症例の検索を行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】実施形態１又は２に係る医用情報処理システムの構成を示す図。

【図2】実施形態１又は２に係る医用情報処理装置のハードウェア構成を示す図。

【図3】実施形態１又は２に係る医用情報処理装置の機能構成を示す図。

【図4】実施形態１に係る医用情報処理装置のユーザインタフェース画面の一例を示す図。

【図5】実施形態１に係る医用情報処理装置のレポート生成処理を示すフロー図。

【図6】実施形態１又は２に係る医用情報処理装置の検索処理を示すフロー図。

【図7】実施形態２に係る医用情報処理装置のユーザインタフェース画面の一例を示す図。

【図8】実施形態２に係る医用情報処理装置のレポート生成処理を示すフロー図。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

【0013】

＜実施形態１＞
実施形態１では、胸部Ｘ線ＣＴ（Computed Tomography）画像上の肺結節影に対する読影レポートを作成し、特定の症例（症例及び症例の類似症例）を検索する医用情報処理装置について説明する。

【0014】

本実施形態の医用情報処理装置は、まず、肺結節影の画像から画像所見を推定する。画像所見（以下、単に「所見」ともいう）とは肺結節の「全体形状」、「境界」、「辺縁」など、肺結節の性状を表す情報である。

【0015】

「全体形状」に関する画像所見は、「球形」、「分葉状形」、「多角形」、「楔形」、「扁平形」、「不整形」などの値をとる。「境界」に関する画像所見は、「明瞭」、「不明瞭」などの値をとり、「辺縁」に関する画像所見は「整」、「不整」などの値をとる。以降、「全体形状」、「境界」、「辺縁」などを画像所見の種別と記載し、「球形」、「明瞭」、「整」などを画像所見の値又は内容と記載する。画像所見の推定には、教師データで学習された既知のＣＮＮ（Convolutional Neural Network）を用いることが可能である。

【0016】

本実施形態の医用情報処理装置は、推定された画像所見を用いて診断名を推定する。診断名は、例えば、「良性肺結節」、「原発性肺癌」、「転移性肺癌」などであり、診断名の推定には、教師データで学習された既知のＢｙｅｓｉａｎ Ｎｅｔｗｏｒｋを用いることが可能である。また、医用情報処理装置は、診断名を推定する際に、推定した診断名に対する、入力された個々の画像所見の影響度を算出する。そして、医用情報処理装置は、影響度が所定値を超える画像所見を選定し、選定した画像所見と診断名をテンプレートに当てはめてレポート（以下、「読影レポート」ともいう）を自動生成する。更に、既知のＲＤＢ（Relational Database）に、推定した画像所見、診断名、自動生成したレポートをレコードとするテーブルに蓄積する。

【0017】

（医用情報処理システムの構成）
図１は、本実施形態の医用情報処理装置を含む医用情報処理システム１０の構成を示す図である。図１に示すように、医用情報処理システム１０は、症例データベース（以降、「症例ＤＢ」と呼ぶ）１０２、医用情報処理装置１０１、ＬＡＮ（Local Area Network）１０３を有する。

【0018】

症例ＤＢ１０２は、Ｘ線ＣＴ装置など医用画像を撮像する装置で撮影された医用画像と、その医用画像に付随する医用情報、複数の症例を記憶する記憶部として機能する。症例ＤＢ１０２は、更に、ＬＡＮ１０３を介して、医用情報を用いて医用画像を検索し、医用画像を取得するデータベース機能を提供する。データベース機能には、既知のＲＤＢを用いることが可能である。

【0019】

（ハードウェア構成）
図２は、本実施形態の医用情報処理装置１０１のハードウェア構成を示す図である。図２において、医用情報処理装置１０１は、記憶媒体２０１、ＲＯＭ（Read Only Memory）２０２、ＣＰＵ（Central Processing Unit）２０３、ＲＡＭ（Random Access Memory）２０４を有する。更に、医用情報処理装置１０１は、ＬＡＮインタフェース２０５、入力インタフェース２０８、ディスプレイインタフェース２０６、内部バス２１１を有する。

【0020】

記憶媒体２０１は、ＯＳ（Operating System）や本実施形態に係る各種処理を行うための処理プログラムや、各種情報を記憶するＨＤＤ（Hard Disk Drive）等の記憶媒体である。ＲＯＭ２０２はＢＩＯＳ（Basic Input Output System）等、ハードウェアを初期化しＯＳを起動するためのプログラムを記憶する。ＣＰＵ２０３は、ＢＩＯＳやＯＳ、処理プログラムを実行する際の演算処理を行う。ＲＡＭ２０４は、ＣＰＵ２０３がプログラムを実行する際の情報を一時記憶する。ＬＡＮインタフェース２０５は、ＩＥＥＥ（Institute OF Electrical AND Electronics Engineers）８０２．３ａｂ等の規格に対応し、ＬＡＮ１０３を介して通信を行うためのインタフェースである。

【0021】

ディスプレイ２０７はユーザインタフェース画面を表示し、ディスプレイインタフェース２０６はディスプレイ２０７に表示する画面情報を信号に変換し、ディスプレイ２０７に出力する。ＣＰＵ２０３及びディスプレイインタフェース２０６はディスプレイ２０７の表示を制御する表示制御部として機能する。キーボード２０９はキー入力を行い、マウス２１０は画面上の座標位置を指定及びボタン操作の入力を行い、入力インタフェース２０８は、キーボード２０９及びマウス２１０からの信号を受信する。内部バス２１１は、各ブロック間で通信を行う際に信号の伝送を行う。

【0022】

（機能構成）
図３は、本実施形態の医用情報処理装置１０１の機能構成を示す図である。図３に示す機能構成において、医用情報処理装置１０１は、所見取得部３０１、所見選択部３０２、レポート生成部３０３、選択情報記憶部３０４、検索条件取得部３０５、検索部３０６、検索結果表示部３０７を有する。これらの機能ブロックは、医用情報処理装置１０１の制御部として機能するＣＰＵ２０３が記憶媒体２０１から読み込んだ処理プログラムを実行することで実現することができる。各機能ブロックの構成は、同様の機能を果たすのであれば、それらは集積回路などで構成してもよい。

【0023】

症例ＤＢ１０２には、医用画像データ群３１１、所見テーブル３１２、レポートテーブル３１３、所見選択情報テーブル３１４が保存されている。医用画像データ群３１１は複数の症例の医用画像データを記憶する。所見テーブル３１２、レポートテーブル３１３、所見選択情報テーブル３１４は、各々、ＲＤＢのテーブルであり、１つの症例を１つのレコードとして、複数の症例の各情報を記憶する。ここで、所見選択情報とは、レポートの記載に用いた所見を特定するための情報である。尚、以降では、レポートの記載に用いた所見を、レポートに記載した所見とも呼ぶ。

【0024】

所見取得部３０１は、診断の対象となる医用画像から症例に対する複数の画像所見を取得する。所見取得部３０１は、診断の対象となる医用画像を取得し、医用画像を解析することで複数の所見を取得する。具体的には、所見取得部３０１は、医用画像データ群３１１から診断の対象となる医用画像を取得し、取得した医用画像からＣＮＮを用いて病変に対する複数の画像所見を推定する。推定する画像所見は複数の種別の画像所見の値である。１つのＣＮＮで１つの画像所見を推定しても、１つのＣＮＮで複数の画像所見を推定してもよい。所見取得部３０１は、取得した画像所見を、所見テーブル３１２に記憶する。

【0025】

所見選択部３０２（第１の所見選択部）は、所見取得部３０１で取得した複数の画像所見の中から、レポートの生成に用いる画像所見として、複数の画像所見の一部を選択する。画像所見の選択では、最初に画像所見から診断名を推定する。次に、所見選択部３０２は、推定した診断名に対する各画像所見の影響度を算出する。最後に、所見選択部３０２は、算出した影響度が予め定められた値以上である画像所見をレポートの生成に用いる画像所見として選択する。ここで、所見選択部３０２は、診断名の推定に、Ｂｙｅｓｉａｎ Ｎｅｔｗｏｒｋを用いることが可能である。ここで、影響度は、画像所見を入力しない場合の診断名推定結果の尤度と、画像所見を個々に入力した場合の診断名推定結果の尤度との差である。

【0026】

レポート生成部３０３は、選択された複数の所見のうち少なくとも一部の所見に基づいて、症例に関するレポートの記載を生成する。レポート生成部３０３は、所見選択部３０２で選択された画像所見を、予め設定されたテンプレートに当てはめてレポートの文章の記載を生成する。例えば、「右肺に｛Ｘ｝の結節を認めます。｛Ｙ｝を伴います。」というテンプレートに、｛Ｘ｝＝「不整形」、｛Ｙ｝＝「スピキュラ」、「鋸歯状辺縁」という所見を当てはめると、レポート生成部３０３は、「右肺に不整形の結節を認めます。スピキュラ、鋸歯状辺縁を伴います。」というレポートの文章を生成する。レポート生成部３０３は、生成したレポートを、レポートテーブル３１３に記憶する。尚、上記のテンプレート及び画像所見は一例でありこれに限られるものではない。

【0027】

選択情報記憶部３０４は、レポートの記載に用いた所見を特定する特定情報を症例ＤＢ１０２（記憶部）の所見選択情報テーブル３１４に記憶する。すなわち、選択情報記憶部３０４は、所見選択部３０２で選択された画像所見を特定するための情報である選択情報（「特定情報」ともいう）を所見選択情報テーブル３１４に記憶する。選択情報は、全ての画像所見の各々に、選択された画像所見であるか否かを示すフラグ（「１」または「０」の情報）を設けた情報である。

【0028】

検索条件取得部３０５は、検索条件情報を取得する。検索条件取得部３０５は、特定の症例（症例及び症例の類似症例）を検索する検索条件（以下、「検索条件情報」ともいう）として指定された指定所見と、指定所見がレポートに記載された所見であるか否か（すなわち、指定所見がレポートの生成に用いられたか否か）を区別する区別情報とを含む検索条件を取得する。ここで、検索条件情報には、特定の症例（症例及び症例の類似症例）を検索する際のキーとなる画像所見（指定所見）の種別と値、更に、その画像所見がレポートに用いられたか否かを示すフラグ（区別情報）が含まれる。検索条件取得部３０５は、検索条件情報を、図４で説明するユーザインタフェース画面を介して取得する。

【0029】

検索部３０６は、検索条件取得部３０５で取得された検索条件情報に従い、所見テーブル３１２、所見選択情報テーブル３１４を用いて特定の症例（症例及び症例の類似症例）の検索を行う。検索部３０６は、画像所見を特定するための情報である選択情報（特定情報）と区別情報とに基づき、検索する際のキーとなる画像所見（指定所見）が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを区別して、症例ＤＢ１０２（記憶部）から特定の症例（症例及び症例の類似症例）を検索する。具体的には、検索部３０６は、特定の症例（症例及び症例の類似症例）を検索する際のキーとなる画像所見の種別と値に加えて、その画像所見がレポートに用いられたか否かを区別して、当該所見がレポートに用いられた症例と用いられていない症例の両方を用いて検索する。検索部３０６は、検索処理の実行の際にＲＤＢを用いて検索を行う。

【0030】

尚、本実施形態では、特定の症例（症例及び症例の類似症例）の検索として、類似症例を検索する例を以下に説明するが、本発明は、一般的な症例検索でも同様に適用可能であり、類似症例の検索に限られるものではない。

【0031】

すなわち、検索部３０６は、特定の症例（症例及び症例の類似症例）を検索する条件として指定された指定所見と、指定所見がレポートに記載された所見であるか否かを区別する区別情報とを含む検索条件を用いて、指定所見が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを区別して、複数の症例を記憶した記憶部（症例ＤＢ１０２）から特定の症例を検索する。ここで、記憶部（症例ＤＢ１０２）は、レポートの記載に用いた所見を複数の症例ごとに特定する特定情報を記憶し、検索部３０６は、特定情報及び区別情報に基づいて特定の症例（症例及び症例の類似症例）を検索する。

【0032】

検索結果表示部３０７は、検索部３０６による検索結果を、検索条件取得部３０５で取得した検索条件情報とともにディスプレイ２０７（表示部）に表示する。検索結果表示部３０７は、図４を用いて説明するユーザインタフェース画面上の所定の領域に、検索部３０６による検索結果、及び検索条件取得部３０５で取得した検索条件情報を表示するように表示制御する。

【0033】

（ユーザインタフェース画面）
図４は、本実施形態に係る医用情報処理装置１０１のユーザインタフェース画面４００の一例を示す図である。ユーザインタフェース画面４００はディスプレイ２０７に表示され、ユーザインタフェース画面４００に対する操作はキーボード２０９やマウス２１０により行われる。ＣＰＵ２０３及びディスプレイインタフェース２０６は表示制御部として機能して、ディスプレイ２０７の表示を制御する。

【0034】

図４において、ユーザインタフェース画面４００は、検索条件指定領域４０１、検索結果表示領域４０２、検索実行ボタン４０３を有する。

【0035】

検索条件指定領域４０１は、検索条件を指定するための領域であり、所見種別表示領域４１１、所見値指定領域４１２、レポート記載指定領域４１３から構成される。

【0036】

所見種別表示領域４１１には、画像所見の種別が表示される。ここで、画像所見の種別とは「全体形状」、「境界」、「スピキュラ」、「鋸歯状辺縁」、「気管支透亮像」などが含まれる。

【0037】

所見値指定領域４１２では、所見種別表示領域４１１に表示された所見種別に対応する画像所見の値を指定する。所見値指定領域４１２の各行は、プルダウンメニューとなっている。例えば、所見値が「不整形」と表示されている右側のアイコン（黒三角印）をマウス２１０でクリックすると、「球形」、「分葉状形」、「多角形」、「楔形」、「扁平形」、「不整形」など、所見種別「全体形状」で取り得る画像所見の所見値（値）の一覧が候補表示として表示される。候補表示の中から１つの画像所見の所見値（値）をマウス２１０でクリックして選択することで、クリックした画像所見の所見値（値）を指定できる。

【0038】

レポート記載指定領域４１３では、所見種別表示領域４１１に表示された所見種別の画像所見が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを指定する。レポート記載指定領域４１３の各行には、チェックボックスが２つ設けられている。「有」と表示された列のチェックボックスをチェックすると、該当する所見について、レポートに記載された症例が検索部３０６により検索され、「無」と表示されたチェックボックスをチェックすると、レポートに記載されていない症例が検索部３０６により検索される。「有」及び「無」の双方にチェックすると、レポートに記載された症例及びレポートに記載されていない症例について検索される。図４の例では、「全体形状」が「不整形」、「境界」が「明瞭」（レポートに記載）、「スピキュラ」が「あり」（レポートへの記載は不問）、「鋸歯状辺縁」が「あり」（レポートには未記載）という条件を満たす症例が検索される。

【0039】

検索結果表示領域４０２は、検索結果を表示するための領域であり、症例ＩＤ表示領域４２１、画像表示領域４２２、所見表示領域４２３、レポート表示領域４２４を有する。症例ＩＤ表示領域４２１には、検索された症例（類似症例）を一意に識別する識別情報（識別子）が表示される。

【0040】

画像表示領域４２２には、検索された症例の医用画像が表示される。検索結果表示部３０７は、検索部３０６により検索された類似症例を識別する情報をディスプレイ２０７の症例ＩＤ表示領域４２１に表示し、類似症例を代表する医用画像をディスプレイ２０７の画像表示領域４２２に表示する。ここで、医用画像は、医用画像データ群３１１から取得した医用画像である。所見取得部３０１は、医用画像データ群３１１から複数の医用画像を取得し、医用画像が複数の断層画像からなる場合は、ユーザが予め指定した症例を代表する画像が表示される。

【0041】

所見表示領域４２３には、検索された症例の画像所見が表示される。画像所見は、所見テーブル３１２から取得した画像所見である。レポート表示領域４２４には、検索された症例のレポートが表示される。レポートは、レポートテーブル３１３から取得したレポートである。

【0042】

検索結果表示部３０７は、検索結果として、指定所見に基づいて検索された所見表示領域４２３の所見（所見１、所見２、所見３・・・）が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを区別して表示する。

【0043】

検索実行ボタン４０３は、検索条件指定領域４０１で指定された検索条件に従う検索の実行を指示するためのボタンである。検索実行ボタン４０３をマウス２１０でクリックすることにより検索が実行され、実行した検索の結果が検索結果表示領域４０２に表示される。

【0044】

（レポート生成処理フロー）
図５は、本実施形態に係る医用情報処理装置１０１のレポート生成処理の流れを示すフロー図である。レポート生成処理は、医用情報処理装置１０１の起動後に、医用情報処理システム１０に含まれる他の装置、あるいは他のシステム、或いはユーザによる指示に基づき開始される。処理を開始する際には、処理の対象となる症例が指定される。

【0045】

ステップＳ５０１では、所見取得部３０１が、ＬＡＮ１０３（ネットワーク）を介して、医用画像データ群３１１から対象となる症例の医用画像を取得する。

【0046】

ステップＳ５０２では、所見取得部３０１が、ステップＳ５０１で取得した医用画像から画像所見を推定し、推定した所見を所見テーブル３１２に記憶する。

【0047】

ステップＳ５０３では、所見選択部３０２が、ステップＳ５０２で取得した画像所見からレポートの生成に用いる画像所見を選択する。

【0048】

ステップＳ５０４では、選択情報記憶部３０４が、ステップＳ５０３で選択した画像所見に基づき、レポートに記載された所見（レポートの生成に用いられた画像所見）を特定する所見選択情報を所見選択情報テーブル３１４に記憶する。

【0049】

ステップＳ５０５では、レポート生成部３０３が、ステップＳ５０３で選択した画像所見を用いてレポートの文章を生成し、生成したレポートの文章をレポートテーブル３１３に記憶する。

【0050】

ステップＳ５０６では、ＯＳが、本処理の終了の有無を判定する。終了が検出された場合（ステップＳ５０６のＹｅｓ）、処理を終了し、終了が検出されない場合（ステップＳ５０６のＮｏ）、ステップＳ５０１に処理を戻し、同様の処理を繰り返す。

【0051】

（検索処理フロー）
図６は、本実施形態に係る医用情報処理装置１０１の検索処理の流れを示すフロー図である。検索処理は、医用情報処理装置１０１の起動後に、医用情報処理システム１０に含まれる他の装置、あるいは他のシステム、或いはユーザによる指示に基づき開始される。

【0052】

ステップＳ６０１では、検索部３０６が、検索の実行が指示されたか否かを判定する。検索の実行は、マウス２１０で検索実行ボタン４０３がクリックされることで指示される。検索の実行が指示された場合（ステップＳ６０１のＹｅｓ）、ステップＳ６１１へ進み、指示されない場合（ステップＳ６０１のＮｏ）、ステップＳ６０２へ進む。

【0053】

ステップＳ６０２では、ＯＳが、本処理の終了の有無を判定する。終了が検出された場合（ステップＳ６０２のＹｅｓ）、処理を終了し、終了が検出されない場合（ステップＳ６０２のＮｏ）、ステップＳ６０１に処理を戻し、同様の処理を繰り返す。

【0054】

ステップＳ６１１では、検索条件取得部３０５が、検索条件情報を取得する。検索条件情報は、検索のキーとなる画像所見の種別と値、および当該画像所見がレポートに記載されているか否かを指定する情報（区別情報）であり、検索条件取得部３０５は、検索条件情報を、図４のユーザインタフェース画面における検索条件指定領域４０１を介して取得する。

【0055】

ステップＳ６１２では、検索部３０６が、ステップＳ６１１で取得した検索条件情報に基づき、症例ＤＢ１０２で症例の検索を行う。検索部３０６は、検索条件取得部３０５で取得された検索条件情報に従い、症例ＤＢ１０２における所見テーブル３１２、所見選択情報テーブル３１４を用いて類似症例の検索を行う。

【0056】

ステップＳ６１３では、検索結果表示部３０７が、ステップＳ６１２による検索の結果を検索結果表示領域４０２に表示する。ここで、検索結果表示部３０７は、検索部３０６による検索結果を、検索条件取得部３０５で取得した検索条件情報とともに検索結果表示領域４０２に表示する。

【0057】

以上説明したように、本実施形態によれば、画像所見で症例を検索する際に、検索条件として画像所見を指定すると共に、当該画像所見がレポートに記載されているか否かを指定して検索処理を実行する。これにより、レポートに記載された画像所見と記載されていない画像所見とをユーザが区別して症例の検索を行うことが可能となる。

【0058】

（実施形態１の変形例）
医用情報処理装置１０１は、腹部、乳腺、頭部など、胸部以外の部位の画像を対象としてもよい。また、ＭＲＩ（Magnetic Resonance Imaging）、超音波、単純Ｘ線などＸ線ＣＴ以外の装置で撮像された医用画像を対象としてもよい。また、病変は肺結節に限られず、びまん性肺疾患、乳腺腫瘤、肝腫瘤など肺結節以外の病変を対象としてもよい。また、病理診断、臨床診断など、画像診断以外の診断を対象としてもよい。この場合、所見は、画像所見でなく、視診、触診、血液検査などの臨床所見、病理所見など、対象とする診断に応じた所見を対象とすることができる。また、生成するレポートは、病理診断レポート、カルテなど、読影レポート以外の文書で用いるテキスト情報でもよい。

【0059】

所見取得部３０１は、画像特徴量を算出してＳＶＭ（Support Vector Machine）で推定するなど、ＣＮＮに限られず、他の機械学習による方法で所見を取得してもよい。また、画像処理ワークステーションなどの他の装置から取得してもよい。また、ユーザインタフェース画面を介して、ユーザが入力してもよい。また、自然文などのテキスト情報から抽出してもよい。

【0060】

所見選択部３０２は、診断名をＤＮＮ（Deep Neural Network）で推論し、推論結果に対する各入力ノードの勾配を算出し、勾配の大きさを影響度として、レポートの生成に用いる画像所見を選定してもよい。また、全所見を入力とし、選択された所見を出力とした教師データを作成し、当該教師データを機械学習した選定器により選定してもよい。また、全所見を入力とし、選択される所見を出力とするルールベースを構築し、ルールベースにより選定してもよい。

【0061】

レポート生成部３０３は、既知のマルコフ連鎖、ＬＳＴＭ（Long Short-Term Memory）などを用いた文章生成によりレポートの記載を生成することも可能である。

【0062】

選択情報記憶部３０４は、所見選択情報を、所見テーブル３１２の属性項目として記憶してもよい。また、当該情報を症例ＤＢ１０２とは異なる装置や記憶媒体に記憶してもよい。

【0063】

検索条件取得部３０５は、レポートへの記載の有無を、設定ファイルや設定データから取得してもよい。また、検索条件取得部３０５は、音声入力によりレポートへの記載の有無を取得してもよい。また、設定ファイルや設定データに従い、検索条件取得部３０５は、レポートへの記載の有無の何れか一方を、全ての画像所見に対して適用して取得してもよい。

【0064】

検索結果表示部３０７は、画像所見の値は検索条件と同じであるが、レポートへの記載の有無に関する条件が異なる症例を、参考情報として、検索結果と合わせて表示してもよい。また、検索結果表示部３０７は、レポートへの記載の有無に基づき、画像所見の各々を異なる態様（例えば、表示色及び表示サイズのうち少なくともいずれか一方の変更により区別した態様）で検索結果表示領域４０２の表示を制御してもよい。

【0065】

＜実施形態２＞
実施形態２の医用情報処理装置１０１は、実施形態１の医用情報処理装置１０１に、ユーザがレポートの生成に用いる画像所見を指定する機能を追加したものである。更に、本実施形態の医用情報処理装置１０１は、自動的にレポートに記載された所見、ユーザの指定により手動でレポートに記載された所見、レポートに記載されていない所見を区別して検索する。尚、本実施形態の医用情報処理装置１０１のシステム構成は図１を用いて説明した実施形態１と同様であり、ハードウェア構成は図２を用いて説明した実施形態１と同様であるため説明を省略する。

【0066】

（機能ブロック）
実施形態２の医用情報処理装置１０１の機能ブロックは、図３を用いて説明した実施形態１と同様の構成である。実施形態１において、図３の所見選択部３０２は、画像所見から診断名を推定し、推定した診断名に対する各画像所見の影響度を算出し、算出した影響度が予め定められた値以上である画像所見をレポートの記載の生成に用いる画像所見として選択する処理を行う。本実施形態において、所見選択部３０２は、レポートの生成に用いる画像所見を、診断名推論への影響度に基づき選択するのみでなく、不図示のユーザインタフェース画面を介したユーザからの指示に基づき選択する。

【0067】

選択情報記憶部３０４は、所見選択部３０２で選択された画像所見を特定するための情報である選択情報（特定情報）を所見選択情報テーブル３１４に記憶するが、本実施形態では、選択情報記憶部３０４は、レポートに用いられた画像所見を特定する情報に加えて、ユーザからの指示に基づく選択であるかを特定する情報も、所見選択情報テーブル３１４に記憶する。

【0068】

検索条件取得部３０５は、画像所見の種別と値、当該所見がレポートに記載された所見であるか、記載されていない所見であるかに加えて、ユーザからの指示に基づきレポートに記載された所見であるかの指定も検索条件情報として取得する。

【0069】

検索部３０６は、検索条件取得部３０５で取得された検索条件情報に従い、画像所見の種別と値、その画像所見がレポートに記載されたか、記載されていないかの指定に加えて、ユーザからの指示に基づきレポートに記載されたかを区別して類似症例の検索を行う。

【0070】

検索結果表示部３０７は、検索部３０６による検索結果を、検索条件取得部３０５で取得した検索条件情報とともに表示する。また、検索結果表示部３０７は、検索条件情報と検索結果に加えて、ユーザから指定された値の画像所見を持つが、レポートへの記載に関する条件が検索条件に該当しない症例を参考情報としてユーザインタフェース画面に表示する。ユーザインタフェース画面については、図７を用いて説明する。

【0071】

（ユーザインタフェース画面）
図７は、実施形態２に係る医用情報処理装置１０１のユーザインタフェース画面７００の一例を示す図である。実施形態１のユーザインタフェース画面（図４）では、レポート記載指定領域４１３の各行には、所見種別表示領域４１１に表示された所見種別の画像所見が、レポートに記載された所見であるか、レポートに記載されていない所見であるかを指定するためのチェックボックスが２つ設けられている。

【0072】

実施形態２のユーザインタフェース画面７００では、実施形態１のレポート記載指定領域４１３が、ユーザからの指示に基づきレポートに記載された所見であるのかも指定可能なレポート記載指定領域７２１に変更されている。また、実施形態２のユーザインタフェース画面７００には、参考情報表示領域７０１も追加される。

【0073】

レポート記載指定領域７２１は、指定する画像所見が、影響度に基づき自動で選択されてレポートに記載された所見であるか、ユーザからの指示に基づき選択されてレポートに記載された所見であるか、レポートに記載されていない所見であるかを指定することができるように構成されている。すなわち、レポート記載指定領域７２１には、自動的にレポートに記載された所見（「自動」）、ユーザの指定により手動でレポートに記載された所見（「手動」）、レポートに記載されていない所見（「無」）を区別して検索条件を設定できるによう、レポート記載指定領域７２１の各行にはチェックボックスが３つ設けられている。

【0074】

「自動」と表示された列のチェックボックスをチェックすると、当該所見が自動で選択されレポートに記載された症例が検索部３０６により検索される。また、「手動」と表示された列のチェックボックスをチェックするとユーザからの指示に基づき選択されてレポートに記載された症例が検索部３０６により検索される。そして、「無」と表示された列のチェックボックスをチェックするとレポートに記載されていない症例が検索部３０６により検索される。

【0075】

図７の例では、「全体形状」が「不整形」（ユーザ指示でレポート記載）、「境界」が「明瞭」（自動的にレポート記載）、「スピキュラ」が「あり」（レポート記載不問）、「鋸歯状辺縁」が「あり」（レポート未記載）の症例が検索される。

【0076】

検索結果表示部３０７は、検索条件として指定された値の画像所見を持つが、レポートへの記載に関する条件が検索条件に該当しない症例を参考情報として参考情報表示領域７０１に表示する。参考情報表示領域７０１において、領域７１１は当該症例の症例ＩＤを表示する領域であり、領域７１２は当該症例の医用画像を表示する領域である。また、領域７１３は当該症例の画像所見を表示する領域であり、領域７１４は当該症例のレポートを表示する領域である。

【0077】

（レポート生成処理フロー）
図８は、本実施形態に係る医用情報処理装置１０１のレポート生成処理の流れを示すフロー図である。本実施形態の処理フローは、実施形態１の図５で説明した処理フローにステップＳ８０１が追加されている。

【0078】

ステップＳ８０１では、所見選択部３０２が、不図示のユーザインタフェース画面を介したユーザからの指示に基づき、レポートの生成に用いる画像所見を選択する。本実施形態では、所見選択部３０２及びユーザインタフェース画面は、レポートの生成に用いる所見を、ユーザからの指示に基づき選択する第２の所見選択部として機能する。

【0079】

ステップＳ５０４では、選択情報記憶部３０４が、ステップＳ５０３で選択された画像所見に基づき、レポートに記載された所見（レポートの生成に用いられた画像所見）を特定する所見選択情報を所見選択情報テーブル３１４に記憶する。本実施形態では、更に、選択情報記憶部３０４は、ステップＳ８０１において、ユーザの指示により選択された画像所見を、ステップＳ５０３で選択された画像所見と区別した情報（第２の特定情報）を所見選択情報テーブル３１４に記憶する。選択情報記憶部３０４は、所見選択部３０２（第１の所見選択部）で選択された所見と、所見選択部３０２及びユーザインタフェース画面（第２の所見選択部）で選択された所見とを区別した第２の特定情報として所見選択情報テーブル３１４に記憶する。

【0080】

（検索処理フロー）
本実施形態に係る医用情報処理装置１０１の検索処理フローは、図６を用いて説明した実施形態１と同様である。

【0081】

ステップＳ６１１では、検索条件取得部３０５が、検索条件指定領域４０１（図７）を介して、検索条件情報を取得するが、本実施形態では、更に、レポート記載指定領域７２１におけるユーザの指示に基づきレポートに記載された所見であるのかの指定も取得する。すなわち、検索条件取得部３０５は、
検索条件指定領域４０１を介して、症例の類似症例を検索する条件として指定された指定所見と、指定所見が所見選択部３０２（第１の所見選択部）で選択された所見であるか、所見選択部３０２及びユーザインタフェース画面（第２の所見選択部）で選択された所見であるか、レポートに記載されていない所見であるかを、それぞれ区別した第２の区別情報（レポート記載指定領域７２１で指定された情報）と、を含む検索条件を取得する。

【0082】

ステップＳ６１２では、検索部３０６は、ステップＳ６１１で取得した検索条件情報に従い、画像所見の種別と値、その画像所見がレポートに記載されたか、記載されていないかの指定に加えて、検索条件情報として指定された所見がユーザ指示に基づきレポートに記載された症例を区別して検索する。検索部３０６は、ステップＳ５０４の第２の特定情報と、ステップＳ６１１の第２の区別情報とに基づき、指定所見が、所見選択部３０２（第１の所見選択部）で選択された所見であるか、所見選択部３０２及びユーザインタフェース画面（第２の所見選択部）で選択された所見であるか、レポートに記載されていない所見であるか、を区別して類似症例を検索する。

【0083】

また、ステップＳ６１３では、検索結果表示部３０７は、ステップＳ６１２による検索の結果を検索結果表示領域４０２に表示するが、更に、検索条件として指定された値の画像所見を持つが、レポートへの記載に関する条件が検索条件に該当しない症例を参考情報として参考情報表示領域７０１に表示する。

【0084】

検索結果表示部３０７は、検索結果として、指定所見に基づいて検索された所見表示領域４２３の所見（所見１、所見２、所見３・・・）が、所見選択部３０２（第１の所見選択部）で選択された所見であるか、所見選択部３０２及びユーザインタフェース画面（第２の所見選択部）で選択された所見であるか、レポートに記載されていない所見であるか、を区別して表示する。

【0085】

検索結果表示部３０７は、検索部３０６の検索結果のうち、指定所見の値は一致するが、第２の区別情報の条件に該当しない症例を、検索結果の参考情報として参考情報表示領域７０１に表示する。

【0086】

以上説明したように、本実施形態によれば、画像所見で症例を検索する際に、検索条件として画像所見を指定すると共に、当該画像所見が自動でレポートに記載されたのか、ユーザ指示でレポートに記載されたのか、記載されていないのかを指定して検索処理を実行する。これにより、レポートに自動で記載された画像所見と、ユーザの指定により手動でレポートに記載された画像所見と、記載されていない画像所見とを区別した症例の検索が可能となる。

【0087】

（実施形態２の変形例）
所見選択部３０２は、所見取得部３０１で取得した複数の画像所見の中から、レポートの生成に用いる画像所見を、音声入力によるユーザ指示に基づき選択してもよい。また、医用情報処理システム１０に含まれる他の装置、あるいは他のシステムを介してレポートの生成に用いる画像所見を指定してもよい。また、レポートの生成に用いる画像所見を予め設定した設定データを介して指定してもよい。また、所見選択部３０２は、所見取得部３０１で取得した複数の画像所見の中から、ユーザが定義した条件に合致する画像所見を選択してもよい。

【0088】

選択情報記憶部３０４は、所見選択部３０２で選択された画像所見以外に、ユーザ指示によりレポートの記載に用いた画像所見を特定するための情報を、所見テーブル３１２の属性項目として記憶してもよい。また、所見テーブル３１２以外に、新たなテーブルを定義して、ユーザ指示によりレポートの記載に用いた画像所見を特定するための情報を記憶してもよい。また、症例ＤＢ１０２とは異なるデータベースや記憶領域に記憶してもよい。また、検索結果表示部３０７は、ユーザ指示によるレポートへの記載の有無に基づき、画像所見の各々を異なる様態（例えば、表示色及び表示サイズのうち少なくともいずれか一方の変更により区別した態様）で検索結果表示領域４０２の表示を制御してもよい。

【0089】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0090】

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

【符号の説明】

【0091】

１０：医用情報処理システム、１０１：医用情報処理装置、
１０２：症例データベース、１０３：ＬＡＮ、２０１：記憶媒体、
２０３：ＣＰＵ（制御部）、２０７：ディスプレイ、２０９：キーボード、
２１０：マウス（２０９及び２１０：入力部）、３０１：所見取得部、
３０２：所見選択部、３０３：レポート生成部、３０４：選択情報記憶部、
３０５：検索条件取得部、３０６：検索部、３０７：検索結果表示部、
４００：ユーザインタフェース画面、４０１：検索条件指定領域、
４０２：検索結果表示領域、４０３：検索実行ボタン、
７００：ユーザインタフェース画面、７０１：参考情報表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】