特許 7368592 文書作成支援装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】文書作成支援装置、方法およびプログラム

(51)【国際特許分類】

   G16H 15/00 20180101AFI20231017BHJP

【ＦＩ】

G16H15/00

【請求項の数】 8

(21)【出願番号】P 2022503727

(86)(22)【出願日】2021-02-25

(86)【国際出願番号】 JP2021007207

(87)【国際公開番号】W WO2021172477

(87)【国際公開日】2021-09-02

【審査請求日】2022-06-30

(31)【優先権主張番号】P 2020029705

(32)【優先日】2020-02-25

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】中村 佳児

【審査官】玉木 宏治

(56)【参考文献】

【文献】特開２０１９－１４９００５（ＪＰ，Ａ）

【文献】特表２０１８－５３２２０９（ＪＰ，Ａ）

【文献】特開２０１８－１４７２７５（ＪＰ，Ａ）

【文献】特開２００６－２６０３１８（ＪＰ，Ａ）

【文献】特開２０１５－０９７１２７（ＪＰ，Ａ）

【文献】特開２００５－１９００５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

Ｇ０６Ｑ ５０／２２

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示するように構成される文書作成支援装置。

【請求項2】

前記プロセッサは、前記対応づけた結果を保存するように構成される請求項１に記載の文書作成支援装置。

【請求項3】

前記プロセッサは、医用画像を解析することにより、前記診断ガイドラインの項目に対応する解析結果を導出し、該解析結果に基づいて前記読影レポートを生成し、
前記解析結果を用いて、前記読影レポートにおける前記診断ガイドラインの項目に対応する部分を特定するように構成される請求項１または２に記載の文書作成支援装置。

【請求項4】

前記プロセッサは、前記診断ガイドラインにおいて、前記読影レポートにない項目を特定して表示するように構成される請求項１から３のいずれか１項に記載の文書作成支援装置。

【請求項5】

前記診断ガイドラインは、病期の情報を含み、
前記プロセッサは、前記読影レポートにおける前記診断ガイドラインの病期の情報を特定するように構成される請求項１から４のいずれか１項に記載の文書作成支援装置。

【請求項6】

前記病期の情報は、ＴＮＭ分類に基づく病期の情報である請求項５に記載の文書作成支援装置。

【請求項7】

画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示することをコンピュータが実行する文書作成支援方法。

【請求項8】

画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定する手順と、
前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示する手順とをコンピュータに実行させる文書作成支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、読影レポート等の文書の作成を支援する文書作成支援装置、方法およびプログラムに関する。

【背景技術】

【0002】

近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いた画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域の特定および解析を精度よく行うことができるため、適切な治療を実施できるようになってきている。

【0003】

また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

【0004】

一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワードおよび医用画像を解析結果に含まれる、関心構造物の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を自動で生成する各種手法が提案されている。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が生成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。

【0005】

ところで、読影レポートを作成する際には、対象とする疾患に応じた診断ガイドラインに従って、必要な項目を記載する必要がある。診療ガイドラインとは、医療現場において適切な診断と治療を補助することを目的として、病気の予防、診断、治療、予後予測等診療の根拠および手順についての最新の情報を専門家の手で分かりやすくまとめた指針である。このため、診察で得られると予想される情報と病気の診断に利用される情報とを関連付けた診断ガイドラインデータベースを保持しておき、実際に診察で得られた情報の入力を受け付け、取得された診察に関する情報に基づいて、診断ガイドラインデータベースから病気の診断に利用される情報を抽出して表示する手法が提案されている（特開２００５－１１０９４４号公報参照）。

【発明の概要】

【発明が解決しようとする課題】

【0006】

診断ガイドラインは疾患毎に多岐に亘り、かつ絶えず改訂がなされる。このため、読影医は、すべての診断ガイドラインを覚えることが負担であり、最新版の診断ガイドラインを参照しつつ、読影レポートを記載することがある。しかしながら、診断ガイドラインと読影レポートとを見比べながら読影レポートを作成する作業は、読影医の負担が大きい。

【0007】

本開示は上記事情に鑑みなされたものであり、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減することを目的とする。

【課題を解決するための手段】

【0008】

本開示による文書作成支援装置は、少なくとも１つのプロセッサを備え、
プロセッサは、画像の読影結果を表す読影レポートにおいて、読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
読影レポートにおける対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイに表示するように構成される。

【0009】

なお、本開示による文書作成支援装置においては、プロセッサは、対応づけた結果を保存するように構成されるものであってもよい。

【0010】

また、本開示による文書作成支援装置においては、プロセッサは、医用画像を解析することにより、診断ガイドラインの項目に対応する解析結果を導出し、解析結果に基づいて読影レポートを生成し、
解析結果を用いて、読影レポートにおける診断ガイドラインの項目に対応する部分を特定するように構成されるものであってもよい。

【0011】

また、本開示による文書作成支援装置においては、プロセッサは、診断ガイドラインにおいて、読影レポートにない項目を特定して表示するように構成されるものであってもよい。

【0012】

また、本開示による文書作成支援装置においては、診断ガイドラインは、病期の情報を含み、
プロセッサは、読影レポートにおける診断ガイドラインの病期の情報を特定するように構成されるものであってもよい。

【0013】

また、本開示による文書作成支援装置においては、病期の情報は、ＴＮＭ分類に基づく病期の情報であってもよい。

【0014】

本開示による文書作成支援方法は、画像の読影結果を表す読影レポートにおいて、読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
読影レポートにおける対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイに表示する。

【0015】

なお、本開示による文書支援作成方法をコンピュータに実行させるためのプログラムとして提供してもよい。

【発明の効果】

【0016】

本開示によれば、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減できる。

【図面の簡単な説明】

【0017】

【図1】本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図

【図2】本実施形態による文書作成支援装置の概略構成を示す図

【図3】本実施形態による文書作成支援装置の機能構成図

【図4】性状情報の例を説明するための図

【図5】リカレントニューラルネットワークの模式的な構成を示す図

【図6】入力された医用画像および医用画像から生成された読影レポートを示す図

【図7】肺がんについての診断ガイドラインを示す図

【図8】肺がんについての診断ガイドラインを示す図

【図9】読影レポートおよび診断ガイドラインの表示画面を示す図

【図10】読影レポートおよび診断ガイドラインの表示画面を示す図

【図11】読影レポートおよび診断ガイドラインの表示画面を示す図

【図12】本実施形態において行われる処理を示すフローチャート

【図13】読影レポートおよび診断ガイドラインの表示画面の他の例を示す図

【図14】読影レポートおよび診断ガイドラインの表示画面の他の例を示す図

【発明を実施するための形態】

【0018】

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による文書作成支援装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。

【0019】

図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。

【0020】

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。

【0021】

撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。

【0022】

読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による文書作成支援装置２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0023】

診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。

【0024】

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。なお、本実施形態においては、疾患に応じた診断ガイドラインも画像サーバ５に保存されているものとするが、これに限定されるものではない。

【0025】

画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。

【0026】

また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。

【0027】

レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。

【0028】

レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。

【0029】

また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。

【0030】

なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、読影ＷＳ３においてＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。

【0031】

ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。

【0032】

次いで、本実施形態による文書作成支援装置について説明する。図２は、本実施形態による文書作成支援装置のハードウェア構成を説明する。図２に示すように、文書作成支援装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、文書作成支援装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0033】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、文書作成支援プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から文書作成支援プログラムを読み出してからメモリ１６に展開し、展開した文書作成支援プログラム１２を実行する。

【0034】

次いで、本実施形態による文書作成支援装置の機能的な構成を説明する。図３は、本実施形態による文書作成支援装置の機能的な構成を示す図である。図３に示すように文書作成支援装置２０は、取得部２１、文章生成部２２、特定部２３、表示制御部２４、保存制御部２５および通信部２６を備える。そして、ＣＰＵ１１が、文書作成支援プログラムを実行することにより、ＣＰＵ１１は、取得部２１、文章生成部２２、特定部２３、表示制御部２４、保存制御部２５および通信部２６として機能する。

【0035】

取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。また、画像サーバ５から、対象とする疾患である肺がんに関して診断ガイドラインも取得する。取得した医用画像および診断ガイドラインは、ストレージ１３に保存される。

【0036】

文章生成部２２は、医用画像を解析することにより解析結果を導出し、解析結果に基づいて読影レポートを生成する。このために、文章生成部２２は、医用画像における異常陰影候補を判別し、判別した異常陰影候補の性状を、予め定められた複数の性状項目のそれぞれについて判別する。異常陰影について特定される性状項目の例として、異常陰影の場所、異常陰影のサイズ、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が挙げられる。

【0037】

本実施形態においては、文章生成部２２は、医用画像から異常陰影候補の性状を判別するように機械学習がなされた学習モデルを有する。学習モデルは、例えば医用画像における各画素（ボクセル）が異常陰影候補を表すものであるか否かを判別し、異常陰影候補である場合には、その性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。

【0038】

学習モデルは、例えば、異常陰影を含む医用画像と、異常陰影の性状を表す性状ラベルとの複数の組み合わせを教師データとして用いた機械学習によって学習される。学習モデルは、医用画像を入力とし、入力された医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力とする。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば０以上１以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。

【0039】

例えば異常陰影の性状項目の１つである「スピキュラの有無」についての性状スコアが例えば０．５以上である場合、異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り（陽性）」であることを特定し、「スピキュラ有無」についての性状スコアが例えば０．５未満である場合、異常陰影のスピキュラの有無についての性状が「スピキュラ無し（陰性）」であることを特定する。なお、性状判定に用いるしきい値０．５は、例示に過ぎず、性状項目毎に適切な値に設定される。

【0040】

なお、医用画像を解析するための学習モデルとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。また、医用画像から異常陰影候補を検出する学習モデルと、異常陰影候補の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。

【0041】

図４は文章生成部２２が導出した性状情報の例を説明するための図である。図４に示すように文章生成部２２が導出した性状情報３０においては、各性状項目についての性状は、「左肺胸膜下」、「４．２ｃｍ」、「不整形」、「充実型」、「スピキュラ有」、「腫瘤」、「胸膜接触有」、「胸膜陥入有」、「胸膜浸潤無」、「空洞無」および「石灰化無」となっている。図４においては、「有り」の場合は＋、無しの場合は－を付与している。

【0042】

また、文章生成部２２は、導出した性状情報を用いて所見文を生成する。本実施形態においては、このため、文章生成部２２は、入力された性状情報から文章を生成するように学習が行われた学習モデルからなる。このような学習モデルとしては、例えばリカレントニューラルネットワークを用いることができる。図５はリカレントニューラルネットワークの模式的な構成を示す図である。図５に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、文章生成部２２が導出した性状情報が入力される。例えば、エンコーダ４１には、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報が入力される。デコーダ４２は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」の医療文章を生成する。なお、図５において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。

【0043】

このように、性状情報の入力によって所見文を出力するために、リカレントニューラルネットワーク４０は、性状情報と所見文との組み合わせからなる多数の教師データを用いてエンコーダ４１およびデコーダ４２を学習することにより構築されてなる。なお、図５に示す生成された文章は肺結節についての所見を表すものであり、肺結節の性状情報を入力として学習モデルを学習することにより生成される。

【0044】

ここで、文章生成部２２が有する性状情報を導出する学習モデルおよび所見文を生成する学習モデルを、肺結節に関するもののみならず、リンパ節腫大および肺内転移等についても用意することにより、肺結節、リンパ節腫大および肺内転移等についての所見文を生成することが可能となる。文章生成部２２は、これらの学習モデルを用いて、少なくとも１つの所見文を含む読影レポートを生成する。

【0045】

図６は、入力された医用画像および医用画像から生成された所見文を含む読影レポートを示す図である。図６に示すように、入力された医用画像Ｇ０について、「右肺上葉Ｓ２に直径１７ｍｍの充実型結節を認め、辺縁にはスピキュラがあり、胸膜陥入像を伴っています。内部に気管支透亮像を認めます。リンパ節腫大は認められません。肺内転移ありません。」の読影レポート３５が生成されている。

【0046】

ここで、診断ガイドラインについて説明する。上述したように、診療ガイドラインとは、医療現場において適切な診断と治療を補助することを目的として、病気の予防、診断、治療、予後予測等診療の根拠および手順についての最新の情報を専門家の手で分かりやすくまとめた指針である。本実施形態においては、肺がんについての診断ガイドラインを取得部２１が取得し、ストレージ１３に保存している。図７および図８は肺がんについての診断ガイドラインを示す図である。なお、図７は肺がんのＴＮＭ分類に基づく病期（ステージ）を示し、図８は病期に示されているＴ因子、Ｎ因子およびＭ因子を示す。

【0047】

図７に示すように、肺がんの病期は、０期、Ｉ期（ＩＡ、ＩＢ）、ＩＩ期（ＩＩＡ、ＩＩＢ）、ＩＩＩ期（ＩＩＩＡ、ＩＩＩＢ）およびＩＶ期に分類される。なお、０期については図示してない。図７に示すように、各病期について、がんの大きさと浸潤を表すＴ因子、リンパ節への転移を表すＮ因子、および遠隔転移を表すＭ因子が示されている。

【0048】

また、図８に示すように、各因子は複数段階に分類されて定義されている。例えば、Ｔ因子は、がんの大きさと浸潤の状態によって、Ｔ１～Ｔ４の４段階に分類されている。なお、Ｔ１，Ｔ２はそれぞれＴ１ａ，Ｔ１ｂ，Ｔ２ａ，Ｔ２ｂのように、より細かく分類されている。また、Ｎ因子は、Ｎ１～Ｎ３の３段階に分類されている。なお、Ｎ０はリンパ節転移がないものである。また、Ｍ因子は、転移がない場合Ｍ０と転移がある場合のＭ１の２段階に分類されている。なお、Ｍ１はそれぞれＭ１ａ，Ｍ１ｂのように、より細かく分類されている。

【0049】

特定部２３は、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定する。このために、特定部２３は、入力された文章において、診断ガイドラインに含まれる項目に対応する部分を対応部分として特定するように機械学習がなされた学習モデル２３Ａを有する。本実施形態においては、学習モデル２３Ａは、読影レポートが入力されると、入力された読影レポートにおいて、診断ガイドラインに含まれる項目に関する語句を対応部分として判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワーク（ＣＮＮ）からなる。

【0050】

学習モデル２３Ａを学習するための教師データは、診断ガイドラインの項目に含まれる語句および診断ガイドラインの項目に含まれる語句を用いた文章が対応づけられてなる。ここで、診断ガイドラインの項目には、図８に示すように、Ｔ因子のＴ１ａとして「腫瘤の最大径が２ｃｍ以下」、Ｎ因子のＮ０として「所属リンパ節転移なし」、Ｍ因子のＭ０として「遠隔転移なし」が含まれる。教師データとしては、例えば、診断ガイドラインの項目に含まれる「径」、「リンパ節」、「転移なし」、および「遠隔転移なし」の語句、並びに「直径１５ｍｍの結節を認めます。リンパ節転移は認めません。肺内転移もありません。」の文章を対応づけたものが例として挙げられる。学習モデル２３Ａは、このような教師データを多数用いてニューラルネットワークを学習することにより構築される。これにより、学習モデル２３Ａは、読影レポートが入力されると、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を出力するものとなる。また、特定部２３は、読影レポートにおける上記対応部分を特定すると、診断ガイドラインにおける対応部分に対応する項目を特定する。

【0051】

なお、学習モデル２３Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。

【0052】

また、特定部２３は、学習モデル２３Ａにより上記対応部分を特定するものに限定されるものではない。腫瘤のサイズ、および診断ガイドラインに含まれる項目をキーワードとして、読影レポートを検索することにより、上記対応部分を特定するものであってもよい。

【0053】

表示制御部２４は、読影レポートにおける上記対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ１４に表示する。図９は読影レポートおよび診断ガイドラインの表示画面を示す図である。図９に示すように、表示画面５０は、画像表示領域５１、読影レポート表示領域５２および診断ガイドライン表示領域５３を有する。読影レポート表示領域５２の下方には、切り替えボタン５４、修正ボタン５５および確定ボタン５６が表示される。

【0054】

画像表示領域５１には、読影レポートを生成する対象となった医用画像Ｇ０に含まれる断層画像Ｓ０が表示される。読影レポート表示領域５２には、文章生成部２２が生成した読影レポートが表示される。読影レポートにおいては、特定部２３が特定した対応部分が強調表示されている。図９から図１１に示すように、読影レポートにおける「直径１７ｍｍ」、「リンパ節腫大は認められません。」および「肺内転移はありません。」の３つの対応部分が、枠で囲まれることにより強調表示されている。なお、これら３つの対応部分の強調表示は異なる態様となっている。図９から図１１においては、「直径１７ｍｍ」は実線の枠、「リンパ節腫大は認められません。」は破線の枠、「肺内転移はありません。」は一点鎖線の枠となっている。なお、枠の線種を異なるものとすることに代えて、枠の色を異なるものとしてもよい。また、枠を付与することに代えて、文字をハイライト表示してもよく、文字色を変更してもよい。

【0055】

また、診断ガイドライン表示領域５３には、診断ガイドライン６０Ａ～６０Ｃが表示される。診断ガイドライン６０Ａ～６０Ｃは内容が多岐に亘るため、切り替えボタン５４の選択することにより、診断ガイドライン表示領域５３に表示される診断ガイドラインの内容を変更可能とされている。具体的には図９には、Ｔ因子およびＮ因子についての診断ガイドライン６０Ａが表示されている。また、図１０にはＭ因子についての診断ガイドライン６０Ｂが表示されている。また、図１１には、病期についての診断ガイドライン６０Ｃが表示されている。なお、診断ガイドラインの切り替え表示に代えて、スクロールにより診断ガイドラインの全体を参照可能に表示するようにしてもよい。

【0056】

ここで、図９に示す診断ガイドライン６０Ａにおいては、読影レポートにおける「直径１７ｍｍ」に対応するＴ１ａの項目が強調表示されている。図９においては、Ｔ１ａの項目の強調表示を、読影レポートにおける「直径１７ｍｍ」の対応部分と同様の実線の枠６１で囲むことにより示している。また、図９に示す診断ガイドライン６０Ａにおいては、読影レポートにおける「リンパ節腫大は認められません。」に対応するＮ０の項目も強調表示されている。図９においては、Ｎ０の項目の強調表示を、読影レポートにおける「リンパ節腫大は認められません。」の対応部分と同様の破線の枠６２で囲むことにより示している。

【0057】

また、図１０に示す診断ガイドライン６０Ｂにおいては、読影レポートにおける「肺内転移はありません。」に対応するＭ０の項目が強調表示されている。図１１においては、Ｍ０の項目の強調表示を、読影レポートにおける「肺内転移はありません。」の対応部分と同様の一点鎖線の枠６３で囲むことにより示している。

【0058】

また、図１１に示す診断ガイドライン６０Ｃにおいては、読影レポートにおける「直径１７ｍｍ」、「リンパ節腫大は認められません。」および「肺内転移はありません。」の３つの対応部分と、これらの対応部分に対応する項目から導き出される病期が強調表示されている。図１１においては、ＩＡ期が強調表示されている。なお、図１１においては強調表示を実線の枠６４で囲むことにより表している。

【0059】

なお、診断ガイドラインにおける項目の強調表示は、枠の付与に限定されるものではない。枠を付与することに代えて、文字をハイライト表示したり、文字色を変更したりしてもよい。

【0060】

操作者は、表示画面５０により、読影レポートと診断ガイドラインとを対比させて確認することができる。また、必要があれば、修正ボタン５５を選択することにより、読影レポート表示領域５２に表示された読影レポートを、入力デバイス１５からの入力により修正することができる。読影レポートの確認または修正が完了した場合、操作者は確定ボタン５６を選択する。

【0061】

なお、特定部２３は、読影レポートが修正されると、修正された読影レポートにおいて、改めて診断ガイドラインに含まれる項目に対応する対応部分を特定する。この場合、対応部分が追加または削除されれば、これに併せて診断ガイドラインにおける項目も追加または削除されることとなる。

【0062】

保存制御部２５は、操作者による確定ボタン５６の選択により、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像Ｇ０に含まれる断層画像Ｓ０、および項目が強調表示された診断ガイドラインを併せて、ストレージ１３に保存する。

【0063】

通信部２６は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像Ｇ０に含まれる断層画像Ｓ０、および項目が強調表示された診断ガイドラインを併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送する。レポートサーバ７は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像Ｇ０および項目が強調表示された診断ガイドラインを併せて保存する。

【0064】

次いで、本実施形態において行われる処理について説明する。図１２は第１の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像Ｇ０および診断ガイドラインは、取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、文章生成部２２は、医用画像Ｇ０を解析することにより解析結果を導出し、解析結果に基づいて読影レポートを生成する（ステップＳＴ１）。次いで、特定部２３が、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定する（ステップＳＴ２）。

【0065】

続いて表示制御部２４が、読影レポートにおける診断ガイドラインの項目に対応する対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ１４に表示する（ステップＳＴ３）。この状態において、操作者は、表示画面５０における診断ガイドライン表示領域５３に表示する診断ガイドラインを切り替えたり、必要であれば文章表示領域５１に表示された読影レポートを修正したりする。

【0066】

次いで、保存制御部２５が、確定ボタン５６が選択されたか否かの監視を開始し（ステップＳＴ４）、ステップＳＴ４が肯定されると、保存制御部２５は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像Ｇ０に含まれる断層画像Ｓ０および項目が強調表示された診断ガイドラインを併せて、ストレージ１３に保存する（読影レポート等保存；ステップＳＴ５）。そして、通信部２６が、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した断層画像Ｓ０および項目が強調表示された診断ガイドラインを併せて、ネットワークＩ／Ｆ１７を介してレポートサーバ７に転送し（読影レポート等転送；ステップＳＴ６）、処理を終了する。

【0067】

このように、本実施形態においては、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定し、読影レポートにおける上記対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ１４に表示するようにした。このため、診断ガイドラインと読影レポートとを見比べながら読影レポートを作成する作業を効率よく行うことができる。したがって、本実施形態によれば、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減することができる。

【0068】

また、対応部分が強調表示された読影レポート、読影レポートを作成する際に参照した医用画像Ｇ０に含まれる断層画像Ｓ０および項目が強調表示された診断ガイドラインを併せて保存または転送するようにした。このため、患者の主治医が、読影レポートと診断ガイドラインとの対応づけを参照でき、その結果、効率よく診断を行うことができる。

【0069】

なお、上記実施形態においては、読影レポートおよび診断ガイドラインを表示する際に、診断ガイドラインにおいて、読影レポートに記載がない項目を特定して表示するようにしてもよい。例えば、図１３に示すように、読影レポートが「右肺上葉Ｓ２に直径１７ｍｍの充実型結節を認め、辺縁にはスピキュラがあり、胸膜陥入像を伴っています。内部に気管支透亮像を認めます。肺内転移ありません。」の場合、リンパ節転移に関する項目について、読影レポートに記載がない。この場合、診断ガイドライン６０Ａにおいて、「リンパ節転移（Ｎ因子）」を強調表示する。なお、図１３においては強調表示を実線の枠６５で囲むことにより示している。これにより、操作者は、診断ガイドラインに準拠して記載すべきいずれの項目が読影レポートにおいて抜けているかを、容易に認識することができる。したがって、診断ガイドラインに準拠した読影レポートを作成することができる。

【0070】

また、上記実施形態においては、文章生成部２２が医用画像Ｇ０を解析して読影レポートを生成しているが、これに限定されるものではない。図１４に示すように、表示画面５０の読影レポート表示領域５２に、操作者が入力デバイス１５を用いて読影レポートを入力するようにしてもよい。この場合、特定部２３は、読影レポートの含まれる所見の一文が記載される毎に、読影レポートにおける診断ガイドラインの項目に対応する対応部分を特定してもよく、読影レポートの入力が完了してから、上記対応部分を特定するようにしてもよい。なお、この場合、図３に示す文章生成部２２は不要となる。

【0071】

また、上記実施形態においては、診断ガイドラインを画像サーバ５に保存しているが、これに限定されるものではない。診断ガイドラインを保存する専用のサーバを医療情報システム１に設け、この専用のサーバから診断ガイドラインを取得するようにしてもよい。

【0072】

また、上記実施形態においては、文書作成支援装置２０において読影レポートを生成しているが、これに限定されるものではない。取得部２１が、レポートサーバ７から読影レポートを取得し、特定部２３が、取得した読影レポートにおける、診断ガイドラインの項目に対応する対応部分を特定して、取得した読影レポートを診断ガイドラインと併せて表示するようにしてもよい。

【0073】

また、上記実施形態においては、診断対象を肺とした医用画像を用いて読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、診断対象の部位に応じた診断ガイドラインを取得して、読影レポートにおける診断ガイドラインの項目と対応する対応部分を特定するようにすればよい。

【0074】

また、上記各実施形態において、例えば、取得部２１、文章生成部２２、特定部２３、表示制御部２４、保存制御部２５および通信部２６といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0075】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0076】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0077】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0078】

１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療科ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２ 文書作成支援プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 文書作成支援装置
２１ 取得部
２２ 文章生成部
２３ 特定部
２４ 表示制御部
２５ 保存制御部
２６ 通信部
３０ 性状情報
３５ 読影レポート
４０ リカレントニューラルネットワーク
４１ エンコーダ
４２ デコーダ
５０ 表示画面
５１ 画像表示領域
５２ 読影レポート表示領域
５３ 診断ガイドライン表示領域
５４ 切り替えボタン
５５ 修正ボタン
５６ 確定ボタン
６０Ａ～６０Ｃ 診断ガイドライン
６１～６５ 枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】