IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-9108文書作成支援装置、文書作成支援方法及びプログラム
<>
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図1
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図2
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図3
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図4
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図5
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図6
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図7
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図8
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図9
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図10
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図11
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図12
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図13
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図14
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図15
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図16
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図17
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図18
  • 特開-文書作成支援装置、文書作成支援方法及びプログラム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024009108
(43)【公開日】2024-01-19
(54)【発明の名称】文書作成支援装置、文書作成支援方法及びプログラム
(51)【国際特許分類】
   G06F 3/0481 20220101AFI20240112BHJP
   G16H 30/00 20180101ALI20240112BHJP
【FI】
G06F3/0481
G16H30/00
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023195360
(22)【出願日】2023-11-16
(62)【分割の表示】P 2021576194の分割
【原出願日】2021-02-05
(31)【優先権主張番号】P 2020020144
(32)【優先日】2020-02-07
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020212842
(32)【優先日】2020-12-22
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】中村 佳児
(57)【要約】
【課題】画像に基づいてテキストを自動生成する場合に、記載内容または表現が変化に富んだ複数のテキストを生成する。
【解決手段】文書作成支援装置は、少なくとも1つのプロセッサを備える。プロセッサは、医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように、特徴部分の特定された性状について前記複数のテキストを生成し、特徴部分の位置を示すマークが付与された医用画像及び複数のテキストを表示部に表示させる制御を行う。
【選択図】図6
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサを備えた文書作成支援装置であって、
前記プロセッサが、
医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、
特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ前記複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが前記複数のテキスト間で互いに異なるように、前記特徴部分の特定された性状について前記複数のテキストを生成し、
前記特徴部分の位置を示すマークが付与された前記医用画像及び前記複数のテキストを表示部に表示させる制御を行う
文書作成支援装置。
【請求項2】
前記プロセッサは、前記特徴部分について特定された、性状項目毎の性状を示す性状ラベルを前記表示部に表示させる制御を行う
請求項1に記載の文書作成支援装置。
【請求項3】
前記プロセッサは、前記複数のテキストの各々の近傍に、当該テキストに記述されている性状を示す性状ラベルを表示させる制御を行う
請求項1又は請求項2の記載の文書作成支援装置。
【請求項4】
前記プロセッサは、
前記複数のテキストのいずれかの選択を受け付け、
選択されたテキストを、ユーザが作成する文書の一部又は全部として利用可能に提供する
請求項1から請求項3のいずれか1項に記載の文書作成支援装置。
【請求項5】
医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、
特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ前記複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが前記複数のテキスト間で互いに異なるように、前記特徴部分の特定された性状について前記複数のテキストを生成し、
前記特徴部分の位置を示すマークが付与された前記医用画像及び前記複数のテキストを表示部に表示させる制御を行う
処理を文書作成支援装置が有する少なくとも1つのプロセッサが実行する文書作成支援方法。
【請求項6】
医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、
特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ前記複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが前記複数のテキスト間で互いに異なるように、前記特徴部分の特定された性状について前記複数のテキストを生成し、
前記特徴部分の位置を示すマークが付与された前記医用画像及び前記複数のテキストを表示部に表示させる制御を行う
処理を文書作成支援装置が有する少なくとも1つのプロセッサに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、文書作成支援装置、文書作成支援方法及びプログラムに関する。
【背景技術】
【0002】
医用画像に基づいて読影レポート等の文書に適用し得るテキストを作成する文書作成支援装置に関する技術として、以下の技術が知られている。例えば、特開2019-153250号公報には、表示された医用画像に基づく所見を表すキーワードの入力を受け付ける入力受付部と、医用画像の解析結果を取得する解析結果取得部と、キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する文書作成部とを備えた医療文書作成支援装置が記載されている。
【0003】
また、特開2009-259000号公報には、予め用意された複数の用語から所望の用語を選択させ、選択された用語の組み合わせに応じて生成された定型文、あるいは入力候補から、文として使用するものを選択させ、選択された文への修正加筆を受け付け修正文とする操作入力制御手段と、操作入力制御手段で選択された用語の組み合わせと修正文とを関連付けて辞書に登録する登録手段と、操作入力制御手段で選択された用語の組み合わせと、登録手段で関連付けられた用語の組み合わせが一致する修正文を、辞書から検索する検索手段と、検索手段で検索された修正文を、操作入力制御手段で選択される文の入力候補として表示させる表示制御手段とを備えた文書作成支援装置が記載されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
医用画像に基づいて自動生成されるテキストには、重要事項が欠落していたり、重要でない事項が含まれていたりする場合があり、必ずしもユーザの要求に合致した内容のテキストが生成されない場合がある。これに対処するために、記載が互いに異なる複数の候補テキストを提示し、複数の候補テキストの中からユーザの要求に合致したテキストをユーザに選択させることが考えられる。この場合、複数の候補テキストは、記載内容または表現が変化に富んでいることが好ましい。これにより、複数の候補テキストの中にユーザの要求に合致したものが含まれる可能性が高くなる。
【0005】
開示の技術は、上記の点に鑑みてなされたものであり、画像に基づいてテキストを自動生成する場合に、記載内容または表現が変化に富んだ複数のテキストを生成することを目的とする。
【課題を解決するための手段】
【0006】
開示の技術に係る文書作成支援装置は、少なくとも1つのプロセッサを備える。プロセッサは、医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように、特徴部分の特定された性状について複数のテキストを生成し、特徴部分の位置を示すマークが付与された医用画像及び複数のテキストを表示部に表示させる制御を行う。
【0007】
プロセッサは、特徴部分について特定された、性状項目毎の性状を示す性状ラベルを表示部に表示させる制御を行ってもよい。プロセッサは、複数のテキストの各々の近傍に、当該テキストに記述されている性状を示す性状ラベルを表示させる制御を行ってもよい。プロセッサは、複数のテキストのいずれかの選択を受け付け、選択されたテキストを、ユーザが作成する文書の一部又は全部として利用可能に提供してもよい。
【0008】
開示の技術に係る文書作成支援方法は、医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように、特徴部分の特定された性状について複数のテキストを生成し、特徴部分の位置を示すマークが付与された医用画像及び複数のテキストを表示部に表示させる制御を行う処理を文書作成支援装置が有するプロセッサが実行するものである。
【0009】
開示の技術に係るプログラムは、医用画像に含まれる少なくとも1つの特徴部分の性状を複数の性状項目の各々について特定し、特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように、特徴部分の特定された性状について複数のテキストを生成し、特徴部分の位置を示すマークが付与された医用画像及び複数のテキストを表示部に表示させる制御を行う処理を文書作成支援装置が有するプロセッサに実行させるためのプログラムである。
【発明の効果】
【0010】
開示の技術によれば、画像に基づいてテキストを自動生成する場合に、記載内容または表現が変化に富んだ複数のテキストを作成することが可能である。
【図面の簡単な説明】
【0011】
図1】開示の技術の実施形態に係る医療情報システムの概略構成を示す図である。
図2】開示の技術の実施形態に係る文書作成支援装置のハードウェア構成の一例を示す図である。
図3】開示の技術の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。
図4】開示の技術の実施形態に係る文書作成支援装置の機能を説明するための図である。
図5】開示の技術の実施形態に係るテキスト生成部を構成するリカレントニューラルネットワークの模式的な構成の一例を示す図である。
図6】開示の技術の実施形態に係る表示画面に表示される情報の表示態様の一例を示す図である。
図7】開示の技術の実施形態に係る文書作成支援処理の流れの一例を示すフローチャートである。
図8】開示の技術の実施形態に係る性状スコアの一例を示す図である。
図9】開示の技術の実施形態に係る表示画面に表示される情報の表示態様の一例を示す図である。
図10】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図11】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図12】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図13】開示の技術の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。
図14】開示の技術の実施形態に係るテーブルの一例を示す図である。
図15】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図16】開示の技術の実施形態に係る文書作成支援処理の流れの一例を示すフローチャートである。
図17】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図18】開示の技術の実施形態に係るテキスト生成部によって生成された複数のテキストの一例を示す図である。
図19】開示の技術の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【0012】
以下、開示の技術の実施形態について図面を参照しつつ説明する。尚、各図面において、実質的に同一又は等価な構成要素又は部分には同一の参照符号を付している。
【0013】
[第1の実施形態]
図1は開示の技術の実施形態に係る文書作成支援装置を適用した医療情報システム1の概略構成を示す図である。医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、及び依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
【0014】
医療情報システム1は、複数の撮影装置2、読影端末である複数の読影ワークステーション(WS)3、診療科ワークステーション(WS)4、画像サーバ5、画像データベース6、読影レポートサーバ7、及び読影レポートデータベース8が、有線または無線のネットワーク9を介して互いに通信可能な状態で接続されて構成されている。
【0015】
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク9に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
【0016】
撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。撮影装置2は、例えば、単純X線撮影装置、CT装置、MRI装置、及びPET(Positron Emission Tomography)装置等であってもよい。撮影装置2により生成された医用画像は画像サーバ5に送信され、保存される。
【0017】
診療科WS4は、診療科の医師が医用画像の詳細観察、読影レポートの閲覧、及び電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボード及びマウス等の入力装置により構成される。診療科WS4では、患者のカルテ(電子カルテ)の作成、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した医用画像の表示、医用画像中の疾患を疑う領域の自動検出または強調表示、読影レポートサーバ7に対する読影レポートの閲覧要求、及び読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
【0018】
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は、ストレージを含んで構成される画像データベース6を備えている。画像データベース6は、画像サーバ5とデータバスによって接続されたハードディスク装置であってもよいし、ネットワーク9に接続されているNAS(Network Attached Storage)及びSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース6に登録する。
【0019】
画像データベース6には、撮影装置2において取得された医用画像の画像データと、画像データに付帯する付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID、被写体である患者を識別するための患者ID(identification)、検査内容を識別するための検査ID、医用画像毎に割り当てられるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用有無等)、1回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。また、画像サーバ5は、読影WS3からの閲覧要求をネットワーク9経由で受信すると、画像データベース6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3に送信する。
【0020】
読影レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース8に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース8から検索する。
【0021】
読影レポートデータベース8には、例えば、読影対象の医用画像を識別する画像ID、読影を行った画像診断医を識別するための読影医ID、病変名、病変の位置情報、所見、及び所見の確信度等の情報が記録された読影レポートが登録される。
【0022】
ネットワーク9は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク9は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク9は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
【0023】
読影WS3は、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ7に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ7から受信した読影レポートの表示等の各処理を、各処理のためのソフトウェアプログラムを実行することにより行う。読影WS3は、後述する文書作成支援装置10を内包しており、上記の各処理のうち、文書作成支援装置10が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、文書作成支援装置10が行う処理以外の処理を読影WS3において行わず、別途その処理を行うコンピュータをネットワーク9に接続しておき、読影WS3からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。以下、読影WS3に内包される文書作成支援装置10について詳細に説明する。
【0024】
図2は、文書作成支援装置10のハードウェア構成の一例を示す図である。文書作成支援装置10は、CPU(Central Processing Unit)101、メモリ102、記憶部103、液晶ディスプレイ等の表示部104、キーボード及びマウス等の入力部105、及び外部I/F(InterFace)106を含む。なお、入力部105は音声による入力を受け付けるマイクロフォンを備えていてもよい。CPU101、メモリ102、記憶部103、表示部104、入力部105、及び外部I/F106は、バス107に接続される。文書作成支援装置10は、外部I/F106を介して、医療情報システム1のネットワーク9に接続される。なお、CPU101は、開示の技術におけるプロセッサの一例である。
【0025】
記憶部103は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等によって実現される。記憶部103には、文書作成支援プログラム108が記憶される。文書作成支援プログラム108は、DVDあるいはCD-ROM等の記録媒体に記録されて配布され、その記録媒体から文書作成支援装置10にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて文書作成支援装置10にダウンロードされ、インストールされる。CPU101は、記憶部103から文書作成支援プログラム108を読み出してからメモリ102に展開し、展開した文書作成支援プログラム108を実行する。
【0026】
図3は、文書作成支援装置10の機能的な構成の一例を示す機能ブロック図である。文書作成支援装置10は、画像取得部11、特徴抽出部12、解析部13、テキスト生成部14及び表示制御部15を有する。文書作成支援装置10は、CPU101が文書作成支援プログラム108を実行することで、画像取得部11、特徴抽出部12、解析部13、テキスト生成部14及び表示制御部15として機能する。
【0027】
画像取得部11は、診断対象となる医用画像(以下診断対象画像と称する)を取得する。診断対象画像は、画像データベース6に保存されており、文書作成支援装置10(読影ワークステーション3)からの要求に応じて画像データベース6から文書作成支援装置10に送信され、記憶部103に保存される。画像取得部11は、記憶部103に保存されている診断対象画像を取得する。なお、画像取得部11は、画像データベース6に保存されている診断対象画像を、画像データベース6から直接取得してもよい。なお、以下において、診断対象画像が、胸部CT画像である場合を例に説明する。
【0028】
特徴抽出部12は、画像取得部11によって取得された診断対象画像から、結節や腫瘤等の疾患を疑う陰影(以下、異常陰影という)を、特徴部分として抽出する。特徴抽出部12は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて異常陰影を抽出してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像と、その異常陰影が存在する画像中の領域を特定した情報との複数の組み合わせを学習用データとして用いた機械学習によって学習される。上記の学習用済みモデルは、医用画像を入力とし、当該医用画像における異常陰影の領域を特定した結果を出力とする。図4には、診断対象画像200から異常陰影SHが抽出された例が示されている。
【0029】
解析部13は、特徴抽出部12によって抽出された異常陰影について解析を行うことにより、異常陰影の性状を、予め定められた複数の性状項目の各々について特定する。異常陰影について特定される性状項目の例として、当該異常陰影における、位置、大きさ、スピキュラの有無、辺縁不整の有無、胸膜陥入の有無、疾患の種類などが挙げられる。
【0030】
解析部13は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて異常陰影の性状を特定してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像と、当該異常陰影の性状を表す性状ラベルとの複数の組み合わせを学習用データとして用いた機械学習によって学習される。上記の学習用済みモデルは、医用画像を入力とし、当該医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力とする。性状スコアは、当該性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば0以上1以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
【0031】
解析部13は、例えば異常陰影の性状項目の1つである「スピキュラの有無」についての性状スコアが例えば0.5以上である場合、当該異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り(陽性)」であることを特定し、「スピキュラ有無」についての性状スコアが例えば0.5未満である場合、当該異常陰影のスピキュラの有無についての性状が「スピキュラ無し(陰性)」であることを特定する。なお、性状判定に用いる閾値0.5は、例示に過ぎず、性状項目毎に適切な値に設定される。
【0032】
図4には、診断対象画像200から抽出された異常陰影SHの性状項目毎の性状として、「左上葉」、「胸膜陥入+」、「辺縁不整+」、「スピキュラ+」、「4.2cm」、「腫瘤」が特定された例が示されている。なお、特定された性状における「+」表記は、その性状が陽性であることを示している。
【0033】
テキスト生成部14は、特徴抽出部12によって抽出された異常陰影について、当該異常陰影の性状を記述した互いに異なる複数のテキストを候補テキストとして生成する。テキスト生成部14は、解析部13によって特定された複数の性状項目の各々についての性状の少なくとも1つが各テキストに記述されるように複数のテキストを生成する。また、テキスト生成部14は、複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
【0034】
図4には、テキスト生成部14が、異常陰影SHの性状を記述した互いに異なる4つのテキストを生成した例が示されている。テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「腫瘤」に基づいて「左上葉に腫瘤が認められます。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「4.2cm」、「腫瘤」に基づいて「左上葉に胸膜陥入を伴う、4.2cm大の腫瘤が認められます。」という記述を含む第2のテキストT2を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「スピキュラ+」、「腫瘤」に基づいて「左上葉に胸膜陥入を伴うスピキュラを有する腫瘤が認められます。」という記述を含む第3のテキストT3を生成する。また、テキスト生成部14は、複数の性状項目の各々について特定された性状のうち、例えば「左上葉」、「胸膜陥入+」、「辺縁不整+」、「スピキュラ+」、「4.2cm」、「腫瘤」に基づいて「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という記述を含むテキスト第4のテキストT4を生成する。
【0035】
このように、テキスト生成部14は、予め定められた複数の性状項目の各々について特定された性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。なお、テキスト生成部14が生成するテキストの数は、3つ以下であってもよいし、5つ以上であってもよい。また、テキスト生成部14は、N個の性状項目の中から、M個(M<N)以上の性状項目を選択する組み合わせの全てについてテキストを生成してもよい。また、各テキストに含まれる性状項目の数は、複数のテキストの間で互いに異なっていてもよいし、同じであってもよい。また、複数のテキストの各々に必ず含めるべき必須の性状項目をユーザが指定してもよい。この場合、テキスト生成部14は、上記必須の性状項目に関する記述を含み且つ上記必須の性状項目以外の性状項目の組み合わせが互いに異なる複数のテキストを生成してもよい。
【0036】
テキスト生成部14は、入力された単語からテキストを作成するように学習が行われたリカレントニューラルネットワークを含んで構成されている。図5はリカレントニューラルネットワークの模式的な構成を示す図である。図5に示すように、リカレントニューラルネットワーク20は、エンコーダ21及びデコーダ22を含んで構成される。エンコーダ21には、解析部13によって特定された性状に対応する文字が入力される。例えば、テキスト生成部14が図4に例示する第4のテキストT4を生成する場合、エンコーダ21には、解析部13によって特定された性状を文字化した「左上葉」、「胸膜陥入」、「辺縁不整」、「スピキュラ」、「4.2cm」、「腫瘤」、が入力される。デコーダ22は、エンコーダ21に入力された単語を文章化するように学習がなされており、上記の入力単語から、「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という第4のテキストT4を生成する。なお、図5において「EOS」は文章の終わりを示す(End Of Sentence)。
【0037】
表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104に表示させる制御を行う。図6は、表示制御部15による制御によって表示部104の表示画面300に表示される情報の表示態様の一例を示す図である。図6に示すように、テキスト生成部14によって生成された第1~第4のテキストT1~T4が表示画面300に表示される。また、第1~第4のテキストT1~T4に対応する、異常陰影SHを含む診断対象画像200が表示画面300に表示される。診断対象画像200には、異常陰影SHの位置を示すマーク201が付与されていてもよい。また、表示画面300には、異常陰影SHについて特定された、性状項目毎の性状を示す性状ラベル202が表示される。また、第1~第4のテキストT1~T4の各々の近傍には、当該テキストに記述されている性状を示す性状ラベル203が表示される。ユーザは、表示画面300に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。テキストの選択は、例えば、選択したいテキストの表示領域をポインタでクリックすることにより行うことが可能である。
【0038】
以下に、文書作成支援装置10の作用について説明する。図7は、CPU101が、文書作成支援プログラム108を実行することによって実施される文書作成支援処理の流れの一例を示すフローチャートである。文書作成支援プログラム108は、例えば、ユーザによって入力部105を介して実行開始の指示が入力された場合に実行される。なお、診断対象画像は、画像サーバ5から文書作成支援装置10(読影ワークステーション3)にダウンロードされ、記憶部103に保存されているものとする。
【0039】
ステップST1において、画像取得部11は、記憶部103に保存されている診断対象画像を取得する。ステップST2において、特徴抽出部12は、画像取得部11によって取得された診断対象画像から、異常陰影を特徴部分として抽出する。ステップST3において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、予め定められた複数の性状項目の各々について、異常陰影の性状を特定する。
【0040】
ステップST4において、テキスト生成部14は、ステップST3において特定された性状を記述した互いに異なる複数のテキストを生成する。テキスト生成部14は、予め定められた複数の性状項目の各々についての性状の少なくとも1つが複数のテキストの各々に記述され、且つ複数のテキストの各々に記述される性状に対応する性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
【0041】
ステップST5において、表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104の表示画面に表示させる制御を行う。ユーザは、表示部104に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。
【0042】
以上のように、開示の技術の実施形態に係る文書作成支援装置10によれば、診断対象画像から抽出された異常陰影の性状を記述した互いに異なる複数のテキストが候補文書として生成される。複数のテキストにおいて、各テキストに記述される性状に対応する性状項目の組み合わせが互いに異なる。これにより、記載内容が変化に富んだ複数のテキストを作成することが可能となる。これにより、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
【0043】
[第2の実施形態]
図8は、解析部13によって導出される性状スコアの一例を示す図である。上記したように、解析部13は、特徴抽出部12によって抽出された異常陰影を解析することによって当該異常陰影について、性状項目毎に、その性状の顕著性を示す性状スコアを導出する。本実施形態において、性状スコアは0以上1以下の値をとる。性状スコアが大きい程、その性状が顕著であることを示す。なお、性状スコアの範囲は、0以上1以下に限らず、適宜定めることが可能である。
【0044】
テキスト生成部14は、第1の実施形態と同様、複数のテキストの各々に記述される性状項目の組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。本実施形態において、テキスト生成部14は、解析部13によって導出された性状スコアに基づいて、複数のテキストの各々に記述される性状項目の組み合わせを定める。テキスト生成部14は、例えば、性状スコアが例えば0.9以上の性状のみを記述したテキストを第1のテキストとして生成し、性状スコアが例えば0.7以上の性状のみを記述したテキストを第2のテキストとして生成し、性状スコアが例えば0.5以上の性状のみを記述したテキストを第3のテキストとして生成する。なお、性状スコアの閾値は、上記した0.9、0.7、0.5に限定されず、適宜定めることが可能である。
【0045】
例えば、図8に示すような性状スコアが導出されている場合、テキスト生成部14は、性状スコアが0.9以上の性状「左上葉」及び「腫瘤」に基づいて「左上葉に、腫瘤が認められます。」という記述を含む第1のテキストを生成する。また、テキスト生成部14は、性状スコアが0.7以上の性状「左上葉」、「胸膜陥入+」、「4.2cm」及び「腫瘤」に基づいて「左上葉に胸膜陥入を伴う4.2cm大の腫瘤が認められます。」という記述を含む第2のテキストを生成する。また、テキスト生成部14は、性状スコアが0.5以上の性状「左上葉」、「辺縁不整+」、「胸膜陥入+」、「スピキュラ+」、「4.2cm」及び「腫瘤」に基づいて「左上葉に辺縁不整で胸膜陥入を伴うスピキュラを有する4.2cm大の腫瘤が認められます。」という記述を含む第3のテキストを生成する。
【0046】
開示の技術の第2の実施形態に係る文書作成支援装置によれば、第1の実施形態と同様、記載内容が変化に富んだ複数のテキストを作成することが可能となる。また、性状スコアに応じてテキストに記述される性状項目の組み合わせを定めることで、記述内容の確度が互いに異なる複数のテキストを生成することが可能となる。例えば、確度が高い性状項目に関する記述を含む第1のテキスト、確度が中程度の性状項目に関する記述を含む第2のテキスト、確度が低い性状項目に関する記述を含む第3のテキストを含む複数のテキストを生成することが可能となる。
【0047】
[第3の実施形態]
上記の第1及び第2の実施形態に係るテキスト生成部14は、複数のテキストの各々に記述される性状項目の組み合わせが、複数のテキスト間で互いに異なるように、複数のテキストを生成するものであった。開示の技術の第3の実施形態に係るテキスト生成部14は、複数のテキスト間で互いに表現が異なる同一内容の記述が各テキストに含まるように複数のテキストを生成する。
【0048】
図9は、開示の技術の第3の実施形態に係る、表示画面300に表示される情報の表示態様の一例を示す図である。図9には、診断対象画像200から抽出された異常陰影SHの性状として、「左上葉」、「部分充実型」、「腫瘤」が解析部13によって特定された例が示されている。表示画面300には、異常陰影SHついて特定された上記の各性状を示す性状ラベル202が表示されている。
【0049】
この例において、テキスト生成部14は、異常陰影SHについて特定された性状である「左上葉」、「部分充実型」、「腫瘤」に基づいて、「左上葉に部分充実型の腫瘤が認められます。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影SHについて特定された性状である「左上葉」、「部分充実型」、「腫瘤」に基づいて、「左上葉に中心が充実性であり、周囲がすりガラス状の腫瘤が認められます。」という記述を含む第2のテキストT2を生成する。ここで、第1のテキストT1に記述された「部分充実型」と、第2のテキストT2に記述された「中心が充実性であり、周囲がすりガラス状」は、表現が異なるものの、これらの意味内容は同じである。このように、開示の技術の第3の実施形態に係るテキスト生成部14は、複数のテキスト間で互いに表現が異なる同一内容の記述を含むように複数のテキストを生成する。本実施形態に係るテキスト生成部14は、入力された単語から、表現が異なる同一内容の複数のテキストを作成するように学習された学習済みモデルを用いることによって実現可能である。
【0050】
開示の技術の第3の実施形態に係る文書作成支援装置によれば、第1の実施形態と同様、記載内容が変化に富んだ複数のテキストを作成することが可能となる。また、複数のテキストには、互いに表現が異なる同一内容の記述が含まれるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
【0051】
なお、テキスト生成部14は、異常陰影について特定された複数の性状のうち、指定された性状についての記述が複数のテキスト間で互いに表現が異なる同一内容となるように複数のテキストを生成してもよい。互いに異なる表現で記述すべき性状をユーザが指定できるようにすることで、ユーザの要求に合致した表現を用いたテキストが生成される可能性を更に高めることが可能となる。
【0052】
[第4の実施形態]
上記の第1乃至第3の実施形態に係る文書作成支援装置は、特徴部分の性状を記述した互いに異なる複数のテキストを生成するものであった。開示の技術の第4の実施形態に係る文書作成支援装置は、特徴部分に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。なお、後述する第5乃至第7の実施形態に係る文書作成支援装置についても同様である。疾患の分類とは、例えば、結節、血管腫、嚢胞、リンパ節腫大、胸水貯留、過誤腫等の病名及び診断名を含み、また、その疾患が良性であるか悪性(がん)であるかの分類も含む。
【0053】
本実施形態において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。解析部13は、例えば、ディープラーニング等の機械学習によって学習された学習済みモデルを用いて疾患の分類を推定してもよい。上記の学習済みモデルは、例えば、異常陰影を含む医用画像に、当該異常陰影に対応する疾患の分類を正解ラベルとして付与した学習用データを用いた機械学習によって学習される。解析部13は、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
【0054】
テキスト生成部14は、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。より具体的には、テキスト生成部14は、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成する。テキスト生成部14は、例えば、解析部13において分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。
【0055】
図10には、テキスト生成部14が診断対象画像から抽出された異常陰影に対応する互いに異なる疾患の分類を記述した3つのテキストを生成した例が示されている。テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「結節を認めます」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「血管腫を認めます」という記述を含む第2のテキストT2を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「嚢胞を認めます」という記述を含む第3のテキストT3を生成する。
【0056】
表示制御部15は、テキスト生成部14によって生成された複数のテキストを、解析部13における疾患の分類の推定結果に応じた順に並べて表示部104に表示させる制御を行う。例えば、解析部13によって疾患の分類の候補毎に導出された分類判定スコアのうち、「結節」の分類判定スコアが最も高い場合、表示制御部15は、「結節を認めます。」という記述を含む第1のテキストT1を、他のテキストT2、T3に対して表示画面上の上方に配置して表示させてもよい。
【0057】
図11は、テキスト生成部14によって生成された複数のテキストの他の例を示す図である。テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「原発性肺がんを疑います。」という記述を含む第1のテキストT1を生成する。また、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述として「良性の可能性が高いです。」という記述を含む第2のテキストT2を生成する。このように、疾患の分類は、当該疾患が良性であるか悪性であるかの分類であってもよく、テキスト生成部14は、当該疾患が悪性である旨の記述を含むテキスト及び当該疾患が良性である旨の記述を含むテキストの両方を生成してもよい。また、図11に例示されるように、複数のテキストの各々には、疾患の分類に関する記述のみならず、当該異常陰影の性状に関する記述が含まれていてもよい。
【0058】
開示の技術の第4の実施形態に係る文書作成支援装置によれば、複数のテキストには、それぞれ、疾患の分類が記述されるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。また、各テキストに記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストが生成されるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性を高めることができる。また、表示制御部15は、テキスト生成部14によって生成された複数のテキストを、解析部13における疾患の分類の推定結果に応じた順に並べて表示部104に表示させる制御を行うので、ユーザによるテキストの選択を容易にすることができる。
【0059】
[第5の実施形態]
開示の技術の第5の実施形態に係るテキスト生成部14は、上記した第4の実施形態の場合と同様、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、疾患の分類に関する記述における、その疾患がその分類に該当する確度を示す表現が複数のテキスト間で異なるように複数のテキストを生成する。
【0060】
図12には、テキスト生成部14が、疾患の分類(原発性肺がん)について、その疾患がその分類に該当する確度を示す表現が互いに異なる3つのテキストを生成した例が示されている。テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんです。」という断定的な表現を用いた記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、当該疾患が原発性肺がんに該当する確度が極めて高いことを示す表現を含む。また、テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんを疑います。」という、推測的な表現を用いた記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、当該疾患が原発性肺がんに該当する確度が比較的高いことを示す表現を含む。また、テキスト生成部14は、疾患の分類に関する記述として「原発性肺がんの可能性を否定できません。」という、肯定的でも否定的でもない表現を用いた記述を含む第3のテキストT3を生成する。すなわち第3のテキストT3は、当該疾患が原発性肺がんに該当する確度が比較的低いことを示す表現を含む。なお、図12に例示されるように、複数のテキストの各々には、疾患の分類に関する記述のみならず、当該異常陰影の性状に関する記述が含まれていてもよい。
【0061】
本実施形態に係る文書作成支援装置において、解析部13は、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定してもよい。すなわち、解析部13は、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出してもよい。この場合、テキスト生成部14は、解析部13によって導出された分類判定スコアが最も高い疾患の分類について、上記のように表現が互いに異なる複数のテキストを生成してもよい。また、テキスト生成部14は、解析部13によって導出されたスコアが相対的に高い2つ以上の疾患の分類のそれぞれについて、上記のように表現が互いに異なる複数のテキストを生成してもよい。
【0062】
開示の技術の第5の実施形態に係る文書作成支援装置によれば、複数のテキストには、疾患の分類に関し、その分類に該当する確度を示す表現が互いに異なる記述が含まれるので、複数のテキストの中にユーザの要求に合致したものが含まれる可能性が高くなり、ユーザによる文書(読影レポート)の作成を効果的に支援することが可能となる。
【0063】
[第6の実施形態]
図13は、開示の技術の第6の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴部分解析部13A及び関連部分解析部13Bを含む。
【0064】
特徴部分解析部13Aは、診断対象画像から抽出された異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。具体的には、特徴部分解析部13Aは、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。すなわち、特徴部分解析部13Aの機能は、上記した第4の実施形態に係る解析部13と同じである。
【0065】
関連部分解析部13Bは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。関連部分とは、異常陰影(特徴部分)に対応する疾患の分類とともに発症することが想定される他の疾患の分類が発症し得る診断対象画像中の部分である。
【0066】
図14は、関連部分解析部13Bによって参照されるテーブル30の一例である。テーブル30は、記憶部103に記憶されている。例えば、「肺結節」は、「胸水貯留」及び「リンパ節腫大」とともに発症することが想定される。従って、テーブル30において、「肺結節」には、「胸水貯留」が発症し得る「臓側胸膜と壁側胸膜の間」が第1の関連部分として対応付けられるとともに、「リンパ節腫大」が発症し得る「リンパ節」が第2の関連部分として対応付けられている。また、テーブル30において、第1の関連部分についての判定項目として「胸水貯留の有無」が対応付けられており、第2の関連部分についての判定項目として「リンパ節腫大の有無」が対応付けられている。
【0067】
関連部分解析部13Bは、分類判定スコアが最も高い疾患の分類が「肺結節」である場合、テーブル30に基づいて「臓側胸膜と壁側胸膜の間」を第1の関連部分として特定し、第1の関連部分について「胸水貯留の有無」を判定する。また、関連部分解析部13Bは、テーブル30に基づいて「リンパ節」を第2の関連部分として特定し、第2の関連部分について「リンパ節腫大の有無」を判定する。
【0068】
なお、疾患の分類によっては、対応付けるべき関連部分が存在しない場合がある。例えば、「無気肺」については、無気肺とともに発症することが想定される他の疾患が存在しないので、テーブル30において「無気肺」に対応付けられる関連部分の欄はブランクとなる。
【0069】
テキスト生成部14は、上記した第4及び第5の実施形態の場合と同様、診断対象画像から抽出された異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を、複数のテキストの各々に含める。また、テキスト生成部14は、複数のテキストの各々に記述される異常陰影に対応する疾患の分類に関連する関連部分に関する記述を複数のテキストの各々に含める。テキスト生成部14は、関連部分に関する記述を、関連部分解析部13Bによって導出された、関連部分についての判定結果に基づいて生成する。本実施形態において、テキスト生成部14は、複数のテキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。
【0070】
図15は、テキスト生成部14によって生成された複数のテキストの一例を示す図である。ここでは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類が「充実性結節」であったものとする。これに応じて関連部分解析部13Bが、臓側胸膜と壁側胸膜の間を第1の関連部分として特定し、第1の関連部分についての判定結果として「胸水貯留なし」を導出したものとする。また、関連部分解析部13Bが、リンパ節を第2の関連部分として特定し、第2の関連部分についての判定結果として「リンパ節腫大なし」を導出したものとする。
【0071】
テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」を含み、関連部分に関する記述として「胸水貯留は認められません。」という記述を含む。
【0072】
また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。リンパ節腫大は認められません。」という記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述を含み、関連部分に関する記述として「リンパ節腫大は認められません。」という記述を含む。
【0073】
また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第3のテキストT3を生成する。すなわち第3のテキストT3は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。なお、テキスト生成部14は、異常陰影に対応する疾患の分類に関する記述を含み且つ関連部分に関する記述を含まない第4のテキスト(図示せず)を更に生成してもよい。
【0074】
表示制御部15は、テキスト生成部14によって生成された複数のテキストを、表示部104に表示させる制御を行う。
【0075】
以下に、本実施形態に係る文書作成支援装置の作用について説明する。図16は、CPU101が、本実施形態に係る文書作成支援プログラム108を実行することによって実施される文書作成支援処理の流れの一例を示すフローチャートである。
【0076】
ステップST11において、画像取得部11は、記憶部103に保存されている診断対象画像を取得する。ステップST12において、特徴抽出部12は、画像取得部11によって取得された診断対象画像から異常陰影を特徴部分として抽出する。ステップST13において、特徴部分解析部13Aは、診断対象画像から抽出された異常陰影について解析を行い、異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
【0077】
ステップS14において、関連部分解析部13Bは、ステップST13において特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を、テーブル30に基づいて特定する。ステップST15において、関連部分解析部13Bは、ステップST14において特定された関連部分について解析を行い、関連部分についての所定の判定項目について判定を行う。関連部分解析部13Bは、テーブル30に基づいて判定項目を特定する。
【0078】
ステップST16において、テキスト生成部14は、ステップST13において特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する記述及びステップST15において関連部分解析部13Bによって導出された関連部分についての判定結果に関する記述をそれぞれ含む複数のテキストを生成する。
【0079】
ステップST17において、表示制御部15は、ステップST16においてテキスト生成部14によって生成された複数のテキストを表示部104の表示画面に表示させる制御を行う。ユーザは、表示部104に表示された複数のテキストの中から任意の1つを選択し、選択したテキストを自身が作成する文書(読影レポート)の一部または全部として利用することが可能である。
【0080】
開示の技術の第6の実施形態に係る文書作成支援装置によれば、複数のテキストの各々には、異常陰影に対応する疾患の分類に関する記述のみならず、その疾患の分類に関連する関連部分に関する記述が含まれるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。また、各テキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストが生成されるので、複数のテキストの中にユーザの要求と一致したものが含まれる可能性を高めることができる。
【0081】
なお、本実施形態においては、テキスト生成部14が、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を複数のテキストの各々に含める場合を例示したが、この態様に限定されない。テキスト生成部14は、上記した第4の実施形態の場合と同様、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。テキスト生成部14は、例えば、特徴部分解析部13Aにおいて分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。この場合、関連部分解析部13Bは、分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部の分類の各々について、関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。テキスト生成部14は、各テキストに記述される疾患の分類に対応する関連部分に関する記述を、関連部分解析部13Bによって導出される関連部分についての判定結果に基づいて生成し、これを対応するテキストに含める。なお、テーブル30(図14参照)に示されるように、異常陰影に対応する疾患の分類に関連する関連部分が存在しない場合、そのような疾患の分類が記述されるテキストには関連部分に関する記述は含まれないことになる。すなわち、テキスト生成部14は、異常陰影について記述される疾患の分類が特定の分類であるテキストにのみ関連部分に関する記述を含める。
【0082】
図17は、テキスト生成部14によって生成され得る複数のテキストの他の例を示す図である。テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。
【0083】
また、テキスト生成部14は、「左上葉に長径2.1cmの無気肺を認めます。」という記述を含む第2のテキストT2を生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「無気肺」という記述を含み、関連部分に関する記述を含んでいない。第2のテキストT2が関連部分に関する記述を含んでいないのは、「無気肺」に関連する関連部分が存在せず、関連部分についての判定結果が存在しないためである。
【0084】
図18は、テキスト生成部14によって生成される複数のテキストの他の例を示す図である。テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。原発性肺がんを疑います。胸水貯留は認められません。リンパ節腫大は認められません。」という記述を含む第1のテキストT1を生成する。すなわち第1のテキストT1は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述及び「原発性肺がんを疑います。」という記述を含み、関連部分に関する記述として「胸水貯留は認められません」という記述及び「リンパ節腫大は認められません。」という記述を含む。また、テキスト生成部14は、「左上葉に長径2.1cmの充実性結節を認めます。良性の可能性が高いです。」という記述を含む第2のテキストを生成する。すなわち第2のテキストT2は、異常陰影に対応する疾患の分類に関する記述として「充実性結節」という記述及び「良性の可能性が高いです。」という記述を含み、関連部分に関する記述を含んでいない。
【0085】
このように、テキスト生成部14は、複数のテキストのうち、異常陰影について記述される疾患の分類が悪性であるテキストには関連部分に関する記述を含める一方、異常陰影について記述される疾患の分類が良性であるテキストには関連部分に関する記述を含めなくてもよい。これは、良性疾患については、関連部分が存在しない又は存在したとしても関連部分に関心がないことが一般的であるからである。
【0086】
[第7の実施形態]
図19は、開示の技術の第7の実施形態に係る文書作成支援装置の機能的な構成の一例を示す機能ブロック図である。本実施形態に係る文書作成支援装置10は、特徴抽出部12に代えて指定受付部16を有する点が、上記した第6の実施形態に係る文書作成支援装置10(図13参照)と異なる。
【0087】
指定受付部16は、診断対象画像に含まれる異常陰影(特徴部分)の指定を受け付ける。異常陰影の指定は、例えば、表示部104の表示画面上に表示される診断対象画像中の部分領域を、ユーザがマウス等の入力デバイスを用いてクリック又はドラッグすることで行うことが可能である。
【0088】
特徴部分解析部13Aは、指定受付部16が受け付けた指定に係る異常陰影について解析を行い、当該異常陰影に対応する疾患の分類を推定する。具体的には、特徴部分解析部13Aは、指定された異常陰影に対応する疾患の分類の候補毎に、当該疾患がその分類に該当する確率を示す分類判定スコアを導出する。
【0089】
関連部分解析部13Bは、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関連する関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。
【0090】
テキスト生成部14は、指定受付部16が受け付けた指定に係る異常陰影に対応する疾患の分類を記述した互いに異なる複数のテキストを生成する。本実施形態において、テキスト生成部14は、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を、複数のテキストの各々に含める。テキスト生成部14は、複数のテキストの各々に記述される異常陰影に対応する疾患の分類に関連する関連部分に関する記述を複数のテキストの各々に含める。テキスト生成部14は、関連部分に関する記述を、関連部分解析部13Bによって導出される関連部分についての判定結果に基づいて生成する。テキスト生成部14は、複数のテキストに記述される関連部分の数又は組み合わせが複数のテキスト間で互いに異なるように複数のテキストを生成する。表示制御部15は、テキスト生成部14によって生成された複数のテキストを表示部104に表示させる制御を行う。
【0091】
開示の技術の第7の実施形態に係る文書作成支援装置によれば、ユーザが指定する異常陰影(特徴部分)について複数のテキストが生成されるので、ユーザによる文書(読影レポート)の作成支援を効果的に行うことが可能となる。
【0092】
なお、本実施形態においては、テキスト生成部14が、特徴部分解析部13Aによって導出された分類判定スコアが最も高い疾患の分類に関する記述を複数のテキストの各々に含める場合を例示したが、この態様に限定されない。テキスト生成部14は、上記した第4の実施形態の場合と同様、複数のテキストの各々に記述される疾患の分類が複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。テキスト生成部14は、例えば、特徴部分解析部13Aにおいて分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部を記述対象の分類としてもよい。この場合、関連部分解析部13Bは、分類判定スコアの導出対象とされた疾患の分類の候補の全部又は一部の分類の各々について、関連部分を特定し、特定した関連部分についての所定の判定項目について判定を行う。テキスト生成部14は、各テキストに記述される疾患の分類に対応する関連部分に関する記述を、関連部分解析部13Bにおける解析結果に基づいて生成し、これを対応するテキストに含める。
【0093】
文書管理作成支援装置は、以下のようにして複数のテキストを生成及び表示してもよい。例えば、ユーザによる異常陰影(特徴部分)の指定を受付ける前に、複数の異常陰影(特徴部分)のそれぞれについて予め複数のテキストを生成しておいてもよい。その後、ユーザによって異常陰影(特徴部分)の指定がなされた場合、指定された異常陰影(特徴部分)に関する複数のテキストを、予め生成しておいた複数のテキストの中から選択し、選択した複数のテキストを表示部104に表示させる制御を行ってもよい。表示される複数のテキストには、関連部分に関する記述が含まれていてもよいし、含まれていなくてもよい。
【0094】
また、複数のテキストの各々に含まれる異常陰影(特徴部分)の性状に関する記述が、当該異常陰影(特徴部分)のサイズに関するものであってもよい。すなわち、テキスト生成部14は、異常陰影(特徴部分)のサイズに関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。例えば、テキスト生成部14は、「嚢胞を認めます。」という記述を含む第1のテキストを生成し、「小嚢胞を認めます。」という記述を含む第2のテキストを生成し、「微小嚢胞を認めます。」という記述を含む第3のテキストを生成してもよい。
【0095】
また、複数のテキストの各々に含まれる異常陰影(特徴部分)の性状に関する記述が、当該異常陰影(特徴部分)の個数、多寡、密集度又は分布状態に関するものであってもよい。すなわち、テキスト生成部14は、異常陰影(特徴部分)の個数、多寡、密集度又は分布状態に関する記述が、複数のテキスト間で互いに異なるように複数のテキストを生成してもよい。例えば、テキスト生成部14は、「嚢胞を認めます。」という記述を含む第1のテキストを生成し、「嚢胞が散在しています。」という記述を含む第2のテキストを生成し、「多発嚢胞を認めます。」という記述を含む第3のテキストを生成してもよい。
【0096】
上記した第1乃至第7の実施形態に係る文書作成支援装置10の各機能部等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(field-programmable gate array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0097】
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
【0098】
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
【0099】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
【0100】
なお、2020年2月7日に出願された日本国特許出願2020-020144及び2020年12月22日に出願された日本国特許出願2020-212842の開示は、その全体が参照により本明細書に取り込まれる。また、本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19