(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-26
(45)【発行日】2022-06-03
(54)【発明の名称】学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデル
(51)【国際特許分類】
G06T 7/00 20170101AFI20220527BHJP
G16H 30/00 20180101ALI20220527BHJP
G16H 50/50 20180101ALI20220527BHJP
【FI】
G06T7/00 350B
G16H30/00
G16H50/50
(21)【出願番号】P 2020505688
(86)(22)【出願日】2019-02-12
(86)【国際出願番号】 JP2019004771
(87)【国際公開番号】W WO2019176407
(87)【国際公開日】2019-09-19
【審査請求日】2020-09-03
(31)【優先権主張番号】P 2018049799
(32)【優先日】2018-03-16
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001988
【氏名又は名称】特許業務法人小林国際特許事務所
(72)【発明者】
【氏名】一ノ瀬 晶路
(72)【発明者】
【氏名】中村 佳児
(72)【発明者】
【氏名】北村 嘉郎
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2012-198928(JP,A)
【文献】国際公開第2013/001584(WO,A1)
【文献】国際公開第2017/017722(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
A61B 5/00
G16H 30/00
G16H 10/00 - 80/00
(57)【特許請求の範囲】
【請求項1】
画像及び文字情報を含む読影レポートを記憶した記憶部と、
前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部とを備え
、
前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習支援装置。
【請求項2】
前記読影レポートは、前記文字情報に含まれる所見情報と、前記画像に含まれる前記関心領域の位置情報とを関連付けるリンク情報を有し、
前記取得部は、前記リンク情報から、前記関心領域の位置情報を取得する請求項
1記載の学習支援装置。
【請求項3】
前記読影レポートには、前記関心領域の周囲に付されたアノテーション情報を有し、
前記取得部は、前記アノテーション情報から、前記関心領域の位置情報を取得する請求項
1記載の学習支援装置。
【請求項4】
前記取得部は、前記読影レポートの画像から前記関心領域を判別する関心領域判別部によって、前記関心領域の画像及び前記関心領域の位置情報を取得する請求項
1記載の学習支援装置。
【請求項5】
前記取得部は、前記関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、前記関心領域の名称から、前記上位概念又は下位概念の名称を取得し、
前記学習部は、前記関心領域の画像と前記上位概念又は下位概念の名称とからなる教師データを用いて、前記学習を行う請求項1ないし
4のいずれか1項記載の学習支援装置。
【請求項6】
前記取得部は、前記関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、前記複数の類似の名称から、代表の名称を決定し、
前記学習部は、前記関心領域の画像と前記代表の名称とからなる教師データを用いて、前記学習を行う請求項1ないし
4のいずれか1項記載の学習支援装置。
【請求項7】
前記取得部は、前記記憶部に前記読影レポートが新規に記憶された場合に、前記関心領域の画像および前記関心領域の名称を新規に取得し、
前記登録部は、前記取得部により新規に取得した前記関心領域の画像と前記関心領域の名称とからなる新規の教師データを登録し、
前記学習部は、前記新規の教師データが登録された場合に、前記新規の教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項1ないし
6のいずれか1項記載の学習支援装置。
【請求項8】
前記取得部は、新規に記憶された前記読影レポートと、同一の患者を対象とする過去の前記読影レポートが前記記憶部に記憶されている場合、過去の前記読影レポートの画像と、新規に記憶された前記読影レポートの画像と、新規に取得した前記関心領域の画像を位置合わせすることにより、過去の前記読影レポートの画像に含まれる前記関心領域の画像を取得し、
前記登録部は、過去の前記読影レポートに基づき取得した前記関心領域の画像と、新規に取得した前記関心領域の名称とからなる過去画像教師データを登録し、
前記学習部は、前記過去画像教師データが登録された場合に、前記過去画像教師データを含めた前記教師データを複数用いて再度学習することにより、更新された前記判別モデルを生成する請求項
7記載の学習支援装置。
【請求項9】
前記読影レポートには、電子カルテが含まれる請求項1
ないし8のいずれか1項記載の学習支援装置。
【請求項10】
前記取得部は、前記関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得する請求項1
ないし9のいずれか1項記載の学習支援装置。
【請求項11】
画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、
前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップ
であって、前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップとを備えた学習支援方法。
【請求項12】
コンピュータを、
画像及び文字情報を含む読影レポートを記憶した記憶部と、
前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部として機能させ
、
前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習支援プログラム。
【請求項13】
画像及び文字情報を含む読影レポートを記憶した記憶部と、
前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部とを備え
、
前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う関心領域判別装置。
【請求項14】
画像及び文字情報を含む読影レポートを記憶した記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、
前記取得部が、前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得ステップと、
前記登録部が、前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録ステップと、
前記学習部が、前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップ
であって、前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップと、
前記判別部が、前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別ステップとを備えた関心領域判別方法。
【請求項15】
コンピュータを、
画像及び文字情報を含む読影レポートを記憶した記憶部と、
前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させ
、
前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための関心領域判別プログラム。
【請求項16】
コンピュータを、
画像及び文字情報を含む読影レポートを記憶した記憶部と、
前記読影レポートを解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された前記教師データを複数用いて、前記読影レポートの画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習を行う学習部と、
前記読影レポートの画像が入力された場合、前記判別モデルを用いて、前記関心領域の画像及び前記関心領域の名称を判別する判別部として機能させ
、
前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルに関する。
【背景技術】
【0002】
医療分野においては、解剖学的臓器名における領域名称を特定し、病名を診断することが行われている。例えば、特許文献1では、脳などの3次元医療画像に対して、複数の領域を特定することが行われている(領域セグメンテーション)。なお、領域のセグメンテーションとしては、例えば、非特許文献1に示すように、画像を画素レベルで把握するセマンティックセグメンテーションが用いられる場合がある。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【文献】A Review on Deep Learning Techniques Applied to Semantic Segmentation
【発明の概要】
【発明が解決しようとする課題】
【0005】
解剖学的臓器名、区域名、病名、病状など関心領域の名称とその関心領域の画像とを、ディープラーニングなどの機械学習を用いて、学習させた上で、関心領域の画像から関心領域の名称を判定することが行われつつある。関心領域の名称を正確に判定するためには、ディープラーニングにおいて、目的に沿った大量かつ良質の教師データによる学習が不可欠である。教師データについては、PACS(Picture Archiving and Communication System)などの医療情報システムに保管されている読影レポートなどの大量のデータから取得することが検討されている。しかしながら、大量のデータの中から教師データに役に立つデータを手動で判別するのは合理的ではない。
【0006】
本発明は、関心領域の画像から関心領域の名称等を判定するための判別モデルを生成する場合において、関心領域の画像と関心領域の名称とからなる教師データを大量に且つ容易に取得することができる学習支援装置、学習支援方法、学習支援プログラム、関心領域判別装置、関心領域判別方法、関心領域判別プログラム及び学習済みモデルを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明の学習支援装置は、記憶部と、取得部と、登録部と、学習部とを備え、取得部が、読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。記憶部は、画像及び文字情報を含む読影レポートを記憶している。取得部は、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する。登録部は、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する。学習部は、登録部に登録された教師データを複数用いて、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う。
【0009】
読影レポートは、文字情報に含まれる所見情報と、画像に含まれる関心領域の位置情報とを関連付けるリンク情報を有し、取得部は、リンク情報から、関心領域の位置情報を取得することが好ましい。
【0010】
読影レポートには、関心領域の周囲に付されたアノテーション情報を有し、取得部は、アノテーション情報から、関心領域の位置情報を取得することが好ましい。
【0011】
取得部は、読影レポートの画像から関心領域を判別する関心領域判別部によって、関心領域の画像及び関心領域の位置情報を取得することが好ましい。
【0014】
取得部は、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する階層構造データベースを参照して、関心領域の名称から、上位概念又は下位概念の名称を取得し、学習部は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データを用いて、学習を行うことが好ましい。
【0015】
取得部は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶した類似名称データベースを参照して、複数の類似の名称から、代表の名称を決定し、学習部は、関心領域の画像と代表の名称とからなる教師データを用いて、学習を行うことが好ましい。
【0016】
取得部は、記憶部に読影レポートが新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部は、取得部により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データを登録し、学習部は、新規の教師データが登録された場合に、新規の教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。
【0017】
取得部は、新規に記憶された読影レポートと、同一の患者を対象とする過去の読影レポートが記憶部に記憶されている場合、過去の読影レポートの画像と、新規に記憶された読影レポートの画像と、新規に取得した関心領域の画像を位置合わせすることにより、過去の読影レポートの画像に含まれる関心領域の画像を取得し、登録部は、過去の読影レポートに基づき取得した関心領域の画像と、新規に取得した関心領域の名称とからなる過去画像教師データを登録し、学習部は、過去画像教師データが登録された場合に、過去画像教師データを含めた教師データを複数用いて再度学習することにより、更新された判別モデルを生成することが好ましい。
【0018】
読影レポートには、電子カルテが含まれることが好ましい。
【0019】
取得部は、関心領域の名称として、解剖学的臓器名、区域名、病名、病状を取得することが好ましい。区域名としては、より具体的には、肺、肝臓、脳の区域名であることが好ましい。
【0020】
本発明の学習支援方法は、記憶部と、取得部と、登録部と、学習部とを備えた学習支援装置の学習支援方法において、取得部が、読影レポートを解析することにより、画像に含まれる関心領域の画像と文字情報に含まれる関心領域の名称とを取得する取得ステップと、登録部が、取得部により取得した関心領域の画像と関心領域の名称とからなる教師データを登録する登録ステップと、読影レポートの画像の入力に対して、関心領域の画像及び関心領域の名称を出力する判別モデルを生成するための学習を行う学習ステップであって、前記取得部が、前記読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、前記学習部が、前記教師データに加えて、前記関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う学習ステップとを備えている。
【0021】
本発明の学習支援プログラムは、コンピュータを、記憶部と、取得部と、登録部と、学習部として機能させ、取得部が、読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行うための学習支援プログラム。
【0022】
本発明の関心領域判別装置は、記憶部と、取得部と、登録部と、学習部と、判別部とを備え、取得部が、読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。判別部は、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する。
【0023】
本発明の関心領域判別装置の関心領域判別方法は、記憶部と、取得部と、登録部と、学習部と、判別部とを備えた関心領域判別装置において、取得ステップと、登録ステップと、学習ステップと、判別部が、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別ステップとを備えている。
【0024】
本発明の関心領域判別装置の関心領域判別プログラムは、コンピュータを、記憶部と、
取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させ、取得部が、読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。
【0025】
本発明の学習済みモデルは、コンピュータを、記憶部と、取得部と、登録部と、学習部と、読影レポートの画像が入力された場合、判別モデルを用いて、関心領域の画像及び関心領域の名称を判別する判別部として機能させ、取得部が、読影レポートを解析することにより、1箇所の関心領域に対して複数の関心領域の名称を取得した場合には、学習部が、教師データに加えて、関心領域の位置情報に関する領域位置情報を用いて、複数の関心領域の名称についてそれぞれ学習を行う。
【発明の効果】
【0026】
本発明によれば、読影レポートから医療分野において学習に必要な教師データを容易に取得し、判別モデルを生成するための学習支援装置および学習支援方法並びに学習支援プログラムを提供することができる。
【図面の簡単な説明】
【0027】
【
図1】医療情報システムの概略構成を表す図である。
【
図2】本発明の学習支援装置の概略構成を表す図である。
【
図4】読影レポートから教師データを取得し、学習データを生成する方法を説明する説明図である。
【
図5】読影レポートから関心領域の名称及び関心領域の位置情報を取得する方法を説明する説明図である。
【
図6】本発明の学習支援装置および関心領域判別装置の作用を説明するためのフローチャートである。
【
図7】アノテーション情報から関心領域の位置情報を取得する変形例を説明する説明図である。
【
図8】領域位置情報を用いて関心領域の位置情報を取得する変形例を説明する説明図である。
【
図9】類似名称データベースを参照して関心領域の位置情報を取得する変形例を説明する説明図である。
【
図10】過去の読影レポートをから関心領域の位置情報を取得する変形例を説明する説明図である。
【
図11】肝臓の各区域を模式的に表した説明図である。
【発明を実施するための形態】
【0028】
図1において、医療情報システム2は、モダリティ11と、読影医端末12と、診療科医端末13と、画像管理サーバ14と、画像データベース15と、読影レポートサーバ16と、読影レポートデータベース17と、学習支援装置18と、オーダ管理サーバ19とで構成される。これらモダリティ11、読影医端末12、診療科医端末13、画像管理サーバ14、画像データベース15、読影レポートサーバ16、読影レポートデータベース17、学習支援装置18およびオーダ管理サーバ19は、医療施設内に敷設されたLAN(Local Area Network)等のローカルネットワークであるネットワーク21を介して通信可能な状態で相互接続されている。なお、読影医端末12が他の病院あるいは診療所に設置されている場合には、各病院のローカルネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
【0029】
この医療情報システム2は、公知のオーダリングシステムを用いた診療科医からの検査オーダに基づいて、被検体の検査対象部位の撮影および保管、読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科医による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。
【0030】
各機器は、医療情報システム2の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、CD-ROM等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
【0031】
モダリティ11には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像22を生成し、その画像にDICOM(Digital Imaging and Communication in Medicine)規格で規定された付帯情報を付加して出力する装置が含まれる。また、モダリティ11には、臓器の三次元情報をもつ画像を検査画像22として撮影する装置が含まれる。具体例としては、CT(Computed Tomography:コンピュータ断層撮影装置)装置11A、MRI(magnetic resonance imaging:磁気共鳴画像撮影装置)装置11B、PET(Positron Emission Tomography)装置(図示せず)、超音波装置(図示せず)、または、平面X線検出器(FPD:flat panel detector)を用いたCR(Computed Radiography:コンピュータX線撮影)装置11Cなどが挙げられる。なお、以下では、モダリティ11で撮影し、画像を生成する検査対象の臓器として肺を例示する。
【0032】
読影医端末12は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、CPU(Central Processing Unit)、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として1台または複数台の高精細ディスプレイを有している。この読影医端末12では、画像管理サーバ14に対する画像の送信要求、画像管理サーバ14から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポート23の作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医端末12は、生成した読影レポート23を、ネットワーク21を介して読影レポートサーバ16に転送し、その読影レポートの読影レポートデータベース17への登録を要求する。
【0033】
診療科医端末13は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、CPU、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として1台または複数台の高精細ディスプレイを有している。この診療科医端末13では、画像管理サーバ14に対する画像の閲覧要求、画像管理サーバ14から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ16に対する読影レポートの閲覧要求、および、読影レポートサーバ16から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。
【0034】
画像管理サーバ14は、汎用のコンピュータにデータベース管理システム(Data Base Management System:DBMS)の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ14は、画像データベース15が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ14とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク21に接続されているNAS(Network Attached Storage)やSAN(Storage Area Network)に接続されたディスク装置であってもよい。
【0035】
画像データベース15には、複数の患者をモダリティ11で撮影した検査画像(画像データ)22と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、検査画像22ごとに割り振られるユニークなID(UID:unique identification)、その検査画像22が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティ11の種類、患者氏名と年齢と性別などの患者情報、検査部位(撮影部位)、撮影条件(造影剤の使用有無または放射線量など)、および、1回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
【0036】
また、画像管理サーバ14は、読影医端末12からの閲覧要求をネットワーク21経由で受信すると、上述の画像データベース15に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医端末12に送信する。
【0037】
読影レポートサーバ16は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムが組み込まれ、読影医端末12からの読影レポート23の登録要求を受け付けると、その読影レポート23をデータベース用のフォーマットに整えて読影レポートデータベース17に登録する。
【0038】
読影レポートデータベース17には、例えば、読影対象画像もしくは代表画像を識別する画像IDや、読影を行った読影医を識別するための読影医ID、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポート23が登録される。
【0039】
オーダ管理サーバ19は、診療科医端末13で発行された検査オーダを受け付けて、受け付けた検査オーダを管理する。検査オーダは、例えば、個々の検査オーダを識別するためのオーダID、当該検査オーダを発行した診療科医端末13の端末IDまたは診療科医ID、当該検査オーダによる撮影の対象の患者(以下、対象患者)の患者ID、経過観察等の検査目的、頭部、胸部等の撮影部位、仰向け、うつ伏せ等の向きといった各種項目を有する。放射線科の検査技師は、オーダ管理サーバ19で検査オーダの内容を確認し、確認した検査オーダに応じた撮影条件をモダリティ11に設定して医用画像の撮影を行う。
【0040】
次に、本発明の関心領域判別装置25について、
図1および
図2を用いて説明する。関心領域判別装置25は、例えば、読影医端末12に組み込まれ、検査画像22内における臓器の各区域または病変らしき部分の画像と、臓器の各区域および関心領域の名称を判別する。読影医端末12は、判別結果に基づき、臓器の各区域の色分け表示、または関心領域の強調表示などを行う。
【0041】
図2は、関心領域判別装置25を構成する学習支援装置18の機能ブロックである。本発明の関心領域判別装置25は、ネットワーク21に接続された学習支援装置18、および読影レポートデータベース17とともに使用される(
図1参照)。なお、読影レポートデータベース17が本発明の記憶部として機能する。
【0042】
学習支援装置18は、汎用のコンピュータで構成され、CPU、HDD(hard disc drive)やSSD(solid state drive)等の主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされている。また、通信インターフェースを介して、ネットワーク21に接続された画像データベース15、および読影レポートデータベース17とデータの送受信を行う。
【0043】
なお、本実施形態では、学習支援装置18は、読影医端末12、診療科医端末13、画像管理サーバ14、および読影レポートサーバ16とは独立して設けられているが、これに限らず、これらのサーバ又は端末のいずれか1つに設けてもよい。
【0044】
図2に示すように、学習支援装置18は、取得部26、登録部27、記憶装置28、学習部29、および制御部31で構成される。
【0045】
取得部26は、読影レポート23を解析することにより、読影レポート23の検査画像22に含まれる関心領域の画像と、読影レポート23の文字情報に含まれる関心領域の名称とを取得する。本実施形態では、関心領域の名称として、肺区域の名称を取得する。
【0046】
図3に示すように、解剖学的臓器としての肺は、肺葉または肺区域に区分される。右肺RLは、肺葉としての右上葉RUL(right upper lobe)、右中葉RML(right middle lobe)、及び右下葉RLL(right lower lobe)に分けられ、左肺LLは、肺葉としての左上葉LUL(left upper lobe)、及び左下葉LLL(left lower lobe)に分けられる。
【0047】
また、右上葉RULは、肺区域としての右肺尖区S1(以下、右S1と省略する。以下の肺区域についても同様に省略する。)、右後上葉区S2、及び右前上葉区S3に区分される。右中葉RMLは、肺区域としての右外側中葉区S4及び右内側中葉区S5に区分される。右下葉RLLは、肺区域としての右上葉・下葉区S6、右内側肺底区S7、右前肺底区S8、右外側肺底区S9、及び右後肺底区S10に区分される。
【0048】
さらに、左上葉LULは、肺区域としての左肺尖後区S1+2、左前上葉区S3、左上舌区S4、及び左下舌区S5に区分される。左下葉LLLは、肺区域としての左上葉・下葉区S6、左前肺底区S8、左外側肺底区S9、及び左後肺底区S10に区分される。
【0049】
制御部31は、取得部26、登録部27、及び学習部29の処理の流れを制御する。取得部26が、読影レポート23の検査画像22に含まれる関心領域の画像と、読影レポート23の文字情報に含まれる関心領域の名称とを取得する処理について
図4および
図5を用いて説明する。
【0050】
読影レポート23には、読影対象となる検査画像22と、付帯情報23Aと、所見情報23Bと、リンク情報23Cとが含まれる。付帯情報23Aは、患者ID、検査ID、検査日などの読影対象となる検査画像22に付帯された文字情報である。所見情報23Bは、読影対象となる検査画像22を読影した読影医の所見を編集したものであり、読影医端末12によって入力された文字情報である。リンク情報23Cは、後述するように読影レポート23をディスプレイに表示する際に用いられるものであり、所見情報23Bと、検査画像22に含まれる関心領域の位置情報とを関連付けるリンク情報である。
【0051】
図5は、読影医端末12又は診療科医端末13のディスプレイに読影レポート23を表示する際の表示画面32の一例である。この例では、上から順に、付帯情報23Aが表示される付帯情報表示欄32Aと、所見情報23Bが表示される所見欄32Bと、読影対象となる検査画像22のサムネイル画像が表示される画像表示欄32Cとを有する。
【0052】
図5に示す例では、所見欄32Bに、「右S1にφ=30mmの境界明瞭な肺結節が認められる。」という所見情報23Bが表示されている。この場合、関心領域の病変名を示す「肺結節」と、関心領域の肺区域名である「右S1」と、関心領域の直径寸法をしめす「φ=30mm」が強調表示されている。
【0053】
さらに、本実施形態では、読影レポート23には、リンク情報23Cが含まれており、このリンク情報23Cは、所見情報23Bのうち、病変名を示す「肺結節」の文言と、検査画像22に含まれる関心領域の位置情報とを関連付ける。この関心領域の位置情報とは、具体的には、検査画像22内における関心領域の座標とこの座標を中心とする範囲である。このリンク情報23Cを有することによって、読影医端末12又は診療科医端末13を操作し、表示画面32内で強調表示された「肺結節」を選択すると、関連付けられた関心領域の位置情報に基づく関心領域の画像22Aをディスプレイに表示させることができる。
図5に示す例では、「肺結節」を選択した場合、検査画像22のうち、座標(X,Y,Z)を中心とする直径寸法がφ=30mmの関心領域(円で囲んだ部分)を含む範囲を切り出し、リンク情報23Cに含まれる関心領域の位置情報を中心にして拡大した画像32Dが表示される。
【0054】
図4及び
図5に示す例では、取得部26は、読影レポート23の所見情報23Bの文字を解析し、肺区域の名称を示す「右S1」を関心領域の名称として取得するとともに、読影レポート23のリンク情報23Cから検査画像22内における関心領域の座標(X,Y,Z)と、関心領域の直径寸法を示す「φ=30mm」とからなる位置情報を取得する。
【0055】
登録部27は、取得部26により取得した関心領域の画像22Aと関心領域の名称とからなる教師データ33を記憶装置28に登録する。
図4に示す例では、関心領域の画像22Aと、肺区域の名称である「右S1」と、位置情報である座標(X,Y,Z)および直径φ=30mmとからなる教師データ33を登録する。記憶装置28は、例えば、学習支援装置18に設けられたHDD(hard disc drive)やSSD(solid state drive)等の記憶装置の一部でもよいし、ネットワーク21を介して接続された記憶装置でもよい。
【0056】
以上のようなプロセスで、登録部27は、複数の教師データ33を登録し、記憶装置28に後述する機械学習等のために、たとえば、所定個数の教師データ33を登録するまで、または読影レポートデータベース17に登録された全ての読影レポート23に基づく教師データ33を登録するまで、読影レポート23からの関心領域の画像22Aと関心領域の名称の取得、教師データ33の登録が繰り返される。
【0057】
学習部29は、記憶装置28に登録された教師データ33を複数用いて、読影レポート23の検査画像22の入力に対して、関心領域の画像22A及び関心領域の名称を出力する判別モデル34を生成するための学習を行う。具体的には、ディープラーニングなどの機械学習手法を用いて判別モデル34を生成する。例えば、教師データ33を複数入力して、機械学習アルゴリズムに、関心領域の位置情報と各ボクセルの特徴量(画素値など)の関係性を学習させておく。具体的には、各ボクセルの特徴量のうち関心領域周辺の特徴量を入力したときに得られる位置情報と、教師データ33における関心領域の位置情報との誤差が最小になるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。
【0058】
以上のように、学習部29で生成された判別モデル34は、関心領域判別装置25に送信される。関心領域判別装置25の判別部35では、読影レポート23などの検査画像22が入力された際、判別モデル34を用いて、検査画像22内における関心領域の画像22A及び関心領域の名称を出力する。
【0059】
判別モデル34は、上述した機械学習手法を用いて決定された重み付け係数を含むものであり、検査画像22が入力された場合、関心領域の画像22A及び関心領域の名称の判別のために、用いられる。
【0060】
判別部35は、判別モデル34を用いて検査画像内における関心領域の画像及び関心領域の名称を判別する。判別部35は、例えば判別した関心領域の画像36及び関心領域の名称37などを関心領域判別装置25のディスプレイなどに表示させる。
【0061】
以下、肺の検査画像22を有する読影レポート23から判別モデル34が生成され、関心領域の画像及び関心領域の名称が判別されるプロセスを、
図6のフローチャートを用いて説明する。
【0062】
学習支援装置18では、まず、肺疾患に関する読影レポート23を読影レポートデータベース17から読み出す(S101)。
【0063】
次に、取得部26が読影レポート23の検査画像22に含まれる関心領域の画像と、読影レポート23の文字情報に含まれる関心領域の名称とを取得し(S102)、登録部27が、取得部26により取得した関心領域の画像と関心領域の名称とからなる教師データ33を記憶装置28に登録する(S103)。上述したように、読影レポート23に「右S1にφ=30mmの境界明瞭な肺結節が認められる。」という所見情報23B、リンク情報23Cが含まれている場合は、関心領域の肺区域名である「右S1」、リンク情報23Cに含まれる関心領域の位置情報を取得する。
【0064】
そして、機械学習等のための教師データ33が記憶装置28に登録されると、学習部29が、登録された教師データ33を複数用いて、判別モデル34を生成するための学習を行う(S104)。生成された判別モデル34は、関心領域判別装置25に送信される。
【0065】
関心領域判別装置25に新たな検査画像22が入力された場合(S105でYES)、判別部35は、判別モデル34を用いて検査画像22内における関心領域の画像及び関心領域の名称を出力する。例えば、肺区域の色分け表示、または肺区域の名称表示などを行う(S106)。
【0066】
以上のように、学習支援装置18は、読影レポート23から取得した関心領域の画像および関心領域の名称からなる教師データに基づいて学習を行っているので、医療情報システムにおいて、従来から使用されていた読影レポートから教師データを取得可能であり、学習に必要な教師データを容易に取得することができる。さらに、教師データを用いて判別モデル34を生成可能であり、正しい情報が記録されている読影レポートに基づいて判別モデル34が生成されているため、判別の精度を容易に向上させることができる。
【0067】
なお、本実施形態では、関心領域として「右S1」を出力可能な関心領域判別装置25を例示しているが、本発明はこれに限定するものではなく、複数の関心領域を同時に判別可能とするもの、すなわち、入力された検査画像内のある範囲のボクセルは「右S1」であり、別の範囲のボクセルは「右S2」というように、複数の関心領域を同時に判別可能な判別モデルを作成してもよい。また、このような判別モデルを関心領域判別装置に適用し、複数の関心領域を同時に判別可能としてもよい。
【0068】
上記実施形態では、読影レポート23に含まれるリンク情報23Cから、関心領域の位置情報を取得する例を上げたが、本発明はこれに限らず、読影レポート23が、アノテーション情報を有している場合、取得部26は、アノテーション情報から、関心領域の位置情報を取得してもよい。アノテーション情報とは、画像データなどに注釈として付与された情報であり、
図7に示す例では、アノテーション情報としての矢印38が検査画像22に含まれており、この矢印38は、関心領域の周囲に付されている。この場合、取得部26は、例えば、検査画像22内における矢印38の先端位置の座標を位置情報として取得する。
【0069】
また、取得部26は、関心領域判別部を備え、この関心領域判別部により読影レポート23の検査画像22から関心領域を判別してもよい。この場合、関心領域判別部の構成としては、上記実施形態の関心領域判別装置25と同様の構成であり、すなわち、学習生成済みの判別モデル34を用いて読影レポート23の検査画像22から関心領域を判別し、新たな教師データとして登録する構成である。
【0070】
また、別の変形例として、取得部26が読影レポート23を解析することにより、第1の名称と、第1の名称と異なる第2の名称を含む複数の関心領域の名称を取得した場合には、学習部29は、関心領域の名称として第1の名称を含む第1の教師データと、関心領域の名称として第2の名称を含む第2の教師データとを用いて学習を行う。この場合、例えば、読影レポート23の中に「右S1/右S2に肺結節が認められる・・・」という文字情報から、「右S1」および「右S2」という2つの名称を取得した場合、登録部27は、「右S1」という名称を用いた教師データ33と、「右S2」という名称を用いた教師データ33をそれぞれ登録する。
【0071】
学習部29は、「右S1」という名称を用いた教師データ33を入力した場合における関心領域の位置情報の誤差と、「右S2」という名称を用いた教師データ33を入力した場合における関心領域の位置情報の誤差の両方が小さくなるように、機械学習アルゴリズムで用いる学習用重み付け係数を更新する。これにより、学習の精度を向上させることができる。
【0072】
また、取得部26が読影レポート23を解析することにより、複数の関心領域の名称を取得した場合には、学習部29は、教師データ33に加えて、関心領域の位置情報に関する領域位置情報を用いて、学習を行う構成としてもよい。この場合、
図8に示すように、学習部29は、領域位置情報として、例えば、右S4は肺の側面に、右S5は内側に存在するという領域位置情報を予め記憶しておく。そして、取得部26が読影レポート23を解析することにより「右S4」および「右S5」という2つの名称を取得した場合、学習部29は、領域位置情報を用いて、関心領域の肺外側面方向の半分を「右S4」、肺内側面方向の半分を「S5」として学習させる。
【0073】
また、取得部26は、階層構造データベースを参照して上位概念又は下位概念の名称を取得し、学習部29は、関心領域の画像と上位概念又は下位概念の名称とからなる教師データ33を用いて、学習を行う構成にしてもよい。階層構造データベースは、例えば、学習支援装置18に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク21を介して接続されたデータベースでもよい。階層構造データベースは、関心領域の名称に対して上位概念又は下位概念に対応する上位概念又は下位概念の名称を記憶する。例えば、肺については、肺葉および肺区域の区分などが階層構造データベースに記憶されており、上位概念から下位概念の順に、右肺>右上葉>右S1という階層構造が記憶されている。
【0074】
この場合、例えば、取得部26が「右S1」という名称を取得すると、学習部29は、階層構造データベースを参照し上位概念の名称である「右上葉」及び「右肺」を取得し、「右S1」に加えて「右上葉」及び「右肺」という名称についても教師データ33として上記実施形態と同様の学習を行う。
【0075】
また、取得部26は、類似名称データベース39を参照して、複数の類似の名称から、代表の名称を決定し、学習部29は、関心領域の画像と代表の名称とからなる教師データ33を用いて、学習を行う構成としてもよい。
図9に示すように、類似名称データベース39は、例えば、学習支援装置18に設けられた記憶装置の一部を用いたものでもよいし、ネットワーク21を介して接続されたデータベースでもよい。類似名称データベース39は、関心領域の名称に対して互いに類似する複数の類似の名称を予め記憶したデータベースであり、例えば、区域名;「右S3」および「右肺尖区」という複数の類似の名称が記憶されている。この例では、取得部26は、代表の名称として「右S3」に決定し、学習部29は、関心領域の画像と、名称としての「右S3」とからなる教師データ33を用いて、上記実施形態と同様の学習を行う。
【0076】
また、取得部26は、読影レポートデータベース17に読影レポート23が新規に記憶された場合に、関心領域の画像および関心領域の名称を新規に取得し、登録部27は、取得部26により新規に取得した関心領域の画像と関心領域の名称とからなる新規の教師データ33を登録し、学習部29は、新規の教師データ33が登録された場合に、新規の教師データ33を含めた教師データを複数用いて再度学習することにより、更新された判別モデル34を生成することが好ましい。これにより、判別モデル34の判別精度を向上させることができる。
【0077】
上記実施形態では、読影医が読影医端末12などにより作成した読影レポート23を例に上げているが、電子カルテなど、上記実施形態の読影レポート23と同様の画像と文字情報が含まれたものであればよい。
【0078】
また、上記実施形態では、読影レポートから関心領域についての情報を取得し、教師データとして登録しているが、これに限らず、関心領域についての情報が含まれていない過去の読影レポートが記憶されている場合、この過去の読影レポートと、新規に記憶された読影レポートを利用して教師データを登録してもよい。この場合、
図10に示すように、取得部26は、新規に記憶された読影レポート23と、同一の患者を対象とする過去の読影レポート43が読影レポートデータベース17に記憶されている場合、過去の読影レポート43の検査画像42と、新規に記憶された読影レポート23の検査画像22と、新規に取得した関心領域の画像22Aを画像処理等によって位置合わせすることにより、過去の読影レポート43の検査画像42に含まれる関心領域の画像42Bを取得する。この場合、取得部26は、例えば、付帯情報23A,43Aに含まれる患者IDから同一の患者を対象とする読影レポート23,43であると判断する。
【0079】
登録部27は、過去の読影レポート43に基づき取得した関心領域の画像42Bと、新規に取得した関心領域の名称とからなる過去画像教師データ44を登録し、学習部29は、過去画像教師データ44が登録された場合に、過去画像教師データ44を含めた教師データ33を複数用いて再度学習することにより、更新された判別モデル34を生成する。これにより、教師データの数をさらに増やすことができるため、判別モデル34の判別精度を向上させることができる。
【0080】
また、取得部26は、関心領域の名称として、解剖学的臓器名、区域名として肺を例に上げているが、これに限らず、
図11に示すように、肝臓の各区域(尾状葉S1、左葉S2,S3,S4、右葉S5,S6,S7など)について適用してもよいし、脳の各区域について適用してもよい。あるいは、取得部26は、関心領域として、病名、病状を取得するようにしてもよい。
【0081】
上記実施形態では、関心領域判別装置25とは別に学習支援装置18を設けているが、関心領域判別装置25に学習支援装置18が組み込まれるように一体に構成してもよい。
【0082】
上記各実施形態において、取得部26、登録部27、学習部29、判別部35といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、例えば、上述したように、ソフトウェアプログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPUである。また、CPUが実現する機能の全部または一部に代えて、各種のプロセッサを使用してもよい。これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。また記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
【0083】
上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。また、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にも及ぶ。
【0084】
なお、本発明は、読影レポートを用いる医療分野以外の分野においても、適用可能である。文字情報と画像情報が含まれる特定情報であればよく、例えば、文字情報が含まれる写真画像(画像データ)を用いるものや、SNS(social networking service)情報を用いるものに適用することができる。
[付記項1]
画像及び文字情報を含む特定情報を記憶する記憶部と、
前記テキスト情報を解析することにより、前記画像に含まれる関心領域の画像と前記文字情報に含まれる前記関心領域の名称とを取得する取得部と、
前記取得部により取得した前記関心領域の画像と前記関心領域の名称とからなる教師データを登録する登録部と、
前記登録部に登録された教師データを用いて、前記特定情報の画像の入力に対して、前記関心領域の画像及び前記関心領域の名称を出力する判別モデルを生成するための学習部とを備えた学習支援装置。
[付記項2]
前記特定情報は、写真画像中に文字情報が含まれているものである。
[付記項3]
前記特定情報は、SNS情報である。
【符号の説明】
【0085】
2 医療情報システム
11 モダリティ
11A CT装置
11B MRI装置
11C CR装置
12 読影医端末
13 診療科医端末
14 画像管理サーバ
15 画像データベース
16 読影レポートサーバ
17 読影レポートデータベース
18 学習支援装置
19 オーダ管理サーバ
21 ネットワーク
22 検査画像
22A 画像
23 読影レポート
23A 付帯情報
23B 所見情報
23C リンク情報
25 関心領域判別装置
26 取得部
27 登録部
28 記憶装置
29 学習部
31 制御部
32 表示画面
32A 付帯情報表示欄
32B 所見欄
32C 画像表示欄
32D 画像
33 教師データ
34 判別モデル
35 判別部
36 画像
37 名称
38 矢印
39 類似名称データベース
42 検査画像
42B 画像
43 読影レポート
43A 付帯情報
44 過去画像教師データ