(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】画像診断支援装置および画像診断支援方法
(51)【国際特許分類】
A61B 6/46 20240101AFI20240508BHJP
G16H 50/00 20180101ALI20240508BHJP
G16H 30/00 20180101ALI20240508BHJP
A61B 6/00 20240101ALI20240508BHJP
A61B 5/055 20060101ALI20240508BHJP
【FI】
A61B6/46 536Z
G16H50/00
G16H30/00
A61B6/00 550Z
A61B5/055 380
(21)【出願番号】P 2020093986
(22)【出願日】2020-05-29
【審査請求日】2023-05-18
(73)【特許権者】
【識別番号】320011683
【氏名又は名称】富士フイルムヘルスケア株式会社
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】松崎 和喜
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2013-165780(JP,A)
【文献】特開2013-192624(JP,A)
【文献】特開2010-252989(JP,A)
【文献】特開2020-062355(JP,A)
【文献】米国特許出願公開第2017/0337687(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 1/00-1/32、5/055、6/00-6/58、8/00-8/15
G06T 1/00-19/20
(57)【特許請求の範囲】
【請求項1】
診断結果が確定した画像である教師画像と前記診断結果とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記診断結果との関連の度合いである第一関連度を予め設定し、診断対象である医用画像から取得される多数の画像特徴量と前記第一関連度に基づいて予測結果を出力する予測結果出力部と、
前記予測結果に対する前記第一関連度が所定の値より高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出部と、
前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出部と、
前記教師画像の特徴を表現する画像所見と前記教師画像とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記画像所見との関連の度合いである第二関連度を予め設定し、前記医用画像
の特徴を表現する複数の画像所見の中から前記第二の画像特徴量に対する前記第二関連度が所定の値より高い画像所見を抽出して出力する画像所見出力部と、
前記画像所見出力部から出力された画像所見を前記予測結果とともに提示する表示部を備えることを特徴とする画像診断支援装置。
【請求項2】
請求項1に記載の画像診断支援装置であって、
前記予測結果出力部は教師有り機械学習によって生成される画像診断モデルであり、
前記第二抽出部は教師無し機械学習によって前記多数の画像特徴量をクラスタリングすることを特徴とする画像診断支援装置。
【請求項3】
請求項1に記載の画像診断支援装置であって、
前記表示部は、前記第一の画像特徴量と前記第二の画像特徴量とをさらに提示することを特徴とする画像診断支援装置。
【請求項4】
請求項1に記載の画像診断支援装置であって、
前記予測結果は病変の診断結果であることを特徴とする画像診断支援装置。
【請求項5】
請求項1に記載の画像診断支援装置であって、
前記画像所見には、病変の境界、病変の辺縁、病変の性状が含まれることを特徴とする画像診断支援装置。
【請求項6】
診断結果が確定した画像である教師画像と前記診断結果とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記診断結果との関連の度合いである第一関連度を予め設定し、診断対象である医用画像から取得される多数の画像特徴量と前記第一関連度に基づいて予測結果を出力する予測結果出力ステップと、
前記予測結果に対する前記第一関連度が所定の値より高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出ステップと、
前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出ステップと、
前記教師画像の特徴を表現する画像所見と前記教師画像とを教師データとして学習することによって、前記教師画像から取得される画像特徴量と前記画像所見との関連の度合いである第二関連度を予め設定し、前記医用画像
の特徴を表現する複数の画像所見の中から前記第二の画像特徴量に対する前記第二関連度が所定の値より高い画像所見を抽出して出力する画像所見出力ステップと、
前記画像所見出力ステップから出力された画像所見を前記予測結果とともに提示する表示ステップと、をコンピュータに実行させることを特徴とする画像診断支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像撮像装置で取得される医用画像に含まれる病変部位を人工知能等により診断する技術に関し、特に診断結果の参考情報となる画像所見を提示する画像診断支援装置および画像診断支援方法に係る。
【背景技術】
【0002】
X線CT(Computed Tomography)装置等に代表される医用画像撮像装置は、病変部位等の形態を画像化する装置であり、医用画像に含まれる病変部位は読影医によって診断される。医用画像撮像装置の高性能化にともなう読影医の負担増を軽減するため、人工知能いわゆるAI(Artificial Intelligence)によって病変部位を診断する画像診断支援装置が近年開発されている。多くの画像診断支援装置では、医用画像の特徴を示す値である多数の画像特徴量に基づいて医用画像から導かれる診断名を推論するのに留まっており、推論の結果が診断に有用であるか否かを医師が判断できなかった。
【0003】
特許文献1には、医用画像から診断名を推論するとともに、診断名の推論結果への影響度が高い画像所見を参考情報として提示できる情報処理装置が開示されている。具体的には、医用画像の各画像特徴量に基づいて、診断名と、医用画像の特徴を表現する画像所見とが推論され、診断名の推論結果に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論される画像所見が参考情報として提示される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら特許文献1では、診断名の推論結果に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論される画像所見が取得できない場合がある。すなわち診断名の推論結果への影響度が高い画像特徴量が、画像所見の推論結果に高い影響度を与えない場合、画像診断支援装置は病変の診断結果等の予測結果に対する参考情報となる画像所見を提示できない。
【0006】
そこで本発明は、いかなる場合であっても、病変の診断結果等の予測結果に対する参考情報となる画像所見を提示可能な画像診断支援装置および画像診断支援方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、医用画像から取得される多数の画像特徴量に基づいて予測結果を出力する予測結果出力部と、前記予測結果との関連度がより高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出部と、前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出部と、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量との関連度がより高い画像所見を抽出して出力する画像所見抽出部と、前記画像所見出力部から出力された画像所見を前記予測結果とともに提示する表示部を備えることを特徴とする画像診断支援装置である。
【0008】
また本発明は、医用画像から取得される多数の画像特徴量に基づいて予測結果を出力する予測結果出力ステップと、前記予測結果との関連度がより高い第一の画像特徴量を前記多数の画像特徴量の中から抽出する第一抽出ステップと、前記第一の画像特徴量と同じクラスタにクラスタリングされる第二の画像特徴量を前記多数の画像特徴量の中から抽出する第二抽出ステップと、前記医用画像の特徴を表現する複数の画像所見の中から前記第二の画像特徴量との関連度がより高い画像所見を抽出して出力する画像所見出力ステップと、前記画像所見出力ステップから出力された画像所見を前記予測結果とともに提示する表示ステップと、をコンピュータに実行させることを特徴とする画像診断支援方法である。
【発明の効果】
【0009】
本発明によれば、いかなる場合であっても病変の診断結果等の予測結果に対する参考情報となる画像所見を提示可能な画像診断支援装置および画像診断支援方法を提供することができる。
【図面の簡単な説明】
【0010】
【
図1】実施例1の画像診断支援装置のハードウェア構成図である。
【
図3】画像診断モデルの一例について説明する図である。
【
図5】画像所見モデルの一例について説明する図である。
【
図6】実施例1の処理の流れの一例を示す図である。
【
図7】予測結果及び画像所見と各画像特徴量との関連度の一例を示す図である。
【
図8】画像特徴量のクラスタによって予測結果と画像所見とを紐づける処理について説明する図である。
【発明を実施するための形態】
【0011】
以下、添付図面に従って本発明に係る画像診断支援装置および画像診断支援方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【実施例1】
【0012】
図1を用いて本実施例の画像診断支援装置100のハードウェア構成について説明する。画像診断支援装置100は、いわゆるコンピュータである。具体的には、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、ネットワークアダプタ105、入力部106、表示部107がバス108によって信号送受可能に接続されて構成される。また画像診断支援装置100は、ネットワークアダプタ105及びネットワーク109を介して医用画像撮像装置110や医用画像データベース111と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。
【0013】
CPU101は、ROM102に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。CPU101は、記憶部104に格納されるプログラムやプログラム実行に必要なデータをRAM103にロードして実行する。記憶部104は、CPU101が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記録装置や、ICカード、SDカード、DVD等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはLAN(Local Area Network)等のネットワーク109からも送受信される。RAM103には、CPU101が実行するプログラムや演算処理の途中経過等が記憶される。
【0014】
表示部107は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイやタッチパネル等である。入力部106は、操作者が画像診断支援装置100に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部107がタッチパネルである場合には、タッチパネルが入力部106としても機能する。ネットワークアダプタ105は、画像診断支援装置100をLAN、電話回線、インターネット等のネットワーク109に接続するためのものである。
【0015】
医用画像撮像装置110は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、レントゲン装置や、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等である。複数の断層画像が積み上げられることにより、三次元医用画像が作成される。医用画像データベース111は、医用画像撮像装置110によって取得された医用画像を保管するデータベースシステムである。
【0016】
図2を用いて本実施例の機能ブロック図について説明する。なおこれらの機能は、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等を用いた専用のハードウェアで構成されても良いし、CPU101上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。本実施例は、予測結果出力部201、第一抽出部202、第二抽出部203、画像所見出力部204を備える。以下、各部について説明する。
【0017】
予測結果出力部201は、入力される医用画像200に対して何らかの予測結果を出力し、例えば医用画像200に対して病変の診断結果を出力する画像診断モデルであっても良い。画像診断モデルは、Random forestやSVM (Support Vector Machine)、階層型ニューラルネットワーク等で構築される既存のプログラムであり、処理アルゴリズムがブラックボックス化された任意のプログラムである。画像診断モデルは、教師有り機械学習を用いて生成される。
【0018】
図3を用いて、教師有り機械学習を用いて生成される画像診断モデルの一例について説明する。画像診断モデルは、医用画像200から取得される多数の画像特徴量に基づいて、病変の診断結果を出力する。例えば、各画像特徴量と診断結果との関連度RDijと各画像特徴量の値VLiとの積の総和Σ(RDij・VLi)が各診断結果に対して算出され、複数の診断結果の中から積の総和Σ(RDij・VLi)が最も高い診断結果が出力される。ここでiは画像特徴量を区別するインデックスであり、jは診断結果を区別するインデックスである。なお画像診断モデルは、画像特徴量の層と診断結果の層との間に中間層を含んでも良いし、画像特徴量を取得する層も複数の層で構成されても良い。
【0019】
各画像特徴量と各診断結果との関連度RDijは、診断結果の教師データ300を学習することによって予め設定される。診断結果の教師データ300は診断結果が確定された多数の医用画像を含み、例えば医用画像を特定する画像IDと診断結果とが対応付けられるテーブルである。診断結果の教師データ300に含まれる医用画像は、任意の医用画像で良く、二次元医用画像や三次元医用画像、もしくは二次元医用画像や三次元医用画像の一部の領域でも良い。診断結果には、例えば良性腫瘍、悪性腫瘍、腫瘍なし等が含まれる。各画像特徴量は、例えば画素値の不均一度やテクスチャ等である。
【0020】
第一抽出部202は、予測結果出力部201が出力する予測結果との関連度がより高い画像特徴量を多数の画像特徴量の中から抽出する。例えば、予測結果として出力される診断結果と各画像特徴量との関連度RDijが所定の値よりも大きい画像特徴量が第一抽出部202によって抽出される。抽出される画像特徴量の数は複数であっても良い。
【0021】
第二抽出部203は、第一抽出部202によって抽出される画像特徴量と同じクラスタにクラスタリングされる画像特徴量を多数の画像特徴量の中から抽出する。画像特徴量のクラスタリングは、教師無し機械学習によって実行されても良いし、コサイン類似度やピアソンの積率相関係数等を用いて算出される各画像特徴量間の類似度に基づいて実行されても良い。教師無し機械学習によって画像特徴量をクラスタリングする場合、教師有り機械学習を用いて生成される画像診断モデルの一部を利用することにより演算負荷を低減できる。各画像特徴量間の類似度に基づいてクラスタリングする場合、類似度が所定の値よりも大きい画像特徴量同士を同じクラスタとする。
【0022】
画像所見出力部204は、医用画像の特徴を表現する複数の画像所見の中から、第二抽出部203によって抽出された画像特徴量との関連度がより高い画像所見を抽出する。抽出された画像所見は、予測結果出力部201が出力する予測結果とともに、表示部107へ出力され、予測結果に関連する画像所見として予測結果とともに提示される。
【0023】
図4を用いて、画像所見の一例について説明する。画像所見は医師が医用画像の特徴を表現するのに用いられ、例えば病変の境界や病変の辺縁、病変の性状を含む。画像所見テーブル400に示されるように、病変の境界は明瞭と不明瞭に、病変の辺縁は平滑と不整に、病変の性状は固形と部分固形にそれぞれ分類される。医師は画像所見に基づいて診断を確定する。
【0024】
画像所見出力部204は、医用画像200に対して画像所見を出力する画像所見モデルを含んでも良い。画像所見モデルは、画像診断モデルと同様に、処理アルゴリズムがブラックボックス化された任意のプログラムであり、教師有り機械学習を用いて生成される。
【0025】
図5を用いて、教師有り機械学習を用いて生成される画像所見モデルの一例について説明する。画像所見モデルは、医用画像200から取得される多数の画像特徴量に基づいて、画像所見を出力する。例えば、各画像特徴量と画像所見との関連度RCikと各画像特徴量の値VLiとの積の総和Σ(RCik・VLi)が各画像所見に対して算出され、複数の画像所見の中から積の総和Σ(RCik・VLi)が最も高い画像所見が出力される。ここでiは画像特徴量を区別するインデックスであり、kは画像所見を区別するインデックスである。なお画像所見モデルは、画像特徴量の層と画像所見の層との間に中間層を含んでも良いし、画像特徴量を取得する層も複数の層で構成されても良い。
【0026】
各画像特徴量と各画像所見との関連度RCikは、画像所見の教師データ500を学習することによって予め設定される。画像所見の教師データ500は画像所見が付与された多数の医用画像を含み、例えば医用画像を特定する画像IDと画像所見とが対応付けられるテーブルである。画像所見の教師データ500に含まれる医用画像は、診断結果の教師データ300に含まれる医用画像と同様に任意の医用画像で良い。画像所見の教師データ500の医用画像には、複数の画像所見が付与されても良く、例えば、画像IDが10001の医用画像には、病変の境界と病変の性状について画像所見が付与されている。
【0027】
画像所見出力部204は、例えば、画像所見モデルに設定される関連度RCikの値に基づいて、第二抽出部203によって抽出された画像特徴量との関連度がより高い画像所見を抽出する。すなわち第二抽出部203によって抽出された画像特徴量と各画像所見との関連度RCikが所定の値よりも大きい画像所見を複数の画像所見の中から抽出する。画像所見出力部204によって抽出される画像所見の数は複数であっても良い。
【0028】
図6を用いて、本実施例の処理の流れの一例について説明する。
【0029】
(S601)
予測結果出力部201が診断対象である医用画像200を取得する。
【0030】
(S602)
予測結果出力部201は、入力された医用画像200から多数の画像特徴量の値を算出する。画像特徴量が算出される対象領域は、医用画像200の全体領域でも良いし、医用画像200に対して設定される関心領域でも良い。
【0031】
(S603)
予測結果出力部201は、S602で算出された多数の画像特徴量の値に基づいて、予測結果を出力する。医用画像200の病変が診断される場合は、診断結果が予測結果として出力される。
【0032】
(S604)
第一抽出部202は、S603で出力された予測結果及び画像所見との関連度がより高い画像特徴量を多数の画像特徴量の中から抽出する。例えば、S603で出力された予測結果と各画像特徴量との関連度RDijが所定の値よりも大きい画像特徴量が抽出される。また前述した画像所見の学習により関連度がより高い画像特徴量が抽出される。なお本ステップにて抽出された画像特徴量との関連度がより高い画像所見を抽出し、抽出された画像所見を予測結果の参考情報として提示しても良い。
【0033】
図7を用いて、本ステップにて抽出された画像特徴量との関連度がより高い画像所見について説明する。
図7には、予測結果との関連度がより高い画像特徴量を表す第一テーブル701と、画像所見との関連度がより高い画像特徴量を表す第二テーブル702とが示される。各テーブルには、予測結果または画像所見との関連度が所定の値より高い画像特徴量の行に〇が付与される。例えば画像特徴量3は、第一テーブル701に示されるように予測結果との関連度が高いとともに、第二テーブル702に示されるように画像所見の中の境界との関連度も高い。また画像特徴量s+2は予測結果との関連度が高いとともに、画像所見の中の辺縁との関連度も高い。画像特徴量3や画像特徴量s+2のように、予測結果及び画像所見との関連度が高い画像特徴量がある場合は、当該画像特徴量との関連度が高い画像所見が予測結果に関連する画像所見として抽出され、予測結果の参考情報として提示される。
【0034】
しかしながら、予測結果との関連度がより高い画像特徴量との関連度がより高い画像所見が抽出できない場合、予測結果の参考情報となる画像所見を提示することができない。具体的には、画像特徴量mと画像特徴量m+2は第一テーブル701に示されるように予測結果との関連度は高いものの、第二テーブル702に示されるように画像所見との関連度は高くはない。その結果、予測結果の参考情報となる画像所見が抽出できず、予測結果が提示されるに留まり、予測結果が有用であるか否かを医師が判断できない。そこで、本実施例では次ステップ以降の処理によって、いかなる場合であっても予測結果に対する参考情報となる画像所見を提示する。
【0035】
(S605)
第二抽出部203は、S604で抽出された画像特徴量と同じクラスタにクラスタリングされる画像特徴量を多数の画像特徴量の中から抽出する。
【0036】
(S606)
画像所見出力部204は、S605で抽出された画像特徴量との関連度がより高い画像所見を複数の画像所見の中から抽出する。本ステップで抽出された画像所見は表示部107へ送信され、S603で出力された予測結果に対する参考情報として予測結果とともに提示される。
【0037】
図8を用いて、S605とS606での処理について説明する。
図8には、予測結果との関連度がより高い画像特徴量と、画像特徴量のクラスタと、画像所見との関連度がより高い画像特徴量とが対応付けられた第三テーブル800が示される。第三テーブル800では、
図7の第一テーブル701や第二テーブル702と同様に、予測結果または画像所見との関連度が所定の値より高い画像特徴量の行に〇が付与される。また画像特徴量1~3などがクラスタ1に、画像特徴量m~m+2などがクラスタ2に、画像特徴量s~s+2などがクラスタ3に、それぞれ含まれることが示される。
【0038】
S605では、S604で抽出された画像特徴量と同じクラスタにクラスタリングされる画像特徴量が抽出されるので、画像特徴量mや画像特徴量m+2と同じクラスタであるクラスタ2に含まれる画像特徴量m+1が抽出される。同様に、画像特徴量s+1と同じクラスタであるクラスタ3に含まれる画像特徴量s+2も抽出される。なお、S604で抽出された画像特徴量である画像特徴量3や画像特徴量m、画像特徴量m+2、画像特徴量s+1も抽出される。
【0039】
次にS606では、S605で抽出された画像特徴量との関連度がより高い画像所見が抽出されるので、画像特徴量3や画像特徴量s+1との関連度が高い画像所見に加えて、画像特徴量m+1や画像特徴量s+2との関連度が高い「性状」や「辺縁」も抽出される。すなわち、画像特徴量3や画像特徴量s+1のような予測結果及び画像所見との関連度がともにより高い画像特徴量が抽出できない場合であっても、本実施例によれば予測結果に対する参考情報となる画像所見が提示される。その結果、医師は画像診断支援装置が提示する予測結果が有用であるか否かを予測結果とともに提示される参考情報を参照しながら判断できる。
【0040】
なお予測結果や参考情報である画像所見とともに、予測結果との関連度がより高い画像特徴量や画像所見との関連度がより高い画像特徴量が追加の参考情報として提示されても良い。これらの画像特徴量が提示されることにより、画像診断支援装置が提示する予測結果に対する医師の理解度を深められる。
【0041】
以上説明した処理の流れにより、画像診断支援装置が提示する病変の診断結果等の予測結果に対して、参考情報となる画像所見がいかなる場合であっても提示される。参考情報となる画像所見が予測結果とともに提示されることにより、提示される予測結果が有用であるか否かを医師が判断できるようになる。
【0042】
以上、本発明の実施例について説明した。本発明は上記の実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、説明したすべての構成を備えるものに限定されない。
【符号の説明】
【0043】
100:画像診断支援装置、101:CPU、102:ROM、103:RAM、104:記憶部、105:ネットワークアダプタ、106:入力部、107:表示部、108:バス、109:ネットワーク、110:医用画像撮像装置、111:医用画像データベース、200:医用画像、201:予測結果出力部、202:第一抽出部、203:第二抽出部、204:画像所見出力部、205:予測結果、206:予測結果に関連する画像所見、300:診断結果の教師データ、400:画像所見テーブル、500:画像所見の教師データ、701:第一テーブル、702:第二テーブル、800:第三テーブル