IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社フィックスターズの特許一覧

<>
  • 特許-プログラム及び画像診断補助装置 図1
  • 特許-プログラム及び画像診断補助装置 図2
  • 特許-プログラム及び画像診断補助装置 図3
  • 特許-プログラム及び画像診断補助装置 図4
  • 特許-プログラム及び画像診断補助装置 図5
  • 特許-プログラム及び画像診断補助装置 図6
  • 特許-プログラム及び画像診断補助装置 図7
  • 特許-プログラム及び画像診断補助装置 図8
  • 特許-プログラム及び画像診断補助装置 図9
  • 特許-プログラム及び画像診断補助装置 図10
  • 特許-プログラム及び画像診断補助装置 図11
  • 特許-プログラム及び画像診断補助装置 図12
  • 特許-プログラム及び画像診断補助装置 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-29
(45)【発行日】2022-12-07
(54)【発明の名称】プログラム及び画像診断補助装置
(51)【国際特許分類】
   A61B 8/08 20060101AFI20221130BHJP
【FI】
A61B8/08
【請求項の数】 9
(21)【出願番号】P 2021502177
(86)(22)【出願日】2020-02-21
(86)【国際出願番号】 JP2020007011
(87)【国際公開番号】W WO2020175356
(87)【国際公開日】2020-09-03
【審査請求日】2021-08-24
(31)【優先権主張番号】P 2019034978
(32)【優先日】2019-02-27
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】508089266
【氏名又は名称】株式会社フィックスターズ
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(74)【代理人】
【識別番号】100169225
【弁理士】
【氏名又は名称】山野 明
(72)【発明者】
【氏名】林田 哲
(72)【発明者】
【氏名】二木 紀行
(72)【発明者】
【氏名】塩田 靖彦
【審査官】冨永 昌彦
(56)【参考文献】
【文献】特開2015-154918(JP,A)
【文献】国際公開第2018/180386(WO,A1)
【文献】米国特許出願公開第2015/0230773(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00 - 8/15
A61B 6/00 - 6/14
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
コンピュータを、
機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段、
前記検出手段にて検出された前記第一領域と前記第二領域の位置関係又は前記第一領域同士の位置関係に基づいて、前記第一領域が腫瘍であるか否かを判定する判定手段、
前記判定手段の判定結果を出力する出力手段、
として機能させ、
前記第一領域は、前記腫瘍である確率が第一閾値以上の確率が対応付けられた領域であり、前記第二領域は、腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられた領域であり、
前記第二閾値は前記第一閾値よりも低い、プログラム。
【請求項2】
前記検出手段は、前記第一領域として、悪性腫瘍である確率が対応付けられた領域と、良性腫瘍である確率が対応付けられた領域とを検出し、
前記判定手段は、前記第一領域が腫瘍であると検出された場合に、前記検出手段にて検出された領域に対応付けられた確率に基づいて、前記第一領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する、
請求項1に記載のプログラム。
【請求項3】
前記判定手段は、悪性腫瘍である確率が対応付けられた領域と、良性腫瘍である確率が対応付けられた領域とが重なった場合、確率の高い方の腫瘍であると判定する、
請求項2に記載のプログラム。
【請求項4】
前記検出手段は、前記第一領域として、BI-RADS(Breast Imaging Reporting And Data System)カテゴリーに従って定義される各区分に属する腫瘍である確率が対応付けられた領域を検出し、
前記判定手段は、前記第一領域が腫瘍であると検出された場合に、前記検出手段にて検出された領域に対応付けられた確率に基づいて、前記第一領域がどの区分に属する腫瘍であるかを判定する、
請求項1乃至3の何れか1項に記載のプログラム。
【請求項5】
前記学習済みモデルは、腫瘍が写った複数の乳房医療画像から機械学習が行われた第一学習済みモデルと、前記他の組織が写った複数の乳房医療画像から機械学習が行われた第二学習済みモデルとを含み、
前記検出手段は、前記乳房医療画像を前記第一学習済みモデルで構築された学習器に入力することで前記第一領域を検出し、且つ、前記乳房医療画像を前記第二学習済みモデルで構築された学習器に入力することで前記第二領域を検出する、
請求項1乃至4の何れか1項に記載のプログラム。
【請求項6】
前記検出手段は、前記第二領域として、骨の候補となる領域と、筋肉の候補となる領域とを検出する、
請求項1乃至5の何れか1項に記載のプログラム。
【請求項7】
前記学習済みモデルの学習回数は、2万回以上6万回以下である、
請求項1乃至6の何れか1項に記載のプログラム。
【請求項8】
前記出力手段は、前記判定手段の判定結果に基づき、医師をサポートするためのサポート情報を出力する、
請求項1乃至7の何れか1項に記載のプログラム。
【請求項9】
機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段と、
前記検出手段にて検出された複数の領域に基づいて、前記第一領域が腫瘍であるか否かを判定する判定手段と、
前記判定手段の判定結果を出力する出力手段と、
を備え、
前記第一領域は、前記腫瘍である確率が第一閾値以上の確率が対応付けられた領域であり、前記第二領域は、腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられた領域であり、
前記第二閾値は前記第一閾値よりも低い、画像診断補助装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法に関する。
【背景技術】
【0002】
従来から、人体の乳房に腫瘍があるか否かを医師が診断するための画像診断補助装置が知られている。
【0003】
これに関して、例えば特許文献1には、乳房が写った乳房医療画像を学習済みの学習器に入力して、腫瘍の候補となる領域(腫瘍候補領域)と、乳腺の領域とを検出し、腫瘍候補領域の中から、乳腺の領域以外の領域における腫瘍候補領域を除去して、残った腫瘍候補領域が腫瘍であると判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2018/180386号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載の技術では、例えば乳腺の領域のサイズや位置が間違って検出された場合には、実際には腫瘍領域であるはずの腫瘍候補領域まで除去されてしまう可能性があり、腫瘍の判定精度が十分ではなかった。
【0006】
本発明はこのような課題に鑑みてなされたものであり、その目的は、乳房医療画像において腫瘍の判定精度を向上することができる記憶媒体、画像診断補助装置、学習装置、及び、学習済みモデルの生成方法を提供することにある。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明の第一態様に係る記憶媒体は、コンピュータを、機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段、前記検出手段にて検出された複数の領域の位置関係に基づいて、前記第一領域が腫瘍であるか否かを判定する判定手段、前記判定手段の判定結果を出力する出力手段、として機能させるプログラムを記憶する。
【0008】
また、本発明の第二態様に係る記憶媒体では、前記検出手段は、前記第二領域として、骨の候補となる領域と、筋肉の候補となる領域とを検出する。
【0009】
また、本発明の第三態様に係る記憶媒体では、前記検出手段は、前記第一領域として、悪性腫瘍である確率が対応付けられた領域と、良性腫瘍である確率が対応付けられた領域とを検出し、前記判定手段は、前記第一領域が腫瘍であると検出された場合に、前記検出手段にて検出された領域に対応付けられた確率に基づいて、前記第一領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する。
【0010】
また、本発明の第四態様に係る記憶媒体では、前記検出手段は、前記第一領域として、BI-RADS(Breast Imaging Reporting And Data System)カテゴリーに従って定義される各区分に属する腫瘍である確率が対応付けられた領域を検出し、前記判定手段は、前記第一領域が腫瘍であると検出された場合に、前記検出手段にて検出された領域に対応付けられた確率に基づいて、前記第一領域がどの区分に属する腫瘍であるかを判定する。
【0011】
また、本発明の第五態様に係る記憶媒体では、前記学習済みモデルは、腫瘍が写った複数の乳房医療画像から機械学習が行われた第一学習済みモデルと、前記他の組織が写った複数の乳房医療画像から機械学習が行われた第二学習済みモデルとを含み、前記検出手段は、前記乳房医療画像を前記第一学習済みモデルで構築された学習器に入力することで前記第一領域を検出し、且つ、前記乳房医療画像を前記第二学習済みモデルで構築された学習器に入力することで前記第二領域を検出する。
【0012】
また、本発明の第六態様に係る記憶媒体では、前記第一領域は、前記腫瘍である確率が第一閾値以上の確率が対応付けられた領域であり、前記第二領域は、腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられた領域である。
【0013】
また、本発明の第七態様に係る記憶媒体では、前記第二閾値は前記第一閾値よりも低い。
【0014】
また、本発明の第八態様に係る記憶媒体では、前記出力手段は、前記判定手段の判定結果に基づき、医師をサポートするためのサポート情報を出力する。
【0015】
また、本発明の第九態様に係る画像診断補助装置は、機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段と、前記検出手段にて検出された複数の領域に基づいて、前記第一領域が腫瘍であるか否かを判定する判定手段と、前記判定手段の判定結果を出力する出力手段と、を備える。
【0016】
また、本発明の第十態様に係る学習装置は、腫瘍が写った複数の第一乳房医療画像と、当該腫瘍以外の他の組織が写った複数の第二乳房医療画像とを取得する画像取得手段と、ユーザの操作に基づき、前記複数の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得し、且つ、前記複数の第二乳房医療画像において前記他の組織の位置特定情報を教師データとして取得する教師データ取得手段と、前記複数の第一乳房医療画像及び前記第一教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍の候補となる第一領域を検出するための第一学習済みモデルを生成し、且つ、前記複数の第二乳房医療画像及び前記第二教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域を検出するための第二学習済みモデルを生成する学習処理手段と、を備える。
【0017】
また、本発明の第十一態様に係る学習済みモデルの生成方法は、腫瘍が写った複数の第一乳房医療画像と、当該腫瘍以外の他の組織が写った複数の第二乳房医療画像とを取得するステップと、ユーザの操作に基づき、前記複数の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得し、且つ、前記複数の第二乳房医療画像において前記他の組織の位置特定情報を教師データとして取得するステップと、前記複数の第一乳房医療画像及び前記第一教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍の候補となる第一領域を検出するための第一学習済みモデルを生成し、且つ、前記複数の第二乳房医療画像及び前記第二教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域を検出するための第二学習済みモデルを生成するステップと、をコンピュータが実行する。
【発明の効果】
【0018】
本発明によれば、乳房医療画像において腫瘍の判定精度を向上することができる。
【図面の簡単な説明】
【0019】
図1】本発明の実施形態に係る画像診断システムの全体構成の一例を示す模式図である。
図2図1に示す学習装置のハードウェア構成の一例を示すブロック図である。
図3図1に示す画像診断補助装置のハードウェア構成の一例を示すブロック図である。
図4図2に示す学習装置の機能的構成(ソフトウェア構成)の一例を示すブロック図である。
図5図3に示す画像診断補助装置の機能的構成(ソフトウェア構成)の一例を示すブロック図である。
図6】学習装置の各機能的構成の処理手順を示すフローチャートである。
図7】画像診断補助装置の各機能的構成の処理手順を示すフローチャートである。
図8】判定結果を反映した乳房医療画像の一例を示す図である。
図9】良性腫瘍と悪性腫瘍を「腫瘍」とみなした場合において、実際の疾患と、腫瘍判定プログラムの判定結果とを比較した結果を示す表である。
図10】良性腫瘍もない正常と良性腫瘍を「正常」とみなした場合において、実際の疾患と、腫瘍判定プログラムの判定結果とを比較した結果を示す表である。
図11】良性腫瘍と悪性腫瘍を「腫瘍」とみなした場合において、学習回数による感度と特異度の変化を示すグラフである。
図12】良性腫瘍もない正常と良性腫瘍を「正常」とみなした場合において、学習回数による感度と特異度の変化を示すグラフである。
図13】レポート画面の一例を示す概略図である。
【発明を実施するための形態】
【0020】
以下、添付図面を参照しながら本発明の実施形態(以下、「本実施形態」とも表記する。)について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0021】
<全体構成>
図1は、本発明の実施形態に係る画像診断システム1の全体構成の一例を示す模式図である。
【0022】
図1に示すように、画像診断システム1は、学習装置10と、画像診断補助装置30と、を備える。
【0023】
学習装置10は、画像診断補助装置30で利用される、例えばニューラルネットワーク等の学習器(プログラム)を構築する学習済みモデルを生成するように学習器の機械学習を行うコンピュータである。具体的には、学習装置10は、そして、乳房(の乳腺)及び腫瘍が写った複数の第一乳房医療画像及び複数の第一乳房医療画像における腫瘍の位置特定情報の組と、乳房及び腫瘍以外の他の組織が写った複数の第二乳房医療画像及び複数の第二乳房医療画像における他の組織の位置特定情報の組を学習データとして取得する。これらの学習データうち、第一乳房医療画像や第二乳房医療画像は入力データとして利用され、腫瘍の位置特定情報や他の組織の位置特定情報は教師データとして利用される。すなわち、学習装置10は、複数の第一乳房医療画像及び腫瘍の位置特定情報の組と、複数の第二乳房医療画像及び他の組織の位置特定情報の組とをそれぞれ入力して学習器の機械学習をする。
【0024】
なお、「機械学習」とは、学習データに潜むパターンをコンピュータにより見つけ出すことであり、「学習器」は、そのような機械学習により所定のパターンを識別する能力を獲得可能なプログラムであり、その能力は学習モデルにより構築される。この学習器の種類は、ディープラーニング手法を用いた学習器やそれ以外の学習器であってもよく、特に限定されない。また、ディープラーニング手法としては、例えば、畳み込みニューラルネットワークや、敵対的生成ネットワーク、回帰結合型ニューラルネットワークが挙げられるが、特に限定されない。以下では、「学習器」が、畳み込みニューラルネットワークを用いた学習器である場合を説明する。また、「学習器」は、「識別器」又は「分類器」と称されてもよい。また、「位置特定情報」とは、腫瘍や他の組織が乳房医療画像においてどこに位置するかを特定するための情報であり、例えば腫瘍や他の組織の一又は複数の座標情報である。また、「他の組織」としては、骨や筋肉、乳腺、脂肪等が挙げられる。また、「学習モデル」は、学習器の設定(構築)を行うための各種パラメータ等を含むデータの集合である。また、「乳房医療画像」としては、医療用に用いられる、乳房のエコー画像、CT(Computed Tomography)画像、レントゲン画像、MRI(Magnetic Resonance Imaging)画像等が挙げられる。
【0025】
上記のように、学習装置10にて生成された学習済みモデルは、例えばコンパクトディスクやUSBメモリ等の可搬型記憶媒体、又は、通信ネットワークNT等を介して画像診断補助装置30にインストールされる。なお、通信ネットワークNTの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0026】
一方、画像診断補助装置30は、人体の内部の組織、特に乳房(の乳腺)の構造を画像化する装置である。本実施形態では、画像診断補助装置30は、乳房を画像化するだけでなく、画像化した後の乳房医療画像に基づいて乳房の腫瘍の有無を判定する。具体的には、画像診断補助装置30は、学習装置10にて生成された学習済みモデルで構築された学習器に乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する。そして、画像診断補助装置30は、検出した複数の領域の位置関係に基づいて、第一領域が腫瘍であるか否かを判定する。この画像診断補助装置30としては、超音波画像診断補助装置やX線撮影装置等が挙げられるが、特に限定されない。本実施形態では、画像診断補助装置30が、人体の乳房に超音波を送信し、乳房の組織からの反射(エコー)を画像化することで、人体の乳房医療画像を取得する超音波画像診断補助装置である場合を説明する。
【0027】
<ハードウェア構成>
図2は、図1に示す学習装置10のハードウェア構成の一例を示すブロック図である。
【0028】
図2に示すように、学習装置10は、互いに電気的に接続された、制御部12と、記憶装置14と、入力装置16と、出力装置18と、通信インターフェース20と、ドライブ22と、を備える。なお、図2では、通信インターフェースを「通信I/F」と記載している。
【0029】
制御部12は、ハードウェアプロセッサであるCPU(Central Processing Unit)12Aと、GPU(Graphics Processing Unit)12Bと、RAM(Random Access Memory)12Cと、ROM(Read Only Memory)12Dとを含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。
【0030】
記憶装置14は、例えばハードディスクやROM等で構成される。この記憶装置14は、学習プログラム14Aと、学習データ14Bと、第一学習済みモデル14Cと、第二学習済みモデル14Dとを記憶する。学習プログラム14Aは、学習データ14Bを機械学習して学習結果データとして学習済みモデル(第一学習済みモデル14C及び第二学習済みモデル14D)を生成する学習器を含むプログラムである。学習データ14Bは、例えば、乳房及び腫瘍が写った複数の第一乳房医療画像及び複数の第一乳房医療画像における腫瘍の位置特定情報の組と、乳房及び腫瘍以外の他の組織が写った複数の第二乳房医療画像及び複数の第二乳房医療画像における他の組織の位置特定情報の組を含む。第一学習済みモデル14Cは、乳房医療画像において腫瘍の候補となる第一領域を学習器が検出するためのデータである。第二学習済みモデル14Dは、乳房医療画像において腫瘍以外の他の組織の候補となる第二領域を検出するためのデータである。
【0031】
入力装置16は、例えば、マウス、キーボード等、学習装置10に入力操作を行うための装置である。
【0032】
出力装置18は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザは、入力装置16及び出力装置18を介して、学習装置10を操作することができる。
【0033】
通信インターフェース20は、例えば、有線LAN(Local Area Network)モジュール、無線LANモジュール等であり、通信ネットワークNTを介した有線又は無線通信を行うためのインターフェースである。学習装置10は、当該通信インターフェース20を介して、生成した学習済みモデルを外部の装置に配信してもよい。
【0034】
ドライブ22は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体24に記憶されたプログラムやデータを読み込むためのドライブ装置である。ドライブ22の種類は、記憶媒体24の種類に応じて適宜選択されてよい。
【0035】
記憶媒体24は、記録されたプログラム等の情報をコンピュータその他装置、機械等が読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する非一過性の媒体である。学習装置10は、この記憶媒体24から、上記学習プログラム14A及び/又は学習データ14Bを取得してもよい。ここで、図2では、記憶媒体24の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体24の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0036】
なお、学習装置10の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部12は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。学習装置10は、複数台の情報処理装置で構成されてもよい。また、学習装置2は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
【0037】
図3は、図1に示す画像診断補助装置30のハードウェア構成の一例を示すブロック図である。
【0038】
図3に示すように、画像診断補助装置30は、互いに電気的に接続された、制御部32と、記憶装置34と、表示装置36と、入力装置38と、超音波プローブ40と、送受信回路42と、信号処理回路44と、画像処理回路46と、を備える。
【0039】
制御部32は、ハードウェアプロセッサであるCPU32Aと、GPU32Bと、RAM32Cと、ROM32Dとを含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。
【0040】
記憶装置34は、例えばハードディスクやROM等で構成される。この記憶装置34は、腫瘍判定プログラム34Aと、第一学習済みモデル14Cと、第二学習済みモデル14D等を記憶する。腫瘍判定プログラム34Aは、超音波プローブ40から得られる乳房医療画像を、第一学習済みモデル14Cや第二学習済みモデル14Dで構築された学習器に入力することで、腫瘍の候補となる領域を検出し、実際にその領域が腫瘍であるか否かを判定するプログラムである。
【0041】
表示装置36は、超音波プローブ40から得られる乳房医療画像やメニュー画面、画像診断補助装置30の設定画面等を表示する装置である。
【0042】
入力装置38は、マウスやキーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等、画像診断補助装置30に入力操作を行うための装置である。
【0043】
超音波プローブ40は、複数の振動子を有し、これら複数の振動子は、送受信回路42から供給される駆動信号に基づき超音波を発生する。また、超音波プローブ40が有する複数の振動子は、人体の乳房からの反射波を受信して電気信号に変換する。具体的には、超音波プローブ40から人体に超音波が送信されると、送信された超音波は、人体の体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号(エコー信号)として超音波プローブ40が有する複数の振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。
【0044】
送受信回路42は、超音波プローブ40に駆動信号を供給する。また、送受信回路42は、超音波プローブ40から超音波ビームを送信させる。そして、送受信回路42は、超音波プローブ40が受信した反射波信号から反射波データを生成する。
【0045】
信号処理回路44は、例えば、送受信回路42から受信した反射波データに対して、各種処理を行って中間データを生成する。この中間データは、画像処理回路46に出力される。
【0046】
画像処理回路46は、信号処理回路44により生成された中間データから表示用の乳房医療画像を生成する。画像処理回路46で生成された乳房医療画像は、表示装置36にリアルタイムに表示される。
【0047】
なお、画像診断補助装置30の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部12は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてよい。画像診断補助装置30は、複数台の情報処理装置で構成されてもよい。
【0048】
<機能的構成>
図4は、図2に示す学習装置10の機能的構成(ソフトウェア構成)の一例を示すブロック図である。
【0049】
図4に示すように、学習装置10は、機能的構成として、記憶手段60と、画像取得手段62と、前処理手段64と、教師データ取得手段66と、学習処理手段68と、を備える。記憶手段60は、記憶装置14で実現される。その他の機能的構成は、学習プログラム14AをRAM12Cに展開し、当該RAM12Cに展開された学習プログラム14AをCPU12Aにより解釈及び実行することにより実現される。
【0050】
記憶手段60は、上述の学習データ14Bと、第一学習済みモデル14Cと、第二学習済みモデル14Dとを記憶する機能を有する。
【0051】
画像取得手段62は、腫瘍が写った複数の第一乳房医療画像と、腫瘍以外の他の組織が写った複数の第二乳房医療画像とを取得する機能を有する。本実施形態では、第一乳房医療画像は、良性腫瘍が写った画像と、悪性腫瘍が写った画像と、を含む。また、第二乳房医療画像は、骨が写った画像と、筋肉が写った画像と、を含む。
【0052】
前処理手段64は、画像取得手段62が取得した乳房医療画像(第一乳房医療画像及び第二乳房医療画像)に対して各種の前処理を実行する機能を有する。具体的には、前処理手段64は、機械学習への悪影響回避のため、画像取得手段62が取得した乳房医療画像の画像コントラストを正規化する第一前処理を実行する。また、前処理手段64は、誤識別抑制のため、256段階の色表現を半分以下に削減する第二前処理を実行する。また、前処理手段64は、画像全体に対して占める割合の低い腫瘍を精度よく捉え、かつ腫瘍が分割されることを回避するため、オーバーラップさせながら細かく乳房医療画像を分割する第三処理を実行する。
【0053】
教師データ取得手段66は、例えば、学習装置10のユーザの操作に基づき、前処理された複数の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得し、且つ、前処理された複数の第二乳房医療画像において他の組織の位置特定情報を教師データとして取得する機能を有する。本実施形態では、医師の判断・操作に基づき、第一乳房医療画像及び第二乳房医療画像の中から良質な画像を抽出し、抽出した各第一乳房医療画像から良性腫瘍又は悪性腫瘍の位置特定情報を取得するとともに、抽出した各第二乳房医療画像から骨又は筋肉の位置特定情報を取得することで、良質な教師データを取得する。なお、位置特定情報は、医師が乳房医療画像において悪性腫瘍等の領域を指定することで得られる。この領域の形状は、矩形や円形、楕円等、特に限定されないが、例えば矩形である。矩形としては、例えば、悪性腫瘍等の輪郭に外接する外接矩形や、悪性腫瘍等の輪郭に内接する内接矩形等が挙げられる。本実施形態では、位置特定情報は外接矩形で指定される。
【0054】
学習処理手段68は、複数の第一乳房医療画像及び第一教師データの組と、複数の第二乳房医療画像及び第二教師データの組とをそれぞれ入力して機械学習し、所定の乳房医療画像において腫瘍の候補となる第一領域と、当該所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出するための学習済みモデル、を生成する機能を有する。本実施形態では、学習処理手段68は、複数の第一乳房医療画像及び第一教師データの組を入力して機械学習(第一学習処理)し、所定の乳房医療画像において腫瘍の候補となる第一領域を検出するための第一学習済みモデル14Cを生成する。また、学習処理手段68は、複数の第二乳房医療画像及び第二教師データの組を入力して機械学習(第二学習処理)し、所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域を検出するための第二学習済みモデル14Dを生成する。なお、機械学習の学習回数は、特に限定されないが、感度及び特異度を両方高めるという観点から、例えば2万回以上6万回以下であることが好ましく。4万回以上6万回以下であることがより好ましい。なお、「感度」とは、病気な人(腫瘍がある人)の中で、検査で発見できる確率である。また、「特異度」とは、元気な人に対して、病気でない(腫瘍がない)と判定する確率である。
【0055】
図5は、図3に示す画像診断補助装置30の機能的構成(ソフトウェア構成)の一例を示すブロック図である。
【0056】
図5に示すように、画像診断補助装置30は、記憶手段70と、取得手段72と、検出手段74と、判定手段76と、出力手段78と、を備える。記憶手段70は、記憶装置34で実現される。その他の機能的構成は、腫瘍判定プログラム34AをRAM32Cに展開し、当該RAM32Cに展開された腫瘍判定プログラム34AをCPU32Aにより解釈及び実行することにより実現される。
【0057】
記憶手段70は、上述の第一学習済みモデル14Cと、第二学習済みモデル14Dと、を記憶する機能を有する。
【0058】
取得手段72は、超音波プローブ40等を駆動制御することで、人体の乳房が写った乳房医療画像を取得する機能を有する。なお、実際には、取得手段72は、乳房医療画像を乳房映像の一部としてリアルタイムに取得する。
【0059】
検出手段74は、取得手段72にて取得された乳房医療画像を、機械学習が行われた学習済みモデルで構築された一又は複数の学習器に入力することで、学習器が演算処理し、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する機能を有する。本実施形態では、検出手段74は、乳房医療画像を第一学習済みモデル14Cで構築(設定)された学習器に入力することで第一領域を検出し、且つ、乳房医療画像を第二学習済みモデル14Dで構築された学習器に入力することで第二領域を検出する。
【0060】
ここで、「腫瘍の候補となる第一領域」とは、例えば、腫瘍である確率が第一閾値以上の確率が対応付けられた領域である。また、「他の組織の候補となる第二領域」とは、例えば、腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられた領域である。本実施形態では、検出手段74は、良性腫瘍の候補となる第一領域として、良性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、悪性腫瘍の候補となる第一領域として、悪性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、を検出する。また、検出手段74は、骨の候補となる第二領域として、骨である確率が第二閾値以上の確率が対応付けられた領域と、筋肉の候補となる第二領域として、筋肉である確率が第二閾値以上の確率が対応付けられた領域と、を検出する。
【0061】
なお、上記第一閾値と第二閾値は、同一であっても異なっていてもよい。例えば、他の組織は腫瘍に比べて候補を多く検出した方が結果的に腫瘍の判定精度が向上するという観点から、第二閾値が第一閾値よりも低いことが好ましい。第一閾値及び第二閾値は、腫瘍の候補の検出精度を高めるという観点から、5%以上100%以下であることが好ましく、10%以上50%以下であることがより好ましい。特に、第一閾値は、15%以上30%以下であることが更により好ましい。また、第二閾値は、10%以上20%以下であることが更により好ましい。本実施形態では、第一閾値は20%であり、第二閾値は10%である。
【0062】
判定手段76は、検出手段74にて検出された複数の領域の位置関係に基づいて、第一領域が腫瘍であるか否かを判定する機能を有する。例えば、判定手段76は、良性腫瘍又は悪性腫瘍の候補となる第一領域の位置が、筋肉又は骨の候補となる第二領域の位置よりも上であれば腫瘍であると肯定判定し、筋肉又は骨の候補となる第二領域の位置よりも下であれば腫瘍でないと否定判定する。また、例えば、判定手段76は、良性腫瘍又は悪性腫瘍の候補となる第一領域の位置が、筋肉又は骨の候補となる第二領域の位置から閾値以上に離れている場合は腫瘍であると肯定判定し、筋肉又は骨の候補となる第二領域の位置未満しか離れていない場合は腫瘍でないと否定判定してもよい。なお、第一領域の位置と、第二領域の位置は、例えば、領域の中心点の位置であっても、領域の最も下の点の位置であってもよい。なお、上記位置関係において「上」とは、乳房医療画像において皮膚側を意味する。
【0063】
また、判定手段76は、第一領域が腫瘍であると検出された場合に、検出手段74にて検出された領域に対応付けられた確率に基づいて、第一領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する。例えば、判定手段76は、悪性腫瘍である確率が対応付けられた領域と、良性腫瘍である確率が対応付けられた領域とが重なった場合、判定手段76は、確率の高い方の腫瘍であると判定する。
【0064】
また、判定手段76は、検出手段74にて検出された他の組織の候補となる第二領域を、そのまま他の組織であると判定する。
【0065】
出力手段78は、判定手段76の判定結果を出力する機能を有する。例えば、出力手段78は、リアルタイムに表示装置36に表示される乳房医療画像に反映する。具体的には、出力手段78は、リアルタイムに取得・表示された乳房医療画像において判定手段76が腫瘍であると判定した領域を囲うように表示するとともに、その領域が腫瘍である旨を記述する。また、出力手段78は、乳房医療画像において他の組織であると判定した領域を囲うように表示するとともに、その領域が他の組織である旨を記述する。また、出力手段78は、医師による診断の邪魔とならないように、乳房医療画像の隅等に腫瘍であることを示す文字やマークを表示してもよい。また、出力手段78は、判定結果を音や紙媒体に出力してもよい。
【0066】
<処理手順>
図6は、学習装置10の各機能的構成の処理手順を示すフローチャートである。なお、以下のステップの処理の内容及び順番は適宜変更することができる。
【0067】
(ステップSP10)
画像取得手段62は、記憶手段60や他の記憶手段等から、乳房及び良性腫瘍が写った複数の第一乳房医療画像と、乳房及び悪性腫瘍が写った複数の第一乳房医療画像を取得する。また、画像取得手段62は、記憶手段60や他の記憶手段等から、乳房及び骨が写った複数の第二乳房医療画像と、乳房及び筋肉が写った第二乳房医療画像を取得する。この際、医師の判断・操作に基づき、第一乳房医療画像及び第二乳房医療画像の中から良質な画像のみが取得される。そして、処理は、ステップSP12の処理に移行する。
【0068】
(ステップSP12)
前処理手段64は、画像取得手段62が取得した各乳房医療画像に対して前処理を実行する。具体的には、前処理手段64は、画像取得手段62が取得した乳房医療画像の画像コントラストを正規化する第一前処理を実行する。また、前処理手段64は、各乳房医療画像に対して256段階の色表現を半分以下に削減する第二前処理を実行する。また、オーバーラップさせながら細かく各乳房医療画像を分割する第三前処理を実行する。なお、第一前処理、第二前処理、第三前処理を実行する順番は適宜変更することができる。また、これら前処理の全部又は一部は省略してもよい。そして、処理は、ステップSP14の処理に移行する。
【0069】
(ステップSP14)
教師データ取得手段66は、ユーザの操作に基づき、前処理された複数の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得し、且つ、前処理された複数の第二乳房医療画像において他の組織の位置特定情報を第二教師データとして取得する。具体的には、教師データ取得手段66は、ユーザとしての医師の判断・操作に基づき、各第一乳房医療画像から良性腫瘍又は悪性腫瘍であることを示す識別情報と、その位置特定情報(矩形領域の領域情報)を第一教師データとして取得する。また、教師データ取得手段66は、医師の判断・操作に基づき、各第二乳房医療画像から骨又は筋肉であることを示す識別情報と、その位置特定情報(矩形領域の領域情報)を第二教師データとして取得する。これにより、学習装置10は、複数の第一乳房医療画像及び第一教師データの組と、複数の第二乳房医療画像及び第二教師データの組とを含む良質な学習データ14Bを取得する。この学習データ14Bは、記憶手段60に記憶される。そして、処理は、ステップSP16の処理に移行する。
【0070】
(ステップSP16)
学習処理手段68は、ユーザの操作に基づき、第一学習済みモデル14Cを生成するための一又は複数の第一パラメータの設定を受け付ける。例えば、学習処理手段68は、第一パラメータとして、第一学習済みモデル14Cを生成する第一学習処理のための第一学習回数や第一閾値等の設定を受け付ける。そして、処理は、ステップSP18の処理に移行する。
【0071】
(ステップSP18)
学習処理手段68は、ユーザの操作に基づき、第二学習済みモデルを生成するための一又は複数の第二パラメータの設定を受け付ける。例えば、学習処理手段68は、第二パラメータとして、第二学習済みモデル14Dを生成する第二学習処理のための第二学習回数や第二閾値等の設定を受け付ける。そして、処理は、ステップSP20の処理に移行する。
【0072】
(ステップSP20)
学習処理手段68は、ユーザから、2つの学習処理、すなわち、第一学習処理及び第二学習処理を実行する実行操作を受け付ける。そして、処理は、ステップSP22の処理及びステップSP34の処理にそれぞれ移行する。なお、以下のステップSP22~ステップSP32の各処理と、ステップSP34~ステップSP44の各処理とは、並行して実行されるが、どちらか一方の各処理を実行した後、他方の各処理が実行されてもよい。
【0073】
(ステップSP22)
学習処理手段68は、設定された第一学習回数aだけ、ステップSP24~ステップSP30の処理を繰り返す(ループ処理)。すなわち、学習処理手段68は、変数iが第一学習回数aとなるまで、変数iを1からインクリメントしながら、ステップSP24~ステップSP30の処理を繰り返す。
【0074】
(ステップSP24)
学習処理手段68は、腫瘍に係る学習データ14Bを初期状態の学習器に入力する。具体的には、学習処理手段68は、学習データ14Bとして、乳房及び腫瘍が写った第一乳房医療画像及び当該第一乳房医療画像における腫瘍の位置特定情報(腫瘍の識別情報を含む)の一組を初期状態の学習器に入力する。そして、処理は、ステップSP26の処理に移行する。
【0075】
(ステップSP26)
学習処理手段68は、入力した学習データ14Bに基づき、学習器に対して第一学習処理(機械学習)を実行させる。なお、この第一学習処理では、例えば、学習データ14Bに対して畳み込み処理やプーリング処理が繰り返される。そして、処理は、ステップSP28の処理に移行する。
【0076】
(ステップSP28)
学習処理手段68は、学習器が生成する学習結果データに基づき、学習器の各種パラメータを更新する。そして、処理は、ステップSP30の処理に移行する。
【0077】
(ステップSP30)
学習処理手段68は、変数iが第一学習回数a未満である場合には、処理はステップSP22の処理に戻り、変数iが第一学習回数aである場合にはループ処理を抜け、処理はステップSP32の処理に移行する。
【0078】
(ステップSP32)
学習処理手段68は、ループ処理により最終的に更新された学習器の各種パラメータを第一学習済みモデル14Cとして記憶手段60に記憶する。そして、図6に示す一連の処理が終了する。
【0079】
(ステップSP34)
ステップSP20から移行された後、学習処理手段68は、設定された第二学習回数bだけ、ステップSP36~ステップSP42の処理を繰り返す(ループ処理)。すなわち、学習処理手段68は、変数jが第二学習回数bとなるまで、変数jを1からインクリメントしながら、ステップSP36~ステップSP42の処理を繰り返す。
【0080】
(ステップSP36)
学習処理手段68は、他の組織に係る学習データ14Bを初期状態の学習器に入力する。具体的には、学習処理手段68は、学習データ14Bとして、乳房及び他の組織が写った第二乳房医療画像及び当該第二乳房医療画像における他の組織の位置特定情報(他の組織の識別情報を含む)の一組を初期状態の学習器に入力する。そして、処理は、ステップSP38の処理に移行する。
【0081】
(ステップSP38)
学習処理手段68は、入力した学習データ14Bに基づき、学習器に対して第二学習処理(機械学習)を実行させる。なお、第二学習処理では、例えば、学習データ14Bに対して畳み込み処理やプーリング処理が繰り返される。そして、処理は、ステップSP40の処理に移行する。
【0082】
(ステップSP40)
学習処理手段68は、学習器が生成する学習結果データに基づき、学習器の各種パラメータを更新する。そして、処理は、ステップSP42の処理に移行する。
【0083】
(ステップSP42)
学習処理手段68は、変数jが第二学習回数b未満である場合には、処理はステップSP34の処理に戻り、変数jが第二学習回数bである場合にはループ処理を抜け、処理はステップSP44の処理に移行する。
【0084】
(ステップSP44)
学習処理手段68は、ループ処理により最終的に更新された学習器の各種パラメータを第二学習済みモデル14Dとして記憶手段60に記憶する。そして、図6に示す一連の処理が終了する。
【0085】
図7は、画像診断補助装置30の各機能的構成の処理手順を示すフローチャートである。なお、以下のステップの処理の内容及び順番は適宜変更することができる。
【0086】
(ステップSP50)
取得手段72は、超音波プローブ40を駆動制御して乳房医療画像を取得する。そして、処理は、ステップSP52の処理及びステップSP56の処理に移行する。なお、以下のステップSP52~ステップSP54の各処理と、ステップSP56~ステップSP58の各処理とは、並行して実行されるが、どちらか一方の各処理を実行した後、他方の各処理が実行されてもよい。
【0087】
(ステップSP52)
検出手段74は、記憶手段70から第一学習済みモデル14Cを読み込み、当該第一学習済みモデル14Cで学習器を構築する。なお、ステップSP50の処理の前に、第一学習済みモデル14Cで学習器を構築していてもよい。この場合、ステップSP52は省略される。そして、処理は、ステップSP54の処理に移行する。
【0088】
(ステップSP54)
検出手段74は、乳房医療画像から腫瘍の候補となる第一領域を検出する。具体的には、検出手段74は、第一学習済みモデル14Cで構築された学習器に乳房医療画像を入力することで、検出手段74は、第一領域として、良性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、悪性腫瘍である確率が第一閾値以上の確率が対応付けられた領域と、を検出する。そして、処理は、ステップSP60の処理に移行する。
【0089】
(ステップSP56)
ステップSP50から移行された後、検出手段74は、記憶手段70から第二学習済みモデル14Dを読み込み、当該第二学習済みモデル14Dで学習器を構築する。なお、ステップSP50の処理の前に、第二学習済みモデル14Dで学習器を構築していてもよい。この場合、本ステップSP56は省略される。そして、処理は、ステップSP58の処理に移行する。
【0090】
(ステップSP58)
検出手段74は、乳房医療画像から他の組織の候補となる第二領域を検出する。具体的には、検出手段74は、第二学習済みモデル14Dで構築された学習器に乳房医療画像を入力することで、検出手段74は、第二領域として、骨である確率が第二閾値以上の確率が対応付けられた領域と、筋肉である確率が第二閾値以上の確率が対応付けられた領域と、を検出する。そして、処理は、ステップSP60の処理に移行する。
【0091】
(ステップSP60)
判定手段76は、ステップSP58で検出された第二領域の領域数cを取得する。なお、この領域数cは、ゼロ又は自然数である。そして、処理は、ステップSP62の処理に移行する。
【0092】
(ステップSP62)
判定手段76は、取得した領域数cだけ、ステップSP64~ステップSP66の処理を繰り返す(ループ処理)。すなわち、判定手段76は、変数kが領域数cとなるまで、変数kを1からインクリメントしながら、ステップSP64~ステップSP66の処理を繰り返す。
【0093】
(ステップSP64)
判定手段76は、検出手段74が検出した第二領域のうち一つの第二領域を取得し、当該一つの第二領域が他の組織であると判定する。なお、判定手段76は、当該一つの領域に対応付けられている他の組織(骨又は筋肉)であると判定してもよい。この場合、第二領域同士が重なったときには、領域それぞれに対応付けられている確率の高い方の他の組織であると判定してもよい。例えば、骨である確率(30%)が対応付けられた第二領域と、筋肉である確率(40%)が対応付けられた第二領域とが重なった場合には、判定手段76は、筋肉である確率の方が高いため、当該第二領域が筋肉であると判定してもよい。そして、処理は、ステップSP66の処理に移行する。
【0094】
(ステップSP66)
判定手段76は、変数kが領域数c未満である場合には、処理はステップSP62の処理に戻り、変数iが領域数cである場合にはループ処理を抜け、処理はステップSP68の処理に移行する。
【0095】
(ステップSP68)
判定手段76は、ステップSP54で検出された領域数dを取得する。なお、この領域数dは、ゼロ又は自然数である。そして、処理は、ステップSP70の処理に移行する。
【0096】
(ステップSP70)
判定手段76は、取得した領域数dだけ、ステップSP72~ステップSP88の処理を繰り返す(ループ処理)。すなわち、判定手段76は、変数lが領域数dとなるまで、変数lを1からインクリメントしながら、ステップSP72~ステップSP88の処理を繰り返す。
【0097】
(ステップSP72)
判定手段76は、検出手段74が検出した第一領域のうち一つの第一領域を取得し、当該一つの第一領域が、他の組織と判定された第二領域より下に位置するか否かを判定する。そして、当該判定が肯定判定された場合には処理はステップSP74の処理に移行し、当該判定が否定判定された場合には処理はステップSP78の処理に移行する。
【0098】
(ステップSP74)
判定手段76は、取得した一つの第一領域が腫瘍でないと判定する。そして、処理は、ステップSP76の処理に移行する。
【0099】
(ステップSP76)
出力手段78は、判定結果を出力する。例えば、出力手段78は、リアルタイムに表示装置36に表示される乳房医療画像に反映する。なお、本ステップSP76は、例えば、ステップSP88の処理の後に実行されてもよい。
【0100】
図8は、判定結果を反映した乳房医療画像100の一例を示す図である。なお、図8に示す乳房医療画像100は、本実施形態の説明用に本発明者らが新たに創作したものであり、実際の乳房医療画像とは異なる場合がある。
【0101】
図8に示すように、出力手段78は、乳房医療画像100において、判定手段76が腫瘍であると判定した領域を囲うように矩形マーク102を表示出力するとともに、その領域が悪性腫瘍である旨を表示出力する。また、出力手段78は、乳房医療画像100において、判定手段76が筋肉であると判定した領域を囲うように矩形マーク104を表示出力するとともに、その領域が筋肉である旨を表示出力する。また、出力手段78は、乳房医療画像100において、判定手段76が骨であると判定した領域を囲うように矩形マーク106を表示出力するとともに、その領域が骨である旨を表示出力する。なお、この表示出力は省略することができる。
【0102】
図7に戻って、処理は、ステップSP88の処理に移行する。
【0103】
(ステップSP78)
ステップSP72にて否定判定された場合、判定手段76は、取得した一つの第一領域が他の第一領域と重なるか否かを判定する。そして、当該判定が肯定判定された場合には処理はステップSP82の処理に移行し、当該判定が否定判定された場合には処理はステップSP80の処理に移行する。
【0104】
(ステップSP80)
判定手段76は、取得した一つの第一領域が、当該第一領域に対応付けられている腫瘍(良性腫瘍又は悪性腫瘍)と判定する。そして、処理は、ステップSP76の処理に移行する。
【0105】
(ステップSP82)
ステップSP78にて肯定判定された場合、判定手段76は、重なった第一領域それぞれに対応付けられている確率のうち、悪性腫瘍の方が、確率が高いか否かを判定する。例えば、重なった第一領域のうち、一つの第一領域に悪性腫瘍である確率(50%)が対応づけられており、他の第一領域に良性腫瘍である確率(30%)が対応付けられている場合、判定手段76は、悪性腫瘍である確率の方が高いと肯定判定する。そして、当該判定が肯定判定された場合には処理は、ステップSP84の処理に移行し、当該判定が否定判定された場合には処理は、ステップSP86の処理に移行する。
【0106】
(ステップSP84)
判定手段76は、取得した一つの第一領域が、当該第一領域に対応付けられている悪性腫瘍であると判定する。そして、処理は、ステップSP76の処理に移行する。
【0107】
(ステップSP86)
判定手段76は、取得した一つの第一領域が、当該第一領域に対応付けられている良性腫瘍であると判定する。そして、処理は、ステップSP76の処理に移行する。
【0108】
(ステップSP88)
判定手段76は、変数lが領域数d未満である場合には、処理はステップSP70の処理に戻り、変数lが領域数dである場合にはループ処理を抜け、図7に示す一連の処理が終了する。
【0109】
<効果>
以上、本実施形態では、腫瘍判定プログラム34Aが画像診断補助装置30を、機械学習が行われた学習済みモデルで構築された学習器に人体の乳房が写った乳房医療画像を入力することで、当該乳房医療画像において腫瘍の候補となる第一領域と、当該乳房医療画像において腫瘍以外の他の組織の候補となる第二領域と、を検出する検出手段74、当該検出手段74にて検出された複数の領域の位置関係に基づいて、前記第一領域が腫瘍であるか否かを判定する判定手段76、当該判定手段76の判定結果を出力する出力手段78として機能させる。
【0110】
この構成によれば、検出手段74にて検出された複数の領域の位置関係に基づいて、腫瘍の候補となる第一領域が腫瘍であるか否かを判定するので、位置関係に基づいて判定しない場合に比べて、腫瘍の判定精度を向上することができる。
【0111】
また、本実施形態では、検出手段74は、第二領域として、骨の候補となる領域と、筋肉の候補となる領域と、を検出する。
【0112】
この構成によれば、腫瘍の候補となる第一領域と、骨の候補となる第二領域と、筋肉の候補となる第二領域との位置関係に基づいて、第一領域が腫瘍であるか否かを判定するので、腫瘍の判定精度を一層向上することができる。
【0113】
また、本実施形態では、検出手段74は、第一領域として、悪性腫瘍である確率が対応付けられた領域と、良性腫瘍である確率が対応付けられた領域と、を検出し、判定手段76は、第一領域が腫瘍であると検出された場合に、検出手段74にて検出された領域に対応付けられた確率に基づいて、第一領域が良性腫瘍であるか又は悪性腫瘍であるかを判定する。
【0114】
この構成によれば、腫瘍を悪性腫瘍と良性腫瘍に区別して判定することができるので、悪性腫瘍の判定精度を一層向上することができる。
【0115】
また、本実施形態では、学習済みモデルは、腫瘍が写った複数の乳房医療画像から機械学習が行われた第一学習済みモデル14Cと、他の組織が写った複数の乳房医療画像から機械学習が行われた第二学習済みモデル14Dとを含み、検出手段74は、乳房医療画像を第一学習済みモデル14Cで構築された学習器に入力することで第一領域を検出し、且つ、乳房医療画像を第二学習済みモデル14Dで構築された学習器に入力することで第二領域を検出する。
【0116】
この構成によれば、腫瘍が写った複数の乳房医療画像及び他の組織が写った複数の乳房医療画像から機械学習を行って一つの学習済みモデルを生成する場合に比べて、学習装置10のメモリの使用量を低減することができるとともに、学習済みモデルの生成処理の処理速度を向上することができる。また、第一領域と第二領域を、それぞれ専用の学習済みモデルで構築された学習器で検出するので、領域の検出精度を向上することができ、もって、腫瘍の判定精度を一層向上することができる。
【0117】
また、本実施形態では、第一領域は、腫瘍である確率が第一閾値以上の確率が対応付けられた領域であり、第二領域は、腫瘍以外の他の組織である確率が第二閾値以上の確率が対応付けられた領域である。
【0118】
この構成によれば、検出手段74は、確率が第一閾値や第二閾値未満の領域を検出しないので、腫瘍の候補となる第一領域の誤検出を抑制することができ、もって、腫瘍の判定精度を一層向上することができる。
【0119】
また、本実施形態では、第二閾値は第一閾値よりも低い。
【0120】
この構成によれば、他の組織の候補となる領域は腫瘍の候補となる領域に比べて領域を多く検出することで、領域の位置関係の比較を数多くすることができ、結果的に、腫瘍の判定精度を一層向上することができる。
【0121】
また、本実施形態では、学習装置10が、腫瘍が写った複数の第一乳房医療画像と、当該腫瘍以外の他の組織が写った複数の第二乳房医療画像とを取得する画像取得手段62と、ユーザの操作に基づき、前記複数の第一乳房医療画像において腫瘍の位置特定情報を第一教師データとして取得し、且つ、前記複数の第二乳房医療画像において前記他の組織の位置特定情報を教師データとして取得する教師データ取得手段66と、前記複数の第一乳房医療画像及び前記第一教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍の候補となる第一領域を検出するための第一学習済みモデル14Cを生成し、且つ、前記複数の第二乳房医療画像及び前記第二教師データの組を入力して機械学習し、所定の乳房医療画像において腫瘍以外の他の組織の候補となる第二領域を検出するための第二学習済みモデル14Dを生成する学習処理手段68と、備える。
【0122】
この構成によれば、腫瘍が写った複数の乳房医療画像及び他の組織が写った複数の乳房医療画像から機械学習を行って一つの学習済みモデルを生成する場合に比べて、例えば2クラス分類のよりシンプルな学習済みモデルのみで構成でき、学習済みモデルを組み合わせることで、乳房医療画像においては、判定精度の向上が期待できる。また、学習装置10のメモリの使用量を低減することができるとともに、学習済みモデルの生成処理の処理速度を向上することができる可能性がある。
【0123】
<実施例1>
次に、上記実施形態を適用した実施例1について説明する。
【0124】
実施例1では、正常な乳房医療画像141枚、良性腫瘍が写った乳房医療画像77枚、悪性腫瘍が写った113枚の合計331枚の乳房医療画像を学習データ14Bとした。そして、学習装置10は、ユーザの操作に基づき、これらの学習データ14Bを「YOLOv2」と呼ばれる学習器にそれぞれ入力して機械学習を実行し、第一学習済みモデル14Cと、第二学習済みモデル14Dとを生成した。ここで、学習回数は6万回とし、第一領域を検出するための第一閾値は20%とし、第二領域を検出するための第二閾値は10%とした。続いて、正常な乳房医療画像62枚、良性腫瘍が写った乳房医療画像30枚、悪性腫瘍が写った50枚の合計142枚の乳房医療画像を腫瘍判定のためのテストデータとし、これらのテストデータと、第一学習済みモデル14Cと、第二学習済みモデル14Dとを用いて腫瘍判定プログラム34Aを実行し、腫瘍に関する判定結果を得た。
【0125】
図9は、良性腫瘍と悪性腫瘍を「腫瘍」とみなした場合において、実際の疾患と、腫瘍判定プログラム34Aの判定結果とを比較した結果を示す表である。
【0126】
図9に示す表から、腫瘍判定プログラム34Aの判定処理による感度は93.8%であり、特異度は95.2%であることが分かった。この結果より、腫瘍判定プログラム34Aによる腫瘍の判定精度は非常に高く、従来に比べて判定精度が向上したことを確認できた。
【0127】
図10は、良性腫瘍もない正常と良性腫瘍を「正常」とみなした場合において、実際の疾患と、腫瘍判定プログラム34Aの判定結果とを比較した結果を示す表である。
【0128】
図10に示す表から、腫瘍判定プログラム34Aの判定処理による感度は88.9%であり、特異度は86.9%であることが分かった。この結果より、腫瘍判定プログラム34Aによる腫瘍の判定精度は非常に高く、従来に比べて判定精度が向上したことを確認できた。
【0129】
<実施例2>
次に、上記実施形態を適用した実施例2について説明する。
【0130】
実施例2では、実施例1と同様の方法を実施するとともに、学習回数を1万回から8万回の間で変化させた。
【0131】
図11は、良性腫瘍と悪性腫瘍を「腫瘍」とみなした場合において、学習回数による感度と特異度の変化を示すグラフである。
【0132】
図11に示すように、感度及び特異度が高いという観点から、2万回以上6万回以下であることが好ましく、3万回以上6万回以下であることがより好ましく、感度及び特異度が高く且つバランスが良いという観点から、4万回以上6万回以下であることが更に好ましいことが確認できた。
【0133】
また、図12は、良性腫瘍もない正常と良性腫瘍を「正常」とみなした場合において、学習回数による感度と特異度の変化を示すグラフである。
【0134】
図12に示すように、感度及び特異度が高いという観点から、2万回以上6万回以下であることが好ましく、3万回以上6万回以下であることがより好ましく、感度及び特異度が高く且つバランスが良いという観点から、4万回以上6万回以下であることが更に好ましいことが確認できた。
【0135】
<変形例>
なお、本発明は上記の具体例に限定されるものではない。すなわち、上記の具体例に、当業者が適宜設計変更を加えたものも、本発明の特徴を備えている限り、本発明の範囲に包含される。また、前述した実施形態及び後述する変形例が備える各要素は、技術的に可能な限りにおいて組み合わせることができ、これらを組み合わせたものも本発明の特徴を含む限り本発明の範囲に包含される。
【0136】
例えば、上記実施形態では、画像診断補助装置30が超音波画像診断補助装置である場合を説明したが、超音波画像診断補助装置に通信ネットワークNT等を介して接続されるサーバ装置やパーソナルコンピュータ等の情報処理装置であってもよい。
【0137】
また、上記実施形態では、画像取得手段62や教師データ取得手段66が学習装置10に設けられる場合を説明したが、学習装置10とは異なる他の情報処理装置に設けられてもよい。
【0138】
また、上記実施形態では、腫瘍の属性区分が良性又は悪性のうちのいずれかの場合を説明したが、他の分類基準、例えば、BI-RADS(Breast Imaging Reporting And Data System)のガイドラインに基づく区分が用いられてもよい。この場合、検出手段74は、第一領域として、BI-RADSカテゴリーに従って定義される各区分に属する腫瘍である確率が対応付けられた領域を検出し、判定手段76は、第一領域が腫瘍であると検出された場合に、検出手段74にて検出された領域に対応付けられた確率に基づいて、第一領域がどの区分に属する腫瘍であるかを判定する。この構成によれば、BI-RADSカテゴリーに従った属性判定ができるので、腫瘍の判定精度を一層向上することができる。
【0139】
なお、上記した区分は、例えば、BI-RADS分類のカテゴリー1~5、サブカテゴリー4A/4B/4C、又は、両者を組み合わせたカテゴリーであってもよい。また、カテゴリーが3以下の場合に「0」を、カテゴリーが4以上の場合に「1」をそれぞれ割り当てるなど、学習器の出力ラベルを2値化してもよい。
【0140】
また、上記実施形態では、検出手段74は、乳房医療画像から悪性腫瘍の候補となる領域を検出する場合を説明したが、悪性腫瘍の種類毎に、悪性腫瘍の候補となる領域を検出したり、悪性腫瘍の進行度毎に、悪性腫瘍の候補となる領域を検出したりしてもよい。例えば、検出手段74は、乳房医療画像から、非浸潤がんの候補となる領域や、浸潤がんの候補となる領域、パジェット病の候補となる領域を検出してもよい。また、検出手段74は、ステージ1の悪性腫瘍の候補となる領域や、ステージ2の悪性腫瘍の候補となる領域、ステージ3の悪性腫瘍の候補となる領域、ステージ4の悪性腫瘍の候補となる領域を検出してもよい。これにより、判定手段76は、各領域に対応付けられた確率に基づき、悪性腫瘍の種類や進行度を判定することができる。ここで、判定手段76は、各領域に対応付けられた確率だけでなく、悪性腫瘍の候補となる第一領域と他の組織である第二領域との位置関係に基づいて、第一領域がステージ1の悪性腫瘍であるか否か等を判定すると、腫瘍のステージの判定精度を向上することができる。
【0141】
また、上記実施形態では、出力手段78は、判定手段76の判定結果を出力する場合を説明したが、検出手段74が検出した領域の位置情報や、当該領域に対応付けられている確率や、その確率の種類(悪性腫瘍の確率や良性腫瘍の確率等)を、例えば医師等が判断するためのレポート情報としてレポート画面等に出力してもよい。また、出力手段78は、検出手段74が検出した領域、及び/又は、判定手段76の判定結果に基づき、医師をサポートするためのサポート情報を生成し、ユーザに提案(出力)してもよい。これにより、医師は、診断結果や治療方法を効率的に決定することができる。なお、サポート情報としては、検出手段74が検出した領域、及び/又は、判定手段76の判定結果に応じた、治療内容や方法、治療に適した病院の場所、医師の氏名等が挙げられる。また、出力手段78は、判定手段76の判定結果と合わせて、リアルタイムに、レポート情報やサポート情報を出力してもよい。
【0142】
図13は、レポート画面110の一例を示す概略図である。
【0143】
図13に示すように、レポート画面110には、例えば、乳房医療画像100と、検出手段74が検出した第一領域の場所や第一領域に対応付けられた確率、第一領域のサイズ、判定手段76が判定した判定結果等を含むレポート情報114が記述されている。また、レポート画面110には、判定結果や検出手段74が検出した領域の位置情報、当該領域に対応付けられている確率等に基づき生成されたサポート情報116が記述されている。
【0144】
また、本実施形態では、判定手段76が、1枚の乳房医療画像100から第一領域が腫瘍であるか否かを判定する場合を説明したが、複数枚の乳房医療画像100から第一領域が腫瘍であるか否かを最終的に判定してもよい。例えば、5枚の乳房医療画像100のうち、1枚の乳房医療画像100において第一領域が腫瘍であると判定し、残り全ての乳房医療画像100において第一領域が腫瘍でないと判定した場合は、判定手段76は、最終的に第一領域が腫瘍であると判定(確定)してもよい。この場合、出力手段78は、最終的に判定した判定結果のみを出力することが好ましい。
【0145】
また、上記実施形態では、検出手段74が、複数の学習済みモデルを利用して第一領域及び第二領域を検出する場合を説明したが、一つの学習済みモデルを利用して第一領域及び第二領域を検出してもよい。
【0146】
<符号の説明>
10…学習装置、24…記憶媒体、30…画像診断補助装置(コンピュータ)、62…画像取得手段、66…教師データ取得手段、68…学習処理手段、72…取得手段、74…検出手段、76…判定手段、78…出力手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13