特許 6853419 情報処理装置、情報処理方法、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6853419

(24)【登録日】2021年3月15日

(45)【発行日】2021年3月31日

(54)【発明の名称】情報処理装置、情報処理方法、コンピュータプログラム

(51)【国際特許分類】

   A61B 6/00 20060101AFI20210322BHJP

【ＦＩ】

   A61B6/00 350D

   A61B6/00 330Z

   A61B6/00 350Z

【請求項の数】19

【全頁数】25

(21)【出願番号】特願2020-521028(P2020-521028)

(86)(22)【出願日】2019年2月20日

(86)【国際出願番号】JP2019006364

(87)【国際公開番号】WO2019225084

(87)【国際公開日】20191128

【審査請求日】2020年11月5日

(31)【優先権主張番号】特願2018-98989(P2018-98989)

(32)【優先日】2018年5月23日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】391010116

【氏名又は名称】ＥＩＺＯ株式会社

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ特許業務法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】加藤 裕

(72)【発明者】

【氏名】東 正史

(72)【発明者】

【氏名】青木 玲央

(72)【発明者】

【氏名】大柿 護

(72)【発明者】

【氏名】荒井 郁美

(72)【発明者】

【氏名】橋本 憲幸

(72)【発明者】

【氏名】平田 直顕

【審査官】 松岡 智也

(56)【参考文献】

【文献】 国際公開第２０１２／０９０４７２（ＷＯ，Ａ１）

【文献】 特開２０１６−１５８９６３（ＪＰ，Ａ）

【文献】 特開２０１５−０５４０５１（ＪＰ，Ａ）

【文献】 特開２０１６−２０６６９３（ＪＰ，Ａ）

【文献】 特開２００９−０７２４１０（ＪＰ，Ａ）

【文献】 特開２０１５−１６７８２９（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０６２９０３（ＷＯ，Ａ１）

【文献】 特開２０１１−１９４０２４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００３６９０６（ＵＳ，Ａ１）

【文献】 難波 清，”５．ソフトウェアの最新技術とトピックス 定量的乳腺密度評価ソフトウェアの有用性と今後の展望”，INNERVISION，２０１７年 ８月，２０１７年８月号，３８−４１頁

【文献】 植松 孝悦，”Dense Breastについて考える 日本のDense Breast対応の現状”，日乳癌検診学会誌，日本乳癌検診学会，２０１６年，２５（３）ＯＣＴ，２０５−２１０頁

【文献】 Shivang Naik et al.，"AUTOMATED GLAND AND NUCLEI SEGMENTATION FOR GRADING OF PROSTATE AND BREAST CANCER HISTPATHOLOGY"，Conference Paper in Proceedings/IEEE International Symposium on Biomedical Imaging，２００８年 ６月，ISBI，pp.284-287

【文献】 加納 拓弥，"Deep CNN に基づくCT画像からの乳腺濃度の自動分類法，信学技報，２０１６年 ５月，SIP2016-5,IE2016-5,PRMU2016-5,MI2016-5，pp.21-25

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０５５、６／００−６／１４

ＩＥＥＥ Ｘｐｌｏｒｅ

医中誌ＷＥＢ

(57)【特許請求の範囲】

【請求項1】

乳腺領域抽出部と、乳腺画素検出部と、乳腺密度算出部を備える、情報処理装置であって、
前記乳腺領域抽出部は、マンモグラフィ画像における乳腺領域を抽出し、前記乳腺領域抽出部は、乳腺領域確率算出部と、後処理部とを備え、
前記乳腺領域確率算出部は、前記マンモグラフィ画像における前記乳腺領域である確率を算出し、
前記後処理部は、前記確率に基づいて前記乳腺領域を抽出し、
前記乳腺画素検出部は、前記乳腺領域中の乳腺画素を検出し、
前記乳腺密度算出部は、前記乳腺領域に対する前記乳腺画素の割合に基づいて乳腺密度を算出し、
前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記後処理部は、候補画素抽出部と、領域形成部を備え、
前記候補画素抽出部は、前記確率が第１閾値以上である画素を候補画素として抽出して候補画素マップを生成し、
前記領域形成部は、前記候補画素マップに対して欠損領域穴埋めを行って前記乳腺領域を形成する、情報処理装置。

【請求項3】

請求項１又は請求項２に記載の情報処理装置であって、
前記乳腺領域確率算出部は、前記マンモグラフィ画像を入力して前記確率を出力する学習モデルに基づき、前記確率を算出する、情報処理装置。

【請求項4】

請求項１又は請求項２に記載の情報処理装置であって、
前記乳腺領域確率算出部は、前記マンモグラフィ画像及び第１追加データを入力して前記確率を出力する学習モデルに基づき、前記確率を算出し、
第１追加データは、前記マンモグラフィ画像中の乳頭の位置に関連するデータである、情報処理装置。

【請求項5】

請求項４に記載の情報処理装置であって、
第１追加データは、前記マンモグラフィ画像中の乳頭画素の位置に基づいて、前記マンモグラフィ画像中の人体画素の画素値が補正されている画像データである、情報処理装置。

【請求項6】

請求項５に記載の情報処理装置であって、
第１追加データは、前記乳頭画素と前記人体画素との直線距離に応じて前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データである、情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
第１追加データは、前記乳頭画素と前記人体画素との直線距離が短くなるにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている、情報処理装置。

【請求項8】

請求項５に記載の情報処理装置であって、
第１追加データは、第１画像データと、第２画像データとを有し、
第１画像データは、前記マンモグラフィ画像の第１方向に前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データであり、
第２画像データは、前記マンモグラフィ画像の第２方向に前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データであり、第１方向と第２方向とは、交差する、情報処理装置。

【請求項9】

請求項８に記載の情報処理装置であって、
第１画像データは、前記乳頭画素と前記人体画素との第１方向の距離が短くなるにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正され、
第２画像データは、第２方向における上側から第２方向における下側に向かうにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データである、情報処理装置。

【請求項10】

請求項１又は請求項２に記載の情報処理装置であって、
前記乳腺領域確率算出部は、前記マンモグラフィ画像及び第２追加データを入力して前記確率を出力する学習モデルに基づき、前記確率を算出し、
第２追加データは、前記マンモグラフィ画像の代表輝度値又は前記マンモグラフィ画像の輝度値の分布を示すデータである、情報処理装置。

【請求項11】

請求項１０に記載の情報処理装置であって、
第２追加データは、前記代表輝度値又は前記分布に基づいて、前記マンモグラフィ画像中の人体画素の輝度値が補正されている画像データである、情報処理装置。

【請求項12】

請求項３〜請求項１１の何れか１つに記載の情報処理装置であって、
前記学習モデルは、前記情報処理装置外で予め学習させる、情報処理装置。

【請求項13】

請求項３〜請求項１２の何れか１つに記載の情報処理装置であって、
前記学習モデルは、前記情報処理装置内で学習可能に構成される、情報処理装置。

【請求項14】

請求項１〜請求項１３の何れか１つに記載の情報処理装置であって、
前記乳腺領域確率算出部は、前記マンモグラフィ画像に含まれる大胸筋領域を除去することなく前記確率を算出する、情報処理装置。

【請求項15】

請求項１〜請求項１４の何れか１つに記載の情報処理装置であって、
前記乳腺画素検出部は、前記確率に基づいて前記乳腺領域中の前記乳腺画素を検出する、情報処理装置。

【請求項16】

請求項１５に記載の情報処理装置であって、
前記乳腺画素検出部は、前記確率が第２閾値以上である画素を前記乳腺画素として検出し、 第２閾値は、第１閾値よりも、前記乳腺領域である確率が高い値である、情報処理装置。

【請求項17】

請求項１〜請求項１６の何れか１つに記載の情報処理装置であって、
前記乳腺画素検出部は、前記乳腺領域の輝度値に基づいて前記乳腺画素を検出する、情報処理装置。

【請求項18】

乳腺領域抽出ステップと、乳腺画素検出ステップと、乳腺密度算出ステップを備える、情報処理方法であって、
前記乳腺領域抽出ステップでは、マンモグラフィ画像における乳腺領域を抽出し、且つ、前記乳腺領域抽出ステップは、乳腺領域確率算出ステップと、後処理ステップとを備え、
前記乳腺領域確率算出ステップでは、前記マンモグラフィ画像における前記乳腺領域である確率を算出し、
前記後処理ステップでは、前記確率に基づいて前記乳腺領域を抽出し、
前記乳腺画素検出ステップでは、前記乳腺領域中の乳腺画素を検出し、
前記乳腺密度算出ステップでは、前記乳腺領域に対する前記乳腺画素の割合を算出し、
前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、情報処理方法。

【請求項19】

コンピュータに、乳腺領域抽出ステップと、乳腺画素検出ステップと、乳腺密度算出ステップを備える、情報処理方法を実行させるコンピュータプログラムであって、
前記乳腺領域抽出ステップでは、マンモグラフィ画像における乳腺領域を抽出し、且つ、前記乳腺領域抽出ステップは、乳腺領域確率算出ステップと、後処理ステップとを備え、
前記乳腺領域確率算出ステップでは、前記マンモグラフィ画像における前記乳腺領域である確率を算出し、
前記後処理ステップでは、前記確率に基づいて前記乳腺領域を抽出し、
前記乳腺画素検出ステップでは、前記乳腺領域中の乳腺画素を検出し、
前記乳腺密度算出ステップでは、前記乳腺領域に対する前記乳腺画素の割合を算出し、
前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マンモグラフィ画像における乳腺密度を算出可能な、情報処理装置、情報処理方法、コンピュータプログラムに関する。

【背景技術】

【0002】

乳がん検診は基本的にはマンモグラフィにより石灰化や腫瘤等の判定を行っている。しかし、乳房内の乳腺の密度が高い場合、石灰化物等を精度良く判断できないことがある（日本人や若年層に多い）。この場合、乳腺の影響を受けにくい超音波による検査を並行することで、費用は高くなるがより精度の高い検診が行われる。そこで読影医はマンモグラフィ画像から検査対象者の乳腺密度が高いと判断すると超音波診断を行うように誘導している。このとき、「乳腺密度が高い」とする明確な判断基準はなく、各読影医によりばらばらなのが現状であり、課題となっている。

【0003】

特許文献１では、段落５９〜６２等に示すように、乳腺割合は、乳腺領域の面積を乳房領域の面積で除算することにより算出し、乳腺割合に基づいて乳腺密度の判断を行っている。乳房画像中の乳房に相当する部位の全体が乳房領域であり、乳房領域において画素値が閾値以上の領域が乳腺領域である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−１５８９６３号

【非特許文献】

【0005】

【非特許文献1】Fully Convolutional Networks for Semantic Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 39, Issue: 4, April 1 2017 )

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、上記のように算出された乳腺割合に基づいて乳腺密度の判断を行っているが、このような判断方法では、狭い範囲に高密度の乳腺領域が存在しているような場合には、乳腺割合が低く算出されて超音波による検査が不要であると判断されやすい。しかし、乳腺領域の範囲が狭い場合であっても、乳腺領域が高密度である場合には、マンモグラフィでは、石灰化物等を精度良く判断できないので、超音波による検査が必要な場合があるので、より適切な基準によって、超音波による検査の要否を判断できることが望ましい。

【0007】

本発明はこのような事情に鑑みてなされたものであり、狭い領域に高密度の乳腺領域が存在している場合であっても、超音波による検査の要否を適切に判断可能な情報を提供可能な情報処理装置を提供するものである。

【課題を解決するための手段】

【0008】

本発明によれば、乳腺領域抽出部と、乳腺画素検出部と、乳腺密度算出部を備える、情報処理装置であって、前記乳腺領域抽出部は、マンモグラフィ画像における乳腺領域を抽出し、前記乳腺画素検出部は、前記乳腺領域中の乳腺画素を検出し、前記乳腺密度算出部は、前記乳腺領域に対する前記乳腺画素の割合に基づいて乳腺密度を算出し、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、情報処理装置が提供される。

【0009】

本発明では、マンモグラフィ画像に含まれる乳房全体よりも狭い領域を乳腺領域とし、この乳腺領域に含まれる乳腺画素の割合に基づいて乳腺密度を算出している。そして、この乳腺密度は、狭い領域に高密度の乳腺領域が存在している場合には高い値になる。従って、本発明によれば、狭い領域に高密度の乳腺領域が存在している場合であっても、超音波による検査の要否を適切に判断可能な情報が提供される。

【0010】

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記記載の情報処理装置であって、前記乳腺領域抽出部は、乳腺領域確率算出部と、後処理部を備え、前記乳腺領域確率算出部は、前記マンモグラフィ画像における乳腺領域である確率を算出し、前記後処理部は、前記確率に基づいて前記乳腺領域を抽出する、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記後処理部は、候補画素抽出部と、領域形成部を備え、前記候補画素抽出部は、前記確率が第１閾値以上である画素を候補画素として抽出して候補画素マップを生成し、前記領域形成部は、前記候補画素マップに対して欠損領域穴埋めを行って前記乳腺領域を形成する、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記乳腺領域確率算出部は、前記マンモグラフィ画像を入力して前記確率を出力する学習モデルに基づき、前記確率を算出する、情報処理装置である。
好ましくは、前記乳腺領域確率算出部は、前記マンモグラフィ画像及び第１追加データを入力して前記確率を出力する学習モデルに基づき、前記確率を算出し、第１追加データは、前記マンモグラフィ画像中の乳頭の位置に関連するデータである、情報処理装置である。
好ましくは、第１追加データは、前記マンモグラフィ画像中の乳頭画素の位置に基づいて、前記マンモグラフィ画像中の人体画素の画素値が補正されている画像データである、情報処理装置である。
好ましくは、第１追加データは、前記乳頭画素と前記人体画素との直線距離に応じて前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データである、情報処理装置である。
好ましくは、第１追加データは、前記乳頭画素と前記人体画素との直線距離が短くなるにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている、情報処理装置である。
好ましくは、第１追加データは、第１画像データと、第２画像データとを有し、第１画像データは、前記マンモグラフィ画像の第１方向に前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データであり、第２画像データは、前記マンモグラフィ画像の第２方向に前記マンモグラフィ画像中の前記人体画素の画素値が変化するように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データであり、第１方向と第２方向とは、交差する、情報処理装置である。
好ましくは、第１画像データは、前記乳頭画素と前記人体画素との第１方向の距離が短くなるにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正され、第２画像データは、第２方向における上側から第２方向における下側に向かうにつれて前記人体画素の画素値が大きくなるように、前記マンモグラフィ画像中の前記人体画素の画素値が補正されている画像データである、情報処理装置である。
好ましくは、前記乳腺領域確率算出部は、前記マンモグラフィ画像及び第２追加データを入力して前記確率を出力する学習モデルに基づき、前記確率を算出し、
第２追加データは、前記マンモグラフィ画像の代表輝度値又は前記マンモグラフィ画像の輝度値の分布を示すデータである、情報処理装置である。
好ましくは、第２追加データは、前記代表輝度値又は前記分布に基づいて、前記マンモグラフィ画像中の人体画素の輝度値が補正されている画像データである、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記学習モデルは、前記情報処理装置外で予め学習させる、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記学習モデルは、前記情報処理装置内で学習可能に構成される、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記乳腺領域確率算出部は、前記マンモグラフィ画像に含まれる大胸筋領域を除去することなく前記確率を算出する、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記乳腺画素検出部は、前記確率に基づいて前記乳腺領域中の前記乳腺画素を検出する、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記乳腺画素検出部は、前記確率が第２閾値以上である画素を前記乳腺画素として検出し、第２閾値は、第１閾値よりも、前記乳腺領域である確率が高い値である、情報処理装置である。
好ましくは、前記記載の情報処理装置であって、前記乳腺画素検出部は、前記乳腺領域の輝度値に基づいて前記乳腺画素を検出する、情報処理装置である。
本発明の別の観点によれば、乳腺領域抽出ステップと、乳腺画素検出ステップと、乳腺密度算出ステップを備える、情報処理方法であって、前記乳腺領域抽出ステップでは、マンモグラフィ画像における乳腺領域を抽出し、前記乳腺画素検出ステップでは、前記乳腺領域中の乳腺画素を検出し、前記乳腺密度算出ステップでは、前記乳腺領域に対する前記乳腺画素の割合を算出し、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、情報処理方法が提供される。
本発明のさらに別の観点によれば、コンピュータに、乳腺領域抽出ステップと、乳腺画素検出ステップと、乳腺密度算出ステップを備える、情報処理方法を実行させるコンピュータプログラムであって、前記乳腺領域抽出ステップでは、マンモグラフィ画像における乳腺領域を抽出し、前記乳腺画素検出ステップでは、前記乳腺領域中の乳腺画素を検出し、前記乳腺密度算出ステップでは、前記乳腺領域に対する前記乳腺画素の割合を算出し、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、コンピュータプログラムが提供される。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態の情報処理装置１の構成を示すブロック図である。

【図2】図１中の乳腺領域抽出部３の詳細構成を示すブロック図である。

【図3】マンモグラフィ画像の例を示す模式図である。

【図4】図２中の乳腺領域確率算出部７の詳細構成を示すブロック図である。

【図5】候補画素マップの例を示す模式図である。

【図6】乳腺領域マップの例を示す模式図である。

【図7】乳腺画素マップの例を示す模式図である。

【図8】本発明の第２実施形態の情報処理装置１の構成を示すブロック図である。

【図9】図８中の乳腺領域抽出部３の詳細構成を示すブロック図である。

【図10】本発明の第３実施形態の乳腺領域抽出部３の構成を示すブロック図である。

【図11】図１１Ａは図１０中の前処理部６の詳細構成を示すブロック図である。図１１Ｂは図１０中の追加データ生成部３０の詳細構成を示すブロック図である。

【図12】本発明の第３実施形態の情報処理装置１に入力されるマンモグラフィ画像の模式図である。

【図13】図１２に示すマンモグラフィ画像中の画素を、人体領域Ｒｇ１と非人体領域Ｒｇ２とに分けて示した模式図である。

【図14】第１追加データに含まれる第１画像データの例を示す模式図である。

【図15】第１追加データに含まれる第２画像データの例を示す模式図である。

【図16】第２追加データの例を示す模式図である。

【図17】画像データＤＲｇ１を生成するフロートチャートである。

【図18】図１８Ａはマンモグラフィ画像の一例である。図１８Ｂは図１８Ａに示すマンモグラフィ画像中の乳腺の位置を示す正解データの一例である。図１８Ｃは第１追加データに基づく学習がなされなかった場合における候補画素マップを模式的に示している。図１８Ｄは第３実施形態で説明した通り、第１追加データに基づく学習がなされた場合における候補画素マップを模式的に示している。

【図19】変形例に係る第１追加データの例を示す模式図である。

【図20】変形例に係る情報処理装置１の構成を示すブロック図である。

【図21】図２１Ａは第３実施形態の座標系を模式的に示す説明図である。図２１Ｂは変形例に係る座標系を模式的に示す説明図である。

【発明を実施するための形態】

【0012】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。

【0013】

１．第１実施形態
図１〜図７を用いて、本発明の第１実施形態の情報処理装置１について説明する。本実施形態の情報処理装置１は、図１に示すように、乳腺領域抽出部３と、乳腺画素検出部４と、乳腺密度算出部５を備える。

【0014】

上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。

【0015】

１−１．乳腺領域抽出部３
乳腺領域抽出部３は、図３に示すようなマンモグラフィ画像における乳腺領域Ｒを抽出する。マンモグラフィ画像は、多数の画素で構成されたデジタル画像である。各画素は、輝度値を有する。マンモグラフィ画像には、通常、大胸筋領域Ｇと、乳房領域Ｂが含まれている。大胸筋領域Ｇは、大胸筋に相当する領域であり、乳房領域Ｂは、乳房全体に相当する領域である。乳房領域Ｂには、乳腺領域Ｒが含まれている。乳腺領域Ｒは、乳房領域Ｂよりも狭い領域である。乳腺領域Ｒには、乳腺画素と脂肪画素が含まれている。乳腺画素は、乳腺に相当する画素であり、脂肪画素は、脂肪に相当する画素であり、乳腺領域Ｒ内の、乳腺画素以外の画素である。乳腺領域Ｒは、乳腺画素を大まかに囲った領域である。

【0016】

図３では、図示の便宜上、乳腺領域Ｒを実線で囲んで表示しているが、実際のマンモグラフィ画像では、乳腺領域Ｒを囲む実線は存在しておらず、乳腺に相当する部位が高輝度で表示されているだけである。乳腺に相当する部位は、雲のように境界が不明瞭に分布しており、その境界を一意的に定めることが困難であるので、本実施形態では、乳腺領域Ｒである確率Ｐに基づいて乳腺領域Ｒを抽出している。なお、大胸筋領域Ｇ、乳房領域Ｂを示す実線も実際のマンモグラフィ画像には存在していない。

【0017】

図２に示すように、乳腺領域抽出部３は、前処理部６と、乳腺領域確率算出部７と、後処理部８を備える。以下、各構成について詳細に説明する。

【0018】

＜前処理部６＞
前処理部６は、マンモグラフィ画像に対して、種々の前処理を行う。前処理は、マンモグラフィ画像を乳腺領域確率算出部７での処理に適した状態にするために行う処理である。前処理済みの画像もマンモグラフィ画像と称する。

【0019】

前処理部６は、サイズ合わせ部と、ウィンドウレベル調整部と、ノイズ除去部を備える。前処理部６の一部又は全部は、不要な場合には省略可能である。

【0020】

・サイズ合わせ部
サイズ合わせ部は、マンモグラフィ画像のサイズ合わせを行う。マンモグラフィ画像は撮像機材や設定によって解像度が異なる。これは１画素あたりの実サイズ（ｍｍ）が入力画像によって異なるということを表わす。サイズ合わせ部は、１画素あたりのサイズ違いによる検出精度の揺らぎを無くすため、１画素あたり、例えば０．２ｍｍになるようにリサイズを行う。

【0021】

・ウィンドウレベル調整部
ウィンドウレベル調整部は、マンモグラフィ画像のウィンドウレベル調整を行う。ウィンドウレベル調整とは、幅広いレンジの階調値を持った画像のある特定の階調域のコントラストを向上させる処理である。ウィンドウレベル調整を行うことによってマンモグラフィ画像の視認性を向上させることができる。これによって、乳腺領域Ｒの抽出精度を向上させることができる。

【0022】

・ノイズ除去部
ノイズ除去部は、マンモグラフィ画像のノイズ除去を行う。マンモグラフィ画像の中には、乳腺領域Ｒの抽出精度を低下させるものが存在している場合があり、それをノイズとして除去する。ノイズとしては、人工ラベルや大胸筋領域Ｇが挙げられる。人工ラベルは、人工的に付されたラベルであり、マスク処理によって除去可能である。大胸筋領域Ｇは、公知の領域拡張法によって除去可能である。但し、本実施形態では、大胸筋領域Ｇが含まれた状態でも乳腺領域Ｒを抽出することが可能であるので、大胸筋領域Ｇをノイズとして扱わなくてもよい。

【0023】

サイズ合わせ、ウィンドウレベル調整、ノイズ除去を行う順序は、適宜変更可能である。

【0024】

＜乳腺領域確率算出部７＞
乳腺領域確率算出部７は、マンモグラフィ画像における乳腺領域Ｒである確率Ｐを算出する。

【0025】

通常、マンモグラフィ画像において、大胸筋領域Ｇと乳腺領域Ｒ（特に、乳腺画素）の輝度値は、その他の領域に比べて高い（別の表現ではＸ線の透過率が、その他の領域に比べて低い）。大胸筋領域Ｇと乳腺領域Ｒの輝度値は同程度であり、輝度値によって大胸筋領域Ｇと乳腺領域Ｒを区別することは困難である。そこで、本実施形態では、マンモグラフィ画像に含まれる各画素が乳腺領域Ｒであるかどうかを示す確率Ｐを算出し、確率Ｐに基づいて乳腺領域Ｒを抽出している。確率Ｐは、大胸筋領域Ｇでは低くなり、乳腺領域Ｒでは高くなるので、確率Ｐに基づいて乳腺領域Ｒを抽出することによって、乳腺領域Ｒの特定の精度を向上させることができる。また、確率Ｐは、マンモグラフィ画像に含まれる大胸筋領域を除去することなく算出可能である。確率Ｐは、例えば０〜１の範囲の値で表現され、値が大きいほど、乳腺領域である確率が高くなる。

【0026】

確率Ｐは、マンモグラフィ画像を入力して確率Ｐを出力する学習モデルに基づいて算出することができる。

【0027】

学習モデルとは、多数の教師データ（既知の入力データと正解データの組）を用いてモデルを訓練し、将来の出力を予測可能にするモデルである。本実施形態では、教師データの入力データは、マンモグラフィ画像であり、正解データは、医師が乳腺領域であると判断した領域内の画素の値を１とし、それ以外の画素の値を０としたデータである。

【0028】

本実施形態では、学習モデル（機械学習モデル）は、畳み込みニューラルネットワークの一種である完全畳み込みネットワーク FCN (Fully Convolutional Network)である。ＦＣＮの詳細は、非特許文献１に開示されている。

【0029】

乳腺領域確率算出部７を構成するＦＣＮの一例は、図４に示すように、第１畳み込み部と、第１プーリング部と、第２畳み込み部と、第２プーリング部と、第３畳み込み部と、第３プーリング部と、スコアプール部と、アップサンプル部と、確率算出部を備える。ＦＣＮの構成は、適宜変更可能である。

【0030】

第１〜第３畳み込み部は、それぞれ、２層、２層、３層のニューラルネットワークで構成される。第１〜第３畳み込み部の各層のニューロン数は、６４，１２８，２５６である。第１〜第３畳み込み部では、３×３画素のフィルタで畳み込み処理がなされる。

【0031】

第１〜第３プーリング部では、２×２画素中の最大値を取り出すプーリング処理がなされる。

【0032】

スコアプール部は、ニューロン数が２のニューラルネットワークで構成され、１×１画素のフィルタで畳み込み処理がなされる。

【0033】

アップサンプル部では、プーリング処理で減少した画素数をマンモグラフィ画像の画素数に戻す処理が行われる。アップサンプル部は、ニューロン数が２のニューラルネットワークで構成される。アップサンプル部では、隣接する画素の間に値が０である画素を適宜挿入したものに対して、１６×１６画素のフィルタで畳み込み処理を行う等の処理を行うことによって、プーリング処理で減少した画素数をマンモグラフィ画像の画素数に戻す処理が行われる。

【0034】

確率算出部は、ソフトマックス関数によって、各画素について確率Ｐを算出し、確率マップを出力する。確率マップは、マンモグラフィ画像の画素と対応した画素を有する。確率マップの各画素は、確率Ｐを有する。

【0035】

学習は、以下の（１）〜（２）を繰り返すことによって行うことができる。
（１）教師データの入力データを入力して得られた確率Ｐに対して、閾値Ｔｈを基準にして確率Ｐを二値化することによって、出力データを得る。閾値Ｔｈは、例えば０．５とする。
（２）出力データと正解データに基づいて誤差を算出し、この誤差をバックプロパゲーションさせることによって、フィルタの重み係数を変更する。

【0036】

上記学習は、情報処理装置１外で予め行うことができる。この場合、情報処理装置１は、外部での学習によって得られた重み係数を用いて乳腺領域確率を算出することができる。重み係数は、情報処理装置１の記憶部に記憶させてもよく、外部の記憶部に記憶された重み係数を情報処理装置１が読み出して利用してもよい。また、情報処理装置１内においても、学習可能なように構成しておくことができる。

【0037】

＜後処理部８＞
後処理部８は、確率Ｐに基づいて乳腺領域Ｒを抽出する。後処理部８は、候補画素抽出部９と、領域形成部１０を備える。

【0038】

・候補画素抽出部９
候補画素抽出部９は、確率Ｐが第１閾値を超える画素を候補画素として抽出して候補画素マップを生成し、出力する。第１閾値は、学習段階での閾値Ｔｈと同じであっても異なっていてもよい。第１閾値は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。候補画素マップは、確率マップの画素と対応した画素を有する。候補画素マップでは、確率Ｐが第１閾値以上の画素の値が例えば１で、第１閾値未満の画素の値が例えば０となる。

【0039】

候補画素マップの一例を図５に示す。候補画素を黒点で示す。大胸筋領域Ｇ、乳腺領域Ｒ、乳房領域Ｂの境界を参考のために点線で示す。候補画素マップでは、乳腺領域Ｒに対応する領域において多数の候補画素が抽出されており、大胸筋領域Ｇに対応する領域にも小数の候補画素が抽出されている。乳腺領域Ｒに対応する領域には多数の候補画素が集中しているが、候補画素の間には、欠損領域（図５の乳腺領域Ｒ内の白い領域）が存在している。従って、このままでは一塊の乳腺領域Ｒとなっているといえない。

【0040】

・領域形成部１０
領域形成部１０は、候補画素マップに対してノイズ除去及び欠損領域穴埋めを行って乳腺領域Ｒを形成する。

【0041】

具体的には、大胸筋領域Ｇに対応する領域の候補画素はノイズであるとしてマスク処理等によって除去する。また、乳腺領域Ｒに対応する領域については欠損領域穴埋めを行って乳腺領域Ｒを形成する。欠損領域穴埋めは、例えば、列及び行それぞれの始点・終点の間を穴埋めすることによって行うことができる。これによって、図６に示すような乳腺領域マップが得られる。乳腺領域Ｒは、候補画素が集中している領域に形成されるので、欠損領域穴埋め工程では、候補画素が集中している領域から離れている候補画素をノイズとして無視することが好ましい。例えば、列又は行の始点を検出しても、その後に非候補画素が所定数以上連続した場合には、検出した始点を破棄して新たな始点を探すようにしてもよい。

【0042】

なお、大胸筋領域Ｇに対応する領域に候補画素が生成されないように学習モデルを十分に学習させることによってノイズ除去工程を省略することができる。また、マンモグラフィ画像から大胸筋領域Ｇを予め除去した場合にも、ノイズ除去工程は省略可能である。さらに、欠損領域穴埋め工程において、候補画素が集中している領域から離れている候補画素を無視することによって、大胸筋領域Ｇや、大胸筋領域Ｇ外であって候補画素が集中している領域以外に存在する候補画素を除外することができる。従って、ノイズ除去工程を別途行わずに、欠損領域穴埋め工程において、乳腺領域Ｒを形成することも可能である。

【0043】

１−２．乳腺画素検出部４
乳腺画素検出部４は、乳腺領域Ｒ中の乳腺画素を検出する。乳腺画素検出部４は、確率Ｐに基づいて乳腺領域Ｒ中の乳腺画素を検出する。乳腺画素は、確率Ｐが第２閾値以上である画素である。第２閾値は、第１閾値よりも、乳腺領域Ｒである確率が高い値である。なお、乳腺画素検出部４は、乳腺領域抽出部３により抽出された乳腺領域マップ内で、乳腺画素を検出してもよい。

【0044】

より具体的には、乳腺画素検出部４は、確率Ｐが第２閾値を超える画素を乳腺画素として抽出して乳腺画素マップを生成し、出力する。乳腺画素マップは、確率マップの画素と対応した画素を有する。乳腺画素マップでは、確率Ｐが第２閾値以上の画素の値が例えば１で、第２閾値未満の画素の値が例えば０となる。

【0045】

乳腺画素マップの一例を図７に示す。乳腺画素を黒点で示す。乳腺領域Ｒの境界を参考のために点線で示す。なお、乳腺領域抽出部３が抽出した乳腺領域Ｒに基づいて、乳腺領域Ｒの情報を乳腺画素マップに含めてもよい。図７に示すように、乳腺画素は、乳腺領域Ｒ内に集中して存在している。乳腺画素の数は、候補画素の数よりも少ない。なお、乳腺画素は、乳腺領域Ｒ外に存在してもよい。乳腺領域Ｒ外の乳腺画素は、乳腺密度の算出の際に、乳腺画素として含めても含めなくてもよい。乳腺領域Ｒ外の乳腺画素を含めない場合、乳腺密度の算出の際に、乳腺領域マップ内の乳腺画素についてのみ算出を行う。

【0046】

１−３．乳腺密度算出部５
乳腺密度算出部５は、乳腺領域Ｒに対する乳腺画素の割合に基づいて乳腺密度を算出する。より具体的には、乳腺密度算出部５は、乳腺領域マップに基づいて乳腺領域に含まれる全ての画素数（乳腺領域総画素数）をカウントし、乳腺画素マップに基づいて乳腺画素数をカウントし、以下の式に基づいて、乳腺密度を算出する。
乳腺密度（％）＝１００×（乳腺画素数）／（乳腺領域総画素数）

【0047】

このようにして算出された乳腺密度は、狭い領域に高密度の乳腺領域が存在している場合には高い値になる。従って、本実施形態によれば、狭い領域に高密度の乳腺領域が存在している場合であっても、超音波による検査の要否を適切に判断可能な情報が提供される。

【0048】

算出された乳腺密度は、情報処理装置１の表示部に表示させたり、情報処理装置１から外部機器に出力したりして利用可能である。

【0049】

２．第２実施形態
図８〜図９を用いて、本発明の第２実施形態の情報処理装置１について説明する。本実施形態の情報処理装置１は、第１実施形態に類似しており、乳腺画素検出部４の構成の違いが主な相違点である。以下、相違点を中心に説明する。

【0050】

本実施形態では、乳腺画素検出部４は、乳腺領域Ｒの輝度値に基づいて乳腺画素を検出している。乳腺画素検出部４は、乳腺領域画像抽出部１１と、輝度判断部１２を備える。

【0051】

乳腺領域画像抽出部１１は、マンモグラフィ画像と乳腺領域マップに基づいて、乳腺領域画像を抽出する。乳腺領域画像は、乳腺領域Ｒのみの画像である。

【0052】

輝度判断部１２は、乳腺領域画像に含まれる各画素の輝度値が第３閾値以上であるか否かに基づいて乳腺画素を検出し、乳腺画素マップを出力する。第３閾値は、固定の値に設定してもよく、その他さまざまな公知の手法を使用してもよい。今回の目的に合いやすいものとしてはヒストグラムの双峰性を仮定したモード法や自動的に閾値を決定する判別分析法、局所的に閾値を変更する適応的閾値処理などがある。

【0053】

乳腺領域抽出部３は、乳腺画素検出部４に対して、乳腺領域マップを出力する点以外は、第１実施形態と同様である。

【0054】

３．第３実施形態
図１０〜図１７を用いて、本発明の第３実施形態の情報処理装置１について説明する。第１実施形態の情報処理装置１はマンモグラフィ画像のデータに基づいて確率マップを取得したが、第３実施形態の情報処理装置１はマンモグラフィ画像に加え、後述する第１及び第２追加データに基づいて確率マップを取得する。第３実施形態の情報処理装置１は、実施形態１の情報処理装置の構成に加え、第１及び第２追加データを生成する追加データ生成部３０を備える。以下、第１実施形態と第３実施形態との相違点を中心に説明する。

【0055】

なお、第３実施形態において、人体領域Ｒｇ１は、マンモグラフィ画像Ｄ０中における人体に対応する領域である。また、人体画素は、人体領域Ｒｇ１の画素である。非人体領域Ｒｇ２とは、マンモグラフィ画像Ｄ０中における人体以外の部分に対応する領域である。また、乳頭領域ＲｇＮはマンモグラフィ画像Ｄ０中における人体の乳頭に対応する領域であり、乳頭領域ＲｇＮは人体領域Ｒｇ１に含まれる。乳頭画素は、乳頭領域ＲｇＮの画素である。

【0056】

３−１．データ説明
情報処理装置１は、マンモグラフィ画像のデータ（以下、単にマンモグラフィ画像Ｄ０とも称する）と、第１追加データＤ１と、第２追加データＤ２とに基づいて、確率マップを取得する。情報処理装置１が第１追加データＤ１及び第２追加データＤ２を用いることで、情報処理装置１はより高精度な確率マップを取得することができる。

【0057】

＜第１追加データＤ１＞
人体は乳頭の近傍に乳腺が多いので、乳頭の近傍の部分は乳腺である確率が高い。このため、第３実施形態では、乳頭からの距離を加味したデータを用いて、乳腺領域抽出部３に学習をさせ、乳腺領域抽出部３の出力（確率マップ）をより高精度化する。第３実施形態において、乳頭からの距離を加味したデータは、画像データである。また、第３実施形態において、この画像データは、マンモグラフィ画像中の人体画素の輝度値が補正されている画像データである。マンモグラフィ画像Ｄ０の左端寄りの上部は大胸筋領域Ｇが配置されているので、マンモグラフィ画像Ｄ０の左端側の上部は乳腺である確率が低い。このため、第３実施形態では、大胸筋領域Ｇからの距離を加味した画像データ（第１追加データＤ１）を用いて、乳腺領域抽出部３に学習をさせ、乳腺領域抽出部３の出力（確率マップ）をより高精度化する。
なお、乳腺領域抽出部３の出力（確率マップ）がより高精度となると、候補画素マップ（図５参照）の精度、乳腺領域マップ（図６参照）の精度及び乳腺画素マップ（図７参照）の精度も向上する。その結果、乳腺密度算出部５はより高精度な乳腺密度を算出することが可能になる。そこで、乳腺領域抽出部３は乳頭からの距離及び大胸筋領域Ｇからの距離が加味されている第１追加データＤ１を用いた処理を実行する。

【0058】

図１２，図１４及び図１５に示すように、第１追加データＤ１は、マンモグラフィ画像Ｄ０に基づいて生成する画像データである。第１追加データＤ１は、第１画像データＤ１１と第２画像データＤ１２とを有する。第１画像データＤ１１及び第２画像データＤ１２は、マンモグラフィ画像Ｄ０中の各画素と乳頭領域との距離と、マンモグラフィ画像Ｄ０中の各画素と大胸筋領域との距離との両方が加味されているデータである。

【0059】

・第１画像データＤ１１
図１２及び図１４に示すように、第１画像データＤ１１は、マンモグラフィ画像Ｄ０中の乳頭領域ＲｇＮの画素（乳頭画素）の位置（座標）に基づいて、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている画像データである。第３実施形態において、第１画像データの各人体画素の輝度値は、マンモグラフィ画像Ｄ０中の乳頭領域ＲｇＮの位置（座標）と人体領域Ｒｇ１中の各人体画素との第１方向距離に基づいている。つまり、第１画像データＤ１１は、乳頭領域ＲｇＮと各人体画素との第１方向距離に応じてマンモグラフィ画像Ｄ０中の人体画素の輝度値が変化するように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている画像データである。第３実施形態において、第１方向は水平方向である。

【0060】

第３実施形態において、第１画像データＤ１１は、この第１方向距離が短くなるにつれて各人体画素の輝度値が大きくなるように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている。つまり、第１画像データＤ１１の乳頭領域ＲｇＮはこの第１方向距離が最小なので、この乳頭領域ＲｇＮの輝度値は最大である。また、第１画像データＤ１１の左端部分は第１方向距離が最大なので、この左端部分の人体画素の輝度値は最小である。更に、第１画像データＤ１１の乳頭領域ＲｇＮ側から第１画像データＤ１１の左端部分側へ向かうにつれて、人体画素の輝度値は単調減少する。人体画素の輝度値は、この第１方向距離に比例して減少してもよいし、比例していなくてもよい。また、第３実施形態では、第１画像データＤ１１の乳頭領域ＲｇＮの階調値が１であり、第１画像データＤ１１の左端部分の人体画素は階調値が０である。なお、第３実施形態において階調値は正規化されており、階調値の最大値が１であり、最小値が０である。輝度値の最大値及び最小値は、これらの値に限定されるものではない。

【0061】

第３実施形態では、第１画像データＤ１１の乳頭領域ＲｇＮ側から第１画像データＤ１１の左端部分側へ向かうにつれて、人体画素の輝度値は単調減少しているが、これに限定されるものではない。第１画像データＤ１１の乳頭領域ＲｇＮ側から第１画像データＤ１１の左端部分側へ向かうにつれて、人体画素の輝度値が増加に転じてもよい。つまり、乳腺は乳頭の近傍に配置されるという傾向が、第１画像データＤ１１に反映されていれば、第１画像データＤ１１の輝度値は上述したように単調減少をしている必要はない。

【0062】

・第２画像データＤ１２
図１２及び図１５に示すように、第２画像データＤ１２は、マンモグラフィ画像Ｄ０の上下方向にマンモグラフィ画像Ｄ０中の人体画素の輝度値が変化するように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている画像データである。第３実施形態において、第２画像データの各人体画素の輝度値は、マンモグラフィ画像Ｄ０中の左端の上端（左上の角）の位置（座標）と人体領域Ｒｇ１中の各人体画素との第２方向距離に基づいている。つまり、第２画像データＤ１２は、マンモグラフィ画像Ｄ０中の左端の上端（左上の角）と各人体画素との第２方向距離に応じてマンモグラフィ画像Ｄ０中の人体画素の輝度値が変化するように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている画像データである。第２方向は第１方向と交差する方向である。第３実施形態において第２方向は垂直方向である。このため、第３実施形態では、第１方向と第２方向とは直交する。なお、第１方向と第２方向とは直交していなくてもよい。

【0063】

第３実施形態において、第２画像データＤ１２は、この第２方向距離が長くなるにつれて各人体画素の輝度値が大きくなるように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている。つまり、第２画像データＤ１２の左端の上端（左上の角）は第２方向距離が最小なので、この左端の上端の輝度値は最小である。また、第２画像データＤ１２の左端の下端（左下の角）は第２方向距離が最大なので、この左端の下端の人体画素の輝度値は最大である。更に、第２画像データＤ１２の左端の上端側から左端の下端側へ向かうにつれて、人体画素の輝度値は単調増加する。人体画素の輝度値は、この第２方向距離に比例して減少してもよいし、比例していなくてもよい。また、第３実施形態では、第２画像データＤ１２の左端の上端の人体画素の階調値が０であり、第２画像データＤ１２の左端の下端の人体画素の階調値が１である。輝度値の最大値及び最小値は、これらの値に限定されるものではない。

【0064】

第２画像データＤ１２の人体画素のうち輝度値が中央値となっている画素の位置（座標）は、乳頭領域ＲｇＮの画素（乳頭画素）の位置（座標）に一致している。ここでいう中央値は、輝度値を高い方から順番に並べたとき、その順番の真ん中の輝度値である。第３実施形態では、第２画像データＤ１２の人体画素の輝度値の最大値は１であり、最小値は０である。このため、第２画像データＤ１２の人体画素のうち輝度値が中央値となっている画素の輝度値は、０．５である。したがって、第３実施形態において、第２画像データＤ１２は、乳頭領域ＲｇＮよりも下側の各人体画素の輝度値が乳頭領域ＲｇＮよりも上側の各人体画素の輝度値よりも大きくなるように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている画像データである。第３実施形態では、乳頭領域ＲｇＮの座標が縦方向における中央座標に位置しているため、縦方向の最上部の輝度値は０であり、縦方向の最下部の輝度値は１となっているが、これに限定されるものではない。例えば、乳頭領域Ｎの座標が縦方向における中央座標よりも下に位置している場合には、縦方向の最上部の座標の階調値が０に設定され、乳頭領域Ｎの階調値が０．５に設定される。これにより、縦方向の最下部の座標の階調値には、１以下の階調値が適切に割り当てられる。逆に、乳頭領域Ｎの座標がマンモグラフィ画像Ｄ０中の縦方向の中央座標よりも上に位置している場合には、縦方向の最下部の座標の階調値が１に設定され、乳頭領域Ｎの階調値が０．５に設定される。

【0065】

図１８Ａ〜図１８Ｄを用いて、第１追加データＤ１の効果を説明する。図１８Ａはマンモグラフィ画像Ｄ０を模式的に示す。図１８Ｂは図１８Ａに示すマンモグラフィ画像に対応する正解データを模式的に示している。図１８Ｂの領域ＣＲは、例えば医師によって乳腺であると判断された画素を示している。
乳腺領域抽出部３が第１追加データを用いないで学習している場合には、乳腺領域抽出部３は、図１８Ｃに示すような候補画素マップを生成することがある。図１８Ｃにおいて、白点の箇所は、確率Ｐが第１閾値を超える画素（候補画素）を表している。乳腺領域抽出部３が第１追加データを用いないで学習している場合には、図１８Ｃに示すように、図１８Ｂの領域ＣＲに対応する領域だけでなく、大胸筋領域にも、多数の候補画素が生成されている。大胸筋領域にも多数の候補画素が生成されていることは、候補画素マップの精度が低いことを表している。候補画素マップの精度が低いということは、確率マップの精度も低いということである。更には、候補画素マップの精度が低いと、乳腺領域マップの精度、乳腺画素マップの精度及び乳腺密度の算出精度の低下も招く。
それに対し、乳腺領域抽出部３が第１追加データを用いて学習している場合には、乳腺領域抽出部３は、図１８Ｄに示すような候補画素マップが生成することができる。図１８Ｄに示す候補画素マップは、候補画素が、図１８Ｂの領域ＣＲに対応する領域に生成されているが、その一方、大胸筋領域には候補画素の生成が抑制されている。乳腺領域抽出部３が第１追加データを用いて学習している場合には、候補画素マップの精度が高いので、確率マップの精度も高い。また、候補画素マップの精度が高いので、乳腺領域マップの精度、乳腺画素マップの精度及び乳腺密度の算出精度も高くなる。

【0066】

＜第２追加データ＞
マンモグラフィ画像は、例えば、次のような観点に基づいてこのウィンドウレベル調整がなされる。
第１観点において、乳腺濃度が高い場合にはマンモグラフィ画像の乳腺のあたりが白くなってぼやけるので、乳腺の詳細がわかるよう、マンモグラフィ画像は全体的に暗くなるようにウィンドウレベル調整される。
第２観点において、乳腺濃度が低い場合には、乳腺と脂肪両方の詳細が確認できるよう、マンモグラフィ画像は脂肪が見える程度まで全体的に明るくなるようにウィンドウレベル調整される。

【0067】

上述の第１観点に基づく調整がされたマンモグラフィ画像の学習が多くなされ、重み係数が確定した場合、第２観点に基づく調整がされたマンモグラフィ画像の患者に対し、精度よい出力（確率マップ出力）を提供することができない可能性がある。逆も同様である。つまり、乳腺濃度によるウインドウ調整のばらつきがあるため、その結果、確率マップの精度が低減する可能性がある。このため、第３実施形態では、マンモグラフィ画像の代表となる輝度値（代表輝度値）又はマンモグラフィ画像の輝度値の分布を反映した画像データを用いて、乳腺領域抽出部３に学習をさせ、乳腺領域抽出部３の出力（確率マップ）をより高精度化する。

【0068】

図１２及び図１６に示すように、第２追加データは、マンモグラフィ画像Ｄ０の代表輝度値又はマンモグラフィ画像Ｄ０の輝度値の分布を示すデータである。より詳しくは、第２追加データは、代表輝度値又は分布に基づいて、マンモグラフィ画像Ｄ０中の全部の人体画素の輝度値が補正されている画像データである。第２追加データの全部の人体画素の輝度値は同じである。ここで、代表輝度値には、平均値、最頻値、又は、中央値を用いることができる。平均値は、全人体画素の輝度値の総和を、全人体画素の数で割った値である。最頻値は、全人体画素の輝度値の中で、最も数が多い輝度値である。中央値は、全人体画素の輝度値を大きい順番に並べたとき、その順番の真ん中に対応する輝度値である。また、第２追加データは輝度値の分布を示すデータであってもよく、例えば、全人体画素の輝度値の分布を示したヒストグラムであってもよい。第３実施形態においてヒストグラムが用いられる場合、乳腺領域確率算出部７が、順次伝搬型のニューラルネットワークを備えているとよい。つまり、乳腺領域確率算出部７は、例えば、マンモグラフィ画像Ｄ０の各画素の輝度値、及び、各輝度値におけるヒストグラムの度数を順次伝搬型のニューラルネットワークに入力して確率Ｐを出力する学習モデルに基づき、確率Ｐを出力してもよい。

【0069】

第３実施形態では、学習用データは全て画像データである。つまり、マンモグラフィ画像Ｄ０、第１追加データＤ１及び第２追加データＤ２は画像データである。第１追加データＤ１は乳頭と各画素との距離が反映されたデータであるので、乳腺領域抽出部３は座標を加味した学習をすることになる。このため、乳腺領域抽出部３はより高精度な出力が可能となる。なお、第２追加データは必ずしも画像データである必要はない。乳腺領域抽出部３が、上述の代表輝度値や分布を示すデータに基づいて学習したとしても、乳腺領域抽出部３の高精度化が期待される。

【0070】

３−２．前処理部６
前処理部６は、第１実施形態で説明したノイズ除去処理の過程で人体領域Ｒｇ１を抽出し、画像データＤＲｇ１を生成する。前処理部６の人体領域抽出について説明する。

【0071】

前処理部６は、マンモグラフィ画像Ｄ０から人体領域Ｒｇ１を抽出する。ここで、人体領域Ｒｇ１は、非人体領域Ｒｇ２と比較すると、明るい傾向がある。前処理部６は、この傾向を利用して、マンモグラフィ画像Ｄ０から人体領域Ｒｇ１を抽出する。そして、前処理部６は人体領域Ｒｇ１を抽出することで、画像データＤＲｇ１を生成する。画像データＤＲｇ１は、第１追加データＤ１及び第２追加データＤ２を生成するために用いられる。

【0072】

図１７を参照して、前処理部６が人体領域Ｒｇ１を抽出し、画像データＤＲｇ１を生成するフローを説明する。
前処理部６は、マンモグラフィ画像Ｄ０の各画素のうち、設定閾値以上の輝度値を有する画素に１を割り当て、この設定閾値未満の輝度値を有する画素に０を割り当てる（ステップＳ１）。ここで、割り当てられた１や０といった数値は、画素の輝度を区別するための便宜的な数値に過ぎず、これらに限定されるものではない。また、設定閾値は可変である。前処理部６は、人体領域Ｒｇ１を抽出するフローの開始当初において、設定閾値を高く設定しており、後述するように徐々に低く設定する。

【0073】

前処理部６は、マンモグラフィ画像Ｄ０の各画素のうち、設定閾値以上の輝度値を有する画素の数をカウントする（ステップＳ２）。そして、前処理部６は、カウントした数がマンモグラフィ画像Ｄ０の全画素数に占める割合ｘを算出する（ステップＳ３）。前処理部６は、この算出された割合ｘが予め定められた割合ｐｔ（例えば、４０％）であるか否かを判定する（ステップＳ４）。なお、ここでは、便宜的に、予め定められた割合としているが、予め定められた範囲であってもよい。この算出された割合ｘが予め定められた割合ｐｔではない、すなわち、この算出された割合ｘが予め定められた割合ｐｔより高い場合には、前処理部６は設定閾値を低下させる（ステップＳ５）。なお、設定閾値の低下量は、例えば予め定められていてよい。そして、前処理部６はステップＳ１に戻る。また、この算出された割合ｘが予め定められた割合ｐｔである場合には、前処理部６は、ステップＳ１において１が割り当てられている画素を人体領域Ｒｇ１と決定する（ステップＳ６）。前処理部６は、マンモグラフィ画像Ｄ０から抽出した人体領域Ｒｇ１を示す画像データＤＲｇ１を生成する（ステップＳ７）。画像データＤＲｇ１は、人体領域Ｒｇ１であることを示すデータと、人体領域Ｒｇ１の各画素の輝度値に関するデータとを有する。

【0074】

３−３．乳腺領域抽出部３
図１０に示すように、乳腺領域抽出部３は、第１実施形態の構成に加えて、追加データ生成部３０を備える。

【0075】

＜追加データ生成部３０＞
図１１Ｂに示すように、追加データ生成部３０は、第１追加データＤ１及び第２追加データＤ２を生成する。追加データ生成部３０は、乳頭領域抽出部３２と、代表データ生成部３３と、補正部３４とを有する。

【0076】

・乳頭領域抽出部３２
乳頭領域抽出部３２は、画像データＤＲｇ１に基づいて、乳頭領域ＲｇＮの位置（座標）を抽出（検出）する。そして、乳頭領域抽出部３２は、乳頭領域ＲｇＮの位置（座標）を示す乳頭領域データＤＲｇＮを生成する。画像データＤＲｇ１において、乳頭は最も突き出ている部分である。乳頭領域抽出部３２は、この乳頭の特徴を利用して、画像データＤＲｇ１から乳頭領域ＲｇＮを抽出する。

【0077】

図１３に示すように、乳頭領域抽出部３２は、上下方向にマンモグラフィ画像Ｄ０の各画素の輝度値を走査する。図１３において、矢印ＡＲは走査方向を示している。乳頭領域抽出部３２は、上下方向の１列の画素の輝度値の走査が完了すると、順次、隣の列の画素の輝度値の走査を行う。そして、乳頭領域抽出部３２は、走査を開始してから、はじめて、輝度値の値が予め定められた輝度値以上となった画素を、乳頭領域ＲｇＮと決定する。なお、乳頭領域ＲｇＮの位置を抽出する方法は、ここで説明した内容に限定されるものではない。

【0078】

・代表データ生成部３３
代表データ生成部３３は、第２追加データを生成するための代表データＤＲｐを取得する。代表データＤＲｐとは、上記で説明した、マンモグラフィ画像Ｄ０の代表輝度値又はマンモグラフィ画像Ｄ０の輝度値の分布を示すデータである。ここでは、代表データＤＲｐが、代表輝度値の平均値である場合を一例として説明する。代表データ生成部３３は、前処理部６が決定した人体領域Ｒｇ１の各画素の輝度値の総和を算出する。そして、代表データ生成部３３は、この総和を、前処理部６が決定した人体領域Ｒｇ１の画素数で割ることで、平均値を取得することができる。

【0079】

・補正部３４
図１１Ｂに示すように、補正部３４は、前処理部６が決定した人体領域Ｒｇ１（画像データＤＲｇ１）と、乳頭領域抽出部３２が決定した乳頭領域ＲｇＮ（乳頭領域データＤＲｇＮ）と、に基づいてマンモグラフィ画像Ｄ０を補正し、第１追加データＤ１を生成する。
また、補正部３４は、前処理部６が決定した人体領域Ｒｇ１（画像データＤＲｇ１）と、代表データ生成部３３が取得した代表データＤＲｐとに基づいてマンモグラフィ画像Ｄ０を補正し、第２追加データＤ２を生成する。

【0080】

＜乳腺領域確率算出部７＞
乳腺領域確率算出部７は、マンモグラフィ画像Ｄ０における乳腺領域Ｒである確率Ｐを算出する。
第３実施形態において、確率Ｐは、マンモグラフィ画像Ｄ０、第１追加データＤ１及び第２追加データＤ２を入力して、確率Ｐを出力する学習モデルに基づいて算出する。

【0081】

第３実施形態において、教師データの入力データは、マンモグラフィ画像Ｄ０、第１追加データＤ１及び第２追加データＤ２である。正解データは、医師が乳腺領域であると判断した領域内の画素の値を１とし、それ以外の画素の値を０としたデータである。情報処理装置１には多数の教師データ及び正解データが入力される。この過程で、乳腺領域確率算出部７は、フィルタの重み係数を適宜変更し、最終的に、乳腺領域確率算出部７はこの重み係数を確定する。

【0082】

情報処理装置１が患者の診断に適用される段階（以下、運用段階と称する）において、乳腺領域確率算出部７には、当該患者のマンモグラフィ画像Ｄ０が入力される。これにより、追加データ生成部３０はマンモグラフィ画像Ｄ０から第１追加データＤ１及び第２追加データＤ２を生成する。そして、乳腺領域確率算出部７は、確定した重み係数に基づいて、マンモグラフィ画像Ｄ０、第１追加データＤ１及び第２追加データを処理し、確率マップを出力する。

【0083】

なお、運用段階において、前処理部６が大胸筋領域Ｇ（ノイズ）を除去する工程が不要になる。乳腺領域確率算出部７が第１追加データに基づいて学習しているので、大胸筋領域Ｇを含むマンモグラフィ画像が乳腺領域確率算出部７に入力された場合であっても、乳腺領域確率算出部７は、大胸筋領域Ｇにおける画素の確率Ｐを、より確実に低く算出するからである。

【0084】

３−４．第３実施形態の変形例
第１追加データＤ１の形態は、第１画像データＤ１１及び第２画像データＤ１２を有する形態に限定されるものではない。図１９に示すように、第１追加データＤ１は、第１画像データＤ１１及び第２画像データＤ１２の代わりに、乳頭領域ＲｇＮを中心とする形式の画像データのみで構成してもよい。変形例に係る画像データは、乳頭領域ＲｇＮからの直線距離が短くなるにつれて各人体画素の輝度値が大きくなるように、マンモグラフィ画像Ｄ０中の各人体画素の輝度値が補正されている。

【0085】

また、第３実施形態では、乳腺領域確率算出部７が、マンモグラフィ画像Ｄ０に加えて、第１追加データＤ１及び第２追加データを用いて学習する形態であったが、これに限定されるものではない。乳腺領域確率算出部７は、マンモグラフィ画像Ｄ０に加えて、第１追加データＤ１及び第２追加データＤ２のうちの一方を用いて学習する形態であってもよい。この場合には、運用段階において、追加データ生成部３０は、マンモグラフィ画像Ｄ０から第１追加データＤ１及び第２追加データＤ２のうちの一方を生成する。そして、乳腺領域確率算出部７は、マンモグラフィ画像Ｄ０と、第１追加データＤ１及び第２追加データＤ２のうちの一方とに基づいて、確率マップを出力する。

【0086】

第３実施形態では、情報処理装置１が、追加データ生成部３０を備える形態であったが、それに限定されるものではない。追加データ生成部３０は、情報処理装置１外に設けられていてもよい。図２０に示すように、この場合には、情報処理装置１には、マンモグラフィ画像Ｄ０と、予め生成しておいた第１追加データＤ１及び第２追加データＤ２とが入力される。

【0087】

また、第３実施形態において、人体領域Ｒｇ１は、マンモグラフィ画像Ｄ０中の左側に配置された例を示しているが、この配置に限定されるものではない。学習時の画像データの人体領域Ｒｇ１の配置と運用時の画像データの人体領域Ｒｇ１の配置とが揃っていれば、人体領域Ｒｇ１の配置が図１２に示す配置とは例えば左右対称であってもよい。

【0088】

第３実施形態において、第１追加データは画像データであったが、これに限定されるものではない。第１追加データは、例えば、乳頭の位置データであってもよい。この場合には、追加データ生成部３０は、乳頭の位置データに基づき、画像データを生成する。
また、第１追加データは、乳頭の位置データに加え、人体領域Ｒｇ１の位置データ、又は、大胸筋の位置データを加味してもよい。追加データ生成部３０は、例えば、乳頭の位置に対して人体領域Ｒｇ１の位置又は大胸筋の位置に向かって出力（例えば、輝度値）が変化するような関数またはテーブルを使用し、画像データを生成することができる。乳腺領域確率算出部７は、このように生成された画像データを用いて学習を実施することができ、運用段階で確率Ｐを出力することもできる。

【0089】

また、第１追加データに係る画像データは、マンモグラフィ画像中の乳頭画素の位置に基づいて、マンモグラフィ画像中の人体画素の画素値が補正されている画像データである。画素値は、上述した通りマンモグラフィ画像中の人体画素の輝度値であってもよく、マンモグラフィ画像中の人体画素の輝度値でなくてもよい。例えば、乳頭の座標と、人体領域Ｒｇ１の座標又は大胸筋の座標とを用いて第１の追加データに係る画像データを生成する場合は、マンモグラフィ画像中の人体画素の輝度値を用いずに、第１の追加データに係る画像データを生成できる。また、第２追加データについても、例えば、マンモグラフィ画像Ｄ０中の人体画素の画素値が補正されている画像データであってもよい。

【0090】

第３実施形態において、第１追加データの座標系は、図２１Ａに示すように、乳頭領域Ｎを中心とする直交座標系である。つまり、第３実施形態の座標系は、縦軸が垂直方向に平行であり、横軸が水平方向に平行であり、縦軸と横軸との交点が乳頭領域Ｎである。ここで、第１追加データの座標系は、これに限定されるものではない。図２１Ｂに示すように、人体領域Ｒｇ１の縁を通る接線を縦軸とし、この縦軸に直交する線を横軸としてもよい。ここで、人体領域Ｒｇ１の縁を通る接線は、乳頭領域Ｎにおける接線である。また、人体領域Ｒｇ１の縁は、乳房カーブであり、人体領域Ｒｇ１と非人体領域Ｒｇ２との境界に対応する。

【0091】

４．その他実施形態
・上記実施形態では、学習モデルとしてＦＣＮを用いているが、ＦＣＮ以外にも任意の順伝搬型ニューラルネットワークが利用可能である。
・上記実施形態では、学習モデルによって確率Ｐを算出しているが、確率Ｐは、各画素又は複数画素からなる小領域の輝度値によって算出してもよい。例えば、輝度値のヒストグラムに基づき確率Ｐを算出してもよく、輝度値の絶対値や周辺画素の輝度値との差分に基づき確率Ｐを算出してもよい。
・上記実施形態では、確率Ｐに基づいて乳腺領域を抽出しているが、確率Ｐを用いる以外にも、輝度値の大小から乳腺領域を直接求める方法や、水平方向／垂直方向の輝度値の遷移から乳腺領域であるか否かを判断する方法によって乳腺領域を抽出することが可能である。
・上記実施形態では、画素毎にマンモグラフィ画像における乳腺領域である確率を算出しているが、複数画素からなる小領域毎に乳腺領域である確率を算出してもよい。

【0092】

・上記の実施形態では、情報処理装置１が、乳腺領域抽出部３と、乳腺画素検出部４と、乳腺密度算出部５とを備える形態であったが、この形態に限定されるものではない。例えば、第１及び第２実施形態は、情報処理装置１が乳腺領域抽出部３の乳腺領域確率算出部７を備えており、乳腺領域抽出部３の後処理部８と乳腺画素検出部４と乳腺密度算出部５が情報処理装置１外に設けられている形態であってもよい。また、第３実施形態は、情報処理装置１が乳腺領域抽出部３の乳腺領域確率算出部７と乳腺領域抽出部３の追加データ生成部３０とを備えており、乳腺領域抽出部３の後処理部８と乳腺画素検出部４と乳腺密度算出部５が情報処理装置１外に設けられている形態であってもよい。これらの場合には、情報処理装置１では確率マップを生成し、生成された確率マップは情報処理装置１外の場所で利用されることになる。
つまり、情報処理装置は、乳腺領域抽出部を備える情報処理装置であって、前記乳腺領域抽出部は、マンモグラフィ画像における乳腺領域を抽出し、且つ、前記乳腺領域抽出部は、乳腺領域確率算出部を有し、前記乳腺領域確率算出部は、前記マンモグラフィ画像を入力して前記確率を出力する学習モデルに基づき、前記確率を算出するように構成されていてもよい。
また、情報処理装置は、乳腺領域抽出部を備える情報処理装置であって、前記乳腺領域抽出部は、マンモグラフィ画像における乳腺領域を抽出し、且つ、前記乳腺領域抽出部は、乳腺領域確率算出部を有し、前記乳腺領域確率算出部は、前記マンモグラフィ画像に加えて、第１追加データ及び第２追加データのうちの少なくとも一方を入力して前記確率を出力する学習モデルに基づき、前記確率を算出するように構成されていてもよい。
また、情報処理装置は、マンモグラフィ画像及び第１追加データを入力して確率を出力する学習モデルを使用してもよく、マンモグラフィ画像及び第２追加データを入力して確率を出力する学習モデルを使用してもよい。例えば、ウィンドウレベルが調整されたマンモグラフィ画像を情報処理装置に学習させる場合は、マンモグラフィ画像及び第１追加データを入力して確率を出力する学習モデルを使用してもよい。また、大胸筋領域をあらかじめ除去した場合や、第1実施形態のように大胸筋領域に対応する領域に候補画素が生成されないように学習モデルを十分に学習させる場合は、マンモグラフィ画像及び第２追加データを入力して確率を出力する学習モデルを使用してもよい。
このような形態であっても、上記の実施形態と同様の効果を得ることができる。

【符号の説明】

【0093】

１：情報処理装置、３：乳腺領域抽出部、４：乳腺画素検出部、５：乳腺密度算出部、６：前処理部、７：乳腺領域確率算出部、８：後処理部、９：候補画素抽出部、１０：領域形成部、１１：乳腺領域画像抽出部、１２：輝度判断部、３０：追加データ生成部、３２：乳頭領域抽出部、３３：代表データ生成部、３４：補正部、Ｄ０：マンモグラフィ画像、Ｄ１：第１追加データ、Ｄ１１：第１画像データ、Ｄ１２：第２画像データ、Ｄ２：第２追加データ、ＤＲｇ１：画像データ、ＤＲｇＮ：乳頭領域データ、ＤＲｐ：代表データ、Ｒｇ１：人体領域、Ｒｇ２：非人体領域、ＲｇＮ：乳頭領域、Ｂ：乳房領域、Ｇ：大胸筋領域、Ｒ：乳腺領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】