知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-03
(45)【発行日】2022-02-14
(54)【発明の名称】閾値の学習方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20220204BHJP
【ＦＩ】
A61B6/00 350A
【請求項の数】
6
(21)【出願番号】P 2021532563
(86)(22)【出願日】2019-07-12
(86)【国際出願番号】 JP2019027709
(87)【国際公開番号】W WO2021009804
(87)【国際公開日】2021-01-21
【審査請求日】2021-12-02
【早期審査対象出願】
(73)【特許権者】
【識別番号】391010116
【氏名又は名称】ＥＩＺＯ株式会社
(72)【発明者】
【氏名】加藤 裕
(72)【発明者】
【氏名】東 正史
(72)【発明者】
【氏名】青木 玲央
(72)【発明者】
【氏名】大柿 護
【審査官】井上 香緒梨
(56)【参考文献】
【文献】特開２０１５－１６７８２９（ＪＰ，Ａ）
【文献】特開２０１６－２０６６９３（ＪＰ，Ａ）
【文献】特開２００２－５１９８７（ＪＰ，Ａ）
【文献】特開平６－１９５５１１（ＪＰ，Ａ）
【文献】特開２０１９－６３５０４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ６／００－６／１４
(57)【特許請求の範囲】
【請求項1】
マンモグラフィ画像中の画素に適用される閾値の学習方法であって、取得ステップと、学習ステップとを備え、
前記取得ステップでは、前記マンモグラフィ画像を取得し、
前記学習ステップでは、前記マンモグラフィ画像と乳腺画素推定閾値との関係を学習し、
前記乳腺画素推定閾値は、前記マンモグラフィ画像の乳腺領域の各画素の乳腺画素面積を算出するときに用いられる閾値であり、
前記乳腺画素面積は、前記マンモグラフィ画像の画素の乳腺画素らしさの度合いを示す値である、方法。
【請求項2】
請求項１に記載の方法であって、乳腺密度取得ステップを更に備え、
前記取得ステップでは、前記乳腺領域の正解乳腺密度を更に取得し、
前記乳腺密度取得ステップでは、前記マンモグラフィ画像と、前記乳腺画素推定閾値とに基づいて前記乳腺領域の算出乳腺密度を取得し、
前記学習ステップでは、前記正解乳腺密度と、前記算出乳腺密度又は前記学習ステップにおいて出力される前記乳腺画素推定閾値とに基づいて前記関係を学習する、方法。
【請求項3】
請求項２に記載の方法であって、前記学習ステップでは、前記マンモグラフィ画像と、乳腺画素推定傾きとの関係を更に学習し、
前記乳腺画素推定閾値は、予め定められている閾値関数の閾値であり、
前記乳腺画素推定傾きは、前記閾値関数の前記乳腺画素推定閾値における傾きであり、
前記閾値関数は、前記乳腺領域の各画素の画素値と、当該各画素の前記乳腺画素面積とが関連付けられた関数であり、
前記乳腺密度取得ステップでは、前記閾値関数と前記乳腺画素推定閾値と前記乳腺画素推定傾きとに基づいて、前記乳腺領域の各画素の前記乳腺画素面積を算出し、前記乳腺画素面積の総和に基づいて前記算出乳腺密度を取得する、方法。
【請求項4】
請求項１～請求項３の何れか１つに記載の方法であって、ヒストグラム生成ステップを更に備え、
前記ヒストグラム生成ステップでは、第１～第３ヒストグラムが生成され、
第１ヒストグラムは、前記マンモグラフィ画像の各画素の画素値のヒストグラムであり、
第２ヒストグラムは、前記乳腺領域の各画素の画素値のヒストグラムであり、
第３ヒストグラムは、前記マンモグラフィ画像の各画素の乳腺領域確率のヒストグラムであり、
前記乳腺領域確率は、前記マンモグラフィ画像中の各画素が前記乳腺領域である確率を示し、
前記学習ステップでは、第１～第３ヒストグラムと、前記乳腺画素推定閾値との前記関係を学習する、方法。
【請求項5】
請求項１～請求項４の何れか１つに記載の方法であって、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、方法。
【請求項6】
マンモグラフィ画像中の画素に適用される閾値の学習方法であって、取得ステップと、学習ステップとを備え、
前記取得ステップでは、前記マンモグラフィ画像を取得し、
前記学習ステップでは、前記マンモグラフィ画像と乳腺領域推定閾値との関係を学習し、
前記乳腺領域推定閾値は、前記マンモグラフィ画像の乳腺領域の各画素の乳腺領域面積を算出するときに用いられる閾値であり、
前記乳腺領域面積は、前記マンモグラフィ画像の画素が前記乳腺領域を構成するか否かの度合いを示す値である、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マンモグラフィ画像中の画素に適用される閾値の学習方法に関する。
【背景技術】
【0002】
乳がん検診は基本的にはマンモグラフィ画像により石灰化や腫瘤等の判定を行っている。しかし、乳房内の乳腺の密度が高い場合、石灰化物等を精度良く判断できないことがある（日本人や若年層に多い）。この場合、乳腺の影響を受けにくい超音波による検査を並行することで、費用は高くなるがより精度の高い検診が行われる。そこで読影医はマンモグラフィ画像から検査対象者の乳腺密度が高いと判断すると超音波診断を行うように誘導している。このとき、「乳腺密度が高い」とする明確な判断基準はなく、各読影医によりばらばらなのが現状であり、課題となっている。
【0003】
例えば、乳腺割合に基づいて乳腺密度を算出する技術が提案されている（例えば、特許文献１）。特許文献１において、乳腺割合は、乳腺領域の面積を乳房領域の面積で除算することにより算出される。また、乳腺領域は、乳房領域中の画素のうち画素値が閾値以上の画素からなる領域である。このように、乳腺密度は、例えば、マンモグラフィ画像の画素に閾値処理を実施することで算出可能である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－１５８９６３号
【非特許文献】
【0005】
【文献】Fully Convolutional Networks for Semantic Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 39, Issue: 4, April 1 2017 )
【発明の概要】
【発明が解決しようとする課題】
【0006】
例えば乳腺密度や乳腺密度を算出する過程で算出される各種の値の算出精度向上の観点から、例えば特許文献１のような閾値処理で用いられる閾値は、より客観的な方法で取得されることが望ましい。
【0007】
本発明はこのような事情に鑑みてなされたものであり、マンモグラフィ画像中の画素に適用される閾値をより客観的に提供することができる、閾値の学習方法を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明によれば、マンモグラフィ画像中の画素に適用される閾値の学習方法であって、取得ステップと、学習ステップとを備え、前記取得ステップでは、前記マンモグラフィ画像を取得し、前記学習ステップでは、前記マンモグラフィ画像と乳腺画素推定閾値との関係を学習し、前記乳腺画素推定閾値は、前記マンモグラフィ画像の乳腺領域の各画素の乳腺画素面積を算出するときに用いられる閾値であり、前記乳腺画素面積は、前記マンモグラフィ画像の画素の乳腺画素らしさの度合いを示す値である、方法が提供される。
【0009】
本発明では、学習ステップにおいてマンモグラフィ画像と乳腺画素推定閾値との関係を学習するので、より客観的な乳腺画素推定閾値を提供することができる。
【0010】
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、乳腺密度取得ステップを更に備え、前記取得ステップでは、前記乳腺領域の正解乳腺密度を更に取得し、前記乳腺密度取得ステップでは、前記マンモグラフィ画像と、前記乳腺画素推定閾値とに基づいて前記乳腺領域の算出乳腺密度を取得し、前記学習ステップでは、前記正解乳腺密度と前記算出乳腺密度とに基づいて前記関係を学習する、方法が提供される。
好ましくは、前記学習ステップでは、前記マンモグラフィ画像と、乳腺画素推定傾きとの関係を更に学習し、前記乳腺画素推定閾値は、予め定められている閾値関数の閾値であり、前記乳腺画素推定傾きは、前記閾値関数の前記乳腺画素推定閾値における傾きであり、前記閾値関数は、前記乳腺領域の各画素の画素値と、当該各画素の前記乳腺画素面積とが関連付けられた関数であり、前記乳腺密度取得ステップでは、前記閾値関数と前記乳腺画素推定閾値と前記乳腺画素推定傾きとに基づいて、前記乳腺領域の各画素の前記乳腺画素面積を算出し、前記乳腺画素面積の総和に基づいて前記算出乳腺密度を取得する、方法が提供される。
好ましくは、ヒストグラム生成ステップを更に備え、前記ヒストグラム生成ステップでは、第１～第３ヒストグラムが生成され、第１ヒストグラムは、前記マンモグラフィ画像の各画素の画素値のヒストグラムであり、第２ヒストグラムは、前記乳腺領域の各画素の画素値のヒストグラムであり、第３ヒストグラムは、前記マンモグラフィ画像の各画素の乳腺領域確率のヒストグラムであり、前記乳腺領域確率は、前記マンモグラフィ画像中の各画素が乳腺領域である確率を示し、前記学習ステップでは、第１～第３ヒストグラムと、前記乳腺画素推定閾値との前記関係を学習する、方法が提供される。
好ましくは、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、方法が提供される。
本発明の実施形態の別の観点によれば、マンモグラフィ画像中の画素に適用される閾値の学習方法であって、取得ステップと、学習ステップとを備え、前記取得ステップでは、前記マンモグラフィ画像を取得し、前記学習ステップでは、前記マンモグラフィ画像と乳腺領域推定閾値との関係を学習し、前記乳腺領域推定閾値は、前記マンモグラフィ画像の乳腺領域の各画素の乳腺領域面積を算出するときに用いられる閾値であり、前記乳腺領域面積は、前記マンモグラフィ画像の画素が乳腺領域を構成するか否かの度合いを示す値である、方法が提供される。
好ましくは、乳腺密度取得ステップを更に備え、前記取得ステップでは、前記乳腺領域の正解乳腺密度を更に取得し、前記乳腺密度取得ステップでは、前記マンモグラフィ画像と、前記乳腺画素推定閾値とに基づいて前記乳腺領域の算出乳腺密度を取得し、前記学習ステップでは、前記正解乳腺密度と前記算出乳腺密度とに基づいて前記関係を学習する、方法が提供される。
好ましくは、前記学習ステップでは、前記マンモグラフィ画像と、乳腺画素推定傾きとの関係を更に学習し、前記乳腺画素推定閾値は、予め定められている閾値関数の閾値であり、前記乳腺画素推定傾きは、前記閾値関数の前記乳腺画素推定閾値における傾きであり、前記閾値関数は、前記乳腺領域の各画素の画素値と、当該各画素の前記乳腺画素面積とが関連付けられた関数であり、前記乳腺密度取得ステップでは、前記閾値関数と前記乳腺画素推定閾値と前記乳腺画素推定傾きとに基づいて、前記乳腺領域の各画素の前記乳腺画素面積を算出し、前記乳腺画素面積の総和に基づいて前記算出乳腺密度を取得する、方法が提供される。
好ましくは、ヒストグラム生成ステップを更に備え、前記ヒストグラム生成ステップでは、第１～第３ヒストグラムが生成され、第１ヒストグラムは、前記マンモグラフィ画像の各画素の画素値のヒストグラムであり、第２ヒストグラムは、前記乳腺領域の各画素の画素値のヒストグラムであり、第３ヒストグラムは、前記マンモグラフィ画像の各画素の乳腺領域確率のヒストグラムであり、前記乳腺領域確率は、前記マンモグラフィ画像中の各画素が乳腺領域である確率を示し、前記学習ステップでは、第１～第３ヒストグラムと、前記乳腺画素推定閾値との前記関係を学習する、方法が提供される。
好ましくは、前記乳腺領域は、前記マンモグラフィ画像に含まれる乳房全体よりも狭い領域である、方法が提供される。
本発明の実施形態の別の観点によれば、マンモグラフィ画像中の画素に適用される閾値の学習方法であって、取得ステップと、学習ステップとを備え、前記取得ステップでは、前記マンモグラフィ画像を取得し、前記学習ステップでは、前記マンモグラフィ画像と乳腺領域推定閾値との関係を学習し、前記乳腺領域推定閾値は、前記マンモグラフィ画像の乳腺領域の各画素の乳腺領域面積を算出するときに用いられる閾値であり、前記乳腺領域面積は、前記マンモグラフィ画像の画素が乳腺領域を構成するか否かの度合いを示す値である、方法が提供される。
【図面の簡単な説明】
【0011】
【図1】第１実施形態の情報処理装置１の構成を示すブロック図であり、学習段階における各種データの流れを示している。
【図3】閾値推定部１１の構成を示すブロック図である。
【図8】確率Ｐと、乳腺領域マップ中の各画素の乳腺画素面積Ｌａとの関係を規定する第１閾値関数（シグモイド関数）の説明図である。
【図9】第１実施形態の変形例１の情報処理装置１の構成を示すブロック図であり、学習段階における各種データの流れを示している。
【図10】第１実施形態の変形例２の閾値推定部１１の構成を示すブロック図である。
【図11】第２実施形態の情報処理装置１の構成を示すブロック図であり、学習段階における各種データの流れを示している。
【図13】第２実施形態の閾値推定部１１の構成及び後処理部８の構成を示すブロック図である。
【図15】確率Ｐと、マンモグラフィ画像中の各画素の乳腺領域面積Ｌｂとの関係を規定する第２閾値関数（シグモイド関数）の説明図である。
【図16】第３実施形態の情報処理装置１の構成を示すブロック図であり、学習段階における各種データの流れを示している。
【図17】第３実施形態の閾値推定部１１の構成及び後処理部８の構成を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
【0013】
１ 第１実施形態
第１実施形態の情報処理装置１は、図１に示すように、乳腺領域抽出部３と、乳腺画素面積算出部４と、乳腺密度算出部５と、閾値推定部１１とを備える。
第１実施形態の情報処理装置１は、図１に示すように、乳腺領域抽出部３と、乳腺画素面積算出部４と、乳腺密度算出部５と、閾値推定部１１とを備える。
【0014】
上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。第１実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
【0015】
１－１ 構成説明
１－１－１ 乳腺領域抽出部３
乳腺領域抽出部３は、図４Ａに示すようなマンモグラフィ画像における乳腺領域Ｒを抽出する。マンモグラフィ画像は、多数の画素で構成されたデジタル画像である。各画素は、輝度値を有する。マンモグラフィ画像には、通常、大胸筋領域Ｇと、乳房領域Ｂが含まれている。大胸筋領域Ｇは、大胸筋に相当する領域であり、乳房領域Ｂは、乳房全体に相当する領域である。乳房領域Ｂには、乳腺領域Ｒが含まれている。乳腺領域Ｒは、乳房領域Ｂよりも狭い領域である。乳腺領域Ｒには、乳腺画素と脂肪画素が含まれている。乳腺画素は、乳腺に相当する画素であり、脂肪画素は、脂肪に相当する画素であり、乳腺領域Ｒ内の、乳腺画素以外の画素である。乳腺領域Ｒは、乳腺画素を大まかに囲った領域である。
１－１－１ 乳腺領域抽出部３
乳腺領域抽出部３は、図４Ａに示すようなマンモグラフィ画像における乳腺領域Ｒを抽出する。マンモグラフィ画像は、多数の画素で構成されたデジタル画像である。各画素は、輝度値を有する。マンモグラフィ画像には、通常、大胸筋領域Ｇと、乳房領域Ｂが含まれている。大胸筋領域Ｇは、大胸筋に相当する領域であり、乳房領域Ｂは、乳房全体に相当する領域である。乳房領域Ｂには、乳腺領域Ｒが含まれている。乳腺領域Ｒは、乳房領域Ｂよりも狭い領域である。乳腺領域Ｒには、乳腺画素と脂肪画素が含まれている。乳腺画素は、乳腺に相当する画素であり、脂肪画素は、脂肪に相当する画素であり、乳腺領域Ｒ内の、乳腺画素以外の画素である。乳腺領域Ｒは、乳腺画素を大まかに囲った領域である。
【0016】
図４Ａでは、図示の便宜上、乳腺領域Ｒを実線で囲んで表示しているが、実際のマンモグラフィ画像では、乳腺領域Ｒを囲む実線は存在しておらず、乳腺に相当する部位が高輝度で表示されている。乳腺に相当する部位は、雲のように境界が不明瞭に分布しており、その境界を一意的に定めることが困難であるので、第１実施形態では、乳腺領域Ｒである確率Ｐに基づいて乳腺領域Ｒを抽出している。なお、大胸筋領域Ｇ、乳房領域Ｂを示す実線も実際のマンモグラフィ画像には存在していない。
【0017】
図１に示すように、乳腺領域抽出部３は、前処理部６と、乳腺領域確率算出部７と、後処理部８を備える。以下、各構成について詳細に説明する。
【0018】
＜前処理部６＞
前処理部６は、マンモグラフィ画像に対して、種々の前処理を行う。前処理は、マンモグラフィ画像を乳腺領域確率算出部７での処理に適した状態にするために行う処理である。前処理済みの画像もマンモグラフィ画像と称する。
前処理部６は、マンモグラフィ画像に対して、種々の前処理を行う。前処理は、マンモグラフィ画像を乳腺領域確率算出部７での処理に適した状態にするために行う処理である。前処理済みの画像もマンモグラフィ画像と称する。
【0019】
前処理部６は、サイズ合わせ部と、ウィンドウレベル調整部と、ノイズ除去部を備える。前処理部６の一部又は全部は、不要な場合には省略可能である。
【0020】
・サイズ合わせ部
サイズ合わせ部は、マンモグラフィ画像のサイズ合わせを行う。マンモグラフィ画像は撮像機材や設定によって解像度が異なる。これは１画素あたりの実サイズ（ｍｍ）が入力画像によって異なるということを表わす。サイズ合わせ部は、１画素あたりのサイズ違いによる検出精度の揺らぎを無くすため、１画素あたり、例えば０．２ｍｍになるようにリサイズを行う。なお、前処理部６の例えば演算量や処理速度に制限がある場合、サイズ合わせ部は、各画像を予め定められた一律の画像サイズにリサイズすることもできる。
サイズ合わせ部は、マンモグラフィ画像のサイズ合わせを行う。マンモグラフィ画像は撮像機材や設定によって解像度が異なる。これは１画素あたりの実サイズ（ｍｍ）が入力画像によって異なるということを表わす。サイズ合わせ部は、１画素あたりのサイズ違いによる検出精度の揺らぎを無くすため、１画素あたり、例えば０．２ｍｍになるようにリサイズを行う。なお、前処理部６の例えば演算量や処理速度に制限がある場合、サイズ合わせ部は、各画像を予め定められた一律の画像サイズにリサイズすることもできる。
【0021】
・ウィンドウレベル調整部
ウィンドウレベル調整部は、マンモグラフィ画像のウィンドウレベル調整を行う。ウィンドウレベル調整とは、幅広いレンジの階調値を持った画像のある特定の階調域のコントラストを向上させる処理である。ウィンドウレベル調整を行うことによってマンモグラフィ画像の視認性を向上させることができる。これによって、乳腺領域Ｒの抽出精度を向上させることができる。
ウィンドウレベル調整部は、マンモグラフィ画像のウィンドウレベル調整を行う。ウィンドウレベル調整とは、幅広いレンジの階調値を持った画像のある特定の階調域のコントラストを向上させる処理である。ウィンドウレベル調整を行うことによってマンモグラフィ画像の視認性を向上させることができる。これによって、乳腺領域Ｒの抽出精度を向上させることができる。
【0022】
・ノイズ除去部
ノイズ除去部は、マンモグラフィ画像のノイズ除去を行う。マンモグラフィ画像の中には、乳腺領域Ｒの抽出精度を低下させるものが存在している場合があり、それをノイズとして除去する。ノイズとしては、人工ラベルや大胸筋領域Ｇが挙げられる。人工ラベルは、人工的に付されたラベルであり、マスク処理によって除去可能である。大胸筋領域Ｇは、公知の領域拡張法によって除去可能である。但し、第１実施形態では、大胸筋領域Ｇが含まれた状態でも乳腺領域Ｒを抽出することが可能であるので、大胸筋領域Ｇをノイズとして扱わなくてもよい。
ノイズ除去部は、マンモグラフィ画像のノイズ除去を行う。マンモグラフィ画像の中には、乳腺領域Ｒの抽出精度を低下させるものが存在している場合があり、それをノイズとして除去する。ノイズとしては、人工ラベルや大胸筋領域Ｇが挙げられる。人工ラベルは、人工的に付されたラベルであり、マスク処理によって除去可能である。大胸筋領域Ｇは、公知の領域拡張法によって除去可能である。但し、第１実施形態では、大胸筋領域Ｇが含まれた状態でも乳腺領域Ｒを抽出することが可能であるので、大胸筋領域Ｇをノイズとして扱わなくてもよい。
【0023】
サイズ合わせ、ウィンドウレベル調整、ノイズ除去を行う順序は、適宜変更可能である。
【0024】
＜乳腺領域確率算出部７＞
乳腺領域確率算出部７は、マンモグラフィ画像中の分割された複数の領域に対し、乳腺領域Ｒである確率Ｐをそれぞれ算出する。具体的には、乳腺領域確率算出部７は、乳腺領域Ｒである確率Ｐが当該領域ごとに特定された確率マップを生成する。第１実施形態において、確率マップの範囲は、マンモグラフィ画像の全域にわたっている。第１実施形態では、サイズ合わせ部がマンモグラフィ画像をリサイズし（第１実施形態では縮小し）、このリサイズされたマンモグラフィ画像が乳腺領域確率算出部７に入力されるため、上述したマンモグラフィ画像中の分割された各領域は、マンモグラフィ画像の各画素よりも粗い。つまり、この各領域の範囲は、マンモグラフィ画像の各画素よりも広い。このように、第１実施形態において、乳腺領域確率算出部７で処理されるマンモグラフィ画像は、マンモグラフィ測定によって取得されたマンモグラフィ画像の縮小画像であってもよい。
乳腺領域確率算出部７は、マンモグラフィ画像中の分割された複数の領域に対し、乳腺領域Ｒである確率Ｐをそれぞれ算出する。具体的には、乳腺領域確率算出部７は、乳腺領域Ｒである確率Ｐが当該領域ごとに特定された確率マップを生成する。第１実施形態において、確率マップの範囲は、マンモグラフィ画像の全域にわたっている。第１実施形態では、サイズ合わせ部がマンモグラフィ画像をリサイズし（第１実施形態では縮小し）、このリサイズされたマンモグラフィ画像が乳腺領域確率算出部７に入力されるため、上述したマンモグラフィ画像中の分割された各領域は、マンモグラフィ画像の各画素よりも粗い。つまり、この各領域の範囲は、マンモグラフィ画像の各画素よりも広い。このように、第１実施形態において、乳腺領域確率算出部７で処理されるマンモグラフィ画像は、マンモグラフィ測定によって取得されたマンモグラフィ画像の縮小画像であってもよい。
【0025】
通常、マンモグラフィ画像において、大胸筋領域Ｇと乳腺領域Ｒ（特に、乳腺画素）の輝度値は、その他の領域に比べて高い（別の表現ではＸ線の透過率が、その他の領域に比べて低い）。大胸筋領域Ｇと乳腺領域Ｒの輝度値は同程度であり、輝度値によって大胸筋領域Ｇと乳腺領域Ｒを区別することは困難である。そこで、第１実施形態では、マンモグラフィ画像に含まれる各画素が乳腺領域Ｒであるかどうかを示す確率Ｐを算出し、確率Ｐに基づいて乳腺領域Ｒを抽出している。確率Ｐは、大胸筋領域Ｇでは低くなり、乳腺領域Ｒでは高くなるので、確率Ｐに基づいて乳腺領域Ｒを抽出することによって、乳腺領域Ｒの特定の精度を向上させることができる。また、確率Ｐは、マンモグラフィ画像に含まれる大胸筋領域を除去することなく算出可能である。確率Ｐは、例えば０～１の範囲の値で表現され、値が大きいほど、乳腺領域である確率が高くなる。
【0026】
確率Ｐは、マンモグラフィ画像を入力して確率Ｐを出力する学習モデルに基づいて算出することができる。第１実施形態において、乳腺領域確率算出部７の学習モデル（機械学習モデル）には、畳み込みニューラルネットワークの一種である完全畳み込みネットワーク FCN (Fully Convolutional Network)を採用することができる。ＦＣＮの詳細は、非特許文献１に開示されている。なお、第１実施形態では、乳腺領域確率算出部７の学習は完了している。ここで、図１に示す閾値推定部１１は学習段階にあり、それに対し、図１に示す乳腺領域確率算出部７の学習は既に完了している。換言すると、閾値推定部１１のニューラルネットワークのフィルタの重み係数は確定しておらず適宜更新され、乳腺領域確率算出部７のニューラルネットワークのフィルタの重み係数は既に確定している。
【0027】
＜後処理部８＞
後処理部８は、確率Ｐに基づいて乳腺領域Ｒを抽出する。後処理部８は、候補画素抽出部９と、領域形成部１０を備える。
後処理部８は、確率Ｐに基づいて乳腺領域Ｒを抽出する。後処理部８は、候補画素抽出部９と、領域形成部１０を備える。
【0028】
・候補画素抽出部９
候補画素抽出部９は、確率Ｐが乳腺領域推定閾値Ｔｈ２を超える画素を候補画素として抽出して候補画素マップを生成し、出力する。第１実施形態において、乳腺領域推定閾値Ｔｈ２は、予め定められた値である。乳腺領域推定閾値Ｔｈ２は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。候補画素マップは、確率マップの画素と対応した画素を有する。候補画素マップでは、確率Ｐが乳腺領域推定閾値Ｔｈ２以上の画素の値が例えば１で、乳腺領域推定閾値Ｔｈ２未満の画素の値が例えば０となる。
候補画素抽出部９は、確率Ｐが乳腺領域推定閾値Ｔｈ２を超える画素を候補画素として抽出して候補画素マップを生成し、出力する。第１実施形態において、乳腺領域推定閾値Ｔｈ２は、予め定められた値である。乳腺領域推定閾値Ｔｈ２は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。候補画素マップは、確率マップの画素と対応した画素を有する。候補画素マップでは、確率Ｐが乳腺領域推定閾値Ｔｈ２以上の画素の値が例えば１で、乳腺領域推定閾値Ｔｈ２未満の画素の値が例えば０となる。
【0029】
候補画素マップの一例を図５Ａに示す。候補画素を黒点で示す。大胸筋領域Ｇ、乳腺領域Ｒ、乳房領域Ｂの境界を参考のために点線で示す。候補画素マップでは、乳腺領域Ｒに対応する領域において多数の候補画素が抽出されており、大胸筋領域Ｇに対応する領域にも小数の候補画素が抽出されている。乳腺領域Ｒに対応する領域には多数の候補画素が集中しているが、候補画素の間には、欠損領域（図５Ａの乳腺領域Ｒ内の白い領域）が存在している。従って、このままでは一塊の乳腺領域Ｒとなっているといえない。
【0030】
・領域形成部１０
領域形成部１０は、候補画素マップに対してノイズ除去及び欠損領域穴埋めを行って乳腺領域Ｒを形成する。
領域形成部１０は、候補画素マップに対してノイズ除去及び欠損領域穴埋めを行って乳腺領域Ｒを形成する。
【0031】
具体的には、大胸筋領域Ｇに対応する領域の候補画素はノイズであるとしてマスク処理等によって除去する。また、乳腺領域Ｒに対応する領域については欠損領域穴埋めを行って乳腺領域Ｒを形成する。欠損領域穴埋めは、例えば、列及び行それぞれの始点・終点の間を穴埋めすることによって行うことができる。これによって、図５Ｂに示すような乳腺領域マップが得られる。乳腺領域Ｒは、候補画素が集中している領域に形成されるので、欠損領域穴埋め工程では、候補画素が集中している領域から離れている候補画素をノイズとして無視することが好ましい。例えば、列又は行の始点を検出しても、その後に非候補画素が所定数以上連続した場合には、検出した始点を破棄して新たな始点を探すようにしてもよい。
【0032】
なお、マンモグラフィ画像から大胸筋領域Ｇを予め除去した場合にも、ノイズ除去工程は省略可能である。さらに、欠損領域穴埋め工程において、候補画素が集中している領域から離れている候補画素を無視することによって、大胸筋領域Ｇや、大胸筋領域Ｇ外であって候補画素が集中している領域以外に存在する候補画素を除外することができる。従って、ノイズ除去工程を別途行わずに、欠損領域穴埋め工程において、乳腺領域Ｒを形成することも可能である。
【0033】
１－１－２ 乳腺画素面積算出部４
乳腺画素面積算出部４は、図７Ｂに示すような乳腺画素面積マップを生成する。乳腺画素面積マップは、乳腺領域Ｒ中の各画素に対して乳腺画素面積Ｌａが算出されているマップである。乳腺画素面積Ｌａは、画素の乳腺画素らしさの度合いを示す値である。
乳腺画素面積算出部４は、図７Ｂに示すような乳腺画素面積マップを生成する。乳腺画素面積マップは、乳腺領域Ｒ中の各画素に対して乳腺画素面積Ｌａが算出されているマップである。乳腺画素面積Ｌａは、画素の乳腺画素らしさの度合いを示す値である。
【0034】
乳腺画素面積算出部４は、マンモグラフィ画像に対し、後処理部８の領域形成部１０から取得した乳腺領域マップを適用する。これにより、乳腺画素面積算出部４は、マンモグラフィ画像の画素のうち乳腺領域Ｒ中の画素を抽出する。なお、図６Ａには、乳腺領域Ｒを模式的に示し、図６Ｂには、乳腺領域Ｒ中の画素を模式的に示している。
【0035】
乳腺画素面積算出部４は、当該抽出した画素（乳腺領域Ｒ中の画素）に対し、第１画素面積算出処理を実施する。第１画素面積算出処理は、マンモグラフィ画像の乳腺領域Ｒ中の画素の画素値Ｐｖに基づいて、乳腺画素面積Ｌａを算出する処理である。なお、図７Ａでは、当該抽出した各画素の画素値Ｐｖを模式的に示している。また、図７Ｂには、乳腺画素面積Ｌａが算出された（第１画素面積算出処理が実施された）、乳腺領域Ｒ中の画素を模式的に示している。次に、乳腺画素面積算出部４は第１閾値関数を用いて乳腺画素面積Ｌａを算出する。次に、第１閾値関数や乳腺画素面積Ｌａ等について更に説明する。
【0036】
（第１閾値関数）
乳腺画素面積算出部４がマンモグラフィ画像中の画素の画素値Ｐｖに基づいて乳腺画素面積Ｌａを算出するにあたり、乳腺画素面積算出部４は図８に示す第１閾値関数を用いている。第１閾値関数は、乳腺領域Ｒの各画素の画素値Ｐｖと、乳腺領域Ｒの各画素の乳腺画素面積と、が関連付けられた関数である。また、第１閾値関数は、乳腺画素推定閾値Ｔｈ１で急激に立ち上がる関数である。つまり、第１閾値関数において、乳腺画素推定閾値Ｔｈ１より小さい画素値Ｐｖの範囲では乳腺画素面積Ｌａは０又は０に近い値となり、乳腺画素推定閾値Ｔｈ１より大きい画素値Ｐｖの範囲では乳腺画素面積Ｌａは１又は１に近い値となる。このように、乳腺画素推定閾値Ｔｈ１は、第１閾値関数における閾値である。第１実施形態の第１閾値関数（シグモイド関数）は図８に示すような式で表され、第１実施形態の第１閾値関数（シグモイド関数）は乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が定められることで曲線形状が決定される。乳腺画素推定傾きａ１は、第１閾値関数の画素値Ｐｖが乳腺画素推定閾値Ｔｈ１のときにおける第１閾値関数の傾きに相当する。
なお、第１実施形態において、第１閾値関数はシグモイド関数であるが、その他の関数も採用可能である。例えば、第１閾値関数には、関数値が０から１になるような連続関数を採用可能である。具体的には、第１閾値関数にはf(x)=(tanh(x)+1)/2を採用可能である。
乳腺画素面積算出部４がマンモグラフィ画像中の画素の画素値Ｐｖに基づいて乳腺画素面積Ｌａを算出するにあたり、乳腺画素面積算出部４は図８に示す第１閾値関数を用いている。第１閾値関数は、乳腺領域Ｒの各画素の画素値Ｐｖと、乳腺領域Ｒの各画素の乳腺画素面積と、が関連付けられた関数である。また、第１閾値関数は、乳腺画素推定閾値Ｔｈ１で急激に立ち上がる関数である。つまり、第１閾値関数において、乳腺画素推定閾値Ｔｈ１より小さい画素値Ｐｖの範囲では乳腺画素面積Ｌａは０又は０に近い値となり、乳腺画素推定閾値Ｔｈ１より大きい画素値Ｐｖの範囲では乳腺画素面積Ｌａは１又は１に近い値となる。このように、乳腺画素推定閾値Ｔｈ１は、第１閾値関数における閾値である。第１実施形態の第１閾値関数（シグモイド関数）は図８に示すような式で表され、第１実施形態の第１閾値関数（シグモイド関数）は乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が定められることで曲線形状が決定される。乳腺画素推定傾きａ１は、第１閾値関数の画素値Ｐｖが乳腺画素推定閾値Ｔｈ１のときにおける第１閾値関数の傾きに相当する。
なお、第１実施形態において、第１閾値関数はシグモイド関数であるが、その他の関数も採用可能である。例えば、第１閾値関数には、関数値が０から１になるような連続関数を採用可能である。具体的には、第１閾値関数にはf(x)=(tanh(x)+1)/2を採用可能である。
【0037】
（出力：乳腺画素面積Ｌａ）
乳腺画素面積Ｌａは、上述したように、乳腺画素らしさの度合いを示す値である。例えば、任意の画素の乳腺画素面積Ｌａが１である場合には、当該任意の画素は乳腺画素そのものであるとみなすことができ、また、任意の画素の乳腺画素面積Ｌａが０である場合には当該任意の画素は乳腺画素ではないとみなすことができる。加えて、乳腺画素面積Ｌａは、０より大きく１より小さい中間的な値もとり得る。
つまり、乳腺画素面積算出部４は、マンモグラフィ画像中の画素が、乳腺画素である又は乳腺画素ではない、といったいずれか一方の画素に該当するか否かを判定しているわけではない。換言すると、乳腺画素面積Ｌａは、任意の画素が乳腺画素であるか、それとも、乳腺画素でないか、を明確に切り分けるための値ではない。
実施形態では、乳腺画素面積Ｌａは、任意の画素に対して算出されるのではなく、乳腺領域Ｒ中の画素に対して算出される。つまり、乳腺画素面積算出部４は、マンモグラフィ画像の乳腺領域Ｒ中の画素の画素値Ｐｖに基づいて乳腺領域Ｒ中の乳腺画素面積Ｌａを算出する。
乳腺画素面積Ｌａは、上述したように、乳腺画素らしさの度合いを示す値である。例えば、任意の画素の乳腺画素面積Ｌａが１である場合には、当該任意の画素は乳腺画素そのものであるとみなすことができ、また、任意の画素の乳腺画素面積Ｌａが０である場合には当該任意の画素は乳腺画素ではないとみなすことができる。加えて、乳腺画素面積Ｌａは、０より大きく１より小さい中間的な値もとり得る。
つまり、乳腺画素面積算出部４は、マンモグラフィ画像中の画素が、乳腺画素である又は乳腺画素ではない、といったいずれか一方の画素に該当するか否かを判定しているわけではない。換言すると、乳腺画素面積Ｌａは、任意の画素が乳腺画素であるか、それとも、乳腺画素でないか、を明確に切り分けるための値ではない。
実施形態では、乳腺画素面積Ｌａは、任意の画素に対して算出されるのではなく、乳腺領域Ｒ中の画素に対して算出される。つまり、乳腺画素面積算出部４は、マンモグラフィ画像の乳腺領域Ｒ中の画素の画素値Ｐｖに基づいて乳腺領域Ｒ中の乳腺画素面積Ｌａを算出する。
【0038】
なお、乳腺画素面積算出部４は、確率マップの各領域に対してそれぞれ乳腺画素面積Ｌａを算出した乳腺画素面積マップを生成することも可能であるが、第１実施形態では、乳腺画素面積算出部４は、マンモグラフィ画像の各画素に対してそれぞれ乳腺画素面積Ｌａを算出した乳腺画素面積マップを生成している。そして、マンモグラフィ画像の各画素は、確率マップに係る各領域よりもきめが細かい。このため、乳腺画素面積算出部４は、よりきめ細やかな乳腺画素面積マップを生成することが可能となっている。
【0039】
（入力：乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１）
乳腺画素面積算出部４は、閾値推定部１１から乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を受け取る。そして、乳腺画素面積算出部４は、乳腺領域Ｒ中の画素の画素値Ｐｖと、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が代入された第１閾値関数と、に基づいて、乳腺領域Ｒ中の画素の乳腺画素面積Ｌａを算出する。なお、第１実施形態では、乳腺画素推定傾きａ１が閾値推定部１１で算出され、この算出された乳腺画素推定傾きａ１を乳腺画素面積算出部４が受け取る場合を例に説明するが、これに限定されるものではない。例えば、乳腺画素推定傾きａ１は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
乳腺画素面積算出部４は、閾値推定部１１から乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を受け取る。そして、乳腺画素面積算出部４は、乳腺領域Ｒ中の画素の画素値Ｐｖと、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が代入された第１閾値関数と、に基づいて、乳腺領域Ｒ中の画素の乳腺画素面積Ｌａを算出する。なお、第１実施形態では、乳腺画素推定傾きａ１が閾値推定部１１で算出され、この算出された乳腺画素推定傾きａ１を乳腺画素面積算出部４が受け取る場合を例に説明するが、これに限定されるものではない。例えば、乳腺画素推定傾きａ１は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
【0040】
１－１－３ 乳腺密度算出部５
乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和に基づいて乳腺密度を算出する。より具体的には、乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和と、乳腺領域Ｒ中の全ての画素数とを算出し、以下の式に基づいて、乳腺密度を算出する。
乳腺密度（％）＝１００×（乳腺画素面積Ｌａの総和）／（乳腺領域総画素数）
なお、乳腺密度算出部５が算出する乳腺密度が、算出乳腺密度に対応する。
乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和に基づいて乳腺密度を算出する。より具体的には、乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和と、乳腺領域Ｒ中の全ての画素数とを算出し、以下の式に基づいて、乳腺密度を算出する。
乳腺密度（％）＝１００×（乳腺画素面積Ｌａの総和）／（乳腺領域総画素数）
なお、乳腺密度算出部５が算出する乳腺密度が、算出乳腺密度に対応する。
【0041】
学習段階において、乳腺密度算出部５で算出された乳腺密度は、乳腺密度算出部５から閾値推定部１１に出力され、閾値推定部１１のニューラルネットワークのフィルタの重み係数を調整するために用いられる。運用段階において、乳腺密度算出部５で算出された乳腺密度は、超音波による検査の要否を適切に判断可能な情報として活用される。このようにして算出された乳腺密度は、狭い領域に高密度の乳腺領域が存在している場合には高い値になる。従って、狭い領域に高密度の乳腺領域が存在している場合であっても、第１実施形態に係る情報処理装置１は超音波による検査の要否を適切に判断可能な情報を提供することができる。算出された乳腺密度は、情報処理装置１の表示部に表示させたり、情報処理装置１から外部機器に出力したりして利用可能である。
【0042】
１－１－４ 閾値推定部１１
閾値推定部１１は、学習段階及び運用段階において、マンモグラフィ画像等に基づいて乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１（図８参照）を算出する機能を有する。閾値推定部１１は、図３に示すように、画像生成部１２と、ヒストグラム生成部１３と、推定閾値算出部１４と、誤差算出部１５とを備えている。
閾値推定部１１は、学習段階及び運用段階において、マンモグラフィ画像等に基づいて乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１（図８参照）を算出する機能を有する。閾値推定部１１は、図３に示すように、画像生成部１２と、ヒストグラム生成部１３と、推定閾値算出部１４と、誤差算出部１５とを備えている。
【0043】
＜画像生成部１２＞
画像生成部１２は、マンモグラフィ画像に基づいて乳腺領域マンモグラフィ画像を生成する。図４Ｂに示す乳腺領域マンモグラフィ画像は、マンモグラフィ画像のうち乳腺領域Ｒの画素から構成される。画像生成部１２は、乳腺領域マップと、マンモグラフィ画像とに基づいて、乳腺領域マンモグラフィ画像を生成することができる。
画像生成部１２は、マンモグラフィ画像に基づいて乳腺領域マンモグラフィ画像を生成する。図４Ｂに示す乳腺領域マンモグラフィ画像は、マンモグラフィ画像のうち乳腺領域Ｒの画素から構成される。画像生成部１２は、乳腺領域マップと、マンモグラフィ画像とに基づいて、乳腺領域マンモグラフィ画像を生成することができる。
【0044】
＜ヒストグラム生成部１３＞
ヒストグラム生成部１３は、第１～第３ヒストグラムを生成する。具体的には、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１ヒストグラムを生成し、画像生成部１２で生成される乳腺領域マンモグラフィ画像に基づいて第２ヒストグラムを生成し、乳腺領域確率算出部７で生成される確率マップに基づいて第３ヒストグラムを生成する。
ヒストグラム生成部１３は、第１～第３ヒストグラムを生成する。具体的には、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１ヒストグラムを生成し、画像生成部１２で生成される乳腺領域マンモグラフィ画像に基づいて第２ヒストグラムを生成し、乳腺領域確率算出部７で生成される確率マップに基づいて第３ヒストグラムを生成する。
【0045】
第１ヒストグラムは、マンモグラフィ画像中の各画素の画素値のヒストグラムである。第１ヒストグラムでは、画素値又は画素値の範囲が複数予め定められており、当該予め定められた画素値又は画素値の範囲に属する画素の数が特定される。
第２ヒストグラムは、画像生成部１２で生成される乳腺領域マンモグラフィ画像中の各画素の画素値のヒストグラムである。第２ヒストグラムでは、画素値又は画素値の範囲が複数予め定められており、当該予め定められた画素値又は画素値の範囲に属する画素の数が特定される。
第３ヒストグラムは、マンモグラフィ画像中の各画素の確率Ｐのヒストグラムである。第３ヒストグラムでは、確率Ｐ又は確率Ｐの範囲が複数予め定められており、当該予め定められた確率Ｐ又は確率Ｐの範囲に属する画素の数が特定される。
第２ヒストグラムは、画像生成部１２で生成される乳腺領域マンモグラフィ画像中の各画素の画素値のヒストグラムである。第２ヒストグラムでは、画素値又は画素値の範囲が複数予め定められており、当該予め定められた画素値又は画素値の範囲に属する画素の数が特定される。
第３ヒストグラムは、マンモグラフィ画像中の各画素の確率Ｐのヒストグラムである。第３ヒストグラムでは、確率Ｐ又は確率Ｐの範囲が複数予め定められており、当該予め定められた確率Ｐ又は確率Ｐの範囲に属する画素の数が特定される。
【0046】
＜推定閾値算出部１４＞
学習段階において、推定閾値算出部１４は、マンモグラフィ画像と、第１閾値関数に関する値（乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１）との関係を学習する機能を有する。第１実施形態では、推定閾値算出部１４は、学習にあたり、マンモグラフィ画像に加え、マンモグラフィ画像から生成される確率マップと、マンモグラフィ画像から生成される乳腺領域マンモグラフィ画像と、を用いる。
学習段階において、推定閾値算出部１４は、マンモグラフィ画像と、第１閾値関数に関する値（乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１）との関係を学習する機能を有する。第１実施形態では、推定閾値算出部１４は、学習にあたり、マンモグラフィ画像に加え、マンモグラフィ画像から生成される確率マップと、マンモグラフィ画像から生成される乳腺領域マンモグラフィ画像と、を用いる。
【0047】
推定閾値算出部１４はニューラルネットワークを有しており、推定閾値算出部１４はマンモグラフィ画像が入力されると、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を出力する学習モデルに基づいて学習をする。また、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数は、誤差算出部１５で算出される誤差に基づいて適宜更新される。具体的には、図１に示すように、推定閾値算出部１４が乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を出力すると、次に、乳腺画素面積算出部４が第１閾値関数に基づいて乳腺領域Ｒの各画素の乳腺画素面積Ｌａを算出して乳腺画素面積マップを生成する。そして、乳腺密度算出部５が乳腺画素面積マップに基づいて乳腺密度を算出する。この算出された乳腺密度は、閾値推定部１１に出力され、後述する正解密度データと比較される。そして、推定閾値算出部１４は、乳腺密度算出部５が算出した乳腺密度と、正解密度データとの差（誤差）を、誤差算出部１５から受け取る。これにより、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数が、この誤差に基づいて適宜更新される。
【0048】
第１実施形態において、推定閾値算出部１４には画像データが入力されるわけではなく、第１～第３ヒストグラムが入力される。このため、推定閾値算出部１４のニューラルネットワークは演算負荷が抑制されている。
【0049】
＜誤差算出部１５＞
誤差算出部１５は、図１及び図３に示すように、情報処理装置１に入力される正解密度データ（正解乳腺密度）と、乳腺密度算出部５が算出する乳腺密度とを比較する。つまり、誤差算出部１５は、正解密度と算出された乳腺密度との差（誤差）を算出する。ここで、正解密度データは、医師等によって乳腺密度が判断された正解データである。つまり、正解密度データは、医師等が対応するマンモグラフィ画像を目視することで算出された乳腺密度の値である。誤差算出部１５は、算出した差（誤差）を、推定閾値算出部１４に出力する。
誤差算出部１５は、図１及び図３に示すように、情報処理装置１に入力される正解密度データ（正解乳腺密度）と、乳腺密度算出部５が算出する乳腺密度とを比較する。つまり、誤差算出部１５は、正解密度と算出された乳腺密度との差（誤差）を算出する。ここで、正解密度データは、医師等によって乳腺密度が判断された正解データである。つまり、正解密度データは、医師等が対応するマンモグラフィ画像を目視することで算出された乳腺密度の値である。誤差算出部１５は、算出した差（誤差）を、推定閾値算出部１４に出力する。
【0050】
１－２ 動作説明
１－２－１ 学習段階
乳腺画素推定閾値Ｔｈ１の学習段階における動作について図１及び図３を参照して説明する。
第１実施形態の学習方法は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、学習ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
１－２－１ 学習段階
乳腺画素推定閾値Ｔｈ１の学習段階における動作について図１及び図３を参照して説明する。
第１実施形態の学習方法は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、学習ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
【0051】
取得ステップにおいて、情報処理装置１はマンモグラフィ画像を取得する。取得ステップにおいて、乳腺領域抽出部３、乳腺画素面積算出部４及び閾値推定部１１がマンモグラフィ画像を受け取る。また、取得ステップにおいて、情報処理装置１は正解密度データを取得する。更に、取得ステップにおいて、誤差算出部１５が正解密度データを受け取る。
【0052】
確率マップ生成ステップにおいて、乳腺領域確率算出部７は、前処理がなされたマンモグラフィ画像に基づいて確率マップを生成する。乳腺領域確率算出部７は、確率マップを、後処理部８及び閾値推定部１１に出力する。
乳腺領域抽出ステップにおいて、候補画素抽出部９は、確率マップに基づいて候補画素マップを生成し、領域形成部１０は候補画素マップに基づいて乳腺領域マップを生成する。領域形成部１０は、乳腺領域マップを、乳腺画素面積算出部４及び閾値推定部１１に出力する。
乳腺領域抽出ステップにおいて、候補画素抽出部９は、確率マップに基づいて候補画素マップを生成し、領域形成部１０は候補画素マップに基づいて乳腺領域マップを生成する。領域形成部１０は、乳腺領域マップを、乳腺画素面積算出部４及び閾値推定部１１に出力する。
【0053】
画像生成ステップにおいて、画像生成部１２は、取得ステップで取得したマンモグラフィ画像に基づいて乳腺領域マンモグラフィ画像を生成する。
ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１～第３ヒストグラムを生成する。より具体的には、ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、取得ステップで取得したマンモグラフィ画像と、画像生成ステップで生成した乳腺領域マンモグラフィ画像と、確率マップ生成ステップで生成した確率マップとに基づいて、第１～第３ヒストグラムを生成する。ヒストグラム生成部１３は、第１～第３ヒストグラムを推定閾値算出部１４に出力する。
ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１～第３ヒストグラムを生成する。より具体的には、ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、取得ステップで取得したマンモグラフィ画像と、画像生成ステップで生成した乳腺領域マンモグラフィ画像と、確率マップ生成ステップで生成した確率マップとに基づいて、第１～第３ヒストグラムを生成する。ヒストグラム生成部１３は、第１～第３ヒストグラムを推定閾値算出部１４に出力する。
【0054】
学習ステップにおいて、推定閾値算出部１４は、マンモグラフィ画像と乳腺画素推定閾値Ｔｈ１との関係を学習する。なお、第１実施形態では乳腺画素推定傾きａ１も学習対象であるため、より具体的には、推定閾値算出部１４は、マンモグラフィ画像と乳腺画素推定閾値Ｔｈ１との関係、及び、マンモグラフィ画像と乳腺画素推定傾きａ１との関係を学習している。
第１実施形態において、推定閾値算出部１４のニューラルネットワークは、演算負荷抑制の観点から、マンモグラフィ画像そのものを処理する構成ではなく、ヒストグラムを処理する構成である。つまり、推定閾値算出部１４は、ヒストグラム生成ステップで生成された第１～第３ヒストグラムと、乳腺画素推定閾値Ｔｈ１等との関係を学習する。
第１実施形態において、推定閾値算出部１４のニューラルネットワークは、演算負荷抑制の観点から、マンモグラフィ画像そのものを処理する構成ではなく、ヒストグラムを処理する構成である。つまり、推定閾値算出部１４は、ヒストグラム生成ステップで生成された第１～第３ヒストグラムと、乳腺画素推定閾値Ｔｈ１等との関係を学習する。
【0055】
また、学習ステップにおいて、推定閾値算出部１４には、誤差算出部１５で算出される誤差が入力される。この誤差は、後述する乳腺密度取得ステップで取得される乳腺密度と、正解密度データとの差に相当する。これにより、推定閾値算出部１４のフィルタの重み係数が適宜更新され、推定閾値算出部１４の出力（乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１）の精度が上昇する。つまり、情報処理装置１が算出する乳腺密度は乳腺画素推定閾値Ｔｈ１等に基づいて算出され、情報処理装置１が算出する乳腺密度が正解データとしての正解密度データと比較され、推定閾値算出部１４のフィルタの重み係数が適宜更新される。このように、学習ステップでは、推定閾値算出部１４がマンモグラフィ画像と乳腺画素推定閾値Ｔｈ１との関係を学習していき、より客観的な乳腺画素推定閾値Ｔｈ１を算出できるようになっていく。
【0056】
乳腺画素面積マップ生成ステップにおいて、乳腺画素面積算出部４は、取得ステップで取得したマンモグラフィ画像と、学習ステップで算出された乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１とに基づいて、乳腺画素面積マップを生成する。
乳腺密度取得ステップにおいて、乳腺密度算出部５は、乳腺画素面積マップに基づいて、乳腺密度を取得する。乳腺密度算出部５は、算出した乳腺密度を閾値推定部１１の誤差算出部１５に出力する。
乳腺密度取得ステップにおいて、乳腺密度算出部５は、乳腺画素面積マップに基づいて、乳腺密度を取得する。乳腺密度算出部５は、算出した乳腺密度を閾値推定部１１の誤差算出部１５に出力する。
【0057】
１－２－２ 運用段階
運用段階における動作について図２に基づいて説明する。運用段階における動作は、学習段階における動作と異なる部分を説明する。
運用段階における動作について図２に基づいて説明する。運用段階における動作は、学習段階における動作と異なる部分を説明する。
【0058】
第１実施形態の運用方法（乳腺密度の取得方法）は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、閾値・傾き算出ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
確率マップ生成ステップ、乳腺領域抽出ステップ、画像生成ステップ、ヒストグラム生成ステップ、乳腺画素面積マップ生成ステップ及び乳腺密度取得ステップについては、学習段階と同様である。
運用段階の乳腺画素を算出する方法は、学習ステップの代わりに閾値・傾き算出ステップを備えている。
確率マップ生成ステップ、乳腺領域抽出ステップ、画像生成ステップ、ヒストグラム生成ステップ、乳腺画素面積マップ生成ステップ及び乳腺密度取得ステップについては、学習段階と同様である。
運用段階の乳腺画素を算出する方法は、学習ステップの代わりに閾値・傾き算出ステップを備えている。
【0059】
取得ステップにおいて、情報処理装置１は正解密度データを取得しない。
【0060】
運用段階では、推定閾値算出部１４のフィルタの重み係数が確定している。つまり、誤差算出部１５では誤差を算出しないため、推定閾値算出部１４は誤差算出部１５から誤差を取得しない。学習ステップにおいて、推定閾値算出部１４は、第１～第３ヒストグラムが入力されると、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を出力する。
【0061】
運用段階では、情報処理装置１は、乳腺密度取得ステップにおいて取得された乳腺密度を、情報処理装置１の表示部に表示させたり、情報処理装置１から外部機器に出力したりする。
【0062】
１－３ 変形例
１－３－１ 変形例１：複数の機能ブロックが並行学習
実施形態では、閾値推定部１１の学習段階において、乳腺領域確率算出部７が学習を完了している場合を例に説明したが、これに限定されるものではない。図９に示すように、情報処理装置１は、閾値推定部１１及び乳腺領域確率算出部７が並行して学習をするように構成されていてもよい。
１－３－１ 変形例１：複数の機能ブロックが並行学習
実施形態では、閾値推定部１１の学習段階において、乳腺領域確率算出部７が学習を完了している場合を例に説明したが、これに限定されるものではない。図９に示すように、情報処理装置１は、閾値推定部１１及び乳腺領域確率算出部７が並行して学習をするように構成されていてもよい。
【0063】
１－３－２ 変形例２：入力としてヒストグラムを用いない
実施形態では、閾値推定部１１の入力データは、ヒストグラム（第１～第３ヒストグラム）である場合を例に説明したが、これに限定されるものではない。図１０に示すように、閾値推定部１１の入力データは、マンモグラフィ画像と、乳腺領域マンモグラフィ画像と、確率マップとであってもよい。この場合、閾値推定部１１の推定閾値算出部１４の構成には、畳み込みネットワークであるCNN（Convolutional Neural Network）を採用することができる。本変形例２では、実施形態と比較すると、推定閾値算出部１４の演算負荷が増大するが、算出される乳腺画素推定閾値Ｔｈ１等の精度が更に上がり、ひいては、算出される乳腺密度の精度も更に上昇する効果を期待することができる。
実施形態では、閾値推定部１１の入力データは、ヒストグラム（第１～第３ヒストグラム）である場合を例に説明したが、これに限定されるものではない。図１０に示すように、閾値推定部１１の入力データは、マンモグラフィ画像と、乳腺領域マンモグラフィ画像と、確率マップとであってもよい。この場合、閾値推定部１１の推定閾値算出部１４の構成には、畳み込みネットワークであるCNN（Convolutional Neural Network）を採用することができる。本変形例２では、実施形態と比較すると、推定閾値算出部１４の演算負荷が増大するが、算出される乳腺画素推定閾値Ｔｈ１等の精度が更に上がり、ひいては、算出される乳腺密度の精度も更に上昇する効果を期待することができる。
【0064】
１－３－３ 変形例３：正解データとして正解乳腺画素推定閾値を用いる
第１実施形態では、誤差算出部１５が算出乳腺密度と正解乳腺密度（正解密度データ）との誤差を算出し、推定閾値算出部１４がこの誤差に基づいて、マンモグラフィ画像（実施形態では第１～第３ヒストグラム）と、乳腺画素推定閾値との関係を学習する形態であったが、これに限定されるものではない。換言すると、第１実施形態の学習ステップでは、正解乳腺密度と、算出乳腺密度とに基づいて、マンモグラフィ画像と乳腺画素推定閾値との関係を学習する形態であったが、これに限定されるものではない。
誤差算出部１５は、推定閾値算出部１４が算出する乳腺画素推定閾値と、正解乳腺画素推定閾値との誤差を算出し、推定閾値算出部１４は、この誤差に基づいて、マンモグラフィ画像と、乳腺画素想定閾値との関係を学習してもよい。換言すると、学習ステップでは、上述した正解乳腺画素推定閾値の算出に用いる正解乳腺密度と、学習ステップにおいて出力される乳腺画素推定閾値とに基づいて、マンモグラフィ画像と乳腺画素推定閾値との関係を学習してもよい。
第１実施形態では、誤差算出部１５が算出乳腺密度と正解乳腺密度（正解密度データ）との誤差を算出し、推定閾値算出部１４がこの誤差に基づいて、マンモグラフィ画像（実施形態では第１～第３ヒストグラム）と、乳腺画素推定閾値との関係を学習する形態であったが、これに限定されるものではない。換言すると、第１実施形態の学習ステップでは、正解乳腺密度と、算出乳腺密度とに基づいて、マンモグラフィ画像と乳腺画素推定閾値との関係を学習する形態であったが、これに限定されるものではない。
誤差算出部１５は、推定閾値算出部１４が算出する乳腺画素推定閾値と、正解乳腺画素推定閾値との誤差を算出し、推定閾値算出部１４は、この誤差に基づいて、マンモグラフィ画像と、乳腺画素想定閾値との関係を学習してもよい。換言すると、学習ステップでは、上述した正解乳腺画素推定閾値の算出に用いる正解乳腺密度と、学習ステップにおいて出力される乳腺画素推定閾値とに基づいて、マンモグラフィ画像と乳腺画素推定閾値との関係を学習してもよい。
【0065】
例えば、乳腺画素推定傾きａ１が予め定められた値である場合、正解データとしての乳腺密度（正解乳腺密度）が得られていると、その乳腺密度となるような乳腺画素推定閾値を逆算可能である。この逆算される乳腺画素推定閾値は、正解データとしての正解乳腺密度に対応して得られる値であるので、変形例３ではこの逆算される乳腺画素推定閾値を正解乳腺画素推定閾値と称する。
変形例３では、閾値推定部１１が正解データ取得部（不図示）を更に備え、正解データ取得部が正解乳腺密度に基づいて正解乳腺画素推定閾値を逆算して正解乳腺画素推定閾値を取得する。そして、誤差算出部１５は、推定閾値算出部１４が算出する乳腺画素推定閾値と、正解乳腺画素推定閾値が取得した正解乳腺画素推定閾値との誤差を算出し、推定閾値算出部１４は、この誤差に基づいて、マンモグラフィ画像と、乳腺画素想定閾値との関係を学習する。
変形例３では、閾値推定部１１が正解データ取得部（不図示）を更に備え、正解データ取得部が正解乳腺密度に基づいて正解乳腺画素推定閾値を逆算して正解乳腺画素推定閾値を取得する。そして、誤差算出部１５は、推定閾値算出部１４が算出する乳腺画素推定閾値と、正解乳腺画素推定閾値が取得した正解乳腺画素推定閾値との誤差を算出し、推定閾値算出部１４は、この誤差に基づいて、マンモグラフィ画像と、乳腺画素想定閾値との関係を学習する。
【0066】
また、乳腺画素推定閾値は、閾値だけでなく、乳腺画素推定傾きに対応する傾きも包含する値として捉えてもよい。この場合において、乳腺画素推定閾値における閾値が予め定められた値であり、一方、乳腺画素推定閾値に包含される傾きは推定閾値算出部１４で算出される値であってもよい。なお、正解乳腺画素推定傾きは、上述した正解乳腺画素推定閾値と同様に逆算可能である。そして、誤差算出部１５は、推定閾値算出部１４が算出する傾きと正解乳腺画素推定傾きとの誤差を算出し、推定閾値算出部１４は、この誤差に基づいて、マンモグラフィ画像と、上述の傾きを包含する乳腺画素想定閾値と、の関係を学習する。
【0067】
２ 第２実施形態
第２実施形態は、第１実施形態と共通する構成については説明を適宜省略し、相違する構成を中心に説明する。
第２実施形態は、第１実施形態と共通する構成については説明を適宜省略し、相違する構成を中心に説明する。
【0068】
第１実施形態は、マンモグラフィ画像の乳腺領域Ｒ中の画素の乳腺画素面積Ｌａが算出される形態である。なお、乳腺画素面積Ｌａは、第１実施形態で説明したように、乳腺領域Ｒ中の画素の乳腺らしさの度合いである。閾値推定部１１が、マンモグラフィ画像と、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１との関係を学習することで、閾値推定部１１は、乳腺画素面積Ｌａを算出することができる。
【0069】
第２実施形態は、確率マップ中の各画素の乳腺領域面積Ｌｂが算出される形態である。乳腺領域面積Ｌｂは、確率マップ中（マンモグラフィ画像中）の画素が乳腺領域Ｒを構成するか否かの度合いを示す値である。換言すると、乳腺領域面積Ｌｂは、確率マップ中の画素が乳腺領域Ｒに含まれるか否かの度合いを示す値である。乳腺領域面積Ｌｂが大きい画素は候補画素である可能性が高く、逆に、乳腺領域面積Ｌｂが小さい画素は候補画素である可能性が低い。実施形態２において、閾値推定部１１が、マンモグラフィ画像と、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２との関係を学習することで、閾値推定部１１は、乳腺領域面積Ｌｂを算出することができる。
【0070】
２－１ 構成説明
２－１－１ 乳腺領域抽出部３
前処理部６及び乳腺領域確率算出部７については、第１実施形態と同様のため、説明を省略する。
２－１－１ 乳腺領域抽出部３
前処理部６及び乳腺領域確率算出部７については、第１実施形態と同様のため、説明を省略する。
【0071】
＜後処理部８＞
後処理部８は、図１４Ａに示す確率Ｐ（確率マップ）に基づいて、図１４Ｂに示す乳腺領域面積Ｌｂ（乳腺領域面積マップ）を取得する。そして、後処理部８は、乳腺領域面積Ｌｂ（候補画素面積マップ）に基づいて乳腺領域Ｒを抽出する。後処理部８は、候補画素抽出部９の代わりに、乳腺領域面積算出部９Ｂを備えている。
後処理部８は、図１４Ａに示す確率Ｐ（確率マップ）に基づいて、図１４Ｂに示す乳腺領域面積Ｌｂ（乳腺領域面積マップ）を取得する。そして、後処理部８は、乳腺領域面積Ｌｂ（候補画素面積マップ）に基づいて乳腺領域Ｒを抽出する。後処理部８は、候補画素抽出部９の代わりに、乳腺領域面積算出部９Ｂを備えている。
【0072】
・乳腺領域面積算出部９Ｂ
乳腺領域面積算出部９Ｂは、図１４Ｂに示すような乳腺領域面積マップを生成する。乳腺領域面積マップは、確率マップ中の各画素に対して乳腺領域面積Ｌｂが算出されているマップである。図１４Ｂにおいて、略中央の灰色で示した画素は、乳腺領域Ｒに対応する画素を模式的に示したものである。この灰色で示した画素は、白色で示した画素よりも、乳腺領域面積Ｌｂの値が大きい。
乳腺領域面積算出部９Ｂは、図１４Ｂに示すような乳腺領域面積マップを生成する。乳腺領域面積マップは、確率マップ中の各画素に対して乳腺領域面積Ｌｂが算出されているマップである。図１４Ｂにおいて、略中央の灰色で示した画素は、乳腺領域Ｒに対応する画素を模式的に示したものである。この灰色で示した画素は、白色で示した画素よりも、乳腺領域面積Ｌｂの値が大きい。
【0073】
乳腺領域面積算出部９Ｂは、確率マップ中の各画素に対し、第２画素面積算出処理を実施する。第２画素面積算出処理は、各画素の確率Ｐに基づいて、乳腺領域面積Ｌｂを算出する処理である。図１４Ａ及び図１４Ｂに示すように、確率マップ中の各画素の確率Ｐ（図１４Ａでは確率Ｐ１～Ｐ５のみを図示）に対して第２画素面積算出処理が実施されて、乳腺領域面積Ｌｂ（図１４Ｂでは乳腺画素面積Ｌｂ１～Ｌｂ５のみを図示）が算出される。乳腺領域面積Ｌｂは、図１５に示す第２閾値関数に基づいて算出される。
【0074】
（第２閾値関数）
乳腺領域面積算出部９Ｂが確率Ｐに基づいて乳腺領域面積Ｌｂを算出するにあたり、乳腺領域面積算出部９Ｂは図１５に示す第２閾値関数を用いている。第２閾値関数は、各画素の確率Ｐと、各画素の乳腺領域面積Ｌｂと、が関連付けられた関数である。また、第２閾値関数は、乳腺領域推定閾値Ｔｈ２で急激に立ち上がる関数である。つまり、第２閾値関数において、乳腺領域推定閾値Ｔｈ２より小さい画素値の範囲では乳腺領域面積Ｌｂは０又は０に近い値となり、乳腺領域推定閾値Ｔｈ２より大きい画素値の範囲では乳腺領域面積Ｌｂは１又は１に近い値となる。このように、乳腺領域推定閾値Ｔｈ２は、第２閾値関数における閾値である。第２実施形態においても第２閾値関数はシグモイド関数であるが、その他の関数も採用可能である。第２実施形態の第２閾値関数（シグモイド関数）は図１５に示すような式で表され、第２閾値関数は乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２が定められることで曲線形状が決定される。乳腺領域推定傾きａ２は、第２閾値関数の画素値が乳腺領域推定閾値Ｔｈ２のときにおける第２閾値関数の傾きに相当する。
乳腺領域面積算出部９Ｂが確率Ｐに基づいて乳腺領域面積Ｌｂを算出するにあたり、乳腺領域面積算出部９Ｂは図１５に示す第２閾値関数を用いている。第２閾値関数は、各画素の確率Ｐと、各画素の乳腺領域面積Ｌｂと、が関連付けられた関数である。また、第２閾値関数は、乳腺領域推定閾値Ｔｈ２で急激に立ち上がる関数である。つまり、第２閾値関数において、乳腺領域推定閾値Ｔｈ２より小さい画素値の範囲では乳腺領域面積Ｌｂは０又は０に近い値となり、乳腺領域推定閾値Ｔｈ２より大きい画素値の範囲では乳腺領域面積Ｌｂは１又は１に近い値となる。このように、乳腺領域推定閾値Ｔｈ２は、第２閾値関数における閾値である。第２実施形態においても第２閾値関数はシグモイド関数であるが、その他の関数も採用可能である。第２実施形態の第２閾値関数（シグモイド関数）は図１５に示すような式で表され、第２閾値関数は乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２が定められることで曲線形状が決定される。乳腺領域推定傾きａ２は、第２閾値関数の画素値が乳腺領域推定閾値Ｔｈ２のときにおける第２閾値関数の傾きに相当する。
【0075】
（出力：乳腺領域面積Ｌｂ）
乳腺領域面積Ｌｂは、上述したように、確率マップ中の画素が乳腺領域Ｒに含まれるか否かの度合いを示す値である。例えば、任意の画素の乳腺領域面積Ｌｂが１である場合には、当該任意の画素は乳腺領域の候補画素そのものであるとみなすことができ、また、任意の画素の乳腺領域面積Ｌｂが０である場合には当該任意の画素は候補画素ではないとみなすことができる。加えて、乳腺領域面積Ｌｂは、０より大きく１より小さい中間的な値もとり得る。
つまり、乳腺領域面積算出部９Ｂは、確率マップ中の画素が、乳腺領域の候補画素である又は乳腺領域の候補画素ではない、といったいずれか一方の画素に該当するか否かを判定しているわけではない。換言すると、乳腺領域面積Ｌｂは、任意の画素が候補画素であるか、それとも、候補画素でないか、を明確に切り分けるための値ではない。実施形態では、乳腺領域面積Ｌｂは、マンモグラフィ画像全体の各画素に対して算出される。
乳腺領域面積Ｌｂは、上述したように、確率マップ中の画素が乳腺領域Ｒに含まれるか否かの度合いを示す値である。例えば、任意の画素の乳腺領域面積Ｌｂが１である場合には、当該任意の画素は乳腺領域の候補画素そのものであるとみなすことができ、また、任意の画素の乳腺領域面積Ｌｂが０である場合には当該任意の画素は候補画素ではないとみなすことができる。加えて、乳腺領域面積Ｌｂは、０より大きく１より小さい中間的な値もとり得る。
つまり、乳腺領域面積算出部９Ｂは、確率マップ中の画素が、乳腺領域の候補画素である又は乳腺領域の候補画素ではない、といったいずれか一方の画素に該当するか否かを判定しているわけではない。換言すると、乳腺領域面積Ｌｂは、任意の画素が候補画素であるか、それとも、候補画素でないか、を明確に切り分けるための値ではない。実施形態では、乳腺領域面積Ｌｂは、マンモグラフィ画像全体の各画素に対して算出される。
【0076】
（入力：乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２）
乳腺領域面積算出部９Ｂは、閾値推定部１１から乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を受け取る。そして、乳腺領域面積算出部９Ｂは、確率マップ中の画素の確率Ｐと、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２が代入された第２閾値関数と、に基づいて、確率マップ中の画素の乳腺領域面積Ｌｂを算出する。なお、乳腺領域推定傾きａ２は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
乳腺領域面積算出部９Ｂは、閾値推定部１１から乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を受け取る。そして、乳腺領域面積算出部９Ｂは、確率マップ中の画素の確率Ｐと、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２が代入された第２閾値関数と、に基づいて、確率マップ中の画素の乳腺領域面積Ｌｂを算出する。なお、乳腺領域推定傾きａ２は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
【0077】
・領域形成部１０
領域形成部１０は、乳腺領域面積マップに基づいて乳腺領域を形成する。乳腺領域の形成方法は、各種の方法を採用することができる。ここでは一例として以下の（１）（２）を説明する。
（１）例えば、乳腺領域面積算出部９Ｂが、乳腺領域面積マップの画素のうち、予め定められた閾値よりも乳腺領域面積Ｌｂが大きい画素を第１実施形態で説明した候補画素と判定して候補画素マップを生成し、領域形成部１０が、この候補画素マップに対してノイズ除去及び欠損領域穴埋めを行って乳腺領域Ｒを形成することができる。乳腺領域面積Ｌｂは、閾値関数（第２実施形態ではシグモイド関数）に基づいて算出されるので、乳腺領域面積Ｌｂの多くは、０或いは０に近い値、又は、１或いは１に近い値である。このため、予め定められた閾値が例えば０．５等といった値に設定されていれば、乳腺領域面積算出部９Ｂは適切に候補画素マップを生成可能である。
（２）また、領域形成部１０が乳腺領域面積マップに対して例えばフィルタ処理を実施することで、領域形成部１０が乳腺領域面積マップに基づいて乳腺領域Ｒを形成してもよい。
領域形成部１０は、乳腺領域面積マップに基づいて乳腺領域を形成する。乳腺領域の形成方法は、各種の方法を採用することができる。ここでは一例として以下の（１）（２）を説明する。
（１）例えば、乳腺領域面積算出部９Ｂが、乳腺領域面積マップの画素のうち、予め定められた閾値よりも乳腺領域面積Ｌｂが大きい画素を第１実施形態で説明した候補画素と判定して候補画素マップを生成し、領域形成部１０が、この候補画素マップに対してノイズ除去及び欠損領域穴埋めを行って乳腺領域Ｒを形成することができる。乳腺領域面積Ｌｂは、閾値関数（第２実施形態ではシグモイド関数）に基づいて算出されるので、乳腺領域面積Ｌｂの多くは、０或いは０に近い値、又は、１或いは１に近い値である。このため、予め定められた閾値が例えば０．５等といった値に設定されていれば、乳腺領域面積算出部９Ｂは適切に候補画素マップを生成可能である。
（２）また、領域形成部１０が乳腺領域面積マップに対して例えばフィルタ処理を実施することで、領域形成部１０が乳腺領域面積マップに基づいて乳腺領域Ｒを形成してもよい。
【0078】
２－１－２ 乳腺画素面積算出部４
乳腺画素面積算出部４は、図７Ｂに示すような乳腺領域面積マップを生成する。乳腺画素面積算出部４は、予め定められた乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を用いて、乳腺領域面積マップを生成する。つまり、第１実施形態において、乳腺画素面積算出部４は、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を、閾値推定部１１から取得していたが、第２実施形態では、予め定められた値である。乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
乳腺画素面積算出部４は、図７Ｂに示すような乳腺領域面積マップを生成する。乳腺画素面積算出部４は、予め定められた乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を用いて、乳腺領域面積マップを生成する。つまり、第１実施形態において、乳腺画素面積算出部４は、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１を、閾値推定部１１から取得していたが、第２実施形態では、予め定められた値である。乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１は、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。
【0079】
乳腺画素面積算出部４は、乳腺領域マップを後処理部８から取得する。そして、乳腺画素面積算出部４は、乳腺領域Ｒ中の画素に対し、第１画素面積算出処理を実施する。つまり、乳腺画素面積算出部４は、乳腺領域Ｒ中の画素の画素値と、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が代入された第１閾値関数と、に基づいて乳腺画素面積Ｌａを算出する。
【0080】
２－１－３ 乳腺密度算出部５
乳腺密度の算出方法は、第１実施形態と同様である。乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和に基づいて乳腺密度を算出する。より具体的には、乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和と、乳腺領域Ｒ中の全ての画素数とを算出し、以下の式に基づいて、乳腺密度を算出する。
乳腺密度（％）＝１００×（乳腺画素面積Ｌａの総和）／（乳腺領域総画素数）
乳腺密度の算出方法は、第１実施形態と同様である。乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和に基づいて乳腺密度を算出する。より具体的には、乳腺密度算出部５は、乳腺領域Ｒ中の全ての画素の乳腺画素面積Ｌａの総和と、乳腺領域Ｒ中の全ての画素数とを算出し、以下の式に基づいて、乳腺密度を算出する。
乳腺密度（％）＝１００×（乳腺画素面積Ｌａの総和）／（乳腺領域総画素数）
【0081】
第２実施形態において、後処理部８の乳腺領域マップは乳腺画素面積算出部４に出力され、乳腺画素面積算出部４は乳腺領域マップに基づいて乳腺画素面積マップを生成し、そして、乳腺密度算出部５は乳腺画素面積マップに基づいて乳腺密度を算出する。
【0082】
２－１－４ 閾値推定部１１
閾値推定部１１は、学習段階及び運用段階において、マンモグラフィ画像等に基づいて乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を算出する機能を有する。
閾値推定部１１は、学習段階及び運用段階において、マンモグラフィ画像等に基づいて乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を算出する機能を有する。
【0083】
＜推定閾値算出部１４＞
学習段階において、推定閾値算出部１４は、マンモグラフィ画像と、第２閾値関数に関する値（乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２）との関係を学習する機能を有する。第２実施形態では、推定閾値算出部１４は、学習にあたり、マンモグラフィ画像に加え、マンモグラフィ画像から生成される確率マップと、マンモグラフィ画像から生成される乳腺領域マンモグラフィ画像と、を用いる。
学習段階において、推定閾値算出部１４は、マンモグラフィ画像と、第２閾値関数に関する値（乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２）との関係を学習する機能を有する。第２実施形態では、推定閾値算出部１４は、学習にあたり、マンモグラフィ画像に加え、マンモグラフィ画像から生成される確率マップと、マンモグラフィ画像から生成される乳腺領域マンモグラフィ画像と、を用いる。
【0084】
推定閾値算出部１４はマンモグラフィ画像が入力されると、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を出力する学習モデルに基づいて学習をする。また、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数は、誤差算出部１５で算出される誤差に基づいて適宜更新される。図１１及び図１３に示すように、推定閾値算出部１４が乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を出力すると、次に、後処理部８は、第２閾値関数に基づいて乳腺領域面積Ｌｂを算出して乳腺領域面積マップを生成し、更に、後処理部８は、乳腺領域面積マップに基づいて乳腺領域マップを生成する。この生成された乳腺領域マップは、閾値推定部１１に出力され、後述する正解乳腺領域データと比較される。そして、推定閾値算出部１４は、後処理部８が生成した乳腺領域マップと、正解乳腺領域データとの差（誤差）を、誤差算出部１５から受け取る。これにより、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数が、この誤差に基づいて適宜更新される。
【0085】
＜誤差算出部１５＞
誤差算出部１５は、情報処理装置１に入力される正解乳腺領域データ（正解乳腺領域）と、後処理部８が生成する乳腺領域マップとを比較する。ここで、正解乳腺領域データは、医師等によって乳腺領域であるか否かが判断された正解データである。つまり、正解乳腺領域データは、医師等が対応するマンモグラフィ画像を目視することで、乳腺領域であるか否かが判断されたものである。誤差算出部１５は、算出した差（誤差）を、推定閾値算出部１４に出力する。
誤差算出部１５は、情報処理装置１に入力される正解乳腺領域データ（正解乳腺領域）と、後処理部８が生成する乳腺領域マップとを比較する。ここで、正解乳腺領域データは、医師等によって乳腺領域であるか否かが判断された正解データである。つまり、正解乳腺領域データは、医師等が対応するマンモグラフィ画像を目視することで、乳腺領域であるか否かが判断されたものである。誤差算出部１５は、算出した差（誤差）を、推定閾値算出部１４に出力する。
【0086】
２－２ 動作説明
２－２－１ 学習段階
乳腺領域推定閾値Ｔｈ２の学習段階における動作について図１１及び図１３を参照して説明する。
第２実施形態の学習方法は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、学習ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
２－２－１ 学習段階
乳腺領域推定閾値Ｔｈ２の学習段階における動作について図１１及び図１３を参照して説明する。
第２実施形態の学習方法は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、学習ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
【0087】
取得ステップにおいて、情報処理装置１はマンモグラフィ画像を取得する。取得ステップにおいて、乳腺領域抽出部３、乳腺画素面積算出部４及び閾値推定部１１がマンモグラフィ画像を受け取る。また、取得ステップにおいて、情報処理装置１は正解乳腺領域データを取得する。更に、取得ステップにおいて、誤差算出部１５が正解乳腺領域データを受け取る。
【0088】
確率マップ生成ステップにおいて、乳腺領域確率算出部７は、前処理がなされたマンモグラフィ画像に基づいて確率マップを生成する。乳腺領域確率算出部７は、確率マップを、後処理部８及び閾値推定部１１に出力する。
乳腺領域抽出ステップは、乳腺領域面積マップ生成ステップと、乳腺領域マップ生成ステップとを有する。乳腺領域面積マップ生成ステップにおいて、後処理部８は確率マップに基づいて乳腺領域面積マップを生成する。そして、乳腺領域マップ生成ステップにおいて、後処理部８は乳腺領域面積マップに基づいて乳腺領域マップを生成し、また、後処理部８は、乳腺領域マップを、乳腺画素面積算出部４及び閾値推定部１１に出力する。
乳腺領域抽出ステップは、乳腺領域面積マップ生成ステップと、乳腺領域マップ生成ステップとを有する。乳腺領域面積マップ生成ステップにおいて、後処理部８は確率マップに基づいて乳腺領域面積マップを生成する。そして、乳腺領域マップ生成ステップにおいて、後処理部８は乳腺領域面積マップに基づいて乳腺領域マップを生成し、また、後処理部８は、乳腺領域マップを、乳腺画素面積算出部４及び閾値推定部１１に出力する。
【0089】
画像生成ステップにおいて、画像生成部１２は、取得ステップで取得したマンモグラフィ画像に基づいて乳腺領域マンモグラフィ画像を生成する。
ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１～第３ヒストグラムを生成する。より具体的には、ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、取得ステップで取得したマンモグラフィ画像と、画像生成ステップで生成した乳腺領域マンモグラフィ画像と、確率マップ生成ステップで生成した確率マップとに基づいて、第１～第３ヒストグラムを生成する。ヒストグラム生成部１３は、第１～第３ヒストグラムを推定閾値算出部１４に出力する。
ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、マンモグラフィ画像に基づいて第１～第３ヒストグラムを生成する。より具体的には、ヒストグラム生成ステップにおいて、ヒストグラム生成部１３は、取得ステップで取得したマンモグラフィ画像と、画像生成ステップで生成した乳腺領域マンモグラフィ画像と、確率マップ生成ステップで生成した確率マップとに基づいて、第１～第３ヒストグラムを生成する。ヒストグラム生成部１３は、第１～第３ヒストグラムを推定閾値算出部１４に出力する。
【0090】
学習ステップにおいて、推定閾値算出部１４は、マンモグラフィ画像と乳腺領域推定閾値Ｔｈ２との関係を学習する。なお、第２実施形態では乳腺領域推定傾きａ２も学習対象であるため、より具体的には、推定閾値算出部１４は、マンモグラフィ画像と乳腺領域推定閾値Ｔｈ２との関係、及び、マンモグラフィ画像と乳腺領域推定傾きａ２との関係を学習している。
【0091】
また、学習ステップにおいて、推定閾値算出部１４には、誤差算出部１５で算出される誤差が入力される。この誤差は、乳腺領域マップ生成ステップで生成される乳腺領域マップと、正解乳腺領域データとの差に相当する。これにより、推定閾値算出部１４のフィルタの重み係数が適宜更新され、推定閾値算出部１４の出力（乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２）の精度が上昇する。つまり、後処理部８が生成する乳腺領域マップは乳腺領域推定閾値Ｔｈ２等に基づいて算出され、後処理部８が生成する乳腺領域マップが正解データとしての正解乳腺領域データと比較され、推定閾値算出部１４のフィルタの重み係数が適宜更新される。このように、学習ステップでは、推定閾値算出部１４がマンモグラフィ画像と乳腺領域推定閾値Ｔｈ２との関係を学習していき、より客観的な乳腺領域推定閾値Ｔｈ２を算出できるようになっていく。
【0092】
乳腺画素面積マップ生成ステップにおいて、乳腺画素面積算出部４は、取得ステップで取得したマンモグラフィ画像と、後処理部８から取得した乳腺領域マップと、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１が代入された第１閾値関数とに基づいて、乳腺画素面積マップを生成する。
乳腺密度取得ステップにおいて、乳腺密度算出部５は、乳腺画素面積マップに基づいて、乳腺密度を算出する。
乳腺密度取得ステップにおいて、乳腺密度算出部５は、乳腺画素面積マップに基づいて、乳腺密度を算出する。
【0093】
２－２－２ 運用段階
運用段階における動作について図１２に基づいて説明する。運用段階における動作は、学習段階における動作と異なる部分を説明する。
運用段階における動作について図１２に基づいて説明する。運用段階における動作は、学習段階における動作と異なる部分を説明する。
【0094】
第２実施形態の運用方法（乳腺密度の取得方法）は、取得ステップと、確率マップ生成ステップと、乳腺領域抽出ステップと、画像生成ステップと、ヒストグラム生成ステップと、閾値・傾き算出ステップと、乳腺画素面積マップ生成ステップと、乳腺密度取得ステップと、を備える。
確率マップ生成ステップ、乳腺領域抽出ステップ、乳腺領域抽出ステップ、乳腺領域面積画像生成ステップ、ヒストグラム生成ステップ、乳腺画素面積マップ生成ステップ及び乳腺密度取得ステップについては、学習段階と同様である。
運用段階では、学習ステップの代わりに閾値・傾き算出ステップを備えている。
確率マップ生成ステップ、乳腺領域抽出ステップ、乳腺領域抽出ステップ、乳腺領域面積画像生成ステップ、ヒストグラム生成ステップ、乳腺画素面積マップ生成ステップ及び乳腺密度取得ステップについては、学習段階と同様である。
運用段階では、学習ステップの代わりに閾値・傾き算出ステップを備えている。
【0095】
取得ステップにおいて、情報処理装置１は正解乳腺領域データを取得しない。
【0096】
運用段階では、推定閾値算出部１４のフィルタの重み係数が確定している。つまり、誤差算出部１５では誤差を算出しないため、推定閾値算出部１４は誤差算出部１５から誤差を取得しない。学習ステップにおいて、推定閾値算出部１４は、第１～第３ヒストグラムが入力されると、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２を出力する。
【0097】
運用段階では、情報処理装置１は、乳腺密度取得ステップにおいて算出された乳腺密度を、情報処理装置１の表示部に表示させたり、情報処理装置１から外部機器に出力したりする。
【0098】
なお、第２実施形態も、第１実施形態の変形例１～変形例３の構成を適用することができる。
【0099】
３ 第３実施形態
図１６及び図１７に示すように、第１実施形態及び第２実施形態の構成を組み合わせてもよい。つまり、推定閾値算出部１４が、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１と、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２とを学習するように構成されていてもよい。この場合、図１７に示すように、誤差算出部１５は、乳腺密度算出部５が算出した乳腺密度と正解密度データとの誤差である第１誤差と、後処理部８が生成した乳腺領域マップと正解乳腺領域データとの誤差である第２誤差とを算出する。そして、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数は、誤差算出部１５で算出される第１及び第２誤差に基づいて適宜更新される。
図１６及び図１７に示すように、第１実施形態及び第２実施形態の構成を組み合わせてもよい。つまり、推定閾値算出部１４が、乳腺画素推定閾値Ｔｈ１及び乳腺画素推定傾きａ１と、乳腺領域推定閾値Ｔｈ２及び乳腺領域推定傾きａ２とを学習するように構成されていてもよい。この場合、図１７に示すように、誤差算出部１５は、乳腺密度算出部５が算出した乳腺密度と正解密度データとの誤差である第１誤差と、後処理部８が生成した乳腺領域マップと正解乳腺領域データとの誤差である第２誤差とを算出する。そして、推定閾値算出部１４のニューラルネットワークのフィルタの重み係数は、誤差算出部１５で算出される第１及び第２誤差に基づいて適宜更新される。
【符号の説明】
【0100】
１：情報処理装置、３：乳腺領域抽出部、４：乳腺画素面積算出部、５：乳腺密度算出部、６：前処理部、７：乳腺領域確率算出部、８：後処理部、９：候補画素抽出部、９Ｂ：乳腺領域面積算出部、１０：領域形成部、１１：閾値推定部、１２：画像生成部、１３：ヒストグラム生成部、１４：推定閾値算出部、１５：誤差算出部、Ｂ：乳房領域、Ｇ：大胸筋領域、Ｌａ：乳腺画素面積、Ｌｂ：乳腺領域面積、Ｐ：確率、Ｒ：乳腺領域、Ｔｈ１：乳腺画素推定閾値、Ｔｈ２：乳腺領域推定閾値、ａ１：乳腺画素推定傾き、ａ２：乳腺領域推定傾き
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
