特開 2024-128889 画像処理装置、画像撮影システム、画像処理方法、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128889

(43)【公開日】2024-09-24

(54)【発明の名称】画像処理装置、画像撮影システム、画像処理方法、画像処理プログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240913BHJP

   A61B 6/04 20060101ALI20240913BHJP

   A61B 6/02 20060101ALI20240913BHJP

   A61B 6/00 20240101ALI20240913BHJP

【ＦＩ】

A61B8/14

A61B6/04 309B

A61B6/02 300B

A61B6/00 360Z

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2023038163

(22)【出願日】2023-03-10

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】菅原 將高

(72)【発明者】

【氏名】堀内 久嗣

(72)【発明者】

【氏名】齋藤 涼香

【テーマコード（参考）】

4C093

4C601

【Ｆターム（参考）】

4C093AA01

4C093AA11

4C093AA26

4C093CA16

4C093CA23

4C093CA35

4C093DA06

4C093ED21

4C093FA06

4C093FA44

4C093FF17

4C093FF22

4C093FF28

4C093FF35

4C093FF37

4C093FG04

4C093FG13

4C093FH07

4C601BB03

4C601DD08

4C601EE11

4C601JC37

4C601KK25

4C601KK31

4C601LL33

(57)【要約】

【課題】放射線画像から合成された合成２次元画像と、超音波画像とのユーザによる比較を行い易くすることができる画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムを提供する。
【解決手段】少なくとも１つのプロセッサを備え、記プロセッサは、圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、前記合成２次元画像を表示させ、表示されている前記合成２次元画像中の位置を表す位置情報を取得し、前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、画像処理装置。
【選択図】図８

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
画像処理装置。

【請求項2】

前記表示用の超音波画像は、前記複数の超音波画像のいずれかであり、前記乳房が載置される撮影台と交差する方向の断面画像である第１断面超音波画像、
前記複数の超音波画像から合成され、かつ前記撮影台及び前記第１断面超音波画像と交差する方向の断面画像である第２断面超音波画像、
前記複数の超音波画像から合成され、かつ前記撮影台と平行な断面画像である第３断面画像、
及び前記複数の超音波画像から合成され、かつ前記撮影台と平行な断面に応じた３次元超音波画像の少なくとも１つである、
請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、
前記深さ情報が付加された前記表示用の超音波画像として、前記位置情報が表す位置に対応する前記乳房の深さの位置に応じた断面に対応する前記第３断面画像及び前記３次元超音波画像の少なくとも一方を表示させる
請求項２に記載の画像処理装置。

【請求項4】

前記プロセッサは、
前記合成２次元画像から第１の関心領域を検出し、
前記合成２次元画像上に前記第１の関心領域を表す第１の関心領域情報を表示させ、
前記第１の関心領域の位置を表す位置情報を取得し、
前記表示用の超音波画像における前記第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
請求項１に記載の画像処理装置。

【請求項5】

前記放射線画像はトモシンセシス撮影により得られた放射線画像であって、
前記プロセッサは、
前記放射線画像を再構成した断層画像を取得し、
前記断層画像から第１の関心領域を検出し、
前記合成２次元画像上に前記第１の関心領域に対応する対応領域を表示させ、
前記合成２次元画像上の前記対応領域の位置を表す位置情報を取得し、
前記位置情報が示す位置に応じた前記表示用の超音波画像における前記第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
請求項１に記載の画像処理装置。

【請求項6】

前記プロセッサは、
複数の前記第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、
前記リストから指定された第２の関心領域を受け付けた場合、受け付けた前記第２の関心領域を表す情報を前記表示用の超音波画像上に表示させる
請求項４または請求項５に記載の画像処理装置。

【請求項7】

前記プロセッサは、
前記表示用の超音波画像に付加する前記深さ情報として、前記深さに応じた位置に指標となるラインを表示させる
請求項１に記載の画像処理装置。

【請求項8】

前記プロセッサは、
断面の位置を指定するために移動可能な断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させる
請求項１に記載の画像処理装置。

【請求項9】

前記プロセッサは、
前記合成２次元画像から関心領域を検出し、
前記関心領域を表す関心領域情報を前記合成２次元画像上に表示させ、
前記関心領域の位置を前記位置情報として取得する、
請求項１に記載の画像処理装置。

【請求項10】

前記プロセッサは、
前記関心領域の重心位置もしくは最大濃度位置を通過する断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させる
請求項９に記載の画像処理装置。

【請求項11】

前記プロセッサは、
前記断面線として、前記関心領域の重心位置もしくは最大濃度位置を交点とする２本の断面線を表示させる
請求項１０に記載の画像処理装置。

【請求項12】

断面線によって指定された断面を表す前記表示用の超音波画像から関心領域を検出し、
前記表示用の超音波画像上に、検出した関心領域を表す情報を表示させる
請求項９に記載の画像処理装置。

【請求項13】

前記放射線画像はトモシンセシス撮影により得られた放射線画像であって、
前記プロセッサは、
前記放射線画像を再構成した断層画像を取得し、
前記断層画像から第１の関心領域を検出し、
前記合成２次元画像上の前記第１の関心領域に対応する位置を表す位置情報を取得し、
前記第１の関心領域の重心位置もしくは最大濃度位置を通過する断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させ、
前記表示用の超音波画像から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
請求項１に記載の画像処理装置。

【請求項14】

前記プロセッサは、
前記表示用の超音波画像から複数の前記第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、
前記リストから指定された第２の関心領域を受け付けた場合、受け付けた前記第２の関心領域を表す情報を前記表示用の超音波画像上に表示させる
請求項１３に記載の画像処理装置。

【請求項15】

前記プロセッサは、
前記超音波画像の撮影と前記放射線画像の撮影とが、乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
請求項１に記載の画像処理装置。

【請求項16】

前記プロセッサは、
乳房を圧迫状態とするための圧迫条件が同一の場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
請求項１に記載の画像処理装置。

【請求項17】

前記プロセッサは、
圧迫状態とされた乳房の状態が同一の場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
請求項１に記載の画像処理装置。

【請求項18】

前記プロセッサは、
さらに、前記複数の超音波画像の撮影における乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
請求項１に記載の画像処理装置。

【請求項19】

請求項１に記載の画像処理装置と、
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム。

【請求項20】

圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
処理をコンピュータが実行する画像処理方法。

【請求項21】

圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
処理をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムに関する。

【背景技術】

【0002】

放射線源から被検者の乳房等の被写体に向けて放射線を照射させ、被写体を透過した放射線を放射線検出器により検出することにより放射線画像を撮影する放射線画像撮影装置が知られている。

【0003】

また、被検者の乳房に沿って超音波プローブを走査することで、乳房を超音波で走査することにより乳房の超音波画像を撮影する超音波画像撮影装置が知られている。

【0004】

特許文献１及び２には、乳房の放射線画像及び超音波画像の両方の撮影が可能な装置が開示されている。特許文献１及び２では、乳房を圧迫した状態で放射線画像及び超音波画像の撮影が行われる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９－２８３８１号公報

【特許文献2】特開２０１２－１７０７１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、乳房の診断の際に、乳房組織の立体的な観察を行うことが好ましい。立体的な構造の観察のために、複数の放射線画像から合成された合成２次元画像を観察に用いることが行われている。また、合成２次元画像等の放射線画像と、超音波画像とを並べて表示させて、両者を比較しながら読影することが行われている。しかしながら、従来の技術では、合成２次元画像と超音波画像との比較がし難い場合があり、そのため、乳房組織の立体的な構造を認識し難い場合があった。

【0007】

本開示は、上記事情を考慮して成されたもので、放射線画像から合成された合成２次元画像と、超音波画像とのユーザによる比較を行い易くすることができる画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために本開示の第１の態様の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、乳房の深さ方向の情報を含む合成２次元画像を取得し、合成２次元画像を表示させ、表示されている合成２次元画像中の位置を表す位置情報を取得し、放射線画像と同一とみなせる圧迫状態で乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像に応じた表示用の超音波画像を、位置情報が表す位置に対応する乳房の深さを表す深さ情報を付加して表示させる。

【0009】

本開示の第２の態様の画像処理装置は、第１の態様の画像処理装置において、表示用の超音波画像は、複数の超音波画像のいずれかであり、乳房が載置される撮影台と交差する方向の断面画像である第１断面超音波画像、複数の超音波画像から合成され、かつ撮影台及び第１断面超音波画像と交差する方向の断面画像である第２断面超音波画像、複数の超音波画像から合成され、かつ撮影台と平行な断面画像である第３断面画像、及び複数の超音波画像から合成され、かつ撮影台と平行な断面に応じた３次元超音波画像の少なくとも１つである。

【0010】

本開示の第３の態様の画像処理装置は、第２の態様の画像処理装置において、プロセッサは、深さ情報が付加された表示用の超音波画像として、位置情報が表す位置に対応する乳房の深さの位置に応じた断面に対応する第３断面画像及び３次元超音波画像の少なくとも一方を表示させる。

【0011】

本開示の第４の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、合成２次元画像から第１の関心領域を検出し、合成２次元画像上に第１の関心領域を表す第１の関心領域情報を表示させ、第１の関心領域の位置を表す位置情報を取得し、表示用の超音波画像における第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、表示用の超音波画像上に第２の関心領域を表す関心領域情報を表示させる。

【0012】

本開示の第５の態様の画像処理装置は、第１の態様の画像処理装置において、放射線画像はトモシンセシス撮影により得られた放射線画像であって、プロセッサは、放射線画像を再構成した断層画像を取得し、断層画像から第１の関心領域を検出し、合成２次元画像上に第１の関心領域に対応する対応領域を表示させ、合成２次元画像上の対応領域の位置を表す位置情報を取得し、位置情報が示す位置に応じた表示用の超音波画像における第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、表示用の超音波画像上に第２の関心領域を表す関心領域情報を表示させる。

【0013】

本開示の第６の態様の画像処理装置は、第４の態様または第５の態様の画像処理装置において、プロセッサは、複数の第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、リストから指定された第２の関心領域を受け付けた場合、受け付けた第２の関心領域を表す情報を表示用の超音波画像上に表示させる。

【0014】

本開示の第７の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、表示用の超音波画像に付加する深さ情報として、深さに応じた位置に指標となるラインを表示させる。

【0015】

本開示の第８の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、断面の位置を指定するために移動可能な断面線を合成２次元画像上に表示させ、断面線によって指定された断面を表す表示用の超音波画像を表示させる。

【0016】

本開示の第９の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、合成２次元画像から関心領域を検出し、関心領域を表す関心領域情報を合成２次元画像上に表示させ、関心領域の位置を位置情報として取得する。

【0017】

本開示の第１０の態様の画像処理装置は、第９の態様の画像処理装において、プロセッサは、関心領域の重心位置もしくは最大濃度位置を通過する断面線を合成２次元画像上に表示させ、断面線によって指定された断面を表す表示用の超音波画像を表示させる。

【0018】

本開示の第１１の態様の画像処理装置は、第１０の態様に記載の画像処理装置において、プロセッサは、断面線として、関心領域の重心位置もしくは最大濃度位置を交点とする２本の断面線を表示させる。

【0019】

本開示の第１２の態様の画像処理装置は、第９の態様に記載の画像処理装置において、断面線によって指定された断面を表す表示用の超音波画像から関心領域を検出し、表示用の超音波画像上に、検出した関心領域を表す情報を表示させる。

【0020】

本開示の第１３の態様の画像処理装置は、第１の態様に記載の画像処理装置において、放射線画像はトモシンセシス撮影により得られた放射線画像であって、プロセッサは、放射線画像を再構成した断層画像を取得し、断層画像から第１の関心領域を検出し、合成２次元画像上の第１の関心領域に対応する位置を表す位置情報を取得し、第１の関心領域の重心位置もしくは最大濃度位置を通過する断面線を合成２次元画像上に表示させ、断面線によって指定された断面を表す表示用の超音波画像を表示させ、表示用の超音波画像から第２の関心領域を検出し、表示用の超音波画像上に第２の関心領域を表す関心領域情報を表示させる。

【0021】

本開示の第１４の態様の画像処理装置は、第１３の態様に記載の画像処理装置において プロセッサは、表示用の超音波画像から複数の第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、リストから指定された第２の関心領域を受け付けた場合、受け付けた第２の関心領域を表す情報を表示用の超音波画像上に表示させる。

【0022】

本開示の第１５の態様の画像処理装置は、第１の態様に記載の画像処理装置において、プロセッサは、超音波画像の撮影と放射線画像の撮影とが、乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、超音波画像の撮影における乳房の圧迫状態と、放射線画像の撮影における乳房の圧迫状態とが同一であると判定する。

【0023】

本開示の第１６の態様の画像処理装置は、第１の態様に記載の画像処理装置において、プロセッサは、乳房を圧迫状態とするための圧迫条件が同一の場合、超音波画像の撮影における乳房の圧迫状態と、放射線画像の撮影における乳房の圧迫状態とが同一であると判定する。

【0024】

本開示の第１７の態様の画像処理装置は、第１の態様に記載の画像処理装置において、プロセッサは、圧迫状態とされた乳房の状態が同一の場合、超音波画像の撮影における乳房の圧迫状態と、放射線画像の撮影における乳房の圧迫状態とが同一であると判定する。

【0025】

本開示の第１８の態様の画像処理装置は、第１の態様に記載の画像処理装置において、プロセッサは、さらに、複数の超音波画像の撮影における乳房自体の状態と、放射線画像の撮影における乳房自体の状態とが同一であるとみなせる場合に、超音波画像の撮影における乳房の圧迫状態と、放射線画像の撮影における乳房の圧迫状態とが同一であると判定する。

【0026】

また、上記目的を達成するために本開示の第１９の態様の画像撮影システムは、本開示の画像処理装置と、放射線画像撮影装置と、超音波画像撮影装置と、を備える。

【0027】

また、上記目的を達成するために本開示の第２０の態様の画像処理方法は、圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、乳房の深さ方向の情報を含む合成２次元画像を取得し、合成２次元画像を表示させ、表示されている合成２次元画像中の位置を表す位置情報を取得し、放射線画像と同一とみなせる圧迫状態で乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像に応じた表示用の超音波画像を、位置情報が表す位置に対応する乳房の深さを表す深さ情報を付加して表示させる、処理をコンピュータが実行する方法である。

【0028】

また、上記目的を達成するために本開示の第２１の態様の画像処理プログラムは、圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、乳房の深さ方向の情報を含む合成２次元画像を取得し、合成２次元画像を表示させ、表示されている合成２次元画像中の位置を表す位置情報を取得し、放射線画像と同一とみなせる圧迫状態で乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像に応じた表示用の超音波画像を、位置情報が表す位置に対応する乳房の深さを表す深さ情報を付加して表示させる、処理をコンピュータに実行させるためのものである。

【発明の効果】

【0029】

本開示によれば、放射線画像から合成された合成２次元画像と、超音波画像とのユーザによる比較を行い易くすることができる。

【図面の簡単な説明】

【0030】

【図1】第１実施形態の画像撮影システムにおける全体の構成の一例を概略的に表した構成図である。

【図2】第１実施形態のマンモグラフィ装置の外観の一例を表す側面図である。

【図3】第１実施形態の画像処理装置の構成の一例を表したブロック図である。

【図4】第１実施形態の画像処理装置の構成の一例を示す機能ブロック図である。

【図5】合成２次元画像における高さについて説明するための図である。

【図6】超音波画像における深さについて説明するための図である。

【図7】第１実施形態の画像撮影システムを用いた、放射線画像及び超音波画像の撮影の流れの一例を表すフローチャートである。

【図8】第１実施形態の画像処理装置における画像処理の流れの一例を表したフローチャートである。

【図9】深さ情報が付加された表示用の超音波画像、及び合成２次元画像の表示例を示す図である。

【図10】深さ情報が付加された表示用の超音波画像、及び合成２次元画像の表示例を示す図である。

【図11】第２実施形態の画像処理装置の構成の一例を示す機能ブロック図である。

【図12】関心領域を表す情報が重畳された合成２次元画像の表示の一例を示す図である。

【図13】関心領域が指定された状態の表示の一例を示す図である。

【図14】第２実施形態の画像処理装置における画像処理の流れの一例を表したフローチャートである。

【図15】変形例１の画像処理装置における画像処理の流れの一例を表したフローチャートである。

【図16】変形例１における表示状態の一例を示す図である。

【図17】変形例１における表示状態の一例を示す図である。

【図18】変形例２の画像処理装置における画像処理の流れの一部を表したフローチャートである。

【図19】乳房の圧迫状態について判定する場合の画像処理について説明するためのフローチャートの一部である。

【図20】関心領域関連処理の実行に係わる画像処理装置の機能の一例を表す機能ブロック図である。

【発明を実施するための形態】

【0031】

以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。

【0032】

［第１実施形態］
本実施形態では、乳房全体を圧迫する圧迫力、を本開示の乳房を圧迫する力の一例とした形態について説明する。
まず、本実施形態の医用撮影システムにおける、全体の構成の一例について説明する。図１には、本実施形態の画像撮影システム１における、全体の構成の一例を表す構成図が示されている。

【0033】

図１に示すように、本実施形態の画像撮影システム１は、放射線画像撮影システム２、超音波画像撮影装置１６、画像処理装置１８、及び画像保存システム１９を備える。

【0034】

まず、放射線画像撮影システム２の構成について説明する。放射線画像撮影システム２は、マンモグラフィ装置１０及びコンソール１２を含む。

【0035】

本実施形態のマンモグラフィ装置１０は、被検者の乳房を被写体として、乳房に放射線Ｒ（例えば、Ｘ線）を照射して乳房の放射線画像を撮影する装置である。なお、マンモグラフィ装置１０は、被検者が起立している状態（立位状態）のみならず、被検者が椅子（車椅子を含む）等に座った状態（座位状態）において、被検者の乳房を撮影する装置であってもよい。

【0036】

図２には、本実施形態のマンモグラフィ装置１０の外観の一例を示す側面図が示されている。なお、図２では、被検者の右側からマンモグラフィ装置１０を見た場合の側面図である。図２に示すように、マンモグラフィ装置１０は、放射線源３６Ｒと、放射線検出器３０と、放射線源３６Ｒと放射線検出器３０との間に配置された撮影台４０と、撮影台４０との間で乳房を圧迫する圧迫部材３４と、を備える。

【0037】

撮影台４０は、制御部２０、記憶部２２、Ｉ／Ｆ（Interface）部２４、操作部２６及び放射線検出器３０を備える。制御部２０は、コンソール１２の制御に応じて、マンモグラフィ装置１０の全体の動作を制御する。制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備える（図示省略）。ＲＯＭには、ＣＰＵで実行される、放射線画像の撮影に関する制御を行うためのプログラムを含む各種プログラムが予め記憶されている。ＲＡＭは、各種データを一時的に記憶する。

【0038】

記憶部２２には、放射線画像の画像データ及びその他の各種情報等が記憶される。記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。なお、以下では、「放射線画像の画像データ」について、単に「放射線画像」という。また同様に、「超音波画像の画像データ」について、単に「超音波画像」という。

【0039】

Ｉ／Ｆ部２４は、有線通信又は無線通信により、コンソール１２との間で各種情報の通信を行う。具体的には、Ｉ／Ｆ部２４は、コンソール１２からマンモグラフィ装置１０の制御に関する情報を受信する。また、Ｉ／Ｆ部２４は、コンソール１２に対して、放射線画像を送信する。

【0040】

操作部２６は、撮影台４０等に設けられた、ユーザが手又は足等で操作可能なパーツであり、例えばスイッチ、ボタン、及びタッチパネル等である。また例えば、操作部２６は、ユーザによる音声入力を受け付けてもよい。

【0041】

放射線検出器３０は、撮影台４０の内部に配置され、被写体である乳房を通過した放射線Ｒを検出する。本実施形態のマンモグラフィ装置１０では、撮影を行う場合、撮影台４０の撮影面４０Ａ上には、被検者の乳房が医師及び技師等のユーザによってポジショニングされる。被検者の乳房が接する撮影面４０Ａ等は、放射線Ｒの透過性や強度の観点から、例えば、カーボン等で形成されている。

【0042】

放射線検出器３０は、被検者の乳房及び撮影台４０を透過した放射線Ｒを検出し、検出した放射線Ｒに基づいて放射線画像を生成し、生成した放射線画像を出力する。本実施形態の放射線検出器３０の種類は、特に限定されず、例えば、放射線Ｒを光に変換し、変換した光を電荷に変換する間接変換方式の放射線検出器であってもよいし、放射線Ｒを直接電荷に変換する直接変換方式の放射線検出器であってもよい。

【0043】

放射線源３６Ｒは、放射線照射部３６内に備えられている。図２に示すように放射線照射部３６は、撮影台４０及び圧迫ユニット４６と共にアーム部４２に設けられている。なお、図２に示すように本実施形態のマンモグラフィ装置１０は、アーム部４２と、基台４４と、軸部４５と、を備えている。アーム部４２は、基台４４によって、上下方向（Ｚ軸方向）に移動可能に保持される。軸部４５は、アーム部４２を基台４４に連結する。またアーム部４２は、軸部４５を回転軸として、基台４４に対して相対的に回転可能となっている。

【0044】

本実施形態のマンモグラフィ装置１０は、いわゆるトモシンセシス撮影が可能とされている。トモシンセシス撮影とは、被写体（本実施形態では乳房）に対する放射線の照射角度を異ならせて、照射角度毎に放射線画像（投影画像）を撮影する撮影方法のことである。トモシンセシス撮影を行う場合、アーム部４２が回転することにより放射線照射部３６の放射線源３６Ｒが、照射角度（投影角度）が異なる複数の照射位置の各々に移動される。例えば、放射線源３６Ｒは、予め定められた角度θずつ照射角度が異なる照射位置に移動される。換言すると放射線源３６Ｒは、放射線検出器３０の検出面に対する放射線Ｒの入射角度が異なる位置に移動される。各照射位置において、コンソール１２の指示により放射線源３６Ｒから放射線Ｒが照射され、放射線検出器３０により放射線画像（投影画像）が撮影される。このように、トモシンセシス撮影では、複数の照射位置の数に応じた、複数の放射線画像（投影画像）が得られる。

【0045】

なお、トモシンセシス撮影を可能とするマンモグラフィ装置は、１つの放射線源３６Ｒを備え、放射線源３６Ｒを各照射位置に移動させ、照射位置毎に放射線画像（投影画像）の撮影を行うという本実施形態のマンモグラフィ装置１０の形態に限定されない。例えば、トモシンセシス撮影を行うためのマンモグラフィ装置は、照射位置毎に放射線源３６Ｒが設けられており、装置全体として複数の放射線源３６Ｒを備えるマンモグラフィ装置であってもよい。

【0046】

また、図２に示すように、圧迫部材３４は、圧迫ユニット４６に取り付けられている。圧迫ユニット４６と、アーム部４２とは、軸部４５を回転軸として、別々に、基台４４に対して相対的に回転可能となっている。本実施形態では、軸部４５、アーム部４２、及び圧迫ユニット４６にそれぞれギア（図示省略）が設けられ、このギア同士の噛合状態及び非噛合状態を切替えることにより、アーム部４２及び圧迫ユニット４６の各々が軸部４５に連結される。軸部４５に連結されたアーム部４２及び圧迫ユニット４６の一方または両方が、軸部４５と一体に回転する。

【0047】

本実施形態の圧迫部材３４は、板状の部材であり、圧迫ユニット４６内に設けられた圧迫板駆動部（図示省略）により上下方向（Ｚ軸方向）に移動し、撮影台４０との間で被検者の乳房を圧迫する。図２に示すように、圧迫部材３４の移動方向に関して、乳房を圧迫する方向、換言すると、撮影面４０Ａに近付く方向を「圧迫方向」といい、乳房への圧迫を解除する方向、換言すると、放射線照射部３６に近付く方向を「圧迫解除方向」という。

【0048】

圧迫部材３４は、乳房の圧迫において位置合わせや圧迫状態の確認を行うために光学的に透明であることが好ましく、また、放射線Ｒの透過性に優れた材料によって形成される。さらに、圧迫部材３４は、超音波画像撮影装置１６の超音波プローブ１６Ａ（図３参照、詳細後述）から送信される超音波を伝播し易い材料により形成されていることが望ましい。圧迫部材３４の材料としては、例えば、ポリメチルペンテン、ポリカーボネート、アクリル、及びポリエチレンテレフタレート等の樹脂を用いることができる。特に、ポリメチルペンテンは、剛性が低く伸縮性及び可撓性に優れると共に、超音波の反射率に影響する音響インピーダンスと超音波の減衰に影響する減衰係数とにおいて適した値を有するので、圧迫部材３４の材料として適している。なお、圧迫部材３４を構成する部材は、本実施形態に限定されない。例えば、圧迫部材３４を構成する部材は、フィルム状の部材であってもよい。

【0049】

なお、圧迫部材３４は、乳房全体を圧迫するものに限らず、乳房の一部を圧迫するものであってもよい。換言すると、乳房よりも小さい圧迫部材３４でもよい。このような圧迫部材３４としては、例えば、病変が存在する領域のみの放射線画像を撮影する、いわゆるスポット撮影に用いられる圧迫部材３４が知られている。

【0050】

一方、本実施形態のコンソール１２は、無線通信ＬＡＮ（Local Area Network）等を介してＲＩＳ（Radiology Information System）５等から取得した撮影オーダ及び各種情報と、操作部６６等によりユーザにより行われた指示等とを用いて、マンモグラフィ装置１０の制御を行う機能を有している。また、コンソール１２は、マンモグラフィ装置１０により撮影された放射線画像を、無線通信または有線通信によって画像保存システム１９に送信する。本実施形態のコンソール１２は、一例として、サーバーコンピュータである。

【0051】

次に、超音波画像撮影装置１６について説明する。図１に示すように、本実施形態の超音波画像撮影装置１６は、超音波プローブ１６Ａを備えている。超音波画像撮影装置１６は、ユーザによって超音波プローブ１６Ａを走査することにより被検者の乳房を被写体とした超音波画像を撮影する、いわゆる、ハンドヘルドタイプの超音波画像撮影装置である。

【0052】

超音波プローブ１６Ａは、ユーザによって、圧迫部材３４の上面３４Ａ（図２参照、被検者の乳房に接する側と反対側の面）に沿って移動され、乳房を超音波で走査することにより乳房の超音波画像を取得する。具体的には、超音波撮影が行われる場合には、超音波プローブ１６Ａは、圧迫部材３４の上面３４Ａにエコーゼリー等の音響マッチング部材（図示省略）が塗布された状態で、ユーザにより、圧迫部材３４の上面３４Ａに沿って移動される。

【0053】

超音波プローブ１６Ａは、１次元状、又は、２次元状に配列された複数の超音波トランスデューサ（図示省略）を備える。各々の超音波トランスデューサは、印加される駆動信号に基づいて超音波を送信すると共に、超音波エコーを受信することにより受信信号を出力する。複数の超音波トランスデューサの各々は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛：Ｐｂ(lead) zirconate titanate）に代表される圧電セラミックや、ＰＶＤＦ（ポリフッ化ビニリデン：polyvinylidene difluoride）に代表される高分子圧電素子等の圧電性を有する材料（圧電体）の両端に電極を形成した振動子により構成される。振動子の電極に、パルス状又は連続波の駆動信号を送って電圧を印加すると、圧電体が伸縮する。この伸縮によって、それぞれの振動子からパルス状又は連続波の超音波が発生し、それらの超音波の合成によって超音波ビームが形成される。また、それぞれの振動子は、伝搬する超音波を受信することによって伸縮し、電気信号を発生する。それらの電気信号は、超音波の受信信号として出力され、ケーブル（図示省略）を介して、超音波画像撮影装置１６の本体(図示省略）に入力される。

【0054】

超音波画像撮影装置１６により撮影された超音波画像は、無線通信または有線通信によって画像保存システム１９に送信される。

【0055】

次に、画像保存システム１９について説明する。画像保存システム１９は、放射線画像撮影システム２により撮影された放射線画像、及び超音波画像撮影装置１６により撮影された超音波画像を保存するシステムである。画像保存システム１９は、コンソール１２及び超音波画像撮影装置１６の各々と無線通信または有線通信により接続されている。画像保存システム１９は、保存している放射線画像及び超音波画像から、コンソール１２、超音波画像撮影装置１６、及びその他の読影装置（図示省略）等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム１９の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。

【0056】

次に、画像処理装置１８について説明する。画像処理装置１８は、放射線画像撮影システム２により撮影された放射線画像及び超音波画像撮影装置１６により撮影された超音波画像の各々を画像保存システム１９から取得し、予め定められた画像処理を行う機能を有する。

【0057】

図３には、画像処理装置１８の構成の一例を表すブロック図が示されている。図３に示すように、画像処理装置１８は、制御部６０、記憶部６２、Ｉ／Ｆ部６４、操作部６６、及び表示部６８を備えている。制御部６０、記憶部６２、Ｉ／Ｆ部６４、操作部６６、及び表示部６８はシステムバスやコントロールバス等のバス６９を介して相互に各種情報の授受が可能に接続されている。

【0058】

本実施形態の制御部６０は、画像処理装置１８の全体の動作を制御する。制御部６０は、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備える。ＲＯＭ６０Ｂには、ＣＰＵ６０Ａで実行される、後述する画像処理プログラム６１を含む各種のプログラム等が予め記憶されている。ＲＡＭ６０Ｃは、各種データを一時的に記憶する。

【0059】

記憶部６２には、画像保存システム１９から取得した放射線画像、超音波画像、及びその他の各種情報等が記憶される。記憶部６２の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。

【0060】

操作部６６は、画像処理に関する指示や各種情報等をユーザが入力するために用いられる。なお、操作部６６は特に限定されるものではなく、例えば、各種スイッチ、タッチパネル、タッチペン、及びマウス等が挙げられる。表示部６８は、各種情報を表示する。なお、操作部６６と表示部６８とを一体化してタッチパネルディスプレイとしてもよい。

【0061】

Ｉ／Ｆ部６４は、無線通信または有線通信により、画像保存システム１９との間で放射線画像、超音波画像、及び各種情報の通信を行う。

【0062】

図４には、画像処理装置１８の機能の一例を表す機能ブロック図が示されている。画像処理装置１８は、放射線画像取得部５０、合成２次元画像生成部５１、超音波画像取得部５２、画像生成部５３、位置情報取得部５４、深さ特定部５５、及び表示制御部５６を備える。一例として本実施形態の画像処理装置１８は、制御部６０のＣＰＵ６０Ａが画像処理プログラム６１を実行することにより、ＣＰＵ６０Ａが、画像処理装置１８は、放射線画像取得部５０、合成２次元画像生成部５１、超音波画像取得部５２、画像生成部５３、位置情報取得部５４、深さ特定部５５、及び表示制御部５６として機能する。

【0063】

放射線画像取得部５０は、放射線画像Ｘを取得する機能を有する。なお、一例として、本実施形態の放射線画像Ｘは、マンモグラフィ装置１０において、トモシンセシス撮影により得られた一連の放射線画像（複数の投影画像）である。本実施形態では、ユーザが操作部６６により入力した画像表示指示を受け付けると、放射線画像取得部５０は、画像表示指示により指定された特定の被検体の乳房の、放射線画像Ｘ（複数の投影画像）をＩ／Ｆ部６４を介して、画像保存システム１９から取得する。なお、本実施形態では、放射線画像について、トモシンセシス撮影において各照射位置で撮影された投影画像、放射線画像を合成することにより得られる合成２次元画像等、複数の種類が存在するが、種類を限定せずに総称する場合は、単に「放射線画像」という場合がある。放射線画像取得部５０は、取得した放射線画像Ｘを合成２次元画像生成部５１に出力する。

【0064】

合成２次元画像生成部５１は、放射線画像Ｘから合成２次元画像を生成する機能を有する。なお、合成２次元画像生成部５１が放射線画像Ｘ、すなわち複数の投影画像から合成２次元画像を生成する方法は、特に限定されず、公知の手法を用いることができる。例えば、複数の投影画像である放射線画像Ｘを再構成して複数の断層画像を生成し、生成した複数の断層画像を組み合わせて、合成２次元画像を生成する方法が挙げられる。

【0065】

このようにして公知の手法により生成される放射線の合成２次元画像は、撮影台４０の撮影面４０Ａに対して平行とみなせる断面の画像であり、乳房の高さ方向の情報を含む。具体的には、図５に示すように、合成２次元画像８０は、撮影面４０Ａに平行とみなせる画像であり、図５ではＸＹ座標を有する２次元の画像である。また、合成２次元画像８０の各画素は、撮影台４０の撮影面４０Ａからの高さ方向の情報、具体的には、図５に示す高さＨを表す情報を有している。

【0066】

このように、一般的には、合成２次元画像８０は、撮影台４０の撮影面４０Ａを基準とした高さＨを表す情報を有している。

【0067】

一方、超音波画像を撮影する場合、図６に示すように、上述したように、圧迫部材３４の上面３４Ａを超音波プローブ１６Ａで走査し、超音波プローブ１６Ａから乳房Ｗに向けて超音波ｕを送信する。例えば、図６に示した例では、超音波プローブ１６Ａを乳房Ｗの左右方向（図６のＸ方向）に走査させて超音波画像９０を撮影することを、乳房Ｗの前後方向（図６のＹ方向）の位置をずらしながら複数枚の超音波画像９０を撮影する。この場合、撮影によって得られる各超音波画像９０は、図６に示すように、撮影台４０と交差する方向（乳房Ｗの左右方向）の断面画像となる。この超音波画像９０について、他の断面の超音波画像と区別するため、本実施形態では、第１断面超音波画像９０という。

【0068】

圧迫部材３４の上面３４Ａから超音波ｕを送信するため、第１断面超音波画像９０では、圧迫部材３４から撮影台４０に向かう深さ方向の情報に注目する。例えば、第１断面超音波画像９０では、乳房Ｗの内部構造の位置を、圧迫部材３４の上面３４Ａから撮影台４０の撮影面４０Ａに向けた深さＤにより特定する。

【0069】

このように超音波画像Ｕでは、深さ方向の情報を必要とする一方、合成２次元画像８０が高さ方向の情報を有している場合、本実施形態の合成２次元画像生成部５１は、合成２次元画像８０が有する高さ方向の情報を、深さ方向の情報に変換する。なお、図６に示すように、第１断面超音波画像９０は、圧迫部材３４における上面３４Ａ側の部材による圧迫部材画像９１と、乳房Ｗによる乳房画像９２とを含む。そのため、本実施形態の合成２次元画像生成部５１は、乳房Ｗの厚みＴ、圧迫部材３４の圧迫部材３４側の部材（乳房Ｗと接する面の部材）の厚みｔとを用いて、合成２次元画像８０が有する高さ方向の情報を、深さ方向の情報に変換する。これにより、深さ方向の情報を含む合成２次元画像８０が得られる。合成２次元画像生成部５１は、深さ方向の情報を含む合成２次元画像８０を、記憶部６２に記憶させる。

【0070】

一方、超音波画像取得部５２は、超音波画像Ｕを取得する機能を有する。一例として本実施形態の超音波画像Ｕは、図６に示した複数の第１断面超音波画像９０である。超音波画像取得部５２は、上述した画像表示指示により指定された特定の被検体の乳房の、超音波画像ＵをＩ／Ｆ部６４を介して、画像保存システム１９から取得する。超音波画像取得部５２は、取得した超音波画像Ｕを画像生成部５３に出力する。

【0071】

画像生成部５３は、複数の超音波画像Ｕを再構成することにより、乳房Ｗについて、超音波画像Ｕと交差する方向の断面である複数の超音波画像を生成する。上述のように、本実施形では、超音波画像Ｕは、乳房Ｗの左右方向の断面画像である第１断面超音波画像９０であるため、画像生成部５３は、乳房Ｗの前後方向の断面画像である複数の第２断面超音波画像を生成する。すなわち、画像生成部５３は、超音波画像９０を合成して、撮影台４０及び第１断面超音波画像９０と交差する方向の断面画像である複数の第２断面超音波画像を生成する。

【0072】

また、画像生成部５３は、複数の超音波画像Ｕ、すなわち複数の第１断面超音波画像９０を再構成することにより、乳房Ｗについて、撮影台４０の撮影面４０Ａに平行とみなせる面の断面画像（以下、第３断面超音波画像という）、及び３次元超音波画像の少なくとも一方を生成する。なお、以降では、説明の簡略化のため、画像生成部５３が３次元超音波画像を生成する場合について説明する。

【0073】

なお、画像生成部５３が、複数の超音波画像Ｕ（複数の第１断面超音波画像９０）から、複数の第２断面超音波画像、及び３次元超音波画像を生成する方法は、特に限定されず、公知の方法を用いることができる。画像生成部５３は、生成した複数の第２断面超音波画像と、３次元超音波画像とを、記憶部６２に記憶させる。

【0074】

位置情報取得部５４は、合成２次元画像生成部５１が生成した合成２次元画像中の位置を表す位置情報Ｓを取得する機能を有する。位置情報Ｓは、例えば、表示部６８に表示された合成２次元画像上の位置をユーザが操作部６６により指定する場合、指定された位置を表す情報であり、具体的には、指定された位置のＸＹ座標である。また例えば、詳細を後述する、合成２次元画像上に配置された超音波画像の断面の位置を指定するために移動可能な断面線をユーザが操作部６６により移動させる場合、移動された断面線の位置を表す情報であり、具体的には、断面線の位置のＸＹ座標である。位置情報取得部５４は、取得した位置情報Ｓを、深さ特定部５５に取得する。

【0075】

深さ特定部５５は、合成２次元画像における位置情報Ｓが表す位置に対応する深さを特定する。具体的には、深さ特定部５５は、記憶部６２から合成２次元画像を取得し、位置情報Ｓが表す位置に対応する画素が有する深さ情報に基づいて、深さＤ（図６参照）を特定する。深さ特定部５５は、特定した深さＤを表示制御部５６に出力する。

【0076】

表示制御部５６は、表示部６８に表示させる表示用の超音波画像を、深さ特定部５５が特定した深さＤを表す情報を付加して表示させる機能を有する。本実施形態の表示制御部５６は、表示画像選択部５７及び深さ情報付加部５８を含んでおり、表示画像選択部５７及び深さ情報付加部５８により、深さＤを表す深さ情報が付加された表示用の超音波画像を表示部６８に表示させる。

【0077】

具体的には、表示用の超音波画像として、第１断面超音波画像９０及び第２超音波断面画像の少なくとも一方を用いる場合、表示画像選択部５７は、記憶部６２から、所望の位置の断面となる第１断面超音波画像９０及び第２超音波断面画像の少なくとも一方を選択する。深さ情報付加部５８は、選択された第１断面超音波画像９０及び第２超音波断面画像の少なくとも一方の画像中の深さＤに対応する位置に、指標となるライン（図１２等のラインＬＡ～ＬＣ参照）を深さ情報として付加する。一方、表示用の超音波画像として、３次元超音波画像を用いる場合、表示画像選択部５７は、深さＤに応じた、３次元超音波画像を記憶部６２から選択し、深さ情報が付加された表示用の超音波画像とする。表示制御部５６は、このようにして深さ情報が付加された表示用の超音波画像を、表示部６８に表示させる。

【0078】

次に、本実施形態の画像処理装置１８の作用について図面を参照して説明するが、まずは、画像撮影システム１を用いた、放射線画像Ｘ及び超音波画像Ｕの撮影の流れについて説明する。図７には、本実施形態の画像撮影システム１を用いた、放射線画像Ｘ及び超音波画像Ｕの撮影の流れの一例を表すフローチャートが示されている。

【0079】

まず、ユーザは、撮影台４０の撮影面４０Ａ上に、被写体となる被検者の乳房Ｗをポジショニングする。ポジショニングが完了すると、ユーザは、操作部２６により乳房Ｗの圧迫を指示する。そこで、図７のステップＳ１０で、マンモグラフィ装置１０の制御部２０は、圧迫部材３４により乳房Ｗの圧迫を開始する。具体的には、制御部２０は、乳房Ｗの圧迫の指示を受け付けると、圧迫部材３４を圧迫方向に移動させ、圧迫部材３４により撮影台４０の撮影面４０Ａとの間で乳房Ｗを圧迫状態にする。

【0080】

次のステップＳ１２では、マンモグラフィ装置１０に乳房Ｗの放射線画像Ｘを撮影する。具体的には、ユーザが操作部２６に含まれる照射スイッチを操作することにより、放射線源３６Ｒから放射線Ｒを乳房Ｗに照射させて、放射線検出器３０により放射線画像Ｘの撮影を行う。本実施形態では、上述したように、トモシンセシス撮影を行い、複数の投影画像を、放射線画像Ｘとして取得する。マンモグラフィ装置１０により得られた放射線画像Ｘは、コンソール１２に出力され、予め定められたタイミングでコンソール１２から画像保存システム１９に出力され、画像保存システム１９内に保存される。

【0081】

次のステップＳ１４では、超音波画像撮影装置１６の超音波プローブ１６Ａをユーザが走査させて、圧迫部材３４により圧迫状態とされている乳房Ｗの複数の超音波画像Ｕを撮影する。具体的には、放射線画像Ｘの撮影後、ユーザは、圧迫部材３４の上面３４Ａに、エコーゼリー等の音響マッチング部材（図示省略）を塗布する。さらに、ユーザは、音響マッチング部材により覆われた、圧迫部材３４の上面３４Ａを超音波プローブ１６Ａにより超音波で走査することで複数の超音波画像Ｕを撮影する。本実施形態では、上述したように、複数の第１断面超音波画像９０を、超音波画像Ｕとして取得する。超音波画像撮影装置１６により得られた超音波画像Ｕは、予め定められたタイミングで超音波画像撮影装置１６から画像保存システム１９に出力され、画像保存システム１９内に保存される。

【0082】

超音波画像Ｕの撮影が終了すると、次のステップＳ１６では、圧迫部材３４による乳房Ｗの圧迫を解除する。具体的には、ユーザは、操作部２６により、圧迫を解除するための指示を行う。制御部２０は、乳房Ｗの圧迫の解除を受け付けると、圧迫部材３４を圧迫解除方向に移動させ、圧迫部材３４を撮影台４０の撮影面４０Ａから離れる方向に移動させて、圧迫部材３４による乳房Ｗの圧迫を解除する。このようにして、ステップＳ１６の処理が終了すると、放射線画像Ｘ及び超音波画像Ｕの連続撮影が終了する。なお、本実施形態では、図７に示した流れのように、乳房Ｗを圧迫部材３４により圧迫状態としたままで放射線画像Ｘ及び超音波画像Ｕを連続して撮影することを、「連続撮影」という。なお、放射線画像Ｘの撮影（図７のステップＳ１２）と、超音波画像Ｕの撮影（図７のステップＳ１４）との順番は限定されないが、乳房Ｗの圧迫時間を短縮する観点からは、本実施形態のように放射線画像Ｘの撮影を先に行うことが好ましい。また、放射線画像Ｘの撮影と超音波画像Ｕの撮影との間で、乳房Ｗの圧迫状態に変化がないとみなせる程度ならば、圧迫部材３４により乳房Ｗを圧迫する圧迫力を弱めてもよい。例えば、乳房Ｗの乳腺の展開具合に変化が生じないとみなせる程度ならば、圧迫部材３４による圧迫力を弱めてもよい。

【0083】

このようにして放射線画像Ｘ及び超音波画像Ｕの連続撮影が終了すると、画像処理装置１８による画像処理が行われる。本実施形態の画像処理装置１８は、一例として、上述したように、ユーザにより入力された画像表示指示を受け付けた場合、制御部６０のＣＰＵ６０Ａが、ＲＯＭ６０Ｂに記憶されている画像処理プログラム６１を実行することにより、図８に一例を示した画像処理を実行する。図８には、本実施形態の画像処理装置１８における画像処理の流れの一例を表したフローチャートが示されている。

【0084】

まず、ステップＳ１００で放射線画像取得部５０は、上述したように、被検者の乳房Ｗのトモシンセシス撮影により得られた一連の投影画像である放射線画像Ｘを、画像保存システム１９から取得する。

【0085】

次のステップＳ１０２で合成２次元画像生成部５１は、上述したように、一例の投影画像である放射線画像Ｘから深さ情報を含む合成２次元画像８０を生成し、記憶部６２に記憶させる。

【0086】

次のステップＳ１０４で超音波画像取得部５２は、上述したように、複数の第１断面超音波画像９０である超音波画像Ｕを、画像保存システム１９から取得する。

【0087】

次のステップＳ１０６で画像生成部５３は、上述したように、複数の第１断面超音波画像９０から、複数の第２断面超音波画像及び３次元超音波画像を生成し、記憶部６２に記憶させる。

【0088】

次のステップＳ１０８で表示制御部５６は、図９に一例を示した合成２次元画像８０、第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８の初期画像を表示部６８に表示させる。図９に示すように、本実施形態では、第１断面超音波画像９０の初期画像を、胸壁側の位置の断面図とし、第２断面超音波画像９４の初期画像を、乳房の左右方向（図９では上下方向）の中心位置の断面図としている、そのため、合成２次元画像８０の初期画像は、図９に示すように、第１断面超音波画像９０が示す断面を表す断面線ＣＡが初期位置である胸壁側に配置され、第２断面超音波画像９４が示す断面を表す断面線ＣＢが乳房Ｗの左右の中心位置に配置された、合成２次元画像８０となる。

【0089】

また、表示制御部５６は、超音波画像に関する初期画像として、合成２次元画像８０上の断面線ＣＡによって指定された第１断面超音波画像９０、合成２次元画像８０超音波画像Ｕの断面線ＣＢによって指定された第２断面超音波画像９４とを表示部６８に表示させる。

【0090】

また、図９に示すように、本実施形態では、深さＤの初期位置を、最大深さ（乳房の厚みＴと、圧迫部材３４の厚みとを加算した値）の中央の位置としている。そのため、表示制御部５６は、上記中央の位置を示す深さＤにおける３次元超音波画像９８を表示部６８に表示させる。さらに表示制御部５６は、第１断面超音波画像９０及び第２断面超音波画像９４上の深さＤに応じた位置に、指標となるラインＬＡ及びＬＢを深さ情報として表示させる。

【0091】

なお、本実施形態では、合成２次元画像８０及び第１断面超音波画像９０等を表示部６８に表示する場合、図９に示したように、深さ方向の位置を示した指標となるラインＬＣを付加した、乳房Ｗの模式図８８も表示させる。このように、ラインＬＣを付加した模式図８８も表示させることにより、表示されている第１断面超音波画像９０の深さ方向の位置を分かり易くユーザに提示させることができる。

【0092】

次のステップＳ１１０で位置情報取得部５４は、位置情報Ｓを取得したか否かを判定する。ユーザにより、表示されている合成２次元画像８０上の位置が操作部６６により指定された場合、または、合成２次元画像８０上の断面線ＣＡ及び断面線ＣＢの少なくとも一方が操作部６６によって移動された場合、位置情報取得部５４は、位置情報Ｓを取得する。なお、上述したように、表示されている合成２次元画像８０上の位置をユーザが操作部６６により指定した場合は、指定された位置の座標が位置情報Ｓとなる。また、合成２次元画像８０上の断面線ＣＡ及び断面線ＣＢの少なくとも一方の位置をユーザが操作部６６により移動させた場合は、断面線ＣＡ及び断面線ＣＢの位置を表す情報が位置情報Ｓとなる。

【0093】

位置情報取得部５４が位置情報Ｓを取得していない場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１２０へ移行する。一方、位置情報取得部５４が位置情報Ｓを取得した場合、ステップＳ１１０の判定が肯定判定となり、ステップＳ１１２へ移行する。

【0094】

ステップＳ１１２で深さ特定部５５は、取得した位置情報Ｓが断面線ＣＡ及び断面線ＣＢの少なくとも一方が移動されたことを示す情報であるか否かを判定する。位置情報Ｓが、指定された位置の座標である場合、ステップＳ１１２の判定が否定判定となり、ステップＳ１１６へ移行する。一方、位置情報Ｓが断面線ＣＡ及び断面線ＣＢの位置を表す情報である場合、ステップＳ１１２の判定が肯定判定となり、ステップＳ１１４へ移行する。

【0095】

ステップＳ１１４で深さ特定部５５は、位置情報Ｓである断面線ＣＡ及び断面線ＣＢの位置を表す情報から、断面線ＣＡ及び断面線ＣＢの交点の位置（ＸＹ座標）を特定する。

【0096】

次のステップＳ１１６で深さ特定部５５は、上述したように、合成２次元画像８０における位置情報Ｓが表す位置に対応する深さを特定する。具体的には、合成２次元画像８０における、ユーザにより指定された位置の座標、または断面線ＣＡ及び断面線ＣＢの交点の座標に対応する画素が有する深さ情報に基づいて、深さＤを特定する。

【0097】

次のステップＳ１１８で表示制御部５６は、上述したように、深さ情報を付加した表示用の超音波画像を表示部６８に表示させる。図１０には、表示部６８における表示状態の一例が示されている。図１０では、合成２次元画像８０に含まれる腫瘤８９をユーザが操作部６６により指定した場合、もしくは、腫瘤８９の位置に合わせてユーザが断面線ＣＡ及び断面線ＣＢを操作部６６により移動させた場合の表示例が示されている。なお、表示制御部５６は、ユーザが合成２次元画像８０上の位置をユーザが操作部６６により指定した場合、表示制御部５６は、ユーザが指定した位置に対応する位置に、断面線ＣＡ及び断面線ＣＢを表示させる。図１０に示した例では、第１断面超音波画像９０には、腫瘤８９が存在する深さＤの位置にラインＬＡが設けられており、第２断面超音波画像９４には、腫瘤８９が存在する深さＤの位置にラインＬＢが設けられている。また、第１断面超音波画像９０は、腫瘤８９が存在する深さＤに応じた３次元超音波画像である。

【0098】

次のステップＳ１２０で表示制御部５６は、表示を終了するか否かを判定する。一例として、本実施形態では、表示を終了する場合、ユーザが操作部６６により表示終了の指示を入力する。そのため、表示制御部５６は、表示終了の指示が入力されるまで、ステップＳ１２０の判定が否定判定となり、ステップＳ１１０に戻り、ステップＳ１１０～Ｓ１１８の処理を繰り返す。一方、表示終了の指示が入力されると、ステップＳ１２０の判定が肯定判定となり、図８に示した画像処理が終了する。

【0099】

［第２実施形態］
以下、本開示の技術の別の実施形態について説明する。
なお、本実施形態において、画像撮影システム１全体の構成、マンモグラフィ装置１０、コンソール１２、超音波画像撮影装置１６、及び画像保存システム１９の構成及び動作は、第１実施形態と同様のため、説明を省略する。

【0100】

一方、本実施形態では、画像処理装置１８の機能及び動作が第１実施形態の画像処理装置１８と異なるため、画像処理装置１８について詳細に説明する。なお、画像処理装置１８のハードウェアの構成は、第１実施形態の画像処理装置１８（図３参照）と同様のため、ハードウェアの構成については説明を省略する。

【0101】

図１１には、本実施形態の画像処理装置１８の機能の一例を表す機能ブロック図が示されている。本実施形態の画像処理装置１８は、関心領域検出部５９をさらに備える点で、第１実施形態の画像処理装置１８（図４参照）と異なっている。一例として本実施形態の画像処理装置１８は、制御部６０のＣＰＵ６０Ａが画像処理プログラム６１を実行することにより、ＣＰＵ６０Ａが、放射線画像取得部５０、合成２次元画像生成部５１、超音波画像取得部５２、画像生成部５３、位置情報取得部５４、深さ特定部５５、表示制御部５６、及び関心領域検出部５９として機能する。

【0102】

関心領域検出部５９は、合成２次元画像８０から関心領域を検出する機能を有する。なお、関心領域検出部５９が合成２次元画像８０から関心領域を検出する方法は特に限定されない。例えば、既存のマンモグラフィＣＡＤ（Computer-Aided Detection）を用いて、合成２次元画像８０から関心領域を検出してもよい。関心領域検出部５９は、検出した関心領域を表す情報を表示制御部５６に出力する。

【0103】

本実施形態の表示制御部５６は、第１実施形態の表示制御部５６が有する機能に加えて、関心領域検出部５９が検出した関心領域を表す情報を合成２次元画像８０上に表示させる機能を有する。図１２には、関心領域を表す情報が重畳された合成２次元画像８０の表示の一例が示されている。図１２に示した例では、４つの関心領域（関心領域８７Ａ～８７Ｄ）を表す情報が合成２次元画像８０上に表示されている。なお、関心領域を表す情報をどのような情報とするかは特に限定されず、図１２に示した例では、検出した関心領域の外郭を示す太線が関心領域を表す情報である。

【0104】

ユーザは、関心領域８７Ａ～８７Ｄのうち、超音波画像により確認したい関心領域を指定する。例えば、断面線ＣＡ及び断面線ＣＢの交点の位置が、指定したい関心領域の内部となるように、操作部６６により断面線ＣＡ及び断面線ＣＢを移動させることで関心領域の指定を行ってもよい。また例えば、指定したい関心領域の内部の位置を直接、操作部６６によって指定することにより、関心領域の指定を行ってもよい。図１３には、一例として、関心領域８７Ｂが指定された状態が示されている。この場合、位置情報Ｓは、ユーザにより指定された関心領域（図１３の例では、関心領域８７Ｂ）の位置を表す情報となる。

【0105】

深さ特定部５５は、位置情報Ｓに基づいて、指定された関心領域を特定し、特定した関心領域の重心位置もしくは最大濃度位置を導出する。

【0106】

深さ特定部５５は、重心位置に対応する画素が有する深さ情報に基づいて、指定された関心領域が存在する深さＤを特定する。

【0107】

表示制御部５６は、深さ特定部５５が特定した深さＤを表す深さ情報を付加した表示用の超音波画像（第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８）を第１実施形態の表示制御部５６と同様にして表示させる。なお、表示制御部５６は、関心領域を指定するためにユーザが指定した合成２次元画像８０上の位置と、深さ特定部５５が導出した関心領域の重心位置もしくは最大濃度位置が異なる場合、深さ特定部５５が導出した関心領域の重心位置もしくは最大濃度位置が交点となるように、断面線ＣＡ及び断面線ＣＢを移動させることが好ましい。

【0108】

次に、本実施形態の画像処理装置１８の作用について説明する。図１４には、本実施形態の画像処理装置１８における画像処理の流れの一例を表したフローチャートが示されている。図１４に示した本実施形態の画像処理は、ステップＳ１０８に代わりステップＳ１０７及びＳ１０８Ａの処理を備えており、ステップＳ１１６の前にステップＳ１１５の処理を備える点で第１実施形態の画像処理（図８参照）と異なっている。

【0109】

図１４のステップＳ１０７で関心領域検出部５９は、上述したように、合成２次元画像８０から関心領域を検出する。

【0110】

次のステップＳ１０８Ａで表示制御部５６は、上述したように、上記ステップＳ１０７で検出した関心領域を表す情報を合成２次元画像８０上に表示させた状態の初期画像（図１２参照）を表示部６８に表示させる。

【0111】

このようにして合成２次元画像８０上に関心領域を表す情報（図１２では、関心領域８７Ａ～８７Ｄを表す情報）が表示されると、上述したように、ユーザにより、関心領域の指定が行われ、位置情報取得部５４が、指定された関心領域の位置を表す位置情報Ｓを取得する。

【0112】

ステップＳ１１５で深さ特定部５５は、位置情報Ｓに基づいて特定された関心領域の重心位置を導出する。なお、上述したように、重心位置に代えて、関心領域の最大濃度位置を導出してもよい。次のステップＳ１１６で深さ特定部５５が、上述したように、上記ステップＳ１１５で導出した重心位置の深さＤを特定する。

【0113】

これにより、ステップＳ１１８で表示制御部５６は、上述したように、図１３に示したように、合成２次元画像８０、第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８を表示部６８に表示させる。

【0114】

このように本実施形態の画像処理装置１８によれば、合成２次元画像８０から関心領域検出部５９により検出さされた関心領域に応じて、第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８が表示される。なお、本実施形態では、関心領域検出部５９が検出した関心領域のうち、ユーザが指定した関心領域に応じて第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８が表示される形態について説明した。しかしながら本形態に限定されず、例えば、関心領域検出部５９が検出した関心領域の重心位置若しくは最大濃度位置が交点となるように自動的に断面線ＣＡ及び断面線ＣＢを移動させて表示することで関心領域を表す情報としてもよい。この場合、ユーザが関心領域を指定せずとも、断面線ＣＡ及び断面線ＣＢの交点に対応する画素が有する深さ情報に基づく深さに応じた状態で、第１断面超音波画像９０、第２断面超音波画像９４、及び３次元超音波画像９８が表示される。

【0115】

（変形例１）
なお、上記では、合成２次元画像８０から関心領域を検出したが、超音波画像からも関心領域を検出する形態としてもよい。この場合の画像処理装置１８の作用について、変形例として説明する。図１５には、本変形例の画像処理の流れの一例を表したフローチャートが示されている。図１５に示した本変形例の画像処理は、ステップＳ１１８に代わり、ステップＳ１１７、及びステップＳ１１９Ａ～Ｓ１１９Ｃの処理を備える点で上記実施形態の画像処理（図１４参照）と異なっている。

【0116】

本変形例の画像処理では、合成２次元画像８０の関心領域の重心位置に基づいて、関心領域の深さＤを特定した後、ステップＳ１１７で関心領域検出部５９は、３次元超音波画像９８から関心領域を検出する。なお、合成２次元画像８０から検出した関心領域が本開示の第１の関心領域の一例であり、超音波画像から検出した関心領域が本開示の第２の関心領域の一例である。

【0117】

次のステップＳ１１９Ａで表示制御部５６は、図１６に示すように、上述と同様にして、深さ情報を付加した表示用の超音波画像を表示部６８に表示させると共に、上記ステップＳ１１７で検出した３次元超音波画像９８中の関心領域のリストＬも表示させる。リストＬは、３次元超音波画像９８において検出された複数の関心領域の各々について、そのスコア（確からしさ）をリスト化したものである。例えば、関心領域検出部５９が、上述したようにマンモグラフィＣＡＤを用いて、３次元超音波画像９８から関心領域を検出した場合、ＣＡＤの結果に応じたスコア挙げられ、スコアが大きいほど、その関心領域について病変の可能性が高いことを表している。ユーザは、表示されているリストＬから、操作部６６を用いて確認を行いたい関心領域を指定する。

【0118】

次のステップＳ１１９Ｂで表示制御部５６は、リストＬに対する指定が行われたか否かを判定する。リストＬに対する指定が行われていない場合、ステップＳ１１９Ｂの判定が否定判定となり、ステップＳ１２０へ移行する。一方、リストＬに対する指定が行われた場合、ステップＳ１１９Ｂの判定が肯定判定となり、ステップＳ１１９Ｃへ移行する。

【0119】

ステップＳ１１９Ｃで表示制御部５６は、ユーザにより、リストＬにおいて指定された関心領域を表す情報を、表示部６８に表示されている３次元超音波画像９８上に表示させる。図１７には、リストＬから「No.1」が選択された状態の一例が示されている。図１７に示した３次元超音波画像９８上には、リストＬの「No.1」に対応する関心領域８６の外郭が強調表示されると共に、リストＬの番号（No.1）が関心領域情報として表示される。なお、表示部６８に表示されている第１断面超音波画像９０及び第２断面超音波画像９４に対しても、リストＬで指定された関心領域（図１７では、関心領域８６）を含む断面である場合、表示されている第１断面超音波画像９０及び第２断面超音波画像９４上にも、関心領域を表す情報を表示させることが好ましい。

【0120】

なお、３次元超音波画像９８等、超音波画像から関心領域を検出する場合、合成２次元画像８０から検出した関心領域の近傍に対応する超音波画像について、関心領域の検出を行い、近傍外の領域については、関心領域の検出を行わないことにより、関心領域の検出のためにかかる処理負荷を低減させる一方で、関心領域の検出精度を維持することができる。なお、「関心領域の近傍」について、具体的に、関心領域からどの程度の範囲の領域をいうのかは限定されず任意としてもよい。また、関心物の種類（石灰化や腫瘤等）に応じて、「近傍」とする範囲を異ならせてもよい。

【0121】

（変形例２）
合成２次元画像８０に代えて、放射線画像Ｘから生成した断層画像から関心領域を検出してもよい。この場合、断層画像から検出した関心領域が本開示の技術の関心領域の一例である。

【0122】

本変形例の場合、図１４または図１５に示した画像処理のステップＳ１０７の処理を、図１８に示したステップＳ１０７Ａ及びＳ１０７Ｂの処理に置き換えればよい。なお、本変形例の場合、合成２次元画像生成部５１が合成２次元画像８０を生成する際に、生成した複数の断層画像を記憶部６２に記憶させておく。

【0123】

図１８のステップＳ１０７Ａで関心領域検出部５９は、記憶部６２から断層画像を取得し、取得した断層画像からＣＡＤ等を用いて関心領域を検出する。

【0124】

次のステップＳ１０７Ｂで関心領域検出部５９は、断層画像から検出した関心領域に対応する、合成２次元画像８０上の領域（位置）を特定する。

【0125】

このように、本変形例の画像処理装置１８では、合成２次元画像８０から直接、関心領域を検出するのに代えて、断層画像を用いて、合成２次元画像８０上の関心領域の位置を特定する。これにより、他の組織の影になり、検出し難い関心領域も検出され易くすることができる。

【0126】

以上説明したように、上記各実施形態及び変形例の画像処理装置１８によれば、合成２次元画像と、超音波画像とのユーザによる比較を行い易くすることができる。そのため、上記各実施形態及び変形例の画像処理装置１８によれば、乳房組織の立体的な構造を認識し易くすることができる。

【0127】

なお、上記画像処理を行う前提としては、放射線画像Ｘの撮影において圧迫部材３４により圧迫状態とされた乳房の厚みと、超音波画像Ｕの撮影において圧迫部材３４により圧迫状態とされた乳房の厚みとが同一であることが好ましい。そのため、上述した画像処理の最初のステップＳ１００の前に、図１９に示したステップＳ９０の処理を行うことが好ましい。

【0128】

図１９のステップＳ９０で放射線画像取得部５０は、放射線画像Ｘの撮影における乳房Ｗの圧迫状態と、超音波画像Ｕの撮影における乳房Ｗの圧迫状態とが同一であるか否かを判定する。例えば、図７を参照して上述したように、放射線画像Ｘの撮影と超音波画像Ｕの撮影とが、乳房Ｗの圧迫を解除することなく連続して行われた場合は、圧迫状態が同一とみなせる。

【0129】

また例えば、圧迫部材３４により乳房Ｗを圧迫する圧力、圧迫部材３４の種類、及び圧迫部材３４と撮影台４０の撮影面４０Ａと間隔等の少なくとも１つである圧迫条件が同一の場合、乳房Ｗの圧迫状態が同一であるとみなせる。また例えば、圧迫部材３４により圧迫状態とされた乳房Ｗの厚み、圧迫状態における乳房Ｗと撮影台４０の撮影面４０Ａの接触面積、及び圧迫状態における乳房Ｗと圧迫部材３４との接触面積のうちの少なくとも一つである乳房の状態が同一の場合、乳房Ｗの圧迫状態が同一であるとみなせる。

【0130】

また例えば、放射線画像Ｘの撮影と超音波画像Ｕの撮影とで、乳房Ｗの硬さ及び大きさ等の乳房Ｗ自体の状態が異なる場合は、乳房Ｗの圧迫状態が同一であるとみなせない。

【0131】

放射線画像取得部５０は、これらの判断基準により、圧迫状態が同一であるか否かを判定する。圧迫状態が同一ではない場合、ステップＳ９０の処理が否定判定となり、画像処理を終了する。一方、圧迫状態が同一と見なせる場合、ステップＳ９０の判定が肯定判定となり、ステップＳ１００へ移行し、上述した画像処理を実行する。

【0132】

なお、上述した変形例１では、第１実施形態に、さらに、超音波画像から関心領域を検出し、関心領域のリストＬを表示させ、リストＬから選択された関心領域を表す情報を超音波画像上に表示させる一連の処理を付加する形態として説明した。しかしながら、この超音波画像における関心領域に係わる一連の処理（以下、関心領域関連処理という）については、第１実施形態で示した画像処理とは、別処理としてもよい。この場合、超音波画像における関心領域関連処理としては、以下に示す処理の流れとなる。まず、圧迫部材３４によって乳房Ｗを圧迫状態として撮影された放射線画像の合成２次元画像または放射線画像から再構成された断層画像を取得する。また、合成２次元画像または断層画像から第１の関心領域を検出する。また。放射線画像と同一とみなせる圧迫状態で乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得する。また、複数の超音波画像から、第１の関心領域に応じた関心領域超音波画像を取得し、また、関心領域超音波画像から第２の関心領域を検出する。そして、第１の関心領域を表す情報を付加した合成２次元画像または断層画像と、第２の関心領域を表す情報を付加した関心領域超音波画像とを表示させる。このような関心領域関連処理を行う装置は、画像処理装置１８であってもよいし、画像処理装置１８と別体の装置であってもよい。また、ユーザの所望に応じて、適宜、関心領域関連処理のみを行ってもよい。

【0133】

具体例として、このような関心領域関連処理を画像処理装置１８が行う場合について図２０を参照して説明する。図２０には、関心領域関連処理の実行に係わる画像処理装置１８の機能の一例を表す機能ブロック図が示されている。図２０に示した画像処理装置１８は、放射線画像取得部５０、合成２次元画像生成部５１、超音波画像取得部５２、画像生成部５３、深さ特定部５５Ａ、表示制御部５６Ａ、及び関心領域検出部５９Ａを備える。

【0134】

放射線画像取得部５０、合成２次元画像生成部５１、及び超音波画像取得部５２は、上述した第１実施形態と同様の機能であるため、説明を省略する。

【0135】

一方、本実施形態の画像生成部５３Ａは、複数の超音波画像Ｕ（第１断面超音波画像９０）を再構成することにより、乳房Ｗについて、乳房Ｗの前後方向の断面画像である複数の第２断面超音波画像を生成する点は、上記実施形態の画像生成部５３と共通しているが、３次元超音波画像は生成しない点が異なっている。

【0136】

また、関心領域検出部５９Ａは、合成２次元画像８０から関心領域（第１の関心領域）を検出する機能と、第１断面超音波画像９０及び第２断面超音波画像の各々から、関心領域（第２の関心領域）を検出する機能とを有する。関心領域検出部５９Ａが合成２次元画像８０から第１の関心領域を検出する方法は、上記実施形態の関心領域検出部５９と同様である。合成２次元画像８０から第１の関心領域を検出した後、関心領域検出部５９Ａは、第１断面超音波画像９０及び第２断面超音波画像の各々から、第２の関心領域を検出する。一例として、本具体例では、まず、深さ特定部５５Ａが、合成２次元画像８０における第１の関心領域の深さを特定し、特定した第１の関心領域の深さを関心領域検出部５９Ａに出力する。関心領域検出部５９Ａは、合成２次元画像８０における第１の関心領域の位置（ＸＹ座標）に基づき、第１の関心領域が写っていると推定される、第１断面超音波画像９０及び第２断面超音波画像を記憶部６２から取得する。さらに、関心領域検出部５９Ａは、第１の関心領域の深さと位置とに基づいて、第１断面超音波画像９０及び第２断面超音波画像の各々から、第１の関心領域の近傍の領域を、関心領域超音波画像として抽出する。上記のようにして、第１断面超音波画像９０及び第２断面超音波画像の各々から関心領域超音波画像を取得すると関心領域検出部５９Ａは、関心領域超音波画像から、関心領域（第２の関心領域）を検出する。

【0137】

関心領域検出部５９Ａは、合成２次元画像８０に第１の関心領域を表す情報を対応付けて表示制御部５６Ａに出力する。また、関心領域検出部５９Ａは、関心領域超音波画像に第２の関心領域を表す情報を対応付けて表示制御部５６Ａに出力する。

【0138】

表示制御部５６Ａは、第１の関心領域を表す情報を付加した合成２次元画像と、第２の関心領域を表す情報を付加した関心領域超音波画像とを表示部６８に表示させる。また、表示制御部５６Ａは、上記実施形態の関心領域検出部５９と同様に、関心領域超音波画像中の第２の関心領域のリストＬ（図１６参照）も表示部６８に表示させる。

【0139】

なお、本具体例では、合成２次元画像を用いたが上述のように断層画像を用いてもよい。また、第１断面超音波画像９０及び第２断面超音波画像のいずれか一方のみを用いてもよいし、３次元超音波画像を用いてもよい。さらに、関心領域超音波画像と共に、もしくは関心領域超音波画像に替えて、関心領域超音波画像の取得元となった超音波画像に第２の関心領域を表す情報を付加して表示させる形態としてもよい。

【0140】

従って、図２０に示した画像処理装置１８によれば、関心領域関連処理を実行することにより、合成２次元画像または断層画像と、超音波画像とで、関心領域の比較を容易に行うことができる。

【0141】

なお、上記各実施形態において、例えば放射線画像取得部５０、合成２次元画像生成部５１、超音波画像取得部５２、画像生成部５３、位置情報取得部５４、深さ特定部５５、及び表示制御部５６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0142】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0143】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0144】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

【0145】

また、上記各実施形態では、画像処理プログラム６１が画像処理装置１８の制御部６０に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム６１は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム６１は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0146】

その他、上記各実施形態で説明した画像撮影システム１、放射線画像撮影システム２、マンモグラフィ装置１０、超音波画像撮影装置１６、及び画像処理装置１８等の構成及び動作等は一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることはいうまでもない。また、上記各実施形態を適宜組み合わせてもよいこともいうまでもない。

【0147】

以上の上記実施形態に関し、更に以下の付記を開示する。

【0148】

（付記１）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
画像処理装置。

【0149】

（付記２）
前記表示用の超音波画像は、前記複数の超音波画像のいずれかであり、前記乳房が載置される撮影台と交差する方向の断面画像である第１断面超音波画像、
前記複数の超音波画像から合成され、かつ前記撮影台及び前記第１断面超音波画像と交差する方向の断面画像である第２断面超音波画像、
前記複数の超音波画像から合成され、かつ前記撮影台と平行な断面画像である第３断面画像、
及び前記複数の超音波画像から合成され、かつ前記撮影台と平行な断面に応じた３次元超音波画像の少なくとも１つである、
付記１に記載の画像処理装置。

【0150】

（付記３）
前記プロセッサは、
前記深さ情報が付加された前記表示用の超音波画像として、前記位置情報が表す位置に対応する前記乳房の深さの位置に応じた断面に対応する前記第３断面画像及び前記３次元超音波画像の少なくとも一方を表示させる
付記２に記載の画像処理装置。

【0151】

（付記４）
前記プロセッサは、
前記合成２次元画像から第１の関心領域を検出し、
前記合成２次元画像上に前記第１の関心領域を表す第１の関心領域情報を表示させ、
前記第１の関心領域の位置を表す位置情報を取得し、
前記表示用の超音波画像における前記第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
付記１から付記３のいずれか１つに記載の画像処理装置。

【0152】

（付記５）
前記放射線画像はトモシンセシス撮影により得られた放射線画像であって、
前記プロセッサは、
前記放射線画像を再構成した断層画像を取得し、
前記断層画像から第１の関心領域を検出し、
前記合成２次元画像上に前記第１の関心領域に対応する対応領域を表示させ、
前記合成２次元画像上の前記対応領域の位置を表す位置情報を取得し、
前記位置情報が示す位置に応じた前記表示用の超音波画像における前記第１の関心領域の近傍に対応する領域から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
付記１から付記３のいずれか１つに記載の画像処理装置。

【0153】

（付記６）
前記プロセッサは、
複数の前記第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、
前記リストから指定された第２の関心領域を受け付けた場合、受け付けた第２の関心領域を表す情報を前記表示用の超音波画像上に表示させる
付記４または付記５に記載の画像処理装置。

【0154】

（付記７）
前記プロセッサは、
前記表示用の超音波画像に付加する前記深さ情報として、前記深さに応じた位置に指標となるラインを表示させる
付記１から付記６のいずれか１つに記載の画像処理装置。

【0155】

（付記８）
前記プロセッサは、
断面の位置を指定するために移動可能な断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させる
付記１から付記７のいずれか１つに記載の画像処理装置。

【0156】

（付記９）
前記プロセッサは、
前記合成２次元画像から関心領域を検出し、
前記関心領域を表す関心領域情報を前記合成２次元画像上に表示させ、
前記関心領域の位置を前記位置情報として取得する、
付記１から付記８のいずれか１つに記載の画像処理装置。

【0157】

（付記１０）
前記プロセッサは、
前記関心領域の重心位置もしくは最大濃度位置を通過する断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させる
付記９に記載の画像処理装置。

【0158】

（付記１１）
前記プロセッサは、
前記断面線として、前記関心領域の重心位置もしくは最大濃度位置を交点とする２本の断面線を表示させる
付記１０に記載の画像処理装置。

【0159】

（付記１２）
断面線によって指定された断面を表す前記表示用の超音波画像から関心領域を検出し、
前記表示用の超音波画像上に、検出した関心領域を表す情報を表示させる
付記９に記載の画像処理装置。

【0160】

（付記１３）
前記放射線画像はトモシンセシス撮影により得られた放射線画像であって、
前記プロセッサは、
前記放射線画像を再構成した断層画像を取得し、
前記断層画像から第１の関心領域を検出し、
前記合成２次元画像上の前記第１の関心領域に対応する位置を表す位置情報を取得し、
前記第１の関心領域の重心位置もしくは最大濃度位置を通過する断面線を前記合成２次元画像上に表示させ、
前記断面線によって指定された断面を表す前記表示用の超音波画像を表示させ、
前記表示用の超音波画像から第２の関心領域を検出し、
前記表示用の超音波画像上に前記第２の関心領域を表す関心領域情報を表示させる
付記１から付記１２のいずれか１つに記載の画像処理装置。

【0161】

（付記１４）
前記プロセッサは、
前記表示用の超音波画像から複数の前記第２の関心領域が検出された場合、各第２の関心領域の疑義の度合いを表すスコアのリストを表示させ、
前記リストから指定された第２の関心領域を受け付けた場合、受け付けた第２の関心領域を表す情報を前記表示用の超音波画像上に表示させる
付記１３に記載の画像処理装置。

【0162】

（付記１５）
前記プロセッサは、
前記超音波画像の撮影と前記放射線画像の撮影とが、乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
付記１から付記１４のいずれか１つに記載の画像処理装置。

【0163】

（付記１６）
前記プロセッサは、
乳房を圧迫状態とするための圧迫条件が同一の場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
付記１から付記１５のいずれか１つに記載の画像処理装置。

【0164】

（付記１７）
前記プロセッサは、
圧迫状態とされた乳房の状態が同一の場合、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
付記１から付記１６のいずれか１つに記載の画像処理装置。

【0165】

（付記１８）
前記プロセッサは、
さらに、前記複数の超音波画像の撮影における乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記超音波画像の撮影における前記乳房の圧迫状態と、前記放射線画像の撮影における前記乳房の圧迫状態とが同一であると判定する
付記１から付記１７のいずれか１つに記載の画像処理装置。

【0166】

（付記１９）
付記１に記載の画像処理装置と、
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム。

【0167】

（付記２０）
圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
処理をコンピュータが実行する画像処理方法。

【0168】

（付記２１）
圧迫部材によって乳房を圧迫状態として撮影された複数の放射線画像を合成した合成画像であって、前記乳房の深さ方向の情報を含む合成２次元画像を取得し、
前記合成２次元画像を表示させ、
表示されている前記合成２次元画像中の位置を表す位置情報を取得し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
複数の前記超音波画像に応じた表示用の超音波画像を、前記位置情報が表す位置に対応する前記乳房の深さを表す深さ情報を付加して表示させる、
処理をコンピュータに実行させるための画像処理プログラム。

【0169】

（付記２２）
少なくとも１つのプロセッサを備え
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された放射線画像の合成２次元画像または前記放射線画像から再構成された断層画像を取得し、
前記合成２次元画像または前記断層画像から第１の関心領域を検出し、
前記放射線画像と同一とみなせる圧迫状態で前記乳房を圧迫部材によって圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像から、前記第１の関心領域に応じた関心領域超音波画像を取得し、
関心領域超音波画像から第２の関心領域を検出し、
前記第１の関心領域を表す情報を付加した前記合成２次元画像または前記断層画像と、前記第２の関心領域を表す情報を付加した前記関心領域超音波画像とを表示させる
画像処理装置。

【符号の説明】

【0170】

１ 画像撮影システム
２ 放射線画像撮影システム
５ ＲＩＳ
１０ マンモグラフィ装置
１２ コンソール
１６ 超音波画像撮影装置、１６Ａ 超音波プローブ
１８ 画像処理装置
１９ 画像保存システム
２０、６０ 制御部
６０Ａ ＣＰＵ
６０Ｂ ＲＯＭ
６０Ｃ ＲＡＭ
２２、６２ 記憶部
２４、６４ Ｉ／Ｆ部
２６、６６ 操作部
３０ 放射線検出器、３０Ａ 検出面
３４ 圧迫板、３４Ａ 上面
３６ 放射線照射部、３６Ｒ 放射線源
４０ 撮影台、４０Ａ 撮影面
４２ アーム部
４４ 基台
４５ 軸部
４６ 圧迫ユニット
５０ 放射線画像取得部
５１ 合成２次元画像生成部
５２ 超音波画像取得部
５３、５３Ａ 画像生成部
５４ 位置情報取得部
５５、５５Ａ 深さ特定部
５６、５６Ａ 表示制御部
５７ 表示画像選択部
５８ 深さ情報付加部
５９、５９Ａ 関心領域検出部
６１ 画像処理プログラム
６８ 表示部
６９ バス
８０ 合成２次元画像
８６、８７Ａ～８７Ｄ 関心領域
８８ 模式図
８９ 腫瘤
９０ 第１断面超音波画像
９４ 第２断面超音波画像
９８ ３次元超音波画像
９１ 圧迫部材画像
９２ 乳房画像
ＣＡ、ＣＢ 断面線
Ｄ 深さ
Ｈ 高さ
Ｌ リスト
ＬＡ、ＬＢ、ＬＣライン
Ｒ 放射線
Ｓ 位置情報
Ｔ、ｔ 厚み
Ｕ 超音波画像、ｕ 超音波
Ｗ 乳房

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】