ホーム > 特許ランキング > 富士フイルム株式会社
特開2024-127654画像処理装置、画像撮影システム、画像処理方法、画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024127654
(43)【公開日】2024-09-20
(54)【発明の名称】画像処理装置、画像撮影システム、画像処理方法、画像処理プログラム
(51)【国際特許分類】
A61B 8/14 20060101AFI20240912BHJP
A61B 6/04 20060101ALI20240912BHJP
A61B 6/00 20240101ALI20240912BHJP
【ＦＩ】
A61B8/14
A61B6/04 309B
A61B6/00 360Z
A61B6/00 330Z
【審査請求】未請求
【請求項の数】50
【出願形態】ＯＬ
(21)【出願番号】P 2023036995
(22)【出願日】2023-03-09
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】堀内 久嗣
(72)【発明者】
【氏名】大澤 敦
(72)【発明者】
【氏名】坪田 圭司
(72)【発明者】
【氏名】小林 丈恭
(72)【発明者】
【氏名】齋藤 涼香
【テーマコード（参考）】
4C093
4C601
【Ｆターム（参考）】
4C093AA01
4C093CA16
4C093DA06
4C093ED21
4C093FA44
4C093FF20
4C093FF37
4C601BB03
4C601DD08
4C601EE11
4C601GA18
4C601GA21
4C601JC15
4C601JC32
4C601KK21
4C601KK35
4C601LL33
(57)【要約】
【課題】圧迫状態で撮影された乳房の放射線画像と超音波画像との比較を行い易くすることができる画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムを提供する。
【解決手段】少なくとも１つのプロセッサを備え、前記プロセッサは、圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、前記複数の超音波画像の撮影時に前記圧迫部材上を走査した前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、前記補正済超音波画像と、前記放射線画像とを対応付ける画像処理装置。
【選択図】図１０
【解決手段】少なくとも１つのプロセッサを備え、前記プロセッサは、圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、前記複数の超音波画像の撮影時に前記圧迫部材上を走査した前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、前記補正済超音波画像と、前記放射線画像とを対応付ける画像処理装置。
【選択図】図１０
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
画像処理装置。
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
画像処理装置。
【請求項2】
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項１に記載の画像処理装置。
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項１に記載の画像処理装置。
【請求項3】
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項4】
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
請求項３に記載の画像処理装置。
請求項３に記載の画像処理装置。
【請求項5】
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
請求項２に記載の画像処理装置。
請求項２に記載の画像処理装置。
【請求項6】
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
請求項５に記載の画像処理装置。
請求項５に記載の画像処理装置。
【請求項7】
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項１に記載の画像処理装置。
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項１に記載の画像処理装置。
【請求項8】
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項１に記載の画像処理装置。
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項１に記載の画像処理装置。
【請求項9】
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項８に記載の画像処理装置。
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項８に記載の画像処理装置。
【請求項10】
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項９に記載の画像処理装置。
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項９に記載の画像処理装置。
【請求項11】
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項12】
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
請求項１に記載の画像処理装置。
請求項１に記載の画像処理装置。
【請求項13】
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
【請求項14】
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
【請求項15】
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
画像処理装置。
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
画像処理装置。
【請求項16】
前記プロセッサは、
前記複数の超音波画像の撮影と前記放射線画像の撮影とが、前記乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
前記複数の超音波画像の撮影と前記放射線画像の撮影とが、前記乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
【請求項17】
前記プロセッサは、
前記乳房を圧迫状態とするための圧迫条件が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
前記乳房を圧迫状態とするための圧迫条件が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
【請求項18】
前記プロセッサは、
圧迫状態とされた乳房の状態が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
圧迫状態とされた乳房の状態が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
【請求項19】
前記プロセッサは、
さらに、前記複数の超音波画像の撮影における前記乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記放射線画像と、前記補正済超音波画像とを対応付ける
請求項１５に記載の画像処理装置。
さらに、前記複数の超音波画像の撮影における前記乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記放射線画像と、前記補正済超音波画像とを対応付ける
請求項１５に記載の画像処理装置。
【請求項20】
前記プロセッサは、
前記乳房を前記圧迫部材により圧迫状態としたまま前記複数の超音波画像の撮影と連続して撮影が行われた基準放射線画像をさらに取得し、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
前記乳房を前記圧迫部材により圧迫状態としたまま前記複数の超音波画像の撮影と連続して撮影が行われた基準放射線画像をさらに取得し、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記乳房の圧迫状態が同一であるとみなせると判定する
請求項１５に記載の画像処理装置。
【請求項21】
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項１５に記載の画像処理装置。
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項１５に記載の画像処理装置。
【請求項22】
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
請求項２１に記載の画像処理装置。
請求項２１に記載の画像処理装置。
【請求項23】
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
請求項２２に記載の画像処理装置。
請求項２２に記載の画像処理装置。
【請求項24】
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
請求項２１に記載の画像処理装置。
請求項２１に記載の画像処理装置。
【請求項25】
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
請求項２４に記載の画像処理装置。
請求項２４に記載の画像処理装置。
【請求項26】
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項１５に記載の画像処理装置。
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項１５に記載の画像処理装置。
【請求項27】
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項１５に記載の画像処理装置。
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項１５に記載の画像処理装置。
【請求項28】
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項２７に記載の画像処理装置。
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項２７に記載の画像処理装置。
【請求項29】
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項２８に記載の画像処理装置。
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項２８に記載の画像処理装置。
【請求項30】
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
請求項１５に記載の画像処理装置。
請求項１５に記載の画像処理装置。
【請求項31】
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
請求項１５に記載の画像処理装置。
請求項１５に記載の画像処理装置。
【請求項32】
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
【請求項33】
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
【請求項34】
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
画像処理装置。
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
画像処理装置。
【請求項35】
前記プロセッサは、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記補正済超音波画像と前記放射線画像とを対応付ける
請求項３４に記載の画像処理装置。
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記補正済超音波画像と前記放射線画像とを対応付ける
請求項３４に記載の画像処理装置。
【請求項36】
前記予め定められた基準は、撮影における前記乳房の圧迫状態が同一であるとみなすための基準である
請求項３５に記載の画像処理装置。
請求項３５に記載の画像処理装置。
【請求項37】
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項３４に記載の画像処理装置。
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
請求項３４に記載の画像処理装置。
【請求項38】
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
請求項３７に記載の画像処理装置。
請求項３７に記載の画像処理装置。
【請求項39】
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
請求項３８に記載の画像処理装置。
請求項３８に記載の画像処理装置。
【請求項40】
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
請求項３７に記載の画像処理装置。
請求項３７に記載の画像処理装置。
【請求項41】
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
請求項４０に記載の画像処理装置。
請求項４０に記載の画像処理装置。
【請求項42】
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項３４に記載の画像処理装置。
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
請求項３４に記載の画像処理装置。
【請求項43】
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項３４に記載の画像処理装置。
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
請求項３４に記載の画像処理装置。
【請求項44】
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項４３に記載の画像処理装置。
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
請求項４３に記載の画像処理装置。
【請求項45】
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項４４に記載の画像処理装置。
前記プロセッサは、
前記補正情報から前記撓み角を導出する
請求項４４に記載の画像処理装置。
【請求項46】
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
請求項３４に記載の画像処理装置。
請求項３４に記載の画像処理装置。
【請求項47】
前記プロセッサが前記補正済超音波画像に対応付けるか否か判定する放射線画像には、前記補正情報に基づいた補正がされていない
請求項３４に記載の画像処理装置。
請求項３４に記載の画像処理装置。
【請求項48】
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータが実行する画像処理方法。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータが実行する画像処理方法。
【請求項49】
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータに実行させるための画像処理プログラム。
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータに実行させるための画像処理プログラム。
【請求項50】
請求項１から請求項１２のいずれか１項、または請求項１５から請求項３１のいずれか１項、または請求項３４から請求項４７のいずれか１項に記載の画像処理装置と、
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム。
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムに関する。
【背景技術】
【0002】
放射線源から被検者の乳房等の被写体に向けて放射線を照射させ、被写体を透過した放射線を放射線検出器により検出することにより放射線画像を撮影する放射線画像撮影装置が知られている。
【0003】
また、被検者の乳房に沿って超音波プローブを走査することで、乳房を超音波で走査することにより乳房の超音波画像を撮影する超音波画像撮影装置が知られている。
【0004】
特許文献１及び２には、乳房の放射線画像及び超音波画像の両方の撮影が可能な装置が開示されている。特許文献１及び２では、乳房を圧迫した状態で放射線画像及び超音波画像の撮影が行われる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００９－２８３８１号公報
【特許文献2】特開２０１２－１７０７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
乳房を圧迫部材により圧迫状態として撮影された、放射線画像と、超音波画像とを比較しながら読影を行う場合がある。しかしながら、従来の技術により撮影された放射線画像と超音波画像とは、乳房の圧迫状態が同じであっても、比較が容易ではない場合があった。
【0007】
本開示は、上記事情を考慮して成されたもので、圧迫状態で撮影された乳房の放射線画像と超音波画像との比較を行い易くすることができる画像処理装置、画像撮影システム、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために本開示の第１の態様の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、補正済超音波画像と、放射線画像とを対応付ける。
【0009】
本開示の第２の態様の画像処理装置は、第１の態様の画像処理装置において、プロセッサは、プローブの傾き、及び圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を補正情報として取得する。
【0010】
本開示の第３の態様の画像処理装置は、第２の態様の画像処理装置において、センサは、プローブに設けられた、プローブの傾きを検出するためのセンサである。
【0011】
本開示の第４の態様の画像処理装置は、第３の態様の画像処理装置において、センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである。
【0012】
本開示の第５の態様の画像処理装置は、第２の態様の画像処理装置において、センサは、圧迫部材と予め定められた位置との距離を検出するセンサである。
【0013】
本開示の第６の態様の画像処理装置は、第５の態様の画像処理装置において、センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである。
【0014】
本開示の第７の態様の画像処理装置は、第１の態様の画像処理装置において、補正情報は、圧迫状態とされた乳房の厚み及び幅と、乳房を圧迫する圧力とを含み、プロセッサは、圧迫状態とされた乳房の幅、もしくは幅及び厚みと、乳房を圧迫する圧力と、圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した圧迫部材の撓みに基づいて補正した複数の超音波画像から補正済超音波画像を生成する。
【0015】
本開示の第８の態様の画像処理装置は、第１の態様の画像処理装置において、補正情報は、圧迫状態とされた乳房の厚み及び幅と、乳房を圧迫する圧力とを含み、プロセッサは、圧迫状態とされた乳房の幅、もしくは幅及び厚みと、乳房を圧迫する圧力と、圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した圧迫部材の撓みに基づいて補正した複数の超音波画像から補正済超音波画像を生成する。
【0016】
本開示の第９の態様の画像処理装置は、第８の態様の画像処理装置において、プロセッサは、補正情報に基づいて得られた、複数の超音波画像の各々の撮影位置における圧迫部材の撓み角に基づいて、複数の超音波画像の各々をアフィン変換する。
【0017】
本開示の第１０の態様の画像処理装置は、第９の態様の画像処理装において、補正情報は圧迫状態の乳房の幅及び厚み、乳房を圧迫する圧力の各々を表す情報を含み、プロセッサは、補正情報から撓み角を導出する。
【0018】
本開示の第１１の態様の画像処理装置は、第１の態様に記載の画像処理装置において、圧迫部材は、一方の辺に固定端があり、固定端と、固定端に対向する自由端とを結ぶ線と交差する方向に、プローブを走査させて得られた超音波画像である。
【0019】
本開示の第１２の態様の画像処理装置は、第１の態様に記載の画像処理装置において、プロセッサが補正済超音波画像に対応付ける放射線画像には、補正情報に基づいた補正がされていない。
【0020】
また、上記目的を達成するために本開示の第１３の態様の画像処理方法は、圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、補正済超音波画像と、放射線画像とを対応付ける処理をコンピュータが実行する方法である。
【0021】
また、上記目的を達成するために本開示の第１４の態様の画像処理プログラムは、圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、補正済超音波画像と、放射線画像とを対応付ける処理をコンピュータに実行させるためのものである。
【0022】
また、上記目的を達成するために本開示の第１５の態様の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像における乳房の圧迫状態が、複数の超音波画像の撮影における乳房の圧迫状態と同一であるとみなせるか否かを判定し、乳房の圧迫状態が同一であるとみなせると判定した場合、補正済超音波画像と放射線画像とを対応付ける。
【0023】
本開示の第１６の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、複数の超音波画像の撮影と放射線画像の撮影とが、乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、乳房の圧迫状態が同一であるとみなせると判定する。
【0024】
本開示の第１７の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、乳房を圧迫状態とするための圧迫条件が同一の場合、乳房の圧迫状態が同一であるとみなせると判定する。
【0025】
本開示の第１８の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、圧迫状態とされた乳房の状態が同一の場合、乳房の圧迫状態が同一であるとみなせると判定する。
【0026】
本開示の第１９の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、さらに、複数の超音波画像の撮影における乳房自体の状態と、放射線画像の撮影における乳房自体の状態とが同一であるとみなせる場合に、放射線画像と、補正済超音波画像とを対応付ける。
【0027】
本開示の第２０の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、乳房を圧迫部材により圧迫状態としたまま複数の超音波画像の撮影と連続して撮影が行われた基準放射線画像をさらに取得し、基準放射線画像と放射線画像との類似度が予め定められた基準を満たす場合、乳房の圧迫状態が同一であるとみなせると判定する。
【0028】
本開示の第２１の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、プローブの傾き、及び圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を補正情報として取得する。
【0029】
本開示の第２２の態様の画像処理装置は、第２１の態様の画像処理装置において、センサは、プローブに設けられた、プローブの傾きを検出するためのセンサである。
【0030】
本開示の第２３の態様の画像処理装置は、第２２の態様の画像処理装置において、センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである。
【0031】
本開示の第２４の態様の画像処理装置は、第２１の態様の画像処理装置において、センサは、圧迫部材と予め定められた位置との距離を検出するセンサである。
【0032】
本開示の第２５の態様の画像処理装置は、第２４の態様の画像処理装置において、センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである。
【0033】
本開示の第２６の態様の画像処理装置は、第１５の態様の画像処理装置において、補正情報は、圧迫状態とされた乳房の厚み及び幅と、乳房を圧迫する圧力とを含み、プロセッサは、圧迫状態とされた乳房の幅、もしくは幅及び厚みと、乳房を圧迫する圧力と、圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した圧迫部材の撓みに基づいて補正した複数の超音波画像から補正済超音波画像を生成する。
【0034】
本開示の第２７の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサは、複数の超音波画像の各々の座標を補正情報に基づいて補正した後、再構成することにより３次元超音波画像を補正済超音波画像として生成する。
【0035】
本開示の第２８の態様の画像処理装置は、第２７の態様の画像処理装置において、プロセッサは、補正情報に基づいて得られた、複数の超音波画像の各々の撮影位置における圧迫部材の撓み角に基づいて、複数の超音波画像の各々をアフィン変換する。
【0036】
本開示の第２９の態様の画像処理装置は、第２８の態様の画像処理装置において、補正情報は圧迫状態の乳房の幅及び厚み、乳房を圧迫する圧力の各々を表す情報を含み、プロセッサは、補正情報から撓み角を導出する。
【0037】
本開示の第３０の態様の画像処理装置は、第１５の態様の画像処理装置において、圧迫部材は、一方の辺に固定端があり、固定端と、固定端に対向する自由端とを結ぶ線と交差する方向に、プローブを走査させて得られた超音波画像である。
【0038】
本開示の第３１の態様の画像処理装置は、第１５の態様の画像処理装置において、プロセッサが補正済超音波画像に対応付ける放射線画像には、補正情報に基づいた補正がされていない。
【0039】
また、上記目的を達成するために本開示の第３２の態様の画像処理方法は、圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像を取得し、放射線画像における乳房の圧迫状態が、複数の超音波画像の撮影における乳房の圧迫状態と同一であるとみなせるか否かを判定し、乳房の圧迫状態が同一であるとみなせると判定した場合、補正済超音波画像と放射線画像とを対応付ける処理をコンピュータが実行する方法である。
【0040】
また、上記目的を達成するために本開示の第３３の態様の画像処理プログラムは、圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像を取得し、放射線画像における乳房の圧迫状態が、複数の超音波画像の撮影における乳房の圧迫状態と同一であるとみなせるか否かを判定し、乳房の圧迫状態が同一であるとみなせると判定した場合、補正済超音波画像と放射線画像とを対応付ける処理をコンピュータに実行させるためのものである。
【0041】
また、上記目的を達成するために本開示の第３４の態様の画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像を取得し、基準放射線画像と放射線画像との類似度に基づいて、補正済超音波画像と放射線画像とを対応付けるか否か判定する。
【0042】
本開示の第３５の態様の画像処理装置は、第３４の態様の画像処理装置において、プロセッサは、基準放射線画像と放射線画像との類似度が予め定められた基準を満たす場合、補正済超音波画像と放射線画像とを対応付ける。
【0043】
本開示の第３６の態様の画像処理装置は、第３５の態様の画像処理装置において、予め定められた基準は、撮影における乳房の圧迫状態が同一であるとみなすための基準である。
【0044】
本開示の第３７の態様の画像処理装置は、第３４の態様の画像処理装置において、プロセッサは、プローブの傾き、及び圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を補正情報として取得する。
【0045】
本開示の第３８の態様の画像処理装置は、第３７の態様の画像処理装置において、センサは、プローブに設けられた、プローブの傾きを検出するためのセンサである。
【0046】
本開示の第３９の態様の画像処理装置は、第３８の態様の画像処理装置において、センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである。
【0047】
本開示の第４０の態様の画像処理装置は、第３７の態様の画像処理装置において、センサは、圧迫部材と予め定められた位置との距離を検出するセンサである。
【0048】
本開示の第４１の態様の画像処理装置は、第４０の態様の画像処理装置において、センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである。
【0049】
本開示の第４２の態様の画像処理装置は、第３４の態様の画像処理装置において、補正情報は、圧迫状態とされた乳房の厚み及び幅と、乳房を圧迫する圧力とを含み、プロセッサは、圧迫状態とされた乳房の幅、もしくは幅及び厚みと、乳房を圧迫する圧力と、圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した圧迫部材の撓みに基づいて補正した複数の超音波画像から補正済超音波画像を生成する。
【0050】
本開示の第４３の態様の画像処理装置は、第３４の態様の画像処理装置において、プロセッサは、複数の超音波画像の各々の座標を補正情報に基づいて補正した後、再構成することにより３次元超音波画像を補正済超音波画像として生成する。
【0051】
本開示の第４４の態様の画像処理装置は、第４３の態様の画像処理装置において、プロセッサは、補正情報に基づいて得られた、複数の超音波画像の各々の撮影位置における圧迫部材の撓み角に基づいて、複数の超音波画像の各々をアフィン変換する。
【0052】
本開示の第４５の態様の画像処理装置は、第４４の態様の画像処理装置において、補正情報は圧迫状態の乳房の幅及び厚み、乳房を圧迫する圧力の各々を表す情報を含み、プロセッサは、補正情報から撓み角を導出する。
【0053】
本開示の第４６の態様の画像処理装置は、第３４の態様の画像処理装置において、圧迫部材は、一方の辺に固定端があり、固定端と、固定端に対向する自由端とを結ぶ線と交差する方向に、プローブを走査させて得られた超音波画像である。
【0054】
本開示の第４７の態様の画像処理装置は、第３４の態様の画像処理装置において、プロセッサが補正済超音波画像に対応付けるか否か判定する放射線画像には、補正情報に基づいた補正がされていない。
【0055】
また、上記目的を達成するために本開示の第４８の態様の画像処理方法は、圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像を取得し、基準放射線画像と放射線画像との類似度に基づいて、補正済超音波画像と放射線画像とを対応付けるか否か判定する処理をコンピュータが実行する方法である。
【0056】
また、上記目的を達成するために本開示の第４９の態様の画像処理プログラムは、圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、複数の超音波画像の撮影時に圧迫部材上を走査したプローブの傾き、及び圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、取得した複数の超音波画像から、補正情報に基づいて補正された補正済超音波画像を生成し、乳房を撮影した放射線画像を取得し、基準放射線画像と放射線画像との類似度に基づいて、補正済超音波画像と放射線画像とを対応付けるか否か判定する処理をコンピュータに実行させるためのものであるム。
【0057】
また、上記目的を達成するために本開示の第５０の態様の画像撮影システムは、本開示の画像処理装置と、放射線画像撮影装置と、超音波画像撮影装置と、を備える。
【発明の効果】
【0058】
本開示によれば、圧迫状態で撮影された乳房の放射線画像と超音波画像との比較を行い易くすることができる。
【図面の簡単な説明】
【0059】
【図1】第１実施形態の画像撮影システムにおける全体の構成の一例を概略的に表した構成図である。
【図2】第１実施形態のマンモグラフィ装置の外観の一例を表す側面図である。
【図3】第１実施形態の超音波画像撮影装置の構成の一例を表したブロック図である。
【図4】第１実施形態の画像処理装置の構成の一例を表したブロック図である。
【図5】第１実施形態の画像処理装置の構成の一例を示す機能ブロック図である。
【図6】乳房を圧迫することによる圧迫部材の撓みについて説明するための図である。
【図7】圧迫部材の撓みによる超音波プローブの傾きについて説明するための図である。
【図8】画像補正部による超音波画像の補正について説明するための図である。
【図9】第１実施形態の画像撮影システムを用いた、放射線画像及び超音波画像の撮影の流れの一例を表すフローチャートである。
【図10】第１実施形態の画像処理装置における画像処理の流れの一例を表したフローチャートである。
【図11】第２実施形態の画像処理装置の構成の一例を示す機能ブロック図である。
【図12A】第２実施形態の画像撮影システムを用いた、放射線画像の単独撮影の流れの一例を表すフローチャートである。
【図12B】第２実施形態の画像撮影システムを用いた、超音波画像の単独撮影の流れの一例を表すフローチャートである。
【図13】第２実施形態の画像処理装置における画像処理の流れの一例を表したフローチャートである。
【図14】第１実施形態の画像処理装置における画像処理の流れの他の例を表したフローチャートである。
【図15】第１実施形態の画像処理装置における画像処理の流れの他の例を表したフローチャートである。
【図16】第２実施形態の画像処理装置の構成の一例を示す機能ブロック図である。
【図17】第３実施形態の画像処理装置における画像処理の流れの一例を表したフローチャートである。
【発明を実施するための形態】
【0060】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、本実施形態は本発明を限定するものではない。
【0061】
［第１実施形態］
まず、本実施形態の医用撮影システムにおける、全体の構成の一例について説明する。図１には、本実施形態の画像撮影システム１における、全体の構成の一例を表す構成図が示されている。
まず、本実施形態の医用撮影システムにおける、全体の構成の一例について説明する。図１には、本実施形態の画像撮影システム１における、全体の構成の一例を表す構成図が示されている。
【0062】
図１に示すように、本実施形態の画像撮影システム１は、放射線画像撮影システム２、超音波画像撮影装置１６、画像処理装置１８、及び画像保存システム１９を備える。
【0063】
まず、放射線画像撮影システム２の構成について説明する。放射線画像撮影システム２は、マンモグラフィ装置１０及びコンソール１２を含む。
【0064】
本実施形態のマンモグラフィ装置１０は、被検者の乳房を被写体として、乳房に放射線Ｒ（例えば、Ｘ線）を照射して乳房の放射線画像を撮影する装置である。なお、マンモグラフィ装置１０は、被検者が起立している状態（立位状態）のみならず、被検者が椅子（車椅子を含む）等に座った状態（座位状態）において、被検者の乳房を撮影する装置であってもよい。
【0065】
図２には、本実施形態のマンモグラフィ装置１０の外観の一例を示す側面図が示されている。なお、図２では、被検者の右側からマンモグラフィ装置１０を見た場合の側面図である。図２に示すように、マンモグラフィ装置１０は、放射線源３６Ｒと、放射線検出器３０と、放射線源３６Ｒと放射線検出器３０との間に配置された撮影台４０と、撮影台４０との間で乳房を圧迫する圧迫部材３４と、を備える。
【0066】
撮影台４０は、制御部２０、記憶部２２、Ｉ／Ｆ（Interface）部２４、操作部２６及び放射線検出器３０を備える。制御部２０は、コンソール１２の制御に応じて、マンモグラフィ装置１０の全体の動作を制御する。制御部２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備える（図示省略）。ＲＯＭには、ＣＰＵで実行される、放射線画像の撮影に関する制御を行うためのプログラムを含む各種プログラムが予め記憶されている。ＲＡＭは、各種データを一時的に記憶する。
【0067】
記憶部２２には、放射線画像の画像データ及びその他の各種情報等が記憶される。記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。なお、以下では、「放射線画像の画像データ」について、単に「放射線画像」という。また同様に、「超音波画像の画像データ」について、単に「超音波画像」という。
【0068】
Ｉ／Ｆ部２４は、有線通信又は無線通信により、コンソール１２との間で各種情報の通信を行う。具体的には、Ｉ／Ｆ部２４は、コンソール１２からマンモグラフィ装置１０の制御に関する情報を受信する。また、Ｉ／Ｆ部２４は、コンソール１２に対して、放射線画像を送信する。
【0069】
操作部２６は、撮影台４０等に設けられた、ユーザが手又は足等で操作可能なパーツであり、例えばスイッチ、ボタン、及びタッチパネル等である。また例えば、操作部２６は、ユーザによる音声入力を受け付けてもよい。
【0070】
放射線検出器３０は、撮影台４０の内部に配置され、被写体である乳房を通過した放射線Ｒを検出する。本実施形態のマンモグラフィ装置１０では、撮影を行う場合、撮影台４０の撮影面４０Ａ上には、被検者の乳房が医師及び技師等のユーザによってポジショニングされる。被検者の乳房が接する撮影面４０Ａ等は、放射線Ｒの透過性や強度の観点から、例えば、カーボン等で形成されている。
【0071】
放射線検出器３０は、被検者の乳房及び撮影台４０を透過した放射線Ｒを検出し、検出した放射線Ｒに基づいて放射線画像を生成し、生成した放射線画像を出力する。本実施形態の放射線検出器３０の種類は、特に限定されず、例えば、放射線Ｒを光に変換し、変換した光を電荷に変換する間接変換方式の放射線検出器であってもよいし、放射線Ｒを直接電荷に変換する直接変換方式の放射線検出器であってもよい。
【0072】
放射線源３６Ｒは、放射線照射部３６内に備えられている。図２に示すように放射線照射部３６は、撮影台４０及び圧迫ユニット４６と共にアーム部４２に設けられている。なお、図２に示すように本実施形態のマンモグラフィ装置１０は、アーム部４２と、基台４４と、軸部４５と、を備えている。アーム部４２は、基台４４によって、上下方向（Ｚ軸方向）に移動可能に保持される。軸部４５は、アーム部４２を基台４４に連結する。またアーム部４２は、軸部４５を回転軸として、基台４４に対して相対的に回転可能となっている。
【0073】
また、図２に示すように、圧迫部材３４は、圧迫ユニット４６に取り付けられている。圧迫ユニット４６と、アーム部４２とは、軸部４５を回転軸として、別々に、基台４４に対して相対的に回転可能となっている。本実施形態では、軸部４５、アーム部４２、及び圧迫ユニット４６にそれぞれギア（図示省略）が設けられ、このギア同士の噛合状態及び非噛合状態を切替えることにより、アーム部４２及び圧迫ユニット４６の各々が軸部４５に連結される。軸部４５に連結されたアーム部４２及び圧迫ユニット４６の一方または両方が、軸部４５と一体に回転する。
【0074】
本実施形態の圧迫部材３４は、板状の部材であり、圧迫ユニット４６内に設けられた圧迫板駆動部（図示省略）により上下方向（Ｚ軸方向）に移動し、撮影台４０との間で被検者の乳房を圧迫する。図２に示すように、圧迫部材３４の移動方向に関して、乳房を圧迫する方向、換言すると、撮影面４０Ａに近付く方向を「圧迫方向」といい、乳房への圧迫を解除する方向、換言すると、放射線照射部３６に近付く方向を「圧迫解除方向」という。
【0075】
圧迫部材３４は、乳房の圧迫において位置合わせや圧迫状態の確認を行うために光学的に透明であることが好ましく、また、放射線Ｒの透過性に優れた材料によって形成される。さらに、圧迫部材３４は、超音波画像撮影装置１６の超音波プローブ５５（図３参照、詳細後述）から送信される超音波を伝播し易い材料により形成されていることが望ましい。圧迫部材３４の材料としては、例えば、ポリメチルペンテン、ポリカーボネート、アクリル、及びポリエチレンテレフタレート等の樹脂を用いることができる。特に、ポリメチルペンテンは、剛性が低く伸縮性及び可撓性に優れると共に、超音波の反射率に影響する音響インピーダンスと超音波の減衰に影響する減衰係数とにおいて適した値を有するので、圧迫部材３４の材料として適している。なお、圧迫部材３４を構成する部材は、本実施形態に限定されない。例えば、圧迫部材３４を構成する部材は、フィルム状の部材であってもよい。
【0076】
なお、圧迫部材３４は、乳房全体を圧迫するものに限らず、乳房の一部を圧迫するものであってもよい。換言すると、乳房よりも小さい圧迫部材３４でもよい。このような圧迫部材３４としては、例えば、病変が存在する領域のみの放射線画像を撮影する、いわゆるスポット撮影に用いられる圧迫部材３４が知られている。
【0077】
一方、本実施形態のコンソール１２は、無線通信ＬＡＮ（Local Area Network）等を介してＲＩＳ（Radiology Information System）５等から取得した撮影オーダ及び各種情報と、操作部５６等によりユーザにより行われた指示等とを用いて、マンモグラフィ装置１０の制御を行う機能を有している。本実施形態のコンソール１２は、一例として、サーバーコンピュータである。
【0078】
次に、超音波画像撮影装置１６の構成について説明する。図３には、超音波画像撮影装置１６の構成の一例を表すブロック図が示されている。超音波画像撮影装置１６は、ユーザによって、被検者の乳房を被写体とした超音波画像を撮影する装置であり、いわゆる、ハンドヘルドタイプの超音波画像撮影装置である。
【0079】
図３に示すように、超音波画像撮影装置１６は、制御部５０、記憶部５２、Ｉ／Ｆ部５４、超音波プローブ５５、操作部５６、傾き検出センサ５７、及び表示部５８を備えている。制御部５０、記憶部５２、Ｉ／Ｆ部５４、超音波プローブ５５、操作部５６、傾き検出センサ５７、及び表示部５８はシステムバスやコントロールバス等のバス５９を介して相互に各種情報の授受が可能に接続されている。
【0080】
本実施形態の制御部５０は、超音波画像撮影装置１６の全体の動作を制御する。制御部５０は、ＣＰＵ５０Ａ、ＲＯＭ５０Ｂ、及びＲＡＭ５０Ｃを備える。ＲＯＭ５０Ｂには、ＣＰＵ５０Ａで実行される、各種のプログラム等が予め記憶されている。ＲＡＭ５０Ｃは、各種データを一時的に記憶する。
【0081】
記憶部５２には、撮影された超音波画像や、その他の各種情報等が記憶される。記憶部５２の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
【0082】
超音波プローブ５５は、ユーザによって、圧迫部材３４の上面３４Ａ（図２参照、被検者の乳房に接する側と反対側の面）に沿って移動され、乳房を超音波で走査することにより乳房の超音波画像を取得する。具体的には、超音波撮影が行われる場合には、超音波プローブ５５は、圧迫部材３４の上面３４Ａにエコーゼリー等の音響マッチング部材（図示省略）が塗布された状態で、ユーザにより、圧迫部材３４の上面３４Ａに沿って移動される。
【0083】
超音波プローブ５５は、１次元状、又は、２次元状に配列された複数の超音波トランスデューサ（図示省略）を備える。各々の超音波トランスデューサは、印加される駆動信号に基づいて超音波を送信すると共に、超音波エコーを受信することにより受信信号を出力する。
【0084】
複数の超音波トランスデューサの各々は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛：Ｐｂ(lead) zirconate titanate）に代表される圧電セラミックや、ＰＶＤＦ（ポリフッ化ビニリデン：polyvinylidene difluoride）に代表される高分子圧電素子等の圧電性を有する材料（圧電体）の両端に電極を形成した振動子により構成される。振動子の電極に、パルス状又は連続波の駆動信号を送って電圧を印加すると、圧電体が伸縮する。この伸縮によって、それぞれの振動子からパルス状又は連続波の超音波が発生し、それらの超音波の合成によって超音波ビームが形成される。また、それぞれの振動子は、伝搬する超音波を受信することによって伸縮し、電気信号を発生する。それらの電気信号は、超音波の受信信号として出力され、ケーブル（図示省略）を介して、超音波画像撮影装置１６の本体(図示省略）に入力される。
【0085】
傾き検出センサ５７は、超音波プローブ５５の傾きを検出するためのセンサである。上述したように、本実施形態では、超音波画像を撮影する場合、超音波プローブ５５が圧迫部材３４の上面３４Ａに沿って移動される。詳細は後述するが、圧迫部材３４が圧迫している乳房の形状に応じて撓む場合、圧迫部材３４の上面３４Ａに沿って移動する超音波プローブ５５は、マンモグラフィ装置１０の撮影台４０の撮影面４０Ａに対して傾いた状態となる。傾き検出センサ５７は、そのようにして傾く超音波プローブ５５の傾きを検出する。すなわち、本実施形態の傾き検出センサ５７は、超音波画像の撮影において、撮影台４０の撮影面４０Ａに対する傾きを検出する。具体的には、傾き検出センサ５７は、撮影台４０の撮影面４０Ａに対する垂線となす角度を検出する。このような傾き検出センサ５７の具体例としては、磁気センサ、ジャイロセンサ、及び加速度センサのいずれか等が挙げられる。なお、傾き検出センサ５７は、超音波プローブ５５内に備えられていてもよいし、超音波プローブ５５の外部に設けられる形態であってもよい。また、傾き検出センサ５７は、本実施形態と異なり、超音波画像撮影装置１６とは別途に設けられていてもよい。いずれにしても、傾き検出センサ５７が超音波プローブ５５の傾きを検出できれば、その配置や構成については限定されない、
【0086】
操作部５６は、超音波画像の撮影等に関する指示や各種情報等をユーザが入力するために用いられる。操作部５６は、特に限定されるものではなく、例えば、各種スイッチ、タッチパネル、タッチペン、及びマウス等が挙げられる。表示部５８は、各種情報や、超音波プローブ５５から受信した受信信号に応じた超音波画像等を表示する。なお、操作部５６と表示部５８とを一体化してタッチパネルディスプレイとしてもよい。
【0087】
Ｉ／Ｆ部５４は、無線通信または有線通信により、ＲＩＳ５、及び画像保存システム１９との間で各種情報の通信を行う。超音波画像撮影装置１６により撮影された超音波画像は、Ｉ／Ｆ部５４を介して画像保存システム１９に無線通信または有線通信によって送信される。
【0088】
次に、画像保存システム１９について説明する。画像保存システム１９は、放射線画像撮影システム２により撮影された放射線画像、及び超音波画像撮影装置１６により撮影された超音波画像を保存するシステムである。画像保存システム１９は、コンソール１２及び超音波画像撮影装置１６の各々と無線通信または有線通信により接続されている。画像保存システム１９は、保存している放射線画像及び超音波画像から、コンソール１２、超音波画像撮影装置１６、及びその他の読影装置（図示省略）等からの要求に応じた画像を取り出して、要求元の装置に送信する。画像保存システム１９の具体例としては、ＰＡＣＳ（Picture Archiving and Communication Systems）が挙げられる。
【0089】
次に、画像処理装置１８について説明する。画像処理装置１８は、放射線画像撮影システム２により撮影された放射線画像及び超音波画像撮影装置１６により撮影された超音波画像の各々を画像保存システム１９から取得し、予め定められた画像処理を行う機能を有する。
【0090】
図４には、画像処理装置１８の構成の一例を表すブロック図が示されている。図４に示すように、画像処理装置１８は、制御部６０、記憶部６２、Ｉ／Ｆ部６４、操作部６６、及び表示部６８を備えている。制御部６０、記憶部６２、Ｉ／Ｆ部６４、操作部６６、及び表示部６８はシステムバスやコントロールバス等のバス６９を介して相互に各種情報の授受が可能に接続されている。
【0091】
本実施形態の制御部６０は、画像処理装置１８の全体の動作を制御する。制御部６０は、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備える。ＲＯＭ６０Ｂには、ＣＰＵ６０Ａで実行される、後述する画像処理プログラム６１を含む各種のプログラム等が予め記憶されている。ＲＡＭ６０Ｃは、各種データを一時的に記憶する。
【0092】
記憶部６２には、画像保存システム１９から取得した放射線画像、超音波画像、及びその他の各種情報等が記憶される。記憶部６２の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
【0093】
操作部６６は、画像処理に関する指示や各種情報等をユーザが入力するために用いられる。なお、操作部６６は特に限定されるものではなく、例えば、各種スイッチ、タッチパネル、タッチペン、及びマウス等が挙げられる。表示部６８は、各種情報を表示する。なお、操作部６６と表示部６８とを一体化してタッチパネルディスプレイとしてもよい。
【0094】
Ｉ／Ｆ部６４は、無線通信または有線通信により、画像保存システム１９との間で放射線画像、超音波画像、及び各種情報の通信を行う。
【0095】
図５には、画像処理装置１８の機能の一例を表す機能ブロック図が示されている。画像処理装置１８は、放射線画像取得部７０、超音波画像取得部７１、補正情報取得部７２、画像補正部７４、画像生成部７６、対応付部７８、及び表示制御部７９を備える。一例として本実施形態の画像処理装置１８は、制御部６０のＣＰＵ６０Ａが画像処理プログラム６１を実行することにより、ＣＰＵ６０Ａが、放射線画像取得部７０、超音波画像取得部７１、補正情報取得部７２、画像補正部７４、画像生成部７６、対応付部７８、及び表示制御部７９として機能する。
【0096】
放射線画像取得部７０は、放射線画像Ｘを取得する機能を有する。一例として本実施形態では、ユーザが操作部６６により入力した表示条件を満たす、詳細を後述する連続撮影による一組の放射線画像Ｘと超音波画像Ｕを取得する。そのため、放射線画像取得部７０は、ユーザが入力した表示条件を受け付けると、受け付けた表示条件に対応する一組の放射線画像Ｘと超音波画像Ｕとのうちの放射線画像Ｘを、Ｉ／Ｆ部６４を介して、画像保存システム１９から取得する。表示条件としては、被検者及び乳房を識別する識別情報や、撮影日時を表す情報や、各組の撮影毎に付与される識別情報等が挙げられる。放射線画像取得部７０は、取得した放射線画像を対応付部７８に出力する。
【0097】
超音波画像取得部７１は、超音波画像Ｕを取得する機能を有する。上述したように、本実施形態の超音波画像取得部７１は、放射線画像取得部７０が放射線画像を取得する際に用いる表示条件に対応する超音波画像ＵをＩ／Ｆ部６４を介して、画像保存システム１９から取得する。なお、本実施形態の超音波画像撮影装置１６では、超音波プローブ５５を走査しながら複数回、撮影を繰り返すことで、乳房全体の超音波画像Ｕの撮影が行われる。すなわち、乳房全体としては、連続的に撮影された複数の超音波画像Ｕが得られることになる。そのため、超音波画像取得部７１は、複数の超音波画像Ｕを取得する。なお、説明を簡略化するため、この複数の超音波画像Ｕについて、単に「超音波画像Ｕ」という場合がある。超音波画像取得部７１は、取得した超音波画像Ｕを画像補正部７４に出力する。
【0098】
すなわち、本実施形態では、連続して撮影された一組の放射線画像Ｘと超音波画像Ｕとのうち、放射線画像Ｘを放射線画像取得部７０が取得し、超音波画像Ｕを超音波画像取得部７１が取得する。
【0099】
補正情報取得部７２は、超音波画像撮影装置１６が備える傾き検出センサ５７から、検出結果Ｓを、補正情報として取得する機能を有する。検出結果Ｓ、すなわち補正情報の具体例としては、圧迫部材３４の上面３４Ａ内、または撮影台４０の撮影面４０Ａ内における位置（ＸＹ座標）と、その位置における超音波プローブ５５の傾き角度とが挙げられる。補正情報取得部７２は、取得した補正情報を画像補正部７４に出力する。
【0100】
画像補正部７４は、複数の超音波画像Ｕの各々の座標を補正情報に基づいて補正する。ここで、超音波画像Ｕの補正について説明する。図６に示すように、乳房Ｗを圧迫する前の圧迫部材３４は、撓みがなく、上面３４Ａが撮影台４０に対して、平行な状態とみなせる。すなわち、乳房Ｗを圧迫する前の圧迫部材３４の上面３４Ａと、撮影台４０の撮影面４０Ａとは、平行な状態とみなせる。この状態から圧迫部材３４を圧迫方向に移動させ、乳房Ｗを圧迫状態にすると、乳房Ｗの形状等に応じて、圧迫部材３４が撓む。本実施形態のマンモグラフィ装置１０では、圧迫部材３４がＸ方向（被検者の左右方向）に特に撓みやすい。そのため、圧迫部材３４の上面３４Ａと、撮影台４０の撮影面４０Ａが非平行な状態となる。圧迫部材３４により乳房Ｗを圧迫状態として放射線画像Ｘを撮影する場合は、圧迫部材３４の撓みに係わらず、撮影面４０Ａに対して平行とみなせる画像を得ることができる。
【0101】
一方、圧迫部材３４により乳房Ｗを圧迫状態として超音波画像Ｕを撮影する場合は、図７に示すように、圧迫部材３４の上面３４Ａに超音波プローブ５５を沿わせるため、圧迫部材３４の撓みに応じて、超音波プローブ５５が撮影台４０の撮影面４０Ａに対して傾く。具体的には、圧迫部材３４に撓みが生じていない場合、撮影台４０の撮影面４０Ａに対する垂線Ｐと、超音波プローブ５５の中心線Ｌとのなす角度、すなわち撓み角θは０度となる。この場合、超音波プローブ５５を用いて撮影される超音波画像Ｕは、超音波プローブ５５の中心線Ｌに沿った画像となるため、撮影台４０の撮影面４０Ａに対して、垂直とみなせる面の断面画像となる。一方、圧迫部材３４に撓みが生じている場合、撮影台４０の撮影面４０Ａに対する垂線Ｐと、超音波プローブ５５の中心線Ｌとのなす角度、すなわち撓み角θが０°を超える。この場合、超音波プローブ５５を用いて撮影される超音波画像Ｕは、超音波プローブ５５の中心線Ｌに沿った画像となるため、撮影台４０の撮影面４０Ａに対して撓み角θの面の断面画像となってしまう。
【0102】
複数の超音波画像Ｕを再構成することにより、放射線画像Ｘの断層画像に相当する、乳房Ｗの３次元超音波画像や、撮影台４０の撮影面４０Ａに平行な面の断面画像（２次元の画像）を再構成する技術が知られている。上述のように、圧迫部材３４が撓んでいると、撮影される超音波画像Ｕが上述のように、撮影台４０の撮影面４０Ａに対して、垂直とみなせる面の断面画像ではない。そのため、複数の超音波画像Ｕをこのまま再構成して生成される３次元超音波画像や、断面画像が、撮影台４０の撮影面４０Ａに対して非平行な面の画像となる場合がある。
【0103】
そこで、本実施形態の画像補正部７４は、超音波プローブ５５の傾き検出センサ５７により撓み角θを検出し、撓み角θに基づいて、撮影により得られた超音波画像Ｕを、撮影台４０の撮影面４０Ａに垂直な面の超音波画像Ｕに補正する。一例として、本実施形態の画像補正部７４は、図８に示すように、超音波画像Ｕの深さ方向の各画素ｕ（図８では、画素ｕ１～ｕ４の４画素について図示）に対して、撓み角θに基づいてアフィン変換を行い、ＸＹ座標を、撮影台４０の撮影面４０Ａに平行な面の座標に変換する。画像補正部７４は、複数の超音波画像Ｕの各々に対して、このように撓み角θに基づいて補正を行った後、補正された複数の超音波画像Ｕを画像生成部７６に出力する。
【0104】
画像生成部７６は、画像補正部７４によって補正された複数の超音波画像Ｕを、上述のように再構成して、撮影台４０の撮影面４０Ａに平行とみなせる面の断面画像、及び３次元超音波画像の少なくとも一方を生成する。本実施形態における、これらの超音波画像Ｕの断面画像及び３次元超音波画像の少なくとも一方が、本開示の補正済超音波画像の一例である。なお、以降では、説明の簡略化のため、画像生成部７６が３次元超音波画像を生成する場合について説明する。画像生成部７６は、生成した３次元超音波画像を、対応付部７８に出力する。
【0105】
対応付部７８は、画像生成部７６により生成された３次元超音波画像と、放射線画像取得部７０が取得した放射線画像Ｘとを対応付ける。上述したように、放射線画像Ｘは、圧迫部材３４により乳房Ｗを圧迫状態として撮影しても、圧迫部材３４の撓みに係わらず、撮影面４０Ａに対して平行とみなせる画像を得ることができる。そのため、対応付部７８が３次元超音波画像と対応付ける放射線画像Ｘには、圧迫部材３４の撓みに基づく補正、すなわち補正情報に基づく補正を行わなくてよい。換言すると、対応付部７８は、圧迫部材３４の撓みに基づいて補正を行った複数の超音波画像Ｕから生成された３次元超音波画像に、圧迫部材３４の撓みに基づく補正を行わない放射線画像Ｘを対応付ける。なお、このように、放射線画像Ｘには、圧迫部材３４の撓みに基づく補正を行わないが、コントラストの調整やノイズ除去処理等の画像処理を行ってもよい。なお、対応付部７８が、３次元超音波画像と、放射線画像Ｘとを対応付ける方法は特に限定されず、例えば、対応関係を示す識別情報を３次元超音波画像及び放射線画像Ｘの各々に付与してもよい。また例えば、対応付部７８は、３次元超音波画像と、放射線画像Ｘとを組み合わせた一つの画像とすることにより、３次元超音波画像と放射線画像Ｘとを対応付けてもよい。対応付部７８は、３次元超音波画像と、放射線画像Ｘとを対応付けた状態でＩ／Ｆ部６４を介して出力し、画像保存システム１９に対応関係を維持したまたまで保存させる。また、対応付部７８は、対応付けた３次元超音波画像と、放射線画像Ｘとを表示制御部７９に出力する。
【0106】
表示制御部７９は、３次元超音波画像と、放射線画像Ｘとを表示部６８に表示させる。なお、表示制御部７９は、３次元超音波画像と、放射線画像Ｘとの対応関係、具体的には、撮影台４０の撮影面４０Ａ内の座標に対する対応関係をユーザが認識し易いように、３次元超音波画像及び放射線画像Ｘを表示させることが好ましい。
【0107】
次に、本実施形態の画像処理装置１８の作用について図面を参照して説明するが、まずは、画像撮影システム１を用いた、放射線画像Ｘ及び超音波画像Ｕの撮影の流れについて説明する。図９には、本実施形態の画像撮影システム１を用いた、放射線画像Ｘ及び超音波画像Ｕの撮影の流れの一例を表すフローチャートが示されている。
【0108】
まず、ユーザは、撮影台４０の撮影面４０Ａ上に、被写体となる被検者の乳房Ｗをポジショニングする。ポジショニングが完了すると、ユーザは、操作部２６により乳房Ｗの圧迫を指示する。そこで、図９のステップＳ１０で、マンモグラフィ装置１０の制御部２０は、圧迫部材３４により乳房Ｗの圧迫を開始する。具体的には、制御部２０は、乳房Ｗの圧迫の指示を受け付けると、圧迫部材３４を圧迫方向に移動させ、圧迫部材３４により撮影台４０の撮影面４０Ａとの間で乳房Ｗを圧迫状態にする。
【0109】
次のステップＳ１２では、マンモグラフィ装置１０に乳房Ｗの放射線画像Ｘを撮影する。具体的には、ユーザが操作部２６に含まれる照射スイッチを操作することにより、放射線源３６Ｒから放射線Ｒを乳房Ｗに照射させて、放射線検出器３０により放射線画像Ｘの撮影を行う。マンモグラフィ装置１０により撮影された放射線画像Ｘは、コンソール１２に出力され、予め定められたタイミングでコンソール１２から画像保存システム１９に出力され、画像保存システム１９内に保存される。
【0110】
次のステップＳ１４では、超音波画像撮影装置１６の超音波プローブ５５を技師が走査させて、圧迫部材３４により圧迫状態とされている乳房Ｗの複数の超音波画像Ｕを撮影する。具体的には、放射線画像Ｘの撮影後、ユーザは、圧迫部材３４の上面３４Ａに、エコーゼリー等の音響マッチング部材（図示省略）を塗布する。さらに、ユーザは、音響マッチング部材により覆われた、圧迫部材３４の上面３４Ａを超音波プローブ５５により超音波で走査することで複数の超音波画像Ｕを撮影する。
【0111】
なお、本実施形態の圧迫部材３４は、一方の辺に固定端がある。具体的には、図２に示すように、圧迫ユニット４６に接続される方が固定端である。本実施形態では、圧迫部材３４の固定端と、固定端に対向する自由端とを結ぶ線と交差する方向、すなわち、被検体の交差方向に、超音波プローブ５５を走査させて、複数の超音波画像Ｕを取得する。圧迫部材３４の固定端と自由端とを結ぶ方向、すなわち、被検者の前後方向には、圧迫部材３４は、ほぼ傾くだけであり、被検者の左右方向に圧迫部材３４が撓む。そのため、撓む方向を考慮すると、被検者の左右方向に超音波プローブ５５を走査して、複数の超音波画像Ｕを得ることにより、画像補正部７４による補正が行い易くなる。超音波画像撮影装置１６により撮影された超音波画像Ｕは、一旦、記憶部５２に記憶された後、予め定められたタイミングで超音波画像撮影装置１６から画像保存システム１９に出力され、画像保存システム１９内に保存される。
【0112】
超音波画像Ｕの撮影が終了すると、次のステップＳ１６では、圧迫部材３４による乳房Ｗの圧迫を解除する。具体的には、ユーザは、操作部２６により、圧迫を解除するための指示を行う。制御部２０は、乳房Ｗの圧迫の解除を受け付けると、圧迫部材３４を圧迫解除方向に移動させ、圧迫部材３４を撮影台４０の撮影面４０Ａから離れる方向に移動させて、圧迫部材３４による乳房Ｗの圧迫を解除する。このようにして、ステップＳ１６の処理が終了すると、放射線画像Ｘ及び超音波画像Ｕの連続撮影が終了する。なお、本実施形態では、図９に示した流れのように、乳房Ｗを圧迫部材３４により圧迫状態としたままで放射線画像Ｘ及び超音波画像Ｕを連続して撮影することを、「連続撮影」という。なお、放射線画像Ｘの撮影（図９のステップＳ１２）と、超音波画像Ｕの撮影（図９のステップＳ１４）との順番は限定されないが、乳房Ｗの圧迫時間を短縮する観点からは、本実施形態のように放射線画像Ｘの撮影を先に行うことが好ましい。また、放射線画像Ｘの撮影と超音波画像Ｕの撮影との間で、乳房Ｗの圧迫状態に変化がないとみなせる程度ならば、圧迫部材３４により乳房Ｗを圧迫する圧迫力を弱めてもよい。例えば、乳房Ｗの乳腺の展開具合に変化が生じないとみなせる程度ならば、圧迫部材３４による圧迫力を弱めてもよい。
【0113】
このようにして放射線画像Ｘ及び超音波画像Ｕの連続撮影が終了すると、画像処理装置１８による画像処理が行われる。本実施形態の画像処理装置１８は、一例として、上述したように、ユーザが操作部６６により入力した、表示させたい放射線画像Ｘ及び超音波画像Ｕの表示条件を受け付けた場合、制御部６０のＣＰＵ６０Ａが、ＲＯＭ６０Ｂに記憶されている画像処理プログラム６１を実行することにより、図１０に一例を示した画像処理を実行する。図１０には、本実施形態の画像処理装置１８における画像処理の流れの一例を表したフローチャートが示されている。
【0114】
まず、ステップＳ１００で放射線画像取得部７０は、上述したように、表示条件を満たす放射線画像Ｘを画像保存システム１９から取得する。次のステップＳ１０２で超音波画像取得部７１は、上述したように、表示条件を満たす超音波画像Ｕを画像保存システム１９から取得する。ステップＳ１００及びＳ１０２の処理により、画像処理装置１８は。連続撮影により得られた１組の放射線画像Ｘと超音波画像Ｕとを取得する。
【0115】
次のステップＳ１０４で補正情報取得部７２は、上述したように、超音波画像撮影装置１６の傾き検出センサ５７から検出結果Ｓを補正情報として取得する。一例として本実施形態の補正情報取得部７２は、上述したように、検出結果Ｓ、すなわち補正情報として、傾き検出センサ５７が検出した超音波プローブ５５の傾き角度を、圧迫部材３４の撓み角θとして取得する。
【0116】
次のステップＳ１０６で、画像補正部７４は、上述したように、補正情報に基づいて、複数の超音波画像Ｕの各々について、補正を行う。具体的には、本実施形態の画像補正部７４は、上述したように、補正情報である圧迫部材３４の撓み角θに基づいて、複数の超音波画像Ｕの各々についてアフィン変換を行うことで超音波画像Ｕの補正を行う。
【0117】
次のステップＳ１０８で画像生成部７６は、上述したように、補正された複数の超音波画像Ｕを再構成し、３次元超音波画像を生成する。
【0118】
次のステップＳ１１０で対応付部７８は、上記ステップＳ１００で取得した放射線画像Ｘと、上記ステップＳ１０８で生成した３次元超音波画像とを、上述のように対応付ける。また、対応付部７８は、放射線画像Ｘと３次元超音波画像とを対応付けた状態で、画像保存システム１９に保存させる。
【0119】
次のステップＳ１１２で表示制御部７９は、上述したように、上記ステップＳ１１０で対応付けた放射線画像Ｘと３次元超音波画像とを表示部６８に表示させる。ステップＳ１１２の処理が終了すると、図１０に示した画像処理が終了する。
【0120】
［第２実施形態］
以下、本開示の技術の別の実施形態について説明する。
なお、本実施形態において、画像撮影システム１全体の構成、マンモグラフィ装置１０、コンソール１２、超音波画像撮影装置１６、及び画像保存システム１９の構成及び動作は、第１実施形態と同様のため、説明を省略する。
以下、本開示の技術の別の実施形態について説明する。
なお、本実施形態において、画像撮影システム１全体の構成、マンモグラフィ装置１０、コンソール１２、超音波画像撮影装置１６、及び画像保存システム１９の構成及び動作は、第１実施形態と同様のため、説明を省略する。
【0121】
一方、本実施形態では、画像処理装置１８の機能及び動作が第１実施形態の画像処理装置１８と異なるため、画像処理装置１８について詳細に説明する。なお、画像処理装置１８のハードウェアの構成は、第１実施形態の画像処理装置１８（図４参照）と同様のため、ハードウェアの構成については説明を省略する。
【0122】
図１１には、本実施形態の画像処理装置１８の機能の一例を表す機能ブロック図が示されている。本実施形態の画像処理装置１８は、放射線画像取得部７０、超音波画像取得部７１、補正情報取得部７２、画像補正部７４、画像生成部７６、圧迫状態判定部７７、対応付部７８、及び表示制御部７９を備える。一例として本実施形態の画像処理装置１８は、制御部６０のＣＰＵ６０Ａが画像処理プログラム６１を実行することにより、ＣＰＵ６０Ａが、放射線画像取得部７０、超音波画像取得部７１、補正情報取得部７２、画像補正部７４、画像生成部７６、圧迫状態判定部７７、対応付部７８、及び表示制御部７９として機能する。
【0123】
図１１に示すように、本実施形態の放射線画像Ｘには、放射線画像Ｘを撮影した際の、乳房Ｗの圧迫条件ｃｘが対応付けられている。本実施形態の圧迫条件ｃｘとは、マンモグラフィ装置１０において、放射線画像Ｘを圧迫部材３４による圧迫する際の条件を表しており、乳房Ｗの圧迫状態に係わる条件である。本実施形態では、圧迫条件が同一の場合、乳房Ｗの圧迫状態が同一であるとみなせる。圧迫条件ｃｘの具体例としては、圧迫部材３４により乳房Ｗを圧迫する圧力、圧迫部材３４の種類、及び圧迫部材３４と撮影台４０の撮影面４０Ａと間隔等が挙げられる。
【0124】
そのため、本実施形態の放射線画像取得部７０は、放射線画像Ｘと、放射線画像Ｘに対応付けられた圧迫条件ｃｘとを取得し、圧迫状態判定部７７に出力する。
【0125】
また、図１１に示すように、本実施形態の超音波画像Ｕには、超音波画像Ｕを撮影した際の乳房Ｗの圧迫条件ｃｕが対応付けられている。なお、本実施形態では、超音波画像Ｕのみを撮影する場合もマンモグラフィ装置１０を用い、圧迫部材３４により乳房Ｗを圧迫状態にして超音波画像Ｕの撮影を行う。また、本実施形態では、圧迫条件ｃｕと圧迫条件ｃｘとを比較するため、圧迫条件ｃｕは、圧迫条件ｃｘと同様の条件としている。
【0126】
そのため、本実施形態の超音波画像取得部７１は、超音波画像Ｕと、超音波画像Ｕに対応付けられた圧迫条件ｃｕとを取得し、画像補正部７４に出力する。
【0127】
補正情報取得部７２は、第１実施形態において上述したように、乳房Ｗを圧迫することにより撓んだ圧迫部材３４の撓みに応じて傾く、超音波プローブ５５の傾き角に応じた撓み角θである検出結果Ｓを、補正情報として取得し、画像補正部７４に出力する。
【0128】
画像補正部７４は、第１実施形態において上述したように、圧迫部材３４の撓みによる撓み角θに基づいて、複数の超音波画像Ｕの各々について、撮影台４０の撮影面４０Ａに垂直な面の断面画像とする補正を行う。画像補正部７４は、補正後の複数の超音波画像Ｕと、圧迫条件ｃｕとを画像生成部７６に出力する。
【0129】
画像生成部７６は、第１実施形態において上述したように、画像補正部７４によって補正された複数の超音波画像Ｕを再構成して、３次元超音波画像を生成する。画像生成部７６は、生成した３次元超音波画像と、圧迫条件ｃｕとを圧迫状態判定部７７に出力する。
【0130】
圧迫状態判定部７７は、放射線画像Ｘの撮影における乳房Ｗの圧迫状態と、超音波画像Ｕの撮影における乳房Ｗの圧迫状態とが同一であるか否かを判定する。本実施形態の圧迫状態判定部７７は、放射線画像Ｘと超音波画像Ｕとが連続撮影されたものである場合、放射線画像Ｘ及び超音波画像Ｕの撮影における乳房Ｗの圧迫状態が同一であるとみなせると判定する。また本実施形態の圧迫状態判定部７７は、圧迫条件ｃｘと圧迫条件ｃｕとを比較し、圧迫条件ｃｘと圧迫条件ｃｕとが同一であるとみなせる場合、超音波画像Ｕの撮影における乳房Ｗの圧迫状態とが同一であるとみなせると判定する。圧迫状態判定部７７は、判定結果を対応付部７８に出力する。
【0131】
対応付部７８は、圧迫状態判定部７７の判定結果が、圧迫状態が同一であるとみなせるとの判定結果の場合、第１実施形態において上述したように、放射線画像Ｘと３次元超音波画像とを対応付ける。
【0132】
表示制御部７９は、放射線画像Ｘ及び３次元超音波画像を表示部６８に表示させる。なお、第１実施形態において上述したように、放射線画像Ｘと３次元超音波画像とが対応付けられた場合、対応関係をユーザが認識し易いように表示させることが好ましい。一方、放射線画像Ｘと３次元超音波画像とが対応付けられていない場合は、対応付けができない旨、すなわち、撮影における圧迫状態がことなる旨もユーザに提示することが好ましい。
【0133】
次に、本実施形態の画像撮影システム１を用いた、放射線画像Ｘ及び超音波画像Ｕの撮影の流れの一例について説明する。放射線画像Ｘ及び超音波画像Ｕの撮影としては、第１実施形態において上述したように、連続撮影（図９参照）を行うことが挙げられる。さらに、本実施形態では、連続撮影以下の場合も含まれる。具体的には、放射線画像Ｘのみを撮影する図１２Ａに示した撮影の流れと、超音波画像Ｕのみを撮影する図１２Ｂに示した撮影の流れの各々に基づいて、放射線画像Ｘと、超音波画像Ｕとを別途に撮影してもよい。具体的には、図１２Ａに示すように、図９に示した撮影の流れのうちの、ステップＳ１０、Ｓ１２、Ｓ１６の処理のみを行い、マンモグラフィ装置１０で圧迫部材３４により乳房Ｗを圧迫状態にして、乳房Ｗの放射線画像Ｘのみを撮影した後、圧迫状態を解除する。この放射線画像Ｘの撮影の前、または撮影の後に、図１２Ｂに示すように、図９に示した撮影の流れのうちの、ステップＳ１０、Ｓ１４、Ｓ１６の処理のみを行い、マンモグラフィ装置１０で圧迫部材３４により乳房Ｗを圧迫状態にして、乳房Ｗの超音波画像Ｕのみを撮影した後、圧迫状態を解除する。なお、撮影における乳房Ｗの圧迫状態が同一であれば、放射線画像Ｘの撮影に用いられるマンモグラフィ装置１０と、超音波画像Ｕの撮影の際に、乳房Ｗの圧迫に用いられるマンモグラフィ装置１０は同一でなくてもよい。また、撮影における乳房Ｗの圧迫状態が同一であれば、超音波画像Ｕの撮影の際に、乳房Ｗの圧迫に用いられる装置は、マンモグラフィ装置以外の装置であってもよい。
【0134】
次に、本実施形態の画像処理装置１８の作用について説明する。図１３には、本実施形態の画像処理装置１８における画像処理の流れの一例を表したフローチャートが示されている。
【0135】
まず、ステップＳ２００で放射線画像取得部７０は、上述したように、表示条件を満たす放射線画像Ｘ及び圧迫条件ｃｘを画像保存システム１９から取得する。次のステップＳ２０２で超音波画像取得部７１は、上述したように、表示条件を満たす超音波画像Ｕ及び圧迫条件ｃｕを画像保存システム１９から取得する。なお、この場合、放射線画像Ｘを取得するための表示条件と、超音波画像Ｕを取得するための表示条件とは同じであってもよいし、異なっていてもよい。
【0136】
次のステップＳ２０４で補正情報取得部７２は、第１実施形態の画像処理（図１０参照）のステップＳ１０４と同様に、超音波画像撮影装置１６の傾き検出センサ５７から検出結果Ｓを補正情報として取得する。
【0137】
次のステップＳ２０６で、画像補正部７４は、第１実施形態の画像処理（図１０参照）のステップＳ１０６と同様に、補正情報に基づいて、複数の超音波画像Ｕの各々について、補正を行う。
【0138】
次のステップＳ２０８で画像生成部７６は、第１実施形態の画像処理（図１０参照）のステップＳ１０８と同様に、補正された複数の超音波画像Ｕを再構成し、３次元超音波画像を生成する。
【0139】
次のステップＳ２１０で圧迫状態判定部７７は、上記ステップＳ２００で取得した放射線画像Ｘと、上記ステップＳ２０２で取得した超音波画像Ｕとが連続撮影により得られたものであるか否かを判定する。連続撮影により得られたものである場合、ステップＳ２１０の判定が肯定判定となり、ステップＳ２１４へ移行する。
【0140】
ステップＳ２１４で対応付部７８は、第１実施形態の画像処理（図１０参照）のステップＳ１１０と同様に、上記ステップＳ２００で取得した放射線画像Ｘと、上記ステップＳ２０８で生成した３次元超音波画像とを対応付ける。また、対応付部７８は、放射線画像Ｘと３次元超音波画像とを対応付けた状態で、画像保存システム１９に保存させた後、ステップＳ２１６へ移行する。
【0141】
一方、放射線画像Ｘと超音波画像Ｕとが連続撮影により得られたものではない場合、ステップＳ２１０の判定が否定判定となり、ステップＳ２１２へ移行する。ステップＳ２１２で圧迫状態判定部７７は、上述したように、乳房Ｗの圧迫状が同一でるとみなせるか否かを判定する。具体的には、本実施形態では、放射線画像Ｘの撮影における乳房Ｗの圧迫条件ｃｘと、超音波画像Ｕの撮影における乳房Ｗの圧迫条件ｃｕとが同一であるとみなせるか否かを判定する。圧迫条件ｃｘと圧迫条件ｃｕとが同一であるとみなせる場合、ステップＳ２１２に判定が肯定判定となり、ステップＳ２１４へ移行する。一方、圧迫条件ｃｘと圧迫条件ｃｕとが同一であるとみなせない場合、ステップＳ２１２に判定が否定判定となり、ステップＳ２１６へ移行する。
【0142】
ステップＳ２１６で表示制御部７９は、上述したように、放射線画像Ｘと３次元超音波画像とを表示部６８に表示させる。ステップＳ２１６の処理が終了すると、図１３に示した画像処理が終了する。
【0143】
なお、圧迫状態判定部７７が、放射線画像Ｘ及び超音波画像Ｕの撮影における乳房Ｗの圧迫状態が同一であるとみなす方法は、上述した圧迫条件ｃｘと圧迫条件ｃｕとが同一であるか否かによる方法に限定されない。例えば、放射線画像Ｘの撮影において圧迫状態にある乳房Ｗの状態と、超音波画像Ｕの撮影において圧迫状態にある乳房Ｗの状態とが同一である場合に、放射線画像Ｘ及び超音波画像Ｕの撮影における乳房Ｗの圧迫状態が同一であるとみなす方法であってもよい。この場合、図１３に示した画像処理のステップＳ２１２の処理を、図１４に示したステップＳ２１２Ａの処理に置き換えればよい。ステップＳ２１２Ａで圧迫状態判定部７７は、放射線画像Ｘの撮影において圧迫状態にある乳房Ｗの状態と、超音波画像Ｕの撮影において圧迫状態にある乳房Ｗの状態とが同一であるか否かを判定する。なお、圧迫状態判定部７７が乳房Ｗの状態が同一であるか否かを判定する方法は、特に限定されず、例えば、圧迫部材３４により圧迫状態とされた乳房Ｗの厚み、圧迫状態における乳房Ｗと撮影台４０の撮影面４０Ａの接触面積、及び圧迫状態における乳房Ｗと圧迫部材３４との接触面積のうちの少なくとも一つが同一であるか否かによって判定する方法を用いてもよい。
【0144】
また、例えば、連続撮影により得られた放射線画像Ｘと超音波画像Ｕとのうちの超音波画像Ｕにより生成された３次元超音波画像と、別途、撮影された放射線画像Ｘとを対応付ける形態としてもよい。この場合、圧迫状態判定部７７は、連続撮影により得られた放射線画像Ｘを基準（以下、「基準放射線画像ＫＸ」という）とし、基準放射線画像ＫＸと、別途、撮影された放射線画像Ｘとの類似度が予め定められた基準を満たす場合、乳房Ｗの圧迫状態が同一であるとみなすことができる。予め定められた基準とは類似度が閾値以上である場合等があげられ、放射線画像Ｘにおける何に具体的に注目して類似度を判断するかは、圧迫状態に応じて変化する内容に基づいて定めることが好ましい。例えば、放射線画像Ｘにおける、乳房Ｗにおけるスキンラインの位置、乳房Ｗ部分の面積、及び乳腺の展開具合等の類似度が挙げられる。
【0145】
上述したように本実施形態の画像処理装置１８では、連続撮影ではない放射線画像Ｘと超音波画像Ｕとにおいても、撮影における乳房Ｗの圧迫状態が同一とみなせるならば、放射線画像Ｘと」超音波画像Ｕとを対応付ける。しかしながら、このような場合、放射線画像Ｘを撮影したときと、超音波画像Ｕを撮影したときとで、乳房Ｗ自体の状態が同一ではない場合、放射線画像Ｘと３次元超音波画像とを対応付けることが好ましくない場合がある。このような乳房Ｗ自体の状態としては、乳房Ｗの硬さ、及び大きさ等が挙げられる。一般に、同一の被検者の同一方向の乳房Ｗであっても、その日によって、硬さや大きさが異なる場合がある。このような場合、例えば、圧迫条件が同じであっても、圧迫状態とされた乳房Ｗの状態が異なってしまう場合がある。また例えば、乳房Ｗ自体の状態としては、乳腺、石灰化、及び腫瘤等、乳房Ｗの内部構造の状態が挙げられる。
【0146】
このように、放射線画像Ｘを撮影したときと超音波画像Ｕを撮影したときとで、乳房Ｗ自体の状態が同一ではない場合、放射線画像Ｘと３次元超音波画像とを対応付けないようにする場合の例について説明する。この場合、放射線画像Ｘには、圧迫条件ｃｘと同様に、放射線画像Ｘを撮影した際の乳房Ｗ自体の状態を表す情報が対応付けられており、放射線画像取得部７０は、放射線画像Ｘと井に、乳房Ｗ自体の状態を表す情報を取得する。また、超音波画像Ｕには、ｃｕと同様に、超音波画像Ｕを撮影した際の乳房Ｗ自体の状態を表す情報が対応付けられており、超音波画像取得部７１は、超音波画像Ｕと共に、乳房Ｗ自体の状態を表す情報を取得する。対応付部７８は、放射線画像Ｘを撮影した際の乳房Ｗ自体の状態を表す情報と、超音波画像Ｕを撮影した際の乳房Ｗ自体の状態を表す情報とを比較し、両者が同一とみなせる場合、放射線画像Ｘと３次元超音波画像とを対応付ける。この場合の画像処理では、図１５に示すように、図１３に示した画像処理のステップＳ２１４の前にステップＳ２１３の処理を含む。すなわち、ステップＳ２１０で肯定判定となった場合、及びステップＳ２１２で肯定判定となった場合、ステップＳ２１３に移行する。ステップＳ２１３で対応付部７８は、上述したように、放射線画像Ｘを撮影した際の乳房Ｗ自体の状態と、超音波画像Ｕを撮影した際の乳房Ｗ自体の状態とが同一とみなせるか否かを判定する。同一であるとみなせる場合、ステップＳ２１３の判定が肯定判定となり、ステップＳ２１４へ移行する。一方、同一であるとみなせない場合、ステップＳ２１３の判定が否定判定となり、ステップＳ２１６へ移行する。これにより、画像処理装置１８では、圧迫状態が同一かつ、乳房Ｗ自体の状態が同一の場合に、放射線画像Ｘと３次元超音波画像とを対応付けることとなる。
【0147】
［第３実施形態］
以下、本開示の技術の別の実施形態について説明する。具体的には、本実施形態では、画像処理装置１８が、連続撮影により得られた超音波画像Ｕにより生成された３次元超音波画像と、別途に撮影された放射線画像Ｘとを対応付ける形態について説明する。
以下、本開示の技術の別の実施形態について説明する。具体的には、本実施形態では、画像処理装置１８が、連続撮影により得られた超音波画像Ｕにより生成された３次元超音波画像と、別途に撮影された放射線画像Ｘとを対応付ける形態について説明する。
【0148】
なお、本実施形態において、画像撮影システム１全体の構成、マンモグラフィ装置１０、コンソール１２、超音波画像撮影装置１６、及び画像保存システム１９の構成及び動作は、第１実施形態と同様のため、説明を省略する。
【0149】
一方、本実施形態では、画像処理装置１８の機能及び動作が第１実施形態の画像処理装置１８と異なるため、画像処理装置１８について詳細に説明する。なお、画像処理装置１８のハードウェアの構成は、第１実施形態の画像処理装置１８（図４参照）と同様のため、ハードウェアの構成については説明を省略する。
【0150】
図１６には、本実施形態の画像処理装置１８の機能の一例を表す機能ブロック図が示されている。本実施形態の画像処理装置１８は、放射線画像取得部７０、連続撮影画像取得部７３、補正情報取得部７２、画像補正部７４、画像生成部７６、画像類似度導出部７５、対応付部７８、及び表示制御部７９を備える。一例として本実施形態の画像処理装置１８は、制御部６０のＣＰＵ６０Ａが画像処理プログラム６１を実行することにより、ＣＰＵ６０Ａが、放射線画像取得部７０、連続撮影画像取得部７３、補正情報取得部７２、画像補正部７４、画像生成部７６、画像類似度導出部７５、対応付部７８、及び表示制御部７９として機能する。
【0151】
本実施形態の放射線画像取得部７０は、第１実施形態において上述仕様に、放射線画像Ｘを取得し、画像類似度導出部７５に出力する。
【0152】
連続撮影画像取得部７３は、連続撮影により得られた、基準放射線画像ＫＸと、複数の超音波画像Ｕとを取得し、画像補正部７４に出力する。
【0153】
補正情報取得部７２は、第１実施形態において上述したように、乳房Ｗを圧迫することにより撓んだ圧迫部材３４の撓みに応じて傾く、超音波プローブ５５の傾き角に応じた撓み角θである検出結果Ｓを、補正情報として取得し、画像補正部７４に出力する。
【0154】
画像補正部７４は、第１実施形態において上述したように、圧迫部材３４の撓みによる撓み角θに基づいて、複数の超音波画像Ｕの各々について、撮影台４０の撮影面４０Ａに垂直な面の断面画像とする補正を行う。画像補正部７４は、基準放射線画像ＫＸと、補正後の複数の超音波画像Ｕとを画像生成部７６に出力する。
【0155】
画像生成部７６は、第１実施形態において上述したように、画像補正部７４によって補正された複数の超音波画像Ｕを再構成して、３次元超音波画像を生成する。画像生成部７６は、基準放射線画像ＫＸと、生成した３次元超音波画像とを画像類似度導出部７５に出力する。
【0156】
画像類似度導出部７５は、上述したように、基準放射線画像ＫＸと、放射線画像Ｘとの類似度を導出する。放射線画像同士の類似度としては、圧迫状態に応じて変化する内容に基づいて定めることが好ましい。例えば、類似度としては、放射線画像同士における、乳房Ｗにおけるスキンラインの位置、乳房Ｗ部分の面積、及び乳腺の展開具合等の類似度が挙げられる。画像類似度導出部７５は、基準放射線画像ＫＸと、放射線画像Ｘとの類似度を表す数値を対応付部７８に出力する。
【0157】
対応付部７８は、画像類似度導出部７５が導出した類似度が予め定められた基準を満たす場合、第１実施形態において上述したように、放射線画像Ｘと３次元超音波画像とを対応付ける。一例として、本実施形態の対応付部７８は予め定められた基準として、類似度が閾値以上である場合、予め定められた基準を満たすと判定し、放射線画像Ｘと３次元超音波画像とを対応付ける。
【0158】
表示制御部７９は、放射線画像Ｘ及び３次元超音波画像を表示部６８に表示させる。なお、第２実施形態において上述したように、放射線画像Ｘと３次元超音波画像とを表示部６８に表示させることが好ましい。
【0159】
次に、本実施形態の画像処理装置１８の作用について説明する。図１７には、本実施形態の画像処理装置１８における画像処理の流れの一例を表したフローチャートが示されている。
【0160】
まず、ステップＳ３００で放射線画像取得部７０は、上述したように、表示条件を満たす放射線画像Ｘを画像保存システム１９から取得する。次のステップＳ３０２で連続撮影画像取得部７３は、上述したように、表示条件を満たす連続撮影により得られた基準放射線画像ＫＸ及び複数の超音波画像Ｕを画像保存システム１９から取得する。
【0161】
次のステップＳ３０４で補正情報取得部７２は、第１実施形態の画像処理（図１０参照）のステップＳ１０４と同様に、超音波画像撮影装置１６の傾き検出センサ５７から検出結果Ｓを補正情報として取得する。
【0162】
次のステップＳ３０６で、画像補正部７４は、第１実施形態の画像処理（図１０参照）のステップＳ１０６と同様に、補正情報に基づいて、複数の超音波画像Ｕの各々について、補正を行う。
【0163】
次のステップＳ３０８で画像生成部７６は、第１実施形態の画像処理（図１０参照）のステップＳ１０８と同様に、補正された複数の超音波画像Ｕを再構成し、３次元超音波画像を生成する。
【0164】
次のステップＳ３１０で画像類似度導出部７５は、上述したように、上記ステップＳ３００で取得した放射線画像Ｘと、上記ステップＳ３０２で取得した基準放射線画像ＫＸとの類似度を導出する。
【0165】
次のステップＳ３１２で対応付部７８は、上記ステップＳ３１０で導出した類似度が閾値以上であるか否かを判定する。類似度が閾値未満の場合、ステップＳ３１２の判定が否定判定となり、ステップＳ３１６へ移行する。一方、類似度が閾値以上の場合、ステップＳ３１２の判定が肯定判定となり、ステップＳ３１４へ移行する。
【0166】
ステップＳ３１４で対応付部７８は。第１実施形態の画像処理（図１０参照）のステップＳ１１０と同様に、上記ステップＳ３００で取得した放射線画像Ｘと、上記ステップＳ３０８で生成した３次元超音波画像とを対応付ける。また、対応付部７８は、放射線画像Ｘと３次元超音波画像とを対応付けた状態で、画像保存システム１９に保存させた後、ステップＳ３１６へ移行する。
【0167】
ステップＳ３１６で表示制御部７９は、上述したように、放射線画像Ｘと３次元超音波画像とを表示部６８に表示させる。ステップＳ３１６の処理が終了すると、図１７に示した画像処理が終了する。
【0168】
以上説明したように、第１～第３実施形態の画像処理装置１８によれば、圧迫状態で撮影された乳房の放射線画像と超音波画像との比較を行い易くすることができる。
【0169】
なお、各実施形態の画像補正部７４が複数の超音波画像Ｕの各々を補正する方法は、上記各実施形態に記載された方法に限定されない。画像補正部７４が複数の超音波画像Ｕを補正するためには、超音波プローブ５５の傾き、及び圧迫部材３４の撓みの少なくとも一方を補正情報として取得できればよい。
【0170】
圧迫部材３４の撓みを取得するための変形例としては、圧迫部材３４、具体的には圧迫部材３４の上面３４Ａと予め定められた位置との距離を検出するセンサを用い、センサが検出した距離を補正情報として用いることができる。この場合、画像補正部７４は、センサが検出した距離から圧迫部材３４の撓み角θを導出する。このようなセンサとしては、例えば、ＴＯＦ（Time Of Flight）カメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つが挙げられる。このようなセンサは、マンモグラフィ装置１０に備えられていてもよいし、マンモグラフィ装置１０の外部に設けられていてもよい。
【0171】
また、補正情報として、圧迫状態とされた乳房Ｗの幅、若しくは幅及び厚みと、乳房Ｗを圧迫する圧力とを表す情報を用いてもよい。この場合、圧迫状態とされた乳房Ｗの幅、若しくは幅及び厚みと、乳房Ｗを圧迫する圧力と、圧迫部材３４の撓み角θとの対応関係を表す対応関係情報を予め作成しておく。そして、画像補正部７４は、対応関係情報と補正情報とに基づいて、圧迫部材３４の撓み角θを導出し、撓み角θに基づいて、複数の超音波画像Ｕの各々を補正する。
【0172】
また、補正情報として、圧迫状態の乳房Ｗの幅及び厚み、乳房Ｗを圧迫する圧力の各々を表す情報であってもよい。この場合、画像補正部７４は、圧迫状態の乳房Ｗの幅及び厚み、乳房Ｗを圧迫する圧力から、構造力学的に、圧迫部材３４の撓み角θを導出し、撓み角θに基づいて、複数の超音波画像Ｕの各々を補正する。なお、構造力学的に撓み角θを導出する場合、圧迫部材３４の構造、圧迫部材３４のヤング率、及び乳房Ｗのヤング率も用いることが好ましい。また、乳房Ｗを剛体とした場合、圧迫状態の乳房Ｗの厚みを用いなくてもよいが、乳房Ｗの幅及び厚みを用いることにより、乳房Ｗの変形も考慮した、より高度な補正を行うことができる。なお、圧迫状態の乳房Ｗの幅及び厚み、乳房Ｗを圧迫する圧力等を補正情報として用いることを可能にするための方法については、特に限定されない。例えば、圧迫状態の乳房Ｗの幅及び厚み、乳房Ｗを圧迫する圧力等の検出方法は、特に限定されず、公知の手法を用いることができる。圧迫状態の乳房Ｗの幅の検出方法の具体例としては、圧迫状態の乳房Ｗを可視光カメラにより撮影した撮影画像に対して画像解析を行うことにより検出する方法が挙げられる。また、圧迫状態の乳房Ｗの厚みの検出方法の具体例としては、乳房を圧迫するために圧迫部材３４を初期位置から移動させた移動量に基づいて検出する方法が挙げられる。
【0173】
上記各実施形態において、例えば放射線画像取得部７０、超音波画像取得部７１、補正情報取得部７２、画像補正部７４、画像生成部７６、対応付部７８、及び表示制御部７９といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device ：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0174】
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
【0175】
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0176】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
【0177】
また、上記各実施形態では、画像処理プログラム６１が画像処理装置１８の制御部６０に予め記憶（インストール）されている態様を説明したが、これに限定されない。画像処理プログラム６１は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、画像処理プログラム６１は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0178】
その他、上記各実施形態で説明した画像撮影システム１、放射線画像撮影システム２、マンモグラフィ装置１０、超音波画像撮影装置１６、及び画像処理装置１８等の構成及び動作等は一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることはいうまでもない。また、上記各実施形態を適宜組み合わせてもよいこともいうまでもない。
【0179】
以上の上記実施形態に関し、更に以下の付記を開示する。
【0180】
（付記１）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
画像処理装置。
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
画像処理装置。
【0181】
（付記２）
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記１に記載の画像処理装置。
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記１に記載の画像処理装置。
【0182】
（付記３）
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記２に記載の画像処理装置。
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記２に記載の画像処理装置。
【0183】
（付記４）
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記３に記載の画像処理装置。
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記３に記載の画像処理装置。
【0184】
（付記５）
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記２に記載の画像処理装置。
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記２に記載の画像処理装置。
【0185】
（付記６）
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記５に記載の画像処理装置。
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記５に記載の画像処理装置。
【0186】
（付記７）
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記１に記載の画像処理装置。
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記１に記載の画像処理装置。
【0187】
（付記８）
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記１から付記７のいずれか１つに記載の画像処理装置。
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記１から付記７のいずれか１つに記載の画像処理装置。
【0188】
（付記９）
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記８に記載の画像処理装置。
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記８に記載の画像処理装置。
【0189】
（付記１０）
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記９に記載の画像処理装置。
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記９に記載の画像処理装置。
【0190】
（付記１１）
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記１から付記１０のいずれか１つに記載の画像処理装置。
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記１から付記１０のいずれか１つに記載の画像処理装置。
【0191】
（付記１２）
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
付記１から付記１１のいずれか１つに記載の画像処理装置。
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
付記１から付記１１のいずれか１つに記載の画像処理装置。
【0192】
（付記１３）
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
【0193】
（付記１４）
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
圧迫部材によって乳房を圧迫状態としたまままで放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記補正済超音波画像と、前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
【0194】
（付記１５）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
画像処理装置。
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
画像処理装置。
【0195】
（付記１６）
前記プロセッサは、
前記複数の超音波画像の撮影と前記放射線画像の撮影とが、前記乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
前記プロセッサは、
前記複数の超音波画像の撮影と前記放射線画像の撮影とが、前記乳房を圧迫部材により圧迫状態としたまま連続して行われた場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
【0196】
（付記１７）
前記プロセッサは、
前記乳房を圧迫状態とするための圧迫条件が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
前記プロセッサは、
前記乳房を圧迫状態とするための圧迫条件が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
【0197】
（付記１８）
前記プロセッサは、
圧迫状態とされた乳房の状態が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
前記プロセッサは、
圧迫状態とされた乳房の状態が同一の場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
【0198】
（付記１９）
前記プロセッサは、
さらに、前記複数の超音波画像の撮影における前記乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記放射線画像と、前記補正済超音波画像とを対応付ける
付記１５に記載の画像処理装置。
前記プロセッサは、
さらに、前記複数の超音波画像の撮影における前記乳房自体の状態と、前記放射線画像の撮影における前記乳房自体の状態とが同一であるとみなせる場合に、前記放射線画像と、前記補正済超音波画像とを対応付ける
付記１５に記載の画像処理装置。
【0199】
（付記２０）
前記プロセッサは、
前記乳房を前記圧迫部材により圧迫状態としたまま前記複数の超音波画像の撮影と連続して撮影が行われた基準放射線画像をさらに取得し、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
前記プロセッサは、
前記乳房を前記圧迫部材により圧迫状態としたまま前記複数の超音波画像の撮影と連続して撮影が行われた基準放射線画像をさらに取得し、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記乳房の圧迫状態が同一であるとみなせると判定する
付記１５に記載の画像処理装置。
【0200】
（付記２１）
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記１５に記載の画像処理装置。
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記１５に記載の画像処理装置。
【0201】
（付記２２）
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記２１に記載の画像処理装置。
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記２１に記載の画像処理装置。
【0202】
（付記２３）
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記２２に記載の画像処理装置。
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記２２に記載の画像処理装置。
【0203】
（付記２４）
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記２１に記載の画像処理装置。
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記２１に記載の画像処理装置。
【0204】
（付記２５）
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記２４に記載の画像処理装置。
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記２４に記載の画像処理装置。
【0205】
（付記２６）
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記１５に記載の画像処理装置。
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧力とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記１５に記載の画像処理装置。
【0206】
（付記２７）
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記１５から付記２６のいずれか１つに記載の画像処理装置。
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記１５から付記２６のいずれか１つに記載の画像処理装置。
【0207】
（付記２８）
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記２７に記載の画像処理装置。
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記２７に記載の画像処理装置。
【0208】
（付記２９）
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記２８に記載の画像処理装置。
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記２８に記載の画像処理装置。
【0209】
（付記３０）
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記１５から付記２９のいずれか１つに記載の画像処理装置。
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記１５から付記２９のいずれか１つに記載の画像処理装置。
【0210】
（付記３１）
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
付記１５から付記３０のいずれか１つに記載の画像処理装置。
前記プロセッサが前記補正済超音波画像に対応付ける放射線画像には、前記補正情報に基づいた補正がされていない
付記１５から付記３０のいずれか１つに記載の画像処理装置。
【0211】
（付記３２）
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータが実行する画像処理方法。
【0212】
（付記３３）
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
圧迫部材によって乳房を圧迫状態として撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記放射線画像における前記乳房の圧迫状態が、前記複数の超音波画像の撮影における前記乳房の圧迫状態と同一であるとみなせるか否かを判定し、
前記乳房の圧迫状態が同一であるとみなせると判定した場合、前記補正済超音波画像と前記放射線画像とを対応付ける
処理をコンピュータに実行させるための画像処理プログラム。
【0213】
（付記３４）
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
画像処理装置。
少なくとも１つのプロセッサを備え、
前記プロセッサは、
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
画像処理装置。
【0214】
（付記３５）
前記プロセッサは、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記補正済超音波画像と前記放射線画像とを対応付ける
付記３４に記載の画像処理装置。
前記プロセッサは、
前記基準放射線画像と前記放射線画像との類似度が予め定められた基準を満たす場合、前記補正済超音波画像と前記放射線画像とを対応付ける
付記３４に記載の画像処理装置。
【0215】
（付記３６）
前記予め定められた基準は、撮影における前記乳房の圧迫状態が同一であるとみなすための基準である
付記３５に記載の画像処理装置。
前記予め定められた基準は、撮影における前記乳房の圧迫状態が同一であるとみなすための基準である
付記３５に記載の画像処理装置。
【0216】
（付記３７）
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記３４から付記３６のいずれか１つに記載の画像処理装置。
前記プロセッサは、
前記プローブの傾き、及び前記圧迫部材の撓みの少なくとも一方を検出するセンサの検出結果を前記補正情報として取得する
付記３４から付記３６のいずれか１つに記載の画像処理装置。
【0217】
（付記３８）
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記３７に記載の画像処理装置。
前記センサは、前記プローブに設けられた、前記プローブの傾きを検出するためのセンサである
付記３７に記載の画像処理装置。
【0218】
（付記３９）
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記３８に記載の画像処理装置。
前記センサは、磁気センサ、ジャイロセンサ、及び加速度センサのいずれかである
付記３８に記載の画像処理装置。
【0219】
（付記４０）
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記３７に記載の画像処理装置。
前記センサは、前記圧迫部材と予め定められた位置との距離を検出するセンサである
付記３７に記載の画像処理装置。
【0220】
（付記４１）
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記４０に記載の画像処理装置。
前記センサは、ＴＯＦカメラ、３Ｄカメラ、及びレーザ測距装置の少なくとも１つである
付記４０に記載の画像処理装置。
【0221】
（付記４２）
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧
とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記３４に記載の画像処理装置。
前記補正情報は、圧迫状態とされた前記乳房の厚み及び幅と、前記乳房を圧迫する圧
とを含み、
前記プロセッサは、
圧迫状態とされた前記乳房の幅、もしくは幅及び厚みと、前記乳房を圧迫する圧力と、前記圧迫部材の撓みを表す情報との対応関係を表す対応関係情報に基づいて特定した前記圧迫部材の撓みに基づいて補正した前記複数の超音波画像から前記補正済超音波画像を生成する
付記３４に記載の画像処理装置。
【0222】
（付記４３）
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記３４から付記４２のいずれか１つに記載の画像処理装置。
前記プロセッサは、
前記複数の超音波画像の各々の座標を前記補正情報に基づいて補正した後、再構成することにより３次元超音波画像を前記補正済超音波画像として生成する
付記３４から付記４２のいずれか１つに記載の画像処理装置。
【0223】
（付記４４）
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記４３に記載の画像処理装置。
前記プロセッサは、
前記補正情報に基づいて得られた、前記複数の超音波画像の各々の撮影位置における前記圧迫部材の撓み角に基づいて、前記複数の超音波画像の各々をアフィン変換する
付記４３に記載の画像処理装置。
【0224】
（付記４５）
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記４４に記載の画像処理装置。
前記補正情報は圧迫状態の前記乳房の幅及び厚み、前記乳房を圧迫する圧力の各々を表す情報を含み、
前記プロセッサは、
前記補正情報から前記撓み角を導出する
付記４４に記載の画像処理装置。
【0225】
（付記４６）
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記３４から付記４５のいずれか１つに記載の画像処理装置。
前記圧迫部材は、一方の辺に固定端があり、前記固定端と、前記固定端に対向する自由端とを結ぶ線と交差する方向に、前記プローブを走査させて得られた超音波画像である
付記３４から付記４５のいずれか１つに記載の画像処理装置。
【0226】
（付記４７）
前記プロセッサが前記補正済超音波画像に対応付けるか否か判定する放射線画像には、前記補正情報に基づいた補正がされていない
付記３４に記載の画像処理装置。
前記プロセッサが前記補正済超音波画像に対応付けるか否か判定する放射線画像には、前記補正情報に基づいた補正がされていない
付記３４に記載の画像処理装置。
【0227】
（付記４８）
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータが実行する画像処理方法。
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータが実行する画像処理方法。
【0228】
（付記４９）
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータに実行させるための画像処理プログラム。
圧迫部材によって乳房を圧迫状態としたまままで基準放射線画像及び連続的に撮影された複数の超音波画像を取得し、
前記複数の超音波画像の撮影時に前記圧迫部材上を走査したプローブの傾き、及び前記圧迫部材の撓みの少なくとも一方にかかわる補正情報を取得し、
取得した前記複数の超音波画像から、前記補正情報に基づいて補正された補正済超音波画像を生成し、
前記乳房を撮影した放射線画像を取得し、
前記基準放射線画像と前記放射線画像との類似度に基づいて、前記補正済超音波画像と前記放射線画像とを対応付けるか否か判定する
処理をコンピュータに実行させるための画像処理プログラム。
【0229】
（付記５０）
付記１から付記１２のいずれか１項、または付記１５から付記３１のいずれか１項、または付記３４から付記４７のいずれか１項に記載の画像処理装置と、
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム
付記１から付記１２のいずれか１項、または付記１５から付記３１のいずれか１項、または付記３４から付記４７のいずれか１項に記載の画像処理装置と、
放射線画像撮影装置と、
超音波画像撮影装置と、
を備えた画像撮影システム
【符号の説明】
【0230】
１ 画像撮影システム
２ 放射線画像撮影システム
５ ＲＩＳ
１０ マンモグラフィ装置
１２ コンソール
１６ 超音波画像撮影装置
１８ 画像処理装置
１９ 画像保存システム
２０、５０、６０ 制御部
５０Ａ、６０Ａ ＣＰＵ
２２、５２、６２ 記憶部
２４、５４、６４ Ｉ／Ｆ部
２６、５６、６６ 操作部
３０ 放射線検出器、３０Ａ 検出面
３４ 圧迫板、３４Ａ 上面
３６ 放射線照射部、３６Ｒ 放射線源
４０ 撮影台、４０Ａ 撮影面
４２ アーム部
４４ 基台
４５ 軸部
４６ 圧迫ユニット
５０Ｂ、６０Ｂ ＲＯＭ
５０Ｃ、６０Ｃ ＲＡＭ
５５ 超音波プローブ
５７ 傾き検出センサ
５８、６８ 表示部
５９、６９ バス
６１ 画像処理プログラム
７０ 放射線画像取得部
７１ 超音波画像取得部
７２ 補正情報取得部
７３ 連続撮影画像取得部
７４ 画像補正部
７５ 画像類似度導出部
７６ 画像生成部
７７ 圧迫状態判定部
７８ 対応付部
７９ 表示制御部
ｃｘ、ｃｕ 圧迫条件
ＫＸ 基準放射線画像
Ｌ 中心線
Ｐ 垂線
Ｒ 放射線
Ｓ 検出結果
Ｕ 超音波画像、ｕ１～ｕ４ 画素
Ｗ 乳房
Ｘ 放射線画像
θ 撓み角
２ 放射線画像撮影システム
５ ＲＩＳ
１０ マンモグラフィ装置
１２ コンソール
１６ 超音波画像撮影装置
１８ 画像処理装置
１９ 画像保存システム
２０、５０、６０ 制御部
５０Ａ、６０Ａ ＣＰＵ
２２、５２、６２ 記憶部
２４、５４、６４ Ｉ／Ｆ部
２６、５６、６６ 操作部
３０ 放射線検出器、３０Ａ 検出面
３４ 圧迫板、３４Ａ 上面
３６ 放射線照射部、３６Ｒ 放射線源
４０ 撮影台、４０Ａ 撮影面
４２ アーム部
４４ 基台
４５ 軸部
４６ 圧迫ユニット
５０Ｂ、６０Ｂ ＲＯＭ
５０Ｃ、６０Ｃ ＲＡＭ
５５ 超音波プローブ
５７ 傾き検出センサ
５８、６８ 表示部
５９、６９ バス
６１ 画像処理プログラム
７０ 放射線画像取得部
７１ 超音波画像取得部
７２ 補正情報取得部
７３ 連続撮影画像取得部
７４ 画像補正部
７５ 画像類似度導出部
７６ 画像生成部
７７ 圧迫状態判定部
７８ 対応付部
７９ 表示制御部
ｃｘ、ｃｕ 圧迫条件
ＫＸ 基準放射線画像
Ｌ 中心線
Ｐ 垂線
Ｒ 放射線
Ｓ 検出結果
Ｕ 超音波画像、ｕ１～ｕ４ 画素
Ｗ 乳房
Ｘ 放射線画像
θ 撓み角
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17】
