IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-07
(45)【発行日】2024-06-17
(54)【発明の名称】画像観察装置及び画像観察プログラム
(51)【国際特許分類】
   A61B 6/00 20240101AFI20240610BHJP
   A61B 8/14 20060101ALI20240610BHJP
【FI】
A61B6/00 530Z
A61B6/00 550D
A61B8/14
【請求項の数】 10
(21)【出願番号】P 2020159406
(22)【出願日】2020-09-24
(65)【公開番号】P2022052893
(43)【公開日】2022-04-05
【審査請求日】2023-08-01
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】オン グアン イ
(72)【発明者】
【氏名】野辺 昌史
(72)【発明者】
【氏名】種元 貴行
(72)【発明者】
【氏名】石坂 卓己
(72)【発明者】
【氏名】吹上 孝雄
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特開2011-229707(JP,A)
【文献】中国特許出願公開第103202706(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 6/00-6/58
A61B 8/00-8/15
(57)【特許請求の範囲】
【請求項1】
被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1医用画像から病変候補を選択する選択部と、
前記乳房を前記第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、前記病変候補の位置に対応する対象領域を算出する算出部と、
前記病変候補を明示した第1医用画像と、前記対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する表示制御部と、
前記病変候補の値又は特定の値に基づいて、前記病変候補の値に対応する病変候補領域を前記対象領域から絞り込む絞り込み部と、
を具備し、
前記表示制御部は、前記第1医用画像及び前記第2医用画像とは異なる表示領域に、前記病変候補領域を明示した第2医用画像である第3医用画像を表示するように前記表示部を制御する
像観察装置。
【請求項2】
被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1医用画像から病変候補を選択する選択部と、
前記乳房を前記第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、前記病変候補の位置に対応する対象領域を算出する算出部と、
前記病変候補を明示した第1医用画像と、前記対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する表示制御部と、
前記病変候補の値又は特定の値に基づいて、前記病変候補の値に対応する病変候補領域を前記対象領域から絞り込む絞り込み部と、
を具備し、
前記表示制御部は、前記第1医用画像及び前記第2医用画像とは異なる表示領域に、前記病変候補領域とその周辺領域とを含む第2医用画像である第3医用画像を表示するように前記表示部を制御し、
前記周辺領域は、画素値を同一値とした背景領域である、
像観察装置。
【請求項3】
前記第3医用画像に対する操作のうち、前記病変候補領域に対する操作を受け付ける一方、前記病変候補領域とは異なる領域に対する操作を無視する操作制限部、を更に備えた請求項1又は2記載の画像観察装置。
【請求項4】
前記病変候補領域に対する操作は、前記病変候補領域を読影するための操作である、請求項3記載の画像観察装置。
【請求項5】
前記読影するための操作は、前記病変候補領域の階調を変更するための操作、前記病変候補領域の大きさを変更するための操作、前記病変候補領域に対するクリック操作、及び前記病変候補領域を切り出すための操作のうちのいずれかである、請求項4記載の画像観察装置。
【請求項6】
前記特定の値は、予め設定された値、又はユーザに指示された値であり、
前記値は、画素値又は画素値の範囲である、請求項乃至5のいずれか一項に記載の画像観察装置。
【請求項7】
前記対象領域からコンピュータ支援検出(CAD)によって病変候補を検出する検出部、を更に備えた請求項1又は2記載の画像観察装置。
【請求項8】
前記絞り込み部は、前記対象領域から前記病変候補領域として複数の領域が得られた場合、前記複数の領域のうち、最も高い優先度をもつ領域を前記病変候補領域として絞り込む、請求項1又は2記載の画像観察装置。
【請求項9】
前記絞り込み部は、前記第2医用画像内のニップルと前記複数の領域との間の複数の距離のうち、前記第1医用画像内のニップルと前記病変候補との間の距離に最も近い距離に対し、前記最も高い優先度を割り当てる、請求項8記載の画像観察装置。
【請求項10】
コンピュータに、
被検体を第1方向に圧迫した状態で撮影して得られた第1医用画像に病変候補を選択する機能、
前記被検体を前記第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、前記病変候補の位置に対応する対象領域を特定する機能、
前記病変候補を明示した第1医用画像と、前記対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する機能、
前記病変候補の値又は特定の値に基づいて、前記病変候補の値に対応する病変候補領域を前記対象領域から絞り込む機能、
を実現させるための画像観察プログラムであって、
前記制御する機能は、前記第1医用画像及び前記第2医用画像とは異なる表示領域に、前記病変候補領域を明示した第2医用画像である第3医用画像を表示するように前記表示部を制御する、画像観察プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像観察装置及び画像観察プログラムに関する。
【背景技術】
【0002】
乳癌検診の際にマンモグラフィ撮影装置は、被検体の左右の乳房を個別に第1方向に圧迫した状態で撮影し、また、当該左右の乳房を個別に第2方向に圧迫された状態で撮影する。撮影により得られたマンモグラフィ画像は、左乳房の第1方向画像と、右乳房の第1方向画像と、左乳房の第2方向画像と、右乳房の第2方向画像との計4枚となる。例えば、第1方向を頭尾方向(CranioCaudal projection:CC)としてもよく、第2方向を内外斜方向(MedioLateral Oblique projection:MLO)としてもよい。また例えば、第1方向を内外斜方向(MLO)としてもよく、第2方向を頭尾方向(CC)としてもよい。いずれにしても、以下の例では、CC方向画像をCC画像とも呼び、MLO方向画像をMLO画像とも呼ぶ。
【0003】
これら4枚のマンモグラフィ画像は、基本的には、左右の同側同士のペアで読影が行われる。例えば、左乳房のCC画像及びMLO画像のペアで読影が行われ、右乳房のCC画像及びMLO画像のペアで読影が行われる。
【0004】
しかしながら、複数の病変候補のあるマンモグラフィ画像の場合、ペアの一方の画像内の病変候補に対応して他方の画像から病変候補を探す負荷が高く、他方の画像から病変候補を見つけるまでに時間がかかっている。例えば、2つの病変候補(C1、C2)を含む右乳房の場合、右乳房のMLO画像に2つの病変候補(C1_mlo、C2_mlo)が撮影され、右乳房のCC画像に2つの病変候補(C1_cc、C2_cc)が撮影される。このとき、MLO画像内のある病変候補(C1_mlo)に対応する、CC画像内の病変候補(C1_cc)を探すための負荷が高い。現状では、読影医が経験に基づき、ペアの一方の画像内の病変候補に対応する病変候補をペアの他方の画像から探している。
【先行技術文献】
【特許文献】
【0005】
【文献】特許第6502216号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、マンモグラフィ画像におけるペアの一方の画像内の病変候補に対応して他方の画像から病変候補を探す負荷を軽減させることである。
【0007】
ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。
【課題を解決するための手段】
【0008】
実施形態に係る画像観察装置は、選択部、算出部及び表示制御部を備えている。
前記選択部は、被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1医用画像から病変候補を選択する。
前記算出部は、前記乳房を前記第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、前記病変候補の位置に対応する対象領域を算出する。
前記表示制御部は、前記病変候補を明示した第1医用画像と、前記対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する。
【図面の簡単な説明】
【0009】
図1図1は、一実施形態に係る画像観察装置を備えた医用情報処理システムの構成を示すブロック図である。
図2図2は、一実施形態におけるクロスリファレンス機能の一例を説明するための模式図である。
図3図3は、一実施形態におけるクロスリファレンス機能の他の例を説明するための模式図である。
図4図4は、一実施形態における領域絞り込み機能の一例を説明するための模式図である。
図5図5は、一実施形態における領域絞り込み機能の他の例を説明するための模式図である。
図6図6は、一実施形態における動作を説明するための模式図である。
図7図7は、一実施形態におけるクロスリファレンス処理の第1方法の一例を説明するための模式図である。
図8図8は、一実施形態における当該第1方法の他の例を説明するための模式図である。
図9図9は、一実施形態におけるクロスリファレンス処理の第2方法の一例を説明するための模式図である。
図10図10は、一実施形態における当該第2方法の他の例を説明するための模式図である。
図11図11は、一実施形態における当該第2方法の変形例に用いる胸壁検出方法を説明するための模式図である。
図12図12は、一実施形態におけるクロスリファレンス処理の第3方法の一例を説明するための模式図である。
図13図13は、一実施形態における当該第3方法の他の例を説明するための模式図である。
図14図14は、一実施形態における領域表示処理の一例を説明するための模式図である。
図15図15は、一実施形態における領域絞り込み処理の一例を説明するための模式図である。
図16図16は、一実施形態における領域絞り込み処理の変形例を説明するための模式図である。
図17図17は、一実施形態におけるユーザ支援処理としてのCADの例を説明するための模式図である。
図18図18は、一実施形態におけるユーザ支援処理としてのESG処理及び操作制限処理の例を説明するための模式図である。
図19図19は、一実施形態におけるユーザ支援処理としてのESG処理及び操作制限処理の例を説明するための模式図である。
図20図20は、一実施形態におけるESG処理及びボディマーク処理を説明するための模式図である。
図21図21は、一実施形態におけるボディマーク処理におけるクロスリファレンス処理を説明するための模式図である。
図22図22は、一実施形態における当該クロスリファレンス処理を説明するための模式図である。
図23図23は、一実施形態における当該クロスリファレンス処理を用いた他の変形例について補足的に説明するための模式図である。
【発明を実施するための形態】
【0010】
以下、一実施形態について図面を用いて説明する。
図1は、一実施形態に係る画像観察装置を備えた医用情報処理システムの構成を示すブロック図である。この医用情報処理システムは、マンモグラフィ撮影装置10、超音波診断装置30、画像記憶装置50及び画像観察装置60がネットワークNwを介して通信可能となっている。なお、画像観察装置60は、破線で画像観察装置20として示すように、マンモグラフィ撮影装置10に搭載されてもよい。言い換えると、マンモグラフィ撮影装置10の処理回路(図示せず)は、マンモグラフィ撮影のための各機能に加え、画像観察装置20の各機能を実現するように動作してもよい。あるいは、画像観察装置60は、破線で画像観察装置40として示すように、超音波診断装置30に搭載されてもよい。言い換えると、超音波診断装置30の処理回路(図示せず)は、超音波診断のための各機能に加え、画像観察装置60の各機能を実現するように動作してもよい。これは以下の各実施形態でも同様である。
【0011】
ここで、マンモグラフィ撮影装置10は、医用画像であるマンモグラフィ画像を撮影可能な装置である。具体的には、マンモグラフィ撮影装置10は、被検体の左右の乳房を個別に第1方向に圧迫した状態で撮影し、また、当該左右の乳房を個別に第2方向に圧迫された状態で撮影する。撮影により得られたマンモグラフィ画像は、左乳房の第1方向画像と、右乳房の第1方向画像と、左乳房の第2方向画像と、右乳房の第2方向画像との計4枚となる。以下、左乳房の第1方向画像と、右乳房の第1方向画像とをそれぞれ「第1マンモグラフィ画像」とも呼ぶ。同様に、左乳房の第2方向画像と、右乳房の第2方向画像とをそれぞれ「第2マンモグラフィ画像」とも呼ぶ。「第1マンモグラフィ画像」及び「第2マンモグラフィ画像」を区別しない場合、4枚の画像の各々を「マンモグラフィ画像」とも呼ぶ。第1方向及び第2方向としては、例えば、頭尾方向(CranioCaudal projection:CC)、内外方向(MedioLateral projection:ML)、内外斜方向(MedioLateral Oblique projection:MLO)等のうち、CC方向と、MLO方向又はML方向とが適宜、使用可能となっている。本実施形態では、一例として、CC方向及びMLO方向を用いている。この場合、「CC方向画像」及び「MLO方向画像」をそれぞれ「CC画像」及び「MLO画像」とも呼ぶ。
【0012】
超音波診断装置30は、医用画像である超音波画像を撮影可能な装置であり、図示しない超音波プローブを被検体の乳房の所望の位置に当てた状態で超音波を送受信することにより撮影可能となっている。また、超音波診断装置30は、マンモグラフィ画像や乳房のボディマークを表示することにより、超音波プローブを当てる乳房内の位置を案内可能としてもよい。また、超音波診断装置30は、超音波プローブの位置センサを備えることにより、超音波プローブの位置を乳房のボディマーク上に表示可能としてもよい。
【0013】
画像記憶装置50は、マンモグラフィ撮影装置10及び超音波診断装置30により撮影された複数種類の画像データを記憶する記憶装置である。画像記憶装置50は、画像サーバ装置と呼んでもよい。各画像データは、画像検査分野における標準規格のいわゆるDICOM(Digital Imaging Communications and Medicine)画像ファイルであり、付帯情報を有している。付帯情報は複数の付帯事項からなる。付帯情報は患者を識別するための患者IDの付帯事項を必ず含む。また、付帯事項には患者IDに加えて、マンモグラフィ撮影装置10及び超音波診断装置30を識別するためのモダリティID、撮影日を示す撮影日情報、撮影部位を示す撮影部位情報、当該画像データが形態画像または機能画像のどちらであるかを示す種別情報、画像の収集条件(スキャン条件、撮影条件)、造影剤の情報(造影剤の種類、注入量、注入時間等)、検査オーダ(検査部位、検査目的等)、検査ID、シリーズIDのうちの少なくとも1つを含む。また、本実施形態では、付帯情報は上記した各種付帯事項を含むとしたが、これらに限定するものでなく、例えば、画像データ毎に割り当てられる画像IDなどを更に含むとしてもよい。
【0014】
一方、画像観察装置60は、通信インタフェース61、メモリ62、入力インタフェース63、ディスプレイ64及び処理回路65を備えている。
【0015】
ここで、通信インタフェース61は、画像観察装置60をネットワークNwに接続して他の装置と通信するための回路である。通信インタフェース61としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、画像観察装置60と他の装置との間の通信に通信インタフェース61が介在する旨の記載を省略する。
【0016】
メモリ62は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hardware Disk Drive)及び画像メモリなど電気的情報を記録するメモリと、それらメモリに付随するメモリコントローラやメモリインタフェースなどの周辺回路から構成されている。メモリ62は、本画像観察装置の画像観察プログラム、マンモグラフィ画像、ボディマーク、超音波画像、超音波画像の撮像位置情報等の各種データ群などを記憶する。なお、超音波画像のボディマーク及び撮像位置情報は提供されない場合もある。その場合、メモリ62は、ボディマーク及び撮像位置情報を記憶しない。
【0017】
入力インタフェース63は、操作者(ユーザ)からの各種指示・命令・情報・選択・設定を画像観察装置本体に入力するためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド(又はトラックパッド)、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ(又はタッチスクリーン)等によって実現される。入力インタフェース63は、処理回路65に接続されており、ユーザから受け取った入力操作を電気信号へ変換し処理回路65へと出力する。この場合、入力インタフェース63は、ユーザがマウス、キーボード等の物理的な操作部品により各種指示を入力するためのユーザインタフェース(GUI:Graphical User Interface)をディスプレイ64に表示させてもよい。なお、本明細書において入力インタフェース63は物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路65へ出力する電気信号の処理回路も入力インタフェース63の例に含まれる。以下の説明では、「ユーザによる入力インタフェース63の操作」を「ユーザの操作」ともいう。
【0018】
ディスプレイ64は、医用画像などを表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイと内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。ディスプレイ64は、例えば、メモリ62内の第1マンモグラフィ画像と、処理回路65により生成された模式図及び算出された所定範囲などを表示可能である。ディスプレイ64は、表示部の一例である。
【0019】
処理回路65は、ユーザにより入力インタフェース63を介してから入力された指示に基づいて、メモリ62に記憶された画像観察プログラムを読み出し、これらに従って画像観察装置60を制御する。例えば、処理回路65は、メモリ62から読み出した画像観察プログラムに従って、画像観察装置60の各機能を実現させるプロセッサである。例えば、処理回路65は、コンピュータに、被検体を第1方向に圧迫した状態で撮影して得られた第1医用画像に病変候補を選択する機能、当該被検体を当該第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、当該病変候補の位置に対応する対象領域を特定する機能、当該病変候補を明示した第1医用画像と、当該対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する機能、を実現させるための画像観察プログラムを実行してもよい。あるいは、処理回路65は、画像観察装置60の各機能のうち、更に他の機能をコンピュータに実現させるための画像観察プログラムを実行してもよい。ここで、各機能としては、例えば、画像処理機能66、表示制御機能67及びユーザ支援機能68などがある。画像処理機能66は、例えば、スキンライン検出機能66a、乳房特徴検出機能66b、クロスリファレンス機能66c及び領域絞り込み機能66dなどがある。ユーザ支援機能68は、例えば、操作制限機能68a、読影支援機能68b、ESG処理機能68c及びボディマーク検索機能68dなどがある。ESGは、後述するエコースキャンガイドの略語である。なお、各機能は、適宜、複数のプロセッサに分散させて実現してもよい。例えば、各機能のうち、スキンライン検出機能66a、乳房特徴検出機能66b及びクロスリファレンス機能66cを第1プロセッサに実行させ、残りの各機能を第2プロセッサに実行させてもよい。あるいは、各機能は、適宜、外部のクラウド又は他の装置内の画像観察装置20,40に実行させてもよい。例えば、各機能のうち、画像処理機能66を外部のクラウド、又はマンモグラフィ撮影装置10内の画像観察装置20の処理回路(図示せず)に実行させ、残りの表示制御機能67及びユーザ支援機能68を処理回路65に実行させてもよい。あるいは、各機能のうち、画像処理機能66を処理回路65に実行させ、残りの表示制御機能67及びユーザ支援機能68を超音波診断装置30内の画像観察装置40の処理回路(図示せず)に実行させてもよい。また、スキンライン検出機能66a、乳房特徴検出機能66b、領域絞り込み機能66d及びユーザ支援機能68は、任意の付加的事項であり、省略してもよい。スキンライン検出機能66a、乳房特徴検出機能66bを省略する場合、例えば、ユーザの操作により、マンモグラフィ画像上のスキンラインや特徴を指示してもよい。
【0020】
次に、画像処理機能66が備えるスキンライン検出機能66a、乳房特徴検出機能66b、クロスリファレンス機能66c及び領域絞り込み機能66dについて順に述べる。
【0021】
スキンライン検出機能66aは、マンモグラフィ画像のスキンライン(乳房の輪郭)を検出する。スキンライン検出機能66aは、例えば、マンモグラフィ画像の画素値のヒストグラムに基づいて閾値を決定し、当該閾値を用いてスキンラインを検出してもよい。また、スキンライン検出機能66aは、例えば、エッジ強調フィルタ又はソーベルフィルタを用いてスキンラインを検出してもよい。
【0022】
乳房特徴検出機能66bは、スキンラインが検出されたマンモグラフィ画像から乳房特徴(乳房の両端、ニップル、胸壁)を検出する。乳房特徴検出機能66bは、例えば、縦の直線又は斜めの直線をスキンラインに近づけ、当該直線とスキンラインとが接触した位置により、乳房特徴を検出してもよい。また、乳房特徴検出機能66bは、例えば、先に検出した乳房特徴に基づいて、他の乳房特徴を検出してもよい。
【0023】
クロスリファレンス機能66cは、被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1マンモグラフィ画像(第1医用画像)から病変候補を選択する。病変候補の選択は、例えば、ユーザの操作に応じて実行してもよく、コンピュータ支援検出(CAD)の結果に含まれる病変候補の座標に応じて実行してもよい。あるいは、病変候補の選択は、CADの結果に対するユーザの操作に応じて実行してもよい。また、「病変候補」は「病変」と呼んでもよい。また、クロスリファレンス機能66cは、当該乳房を当該第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2マンモグラフィ画像(第2医用画像)のうち、当該病変候補の位置に対応する対象領域を算出する。当該病変候補の位置は、選択された病変候補の座標(第1マンモグラフィ画像内の座標)である。本実施形態では、前述した通り、第1方向及び第2方向の一例として、CC方向及びMLO方向を用いている。ここで、第1方向をCC方向とし、第2方向をMLO方向としてもよい。反対に、第1方向をMLO方向とし、第2方向をCC方向としてもよい。また、前述同様に、CC方向画像をCC画像とも呼び、MLO方向画像をMLO画像とも呼ぶ。
【0024】
例えば第1方向がCC方向であり、第2方向がMLO方向である場合の一例を図2に示す。図2の上段に示すように、右乳房のCC画像70R、左乳房のCC画像70L、右乳房のMLO画像80R、左乳房のMLO画像80Lの表示中、右乳房のCC画像70R及びMLO画像80Rに2つの病変候補が見られたとする。このとき、クロスリファレンス機能66cは、例えばユーザの操作に応じて、右乳房のCC画像70Rの病変候補1,2のうち、一方の病変候補1を曲線で囲んで病変候補90を選択する。しかる後、クロスリファレンス機能66cは、図2の下段に示すように、右乳房のMLO画像80Rのうち、病変候補1に対応する対象領域91を算出する。
【0025】
また例えば、第1方向がMLO方向であり、第2方向がCC方向である場合の一例を図3に示す。図3の上段に示すように、右乳房のMLO画像80R、左乳房のMLO画像80L、右乳房のCC画像70R、左乳房のCC画像70Lの表示中、右乳房のMLO画像80R及びCC画像70Rに2つの病変候補が見られたとする。このとき、クロスリファレンス機能66cは、例えばユーザの操作に応じて、右乳房のMLO画像80Rの病変候補1,2のうち、一方の病変候補1を曲線で囲んで病変候補90を選択する。しかる後、クロスリファレンス機能66cは、図3の下段に示すように、右乳房のCC画像70Rのうち、病変候補1に対応する対象領域91を算出する。このようなクロスリファレンス機能66c及び処理回路65は、選択部及び算出部の一例である。
【0026】
領域絞り込み機能66dは、当該病変候補の値又は特定の値に基づいて、当該病変候補の値に対応する病変候補領域を対象領域から絞り込む。ここで、特定の値は、予め設定された値、又はユーザに指示された値としてもよく、当該値は、画素値又は画素値の範囲としてもよい。このような領域絞り込み機能66dは、例えば、図4に示すように、CC画像70Rの病変候補1の値に基づいて、MLO画像80Rの対象領域91から病変候補領域92を絞り込む。また例えば、領域絞り込み機能66dは、図5に示すように、MLO画像80Rの病変候補1の値に基づいて、CC画像70Rの対象領域91から病変候補領域92を絞り込む。
【0027】
また、領域絞り込み機能66dは、当該対象領域から当該病変候補領域として複数の領域が得られた場合、当該複数の領域のうち、最も高い優先度をもつ領域を当該病変候補領域として絞り込むようにしてもよい。ここで、優先度の付け方としては、例えば、以下の(a)~(d)のいずれか又は複数の組合せが適宜、使用可能となっている。
【0028】
(a)関連性の高さ:計算式により、第2マンモグラフィ画像内の病変・ニップル間距離と、第1マンモグラフィ画像内の病変・ニップル間距離との差が最も小さい病変に最も高い優先度を付ける。これは、撮像方向の異なるマンモグラフィ画像間でニップルとの距離が最も似ている病変同士が同じ病変と推測されることによる。よって例えば、計算式により、ニップルとの距離の近い方に高い優先度を付ける(高い関連性をもつため)。具体的には例えば、領域絞り込み機能66dは、第2マンモグラフィ画像(第2医用画像)内のニップルと当該複数の領域との間の複数の距離のうち、第1マンモグラフィ画像(第1医用画像)内のニップルと当該病変候補との間の距離に最も近い距離に対し、当該最も高い優先度を割り当てるようにしてもよい。
【0029】
(b)階調の差:複数の領域間の階調の差が近い方に高い優先度を付ける。この場合、画像間の階調を平準化した上で階調の差を比較することが好ましい。あるいは、画像のヘッダから取得した線量、電流、圧迫力、乳房厚により調整した階調の差を比較してもよい。
【0030】
(c)サイズの近さ:複数の領域のサイズのうち、対象領域のサイズに最も近いサイズに最も高い優先度を割り当てる。比較するサイズは、画像から得られるサイズに限らず、乳房の剛体変換を考慮したサイズでもよい。
【0031】
(d)画像内の位置:画像内の乳房の中央から外側に向かう方向に、昇順又は降順の優先度を付けてもよい。あるいは、画像内の乳房の上から下に向かう方向に、昇順又は降順の優先度を付けてもよい。
【0032】
このような領域絞り込み機能66d及び処理回路65は、絞り込み部の一例である。
【0033】
表示制御機能67は、画像処理機能66により生成された各種画像データに基づく画像を表示部としてのディスプレイ64に表示させる機能である。具体的には、例えば、表示制御機能67は、画像処理機能66により選択された病変候補を明示した第1マンモグラフィ画像と、画像処理機能66により算出された対象領域が識別可能な状態で含まれる第2マンモグラフィ画像とを表示するようにディスプレイ64を制御する。ここで、「識別可能な状態」は、囲み枠や色変更やトリミングなどで対象領域を明示する方法に限らず、ボタン操作時のみ対象領域を示す方法などといった、何らかの方法で対象領域が識別されればよい。また、表示制御機能67は、第1マンモグラフィ画像及び第2マンモグラフィ画像とは異なる表示領域に、病変候補領域を明示した第2マンモグラフィ画像である第3マンモグラフィ画像を表示するようにディスプレイ64を制御する。また、表示制御機能67は、ユーザ支援機能68による処理結果に基づく画像を表示するようにディスプレイ64を制御する。表示制御機能67は、表示制御部の一例である。
【0034】
続いて、ユーザ支援機能68が備える操作制限機能68a、読影支援機能68b、ESG処理機能68c及びボディマーク検索機能68dについて順に述べる。
【0035】
操作制限機能68aは、病変候補領域を明示したマンモグラフィ画像に対する操作のうち、当該病変候補領域に対する操作を受け付ける一方、当該病変候補領域とは異なる領域に対する操作を無視する。言い換えると、操作制限機能68aは、病変候補領域を含むマンモグラフィ画像に対する操作を、当該病変候補領域に対する操作のみに制限する。ここで、病変候補領域に対する操作は、当該病変候補領域を読影するための操作としてもよい。また、当該読影するための操作としては、例えば、当該病変候補領域の階調を変更するための操作、当該病変候補領域の大きさを変更するための操作、当該病変候補領域に関する情報を付与するための操作、当該病変候補領域に対するクリック操作、及び当該病変候補領域を切り出すための操作のうちのいずれかであるとしてもよい。当該情報を付与するための操作は、例えば、第1マンモグラフィ画像内の病変候補領域を選択した上で、第2マンモグラフィ画像の病変候補領域を選択し、その病変候補領域に情報を付与する操作としてもよい。付与する情報としては、例えば、病変候補のサイズ計測の結果、アノテーション、所見記載、解析結果などの少なくとも一つを含んでもよい。当該クリック操作は、当該階調又は大きさを変更するための操作や、当該情報を付与するための操作や、当該切り出すための操作を兼ねてもよい。当該切り出すための操作は、トリミング操作と呼んでもよく、マスク処理するための操作と呼んでもよい。マスク処理は、病変候補領域のみを表示して、他の領域を非表示とする処理である。操作制限機能68aは、操作制限部の一例である。
【0036】
読影支援機能68bは、マンモグラフィ画像の読影を支援するための機能である。このような読影支援機能68bは、例えば、対象領域からコンピュータ支援検出(CAD)によって病変候補を検出する検出機能を実行してもよい。検出機能は、検出部の一例である。また例えば、読影支援機能68bは、病変候補領域を読影するための操作に応じてマンモグラフィ画像を加工する加工機能を実行してもよい。加工機能としては、例えば、病変候補領域の階調を変更する階調変更機能、当該病変候補領域の大きさを変更する大きさ変更機能、及び当該病変候補領域を切り出す切り出し機能が適宜、使用可能となっている。
【0037】
ESG処理機能68cは、マンモグラフィ画像と超音波検査とを連動させるためのESG(エコースキャンガイド)処理を実行する。ESGとは、MLO画像及びCC画像の各々の病変候補を選択すると、当該病変候補の位置に対応するMLO方向線及びCC方向線をボディマーク(乳房模式図)上に表示する機能である。また、MLO方向線及びCC方向線を含むボディマークをMLO画像及びCC画像に関連付けてメモリ62又は画像記憶装置50に保存する。このようなESGによれば、超音波検査の際に、MLO画像及びCC画像と、病変候補の位置を示すボディマークとをディスプレイ64に表示できるので、マンモグラフィ画像上の病変候補(読影結果)に応じて、超音波プローブを当てる乳房上の位置を指示することが可能である。
【0038】
ボディマーク検索機能68dは、超音波検査の実施中、超音波プローブの位置に基づいて、当該ボディマークを作成・更新する。また、ボディマーク検索機能68dは、当該ボディマーク上の超音波プローブの位置に基づいてマンモグラフィ画像上の位置を検索し、検索結果に対応するスキャン領域をマンモグラフィ画像上に表す。例えば、後述する図21に示すように、ボディマークBM上の超音波プローブの位置Psに対応する領域94は、MLO画像80R及びCC画像70R上で縦・横方向の長い領域(帯状領域)となる。ここで、例えば図22に示すように、一方のCC画像70Rの領域94内で病変候補90等の点を選択した場合、クロスリファレンスの操作制限機能68aにより、他方のMLO画像80R内で対象領域が領域95に絞られ、操作も更に限定的となる。なお、「ボディマーク検索」は、「ボディマーク処理」と呼んでもよい。
【0039】
補足すると、ボディマーク検索機能68dは、予め超音波検査の開始時に、被検体のニップルの位置に対応する超音波画像の撮像位置情報(超音波プローブの位置情報)を取得し、当該ニップルの位置をボディマークの座標の原点に関連付けておく。これに加え、超音波検査の開始時に、予め被検体の乳房の両端の各位置に対応する超音波画像の撮像位置情報を取得し、当該乳房の両端の各位置をボディマークの両端に対応する各位置に関連付けておいてもよい。なお、ボディマークの原点は、ボディマーク中の縦軸をZ軸とし、横軸をY軸としたときのZY座標の原点であり、ボディマーク中でニップルの位置を示している。ボディマークの両端に対応する各位置は、原点を中心とした円周上において、被検体の乳房の両端の各位置に対応すると共に、マンモグラフィ画像内の乳房の両端にも対応する。このように、予め乳房の特徴的な位置(ニップル、乳房の両端)に対応する超音波画像の撮像位置情報をボディマークの特徴的な位置(原点、両端)に関連付けておくことにより、超音波画像の撮像位置情報(超音波プローブの位置)を示すマークをボディマーク上に描画することが可能となる。
【0040】
次に、以上のように構成された画像観察装置を備えた医用情報処理システムの動作について図6のフローチャート及び図7乃至図23の模式図を用いて説明する。
【0041】
いま、画像観察装置60は、マンモグラフィ撮影装置10により撮影された被検体の左右の乳房のCC画像70L,70Rと、当該被検体の左右の乳房のMLO画像80L,80Rとを画像記憶装置50から取得してメモリ62に記憶しているとする。この状態でステップST10が開始される。
【0042】
ステップST10において、画像観察装置60の処理回路65は、スキンライン検出処理を実行する。具体的には、処理回路65は、メモリ62から被検体のCC画像70L,70R及びMLO画像80L,80Rを読み出し、当該CC画像70L,70R及びMLO画像80L,80Rの各々からスキンライン(乳房の輪郭)を検出する。
【0043】
ステップST10の後、ステップST20において、処理回路65は、乳房特徴検出処理を実行する。乳房特徴検出処理は、例えば、スキンライン検出後のCC画像70L,70R及びMLO画像80L,80Rを入力とし、乳房の両端、ニップル及び胸壁といった乳房特徴の位置(座標)を出力とする。具体的には、処理回路65は、スキンラインが検出されたCC画像70L,70R及びMLO画像80L,80Rの各々から当該スキンラインに基づいて、乳房特徴(乳房の両端、ニップル、胸壁)を検出する。ここでいう乳房の両端は、CC画像70L,70R及びMLO画像80L,80Rの各々の乳房の上端、下端に対応する。なお、CC画像70L,70R内の乳房の上端、下端は、実際の乳房の右端又は左端に対応する。ニップルは、例えば所定の傾きの直線をスキンラインに近づけ、当該直線とスキンラインとが接触した位置により検出してもよい。CC画像70L,70R内の胸壁は、CC画像70L,70Rの左辺及び右辺としてもよく、後述する方法で検出してもよい。
【0044】
ステップST20の後、ステップST30において、処理回路65は、クロスリファレンス処理を実行する。クロスリファレンス処理は、例えば、乳房特徴検出処理後のCC画像70L,70R及びMLO画像80L,80Rと、選択した病変候補の位置(座標)を入力とし、対象領域を出力とする。補足すると、クロスリファレンス処理は、左右同側の乳房の画像のペアについて、当該ペアの一方の画像の病変候補の位置(座標)に対応する、他方の画像の対象領域を算出する処理である。当該ペアとしては、例えば、右乳房のCC画像70R及びMLO画像80Rのペアと、左乳房のCC画像70L及びMLO画像80Lのペアとがある。
【0045】
このようなクロスリファレンス処理は、例えば、第1方法乃至第3方法の3通りの方法で実行可能となっている。但し、クロスリファレンス処理は、3通りの方法に限定されない。以下、第1方法乃至第3方法の各々について、CC画像の病変候補の位置からMLO画像の対象領域を算出する場合と、MLO画像の病変候補の位置からCC画像の対象領域を算出する場合とを述べる。なお、各方法では、始めに、一方の画像内の病変候補がユーザの操作やCAD等により選択されているとする。
【0046】
(1a)第1方法の一例:CC画像から
処理回路65は、図7(a)に示すように、左乳房のCC画像70LからニップルNpと病変候補1の中心との間のユークリッド距離d1を計算する。なお、ユークリッド距離は、胸壁Lwに垂直に交わる線上の距離、又は胸壁Lwに直交する方向に沿った距離である。
【0047】
ユークリッド距離d1の算出後、処理回路65は、図7(b)に示すように、当該ユークリッド距離d1を左乳房のMLO画像80Lにマッピングし、ニップルNpからユークリッド距離d1だけ離れた線Lcを得る。線Lcは、ニップルNpを中心としてユークリッド距離d1の半径をもつ扇状領域の円弧に相当する。また、処理回路65は、この線Lcを中心とした±Wの幅をもつ対象領域91を算出する。なお、これに限らず、処理回路65は、ニップルNpからユークリッド距離d1-幅Wの距離(Lc-W)だけ離れた第1線と、ニップルNpからユークリッド距離d1+幅Wの距離(Lc+W)だけ離れた第2線とを算出してもよい。すなわち、処理回路65は、線Lcを求めずに、ニップルNpに近い側の円弧の第1線と、ニップルNpから遠い側の円弧の第2線とを算出することにより、対象領域91を算出してもよい。±Wの幅は、予め設定してもよく、ユーザが操作時に決めてもよい。
【0048】
(1b)第1方法の他の例:MLO画像から
処理回路65は、図8(a)に示すように、左乳房のMLO画像80LからニップルNpと病変候補1の中心との間のユークリッド距離d1を計算する。ユークリッド距離は、胸壁Lwに垂直に交わる線上の距離、又は胸壁Lwに直交する方向に沿った距離である。
【0049】
ユークリッド距離d1の算出後、処理回路65は、図8(b)に示すように、当該ユークリッド距離d1を左乳房のCC画像70Lにマッピングし、ニップルNpからユークリッド距離d1だけ離れた線Lcを得る。線Lcは、ニップルNpを中心としてユークリッド距離d1の半径をもつ扇状領域の弧に相当する。また、処理回路65は、この線Lcを中心とした±Wの幅をもつ対象領域91を算出する。なお、これに限らず、処理回路65は、ニップルNpからユークリッド距離d1-幅Wの距離(Lc-W)だけ離れた第1線と、ニップルNpからユークリッド距離d1+幅Wの距離(Lc+W)だけ離れた第2線とを算出してもよい。すなわち、処理回路65は、線Lcを求めずに、ニップルNpに近い側の円弧の第1線と、ニップルNpから遠い側の円弧の第2線とを算出することにより、対象領域91を算出してもよい。±Wの幅は、予め設定してもよく、ユーザが操作時に決めてもよい。
【0050】
(2a)第2方法の一例:CC画像から
処理回路65は、図9(a)に示すように、左乳房のCC画像70LからニップルNpと病変候補1の中心との間のユークリッド距離d1を計算する。また、処理回路65は、CC画像70Lから胸壁Lwと病変候補1の中心との間のユークリッド距離d2を計算する。
【0051】
ユークリッド距離d1,d2の算出後、処理回路65は、図9(b)に示すように、当該ユークリッド距離d1,d2を左乳房のMLO画像80Lにマッピングし、ニップルNpと胸壁Lwとの間をd1:d2の比に分割する線Lcを計算する。線Lcは、胸壁Lwに平行な直線である。また、処理回路65は、この線Lcを中心とした±Wの幅をもつ帯状の対象領域91を算出する。±Wの幅は、予め設定してもよく、ユーザが操作時に決めてもよい。
【0052】
(2b)第2方法の他の例:MLO画像から
処理回路65は、図10(a)に示すように、左乳房のMLO画像80LからニップルNpと病変候補1の中心との間のユークリッド距離d1を計算する。また、処理回路65は、MLO画像80Lから胸壁Lwと病変候補1の中心との間のユークリッド距離d2を計算する。
【0053】
ユークリッド距離d1,d2の算出後、処理回路65は、図10(b)に示すように、当該ユークリッド距離d1,d2を左乳房のCC画像70Lにマッピングし、ニップルNpと胸壁Lwとの間をd1:d2の比に分割する線Lcを計算する。線Lcは、胸壁Lwに平行な直線である。また、処理回路65は、この線Lcを中心とした±Wの幅をもつ帯状の対象領域91を算出する。±Wの幅は、予め設定してもよく、ユーザが操作時に決めてもよい。
【0054】
(2b-1)CC画像における胸壁検出の他の方法
なお、CC画像の胸壁Lwについては、ステップST20で検出した如き、CC画像70L,70Rの左辺及び右辺とする場合に限らず、図11に示す方法などで検出してもよい。
【0055】
例えばCC画像70Rの場合、ステップST20では、図11(a)に示すように、CC画像70Rの右辺として胸壁Lwが検出される。
【0056】
他の方法の1番目としては、図11(b)に示すように、処理回路65は、CC画像70R内の乳房の上端E1と、乳房の下端E2とを検出し、上端E1及び下端E2の中心として乳房中心点Boを検出する。しかる後、処理回路65は、乳房中心点BoとニップルNpとを結ぶ直線に対して垂直に交わる直線を胸壁Lwとして検出する。
【0057】
他の方法の2番目としては、図11(c)に示すように、処理回路65は、CC画像70Rの右辺に平行な縦線であって、ニップルNpからユークリッド距離d1だけ離れた線Lcを用いる。また、線Lc上で、ニップルNpからユークリッド距離d1だけ離れた位置を乳房中心点Boとする。また、線Lcと、スキンラインとが交差する位置をそれぞれ乳房の上端E1、下端E2とする。また、乳房の上端E1と乳房中心点Boとの間の距離を第1距離de1とし、乳房の下端E2と乳房中心点Boとの間の距離を第2距離de2とする。このとき、次式に示す中心評価値Δdが予め決めたしきい値(例:0.1)以下になるまで乳房中心点BoからニップルNpに結ぶ線(d1の線)を予め決めた角度(例:3度)ずつずらして中心評価値Δdを計算する。なお、中心評価値Δdは、第1距離de1と第2距離de2との差分を、第1距離de1と第2距離de2の平均値で除算した値である。中心評価値Δdが小さいほど、乳房中心点Boが乳房の中心に近いことを評価できる。
【0058】
【数1】
【0059】
中心評価値Δdがしきい値以下の角度になったときの線(d1の線)に垂直な線Lcを最終的な線Lcとする。また、最終的な線Lcにユークリッド距離d2だけ離れた線を胸壁Lw(図示せず)とする。胸壁Lwは、最終的な線Lcに平行な線であって、ニップルNpからユークリッド距離(d1+d2)だけ離れている。なお、図11を用いて述べた胸壁検出の方法は、この第2方法に限らず、ステップST20、第1方法及び第3方法のいずれにも適用することができる。
【0060】
(3a)第3方法の一例:CC画像から
処理回路65は、図12(a)-(b)に示すように、前述した第1方法を用いてCC画像70L内の病変候補1からMLO画像80L内の対象領域91rを算出する。なお、図12(b)に示す対象領域91rは、図7(b)に示した対象領域91と同じ領域である。
【0061】
また、処理回路65は、図12(a)及び図12(c)に示すように、前述した第2方法を用いてCC画像70L内の病変候補1からMLO画像80L内の対象領域91を算出する。なお、図12(c)に示す対象領域91は、図9(b)に示した対象領域91と同じ領域である。
【0062】
しかる後、処理回路65は、MLO画像80L内の対象領域91r,91の結合処理を実行し、図12(d)に示すように、結合結果である対象領域91hを算出する。対象領域91hは、例えば、扇状の対象領域91rのうち、ニップルNpからのユークリッド距離が(d1+W)以下の領域として得られる。
【0063】
(3b)第3方法の他の例:MLO画像から
処理回路65は、図13(a)-(b)に示すように、前述した第1方法を用いてMLO画像80L内の病変候補1からCC画像70L内の対象領域91rを算出する。なお、図13(b)に示す対象領域91rは、図8(b)に示した対象領域91と同じ領域である。
【0064】
また、処理回路65は、図13(a)及び図13(c)に示すように、前述した第2方法を用いてMLO画像80L内の病変候補1からCC画像70L内の対象領域91を算出する。なお、図13(c)に示す対象領域91は、図10(b)に示した対象領域91と同じ領域である。
【0065】
しかる後、処理回路65は、CC画像70L内の対象領域91r,91の結合処理を実行し、図13(d)に示すように、結合結果である対象領域91hを算出する。対象領域91hは、例えば、扇状の対象領域91rのうち、ニップルNpからのユークリッド距離が(d1+W)以下の領域として得られる。
【0066】
以上の第1方法乃至第3方法のいずれかの実行により、ステップST30のクロスリファレンス処理が完了する。
【0067】
ステップST30の後、ステップST40において、処理回路65は、領域表示処理を実行する。領域表示処理は、例えば、クロスリファレンス処理後のCC画像70L,70R及びMLO画像80L,80Rを入力とし、対象領域が識別可能な状態で含まれるCC画像70L,70R及びMLO画像80L,80Rを出力とする。これにより、処理回路65は、例えば図14の左側に示すように、左乳房画像のペアについて、選択した病変候補90を明示したMLO画像80Rと、当該病変候補90の位置に対応する対象領域91を明示したCC画像70Rとをディスプレイ64に表示させる。
【0068】
これに加え、処理回路65は、例えば図14の右側に示すように、対象領域91とは異なる領域をマスク処理して対象領域91のみに絞り込んだCC画像70Rと、病変候補1を明示したMLO画像80Rとをディスプレイ64に表示させてもよい。
【0069】
ステップST40の後、ステップST50において、処理回路65は、領域絞り込み処理を実行する。領域絞り込み処理は、病変候補90を含む第1マンモグラフィ画像と、対象領域91を含む第2マンモグラフィ画像とのペアを入力とする。また、領域絞り込み処理は、絞り込んだ病変候補領域92の位置(座標)の集合と、当該病変候補領域92とその周辺領域とを含む第2マンモグラフィ画像を出力とする。周辺領域は、画素値を同一値とした背景領域(例、白色領域)である。例えば、処理回路65は、図15に示すように、CC画像70Rの対象領域91から、MLO画像80Rの病変候補90の値に対応する病変候補領域92を絞り込む。
【0070】
このとき、処理回路65は、例えば図16に示すように、当該対象領域91から当該病変候補領域92として複数の領域92a,92bが得られた場合、当該複数の領域92a,92bのうち、最も高い優先度をもつ領域92aを当該病変候補領域92として絞り込むようにしてもよい。この場合、処理回路65は、例えば、CC画像70R内のニップルNpと当該複数の領域92a,92bとの間の複数の距離D2a,D2bのうち、MLO画像80R内のニップルNpと当該病変候補90(の中心)との間の距離D1に最も近い距離D2aに対し、当該最も高い優先度を割り当てるようにしてもよい。この例では、距離の差分|D1-D2a|,|D1-D2b|のうち、最も小さい差分|D1-D2a|をもつ距離D2aに対し、最も高い優先度を割り当てている。
【0071】
ステップST50の後、ステップST60において、処理回路65は、ユーザ支援処理を実行する。ユーザ支援処理は、例えば、(1)操作制限処理、(2)読影支援処理、(3)ESG処理及び(4)ボディマーク処理などがある。なお、操作制限処理は、読影支援処理などの他の処理に組み合わせてもよい。ユーザ支援処理は、領域表示処理後又は領域絞り込み後のマンモグラフィ画像を入力とし、ユーザの操作に基づく支援処理の結果を出力とする。
【0072】
(1)操作制限処理
処理回路65は、例えば、図15の右側に示した如き、病変候補領域92を明示したCC画像70Rに対する操作のうち、当該病変候補領域92に対する操作を受け付ける一方、当該病変候補領域92とは異なる領域に対する操作を無視する。言い換えると、処理回路は、操作制限処理の実行中、病変候補領域92を含むCC画像70Rに対する操作を、当該病変候補領域92に対する操作のみに制限する。ここで、病変候補領域92に対する操作は、当該病変候補領域92を読影するための操作としてもよい。また、当該読影するための操作としては、例えば、当該病変候補領域92の階調を変更するための操作、当該病変候補領域92の大きさを変更するための操作、当該病変候補領域92に対するクリック操作、及び当該病変候補領域92を切り出すための操作のうちのいずれかであるとしてもよい。
【0073】
(2)読影支援処理
読影支援処理は、マンモグラフィ画像の読影を支援する処理である。読影支援処理としては、例えば、コンピュータ支援検出(CAD)、病変候補領域の階調や大きさを変更する処理、病変候補領域を切り出す処理などがある。
【0074】
例えばCAD処理の場合、処理回路65は、図17に示すように、CC画像70R内の対象領域91からCAD処理によって病変候補領域93を検出してディスプレイ64に表示させる。この場合、CAD処理を施す範囲が、CC画像70R全体ではなく、CC画像70Rの一部である対象領域91となるので、CAD処理の負荷を軽減することができる。
【0075】
また、処理回路65は、前述した病変候補領域92を読影するための操作に応じて、病変候補領域92の階調を変更する処理、病変候補領域92の大きさを変更する処理、あるいは、病変候補領域92を切り出す処理などを実行する。
【0076】
(3)ESG処理
ESG処理においては、MLO画像及びCC画像の各々の病変候補を選択すると、当該病変候補の位置に対応するMLO方向線及びCC方向線をボディマーク(乳房模式図)上に表示する。
【0077】
例えば、処理回路65は、図18に示すように、MLO画像80Rの病変候補90に対応するCC画像70Rの対象領域91から、CC画像70Rの病変候補領域92が絞り込まれた状態で、病変候補90及び病変候補領域92の各々が選択されるとする。このとき、例えば操作制限処理により、CC画像70Rに対する操作が、病変候補領域92に対する操作のみに制限されていてもよい。
【0078】
また例えば、処理回路65は、図19に示すように、MLO画像80R内の複数の病変候補90,90a,90bのうち、ある病変候補90が選択されたとする。このとき、当該病変候補90に対応するCC画像70Rの対象領域91から、CC画像70Rの病変候補領域92が絞り込まれた状態となる。この状態で、CC画像70Rに対する操作が、CC画像70R内の複数の病変候補領域92,92a,92bのうち、病変候補領域92に対する操作のみに制限される。これに伴い、CC画像70R内の病変候補領域92が選択される。
【0079】
しかる後、処理回路65は、選択された病変候補90及び病変候補領域92の位置に対応するMLO方向線及びCC方向線をボディマーク上に表示するようにディスプレイ64を制御する。
【0080】
例えば図20の中央に示すように、MLO画像80R内に選択された病変候補(丸印)に対応するMLO方向線(斜線)がMLO画像80R内のボディマーク上に表示されている。また例えば図20の右側に示すように、CC画像70R内に選択された病変候補領域(丸印)に対応するCC方向線(縦線)が、前述したMLO方向線と共にCC画像70R内のボディマーク上に表示されている。
【0081】
しかる後、MLO方向線及びCC方向線を含むボディマークをMLO画像80R及びCC画像70Rに関連付けてメモリ62又は画像記憶装置50に保存する。このようなESGによれば、超音波検査の際に、MLO画像80R,80L及びCC画像70R,70Lと、病変候補の位置を示すボディマークとを関連付けてディスプレイ64に表示できる。なお、超音波検査中の超音波画像は、ディスプレイ64の近傍に配置された超音波診断装置30により表示される。
【0082】
(4)ボディマーク処理
ボディマーク処理は、大まかには、ボディマークBM上の位置Psに基づいてマンモグラフィ画像を加工する処理に関連している。また、ボディマーク処理のボディマークBM(図20の左側)は超音波プローブの位置Psを表し、超音波プローブの移動に応じて位置Psが更新される。一方、前述したESG処理は、マンモグラフィ画像に基づいてボディマークを加工する処理に関連している。また、ESG処理のボディマーク(図20のMLO画像内及びCC画像内)は病変候補の位置に対応するMLO方向線及びCC方向線を表し、病変候補が変更されない限り、更新されない。すなわち、両処理のボディマークは表示内容及び更新の有無などが異なっている。
【0083】
ボディマーク処理の実行中、処理回路65は、例えば、図20の左側に示すように、超音波プローブに設けた位置センサの出力に基づいて、超音波診断装置30の超音波プローブの位置PsをボディマークBM上に表示するようにディスプレイ64を制御する。
【0084】
このとき、処理回路65は、図20に示すように、超音波プローブの位置Psに対応する乳房内のスキャン領域ULをMLO画像80R及びCC画像70Rに重畳表示するようにディスプレイ64を制御する。なお、スキャン領域ULは、ESG処理のボディマークにおけるMLO方向線及びCC方向線の交点が示す位置と、ボディマーク処理のボディマークBMにおける超音波プローブの位置Psとが略一致する場合には、病変候補及び病変候補領域を含む領域を表すことになる。
【0085】
このようなスキャン領域ULの表示中、処理回路65は、前述同様のクロスリファレンス処理を実行してもよい。以下、この場合のクロスリファレンス処理の一例について図21乃至図23を用いて説明する。
【0086】
超音波検査の実施中、処理回路65は、超音波画像、MLO画像80R,80L及びCC画像70R,70Lをディスプレイ64に表示させている。これに加え、処理回路65は、図21に示すように、超音波プローブに設けた位置センサの出力に基づいて、超音波診断装置30の超音波プローブの位置Psを含むボディマークBMを作成及び更新する(ステップST70)。また、処理回路65は、当該ボディマークBMを表示するようにディスプレイ64を制御する。
【0087】
また、処理回路65は、当該ボディマークBMに基づき、現在実施中の超音波検査に対応する領域94をMLO画像80R及びCC画像70Rに重畳表示する(ステップST71)。領域94は、超音波プローブの位置Psに対応する乳房内外の領域である。領域94のうち、乳房内の領域が図20に示したスキャン領域ULに相当する。但し、図21中、ESG処理のボディマークは図示を省略している。また、乳房内外の領域94のうち、乳房外の領域を省略し、乳房内のスキャン領域ULのみを用いてもよい。
【0088】
ステップST71の後、図22に示すように、ステップST72において、処理回路65は、例えばユーザの操作に応じて、CC画像70Rにおける領域94内の病変候補90を選択する。
【0089】
ステップST72の後、ステップST73において、処理回路65は、当該病変候補90の位置に基づき、MLO画像80Rにおける領域94のうち、当該病変候補90に対応する領域95を算出する。また、処理回路65は、領域95を更に明示したMLO画像80Rをディスプレイ64に表示させる。ディスプレイ64は、超音波プローブの位置Psを示すボディマークBMと、位置Psに対応する領域94及び領域94内の病変候補90を含むCC画像70Rと、位置Psに対応する領域94及び病変候補90に対応する領域95を含むMLO画像80Rと、CC画像70L及びMLO画像80Lとを並列に表示する。一方、ディスプレイ64の近傍に配置された超音波診断装置30は、超音波プローブの位置Psにおける乳房の超音波画像を表示する。このとき、医師が超音波画像とマンモグラフィ画像とを比較観察することにより、超音波画像からマンモグラフィ画像の総合判断確認を行うことができる。
【0090】
このようなステップST73は、前述したクロスリファレンス処理と同様にして実行できる。以下では、例えば、第1方法で得られる対象領域91と、領域94との結合処理(第3方法)により実行する場合について図22及び図23を用いて述べる。
【0091】
処理回路65は、前述同様に、CC画像70LからニップルNpと病変候補90との間のユークリッド距離d1を計算する。また同様に、処理回路65は、当該ユークリッド距離d1をMLO画像80Lにマッピングすることにより、ユークリッド距離d1±Wの幅をもつ略扇状の対象領域91を算出する(ステップST73-1)。
【0092】
ステップST73-1の後、ステップST73-2において、処理回路65は、MLO画像80L内の領域94と対象領域91との結合処理を実行し、結合結果である対象領域95を算出する。対象領域95は、例えば、領域94と対象領域91とが重なる領域に外接する四角形の領域として得られる。但し、対象領域95は、これに限定されない。例えば、対象領域95は、領域94と対象領域91とが重なる領域としてもよい。
【0093】
このようなユーザ支援処理により、超音波画像の収集や、マンモグラフィ画像と超音波画像とを用いた診断業務を支援する。
【0094】
上述したように一実施形態によれば、被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1医用画像から病変候補を選択する。当該乳房を第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、当該病変候補の位置に対応する対象領域を算出する。当該病変候補を明示した第1医用画像と、当該対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する。これにより、読影医は、第1医用画像内の病変候補に対応する第2医用画像内の病変候補を、第2医用画像全体ではなく、第2医用画像の対象領域から探せばよい。例えば、クロスリファレンス機能で対象領域(対象範囲)を絞り込み、提示する。提示後、対象領域のみを読影対象とする。
【0095】
従って、マンモグラフィ画像におけるペアの一方の画像内の病変候補に対応して他方の画像から病変候補を探す負荷を軽減させることができる。また、ユーザが病変を見つけ出すまでの時間の短縮を図ることができる。また、ユーザが対象領域に集中して病変を判断できる。
【0096】
また、一実施形態によれば、当該病変候補の値又は特定の値に基づいて、当該病変候補の値に対応する病変候補領域を対象領域から絞り込んでもよい。また、第1医用画像及び第2医用画像とは異なる表示領域に、当該病変候補領域を明示した第2医用画像である第3医用画像を表示するように表示部を制御してもよい。この場合、読影医は、第1医用画像内の病変候補に対応する第2医用画像内の病変候補を、第2医用画像内の対象領域ではなく、当該対象領域内の病変候補領域から探せばよい。従って、前述した病変候補を探す負荷を、より一層、軽減させることができる。
【0097】
また、一実施形態によれば、当該第3医用画像に対する操作のうち、病変候補領域に対する操作を受け付ける一方、病変候補領域とは異なる領域に対する操作を無視するようにしてもよい。この場合、病変候補領域とは異なる領域に対する無駄な処理又は誤った処理を実行せずに済むので、処理効率の低下を阻止することができる。
【0098】
また、一実施形態によれば、当該病変候補領域に対する操作は、病変候補領域を読影するための操作としてもよい。この場合、病変候補領域とは異なる領域に対する読影のための処理を実行せずに済むので、読影作業の効率低下を阻止することができる。
【0099】
また、一実施形態によれば、当該読影するための操作は、病変候補領域の階調を変更するための操作、病変候補領域の大きさを変更するための操作、病変候補領域に対するクリック操作、及び病変候補領域を切り出すための操作のうちのいずれかである、としてもよい。この場合、病変候補領域とは異なる領域に対する階調変更の処理、大きさ変更の処理、選択の処理、又は切り出しの処理を実行せずに済むので、読影作業の効率低下を阻止することができる。
【0100】
また、一実施形態によれば、当該特定の値は、予め設定された値、又はユーザに指示された値としてもよく、当該値は、画素値又は画素値の範囲としてもよい。この場合、画素値又は画素値の範囲に基づいて、対象領域から病変候補領域への絞り込みを容易に実行することができる。
【0101】
また、一実施形態によれば、当該対象領域からコンピュータ支援検出(CAD)によって病変候補を検出してもよい。この場合、CAD処理においては、第1医用画像内の病変候補に対応する第2医用画像内の病変候補を、第2医用画像全体ではなく、第2医用画像の対象領域から探せばよい。従って、マンモグラフィ画像におけるペアの一方の画像内の病変候補に対応して他方の画像から病変候補を探すCAD処理の負荷を軽減させることができる。
【0102】
また、一実施形態によれば、対象領域から病変候補領域として複数の領域が得られた場合、当該複数の領域のうち、最も高い優先度をもつ領域を当該病変候補領域として絞り込む、ようにしてもよい。この場合、前述した他方の画像から病変候補を探す負荷を、著しく軽減させることができる。
【0103】
また、一実施形態によれば、第2医用画像内のニップルと当該複数の領域との間の複数の距離のうち、第1医用画像内のニップルと病変候補との間の距離に最も近い距離に対し、当該最も高い優先度を割り当てる、ようにしてもよい。この場合、距離に基づいて、複数の領域から病変候補領域への絞り込みを容易に実行することができる。
【0104】
なお、上述した一実施形態は、以下のように変形してもよい。例えば、性能・操作性向上を図る観点から、スキンライン検出処理から領域絞り込み処理までを事前に実施して乳房特徴を画像記憶装置50、メモリ62、又はマンモグラフィ画像の付帯情報に保存してもよい。同様に、性能・操作性向上を図る観点から、スキンライン検出処理から領域絞り込み処理までを事前に実施して対象領域及び/又は病変候補領域を画像記憶装置50、メモリ62、又はマンモグラフィ画像の付帯情報に保存してもよい。事前に実施する場合、例えば、バッチ処理、プログラム処理、又はマクロ処理を適宜、用いてもよい。また、選択した病変候補、対象領域及び病変候補領域の少なくとも一つは、関心領域(ROI)と呼んでもよい。
【0105】
以上説明した少なくとも一つの実施形態によれば、被検体の乳房を第1方向に圧迫した状態で撮影して得られた第1医用画像から病変候補を選択する。当該乳房を第1方向とは異なる第2方向に圧迫した状態で撮影して得られた第2医用画像のうち、当該病変候補の位置に対応する対象領域を算出する。当該病変候補を明示した第1医用画像と、当該対象領域が識別可能な状態で含まれる第2医用画像とを表示するように表示部を制御する。これにより、読影医は、第1医用画像内の病変候補に対応する第2医用画像内の病変候補を、第2医用画像全体ではなく、第2医用画像の対象領域から探せばよい。
【0106】
従って、マンモグラフィ画像におけるペアの一方の画像内の病変候補に対応して他方の画像から病変候補を探す負荷を軽減させることができる。
【0107】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(central processing unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0108】
なお、以上のような画像観察装置(又は画像観察プログラム)は、以下の[1]~[11]に示すように、表現してもよい。
【0109】
[1]左右同側のペアのマンモグラフィ画像に対し、クロスリファレンスを用い、視覚手段により、ユーザにペアのマンモグラフィ画像間の関連を示す、画像観察装置。視覚手段は、表示部を制御する表示制御部としてもよい。
【0110】
[2]ペアの一方のマンモグラフィ画像内で選択した箇所と同じ値のみの領域、または特定な値以上のみの領域をペアの他方のマンモグラフィ画像から絞り込み、視覚手段、または操作制限により、ユーザに提示する、上記[1]記載の画像観察装置。
【0111】
[3]特定な値は、予め決めた値、またはユーザが決めた値、であり、値は階調である、上記[2]記載の画像観察装置。
【0112】
[4]上記クロスリファレンス又は上記絞り込みにより選定した関連のある箇所のみに、読影の操作をユーザにさせる、上記[1]又は[2]記載の画像観察装置。
【0113】
[5]上記クロスリファレンス又は上記絞り込みにより選定した関連のある箇所にて、複数個の対象がある場合、対象に対して、優先度をつけて、操作をユーザにさせる、上記[1]又は[2]記載の画像観察装置。
【0114】
[6]上記優先度の付け方は、関連性の高さ、対象間の階調の差、サイズの近さ、乳房領域の中央から周囲に向かう方向、乳房領域の上方から下方に向かう方向、又はこれらの複数個の組み合わせ、を用いる、上記[5]記載の画像観察装置。
【0115】
[7]上記関連性の高さは、計算式に基づく距離の近い方が優先度が高い、上記[6]記載の画像観察装置。
【0116】
[8]上記対象間の階調の差は、小さい方が優先度が高い、上記[6]記載の画像観察装置。なお、階調の差は、ペアのマンモグラフィ画像間の階調を平準化した上での比較が好ましい。階調としては、例えば、ニップルの階調、皮膚表面の階調、などの画素値による階調に限らず、画像のヘッダから取得した線量、電流、圧迫力、乳房厚によりマッピングした階調が適宜、使用可能となっている。
【0117】
[9]上記サイズの近さは、サイズが近い方が優先度が高い、上記[6]記載の画像観察装置。なお、サイズは、乳房の圧迫に伴う剛体変換を考慮してもよい。
【0118】
[10]上記中央から周囲に向かう方向は、乳房領域の中央に近い方が優先度が高い、上記[6]記載の画像観察装置。
【0119】
[11]上記上方から下方に向かう方向は、乳房領域の上方に近い方が優先度が高い、上記[6]記載の画像観察装置。なお、ここでいう乳房領域の上方は、必ずしも実際の乳房の上方とは限らず、マンモグラフィ画像内の上方を意味している。例えば、MLO画像の乳房領域の上方は実際の乳房でも上方になるのに対し、CC画像の乳房領域の上方は、実際の乳房では右側又は左側になる。
【0120】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0121】
10 マンモグラフィ撮影装置
20,40,60 画像観察装置
30 超音波診断装置
50 画像記憶装置
61 通信インタフェース
62 メモリ
63 入力インタフェース
64 ディスプレイ
65 処理回路
66 画像処理機能
66a スキンライン検出機能
66b 乳房特徴検出機能
66c クロスリファレンス機能
66d 領域絞り込み機能
67 表示制御機能
68 ユーザ支援機能
68a 操作制限機能
68b 読影支援機能
68c ESG処理機能
68d ボディマーク検索機能
Nw ネットワーク。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23