(58)【調査した分野】(Int.Cl.,DB名)
観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、前記生検時以外の時点に前記観察対象を含む領域を撮像して得られた参考画像とを取得する取得部と、
前記位置情報に基づいて、前記生検時の超音波画像と、前記参考画像とを対応付けた対応情報を生成し、生成した前記対応情報を出力部に出力させる制御部と、
を備え、
前記位置情報は、走査部位を示す模式図上での超音波プローブの位置を示す情報であり、
前記制御部は、前記位置情報と、前記参考画像における位置を前記模式図上の位置に変換するための変換情報とに基づいて、前記対応情報に対応付ける参考画像を特定する、医用情報処理システム。
前記制御部は、前記参考画像が複数存在する場合、前記変換情報における関心領域と、前記位置情報における前記超音波プローブの位置とが近いものから順に優先度を設定し、前記優先度の順で前記参考画像を前記対応情報に対応付けて前記出力部に出力させる、請求項2に記載の医用情報処理システム。
前記制御部は、前記参考画像が3次元画像である場合には、前記位置情報に基づく前記超音波プローブの位置に応じた断面の画像を前記対応情報に対応付ける、請求項1〜3のいずれか一つに記載の医用情報処理システム。
前記制御部は、生検時の超音波画像から、体表から穿刺位置までの距離を算出し、算出した距離情報に基づいて、3次元画像における対応する断面を特定する、請求項4に記載の医用情報処理システム。
観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、前記生検時以外の時点に前記観察対象を撮像して得られた参考画像とを取得する取得部と、
前記位置情報に基づいて、前記生検時の超音波画像と、前記参考画像とを対応付けた対応情報を生成し、生成した前記対応情報を出力部に出力させる制御部と、
を備え、
前記位置情報は、走査部位を示す模式図上での超音波プローブの位置を示す情報であり、
前記制御部は、前記位置情報と、前記参考画像における位置を前記模式図上の位置に変換するための変換情報とに基づいて、前記対応情報に対応付ける参考画像を特定する、医用画像処理装置。
【発明を実施するための形態】
【0008】
以下、図面を参照して、実施形態に係る医用情報処理システム及び医用画像処理装置を説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。
【0009】
(第1の実施形態)
図1は、第1の実施形態に係る医用情報処理システム100の構成例を示す図である。本実施形態に係る医用情報処理システム100は、例えば、乳がん診療が行われる病院に設置され、超音波画像ガイド下で生検を行う乳腺の病理診断に利用される。
図1に示すように、本実施形態に係る医用情報処理システム100は、例えば、マンモグラフィ装置10と、超音波診断装置20と、画像処理装置30と、病理画像作成装置40とを有する。各装置は、ネットワーク50を介して相互に接続され、マンモグラフィ装置10や超音波診断装置20によって撮像された画像などを相互に送受信する。例えば、医用情報処理システム100にPACS(Picture Archiving and Communication System)が導入されている場合、各装置は、医用画像に付帯情報を付与したDICOM(Digital Imaging and Communications in Medicine)形式の医用画像等を相互に送受信する。ここで、付帯情報には、例えば、患者を識別する患者ID(Identifier)、検査を識別する検査ID、各装置を識別する装置ID、各装置による1回の撮影を識別するシリーズIDなどが含まれる。
【0010】
マンモグラフィ装置10は、被検体の乳房にX線を照射し、乳房を透過したX線を検出してマンモグラフィ画像を生成する。ここで、マンモグラフィ装置10は、例えば、MLO(Mediolateral-Oblique:内外斜位)方向から乳房に対する角度を変えずにX線を出力して生成されたX線投影データに基づいて、マンモグラフィ画像(MLO画像)を生成する。また、マンモグラフィ装置10は、例えば、CC(Cranio-Caudal:頭尾)方向から乳房に対する角度を変えずにX線を出力して生成されたX線投影データに基づいて、マンモグラフィ画像(CC画像)を生成する。
【0011】
また、マンモグラフィ装置10は、被検体に対して複数の角度各々から撮影された画像に基づいて、3次元画像であるトモシンセシス(Tomosynthesis)画像を発生する。ここで、マンモグラフィ装置10は、例えば、MLO方向から乳房に対する角度を変えてX線を出力して生成されたX線投影データに基づいて、トモシンセシス画像(MLOトモシンセシス画像)を生成する。また、マンモグラフィ装置10は、例えば、CC方向から乳房に対する角度を変えてX線を出力して生成されたX線投影データに基づいて、トモシンセシス画像(CCトモシンセシス画像)を生成する。具体的には、マンモグラフィ装置10は、被検体に対する複数の角度にそれぞれ対応する複数の画像に基づいて、所定の処理により、トモシンセシス画像を発生する。所定の処理とは、例えば、シフト加算法、フィルタ補正逆投影(Filtered Back Projection:FBP)法などである。なお、以下では、マンモグラフィ画像と記載する場合、MLO画像及びCC画像に加えて、MLOトモシンセシス画像及びCCトモシンセシス画像も含むものとする。また、トモシンセシス画像と区別するため、MLO画像及びCC画像のことを2次元のマンモグラフィ画像と言う。例えば、MLO画像のことを2次元MLO画像と言い、CC画像のことを2次元CC画像と言う。また、トモシンセシス画像の付帯情報には、撮影方向を示す情報が付与される。ここで言う撮影方向を示す情報は、例えば、マンモグラフィ装置10の装置座標系で表される位置情報であり、マンモグラフィ装置10によってマンモグラフィ画像が生成された際に付帯情報として各マンモグラフィ画像に付与される。
【0012】
図1に戻って、超音波診断装置20は、超音波を送受信する超音波プローブで被検体を走査することで収集された反射波データに基づいて、超音波画像を生成する。
【0013】
図2は、第1の実施形態に係る超音波診断装置20の構成例を示す図である。
図2に示すように、本実施形態に係る超音波診断装置20は、超音波プローブ21と、入力インターフェース22と、ディスプレイ23と、装置本体24とを備える。超音波プローブ21は、後述する装置本体24が備える送受信回路24aと通信可能に接続される。また、入力インターフェース22、及びディスプレイ23は、装置本体24が備える各種の回路と通信可能に接続される。
【0014】
超音波プローブ21は、被検体Pの体表面に接触され、超音波の送受信を行う。例えば、超音波プローブ21は、複数の圧電振動子(振動子とも言う)を有する。これら複数の圧電振動子は、送受信回路24aから供給される送信信号に基づいて、超音波を発生させる。発生した超音波は、被検体Pの体内組織において反射され、反射波信号として複数の圧電振動子にて受信される。超音波プローブ21は、複数の圧電振動子にて受信した反射波信号を、送受信回路24aへ送る。
【0015】
なお、第1の実施形態は、超音波プローブ21が、被検体P内の2次元領域を走査(2次元走査)する1Dアレイプローブであっても、被検体P内の3次元領域を走査(3次元走査)するメカニカル4Dプローブや2Dアレイプローブであっても適用可能である。
【0016】
更に、第1の実施形態に係る超音波プローブ21には、穿刺アダプタ21aが取り付けられる。そして、穿刺アダプタ21aには、穿刺針21bが取り付けられている。医師や技師等の操作者は、超音波画像を参照しながら、穿刺アダプタ21aに取り付けられた穿刺針21bを被検体Pのターゲット部位まで挿入することで、病理診断を目的として検査材料を採取する生検を行う。
【0017】
図3は、第1の実施形態に係る穿刺針21bを説明するための図である。
図3に示すように、穿刺針21bは、外筒210と、内針211と、試料ノッチ212とを有する。ここで、穿刺針21bにおいて、内針211側を針先端側とし、穿刺アダプタ21a側を針挿入側とする。
【0018】
外筒210は、操作者による操作に応じて針挿入側から針先端側へ移動する。この外筒210が移動することで、外筒210及び内針211によってターゲット部位から一部の領域が標本213として切り取られ、切り取られた標本213が試料ノッチ212内に採取される。なお、採取された標本213は、病理画像の作成に利用される。なお、病理画像の作成については後述する。
【0019】
図2に戻る。入力インターフェース22は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等に対応する。入力インターフェース22は、超音波診断装置20の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体24の各回路に対して適宜転送する。
【0020】
ディスプレイ23は、操作者が入力インターフェース22を用いて各種設定要求を入力するためのGUI(Graphical User Interface)を表示したり、装置本体24において生成された超音波画像を表示したりする。
【0021】
装置本体24は、超音波プローブ21が受信した反射波信号に基づいて、超音波画像を生成する装置である。
図2に示すように、装置本体24は、例えば、送受信回路24aと、Bモード処理回路24bと、ドプラ処理回路24cと、画像生成回路24dと、画像メモリ24eと、記憶回路24fと、通信制御インターフェース24gと、処理回路24hとを有する。送受信回路24a、Bモード処理回路24b、ドプラ処理回路24c、画像生成回路24d、画像メモリ24e、記憶回路24f、通信制御インターフェース24g及び処理回路24hは、互いに通信可能に接続される。
【0022】
送受信回路24aは、超音波プローブ21による超音波の送受信を制御する。例えば、送受信回路24aは、後述する処理回路24hの指示に基づいて、超音波プローブ21が行う超音波の送受信を制御する。送受信回路24aは、送信波形データを作成し、作成した送信波形データから超音波プローブ21が超音波を送信するための送信信号を生成する。そして、送受信回路24aは、超音波プローブ21に送信信号を印加することで、超音波がビーム状に集束された超音波ビームを送信させる。
【0023】
また、送受信回路24aは、超音波プローブ21が受信した反射波信号に所定の遅延時間を与えて加算処理を行うことで、反射波信号の受信指向性に応じた方向から反射成分が強調された反射波データを生成し、生成した反射波データをBモード処理回路24b及びドプラ処理回路24cに送信する。
【0024】
例えば、送受信回路24aは、アンプ回路(適宜「Amp」と記載する)、A/D(Analog/Digital)変換器(適宜「ADC」と記載する)、生成回路、直交検波回路(適宜「IQ」と記載する)等を有する。アンプ回路は、反射波信号をチャネルごとに増幅してゲイン補正処理を行う。A/D変換器は、ゲイン補正された反射波信号をA/D変換する。
【0025】
生成回路は、デジタルデータに受信指向性を決定するのに必要な受信遅延時間を与える。そして生成回路は、受信遅延時間が与えられた反射波信号の加算処理を行う。生成回路の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。
【0026】
そして、直交検波回路は、加算器の出力信号をベースバンド帯域の同相信号(I信号、I:In-phase)と直交信号(Q信号、Q:Quadrature-phase)とに変換する。そして、直交検波回路は、I信号及びQ信号(以下、IQ信号と記載する)を反射波データとして、バッファに格納する。なお、直交検波回路は、加算器の出力信号を、RF(Radio Frequency)信号に変換した上で、バッファに格納してもよい。IQ信号や、RF信号は、位相情報が含まれる信号(受信信号)となる。なお、直交検波回路は、生成回路の後段に配置されるものとして説明したが、実施形態はこれに限定されるものではない。例えば、直交検波回路は、生成回路の前段に配置されてもよい。かかる場合、生成回路は、I信号及びQ信号の加算処理を行う。
【0027】
Bモード処理回路24bは、送受信回路24aが反射波信号から生成した反射波データに対して各種の信号処理を行う。Bモード処理回路24bは、送受信回路24aから受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点(観測点)ごとの信号強度が輝度の明るさで表現されるデータ(Bモードデータ)を生成する。Bモード処理回路24bは、生成したBモードデータを画像生成回路24dへ送る。
【0028】
ドプラ処理回路24cは、送受信回路24aから受信した反射波データより、移動体のドプラ効果に基づく運動情報を、走査領域内の各サンプル点で抽出したデータ(ドプラデータ)を生成する。具体的には、ドプラ処理回路24cは、移動体の運動情報として、平均速度、分散値、パワー値等を各サンプル点で抽出したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路24cは、生成したドプラデータを画像生成回路24dへ送る。
【0029】
画像生成回路24dは、Bモード処理回路24bやドプラ処理回路24cが生成したデータから超音波画像を生成する。例えば、画像生成回路24dは、Bモード処理回路24bが生成したBモードデータから、反射波の強度を輝度で表したBモード画像を生成する。また、画像生成回路24dは、ドプラ処理回路24cが生成したドプラデータから、移動体情報を表すドプラ画像を生成する。このドプラ画像は、速度画像、分散画像、パワー画像、又は、これらを組み合わせた画像である。
【0030】
画像メモリ24eは、Bモード処理回路24b、ドプラ処理回路24c、及び画像生成回路24dにより生成されたデータを記憶するメモリである。例えば診断の後に、操作者が検査中に記録された画像を呼び出すことが可能となっており、静止画的に、あるいは複数枚を使って動画的に再生することが可能である。なお、画像メモリ24eは、送受信回路24aを通過後の画像輝度信号、その他の生データ、ネットワーク50を介して取得した画像などを記憶してもよい。
【0031】
記憶回路24fは、超音波送受信、画像処理及び表示処理を行うための装置制御プログラムや、診断情報(例えば、患者ID、医師の所見など)、診断プロトコルや各種設定情報などの各種データなどを記憶する。なお、記憶回路24fは、画像メモリ24eが記憶する画像の保管などに使用されてもよい。また、記憶回路24fに記憶されるデータは、図示しないインターフェースを介して、外部装置へ転送することができる。
【0032】
また、記憶回路24fは、ボディーマークを記憶する。
図4は、第1の実施形態に係るボディーマークの一例を示す図である。
図4に示す例は、乳房を模式的に表したボディーマークの一例として、乳腺領域の模式図を示している。例えば、
図4に示すように、乳腺領域の模式図は、左右それぞれの乳房について、乳房の領域を表す円形の領域(以下、乳房領域)と、腋窩部の領域を表す略三角形の領域(以下、腋窩領域)とを有する。
【0033】
ここで、乳房領域を表す円形の領域は、上下及び左右に分けられて、例えば、「A」〜「D」の4つの領域に分割される。例えば、「A」の領域(以下、A領域)は、乳房の内側上部の領域を示し、「B」の領域(以下、B領域)は、乳房の内側下部の領域を示す。また、例えば、「C」の領域(以下、C領域)は、乳房の外側上部の領域を示し、「D」の領域(以下、D領域)は、乳房の外側下部の領域を示す。また、腋窩領域を表す略三角形の領域「C’」(以下、C’領域)は、領域Cから斜め上方に伸び、かつ、領域Cから離れるにつれて細くなる形状を有する。また、例えば、
図4中には図示しない「E」の領域(以下、E領域)は、乳輪部分を示す。なお、ここでいう模式図としては、乳房における位置関係を示すものであれば、各種の図を用いることができる。また、
図4では、乳房の領域を4つの領域に分割する例を示したが、実施形態はこれに限定されるものではなく、4分割以外の方法で乳房の領域を示してもよい。
【0034】
図2に戻る。通信制御インターフェース24gは、ネットワーク50を介して他の装置との間で行われる通信を制御する。例えば、通信制御インターフェース24gは、ネットワーク50を介して、画像生成回路24dによって生成された超音波画像を他の装置に転送する。ネットワーク50を介して転送された超音波画像は、転送先の装置において、画像表示又は画像処理などを実施することが可能である。
【0035】
処理回路24hは、超音波診断装置20の処理全体を制御する。具体的には、処理回路24hは、入力インターフェース22を介して操作者から入力された各種設定要求や、記憶回路24fから読み込んだ各種制御プログラム及び各種データに基づいて、送受信回路24a、Bモード処理回路24b、ドプラ処理回路24c、及び画像生成回路24d等の処理を制御する。また、処理回路24hは、画像メモリ24eが記憶する超音波画像データをディスプレイ23に表示させる。
【0036】
また、処理回路24hは、超音波プローブ21を用いて被検体Pの乳房を走査した際の超音波プローブ21の位置を、乳房の模式図上に対応付けた走査位置情報を生成する。例えば、処理回路24hは、模式図上において、超音波走査時の超音波プローブ21の位置に、超音波プローブ21を模式的に示したプローブマークを重畳させた走査位置情報を生成する。すなわち、走査位置情報は、走査部位を示す模式図上において、走査部位に対応する位置に超音波プローブ21を示す情報を付与したものである。
【0037】
より具体的には、処理回路24hは、入力インターフェース22を介して、模式図上へのプローブマークの配置を操作者から受け付ける。ここで、操作者は、超音波走査時の超音波プローブ21の位置に対応する模式図上の位置にプローブマークを配置する。これにより、処理回路24hは、走査位置情報を生成する。処理回路24hは、生成した走査位置情報を記憶回路24fに格納させる。処理回路24hは、被検体を一意に識別可能な識別情報(患者ID)を走査位置情報に対応付けて記憶回路24fに格納させる。言い換えると、記憶回路24fは、被検体を一意に識別可能な識別情報を、乳房の模式図に関心領域の位置を付した走査位置情報に対応付けて記憶する。また、処理回路24hは、走査位置情報を、例えば、DICOM形式或いはJPEG(Joint Photographic Experts Group)形式で記憶回路24fに格納させる。言い換えると、記憶回路24fは、走査位置情報を、例えば、DICOM形式或いはJPEG形式で記憶する。なお、処理回路24hは、走査位置情報を、超音波画像の付帯情報として付与して記憶回路24fに記憶させてもよい。なお、走査位置情報は、DICOM形式やJPEG形式以外の形式で記憶されてもよい。例えば、走査位置情報の形式は、GIF(Graphics Interchange Format)、PNG(Portable Network Graphics)及びTIFF(Tagged Image File Format)等であってもよい。
【0038】
図1に戻って、病理画像作成装置40は、例えば、顕微鏡と、顕微鏡カメラと、PC(Personal Computer)などの情報処理装置とを備える。病理画像作成装置40は、医師や技師などが、超音波画像ガイド下での生検時に採取された標本213を、顕微鏡で観察した際に、顕微鏡カメラで標本213を撮影して病理画像を生成する。この病理画像は、例えば、DICOM形式或いはJPEG形式の画像である。なお、病理画像は、DICOM形式やJPEG形式以外の画像であってもよい。例えば、病理画像の形式は、GIF、PNG及びTIFF等であってもよい。
【0039】
画像処理装置30は、画像保管サーバーやワークステーションなどであり、マンモグラフィ装置10によって生成されたマンモグラフィ画像や、超音波診断装置20によって生成された超音波画像、病理画像作成装置40によって生成された病理画像などを処理する。この、画像処理装置30は、病理診断を病理医に依頼する際に利用される。
【0040】
図5は、第1の実施形態に係る画像処理装置30の構成例を示す図である。
図5に示すように、画像処理装置30は、入力インターフェース31と、ディスプレイ32と、通信制御インターフェース33と、記憶回路34と、処理回路35とを有する。
【0041】
入力インターフェース31は、操作者から各種操作や各種情報の入力を受け付ける。例えば、入力インターフェース31は、キーボードやマウス、ボタン、トラックボール、タッチパネルなどである。
【0042】
ディスプレイ32は、操作者から各種操作を受け付けるためのGUIや各種画像を表示する。例えば、ディスプレイ32は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイ、タッチパネルなどである。
【0043】
通信制御インターフェース33は、ネットワーク50を介して他の装置との間で行われる通信を制御する。例えば、通信制御インターフェース33は、ネットワークカードやネットワークアダプタであり、Ethernet(登録商標)のLANを介してネットワーク50に接続することで、他の装置との間で通信を行う。また、例えば、通信制御インターフェース33は、無線LANを介してネットワーク50に接続することで、他の装置との間で無線通信を行う。
【0044】
記憶回路34は、画像DB(Data Base)34a、所見情報DB34b、及び患者情報DB34c、画像処理及び表示処理を行うための制御プログラムDB34dを記憶する記憶装置である。また、記憶回路34に記憶される各種DBのデータは、図示しないインターフェースを介して、外部装置へ転送することができる。
【0045】
例えば、画像DB34aは、マンモグラフィ装置10によって生成された、被検体の乳房を撮像したマンモグラフィ画像を記憶する。また、例えば、画像DB34aは、超音波診断装置20によって生成された、穿刺時の超音波画像や走査位置情報を記憶する。また、例えば、画像DB34aは、病理画像作成装置40によって生成された、穿刺により得られた標本213の病理画像を記憶する。
【0046】
また、所見情報DB34bは、被検体のマンモグラフィ画像に関する所見情報を記憶する。例えば、所見情報DB34bは、画像DB34aが記憶するマンモグラフィ画像の読影結果を所見情報として記憶する。より具体的には、所見情報DB34bは、マンモグラフィ画像の読影結果として、関心領域が設定されたマンモグラフィ画像を記憶する。なお、マンモグラフィ画像における関心領域は、例えば、画像処理装置30において操作者から関心領域を受け付けることやCAD(Computer-Aided Diagnosis)などによる検出結果を関心領域とすることで設定される。
【0047】
また、患者情報DB34cは、患者ID(Identifier)、氏名、年齢、受診歴などを記憶する。また、制御プログラムDB34dは、各機能に対応するプログラムを記憶する。この制御プログラムDB34dは、処理回路35によって読み出される。そして、処理回路35は、記憶回路34から読み出した制御プログラムを実行することで各プログラムに対応する機能を実現する。
【0048】
処理回路35は、画像処理装置30の動作を制御する。また、処理回路35は、マンモグラフィ画像における関心領域の設定を操作者から受け付ける。そして、処理回路35は、関心領域が設定されたマンモグラフィ画像を、被検体のマンモグラフィ画像に関する所見情報として所見情報DB34bに記憶させる。
【0049】
また、処理回路35は、
図5に示すように、取得機能35aと、制御機能35bとを実行する。ここで、例えば、
図5に示す処理回路35の構成要素である取得機能35aと、制御機能35bとが実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路34に記録されている。処理回路35は、各プログラムを記憶回路34から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路35は、
図5の処理回路35内に示された各機能を有することとなる。なお、取得機能35a及び制御機能35bの詳細については後述する。
【0050】
このような、医用情報処理システム100では、例えば、乳がん診療において、生検で得られた標本が病理診断に利用される。例えば、放射線科医或いは乳腺外科医によって、超音波ガイド下で行われた生検の標本は、超音波画像や病理検査依頼書とともに病理医のもとに送られる。通常、病理検査依頼書はテキスト情報で構成されており、場合によっては簡単な乳房を模した図が添えられる場合がある。病理医は、標本、超音波画像及び病理検査依頼書を受け取り、病理診断を行う。例えば、病理医は、被検者の超音波画像から全体像を把握する。また、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見を加味することで精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対して、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0051】
ここで、病理医に送られる標本及び超音波画像の一例について、
図6を用いて説明する。
図6は、従来技術を説明するための図である。
図6では、超音波画像と、この超音波画像で発見された病変部位の病理画像とを示す。
図6に示す病理画像は、例えば、乳房を観察対象とする超音波画像で発見された病変部位の全体を手術時に外科的に切除し、この病変部位をスライス状に切断して得られた一部の標本の病理画像である。
【0052】
図6の左側に示す図は、上段に超音波画像を示し、下段にこの超音波画像で描出された病変部位の病理画像を示す。また、
図6の右側に示す図は、
図6の左側に示す図と同様に、上段に超音波画像を示し、下段にこの超音波画像で描出された病変部位の病理画像を示す。また、
図6に示す各図において、基準線Lを図示している。基準線Lは、超音波画像と病理画像とにおいて対応する部位を示す。
図6に示すように、超音波画像で発見された病変部位の全体を手術時に外科的に切除した場合、超音波画像で描出される病変部位の形状と、病理画像における標本の形状とが類似しているので、病理医は、超音波画像と病理画像とを容易に対応付けることが可能である。
【0053】
ところで、病理医が病理画像を用いて病理診断する際に、生検時の超音波画像に加えて、生検時以外の時点に観察対象を撮像して得られた医用画像を加味することができれば、より精度の高い診断を効率的に行うことが可能になる。また、医用情報処理システム100には、生検時以外の時点に観察対象を撮像して得られた画像が記憶されている場合がある。例えば、医用情報処理システム10には、生検時より前に観察対象を撮像したマンモグラフィ画像や生検時より後に観察対象を撮像したマンモグラフィ画像が記憶されている場合がある。
【0054】
このようなことから、第1の実施形態に係る画像処理装置30は、生検時以外の時点に観察対象を撮像して得られた画像を参考画像とし、生検時の超音波画像と、参考画像とを対応付けた対応情報を生成する対応情報生成処理を実行する。そして、画像処理装置30は、生成した対応情報を病理医に提供することで、病理医による病理診断を支援する。画像処理装置30が実行する対応情報生成処理は、取得機能35a及び制御機能35bにより実現される。
【0055】
例えば、取得機能35aは、観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブ21の被検体における位置を示す位置情報と、生検時以外の時点に観察対象を撮像して得られた参考画像とを取得する。そして、制御機能35bは、位置情報に基づいて、生検時の超音波画像と、参考画像とを対応付けた対応情報を生成し、生成した対応情報をディスプレイ32に表示させる。以下では、取得機能35a及び制御機能35bの詳細について説明する。
【0056】
図7は、第1の実施形態に係る画像処理装置30による処理手順を示すフローチャートであり、
図8から
図11は、第1の実施形態を説明するための図である。
図7では、画像処理装置30の処理回路35が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。
【0057】
ステップS101からステップS104は、取得機能35aに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから取得機能35aに対応する所定のプログラムを呼び出し実行することにより、取得機能35aが実現されるステップである。ステップS101では、取得機能35aは、生検時の超音波画像を取得する。
【0058】
例えば、取得機能35aは、操作者から入力インターフェース31を介して、患者IDと、生検時の検査を示す検査IDと、超音波診断装置20を示す装置IDとを受け付けた場合、患者IDと検査IDと装置IDとが一致する超音波画像を画像DB34aから取得する。一例をあげると、取得機能35aは、
図8に示すような超音波画像を画像DB34aから取得する。
図8に示すように、超音波画像には穿刺針21bが描出されている。また、生検時における超音波プローブ21の被検体における位置を示す位置情報である走査位置情報61が、超音波画像上に重畳表示されている。
【0059】
ステップS102では、取得機能35aは、超音波プローブ21の位置情報を取得する。例えば、
図8に示す超音波画像上には走査位置情報61が重畳表示されている。このような場合、取得機能35aは、超音波画像から走査位置情報61を取得し、超音波プローブ21の位置情報を取得する。なお、超音波画像上に走査位置情報61が重畳表示されていない場合、取得機能35aは、超音波画像の付帯情報から走査位置情報を取得して、超音波プローブ21の位置情報を取得する。
【0060】
そして、ステップS103では、取得機能35aは、穿刺により得られた標本の病理画像を取得する。例えば、取得機能35aは、操作者から入力インターフェース31を介して、患者IDと、標本観察時の検査を示す検査IDと、病理画像作成装置40を示す装置IDとを受け付けた場合、患者IDと検査IDと装置IDとが一致する病理画像を画像DB34aから取得する。一例をあげると、取得機能35aは、
図9に示すような、穿刺により得られた標本の病理画像を画像DB34aから取得する。なお、第1の実施形態では、取得機能35aは、ステップS103を省略してもよい。
【0061】
ステップS104では、取得機能35aは、生検時以外の時点に観察対象を撮像して得られた参考画像を取得する。例えば、取得機能35aは、操作者から入力インターフェース31を介して、患者IDと、生検時以外の時点に観察対象を撮像した検査を示す検査IDと、マンモグラフィ装置10を示す装置IDとを受け付けた場合、患者IDと検査IDと装置IDとが一致する2次元MLO画像及び2次元CC画像を参考画像として画像DB34aから取得する。
【0062】
ステップS105からステップS107は、制御機能35bに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから制御機能35bに対応する所定のプログラムを呼び出し実行することにより、制御機能35bが実現されるステップである。
【0063】
ステップS105では、制御機能35bは、参考画像の関心領域を乳房の模式図上の位置に変換した変換情報を取得する。制御機能35bは、例えば、マンモグラフィ画像上で登録した所見の位置を超音波のボディーマーク上に変換して表示する、エコースキャンガイド機能を利用して変換情報を取得する。エコースキャンガイド機能では、例えば、CC画像の関心領域の位置をボディーマーク上で推定した推定線と、MLO画像の関心領域の位置をボディーマーク上で推定した推定線との交点をボディーマーク上の関心領域の位置として推定している。
【0064】
ステップS106では、制御機能35bは、参考画像を特定して対応情報を生成する。ここで、制御機能35bは、位置情報と変換情報とを用いて、対応情報に対応付ける参考画像を特定する。より具体的には、制御機能35bは、参考画像が複数存在する場合、変換情報における関心領域と、走査位置情報における超音波プローブ21の位置とが近いものから順に優先度を設定する。
【0065】
図10の左図は、生検時の超音波画像を示す。この超音波画像には、走査位置情報61が重畳されている。この走査位置情報61は、生検時における超音波プローブ21の位置が、模式図上のA領域とC領域との中間に対応することを示す。また、
図10の右図は、CC画像及びMLO画像を1つの組み合わせとした3組のマンモグラフィ画像を示す。各マンモグラフィ画像には、丸印で示す関心領域が設定されている。また、
図10の右図には、各組のマンモグラフィ画像について、関心領域を乳房の模式図上の位置に変換した変換情報72〜74を示す。例えば、変換情報72は、関心領域が模式図上のB領域に対応することを示し、変換情報73は、関心領域が模式図上のC領域に対応することを示し、変換情報74は、関心領域が模式図上のC’領域に対応することを示す。
【0066】
制御機能35bは、変換情報72〜74における関心領域と、走査位置情報61における超音波プローブ21の位置とが近いものから順に優先度を設定する。一例をあげると、制御機能35bは、走査位置情報61における超音波プローブ21の位置が模式図上のA領域とC領域との中間に対応するので、関心領域が模式図上のC領域に対応する変換情報73を最も優先度が高い「優先度1」に設定する。また、制御機能35bは、関心領域が模式図上のC’領域に対応する変換情報74を2番目に優先度が高い「優先度2」に設定する。そして、制御機能35bは、関心領域が模式図上のB領域に対応する変換情報72を3番目に優先度が高い「優先度3」に設定する。
【0067】
そして、制御機能35bは、優先度の順で参考画像を対応情報に対応付ける。例えば、制御機能35bは、ステップS101で取得された、走査位置情報を含んだ生検時の超音波画像と、ステップS103で取得された、生検時に得られた標本に基づいて生検後に生成された病理画像と、優先度1であるマンモグラフィ画像(CC画像及びMLO画像)とを対応付けた対応情報を生成する。より具体的には、制御機能35bは、
図11に示すように、上段左側に走査位置情報を含んだ生検時の超音波画像を配置し、上段右側に病理画像を配置し、下段左側に参考画像として特定したMLO画像を配置し、下段右側に参考画像として特定したCC画像を配置した対応情報を生成する。なお、制御機能35bは、ステップS103が省略されて病理画像が取得されていない場合には、病理画像を除いた対応情報を生成する。
【0068】
ステップS107では、制御機能35bは、対応情報を出力する。例えば、制御機能35bは、
図11に示す対応情報をディスプレイ32に表示させる。このように、制御機能35bは、優先度の順で参考画像を対応情報に対応付けてディスプレイ32に表示させる。
【0069】
上述したように、第1の実施形態では、画像処理装置30は、生検時以外の時点に観察対象を撮像して得られた参考画像を取得する。そして、画像処理装置30は、対応情報として参考画像を対応付けてディスプレイ32に表示させる。これにより、第1の実施形態によれば、例えば病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び参考画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0070】
なお、第1の実施形態において制御機能35bは、優先度の高いものから順に参考情報を切り替えてディスプレイ32に表示させてもよい。かかる場合、制御機能35bは、例えば、走査位置情報が重畳された生検時の超音波画像と、生検時に得られた標本の病理画像と、優先度が最も高い参考画像とを対応付けた対応情報を生成して、ディスプレイ32に表示させる。そして、制御機能35bは、入力インターフェース31を介して、参考画像を切り替える指示を操作者から受け付けた場合、走査位置情報が重畳された生検時の超音波画像及び生検時に得られた標本の病理画像を変更させずに、参考画像を優先度が2番目に高い画像に変更する。なお、制御機能35bは、参考画像を切り替える指示を操作者から受け付けた際に、優先度が最も低い参考画像を表示している場合、再度優先度が最も高い参考画像に変更し、優先度の高いものから順に参考情報を切り替えてもよいし、優先度が2番目に低い参考画像に変更し、優先度の低いものから順に参考情報を切り替え、優先度が最も高い参考画像まで切り替わると、再度優先度の高いものから順に参考情報を切り替えてもよい。
【0071】
また、上述した実施形態では、参考画像が2次元のマンモグラフィ画像である場合について説明したが、実施形態はこれに限定されるものではない。例えば、生検時以外の時点に観察対象を撮像して得られた超音波画像を参考画像としてもよい。
【0072】
(第1の実施形態の変形例)
上述した実施形態では、2次元のマンモグラフィ画像を参考画像として対応情報に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、トモシンセシス画像を参考画像として対応情報に対応付けてもよい。制御機能35bは、参考画像が3次元画像である場合には、走査位置情報に基づく超音波プローブ21の位置に応じた断面の画像を対応情報に対応付ける。
図12A及び
図12Bは、第1の実施形態の変形例を説明するための図である。
【0073】
図12Aでは、生検時における超音波プローブ21の被検体における位置を示す走査位置情報を示す。
図12Aでは、左乳房の模式図上に直線状のプローブマークを示している。例えば、制御機能35bは、
図12Aに示す走査位置情報を取得した場合、L1におけるプローブマークの位置の比として(a:b)を求める。
【0074】
図12Bでは、圧迫板14とX線検出器16aとの間に被検体の乳房を圧迫して固定している場合を示す。この状態でトモシンセシス撮像を行った場合に生成されるトモシンセシス画像の各断面を破線で示している。
図12Bに示すように、制御機能35bは、圧迫板14とX線検出器16aとを最短距離で結ぶ直線と、トモシンセシス画像の断面との交点の比が(a:b)となる断面を決定する。
図12Bに示す例では、制御機能35bは、圧迫板14から2つ目の断面を(a:b)となる断面に決定する。そして、制御機能35bは、決定した断面が超音波プローブ21による走査面であると判定し、この断面のトモシンセシス画像を参考画像として対応情報に対応付ける。
【0075】
上述したように、第1の実施形態の変形例では、画像処理装置30は、生検時以外の時点に観察対象を撮像して得られた3次元画像を参考画像として取得する。そして、画像処理装置30は、対応情報に参考画像を対応付けてディスプレイ32に表示させる。これにより、第1の実施形態の変形例によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。更に、病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び3次元画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0076】
なお、第1の実施形態の変形例に係る制御機能35bは、参考画像として、2次元画像と3次元画像とを参考画像として、対応情報に対応付けるようにしてもよい。かかる場合、制御機能35bは、参考画像として対応付ける画像の選択を、入力インターフェース31を介して操作者から受け付けてもよい。例えば、操作者がマウスをクリックする度に、参考画像として対応情報に対応付けられる画像が、2次元画像、3次元画像、2次元画像及び3次元画像に所定の順で切り替わってもよい。
【0077】
また、上述した実施形態では、参考画像が3次元画像である場合の一例として、トモシンセシス画像や3次元超音波画像について説明したが、実施形態はこれに限定されるものではない。例えば、X線CT(Computed Tomography)装置やMRI(Magnetic Resonance Imaging)装置によって、生検時以外の時点に観察対象を撮像して得られた画像を参考画像としてもよい。
【0078】
(第2の実施形態)
第1の実施形態では、超音波プローブ21による走査位置と関心領域が近似する画像を参考画像として対応付ける場合について説明した。第2の実施形態では、生検時の穿刺針の位置に応じた断面の画像を参考画像として対応情報に対応付ける場合について説明する。
【0079】
なお、第2の実施形態に係る医用情報処理システム100の全体構成は、画像処理装置30の有する処理回路35が実行する制御機能35bにおいて一部の機能が加わる点を除いて、
図1に示した医用情報処理システム100の構成例と同様である。このため、
図1に示した医用情報処理システム100の構成例と同様の機能を有する各部については詳細な説明を省略する。
【0080】
例えば、第2の実施形態に係る制御機能35bは、生検時の超音波画像から、体表から穿刺位置までの距離を算出し、算出した距離情報に基づいて、3次元画像における対応する断面を特定する。第2の実施形態では、生検時以外の時点に観察対象を撮像して得られた3次元の超音波画像を参考画像として対応情報に対応付ける場合について説明する。
【0081】
図13は、第2の実施形態に係る画像処理装置30による処理手順を示すフローチャートであり、
図14Aから
図15は、第2の実施形態を説明するための図である。
図13では、画像処理装置30の処理回路35が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。
【0082】
ステップS201からステップS204は、取得機能35aに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから取得機能35aに対応する所定のプログラムを呼び出し実行することにより、取得機能35aが実現されるステップである。なお、ステップS201からステップS203は、
図7に示すステップS101からステップS103の処理と同様であるので、詳細な説明を省略する。なお、第2の実施形態では、取得機能35aは、ステップS203を省略してもよい。
【0083】
ステップS204では、取得機能35aは、生検時以外の時点に観察対象を撮像して得られた3次元画像を取得する。例えば、取得機能35aは、操作者から入力インターフェース31を介して、患者IDと、生検時以外の時点に観察対象を撮像した検査を示す検査IDと、3次元の超音波画像を撮像可能な超音波診断装置20を示す装置IDとを受け付けた場合、患者IDと検査IDと装置IDとが一致する3次元の超音波画像を画像DB34aから取得する。
【0084】
ステップS205からステップS207は、制御機能35bに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから制御機能35bに対応する所定のプログラムを呼び出し実行することにより、制御機能35bが実現されるステップである。
【0085】
ステップS205では、制御機能35bは、生検時の超音波画像から、体表から穿刺位置までの距離を算出する。
図14Aでは、生検時の超音波画像を示す。この超音波画像には、穿刺針21bが描出されている。制御機能35bは、
図14Aに示すように、超音波画像から体表から穿刺位置までの距離D1を算出する。
【0086】
ステップS206では、制御機能35bは、断面を特定して対応情報を生成する。例えば、制御機能35bは、ステップS205で算出した距離情報に基づいて、3次元画像における対応する断面を特定する。ここで、ステップS201で取得した超音波画像には、
図14Aに示すように、走査位置情報61が重畳されている。制御機能35bは、
図12A及び
図12Bを用いて説明した処理と同様にして、走査位置情報61から超音波プローブ21による走査面に対応する断面を決定する。例えば、制御機能35bは、
図14Bに示すように、走査位置情報61から超音波プローブ21による走査面に対応する断面82を決定する。そして、制御機能35bは、決定した断面82の体表から被検体の背腹方向に置いて算出した距離D1の位置の断面83を特定する。一例をあげると、制御機能35bは、断面83として、3次元の超音波画像から
図14Cに示す超音波画像を参考画像として特定する。
【0087】
そして、制御機能35bは、参考画像を対応情報に対応付ける。例えば、制御機能35bは、ステップS201で取得された、走査位置情報を含んだ生検時の超音波画像と、ステップS203で取得された、生検時に得られた標本に基づいて生検後に生成された病理画像と、
図14Cに示す断面83に対応する超音波画像とを対応付けた対応情報を生成する。より具体的には、制御機能35bは、
図15に示すように、走査位置情報を含んだ生検時の超音波画像を左側の上段に配置し、病理画像を左側下段に配置し、断面83の超音波画像を参考画像として中央に配置する。更に、制御機能35bは、
図15に示すように、断面83の超音波画像において破線で示す断面の超音波画像を右側上段に配置し、断面83の超音波画像において実線で示す断面の超音波画像を右側下段に配置する。
【0088】
ステップS207では、制御機能35bは、ステップS206で生成した対応情報を出力する。例えば、制御機能35bは、
図15に示す対応情報をディスプレイ32に表示させる。
【0089】
上述したように、第2の実施形態では、画像処理装置30は、参考画像が3次元画像である場合には、走査位置情報に基づく超音波プローブ21の位置に応じた断面の画像を対応情報に対応付ける。これにより、第2の実施形態によれば、例えば病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び体表から穿刺位置までの距離に対応する断面の参考画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0090】
(第3の実施形態)
上述した実施形態では、超音波画像と参考画像とを対応付けた対応情報を生成する場合について説明した。ところで、穿刺針21bで採取された標本から得られる病理画像は、病変部位の全体を手術時に外科的に切除した標本から得られる病理画像とは異なり、超音波画像に描出された病変部位の一部である。このため、病理医は、病理診断を行う場合に、超音波画像と病理画像との対応関係を把握することが困難な場合がある。そこで、第3の実施形態では、病理画像を更に対応付けた対応情報を生成する場合について説明する。
【0091】
なお、第3の実施形態に係る医用情報処理システム100の全体構成は、画像処理装置30の有する処理回路35が実行する制御機能35bにおいて一部の機能が加わる点を除いて、
図1に示した医用情報処理システム100の構成例と同様である。このため、
図1に示した医用情報処理システム100の構成例と同様の機能を有する各部については詳細な説明を省略する。
【0092】
例えば、第3の実施形態に係る取得機能35aは、生検時に得られた標本に基づいて生検後に生成された病理画像を更に取得する。そして、第3の実施形態に係る制御機能35bは、生検時の超音波画像と、参考画像とを対応付けた対応情報に病理画像を更に対応付けてディスプレイ32に表示させる。
【0093】
図16は、第3の実施形態に係る画像処理装置30による処理手順を示すフローチャートであり、
図17から
図19は、第3の実施形態を説明するための図である。
図16では、画像処理装置30の処理回路35が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。なお、
図16では、制御機能35bが、第2の実施形態で説明した対応情報に、病理画像を更に対応付ける場合について説明する。
【0094】
ステップS301からステップS304は、取得機能35aに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから取得機能35aに対応する所定のプログラムを呼び出し実行することにより、取得機能35aが実現されるステップである。なお、ステップS301からステップS304は、
図13に示すステップS201からステップS204の処理と同様であるので、詳細な説明を省略する。また、第3の実施形態では、取得機能35aは、ステップS303を省略することなく実行する。
【0095】
ステップS305からステップS309は、制御機能35bに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから制御機能35bに対応する所定のプログラムを呼び出し実行することにより、制御機能35bが実現されるステップである。なお、ステップS305及びステップS306は、
図13に示すステップS205及びステップS206の処理と同様であるので、詳細な説明を省略する。
【0096】
ステップS307では、制御機能35bは、病理画像を更に対応付ける。例えば、制御機能35bは、
図17に示すように、ステップS301で取得された超音波画像に、ステップS303で取得された病理画像を対応付ける。ここで、
図17の上図は、
図8に示す超音波画像であり、走査位置情報61を含む。また、
図17の下図は、
図9に示す病理画像である。すなわち、制御機能35bは、
図8に示す超音波画像と、
図9に示す病理画像とを対応付けた対応情報を生成する。なお、
図17では説明の便宜上、参考画像の図示を省略し、走査位置情報61を含んだ超音波画像と、病理画像とを図示している。このようにして、制御機能35bは、ステップS306で生成した対応情報に、ステップS303で取得した病理画像を更に対応付ける。
【0097】
ステップS308では、制御機能35bは、穿刺針21bの挿入方向を示す情報を更に対応付ける。
図17と同様に、
図18の上図は超音波画像であり、
図18の下図は病理画像である。例えば、制御機能35bは、例えば
図18の上図に示す超音波画像において、生検時の穿刺針21bの挿入方向を示す情報を設定する。なお、以下では、生検時の穿刺針21bの挿入方向を示す情報のことを穿刺針情報とも言う。
【0098】
より具体的には、制御機能35bは、入力インターフェース31を介して、超音波画像上において生検時の穿刺針21bの挿入方向を示す情報を操作者から受け付ける。ここで、制御機能35bは、超音波画像上において生検時の穿刺針21bの針先端側及び針挿入側の少なくとも一方の設定を操作者から受け付ける。
図18の上図に示す例では、制御機能35bは、針先端側及び針挿入側の設定を受け付けた場合を示す。そして、制御機能35bは、操作者から受け付けた穿刺針情報を、超音波画像上に対応付ける。
図18の上図では、針先端側を丸印で示し、針挿入側を四角で示す。
【0099】
また、制御機能35bは、入力インターフェース31を介して、病理画像上において生検時の穿刺針21bの挿入方向を示す情報を操作者から受け付ける。ここで、制御機能35bは、病理画像上において生検時の穿刺針21bの針先端側及び針挿入側の少なくとも一方の設定を操作者から受け付ける。
図18の下図に示す例では、制御機能35bは、針先端側及び針挿入側の設定を受け付けた場合を示す。そして、制御機能35bは、操作者から受け付けた穿刺針情報を、病理画像上に対応付ける。
図18の下図では、針先端側を丸印で示し、針挿入側を四角で示す。
【0100】
そして、制御機能35bは、超音波画像において設定された穿刺針情報と、病理画像において設定された穿刺針情報との向きが略一致するように、超音波画像及び病理画像の少なくとも一方を回転または平行移動させる。
図18の下図に示す病理画像では、
図17の下図に示す病理画像を回転移動させている。
【0101】
ステップS309では、制御機能35bは、対応情報を出力する。例えば、制御機能35bは、ステップS308で穿刺針情報を更に対応付けた対応情報をディスプレイ32に表示させる。
【0102】
例えば、制御機能35bは、
図19に示す対応情報をディスプレイ32に表示させる。
図19では、制御機能35bは、走査位置情報61を含んだ生検時の超音波画像を左側の上段に配置し、病理画像を左側下段に配置し、断面83の超音波画像を参考画像として中央に配置し、断面83の超音波画像において破線で示す断面を右側上段に配置し、断面83の超音波画像において実線で示す断面を右側下段に配置する。更に、制御機能35bは、左側の上段に配置した走査位置情報を含んだ生検時の超音波画像及び左側の下段に配置した病理画像に、例えば、穿刺針21bの先端側を示す星印を穿刺針情報として重畳させる。また、制御機能35bは、右側上段の生検時以外の時点に観察対象を撮像して得られた超音波画像に、穿刺針21bを擬似的に表示させるとともに、擬似的な穿刺針の先端側を示す星印を穿刺針情報として重畳させる。このようにして、制御機能35bは、第2の実施形態で説明した対応情報に、病理画像と生検時における穿刺針21bの挿入方向を示す情報とを更に対応付けて、ディスプレイ32に表示させる。
【0103】
上述したように、第3の実施形態では、画像処理装置30は、生検時の超音波画像と参考画像とを対応付けた対応情報に病理画像を更に対応付けてディスプレイ32に表示させる。これにより、第3の実施形態によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。この結果、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見や参考画像の所見を加味することで、より精度の高い診断を効率的に行うことが可能になる。更に、病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0104】
なお、上述した第3の実施形態では、第2の実施形態で説明した対応情報に、病理画像を更に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、第1の実施形態で説明した対応情報に、病理画像を更に対応付けてもよい。かかる場合、制御機能35bは、
図7に示すステップS106の終了後に、
図16に示すステップS307及びステップS308の処理を実行してから、ステップS107の処理を実行する。
【0105】
なお、第3の実施形態では、制御機能35bは、生検時の超音波画像と、参考画像とを対応付けた対応情報に、生検時に得られた標本の病理画像と、穿刺針情報とを更に対応付けてディスプレイ32に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、穿刺針情報の表示をオンにしたりオフにしたりする指示を、入力インターフェース31を介して操作者から受け付けてもよい。
【0106】
(第3の実施形態の変形例)
上述した第3の実施形態では、生検時の超音波画像と参考画像とを対応付けた対応情報に病理画像を更に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、生検時の超音波画像と、超音波画像の生検時における超音波プローブ21の被検体における位置を示す走査位置情報と、生検時に得られた標本に基づいて生検後に生成された病理画像とを対応付けた対応情報を生成してもよい。
【0107】
図20は、第3の実施形態の変形例に係る画像処理装置30による処理手順を示すフローチャートである。ステップS401からステップS403は、取得機能35aに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから取得機能35aに対応する所定のプログラムを呼び出し実行することにより、取得機能35aが実現されるステップである。なお、ステップS401からステップS403は、
図7に示すステップS101からステップS103の処理と同様であるので、詳細な説明を省略する。
【0108】
ステップS404からステップS406は、制御機能35bに対応するステップである。処理回路35が記憶回路34の制御プログラムDB34dから制御機能35bに対応する所定のプログラムを呼び出し実行することにより、制御機能35bが実現されるステップである。
【0109】
ステップS404では、制御機能35bは、ステップS403で取得された病理画像を対応付けて対応情報を生成する。制御機能35bは、例えば、
図17を用いて説明したように、走査位置情報61を含んだ超音波画像と、病理画像とを対応付けた対応情報を生成する。ステップS405では、制御機能35bは、ステップS308と同様に、穿刺針21bの挿入方向を示す情報を更に対応付ける。制御機能35bは、例えば、
図18を用いて説明したように、走査位置情報61を含んだ超音波画像と、病理画像とを対応付けた対応情報に穿刺針21bの挿入方向を示す情報を更に対応付ける。そして、ステップS406では、制御機能35bは、ステップS405で生成した対応情報を出力する。
【0110】
なお、第3の実施形態の変形例では、制御機能35bは、走査位置情報が重畳された生検時の超音波画像と、生検時に得られた標本の病理画像と、穿刺針情報とを対応付けてディスプレイ32に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、穿刺針情報の表示をオンにしたりオフにしたりする指示を、入力インターフェース31を介して操作者から受け付けてもよい。
【0111】
上述したように、第3の実施形態の変形例では、画像処理装置30は、生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、生検時に得られた標本に基づいて生検後に生成された病理画像とを取得する。そして、画像処理装置30は、超音波画像と、病理画像と、位置情報とを対応付けた対応情報を生成し、生成した対応情報をディスプレイ32に表示させる。これにより、第3の実施形態の変形例によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。この結果、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見を加味することで精度の高い診断を効率的に行うことが可能になる。更に、病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。
【0112】
なお、第3の実施形態の変形例において生成した対応情報に、第1の実施形態、第1の実施形態の変形例、及び第2の実施形態で説明した参考画像を更に対応付けるようにしてもよい。例えば、第3の実施形態の変形例において生成した対応情報に、第1の実施形態や第1の実施形態の変形例で説明した参考画像を更に対応付ける場合、取得機能35aは、
図7に示すステップS104の処理を更に実行して、参考画像を取得する。そして、制御機能35bは、例えば、
図20に示すステップS405の処理の終了後に、
図7に示すステップS105の処理及びステップS106の処理を実行して、参考画像を更に対応付ける。また、例えば、第3の実施形態の変形例において生成した対応情報に、第2の実施形態で説明した参考画像を更に対応付ける場合、取得機能35aは、
図13に示すステップS204の処理を更に実行して、3次元画像を取得する。そして、制御機能35bは、例えば、
図20に示すステップS405の処理の終了後に、
図13に示すステップS205の処理及びステップS206の処理を実行して、参考画像を更に対応付ける。
【0113】
(その他の実施形態)
実施形態は、上述した実施形態に限られるものではない。
【0114】
また、上述した実施形態では、制御機能35bは、操作者から入力インターフェース31を介して穿刺針情報の設定を受け付けるものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、超音波画像から穿刺針21bを抽出してもよい。そして、制御機能35bは、針先端側及び針挿入側の少なくとも一方を設定する。例えば、制御機能35bは、超音波画像において、体の中心部側を針先側に設定し、体表側を針挿入側に設定する。なお、生検時の穿刺針21bの挿入方向を示す情報は、病理画像作成装置40において設定されてもよい。かかる場合、病理画像作成装置40は、病理画像上に穿刺針情報を設定してもよく、或いは、病理画像の付帯情報に穿刺針情報を付与してもよい。
【0115】
また、制御機能35bは、生成した対応情報を記憶回路34に記憶させる。そして、制御機能35bは、病理医などの指示に応じて、対応情報を記憶回路34から読み出して、ディスプレイ32に表示させる。かかる場合、制御機能35bは、複数のディスプレイ32に、対応情報を表示させてもよい。
図21は、その他の実施形態を説明するための図である。
図21では、画像処理装置30が3つのディスプレイに接続されている場合を示す。
図21に示す例では、制御機能35bは、右側のディスプレイ32に
図15に示した対応情報を表示させ、中央のディスプレイ32に参考画像としてCC画像を表示させ、左側のディスプレイ32には何も表示させていない場合を示す。ここで、制御機能35bは、操作者の指示に応じて、ディスプレイ32に表示させる対応情報の組み合わせを切り替えてもよい。例えば、右側のディスプレイ32に表示させている対応情報のうち、3次元の超音波画像をトモシンセシス画像に切り替えても良いし、CC画像及びMLO画像に切り替えても良い。なお、制御機能35bは、画像処理装置30のディスプレイ32と、病理医が使用する携帯端末のディスプレイとに同じ対応情報を表示させてもよい。
【0116】
また、上述した実施形態では、制御機能35bは、対応情報をディスプレイ32に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、対応情報を含んだ病理診断依頼書を生成してもよい。
図22は、その他の実施形態を説明するための図である。なお、
図22では、病理診断依頼書の一例として、乳腺病理組織診断依頼書を生成する場合について説明する。
【0117】
図22に示す病理診断依頼書の上段には、患者情報として患者氏名、生年月日及び性別を入力する項目が設けられる。また、
図22に示す病理診断依頼書の中央左側には、乳房の模式図が設けられる。そして、
図22に示す病理診断依頼書の中央右側には、対応情報の入力位置が設けられる。制御機能35bは、例えば、
図11に示した対応情報を対応情報の入力位置に挿入した病理診断依頼書を生成する。そして、制御機能35bは、生成した病理診断依頼書をディスプレイ32に表示させる。
【0118】
また、上述した実施形態では、制御機能35bは、対応情報や対応情報を含んだ病理診断依頼書をディスプレイ32に表示させるものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能35bは、対応情報や対応情報を含んだ病理診断依頼書をプリンタに印刷させたり、病理医が使用する情報処理装置などに送信させたりしてもよい。すなわち、制御機能35bは、対応情報や対応情報を含んだ病理診断依頼書を、所定の出力部に出力させる。
【0119】
上述した実施形態では、乳がん診療において病理診断を行う場合に、生検時の超音波画像と、病理画像と、走査位置情報とを対応付けた対応情報を生成して表示するものとして説明したが、実施形態はこれに限定されるものではない。例えば、上述した実施形態は、頭部、胸部、腹部、下肢部など他の部位における病理診断にも適用可能である。すなわち、観察対象は、乳房に限定されるものではなく、頭部、胸部、腹部、下肢部など他の部位であってもよい。なお、かかる場合、記憶回路24fは、各部位に対応するボディーマークを記憶し、このボディーマーク上に、被検体Pの部位を走査した際の超音波プローブ21の位置を対応付けた走査位置情報が生成される。
【0120】
上述した実施形態では、画像DB34aが、超音波画像、マンモグラフィ画像及び病理画像を記憶しており、取得機能35aは、画像DB34aから超音波画像、マンモグラフィ画像及び病理画像を取得するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、画像DB34aが、マンモグラフィ画像を記憶していない場合、取得機能35aは、通信制御インターフェース33を介してマンモグラフィ装置10と通信を行うことで、マンモグラフィ画像を取得し、取得したマンモグラフィ画像を画像DB34aに格納してもよい。また、例えば、画像DB34aが、超音波画像を記憶していない場合、取得機能35aは、通信制御インターフェース33を介して超音波診断装置20と通信を行うことで、超音波画像を取得し、取得した超音波画像を画像DB34aに格納する。また、例えば、画像DB34aが、病理画像を記憶していない場合、取得機能35aは、通信制御インターフェース33を介して病理画像作成装置40と通信を行うことで、病理画像を取得し、取得した病理画像を画像DB34aに格納する。
【0121】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路34の制御プログラムDB34dに保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路34の制御プログラムDB34dにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。なお、
図5における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0122】
上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0123】
また、上記の実施形態で説明した制御方法は、予め用意された制御プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この制御プログラムは、インターネット等のネットワークを介して配布することができる。また、この制御プログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0124】
以上説明した少なくとも一つの実施形態によれば、より精度の高い診断を効率的に行うことができる。
【0125】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。