(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-07
(45)【発行日】2024-05-15
(54)【発明の名称】医用画像診断装置、医用画像位置合わせ方法及び超音波診断装置
(51)【国際特許分類】
A61B 8/14 20060101AFI20240508BHJP
【FI】
A61B8/14
(21)【出願番号】P 2019167100
(22)【出願日】2019-09-13
【審査請求日】2022-07-27
(31)【優先権主張番号】201811066755.6
(32)【優先日】2018-09-13
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】チェン チー
(72)【発明者】
【氏名】ターン ヂェ
(72)【発明者】
【氏名】ジァン ウィジァン
(72)【発明者】
【氏名】チェン ユ
【審査官】蔵田 真彦
(56)【参考文献】
【文献】特開2015-039578(JP,A)
【文献】特開2013-223674(JP,A)
【文献】特表2016-512977(JP,A)
【文献】特開2006-014931(JP,A)
【文献】特開2005-106507(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 8/00-8/15
(57)【特許請求の範囲】
【請求項1】
医用画像データ間の画像位置合わせを行う医用画像診断装置であって、
前記医用画像データに含まれる被検体の構造物を抽出する抽出部と、
前記医用画像データ
の位置合わせ表示スケール
の値を設定するスケール設定部と、
前記スケール設定部により設定された位置合わせ表示スケールの
値の基で、前記抽出された構造物に基づいて、前記医用画像データ間
の位置合わせを行い
、位置合わせ医用画像データを生成する画像位置合わせ部と、
前記医用画像データの位置合わせ表示スケールの値を繰り返し減少させるスケール調整部と、
を備え、
前記抽出部は、前記位置合わせ表示スケールの値が減少される度に、減少された前記位置合わせ表示スケールの値の基で前記医用画像データに含まれる前記構造物を抽出し、
前記画像位置合わせ部は、前
記位置合わせ表示スケール
の値が減少さ
れる度に、減少された前
記位置合わせ表示スケールの
値の基で前記抽出された構造物に基づいて、
前記医用画像データ間の画像位置合わせを行い、位置合わせ医用画像データを生成し、所定の条件を満たす場合の当該位置合わせ医用画像データを正式位置合わせ医用画像データとする、医用画像診断装置。
【請求項2】
前記構造物は、血管又は表面輪郭である、請求項1に記載の医用画像診断装置。
【請求項3】
前記画像位置合わせ部は、前
記位置合わせ表示スケール
の値が減少さ
れる度に、減少された前
記位置合わせ表示スケールの
値の基
で前記抽出された構造物及び前記医用画像データに含まれる医用画像情報に基づいて、前
記医用画像データ
間の画像位置合わせを行い、前記位置合わせ医用画像データを生成し、
前記医用画像情報は、医用画像データの階調又は勾配のうちの少なくとも1種である、請求項1に記載の医用画像診断装置。
【請求項4】
前記画像位置合わせ部での位置合わせが不良の場合、操作者による校正指示を受け付ける入力部を備える、請求項1~
3のいずれか1項に記載の医用画像診断装置。
【請求項5】
前記入力部における校正指示は、一方の前記医用画像データの回転及び/またはシフト、若しくは、双方の前記医用画像データへのポイント指定である、請求項
4に記載の医用画像診断装置。
【請求項6】
医用画像データ間の画像位置合わせを行う医用画像位置合わせ方法であって、
前記医用画像データに含まれる被検体の構造物を抽出する抽出ステップと、
前記医用画像データ
の位置合わせ表示スケール
の値を設定す
るスケール設定ステップと、
前記
設定された位置合わせ表示スケールの
値の基で、前記抽出された構造物に基づいて、前記医用画像データ間
の位置合わせを行い
、位置合わせ医用画像データを生成す
る画像位置合わせステップと、
前
記医用画像データ
の位置合わせ表示スケール
の値を
繰り返し減少させる減少ステップと、
を有
し、
前記抽出ステップは、前記位置合わせ表示スケールの値が減少される度に、減少された前記位置合わせ表示スケールの値の基で前記医用画像データに含まれる前記構造物を抽出することを含み、
前記画像位置合わせステップは、前記位置合わせ表示スケールの値
が減少さ
れる度に、減少された前記位置合わせ表示スケールの
値の基
で前記抽出された構造物に基づいて、
前記医用画像データ間の画像位置合わせを行い、位置合わせ医用画像データを生成し、所定の条件を満たす場合の当該位置合わせ医用画像データを正式位置合わせ医用画像データとすることを含む、
ことを特徴とする医用画像位置合わせ方法。
【請求項7】
請求項1~
5のいずれか1つに記載の医用画像診断装置を有する、超音波診断装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、医用画像診断装置、医用画像診断方法及び超音波診断装置に関する。
【背景技術】
【0002】
現在では、医療分野において、超音波診断装置、CT(コンピュータ断層走査像)イメージング装置、MR(磁気共鳴)イメージング装置が広く用いられている。また、超音波診断装置は、被検体に対して非放射性であり、リアルタイム性がよく、費用が低いという利点を有しており、一方、CTイメージング装置及びMRイメージング装置は超音波診断装置に比べて、より高い解像度の画像を撮像することができるが、リアルタイム性が悪く、費用が高く、かつ被検体に対して放射線を照射することがある。
【0003】
従って、臨床的研究及び応用において、超音波画像の利点とCT画像及び/又はMR画像の利点とを結合する技術が望まれている。この技術は、被検体の病変を正確に診断し、被検体の病変の位置を正確に突き止めることに寄与し、疾患の診断及び処置に対して何れも非常に価値がある。
【0004】
現在、画像位置合わせは、この技術を実現するための可能性を提供する。画像位置合わせとは、異なる時間、異なるセンサ(撮像素子)又は異なる条件下(天気、照度、撮像位置及び角度等)で得られる2枚以上の画像をマッチングし重ね合わせる処理を意味している。現在、リモートセンシングデータ分析、コンピュータビジョン、画像処理等の分野に広く用いられている。
【0005】
現在、超音波画像とCT画像又はMR画像とを位置合わせる研究及び応用がある。通常、まず、超音波画像とCT画像又はMR画像とに、例えば、ノイズ除去、アップ/ダウンサンプリング等の前処理を行い、その後、前処理された画像について特徴抽出を行い、ユーザは、手動で、位置合わせが行われる2つの画像である超音波画像とCT画像又はMR画像とにポイント(点)又は面を入力した後、ユーザにより入力されたポイント又は面に基づき抽出された特徴に基づいて画像位置合わせを行い、位置合わせ後の画像(フュージョン画像とも言われる)を表示する。ユーザは、位置合わせ後の画像がニーズを満たすか否かを確認することができる。ニーズ(要求)を満たす場合、ユーザは、疾患診断又は処置を行うことができる。ニーズを満たさないと、ユーザは、再度ポイント又は面を手動で入力し、その後、位置合わせ後の画像がニーズを満たすまで再度位置合わせを行う。
【0006】
しかしながら、超音波画像が2次元画像であり、CT画像が3次元画像であるため、ユーザにとっては、3次元のCT画像の中から超音波画像と位置合わせするための適切な初期位置(例えば面)を選択することは、非常に困難である。
【0007】
また、ユーザが手動で初期入力を行った後、抽出された特徴に基づく画像位置合わせは画像全体をトラバースする必要があるため、このような超音波画像とCT画像又はMR画像との位置合わせは、非常に時間がかかるという重大な問題がある。
【0008】
また、ユーザは毎回位置合わせを完了した後に、位置合わせ結果がニーズを満たすか否かを確認し、ニーズを満たさない場合、改めてポイント又は面を入力する必要がある。このように、一方では、ユーザは、複数回の難しい入力操作を必要とする可能性があり、他方では、非常に時間がかかる位置合わせが完了しない限り、位置合わせ結果を確認することができない。よって、ニーズを満たす位置合わせ結果を取得しようとすると、ユーザが複数回入力する必要があり、長い時間を費やしている。
【0009】
また、画像位置合わせの精度の高さ(正確性)は特徴抽出の精度に依存する。特徴抽出の精度(正確性)が悪いと、ユーザが複数回の入力を繰り返しても、超音波画像とCT画像又はMR画像との位置合わせの達成が困難となり、位置合わせ精度が保証されにくい。
【0010】
よって、上述した技術課題を解決できる医用画像診断装置及び方法が強く望まれている。
【先行技術文献】
【特許文献】
【0011】
【文献】特開2015-039578号公報
【文献】特表2007-524486号公報
【文献】特開2006-217939号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
本発明が解決しようとする課題は、位置合わせ精度が高く、ユーザの操作を低減し、ユーザが操作しやすく、時間が短く、リアルタイム性がよいことを実現することができる医用画像診断装置、医用画像診断方法及び超音波診断装置を提供することである。
【課題を解決するための手段】
【0013】
実施形態に係る医用画像診断装置は、医用画像データ間の画像位置合わせを行う医用画像診断装置である。医用画像診断装置は、抽出部と、スケール設定部と、画像位置合わせ部とを備える。抽出部は、医用画像データに含まれる被検体の構造物を抽出する。スケール設定部は、医用画像の表示スケールを所定値に設定する。画像位置合わせ部は、所定値の表示スケールの基で医用画像データ間の画像位置合わせを行う。
【図面の簡単な説明】
【0014】
【
図1】
図1は、第1の実施形態に係る医用画像診断装置の構成の模式図である。
【
図2】
図2は、第1の実施形態に係る医用画像診断装置の動作フローチャートである。
【
図3】
図3は、第1の実施形態の実施例1に係る医用画像診断装置の動作フローチャートである。
【
図4】
図4は、第1の実施形態の実施例2に係る医用画像診断装置の動作フローチャートである。
【
図5】
図5は、第1の実施形態の実施例2に係る医用画像診断装置の表示例の模式図である。
【
図6】
図6は、第2の実施形態に係る医用画像診断装置の構成の模式図である。
【
図7】
図7は、第2の実施形態に係る医用画像診断装置の動作フローチャートである。
【
図8A】
図8Aは、第2の実施形態に係る医用画像診断装置の表示例の模式図である。
【
図8B】
図8Bは、第2の実施形態に係る医用画像診断装置の表示例の模式図である。
【
図9】
図9は、第3の実施形態に係る医用画像診断装置の構成の模式図である。
【
図10】
図10は、第3の実施形態に係る医用画像診断装置の動作フローチャートである。
【
図11】
図11は、第3の実施形態に係る医用画像診断装置の表示例の模式図である。
【発明を実施するための形態】
【0015】
実施形態に係る医用画像診断装置は、医用画像データ間の画像位置合わせを行うものである。実施形態に係る医用画像診断装置は、抽出部と、スケール設定部と、画像位置合わせ部とを備える。抽出部は、医用画像データに含まれる被検体の構造物を抽出する。スケール設定部は、医用画像の表示スケールを所定値に設定する。画像位置合わせ部は、所定値の表示スケールの基で医用画像データ間の画像位置合わせを行う。また、本発明が提供する医用画像診断装置は、前記構造物は血管又は表面輪郭であることを特徴とする。
【0016】
また、画像位置合わせ部は第1所定値の表示スケールの基で、医用画像データ間のプリ位置合わせを行い、そして、1つ以上の前記第1所定値よりも小さい第2所定値の表示スケールの基で正式画像位置合わせを行う。
【0017】
また、実施形態に係る医用画像診断装置は、画像位置合わせ部は、第1所定値の表示スケールの基で、抽出部により抽出される構造物に基づいて、医用画像間のプリ位置合わせを行い、プリ位置合わせ医用画像を生成し、1つ以上の第2所定値の表示スケールの基で、抽出部により抽出される前記構造物と、医用画像に含まれる医用画像情報とに基づいて、プリ位置合わせ医用画像に正式医用画像位置合わせを行い、位置合わせ医用画像を生成する。
【0018】
また、実施形態に係る画像情報は画像の階調又は勾配のうちの少なくとも1種であることを特徴とする。
【0019】
また、実施形態に係る医用画像診断装置は、表示スケールを調整するスケール調整部をさらに備える。画像位置合わせの際に、スケール調整部はスケール設定部に設定された所定値を逐次減少させる。
【0020】
また、実施形態に係る医用画像診断装置は、少なくとも操作者が校正指示を入力するための入力部を更に備える。入力部は、画像位置合わせ部での位置合わせが不良の場合、操作者による校正指示を受け付ける。
【0021】
また、実施形態に係る医用画像診断装置は、入力部における校正指示は、一方の医用画像データの回転及び/又はシフト、若しくは、双方の医用画像データへのポイント指定である。
【0022】
また、実施形態に係る医用画像診断方法は、医用画像データ間の画像位置合わせを行う方法である。医用画像診断方法は、抽出ステップと、スケール設定ステップと、画像位置合わせステップとを有する。抽出ステップは、医用画像データに含まれる被検体の構造物を抽出する。スケール設定ステップは、医用画像の表示スケールを所定値に設定する。画像位置合わせステップは、所定値の表示スケールの基で医用画像データ間の位置合わせを行う。
【0023】
また、実施形態に係る超音波診断装置は、上述のような医用画像診断装置を有する。以下、添付図面を参照して、本実施形態に係る医用画像診断装置、医用画像診断方法及び超音波診断装置について説明する。
【0024】
(第1の実施形態)
(医用画像診断装置100の構成)
まず、
図1を参照しながら、本発明の第1の実施形態に係る医用画像診断装置100の構成について説明する。
【0025】
また、医用画像診断装置100は、各種の部品を含み、
図1には、本発明の技術思想に関する部品のみが示されており、他の部品は省略されている。例えば、医用画像診断装置100は表示部を備えてもよい。表示部は、例えばCRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、タッチパネル等で構成され、画像位置合わせを行う画像である超音波画像、CT画像、MR画像、プリ位置合わせ画像、位置合わせ画像等を含む各種の画像を表示するための表示機能を備える。また、表示部は、各種の情報を提示することもできる。
【0026】
本実施形態に係る医用画像診断装置100は、被検体の医用画像データ間の画像位置合わせを行う。ここでは、被検体の構造物は、通常、患部であり、例えば肝臓、心臓又は肺等の器官である。医用画像診断装置100で画像位置合わせを行う画像は、2枚以上である。画像位置合わせを行う画像は医用画像であってもよい。例えば、画像位置合わせを行う画像について、一方が超音波画像であり、他方がCT画像(すなわち、コンピュータ断層走査像)又はMR画像(すなわち、磁気共鳴画像)である。
【0027】
また、画像位置合わせを行う画像である超音波画像、CT画像及びMR画像は、公知の機器及び方法により予め取得されて本実施形態の医用画像診断装置100に提供することができる。ここでは、画像位置合わせを行う画像の取得についての説明は省略する。
【0028】
図1に示すように、本実施形態に係る医用画像診断装置100は、抽出部101、スケール設定部102及び画像位置合わせ部103を備える。
【0029】
抽出部101は、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出する。ここでは、構造物は血管又は表面輪郭のうちの少なくとも1種であってもよい。抽出部101が構造物を抽出する方法は、構造物の違いにより、例えば公知の血管の輪郭又は血管の中心線の抽出又はセグメンテーション方法であってもよく、被検体の器官の表面の輪郭又は被検体の器官の縁の抽出又はセグメンテーション方法であってもよい。ここで、以下、抽出部101が構造物を抽出する方法の具体例については、繰り返し述べない。
【0030】
スケール設定部102は医用画像の表示スケールを所定値に設定する。ここで、スケール設定部102は、例えば、上記の設定を達成するための入力操作を行うことが可能なハードウェアデバイスである。ハードウェアデバイスは、例えば、マウス、キーボード、レバー、トラックボール、タッチパネル、ライトペン、言語コントローラー等であってもよい。また、ハードウェアデバイスの入力を受けることにより、ソフトウェアによりスケール設定部102を実現してもよい。また、本実施形態では、表示スケールが大きいほど、構造物が大きく表示され、表示スケールが小さいほど、画面中の構造物が多く表示されるものとする。また、本実施形態では、スケール設定部102に設定される所定値の表示スケールは相対的に大きく、即ち、構造物が大きく表示され、詳細情報がより多いものとする。画像位置合わせ部103は、所定値の表示スケールで、医用画像データ間の画像位置合わせを行う。画像位置合わせの方法は、例えばマッチング法などである。
【0031】
また、上述した抽出部101、スケール設定部102及び画像位置合わせ部103は、異なる部品又はモジュールであってもよいが、それらのうちの一部又は全部は、1つの部品又はモジュールに統合してもよい。
【0032】
また、
図1の医用画像診断装置100において示されていないが、医用画像診断装置100は、医用画像診断装置100全体の動作を制御する制御部を備えてもよい。抽出部101、スケール設定部102及び画像位置合わせ部103は、当該制御部の制御下で、画像位置合わせ機能を完了するために、協働することができる。
【0033】
(医用画像診断装置100の動作)
以下、第1の実施形態に係る医用画像診断装置100及びそれに適用される医用画像診断方法について、動作フローチャートに基づいて説明する。
【0034】
図2は、第1の実施形態に係る医用画像診断装置100の動作フローチャートである。
【0035】
図2に示されるように、ステップS200において、医用画像診断装置100は、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出した後、ステップS202に進む。
【0036】
ステップS202において、医用画像診断装置100は、スケール設定部102により医用画像の表示スケールを所定値に設定した後、ステップS204に進む。ここでは、相対的に大きい表示スケールが設定される。
【0037】
ステップS204において、医用画像診断装置100は、画像位置合わせ部103により所定値の表示スケールの基で、医用画像データ間の画像位置合わせを行った後、処理が終了される。
【0038】
第1の実施形態に係る医用画像診断装置100によれば、抽出部101が画像から相対的にミクロ的な構造物を抽出し、表示スケールを比較的大きく設定し、相対的にミクロ的な構造物を利用して、例えばマッチング法で位置合わせを行う。これにより、位置合わせ処理の時間を短縮することができ、取得される画像の品質要求を低くすることができ、特徴抽出への依存度を低減することができ、そして、画像位置合わせを実現できない状況の発生を大幅に避けることができる。また、大きなスケールでは、構造物をより容易かつ正確に抽出することができる。このことは、高い位置合わせ精度の実現に寄与する。
【0039】
(実施例1)
以下、第1の実施形態の実施例1に係る医用画像診断装置100について説明する。
【0040】
(実施例1の医用画像診断装置100の構成)
図1には、実施例1に係る医用画像診断装置100の構成が示されている。ここでは、重複する説明については省略する。
【0041】
また、本実施例1において、画像位置合わせ部103は、第1所定値の表示スケール(第1表示スケールという場合がある)の基で医用画像データ間のプリ位置合わせを行い、その後、1つ以上の第1所定値よりも小さい第2所定値の表示スケール(第2表示スケールという場合がある)の基で正式画像位置合わせ(本画像位置合わせ)を行う。
【0042】
また、ここでは、第1表示スケール及び第2表示スケールは、例えば抽出部101により画像中の構造物を抽出するときのスケールであってもよい。
【0043】
(実施例1の医用画像診断装置100の動作)
図3は、第1の実施形態の実施例1に係る医用画像診断装置100の動作フローチャートである。
【0044】
図3に示されるように、ステップS200において、医用画像診断装置100は、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出した後、ステップS202に進む。
【0045】
ステップS202において、医用画像診断装置100は、スケール設定部102により医用画像の表示スケールを所定値に設定した後、ステップS304に進む。ここでは、相対的に大きな表示スケールが設定される。
【0046】
ステップS304において、医用画像診断装置100は、画像位置合わせ部103により、第1所定値の表示スケールの基で医用画像データ間のプリ位置合わせを行った後、1つ以上の第1所定値よりも小さい第2所定値の表示スケールの基で正式画像位置合わせを行い、その後、処理が終了される。
【0047】
第1の実施形態の実施例1に係る医用画像診断装置100は、第1の実施形態の技術効果を有する。また、画像位置合わせ部103は、第1所定値の表示スケールの基で医用画像データ間のプリ位置合わせを行った後、1つ以上の第1所定値よりも小さい第2所定値の表示スケールの基で正式画像位置合わせを行う。即ち、画像位置合わせ部103は、相対的にミクロ的な構造物を用いて、例えばマッチング法で、画像のほぼ、局所的な位置合わせを行った後、第1所定値よりも小さい第2所定値の表示スケールの基で画像中の相対的にマクロ的な画像情報を考慮して、より細分化する位置合わせを行う。これにより、画像位置合わせ部103は、精密(精細)な、グローバルな画像位置合わせを実現する。このように、局所的な位置合わせとグローバルな位置合わせを組み合わせることにより、粗い位置合わせから精密な位置合わせまでの自動的な位置合わせを実現することができる。
【0048】
(実施例2)
以下、第1の実施形態の実施例2に係る医用画像診断装置100について説明する。
【0049】
(実施例2の医用画像診断装置100の構成)
図1には、実施例2の医用画像診断装置100の構成が示されている。ここでは、重複する説明については省略する。
【0050】
また、本実施例2において、画像位置合わせ部103は、第1所定値の表示スケールの基で、抽出部101により抽出された構造物に基づいて、医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成し、1つ以上の第2所定値の表示スケールの基で、抽出部101により抽出された構造物と、医用画像に含まれる画像情報とに基づいて、プリ位置合わせ画像に正式画像位置合わせを行い、位置合わせ画像を生成する。
【0051】
(実施例2の医用画像診断装置100の動作)
図4は、第1の実施形態の実施例2に係る医用画像診断装置100の動作フローチャートである。
【0052】
図4に示されるように、ステップS200において、医用画像診断装置100は、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出した後、ステップS202に進む。
【0053】
ステップS202において、医用画像診断装置100は、スケール設定部102により医用画像の表示スケールを所定値に設定した後、ステップS404に進む。ここでは、相対的に大きな表示スケールが設定される。
【0054】
ステップS404において、医用画像診断装置100は、画像位置合わせ部103により、第1所定値の表示スケールの基で、抽出部101により抽出された構造物に基づいて、医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成し、1つ以上の第2所定値の表示スケールの基で、抽出部101により抽出された構造物と、医用画像に含まれる画像情報とに基づいて、プリ位置合わせ画像に正式画像位置合わせを行い、位置合わせ画像を生成し、位置合わせ画像を生成した後、処理が終了される。
【0055】
以下、本実施形態の実施例2に係る医用画像診断装置100について具体的な例を挙げて説明する。
【0056】
本実施形態の実施例2において、
図5(a)に示される被検体の肝臓の超音波画像と、
図5(b)に示される同一の被検体の肝臓のCT画像とが位置合わせされる。
【0057】
まず、医用画像診断装置100は、画像位置合わせを行う医用画像データに含まれる被検体の構造物(ここでは、被検体の肝臓の表面輪郭)を抽出部101により抽出する(ステップS200)。例えば、抽出部101は、超音波画像において
図5(c)に実線で示す曲線を抽出し、CT画像において
図5(d)に破線で示す曲線を抽出する。
【0058】
次に、医用画像診断装置100は、スケール設定部102により医用画像の表示スケールを所定値に設定する(ステップS202)。ここでは、例えば第1表示スケールが設定される。
【0059】
その後、医用画像診断装置100は、画像位置合わせ部103により、抽出部101により抽出された構造物(
図5(c)に実線で示す曲線及び
図5(d)に破線で示す曲線)に基づいて、例えば画像マッチング等の方法で、第1表示スケールの基で医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成する。そして、医用画像診断装置100は、プリ位置合わせ画像を生成した後、画像位置合わせ部103により、抽出部101で抽出された構造物と、画像に含まれる例えば階調又は勾配等の画像情報とに基づいて、第1表示スケールよりも小さい第2表示スケールの基でプリ位置合わせ画像に正式画像位置合わせを行い、位置合わせ画像を生成する(ステップS404)。
【0060】
ここでは、
図5(e)に示されるように、プリ位置合わせ画像は、超音波画像(
図5(c)において実線で示す局所的な曲線)と、CT画像(
図5(d)において破線で示す局所的な曲線)とがほぼ重なり合うように重ねられて生成される。また、
図5(f)に示されるように、位置合わせ画像は、超音波画像(
図5(c)に実線で示す曲線)と、CT画像(
図5(d)において破線で示す曲線)とが、
図5(e)に示されるプリ位置合わせ画像よりも精度良く重なり合うように重ねられて生成されてもよい。また、
図5(g)に示されるように、位置合わせ画像は、超音波画像とCT画像とを位置合わせした後に表示することができるが、構造物のマッチング状況を明瞭に示していない。その後、処理が終了される。
【0061】
第1の実施形態の実施例2に係る医用画像診断装置100は、同様に、上述した第1の実施形態の技術効果を備えている。また、医用画像診断装置100は、抽出部101により画像から相対的にミクロ的な構造物を抽出し、相対的にミクロ的な構造物を利用して、例えばマッチング法で、医用画像データのほぼ、局所的な位置合わせを行った後、抽出部101により抽出された構造物に加えて、医用画像データに含まれる例えば階調、勾配等の相対的にマクロ的な画像情報も考慮され、局所的に位置合わせしたプリ位置合わせ画像により精密な位置合わせを行う。これにより、医用画像診断装置100は、精密かつグローバルな正式画像位置合わせを実現する。このように、まず、相対的にミクロ的構造物の情報を利用して画像のほぼ、局所的な位置合わせが行われ、相対的にミクロ的な構造物と、画像に含まれる例えば階調、勾配等の相対的にマクロ的な画像情報とに基づいて、局所的に位置合わせされたプリ位置合わせ画像により精密な位置合わせが行われる。このように、局所的な位置合わせと、グローバルな位置合わせとを組み合わせることにより、粗い位置合わせから精密な位置合わせまでの自動的な位置合わせを実現することができる。そして、局所的なプリ位置合わせにおいて、相対的にミクロ的かつ局所的な情報のみが利用されるので、位置合わせ処理の時間を短縮することができ、取得された画像の画質要求を低くすることができ、特徴抽出に対する依存度を低減することができ、画像位置合わせを実現できない状況の発生を大幅に避けることができる。そして、画像位置合わせ部103は、さらに、相対的にミクロ的な構造物と、画像に含まれる相対的にマクロ的な画像情報とに基づいて、局所的に位置合わせされたプリ位置合わせ画像により精密な位置合わせを行う。これにより、画像位置合わせ部103は、画像位置合わせの高精度を確保することができ、精密かつグローバルな画像位置合わせを実現することができる。また、画像位置合わせ部103は、第1表示スケールの基で医用画像データ間のプリ位置合わせを行って、1つ以上の第1表示スケール的よりも小さい第2表示スケールの基で正式画像位置合わせを行う。これにより、画像位置合わせ部103は、画像位置合わせにかかる時間の短縮と、グローバルな位置合わせ及び精細な位置合わせの両立を効果的に実現することができる。
【0062】
(第2の実施形態)
以下、第2の実施形態に係る医用画像診断装置100Aについて説明する。
【0063】
(医用画像診断装置100Aの構成)
図6は、第2の実施形態に係る医用画像診断装置100Aの構成の模式図である。
図6において、第1の実施形態に係る医用画像診断装置100の構造の模式図である
図1に示す構成要素と同一の構成要素には同一の符号を付し、説明は省略する。
【0064】
第2の実施形態に係る医用画像診断装置100Aと、第1の実施形態に係る医用画像診断装置100との相違点は、第2の実施形態に係る医用画像診断装置100Bがスケール調整部104を備える点である。
【0065】
スケール調整部104は、医用画像の表示スケールを調整する。スケール調整部104が画像の表示スケールを調整する方式は、予め定められた方式に従って、所定の時間間隔で表示スケールを等幅に変化させる方式であってもよい。もちろん、スケール調整部104は、ユーザの手動操作を受け付けることにより画像の表示スケールを調整してもよい。また、スケール調整部104が画像の表示スケールを調整するタイミングは、画像位置合わせ部103が画像のプリ位置合わせを行う処理中であってもよいし、プリ位置合わせした後かつ正式画像位置合わせの前であってもよいし、正式画像位置合わせの処理中であってもよい。
【0066】
なお、本実施形態において、画像位置合わせ部103が正式画像位置合わせを行う場合、スケール調整部は表示スケールを徐々に小さくさせる。
【0067】
(医用画像診断装置100Aの動作)
図7は、第2の実施形態に係る医用画像診断装置100Aの動作フローチャートである。
図7に示される動作フローチャートにおいて、ステップS704はプリ位置合わせに関連し、ステップS706~ステップS716は、正式画像位置合わせに係る1つの具体的な例の実現フローである。
【0068】
図7に示されるように、ステップS700において、医用画像診断装置100Aは、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出した後、ステップS702に進む。
【0069】
ステップS702において、医用画像診断装置100Aは、スケール設定部102により医用画像の表示スケールを所定値に設定した後、ステップS704に進む。例えば、医用画像の表示スケールが、第1所定値の表示スケールに設定される。
【0070】
ステップS704において、医用画像診断装置100Aは、画像位置合わせ部103により、抽出部101により抽出された構造物に基づいて、例えば画像マッチング等の方法で第1表示スケールの基で医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成し、プリ位置合わせ画像を生成した後、ステップS706に進む。
【0071】
ステップ706において、医用画像診断装置100Aは、スケール調整部104により、表示スケールが第1表示スケールよりも小さい第2表示スケールを調整する。ここでは、スケール調整部104は、必要に応じて、図示しない部品により、目的関数における構造物及び画像情報の重みを調整してもよく、その後、ステップS708に進む。
【0072】
ステップS708において、医用画像診断装置100Aは、第1表示スケールよりも小さい第2表示スケールの基で、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出し、抽出部101により抽出された構造物に基づいて、画像位置合わせ部103により第2表示スケールの基でプリ位置合わせ画像における構造物をさらにマッチングした後、ステップS710に進む。
【0073】
ステップS710において、医用画像診断装置100Aの画像位置合わせ部103はスケールを最適化した後、ステップS712に進む。
【0074】
ステップS712において、医用画像診断装置100Aの画像位置合わせ部103は目的関数を最大化させた後、ステップS714に進む。
【0075】
ステップS714において、医用画像診断装置100Aの画像位置合わせ部103は、目的関数が収束したか否かを判断する。収束していないと判断した場合(ステップS714:No)、画像位置合わせ部103は、ステップS706に戻り、目的関数が収束するまでステップS706からステップS714までの処理を繰り返し実行する。一方、収束していると判断した場合(ステップS714:Yes)、画像位置合わせ部103は、ステップS716に進む。
【0076】
ステップS716において、医用画像診断装置100Aの画像位置合わせ部103は、目的関数が収束した時点で、正式画像位置合わせを完了して位置合わせ画像を生成する。そして、処理が終了される。
【0077】
以下、本実施形態に係る医用画像診断装置100Aについて、具体的な例を挙げて説明する。
【0078】
本実施形態において、
図8A(a)に示される被検体の構造物である肝臓の超音波画像と、
図8A(b)に示される同一の被検体の肝臓のCT画像とが位置合わせされるものとする。
【0079】
まず、医用画像診断装置100Aは、画像位置合わせを行う医用画像データに含まれる被検体の構造物(ここでは、被検体の血管とする)を抽出部101により抽出する(ステップS700)。例えば、超音波画像において、
図8A(c)に実線で示される点又は線状の被検体の血管が抽出され、CT画像において、
図8A(d)に破線で示される線状の被検体の血管が抽出される。
【0080】
その後、医用画像診断装置100Aは、スケール設定部102により医用画像の表示スケールを所定値(ここでは、第1の所定値とする)に設定する(ステップS702)。
【0081】
その後、医用画像診断装置100Aは、画像位置合わせ部103により、抽出部101により抽出された構造物(
図8A(c)に実線で示される曲線、及び
図8A(d)に破線で示される曲線)に基づいて、例えば画像マッチング(例えば血管ツリーマッチングであり、かつ第1表示スケールσ1=3mm、血管ツリー距離の重みων=1とする)等の方法で、第1表示スケールの基で医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成する(ステップS704)。
図8A(e)に示されるように、プリ位置合わせ画像は、超音波画像(例えば、
図8A(c)に実線で示される局所的な曲線)と、CT画像(例えば、
図8A(d)に破線で示される局所的な曲線)とがほぼ重なり合うように重ねられて生成される。
【0082】
その後、医用画像診断装置100Aは、スケール調整部104により、表示スケールを第1表示スケールよりも小さい第2表示スケールに調整する。即ち、医用画像診断装置100Aは、スケール調整部104により、
図8Bに示されるように、左側図(即ち、
図8A(e))の第1表示スケールσ1から中間図の第2表示スケールσ2(例えばσ2=2mm)に調整する。
【0083】
また、ここで、正式画像位置合わせに用いられる目的関数を式(1)とする。
ωg*Sg-ων*Sv 式(1)
【0084】
式(1)において、「Sg」は、グローバル類似度であり、例えば式(2)に示される。
【数1】
【0085】
式(2)中のパラメータは、例えば下記の式(3)に示される。
【数2】
ωg:グローバル類似度の重み;
Sv:画像位置合わせ部103の画像位置合わせに用いられるプリ位置合わせ画像における血管ツリーの距離;
ων:血管ツリーの距離の重み。
【0086】
ここでは、表示スケールをσ1からσ2に調整するとともに、血管ツリーの距離の重みも小さくし、例えばων=0.75とし、かつグローバル類似度の重みωgを大きくし、ωg=2とする(ωgの初期値を1とする)(ステップS706)。
【0087】
その後、医用画像診断装置100Aは、第1表示スケールσ1よりも小さい第2表示スケールσ2の基で、画像位置合わせを行う医用画像データに含まれる被検体の構造物(血管)を抽出部101により抽出する。そして、医用画像診断装置100Aは、抽出部101により抽出された構造物に基づいて、第2表示スケールの基でプリ位置合わせ画像中の構造物(血管ツリー)をさらにマッチングする。ここでは、
図8Bの中間図に示されるように、表示スケールと関係パラメータの調整により、血管ツリーは大きくなり、
図8Bの左側図に対してより多くより小さいスケール下のデータが追加され、正式画像位置合わせをさらに細分化させる(ステップS708)。
【0088】
その後、スケールが最適化される(ステップS710)。ここで、最適化方法は、公知の任意の最適化方法であってもよく、ここでは説明は省略する。
【0089】
その後、目的関数が最大化される(ステップS712)。
【0090】
その後、医用画像診断装置100Aは、画像位置合わせ部103により、目的関数が収束したか否かを判断する(ステップS714)。ここで収束していないと判断された場合(ステップS714:No)、処理はステップS706に戻り、ステップS706からステップS714までの処理(反復)が繰り返し実行される。具体的には、例えば、医用画像診断装置100Aは、スケール調整部104により表示スケールを第3表示スケールに調整することができる。例えば、医用画像診断装置100Aは、スケール調整部104により、
図8Bに示されるように、中間図の第2表示スケールσ2から右側図の第3表示スケールσ3(例えばσ3=1mm)に調整する。同時に、医用画像診断装置100Aは、スケール調整部104により、血管ツリーの距離の重みを小さくし、例えばων=0.5とし、かつ、グローバル類似度の重みωgを大きくし、例えば、ωg=3とする(ステップS706)。
【0091】
その後、反復的な処理が実行され(ステップS706~ステップS712)、今回の反復において目的関数が収束すると判断するように決定される(ステップS714:Yes)。
【0092】
このように、医用画像診断装置100Aは、画像位置合わせ部103により正式画像位置合わせを完了することにより位置合わせ画像を生成する。
図8A(f)に示されるように、該位置合わせ画像は、超音波画像(
図8A(c)において実線で示される曲線)と、CT画像(8A(d)において破線で示される曲線)とが、
図8A(e)に示されるプリ位置合わせ画像よりも精度よく重なり合うように重ねられて生成される。また、
図8A(g)に示されるように、位置合わせ画像は、超音波画像とCT画像とを位置合わせした後に重ね合わせる画像を表示することができるが、構造物的のマッチング状況を明瞭に示していない。その後、処理が終了される。
【0093】
第2の実施形態に係る医用画像診断装置100Aは、上述した第1の実施形態及び各実施例の技術効果を具備し、ここでは繰り返し述べない。
【0094】
(第3の実施形態)
以下、第3の実施形態に係る医用画像診断装置100Bについて説明する。
【0095】
(医用画像診断装置100Bの構成)
図9は、第3の実施形態に係る医用画像診断装置100Bの構成の模式図である。
図9において、
図1に示す第1の実施形態に係る医用画像診断装置100の構成要素と同一の構成要素には同一の符号を付し、説明は省略する。
【0096】
第3の実施形態に係る医用画像診断装置100Bと第1の実施形態に係る医用画像診断装置100との相違点は、第3の実施形態に係る医用画像診断装置100Bが入力部105を備える点である。
【0097】
入力部105は、ユーザが校正指示を入力するために用いられるものであり、例えばマウス、キーボード、レバー、トラックボール、タッチパネル、ライトペン、言語コントローラー等の入力可能な機器であってもよい。
【0098】
また、本実施形態において、プリ位置合わせ画像が、精度が良好でないプリ位置合わせにより得られたものである場合、ユーザは、入力部105を介して校正指示を入力する。ここでは、校正指示とは、一方の医用画像データの回転及び/又はシフト、若しくは、双方の医用画像データへのポイント指定をいう。
【0099】
(医用画像診断装置100Bの動作)
図10は、第3の実施形態に係る医用画像診断装置100Bの動作フローチャートである。
【0100】
図10に示されるように、ステップS1000において、医用画像診断装置100Bは、画像位置合わせを行う医用画像データに含まれる被検体の構造物を抽出部101により抽出した後、ステップS1002に進む。
【0101】
ステップS1002において、医用画像診断装置100Bは、スケール設定部102により医用画像の表示スケールを所定値に設定した後、ステップS1004に進む。ここでは、設定される表示スケールは、例えば第1表示スケールとする。
【0102】
ステップS1004において、医用画像診断装置100Bは、画像位置合わせ部103により、抽出部101により抽出された構造物に基づいて、例えば画像マッチング等の方法で、第1表示スケールの基で医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成し、プリ位置合わせ画像を生成した後、ステップS1006に進む。
【0103】
ステップS1006において、ユーザは、表示されるプリ位置合わせ画像に基づいて、プリ位置合わせ画像にプリ位置合わせ不良があるか否かを判断する(ステップS1006)。プリ位置合わせ不良があると判断した場合(ステップS1006:Yes)、ステップS1008に進み、ステップS1008において、ユーザは入力部106を介して校正指示を入力し、そして、ステップS1006を再び実行する。一方、プリ位置合わせ不良がないと判断した場合(ステップS1006:No)、ステップS1010に進む。
【0104】
ステップS1010において、医用画像診断装置100Bは、画像位置合わせ部103により、抽出部101が抽出した構造物と、画像に含まれる例えば階調又は勾配等の画像情報とに基づいて、プリ位置合わせ画像に正式画像位置合わせを行い、位置合わせ画像を生成する。そして、位置合わせ画像が生成された後、処理が終了される。
【0105】
以下、本実施形態に係る医用画像診断装置100Bについて、具体的な例を挙げて説明する。
【0106】
本実施形態において、
図11(a)に示される被検体の構造物である肝臓の超音波画像と、
図11(b)に示される同一の被検体の肝臓のCT画像とを位置合わせされるものとする。
【0107】
まず、医用画像診断装置100Bは、画像位置合わせを行う医用画像データに含まれる被検体の構造物(ここでは、被検体の血管)を抽出部101により抽出する(ステップS1000)。例えば、超音波画像において
図11(c)に実線で示される曲線が抽出され、CT画像において
図11(d)に破線で示される曲線が抽出される。
【0108】
その後、医用画像診断装置100Bは、スケール設定部102により医用画像の表示スケールを所定値に設定する(ステップS1002)。
【0109】
その後、医用画像診断装置100Bは、画像位置合わせ部103により、抽出部101で抽出された血管(
図11(c)に実線で示されるポイント又はライン、及び
図11(d)に破線で示されるライン)に基づいて、例えば画像マッチング等の方法で、医用画像データ間のプリ位置合わせを行い、プリ位置合わせ画像を生成する(ステップS1004)。
【0110】
ここでは、
図11(e)に示されるように、プリ位置合わせ画像は、超音波画像(
図11(c)において実線で示される曲線)と、CT画像(
図11(d)において破線で示される曲線)とがほぼ重なり合うように重ねられて生成される。
【0111】
その後、ユーザは、表示されるプリ位置合わせ画像に基づいて、プリ位置合わせ画像にプリ位置合わせ不良があるか否かを判断することができる(ステップS1006)。そして、プリ位置合わせ不良があると判断した場合(ステップS1006:Yes)、ユーザは、入力部106を介して校正指示を入力する(ステップS1008)。ここで、校正指示は、回転及びシフトである。そして、ユーザは、ステップS1006の判断を再び実行し、判断した結果、プリ位置合わせ不良がないと判断した場合(ステップS1006:No)には、次のステップS1010に移行する。
【0112】
その後、医用画像診断装置100Bは、画像位置合わせ部103により、抽出部101が抽出した構造物と、画像に含まれる例えば階調又は勾配等の画像情報とに基づいて、プリ位置合わせ画像に正式画像位置合わせを行い、位置合わせ画像を生成する(ステップS1010)。そして、処理が終了される。ここでは、
図11(f)に示されるように、位置合わせ画像は、超音波画像(
図11(c)に実線で示される曲線)と、CT画像(
図11(d)に破線で示される曲線)とが、
図11(e)に示されるプリ位置合わせ画像よりも精度よく重なり合うように重ねて生成することができる。また、位置合わせ画像は、
図11(g)に示されるように、超音波画像とCT正式画像とを位置合わした後に重ね合わせる画像を表示することができるが、構造物のマッチング状況を明示していない。
【0113】
第3の実施形態に係る医用画像診断装置100Bは、同様に、上述した第1の実施形態及び第2の実施形態の技術効果を備えている。また、医用画像診断装置100Bが、入力部105を有しており、かつ画像位置合わせ部103により画像プリ位置合わせが実行された後、ユーザは、プリ位置合わせに不良があるか否かを判断することができるので、プリ位置合わせ不良がある場合、ユーザは、手動で調整し、プリ位置合わせ不良をできる限り除去することができる。よって、従来の技術のように、ユーザが非常に時間がかかる画像位置合わせが実行された後に位置合わせ結果を確認するのではなく、時間をかけないプリ位置合わせが実行された後、ユーザはプリ位置合わせ結果を確認して、効率的な調整を行うことができる。これにより、画像位置合わせに必要な時間をさらに短縮し、画像位置合わせ時間を短くし、リアルタイム性を良くすることを実現することができる。そして、ユーザは、一方の画像データの回転及び/又はシフト、若しくは双方の医用画像データへのポイント指定等の操作により、簡単で、かつ直観的に位置合わせを調整することができる。このように、ユーザは、より少ない操作で、プリ位置合わせ不良をできる限り除去することができる。これにより、ユーザの操作を低減し、かつユーザが操作し易く、ユーザインタラクションの適切なタイミング及び方式を提供することができ、医用画像診断装置の操作快適性を向上させる。
【0114】
(変形例)
以上、各実施形態について説明したが、本発明は、上述した実施形態及び変形例に限定されるものではなく、例えば、当業者は、上述した各実施形態、実施例及び変形例に対して適宜構成要素の追加、削除、設計変更を行った形態、各実施形態や変形例の特徴を適宜組み合わせたものも、本発明の技術的思想に合致する限り、本発明の範囲に含まれる。
【0115】
例えば、第3の実施形態において、画像位置合わせの処理において、スケール調整が実行されてもよい。例えば特徴抽出のスケール及び/又は画像表示スケールが調整されてもよい。
【0116】
また、第2の実施形態のステップS714において、画像位置合わせ部103は、目的関数が収束したか否かを判断する。当然ながら、このような判断を行う1つの判断部を単独して設けて、この判断部が、目的関数が収束したか否かを判断してもよい。また、医用画像診断装置100B全体の動作を制御する制御部がある場合には、目的関数が収束したか否かを制御部によって判断してもよい。
【0117】
また、上述した実施形態において、プリ位置合わせに不良が生じたときに、ユーザが校正指示を入力する場合について説明したが、これは、比較的好適な実施形態であり、これに限られず、画像アライメント中のいずれかの段階で、ユーザが校正指示を入力してもよい。
【0118】
また、上述した実施形態において、まず、医用画像データ中の被検体の構造物を抽出部により抽出し、その後、医用画像の表示スケールをスケール設定部により設定しているが、これに限られず、まず、医用画像の表示スケールをスケール設定部により設定し、医用画像データ中の被検体の構造物を抽出部により抽出してもよい。
【0119】
また、上述した各実施形態において、超音波画像とCT画像との間の画像位置合わせを例に説明したが、上述した実施形態は、超音波画像とMR画像との位置合わせにも適用できることは言うまでもない。
【0120】
また、上述した位置合わせ後の画像は2次元のMPR画像の方式で表示されているが、これに限らず、例えば、3次元のSVR画像の方式で表示されてもよい。
【0121】
また、本発明において、位置合わせ画像のみを表示してもよいし、実施形態の表示例に係る各図の全部又は一部を同時に表示してもよい。
【0122】
また、本発明は、医用画像診断装置及びそれによる医用画像診断方法の具体的な表現形態について詳述したが、本発明の具体的な表現形態はこれに限定されるものではなく、当該医用画像診断装置を含む超音波診断装置、集積回路、プログラム及びプログラムが記録された媒体等の各種の形態で表現されてもよい。
【0123】
以上説明した少なくとも1つの実施形態、実施例及び変形例によれば、位置合わせ精度が高く、ユーザの操作を低減し、ユーザが操作しやすく、時間が短く、リアルタイム性がよいことを実現することができる。
【0124】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0125】
100 医用画像診断装置
101 抽出部
102 スケール設定部
103 画像位置合わせ部