ホーム > 特許ランキング > 中慧医学成像有限公司
特表2022-549698３次元トラッキングカメラをベースとする３次元超音波イメージング方法及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-28
(54)【発明の名称】３次元トラッキングカメラをベースとする３次元超音波イメージング方法及びシステム
(51)【国際特許分類】
A61B 8/14 20060101AFI20221118BHJP
【ＦＩ】
A61B8/14
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022519263
(86)(22)【出願日】2020-09-28
(85)【翻訳文提出日】2022-05-09
(86)【国際出願番号】 CN2020118249
(87)【国際公開番号】W WO2021057993
(87)【国際公開日】2021-04-01
(31)【優先権主張番号】201910933434.X
(32)【優先日】2019-09-29
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】201911125286.5
(32)【優先日】2019-11-18
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518375867
【氏名又は名称】中慧医学成像有限公司
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】鄭永平
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601BB03
4C601EE13
4C601EE14
4C601GA18
4C601JC04
4C601JC11
4C601JC22
4C601JC25
(57)【要約】
３次元トラッキングカメラをベースとする３次元超音波イメージングシステム及びイメージング方法は、ターゲットの関心領域を超音波走査する超音波プローブ（１０）と、超音波走査に基づき、ターゲットの関心領域の２次元超音波画像を生成する２次元超音波イメージング装置（１５）と、超音波プローブ（１０）に接続されて、超音波プローブ（１０）の３次元空間情報を取得する３次元空間情報取得装置（１２）と、超音波プローブ（１０）の３次元空間情報及び２次元超音波画像に基づいて３次元超音波画像を再現する３次元再現モジュール（１６）、を含む。よって、柔軟且つ低コスト、及び小体積な方式で３次元超音波画像を再現可能であるとともに、効果的に干渉を回避可能である。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
３次元トラッキングカメラをベースとする３次元超音波イメージングシステムであって、ターゲットの関心領域を超音波走査する超音波プローブと、
前記超音波走査に基づき、前記ターゲットの関心領域の２次元超音波画像を生成する２次元超音波イメージング装置と、
前記超音波プローブに接続されて、前記超音波プローブの３次元空間情報を取得する３次元空間情報取得装置と、
前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する３次元再現モジュールと、を含むことを特徴とするシステム。
【請求項2】
前記３次元空間情報取得装置は、３次元トラッキングカメラ及び処理モジュールを含み、前記３次元トラッキングカメラは、環境画像を取得するとともに、前記環境画像に基づいて初期３次元空間情報を生成するために用いられ、前記処理モジュールは、前記初期３次元空間情報を前記超音波プローブの３次元空間情報に変換するために用いられることを特徴とする請求項１に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項3】
前記３次元空間情報取得装置は、複数の前記３次元トラッキングカメラを含み、複数の前記３次元トラッキングカメラは、前記超音波プローブの異なる部位に装着されて、複数組の初期３次元空間情報を取得し、前記処理モジュールは、取得した複数組の前記初期３次元空間情報に基づいて、前記超音波プローブの３次元空間情報を生成することを特徴とする請求項２に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項4】
前記３次元空間情報取得装置は、更に、測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化とに基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正するための修正モジュールを含むことを特徴とする請求項２に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項5】
前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期３次元空間情報を修正することを特徴とする請求項４に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項6】
前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正することを特徴とする請求項４に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項7】
更に、前記３次元空間情報取得装置及び前記超音波プローブを接続する装着モジュールを含み、前記装着モジュールは、操作者が把持するグリップを含むことを特徴とする請求項１に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項8】
更に、前記２次元超音波イメージング装置が取得した前記２次元超音波画像及び前記３次元空間情報取得装置が取得した前記３次元空間情報を統合し、有線又は無線モードで３次元再現モジュールに伝送するデータ統合及び通信装置を含むことを特徴とする請求項１に記載の３次元トラッキングカメラをベースとする３次元超音波イメージングシステム。
【請求項9】
３次元トラッキングカメラをベースとする３次元超音波イメージング方法であって、Ｓ１：超音波プローブを使用して、ターゲットの関心領域を超音波走査し、
Ｓ２：前記超音波走査に基づき、前記ターゲットの関心領域の２次元超音波画像を生成し、
Ｓ３：３次元空間情報取得装置によって、前記超音波プローブの３次元空間情報を取得し、
Ｓ４：前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現することを特徴とする方法。
【請求項10】
ステップＳ３では、Ｓ３１：前記３次元空間情報取得装置の３次元トラッキングカメラによって環境画像を取得し、
Ｓ３２：前記環境画像に基づいて初期３次元空間情報を生成し、
Ｓ３３：前記初期３次元空間情報を変換して、前記プローブの３次元空間情報を生成することを特徴とする請求項９に記載の３次元トラッキングカメラをベースとする３次元超音波イメージング方法。
【請求項11】
ステップＳ３１では、前記超音波プローブの異なる部位に装着された複数の前記３次元トラッキングカメラを使用して複数の環境画像を取得し、ステップＳ３２では、複数の環境画像に基づいて複数組の初期３次元空間情報を生成し、ステップＳ３３では、複数組の初期３次元空間情報を変換して、前記超音波プローブの３次元空間情報を取得することを特徴とする請求項１０に記載の３次元トラッキングカメラをベースとする３次元超音波イメージング方法。
【請求項12】
ステップＳ３２とＳ３３の間において、更に、測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化に基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正することを特徴とする請求項１０に記載の３次元トラッキングカメラをベースとする３次元超音波イメージング方法。
【請求項13】
前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期３次元空間情報を修正することを特徴とする請求項１２に記載の３次元トラッキングカメラをベースとする３次元超音波イメージング方法。
【請求項14】
前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正することを特徴とする請求項１２に記載の３次元トラッキングカメラをベースとする３次元超音波イメージング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、３次元超音波イメージングの分野に関し、より具体的には、３次元トラッキングカメラをベースとする３次元超音波イメージング方法及びシステムに関する。
【背景技術】
【0002】
フリーハンド（ｆｒｅｅ－ｈａｎｄ）３次元イメージングでは、人が手動で超音波プローブをターゲット上で自在に移動させることで走査し、３次元空間センシング技術により超音波プローブの位置及び方向情報をキャプチャする。現在、常用されている３次元空間センシング技術には、空間参照物又は信号と、対応する検出器が含まれる。例えば、電磁発信器により電磁波を基準信号として発射し、検出器が電磁波の電界強度の変化からプローブの位置及び方向の変化を判断する。また、例えば、プローブ表面に配置した１又は複数の視覚マーカーを基準物として使用し、超音波プローブを包囲する１又は複数のカメラによってプローブの位置及び方向を検出する。
【0003】
上述した３次元空間センシング技術には、それぞれのメリット及び限界が存在する。電磁センシング技術の場合には、周囲の金属物から干渉を受ける。また、カメラをベースとするセンシングシステムの場合には、一般的に体積が非常に大きく、費用が高騰する。現在のところ、どのような場合であっても特定の基準物が存在しない状況で使用可能なフリーハンド３次元超音波イメージングシステムは存在しない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする技術的課題は、従来技術における上記の欠陥に対し、耐干渉能力に優れ、低コストであり、体積が小さく、且つ、特定の基準物を一切必要としないどのような環境においても使用可能な、３次元トラッキングカメラをベースとする３次元超音波イメージング方法及びシステムを提供することである。
【課題を解決するための手段】
【0005】
本発明が技術的課題を解決するために用いる技術方案は以下の通りである。
【0006】
３次元トラッキングカメラをベースとする３次元超音波イメージングシステムを構成する。当該システムは、ターゲットの関心領域を超音波走査する超音波プローブと、前記超音波走査に基づき、前記ターゲットの関心領域の２次元超音波画像を生成する２次元超音波イメージング装置と、前記超音波プローブに接続されて、前記超音波プローブの３次元空間情報を取得する３次元空間情報取得装置と、前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する３次元再現モジュール、を含む。
【0007】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、前記３次元空間情報取得装置は、３次元トラッキングカメラ及び処理モジュールを含む。前記３次元トラッキングカメラは、環境画像を取得するとともに、前記環境画像に基づいて初期３次元空間情報を生成するために用いられる。前記処理モジュールは、前記初期３次元空間情報を前記超音波プローブの３次元空間情報に変換するために用いられる。
【0008】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、前記３次元空間情報取得装置は、複数の前記３次元トラッキングカメラを含む。複数の前記３次元トラッキングカメラは、前記超音波プローブの異なる部位に装着されて、複数組の初期３次元空間情報を取得する。前記処理モジュールは、取得した複数組の初期３次元空間情報に基づいて、前記超音波プローブの３次元空間情報を生成する。
【0009】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、前記３次元空間情報取得装置は、更に、測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化に基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正するための修正モジュールを含む。
【0010】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期３次元空間情報を修正する。
【0011】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正する。
【0012】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、更に、前記３次元空間情報取得装置及び前記超音波プローブを接続する装着モジュールを含む。前記装着モジュールは、操作者が把持するグリップを含む。
【0013】
本発明の３次元トラッキングカメラをベースとする３次元超音波イメージングシステムにおいて、更に、前記２次元超音波イメージング装置が取得した２次元超音波画像及び前記３次元空間情報取得装置が取得した３次元空間情報を統合し、有線又は無線モードで３次元再現モジュールに伝送するデータ統合及び通信装置を含む。
【0014】
本発明の他の局面では、更に、３次元トラッキングカメラをベースとする３次元超音波イメージング方法を提供する。当該方法は、以下を含む。
【0015】
Ｓ１：超音波プローブを使用して、ターゲットの関心領域を超音波走査する。
【0016】
Ｓ２：前記超音波走査に基づき、前記ターゲットの関心領域の２次元超音波画像を生成する。
【0017】
Ｓ３：３次元空間情報取得装置によって、前記超音波プローブの３次元空間情報を取得する。
【0018】
Ｓ４：前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する。
【0019】
本発明で提供する３次元トラッキングカメラをベースとする３次元超音波イメージング方法において、ステップＳ３は以下を含む。
【0020】
Ｓ３１：前記３次元空間情報取得装置の３次元トラッキングカメラによって環境画像を取得する。
【0021】
Ｓ３２：前記環境画像に基づいて初期３次元空間情報を生成する。
【0022】
Ｓ３３：前記初期３次元空間情報を変換して、前記プローブの３次元空間情報を生成する。
【0023】
本発明で提供する３次元トラッキングカメラをベースとする３次元超音波イメージング方法において、ステップＳ３１では、前記超音波プローブの異なる部位に装着された複数の前記３次元トラッキングカメラを使用して複数の環境画像を取得する。ステップＳ３２では、複数の環境画像に基づいて複数組の初期３次元空間情報を生成する。ステップＳ３３では、複数組の初期３次元空間情報を変換して、前記超音波プローブの３次元空間情報を取得する。
【0024】
本発明で提供する３次元トラッキングカメラをベースとする３次元超音波イメージング方法において、ステップＳ３２とＳ３３の間に更に以下を含む。
【0025】
測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化に基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正する。
【0026】
本発明で提供する３次元トラッキングカメラをベースとする３次元超音波イメージング方法において、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合、前記修正モジュールは前記初期３次元空間情報を修正する。
【0027】
本発明で提供する３次元トラッキングカメラをベースとする３次元超音波イメージング方法において、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正する。
【発明の効果】
【0028】
本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステム及び方法を実施すれば、３次元トラッキングカメラにより超音波プローブの３次元空間情報を取得することで、柔軟且つ低コスト、及び小体積な方式で３次元超音波画像を再現可能である。また、効果的に干渉を回避可能であり、且つ、特定の基準物を一切必要としない。更には、測定した３次元空間情報の変化と、超音波プローブが収集したターゲットに関連する画像情報の変化を比較することで、それぞれの突然の変化に伴う誤差を修正可能である。また、更には、複数のトラッキングカメラを設置する方式で、３次元超音波画像の品質を一段と向上させる。
【0029】
以下に、図面と実施例を組み合わせて本発明につき更に説明する。
【図面の簡単な説明】
【0030】
【発明を実施するための形態】
【0031】
本発明の目的、技術方案及び利点がより明瞭に理解されるよう、以下に、図面と実施例を組み合わせて、本発明につき更に詳細に説明する。理解すべき点として、ここで記載する具体的実施例は本発明を説明するためのものにすぎず、本発明を限定するものではない。
【0032】
通常、従来の３次元空間ロケータは、正確な３次元空間情報を取得するための特別な基準物を必要とする。これに対し、トラッキングカメラは、例えば、センサ及びインテルのＲｅａｌｓｅｎｓｅ Ｔ２６５のように、ステレオカメラを組み合わせて周辺環境の３次元画像を検出することで、３次元空間における自身の位置及び角度を測位する。また、トラッキングカメラは、光学追跡のほか、内蔵のモーションセンサ（加速度計、角加速度計、磁力計等）を利用して、３次元空間情報を更に修正することも可能である。これにより、トラッキングカメラは、特別な基準物が存在しない場合でも、自身の正確な３次元空間情報を取得可能である。
【0033】
本発明の発明思想では、超音波プローブと３次元トラッキングカメラを組み合わせ、３次元トラッキングカメラから提供された超音波プローブの３次元空間情報と、２次元超音波イメージング装置から提供された２次元超音波画像情報を用いて３次元画像を再現する。本発明の更なる思想では、測定した３次元空間情報の変化と、超音波プローブが収集したターゲットに関連する画像情報の変化を比較することで、それぞれの突然の変化に伴う誤差を修正可能である。また、更には、複数のトラッキングカメラを設置する方式で、３次元超音波画像の品質を一段と向上させる。
【0034】
図１は、本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステムの第１の好ましい実施例の概略原理図である。また、図２は、本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステムの第１の好ましい実施例の概略システム図である。図１及び図２に示すように、本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステムは、超音波プローブ１０、２次元超音波イメージング装置１５、３次元空間情報取得装置１２及び３次元再現モジュール１６を含む。具体的に、２次元超音波イメージング装置１５は、超音波プローブ１０に内蔵するか、外付けにして超音波プローブ１０と有線又は無線接続し、超音波プローブ１０の走査に基づいて、ターゲットの関心領域の２次元超音波画像を生成する。また、３次元空間情報取得装置１２は、前記超音波プローブ１０と通信接続し、超音波プローブの３次元空間情報を取得する。３次元再現モジュール１６は、２次元超音波イメージング装置１５及び３次元空間情報取得装置１２と通信接続し、前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する。
【0035】
具体的に、本発明の一実施例において、前記２次元超音波イメージング装置１５は、前記超音波走査に基づいて前記ターゲットの関心領域の２次元超音波画像を生成するために、前記超音波プローブ１０と通信接続するか、超音波プローブに内蔵される。更に、前記関心領域は、前記ターゲットの少なくとも一部としてもよいし、全体としてもよい。当業者であれば理解し得るように、当該分野における既知のいずれかの超音波プローブ、２次元超音波イメージング装置を用いて本発明の超音波プローブ１０、２次元超音波イメージング装置１５を構成可能であるが、本発明はこれに限定しない。
【0036】
具体的に、本発明の一実施例において、３次元空間情報取得装置１２は、３次元トラッキングカメラ１３、及び３次元トラッキングカメラに組み合わされる処理モジュール１７を含み、３次元トラッキングカメラにより環境画像を取得するとともに、前記環境画像に基づいて初期３次元空間情報を生成する。初期３次元情報とは、３次元トラッキングカメラ自体の３次元空間情報である。当業者が知り得るように、環境画像に基づいて３次元トラッキングカメラ自体の３次元空間情報を生成することは、３次元トラッキングカメラが有する機能のため、ここではこれ以上詳述しない。３次元トラッキングカメラの３次元空間情報を取得したあと、処理モジュールによって初期３次元空間情報を空間変換することで、超音波プローブの３次元空間情報を実際に反映し、変換した前記超音波プローブの３次元空間情報を、有線又は無線形式で３次元再現モジュールに伝送する。当業者であれば知り得るように、３次元トラッキングカメラの３次元空間情報は、当該分野において既知の空間変換方法で超音波プローブの３次元空間情報に変換するが、本発明ではこれ以上詳述しない。トラッキングカメラと処理モジュールを組み合わせることで、本発明の３次元超音波イメージングシステムを更に小さくし、使用しやすくすることができる。更に、処理モジュールは、３次元トラッキングカメラの初期３次元空間情報を取得したあと、更に、平滑化処理及び／又はノイズリダクション処理を含む前処理を行う。当業者が周知するように、インテルのＲｅａｌｓｅｎｓｅ Ｔ２６５トラッキングカメラ、及び今後発展する類似のデバイスを含む（ただし、これらに限らない）当該分野におけるいずれかのトラッキングカメラを使用可能である。
【0037】
更に、本発明のその他の実施例において、３次元空間情報取得装置１２は、複数の３次元トラッキングカメラを含み得る。複数の３次元トラッキングカメラを超音波プローブ１０又は装着モジュール１１の異なる場所に装着するか、異なる方向に向けることで、複数組の初期３次元空間情報を取得可能となる。処理モジュールが複数組の初期３次元空間情報に基づいて超音波プローブの３次元空間情報を生成することで、生成される超音波プローブの３次元空間情報の精度が向上する。当業者であれば理解し得るように、複数組の初期３次元空間情報は、最も簡単な平均化アルゴリズム又はその他の既知の方法を含む複数の方法で処理可能であり、本発明は上記に限らない。
【0038】
具体的に、本発明の一実施例において、３次元再現モジュール１６は、データ統合及び通信装置（図示しない）を介して、２次元超音波イメージング装置１５及び３次元空間情報取得装置１２と通信接続する。データ統合及び通信装置は、前記２次元超音波イメージング装置が取得した２次元超音波画像及び前記３次元空間情報取得装置が取得した３次元空間情報を統合し、有線又は無線モードで３次元再現モジュールに伝送する。３次元再現モジュールは、前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する。当業者が周知するように、当該分野において既知のいずれかの再現方法を使用して３次元超音波画像の再現を実現可能であるが、ここではこれ以上詳述しない。
【0039】
具体的に、本発明の一実施例において、３次元超音波イメージングシステムは、更に、前記３次元空間情報取得装置及び前記超音波プローブを接続する装着モジュール１１を含む。前記装着モジュール１１は、操作者が把持するグリップ１４を含む。前記超音波プローブ１０は、装着モジュール１１を介してトラッキングカメラに接続され、共に３次元空間内で移動する。トラッキングカメラは、ステレオカメラにより周辺の画像を観測して絶えず比較し、その他のセンサの情報を組み合わせることで、自身の初期３次元空間情報を取得する。そして、これを処理モジュールで処理することで、超音波プローブの３次元空間情報を把握可能となる。図３では、前記超音波プローブが脊柱２１を３次元走査している。操作者の手２２は、装着モジュールに接続されたグリップを把持して超音波プローブを移動させる。
【0040】
更に、本発明の一実施例において、３次元空間情報取得装置は、測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化に基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正するための修正モジュール（図示しない）を更に含む。
【0041】
更に、初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合に、初期３次元空間情報を修正する。修正モジュールは、隣り合う２回又は特定の時間に取得した初期３次元空間情報の変化と２次元超音波画像の内容の変化を比較する。経験的に、実際の応用において、超音波プローブの移動が突然大きく変化することはないため、得られる２次元超音波画像も突然変化することはない。そこで、２次元超音波イメージング装置で取得した２次元超音波画像の内容の変化が非常に小さいにも関わらず、３次元トラッキングカメラで測定した初期３次元空間情報の変化が大変大きい場合には、測定した３次元トラッキングカメラの３次元空間情報に誤差が存在することを意味するため、測定した初期３次元空間情報を修正する必要がある。また、正常な状況で、超音波プローブがターゲット内の関心領域を走査している際に突然移動した場合には、２次元超音波画像の内容も突然変化する。そのため、測定した３次元空間情報が大きく変化しているにも関わらず、２次元超音波画像が大きく変化していない場合には（実際の経験として、通常、走査されるターゲットは動かないか、動きが大変少なく且つゆっくりである）、測定した３次元空間情報に誤りが存在することが分かるため、修正が必要である。具体的な修正方法は、以下の数種類を含む。
【0042】
１）測定した２つ又はそれ以上の正確であると判断された３次元空間情報を用いて、修正を要すると判断された３次元空間情報の値について外挿を行えばよい。
【0043】
２）更に、次の１つ又は複数の正確な３次元空間情報の値を取得したあと、前の１つ又は複数の正確な３次元空間情報の値について内挿を行ってもよい。
【0044】
３）走査の完了後に、正確であると判断された全ての３次元空間情報の値を用いて３次元カーブフィッティングを行うことで、修正を要すると判断された３次元空間情報の値を取得してもよい。
【0045】
当業者は、更に、その他の当該分野において既知のいずれかの修正方法によって３次元空間情報の修正を実現してもよい。
【0046】
更に、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正する。経験的に、走査される対象に移動が生じた場合には、２次元超音波画像の内容も大きく変化する。そのため、測定した初期３次元空間情報の変化が非常に小さいにも関わらず、前記２次元超音波画像の内容の変化が大変大きい場合には、前記ターゲットの関心領域が超音波走査の過程で移動したことを意味する。よって、前記初期３次元空間情報に基づいて、３次元空間における前記２次元超音波画像の位置を修正する。具体的な修正方法は、以下の数種類を含む。
【0047】
１）測定した２つ又はそれ以上の正確であると判断された３次元空間情報を用いて、修正を要すると判断された３次元空間情報の値について外挿を行えばよい。
【0048】
２）更に、次の１つ又は複数の正確な３次元空間情報の値を取得したあと、前の１つ又は複数の正確な３次元空間情報の値について内挿を行ってもよい。
【0049】
３）走査の完了後に、正確であると判断された全ての３次元空間情報の値を用いて３次元カーブフィッティングを行うことで、修正を要すると判断された３次元空間情報の値を取得してもよい。
【0050】
当業者は、更に、その他の当該分野において既知のいずれかの修正方法によって３次元空間情報の修正を実現してもよい。
【0051】
本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステムを実施すれば、３次元トラッキングカメラにより３次元空間情報を取得することで、柔軟且つ低コスト、及び小体積な方式で３次元超音波画像を再現可能である。また、効果的に干渉を回避可能であり、且つ、走査過程で特定の基準物を必要としない。
【0052】
図４は、本発明における３次元光学トラッキングカメラをベースとする３次元超音波イメージング方法の第１の好ましい実施例のフローチャートである。図４に示すように、３次元光学トラッキングカメラをベースとする３次元超音波イメージング方法は、以下のステップを含む。
【0053】
Ｓ１：超音波プローブを使用して、ターゲットの関心領域を超音波走査する。
【0054】
具体的に、本発明の一実施例において、前記関心領域は、前記ターゲットの少なくとも一部としてもよいし、全体としてもよい。当業者が周知するように、前記超音波プローブには、異なる周波数、幅及び形状を使用可能である。
【0055】
Ｓ２：前記超音波走査に基づき、前記ターゲットの関心領域の２次元超音波画像を生成する。
【0056】
具体的に、本発明の一実施例において、前記超音波プローブ１０と通信接続するか、超音波プローブに内蔵される２次元超音波イメージング装置１５は、前記超音波走査に基づいて前記ターゲットの関心領域の２次元超音波画像を生成する。
【0057】
Ｓ３：３次元空間情報取得装置によって、前記超音波プローブの３次元空間情報を取得する。
【0058】
具体的に、本発明の一実施例では、前記３次元空間情報取得装置によってそれ自体の３次元空間情報を取得するとともに、当該３次元空間情報取得装置と共に移動する超音波プローブの３次元空間情報を取得する。そのため、ステップＳ３は以下を含む。
【0059】
Ｓ３１：前記３次元空間情報取得装置の３次元トラッキングカメラによって環境画像を取得する。
【0060】
Ｓ３２：前記環境画像に基づいて初期３次元空間情報を生成する。
【0061】
Ｓ３３：前記初期３次元空間情報を変換して、前記プローブの３次元空間情報を生成する。
【0062】
具体的に、本発明の一実施例において、初期３次元情報とは、３次元トラッキングカメラ自体の３次元空間情報である。当業者が知り得るように、環境画像に基づいて３次元トラッキングカメラ自体の３次元空間情報を生成することは、３次元トラッキングカメラが有する機能のため、ここではこれ以上詳述しない。３次元トラッキングカメラの３次元空間情報を取得したあと、初期３次元空間情報を空間変換することで、超音波プローブの３次元空間情報を実際に反映し、変換した前記超音波プローブの３次元空間情報を、有線又は無線形式で３次元再現モジュールに伝送する。当業者であれば知り得るように、３次元トラッキングカメラの３次元空間情報は、当該分野において既知の空間変換方法で超音波プローブの３次元空間情報に変換するが、本発明ではこれ以上詳述しない。
【0063】
更に、３次元トラッキングカメラの初期３次元空間情報を取得したあと、更に、平滑化処理及び／又はノイズリダクション処理を含む前処理を行う。
【0064】
更に、本発明のその他の実施例において、３次元空間情報取得装置１２は、複数の３次元トラッキングカメラを含み得る。複数の３次元トラッキングカメラを超音波プローブ１０又は装着モジュール１１の異なる場所に装着するか、異なる方向に向けることで、複数組の初期３次元空間情報を取得可能となる。よって、本発明のその他の実施例において、ステップＳ３１では、前記超音波プローブの異なる部位に装着された複数の前記３次元トラッキングカメラを使用して複数の環境画像を取得する。ステップＳ３２では、複数の環境画像に基づいて複数組の初期３次元空間情報を生成する。ステップＳ３３では、複数組の初期３次元空間情報を変換して、前記超音波プローブの３次元空間情報を取得する。複数組の初期３次元空間情報に基づいて超音波プローブの３次元空間情報を生成することで、生成される超音波プローブの３次元空間情報の精度が向上する。当業者であれば理解し得るように、複数組の初期３次元空間情報は、最も簡単な平均化アルゴリズム又はその他の既知の方法を含む複数の方法で処理可能であり、本発明は上記に限らない。
【0065】
更に、本発明の別の実施例では、ステップＳ３２とＳ３３の間に更に以下を含む。
【0066】
測定した前記初期３次元空間情報の変化と、前記２次元超音波画像の内容の変化に基づいて、３次元空間における前記初期３次元空間情報及び前記２次元超音波画像の位置を修正する。
【0067】
具体的に、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも大きく、且つ前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも小さい場合に、前記初期３次元空間情報を修正する。修正モジュールは、隣り合う２回又は特定の時間に取得した初期３次元空間情報の変化と２次元超音波画像の内容の変化を比較する。経験的に、実際の応用において、超音波プローブの移動が突然大きく変化することはないため、得られる２次元超音波画像も突然変化することはない。そこで、２次元超音波イメージング装置で取得した２次元超音波画像の内容の変化が非常に小さいにも関わらず、３次元トラッキングカメラで測定した初期３次元空間情報の変化が大変大きい場合には、測定した３次元トラッキングカメラの３次元空間情報に誤差が存在することを意味するため、測定した初期３次元空間情報を修正する必要がある。また、正常な状況で、超音波プローブがターゲット内の関心領域を走査している際に突然移動した場合には、２次元超音波画像の内容も突然変化する。そのため、測定した３次元空間情報が大きく変化しているにも関わらず、２次元超音波画像が大きく変化していない場合には（実際の経験として、通常、走査されるターゲットは動かないか、動きが大変少なく且つゆっくりである）、測定した３次元空間情報に誤りが存在することが分かるため、修正が必要である。当業者が周知するように、当該分野において既知のいずれかの修正方法によって３次元空間情報の修正を実現可能である。最も簡単な方法は、そのタイミングの３次元空間情報をその他のタイミングのデータから推定することであるが、ここではこれ以上詳述しない。
【0068】
更に、前記初期３次元空間情報の変化が３次元空間情報の変化の閾値よりも小さく、且つ、前記２次元超音波画像の内容の変化が２次元超音波画像の内容の変化の閾値よりも大きい場合、前記修正モジュールは、前記３次元空間における前記２次元超音波画像の位置を修正する。経験的に、走査される対象に移動が生じた場合には、２次元超音波画像の内容も大きく変化する。そのため、測定した初期３次元空間情報の変化が非常に小さいにも関わらず、前記２次元超音波画像の内容の変化が大変大きい場合には、前記ターゲットの関心領域が超音波走査の過程で移動したことを意味する。よって、前記初期３次元空間情報に基づいて、３次元空間における前記２次元超音波画像の位置を修正する。
【0069】
Ｓ４：前記超音波プローブの３次元空間情報及び前記２次元超音波画像に基づいて３次元超音波画像を再現する。
【0070】
具体的に、本発明の一実施例では、当該分野において既知のいずれかの再現方法を使用して３次元超音波画像の再現を実現可能であるが、ここではこれ以上詳述しない。
【0071】
本発明における３次元トラッキングカメラをベースとする３次元超音波イメージング方法を実施すれば、３次元光学トラッキングカメラにより３次元空間情報を取得することで、柔軟且つ低コスト、及び小体積な方式で３次元超音波画像を再現可能である。また、効果的に干渉を回避可能であり、且つ、特定の基準物を必要としない。
【0072】
当業者が更に周知するように、本発明における３次元トラッキングカメラをベースとする３次元超音波イメージングシステム及び方法は、互いに裏付け及び説明することが可能である。また、各々で記載した機能及びステップは互いに組み合わせ、結合及び置換することが可能である。
【0073】
更に、上記では、何らかの重要機能の機能モジュールについて説明することで、本発明につき記載した。また、記載の便宜上、ここでは、これら機能構成モジュールの境界を特別に定義した。この境界は、これらの重要機能が適切に実現されていれば変更が可能である。同様に、ここでは、フローチャートのモジュールについても特別に定義することで、何らかの重要機能につき説明した。しかし、幅広く応用するために、フローチャートのモジュールの境界及び順序は別途定義してもよく、これらの重要機能を実現可能であればよい。上記の機能モジュール、フローチャートの機能モジュールについての境界及び順序の変化もまた、請求項の保護の範囲内と見なすべきである。
【0074】
本発明は、更に、コンピュータプログラム製品によって実施してもよい。プログラムは、本発明の方法を実現可能な全ての特徴を含み、当該プログラムをコンピュータシステムにインストールした場合に、本発明の方法を実現可能である。本文書におけるコンピュータプログラムとは、いずれかのプログラミング言語、コード又は符号で記載可能な命令群のいずれかの式を指す。当該命令群は、システムに情報処理能力を持たせることで、特定の機能を直接実現するか、ａ）その他の言語、コード又は符号に変換するステップ、ｂ）異なるフォーマットで再現するステップのうちの１つ又は２つを実行することで特定の機能を実現する。
【0075】
具体的実施例によって本発明を説明したが、当業者であれば理解し得るように、本発明の範囲を逸脱しなければ、本発明につき各種の変換及び同等の置換を実施してもよい。このほか、特定の状況又は材料に応じて、本発明の範囲を逸脱することなく、本発明につき各種の修正を行ってもよい。よって、本発明は開示した具体的実施例に限らず、本発明の請求項の範囲に属する全ての実施形態を含むものとする。
【0076】
以上の記載は本発明の好ましい実施例にすぎず、本発明を制限するものではない。本発明の精神及び原則内で実施される何らかの修正、同等の置換及び改良等は、いずれも本発明の保護の範囲に含まれるものとする。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】