特許 6858190 ツールを検知するための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6858190

(24)【登録日】2021年3月25日

(45)【発行日】2021年4月14日

(54)【発明の名称】ツールを検知するための装置及び方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20210405BHJP

【ＦＩ】

   A61B8/14

【請求項の数】13

【全頁数】19

(21)【出願番号】特願2018-529286(P2018-529286)

(86)(22)【出願日】2016年12月5日

(65)【公表番号】特表2018-536493(P2018-536493A)

(43)【公表日】2018年12月13日

(86)【国際出願番号】EP2016079691

(87)【国際公開番号】WO2017097682

(87)【国際公開日】20170615

【審査請求日】2019年12月4日

(31)【優先権主張番号】15198142.0

(32)【優先日】2015年12月7日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ポウルタヘリアン アラシュ

(72)【発明者】

【氏名】コルステン ヘンドリクス フーベルトゥス マリア

(72)【発明者】

【氏名】ミハイロヴィッチ ネナド

(72)【発明者】

【氏名】ホアン ジンフェン

(72)【発明者】

【氏名】デ ウィズ ペーター ヘンドリク ネリス

【審査官】 後藤 順也

(56)【参考文献】

【文献】 特開２０１２−１３９４３７（ＪＰ，Ａ）

【文献】 特開２０１３−０９９３８６（ＪＰ，Ａ）

【文献】 特表２０１３−５４２８３０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０３２１１５４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００−８／１５

(57)【特許請求の範囲】

【請求項1】

３Ｄ超音波画像に基づいてツールを検知する画像処理ユニットを備える、ツールを検知するための装置であって、前記画像処理ユニットは、
第１のツール検知処置を実施する第１のツール検知モジュールと、
第２のツール検知処置を実施する第２のツール検知モジュールと、
を備え、前記第１のツール検知処置は、
前記３Ｄ超音波画像から平面的セクションのセットを取得することと、
前記平面的セクションのセットのうちの１つの平面的セクションに存在するツール影領域を特定することと、
特定された前記ツール影領域に基づいて、前記３Ｄ超音波画像内のツール平面セクションの場所を決定することとを含み、
前記ツール平面セクションは、前記３Ｄ超音波画像内における前記ツールの全長が存在する平面を表し、前記第２のツール検知処置は、
前記３Ｄ超音波画像における前記ツールの外観に基づいて前記ツールを検知することを含む、
装置。

【請求項2】

前記第１のツール検知モジュールは、複数の平面的セクションに存在する暗領域を検知し、前記暗領域が前記ツールの影に対応するか否かを決定することによって、複数のツール影領域を特定する、請求項１に記載の装置。

【請求項3】

前記第１のツール検知モジュールは、前記複数のツール影領域に基づいて、前記ツール平面セクションの向きを決定する、請求項２に記載の装置。

【請求項4】

前記第２のツール検知モジュールによって、前記３Ｄ超音波画像における前記ツールの外観に基づいて前記ツールを検知することは、強度及び／又は頻度をベースとするアルゴリズムを使用することを含む、請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記３Ｄ超音波画像は、３Ｄボリュームデータセットであり、複数のボリューム要素を含み、前記第２のツール検知モジュールは、
３Ｄボリュームデータセットのガボール変換を実施することと、
前記３Ｄボリュームデータセットの各ボリューム要素について特徴ベクトルを求めることと、
複数の候補ツールボリューム要素を抽出するために、前記３Ｄボリュームデータセットの前記複数のボリューム要素を分類することと、
によって、前記第２のツール検知処置を実施する、請求項１から４のいずれか一項に記載の装置。

【請求項6】

前記３Ｄ超音波画像において前記ツールが見えるか否かを決定するように前記画像処理ユニットを制御し、
前記ツールが見えない場合、前記第１のツール検知処置を実施するように第１のツール検知ユニットを制御し、
前記ツールが見える場合、前記第２のツール検知処置を実施するように第２のツール検知ユニットを制御するコントローラを更に備える、
請求項１から５のいずれか一項に記載の装置。

【請求項7】

請求項１から６のいずれか一項に記載の装置と、
超音波放射線を３Ｄボリュームに向けるように設けられた超音波出射器と、
前記３Ｄボリュームによって反射された超音波放射線を検知する画像センサと、を備える超音波システムであって、
検知された超音波放射線に基づいて３Ｄ画像を生成し、前記３Ｄ画像を前記画像処理ユニットに通信する、
超音波システム。

【請求項8】

超音波画像を表示するためのディスプレイユニットを更に備え、前記画像処理ユニットは、前記ツール平面セクションの画像を前記ディスプレイユニットに送信する、請求項７に記載の超音波システム。

【請求項9】

３Ｄ超音波画像に基づいてツールを検知する装置の作動方法であって、
前記装置の画像処理ユニットが、前記３Ｄ超音波画像を受信するステップと、
前記画像処理ユニットが、第１のツール検知処置を実施する前に、前記３Ｄ超音波画像において前記ツールが見えるか否かを決定し、前記ツールが見えない場合、前記第１のツール検知処置を実施するステップと、を有し、
前記第１のツール検知処置を実施するステップは、
前記画像処理ユニットが、前記３Ｄ超音波画像から平面的セクションのセットを取得するステップと、
前記画像処理ユニットが、前記平面的セクションの前記セットの１つの平面的セクションにおけるツール影領域を特定するステップと、
前記画像処理ユニットが、特定された前記ツール影領域に基づいて、前記３Ｄ超音波画像内のツール平面セクションの場所を決定するステップと、を含み、
前記ツール平面セクションは前記ツールの全長が存在する平面を表す、装置の作動方法。

【請求項10】

前記ツール影領域を特定するステップは、複数のツール影領域を特定するステップを含み、前記ツール平面セクションの場所は前記ツール影領域に基づいて計算される、請求項９に記載の装置の作動方法。

【請求項11】

前記複数のツール影領域を特定するステップは、前記画像処理ユニットが、前記平面的セクションに存在する暗領域を検知するステップと、前記画像処理ユニットが、前記暗領域が前記ツールの影に対応するか否かを決定するステップとを含む、請求項１０に記載の装置の作動方法。

【請求項12】

１つの平面セクションの暗領域が前記ツールの影に対応するか否かを決定するステップは、前記画像処理ユニットが、前記暗領域が他の平面セクションの暗領域と一致するかどうかを決定するステップを含む、請求項１１に記載の装置の作動方法。

【請求項13】

コンピュータプログラムがコンピュータ上で実行されたときに、請求項９から１２のいずれか一項に記載の装置の作動方法を実施するコード手段を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ツールを検知するための装置及び方法に関し、詳細には、超音波撮像によって取得された画像を使用して介入ツールを撮像するための装置及び方法に関する。

【背景技術】

【0002】

超音波撮像は、ツールガイダンス用途のための最も有名な撮像システムの１つである。超音波撮像は、ニードル、腹腔鏡、ステント及び近接照射療法のために使用される放射性シードなどのツールを撮像するために使用される。例えば、組織サンプルを得るため、及び薬剤又は電気エネルギーを患者の身体内の対象物とされた組織に送達するためにニードルが使用されるので、超音波撮像は、麻酔科におけるニードルガイダンス、組織切除、又は生検ガイダンスのために使用される。これらの処置中に、ニードル及びその先端部の可視化は、患者へのリスクを最小化するため、及び健康上のアウトカムを向上させるために非常に重要である。

【0003】

典型的には、２Ｄ超音波ガイダンスが、処置が行われている間にツールを可視化するために使用される。しかしながら、撮像のこのモードは多くの欠点を有する。詳細には、２Ｄ撮像は、視野が限定され、超音波画像におけるツールの整列及び場所決めが成功した後、ツールを移動させ又は対象物を評価している間に、処置を行っている人物の任意の不所望の手の動きによって、ツールと超音波トランスデューサとの位置ずれが生じ、ツールの一部が超音波画像から除かれてしまうことがある。これは、ツールの不正確な配置につながる。更には、処置の間に、オペレータの意識が超音波画像内のツールを探すために乱されて、意識が治療から逸れてしまうことがある。

【0004】

外部ツール追跡システムも、多くの欠点を有する。というのは、それらは追加的な機器を必要とし、超音波撮像システムのコストが増すからである。更には、追加的なセンサを備える特製のニードルが必要となる。外科医を特製のニードルの使用に制約すると、処置のコストが増えそうでもある。

【0005】

３Ｄ超音波撮像は、２Ｄ超音波システムに代わるものとして使用され得る。３Ｄ超音波システムは、広い視野を持ち、従って、ツールは容易に撮影され得、ニードルガイダンスを向上させる。３Ｄ超音波システムによってガイダンスを提供するために、ツールを検知し、可視化するために、画像をベースとした適切な分析が必要である。ツールの長軸平面の検知が特に重要である。長軸平面を検知することで、ツールの場所を特定し、ツールを含む平面をユーザに対して可視化することが可能になる。画像をベースとしたツール検知の性能は限定的である。超音波撮像に特有の問題として、低い信号対ノイズ比、スペックルノイズ、及び画像における異方性などがある。従って、現実の臨床的状況における超音波撮像によるツールの検知は困難である。

【0006】

近年、方向感知性スペクトル変換に基づいた３Ｄ超音波におけるツール検知技法が提案されており、これはノイズに対してより頑健であることが示されおり、困難な状況においてもニードルを検知できる。

【0007】

それにもかかわらず、これらの提案は、ツールの挿入角度（入射超音波放射線とツールとの間の角度）が大きいときは、ツールの検知を可能にしない。これらの場合、入射ビームは、大きな角度で反射され、その結果、超音波撮像システムによって検知されない。それ故、取得されたデータセットにおいて、ツールはほとんど見えない。

【0008】

図１Ａ及び図１Ｂは、典型的な超音波撮像システムを図示し、ツール１の入射角度を、ツール１の対応する超音波画像とともに示す。超音波出射器と画像センサとを備える超音波装置３は、対象に向けて超音波５を出射するように設けられる。それらは、対象に対して入射超音波放射線を形成する。超音波装置３は、反射された超音波放射線に基づいて、ツール１を撮像するために使用されるデータセットを取得する。出射された超音波放射線は、超音波装置３の出射面７に略垂直な方向に伝播する。

【0009】

ツール１は、超音波装置３の出射面７に対して、ある角度で挿入される。ツールの挿入角度は、超音波装置３の出射面７とツール１との間の角度であり、超音波装置３の出射面は、入射超音波放射線５の送出方向に対して垂直な平面である。

【0010】

図１Ａにおいて、小さな挿入角度のツールが図示されており、ツールは、超音波装置３の出射面７に略平行に設けられている。この場合、ツールの挿入角度は約０°である。超音波放射線５は、ツール１の表面によって反射され、超音波装置３に向かって戻るように伝播し、画像センサによって検知される。ツールは入射超音波放射線を強く反射するので、超音波画像において明領域として現れる。

【0011】

図１Ｂにおいて、ツール１及び超音波装置３は異なる構成で提供されており、そこでは、ツール１の挿入角度が大きい。この場合において、超音波装置３の出射面７とツール１との間の角度は約４５°である。超音波放射線５はツール１に向かって伝播し、ツール１の反射面に入射する。超音波放射線のうちのいくらかは大きな角度で反射され、画像センサから離れる方向に向けられる。結果として、ツール１は、超音波装置３によって生み出される超音波画像においてほとんど見えない。

【発明の概要】

【発明が解決しようとする課題】

【0012】

従って、ツールが超音波装置の出射面に対して大きな角度で挿入された場合でも３Ｄ超音波撮像によってツールを検知するための装置及び方法が必要とされている。

【課題を解決するための手段】

【0013】

本発明は、特許請求の範囲によって定められる。

【0014】

実施例によると、本発明の態様に従ったツールを検知するための装置が提供され、当該装置は、
３Ｄ超音波画像に基づいてツールを検知するように適合された画像処理ユニットを備え、当該画像処理ユニットは、第１のツール検知処置を実施するように構成された第１のツール検知モジュールを備え
第１のツール検知処置は、
３Ｄ超音波画像から平面的セクションのセットを取得することと、
平面的セクションのセットのうちの１つの平面的セクションに存在するツール影領域を特定することと、
検知されたツール影領域に基づいて、３Ｄ画像内のツール平面セクションの場所を決定することとを含み、
ツール平面セクションは、３Ｄ画像内におけるツールの全長が存在する平面を表す。

【0015】

３Ｄ超音波撮像において、３Ｄ超音波撮像装置は、対象に向かって超音波放射線を出射し、対象の３Ｄボリュームを表す３Ｄボリュームデータセットを生み出すために対象によって反射された放射線を検知するように設けられる。このようにして、３Ｄ撮像装置は、３Ｄボリュームの画像を生み出す。

【0016】

画像処理ユニットは、３Ｄ画像のどの平面が、ツールの先端部を含むツールの全長を含む３Ｄボリュームの平面を表すかを決定するために、３Ｄ超音波撮像装置によって取得された３Ｄ画像を処理するように適合される。この平面はツール平面セクションと呼ばれる。第１のツール検知処置を実施することによって、ツール平面セクションは迅速に特定され、ツールの位置及び向きを効率的に及び確実に決定することを可能にする。ツール平面セクションの位置を検知することによって、ツールの長軸像を可視化することが可能になる。加えて、ツール平面セクションに対してツールの他の像を決定し得る。例えば、ツールの短軸を含む平面が特定され得、というのはこの平面はツール平面セクションに垂直な平面であるからである。更に、画像処理ユニットは、ツール平面セクションの位置を決定するために典型的な３Ｄ超音波画像を処理するので、３Ｄ超音波撮像システムの他のいかなる要素の修正も必要とすることなく、装置は典型的な３Ｄ超音波撮像システムに内蔵され得る。

【0017】

第１のツール検知モジュールは、ツールの影を表す３Ｄデータセットの領域に基づいて、ツール平面セクションの場所を特定する。このように、ツールの影が挿入角度にかかわらず特定可能であるので、ツールの挿入角度が大きい場合でもツールの場所が検知され得る。

【0018】

第１のツール検知モジュールは、３Ｄボリュームに入射する超音波放射線の送出方向に垂直な３Ｄボリュームのセクションを表す、３Ｄ超音波画像からの平面的セクションのセットを取得するように構成される。第１のツール検知モジュールは、ツールに入射する超音波放射線に対してツールの反対側で、ツールの下方に位置する平面的セクションを選択することによって、３Ｄ画像のこれらの平面的セクションのサブセットを選択する。

【0019】

第１のツール検知モジュールは、平面的セクションが選択された後、平面的セクションのうちの少なくとも１つにおいて暗領域を検知し、検知された暗領域からツール影領域を特定するように構成される。ツール影領域は、ツールの影に対応する暗領域である。

【0020】

第１のツール検知モジュールは、例えば、暗領域の大きさ、幅及び／又は形状を調べ、それをツールの影の期待される大きさ、幅及び／又は形状と比較することによって、暗領域がツールの影を表す見込みがあるか否かを決定するために、検知された暗領域を分析する。

【0021】

第１のツール検知モジュールは、ツール影領域の位置に基づいて、撮像された３Ｄボリューム内に存在するツールの全長又はツールの一部分を含む３Ｄボリュームデータセットの平面的セクションの位置を計算する。３Ｄボリュームデータのこのセクションが「ツール平面セクション」である。

【0022】

第１のツール検知モジュールは、複数の平面的セクションに存在する暗領域を検知し、これらの暗領域がツールの影に対応するか否かを決定することによって、複数のツール影領域を特定するように構成される。詳細には、暗領域がツール影に対応するなら、他の平面的セクションにおいて対応する暗セクションがある。このようにして、１つの平面的セクションからツールを誤って特定する恐れが回避される。ツール影が特定されると、その向きを特定するには１つの平面的セクションで十分である。

【0023】

第１のツール検知モジュールは、平面的セクションが任意の暗領域を備えるか否かを検知するために平面的セクションを処理する。検知された暗領域は、ツール影に関連を持たない暗領域を含む場合がある。そのため、暗領域のセットを全体的なツール影を形成するサブセットへと更に絞り込むために、異なる平面的セクションにおける検知された暗領域の相対位置が分析される。従って、第１のツール検知モジュールは、他の検知された暗領域の相対位置に基づいて、暗領域がツール影に対応するか否かを決定する。相互に最も一貫性のある暗領域のセットが、全体的なツール影を形成するツール影領域であるとして特定される。

【0024】

第１のツール検知モジュールは、複数のツール影領域又は平面的セクションのうちのただ１つにおけるツール影に基づいて、ツール平面セクションの向きを決定するように構成される。第１のツール検知ユニットは、例えばＲＡＮＳＡＣ（ランダムサンプルコンセンサス）を使用して、平面的セクションにおける暗領域が最も一貫性のある向きを決定することによって、平面がツール平面セクションであるか否かを決定する。

【0025】

装置は、第２のツール検知モジュールであって、
好ましくは強度及び／又は頻度をベースとするアルゴリズムを使用して、３Ｄ画像におけるツールの表現に基づいてツールを検知すること、
を含む、第２のツール検知処置を実施するように構成された第２のツール検知モジュールを更に備える。

【0026】

挿入角度が浅いとき、ツールは３Ｄ画像において大いに見ることができ、従って、ツールは３Ｄ画像から直接的に特定され得る。ツールは入射超音波放射線を画像センサに向かって強く反射し、従って、ツールの位置は３Ｄ画像において明領域として表され、これは適切なアルゴリズムを使用して検知され得る。浅い角度及び急角度におけるツール検知の機能を提供することによって、装置は広い挿入角度の範囲においてツールを検知するために使用され得、従って、多くの異なる用途に適している。

【0027】

第２のツール検知処置は、ツールと３Ｄ超音波撮像装置の超音波出射器の面との間の角度が小さい角度であるときにツールの位置を特定するために適しており、ツールは３Ｄ画像から直接的に特定され得る。直接的に検知できるほどにツールが見える挿入角度の範囲は、３Ｄ撮像装置の正確な配置に依存する。しかしながら、典型的な配置において、挿入角度が３０°よりも大きいと、ツールは見える見込みがない。

【0028】

３Ｄ画像は、３Ｄボリュームデータセットであり、複数のボリューム要素を含む。第２のツール検知モジュールは、
３Ｄボリュームデータセットに対してガボール変換を実施することと、
３Ｄボリュームデータセットの各ボリューム要素について特徴ベクトルを求めることと、
複数の候補ツールボリューム要素を抽出するために、３Ｄデータセットの複数のボリューム要素を分類することと、
によって、第２のツール検知処置を実施するように構成される。

【0029】

このように、ニードルに対応する見込みがある３Ｄデータセットの領域が特定される。方向感知性スペクトル変換を使用することによって、検知方法はノイズに対する感受性が小さくなり、従って、より困難な状況においてもツールを検知することができる。第２のツール検知処置は、ツールに対応しないツールボリューム要素の候補を特定し、これらの要素を破棄することを更に含む。第２のツール検知モジュールは、ボリューム要素のサブセットに対してのみ分類を実施するように構成されてよい。例えば、処理を高速化するために、ツール検知モジュールは、一つおきのボリューム要素に対して分類を実施するように構成されてよい。

【0030】

装置は、
３Ｄ画像においてツールが見えるか否かを決定するように画像処理ユニットを制御し、
ツールが見えない場合、第１のツール検知処置を実施するように第１のツール検知ユニットを制御し、
ツールが見える場合、第２のツール検知処置を実施するように第２のツール検知ユニットを制御するように構成されたコントローラを更に備える。

【0031】

第１の及び第２のツール検知モジュールは、ツールの向きが小さな挿入角度であるか又は大きな挿入角度であるかを決定するように構成される。コントローラは、ツールの検知された向きに基づいて第１のツール検知処置及び／又は第２のツール検知処置を開始するように構成される。このように、ツール検知モジュールは、ツールの挿入角度に対して適切なツール検知処置を自動的に選択するように構成される。このことは、ツール平面セクションが素早く特定され得ることを可能にし、ツール平面セクションの迅速な場所の特定及びユーザに対するツールの迅速な可視化を可能にする。挿入角度が小さいとき、精度を増すために、両方のツール検知処置が使用されてよい。

【0032】

装置は、
超音波放射線を３Ｄボリュームに向けるように設けられた超音波出射器と、
３Ｄボリュームによって反射された超音波放射線を検知し、検知された超音波放射線に基づいて３Ｄ画像を生成するように適合された画像センサであって、３Ｄ画像を画像処理ユニットに通信するように構成される、画像センサと、
を更に備える。

【0033】

従って、装置は、少なくともツールの一部が含浸された３Ｄボリュームを撮像するための超音波ガイダンスシステムを提供する。超音波出射器は、超音波を撮像されるべき３Ｄボリュームに向け、画像センサは、３Ｄボリュームによって反射された超音波を検知し、取得されたデータセットを使用して３Ｄボリュームの画像を生み出す。次いで、これらの画像は、それらを処理して、迅速にツールの全長が示されている画像の平面的セクション（ツール平面セクション）の場所を特定する画像処理ユニットに送信される。

【0034】

装置は、超音波画像を表示するためのディスプレイユニットを更に備え、画像処理ユニットは、ツール平面セクションの画像をディスプレイユニットに通信するように構成される。３Ｄ画像におけるツール平面セクションの場所が画像処理ユニットによって特定されると、画像処理ユニットはツール平面セクションの画像をディスプレイユニットに送る。このようにして、ツール平面セクションは可視化され得、ガイダンスのために使用され得る。

【0035】

本発明の態様によると、超音波放射線を使用してツールを検知するための方法が提供され、方法は、
３Ｄボリュームデータセットを取得するステップと、
第１のツール検知処置を実施するステップとを有し、第１のツール検知処置は、
３Ｄボリュームデータセットの平面的セクションのセットを取得するステップであって、各平面的セクションは超音波放射線の送出方向に垂直な平面を表す、ステップと、
平面的セクションにおけるツール影領域を特定するステップと、
検知されたツール影領域に基づいて、３Ｄボリュームデータセット内のツール平面セクションの場所を決定するステップであって、ツール平面セクションはツールの全長が存在する平面を表す、ステップと、
を含む。

【0036】

この方法を実施することによって、ツールの全長を含む３Ｄ画像の平面は素早く特定され得、オペレータに対するツールの迅速な可視化を可能にする。また、この方法はノイズに対する感受性が小さく、従って、多様な状況においてツールの場所を検知する信頼性の高い手段を提供する。更に、この方法は、高ノイズ環境においてツールを検知するためにも使用され得る。

【0037】

この方法は、超音波画像の処理に関連し、医療専門家からのいかなる入力も必要とすることなく実施される。

【0038】

複数のツール影領域が特定され、ツール平面セクションの場所はツール影領域に基づいて計算される。

【0039】

複数のツール影領域を特定するステップは、平面的セクションに存在する暗領域を検知するステップと、暗領域がツールの影に対応するか否かを決定するステップとを含む。ツール影領域は、相互に一貫性のある暗領域のセットを見つけることによって特定される。ツール平面セクションは、平面に対して暗領域が最も一貫性をもって整列している平面の向きを特定することによって検知される。

【0040】

ツール平面セクションの位置は、平面的セクションのうちの１つ又は複数における暗領域の向きを決定することによって決定される。

【0041】

方法は、第１のツール検知処置を実施する前に、３Ｄ画像においてツールが見えるか否かを決定するステップと、ツールが見えない場合、第１のツール検知処置を実施するステップとを更に有する。

【0042】

本発明は、コンピュータ上で実行されたときに上に定められた方法を実施するように適合されたコード手段を備えるコンピュータプログラムも提供する。

【0043】

コンピュータプログラムを提供することによって、既存の画像処理ユニットの機能性は、３Ｄ超音波撮像のために使用される典型的な既存の機器のいずれも変更することなく、ツールを検知し、ツール平面セクションの場所を特定するように変更され得る。

【図面の簡単な説明】

【0044】

【図1A】ツールが介入ツールの小さな挿入角度で配置された状態の超音波撮像装置を図示する図である。

【図1B】ツールが介入ツールの大きな挿入角度で配置された状態の超音波撮像装置を図示する図である。

【図2】実施例による、ツールを検知するための装置を含む超音波ガイダンスシステムの概略図である。

【図3】実施例による、ツールを検知するための方法を示す図である。

【図4A】超音波撮像によって取得されたボリュームの３Ｄ画像を図示する図である。

【図4B】図４Ａのボリュームの平面的セクションを図示する図である。

【図5】３Ｄボリュームの例示的な平面画像のセットを図示する図であり、ニードルが小さな挿入角度で配置されている図である。

【図6】３Ｄボリュームの例示的な平面画像のセットを図示する図であり、ニードルが大きな挿入角度で配置されている図である。

【図7】実施例による、ツールを検知するための装置の概略図である。

【図8】装置によって行われる処理を実施するために適したコンピュータを図示する図である。

【発明を実施するための形態】

【0045】

本発明は、３Ｄ超音波画像から平面的セクションのセットを取得することによって３Ｄ超音波画像が処理されるツールを検知するための装置を提供する。平面的セクションに存在するツール影領域が特定され、３Ｄ超音波画像内のツール平面セクションの場所が決定される。ツール平面セクションは、検知されたツール影領域に基づいて、ツールの全長が存在する３Ｄ画像内の平面を表す。そして、これは、システムのユーザにとって最も効果的なやり方でツールが可視化されることを可能にする。

【0046】

図２は、実施例による、装置１１を含む超音波ガイダンスシステム９を示す概略的なブロック図である。装置１１は、超音波出射器１３ａと画像センサ１３ｂとを備える３Ｄ超音波撮像システム１３によって取得された３Ｄ画像内のツールを検知するように適合される。３Ｄ超音波システムは、超音波プローブ（不図示）を備える。超音波出射器１３ａ及び画像センサ１３ｂは、超音波アレイの一部として超音波プローブ内に位置する。プローブは、超音波ビームの出射（送信）及び受信中にアレイを制御するように構成された集積回路も備える。プローブは、３Ｄボリュームによって反射された超音波放射線に対応する信号を部分的に（又は全体的に）処理し、信号は、超音波システム１３のメインユニット（不図示）に更に通信される。超音波システムのメインユニットは、部分的に（又は全体的に）処理された信号に基づいて、ボリュームの３Ｄ超音波画像を生成するように構成され、次いで、前記３Ｄ画像は画像処理ユニット１５に通信される。

【0047】

装置１１は画像処理ユニット１５を備え、これはツール検知処置を実施するように構成されたツール検知モジュール１７を含む。ツール検知処置は、３Ｄ画像におけるツールの影を特定することと、ツールの全長が表されている３Ｄ画像の「ツール平面セクション」の位置を計算することとを含む。ツール検知処置はツール平面セクションの迅速な場所の特定を可能にする。このように、画像処理ユニットはツール平面セクションを効率的に検知することができる一方、ノイズに対して頑健である。この情報を取得することによって、ディスプレイ１６において迅速で正確なツールの可視化がなされ得る。

【0048】

図２において、装置は画像プロセッサである。この場合、装置１１は、超音波ガイダンスシステム９内に、超音波撮像機器の他のコンポーネントの修正を必要とすることなく内蔵され得る。

【0049】

装置１１は、３Ｄ超音波撮像システム１３と通信するように構成される。装置は、３Ｄ超音波撮像システムから３Ｄ画像を受信し、画像処理ユニット１５を使用して３Ｄ画像を処理するように構成される。３Ｄ超音波撮像システムは、例えば、ニードルなどの介入ツールを撮像するために適している。

【0050】

装置の更なる利点は、広い範囲の挿入角度においてツールを検知するために使用され得ることである。典型的な超音波ガイダンス処置において、ツールを表す３Ｄ画像の明領域を検知することによってツールの場所が特定される。しかしながら、３Ｄボリュームは反射された放射線を検知することによって撮像されるので、ツールの挿入角度が大きい状況においては、ツールを検知することが難しい。これは、超音波放射線がツールによって大きな角度で反射され、従って、（図１Ｂに示されているように）画像センサによって検知されないからである。従って、大きな挿入角度においては、３Ｄ画像におけるツールの可視性は低い。

【0051】

画像処理ユニットは、３Ｄ画像におけるツールの影を検知することによってツール平面セクションを検知する。これは、ツールの可視性が低くなるような方向にツールが向けられているとき、例えば、４５度から９０度の間であっても、ツールが検知されることを可能にする。ニードルの可視性は、挿入角度が増すにつれて著しく減少する。従って、３０°よりも大きな挿入角度については、通常のニードル（特別製のもの又はエコー源性のものでないもの）の検知は失敗する見込みが高く、又は信頼性が低い。

【0052】

ツールの外側面は、入射超音波放射線を強く反射し、従って、ツールの向きにかかわらず、ツールに入射した超音波放射線のほとんどが反射される。入射した放射線のうちのいくらかは透過されるが、透過されたビームの強度は反射されたビームの強度よりも著しく低い。従って、超音波放射線が入射した側部とは反対側のツールの側部を表す画像の領域は比較的暗い。この効果は、入射した超音波ビームのより多くの割合が画像センサから離れる方向に反射されるため、ツールの挿入角度が大きいときに特に強い。それ故、ツールの影は広い挿入角度の範囲にわたって検知され得る。

【0053】

図３は、本発明の実施例による、画像処理ユニットによって実施されるツール検知処置を示す。

【0054】

ツール検知処置の第１のステップ（１８Ａ）において、３Ｄ超音波撮像システムによって生成された３Ｄ超音波画像から平面的セクションのセットが取得される。平面的セクションは、ツールの下方に位置する撮像された３Ｄボリュームのセクションを表し、これは超音波撮像システムによって出射された超音波放射線の送出方向に垂直である。ツールの影は、３Ｄ画像のこれらの平面的セクションにおいて最も見える。従って、ツールの場所を特定するためにこれらの平面的セクションを使用することによって、ツール影の素早く、正確な特定が可能になる。平面的セクションは、３Ｄ画像の異なる深さにおいて取得され、平面的セクションのセットを提供する。

【0055】

次に、ステップ１８Ｂにおいて、ツールの影を表す平面的セクションの暗領域を検知するために、ステップ１８Ａにおいて取得された平面的セクションが分析される。ニードルの下方のセクションにおいて、ニードルの影は楕円形の小塊として現れ、これは隣接する３Ｄ画像の領域と比べて比較的暗い。従って、画像のノイズを除去し、負の閾値処理、ライン検知、又はセグメンテーション法などの分析技法を実施した後、典型的なツール影の特性を有する暗領域が特定され得る。ニードルの大きさ、幅及び形状は既知であり、従って、影の期待される大きさ、幅及び形状は計算できるので、暗領域の大きさ、幅及び形状を調べることによって、更なる向上がなされ得る。しかしながら、平面的セクションに存在する全ての暗領域がツールの影に対応するわけではない。従って、検知された暗領域のうちのいくつかはツール影の一部を形成するものではない。

【0056】

次に、ステップ１８Ｃにおいて、どの暗領域がツール影に対応するかを特定するために、ステップ１８Ｂにおいて検知された暗領域が処理される。少なくとも１つのツール影領域を特定することによって、ボリュームの長手軸に沿ったニードルの全長を表す３Ｄ画像の平面の場所を決定することが可能になる。

【0057】

ツール平面セクションの場所は、１つの検知されたツール影領域の位置、又は検知された全体的な影をともに形成する異なる平面的セクションからの複数のツール影領域に基づいて決定される。

【0058】

ツール影である暗領域を特定するために平面的セクションを処理する異なるやり方がある。これらのツール影領域は、検知された暗領域のサブセットである。このサブセットを特定するために、データセットに対してランダムサンプル及びコンセンサスアルゴリズム（ＲＡＮＳＡＣ）が実施される。ＲＡＮＳＡＣ法においては、適合モデルが決定され、どの要素が適合モデルと一貫性があるかが決定するためにデータセットの要素がチェックされる。ツール影領域サブセットは、最も小さいアウトライア（ｏｕｔｌｉｅｒ）を有するデータセットのサブセットである。

【0059】

一実施例において、ツール影領域サブセットの場所を特定するために、可能なツール平面が選択され、可能なツール平面セクションと一貫性のある、ツール平面セクションに垂直なセクションにおける検知された暗領域の数が計数される。これに代わって、又はこれに加えて、可能なツール平面と一貫性のある暗領域を含む、超音波撮像システムによって出射された超音波放射線の送出方向に垂直なセクションの数が計数される。

【0060】

この処理は、最大数のインライア（ｉｎｌｉｅｒ）を有する可能なツール平面が特定されるまで、何回か繰り返され、この平面が実際のツール平面である。ツール平面セクションと交差する暗領域が、全体的なツール影を形成するツール影領域である。従って、全体的なツール影を含む平面を特定することによって、ツール影領域に基づいて、ツール平面セクションの向きが決定される。

【0061】

ステップ１８Ｄにおいて、超音波ビームに平行で、検知された全体的な影の全長を含むボリュームのセクションが計算され、ユーザに対して可視化される。このセクションがツール平面であり、完全な長さのニードルとその先端部とを含む。ツール平面セクションの位置に基づいて、ニードルの他の像の場所も特定される。

【0062】

図４Ａは、ニードルの影１９を含む、ニードル１の３Ｄ超音波画像の実施例を図示する。

【0063】

図４Ｂは、図４Ａの画像の平面的セクションを図示し、そこでは平面的セクションはニードルの下に位置している。平面的セクションは第１のツール検知モジュールによって取得され、続いてノイズ除去画像処理が施される。暗領域が検知され、暗領域がツールの影を表すか否かを決定するために分析される。また、平面的セクションは、画像を生み出すために使用される入射超音波ビームの方向に垂直である。というのは、この向きの平面的セクションはツールの影１９の最もはっきりとした表現を提供するからである。

【0064】

図５は、３Ｄ画像内の平面的セクションの実施例を図示しており、そこでは、ニードル１は超音波放射線の送出方向に対して小さな角度で配置されている。ニードル１は、トランスデューサの面に対して約２０°の相対角度を有する。この場合、陰影は強くなるが、ニードル１はいまだ見える。従って、強度をベースとした検知技法及び陰影をベースとした検知技法のどちらも正確な長軸ニードル平面をもたらす。従って、どちらの技法もニードルを検知するために使用され得る。

【0065】

左側の１対の画像は３Ｄボリュームの断面であり、上側の画像は、超音波ビームの伝播の方向に平行な断面であり、下側の画像は、超音波ビームの伝播の方向に垂直な断面である。下側の画像における点線は、上側の画像の横断面を示す。下側の画像において、ニードル１の小セクションが、２つの明るい円として見える。円は、ニードルの下側壁及び上側壁との平面の交差を表す。影１９の小部分も見える。上側の画像は、（下側の画像における点線とニードル／影との間の離間によって示されるように）ニードル又はニードルの影と交差しない３Ｄボリュームの断面であるので、上側の画像においては、ニードル及びニードルの影のどちらも見えない。

【0066】

中央の画像の対は、３Ｄボリュームの断面であり、下側の画像は、ニードルの下方に位置する超音波ビームに垂直な断面である。ニードルの影は、領域１９として見える。上の画像は、やはり、超音波ビームに平行な断面である。下側の画像における点線は、やはり、上側の画像の横断面を示す。従って、上側の画像は、やはり、ニードルと交差しない３Ｄボリュームの断面であり、断面はニードルから遠く離れて位置する。点線の位置は左及び中央の下側の画像の両方について同一であることに留意されたい。従って、左及び中央の上側の画像は同一である。

【0067】

右側の１対の画像は、検知されたニードルセクション平面を示す。上の画像は、超音波ビームに平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。

【0068】

上側の画像の断面は、ニードル全体が平面内に収まるように回転される。これは、下側の画像に見ることができ、点線はニードルの影１９に沿うように通っている。これは、他の２つの画像に比べて、画像は時計回りに回転されているからである。上の右側の画像において、ニードル１は全体が画像の平面内にある。これは、垂直スライス（すなわち、伝播方向に平行なスライス）の回転角度を制御することによって可能になる。

【0069】

従って、「ツール平面セクション」は、超音波放射線の伝播の方向に平行なベクトルと、ツールの細長軸に平行なベクトルとの両方を含む平面である。ツール平面セクションはツールと交差する。平面は常に、これら２つの２次元的ベクトルが交差するものとして定められ得る。従って、伝播の方向に対して平行な軸の周りの撮像平面の位置及び回転を制御することによって、ツールの全体軸方向が位置する「ツール平面セクション」が形成され得る。ニードルは２次元的ベクトルによってはっきりと表され得る。しかしながら、この手法は、細長い全体軸を有する、より３次元的なツールにも適用可能である。この細長い全体軸を「ツール平面セクション」に位置付けることによって、ツールは可能な限り見える。

【0070】

更に、ツール平面セクションの場所を特定することによって、ニードルのセクションを含む他の平面の場所を特定することが可能になる。また、ツール平面セクションの場所に基づいて、ツール全体を含む画像の非平面的セクションも構成され得る。

【0071】

図６は、３Ｄボリュームの例示的な平面画像を示し、そこでは、ニードルは、超音波放射線の送出方向に対して大きな角度で配置されており、ニードルは約４５°の急角度で挿入されている。図示されているように、ニードルの可視性が低いにもかかわらず、陰影１９は非常に強く、効率的に及び正確に３Ｄ画像内のツール平面セクションの場所を特定するために使用され得る。

【0072】

左側の１対の画像は、３Ｄボリュームの平面的セクションである。上の画像は、超音波ビームの伝播の方向に平行な断面であり、下側の画像は、超音波ビームの伝播の方向に垂直な断面である。下側の断面はニードルの上方に位置し、ニードルは画像内に視認できない。左下側の画像の右下の明るく白い線は柔らかい組織を表すことに留意されたい。患者の臨床的な超音波画像において、骨、脂肪性の構造、神経及び血管などの他の明るい構造も存在し得る。

【0073】

中央の画像の対は、３Ｄボリュームの断面である。上の画像は、超音波ビームに平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。ここでは、影１９が視認できる。

【0074】

右側の１対の画像は、検知されたニードルセクション平面を示す。上の画像は、超音波ビームに平行な断面であり、下側の画像は、超音波ビームに垂直な断面である。

【0075】

図５の実施例と同様に、上側の画像の断面は、ニードル全体が平面内に収まるように配置され、回転される。これは、下側の画像に見ることができ、点線はニードルの影１９に沿うように通っている。

【0076】

上の右側の画像において、ニードル１がここでは見えて、全体が画像の平面内にある。これは、垂直スライス（すなわち、伝播方向に平行なスライス）の位置及び回転角度を制御することによって可能になる。

【0077】

図７は、３Ｄ超音波画像内のツールを検知するための装置の実施例を図示する。装置１１は画像プロセッサである。この実施例において、画像処理ユニット１５は、第２のツール検知モジュール２１を備え、これは、３Ｄ超音波ボリュームにおける長軸ニードル平面を効率的に及び頑健に検知するために、第１のツール検知モジュール１７とともに動作する。

【0078】

第１のツール検知モジュールは、ツールの影を表す３Ｄ画像の暗領域についてボリュームを検査する。この方法は、大きな挿入角度の場合に最も有益であるが、小さな挿入角度のツールを検知するためにも使用され得る。従って、影をベースとしたツール検知は任意の挿入角度のツールを検知するために適している。

【0079】

第２のモジュールは、ニードルが小さな挿入角度を向いているときのその３Ｄ外観に基づいて、ニードルを検知するように適合される。例えば、第２のモジュールは、強度及び頻度をベースとするアルゴリズムを使用してツールを検知するように構成される。このようなアルゴリズムは、例えば、Ｈ．Ｈ．Ｍ．Ｋｏｒｓｔｅｎ、Ｐ．Ｈ．Ｎ．ｄｅ Ｗｉｔｈ、及びＪ．Ｗ．Ｍ．Ｂｅｒｇｍａｎｓによる「Ｎｅｅｄｌｅ ｄｅｔｅｃｔｉｏｎ ｉｎ ｍｅｄｉｃａｌ ｉｍａｇｅ ｄａｔａ」２０１２年、並びにＡ．Ｐｏｕｒｔａｈｅｒｉａｎ、Ｓ．Ｚｉｎｇｅｒ、Ｐ．Ｈ．Ｎ．ｄｅ Ｗｉｔｈ、Ｈ．Ｈ．Ｍ．Ｋｏｒｓｔｅｎ、及びＮ．Ｍｉｈａｊｌｏｖｉｃによる「Ｇａｂｏｒ−Ｂａｓｅｄ Ｎｅｅｄｌｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｉｎ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｕｌｔｒａｓｏｕｎｄ Ｄａｔａ Ｖｏｌｕｍｅｓ」Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）、２０１４年、３６０２〜３６０６ページにおいて論じられている。上述されたように、影をベースとした検知は、任意の挿入角度についてニードルを特定するために使用され得る。どちらかの方法によるツール検知が可能な装置１１を提供することによって、ツールは、より向上したノイズに対する頑健さ及び検知の信頼性を持って、検知され得る。

【0080】

装置１１は、第１の及び第２のツール検知処置をそれぞれ実施するために、第１の及び第２のツール検知モジュールを制御するように構成されたコントローラも含む。コントローラは、３Ｄ画像からツールが見えるか否かを決定するように画像処理ユニットを制御するように構成される。ツールが見える場合、コントローラは、第２のツール検知処置を実施するように第２のツール検知ユニットに命令する。代替的に、影をベースとした検知は任意のツール挿入角度に使用され得るので、コントローラは、第１の及び第２のツール検知ユニットにツール検知を実施させてもよい。ツールは見えないと画像処理ユニットが決定した場合、コントローラは、第１のツール検知ユニットに第１のツール検知処置を実行させる。

【0081】

一実施例において、装置は、超音波画像を表示するためのディスプレイユニットを含む。画像処理ユニットがツール平面セクションの場所を決定すると、画像処理ユニットは、ツール平面セクションをユーザに対して可視化するために、画像をディスプレイユニットに送信する。

【0082】

装置は画像プロセッサであってよい。代替的に、いくつかの実施例において、装置は、３Ｄ画像を生成するための３Ｄ超音波撮像システムを備え、画像処理ユニットは、３Ｄ超音波撮像システムによって生成された３Ｄ画像を受信し、受信した３Ｄ画像に対して第１のツール検知処置を実施するためにするために、３Ｄ超音波撮像システムと通信するように構成される。

【0083】

装置は、超音波放射線によって撮像され得る任意の種類のツールとともに使用するのに適している。例えば、金属のツール又は反射性の被覆を有するツールである。ツールは、例えば、ニードル、カテーテル、電極、又は腹腔鏡であってよい。ツールが見える角度範囲は、ツールの種類に依存する。

【0084】

画像処理ユニットは、３Ｄ超音波画像から取得される平面的セクションのサブセットについてのみ暗領域を検知するように構成される。

【0085】

画像処理ユニットは、ツール影セクションのサブセットに基づいて、ツール平面セクションの場所を決定する。

【0086】

上述されたように、画像処理はコントローラによって実施される。図８に図示されるように、コントローラはコンピュータ３０を備える。

【0087】

コンピュータ３０は、ＰＣ，ワークステーション、ラップトップ、ＰＤＡ，パームデバイス、サーバ、記憶装置などを含むが、これらに限定されるものではない。概して、ハードウェアアーキテクチャに関して、コンピュータ３０は、ローカルインターフェース（不図示）を介して通信可能に結合される１つ又は複数のプロセッサ３１、メモリ３２、及び１つ又は複数のＩ／Ｏデバイス３３を含む。ローカルインターフェースは、例えば、当技術分野において知られる１つ若しくは複数のバス又は他の有線若しくは無線接続であってもよいが、それらに限定されるものではない。ローカルインターフェースは、通信を可能にするために、コントローラ、バッファ（キャッシュ）、ドライバ、中継器、及び受信器などの追加的な要素を有してよい。更に、ローカルインターフェースは、前述のコンポーネントの間での適切な通信を可能にするために、アドレス、制御器、及び／又はデータ接続を含んでよい。

【0088】

プロセッサ３１は、メモリ３２に記憶され得るソフトウェアを実行するためのハードウェアデバイスである。プロセッサ３１は、実質的に任意の特注の又は市販のプロセッサ、中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、又はコンピュータ３０の関連付けられたいくつかのプロセッサのうちの補助プロセッサであってよく、プロセッサ３１は、半導体をベースとした（マイクロチップの形態の）マイクロプロセッサ、又はマイクロプロセッサであってよい。

【0089】

メモリ３２は、揮発性メモリ要素（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ），スタティックランダムアクセスメモリ（ＳＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ））、及び不揮発性メモリ要素（例えば、ＲＯＭ、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、テープ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、ディスク、ディスケット、カートリッジ、カセットなど）のうちの任意の１つ又はそれらの組合せを含み得る。更には、メモリ３２は、電子的、磁気的、光学的、及び／又は他の種類の記憶媒体を内蔵してよい。メモリ３２は、様々なコンポーネントが互いに離れた場所に位置するがプロセッサ３１によってアクセスされ得る、分散的アーキテクチャを有してよいことに留意されたい。

【0090】

メモリ３２におけるソフトウェアは、１つ又は複数の個別のプログラムを含み、その各々は、論理的機能を実施するために実行可能な命令の順序立ったリストを備える。メモリ３２におけるソフトウェアは、例示的な実施形態に従い、適切なオペレーティングシステム（Ｏ／Ｓ）３４、コンパイラ３５、ソースコード３６、及び１つ又は複数のアプリケーション３７を含む。

【0091】

アプリケーション３７は、計算ユニット、論理、機能ユニット、処理、演算、仮想実体、及び／又はモジュールなどの多くの機能的コンポーネントを備える。

【0092】

オペレーティングシステム３４は、コンピュータプログラムの実行を制御し、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、並びに通信制御及び関連するサービスを提供する。

【0093】

アプリケーション３７は、実施されるべき命令のセットを備えるソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、又は任意の他の実体である。ソースプログラムであるとき、プログラムは、通常、オペレーティングシステム３４とともに適切に動作するように、コンパイラ（コンパイラ３５など）、アセンブラ、インタープリタなどを介して変換され、これらはメモリ３２内に含まれていても含まれていなくてもよい。更には、アプリケーション３７は、例えば、それらに限定されるものではないが、Ｃ、Ｃ＋＋、Ｃ＃、Ｐａｓｃａｌ、ＢＡＳＩＣ、ＡＰＩ ｃａｌｌｓ、ＨＴＭＬ、ＸＨＴＭＬ、ＸＭＬ、ＡＳＰ ｓｃｒｉｐｔｓ、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＦＯＲＴＲＡＮ、ＣＯＢＯＬ、Ｐｅｒｌ、Ｊａｖａ（登録商標）、ＡＤＡ、．ＮＥＴなど、データ及び方法のクラスを有するオブジェクト指向プログラム言語として、又はルーチン、サブルーチン及び／又は機能を有する手続きプログラム言語として記述され得る。

【0094】

Ｉ／Ｏデバイス３３は、例えば、マウス、キーボード、スキャナ、マイクロホン、カメラなどの入力デバイスを含むが、それらに限定されるものではない。更に、Ｉ／Ｏデバイス３３は、例えば、プリンタ、ディスプレイなどの出力デバイスも含むが、それらに限定されるものではない。最後に、Ｉ／Ｏデバイス３３は、例えば、それらに限定されるものではないが、ネットワークインターフェースコントローラ（ＮＩＣ）又はモジュレータ／デモジュレータ（遠隔デバイス、他のファイル、デバイス、システム又はネットワークにアクセスするため）、無線周波数（ＲＦ）又は他の送受信機、電話通信インターフェース、ブリッジ、ルータなどの、入力及び出力の両方を通信するデバイスを更に含む。Ｉ／Ｏデバイス３３は、インターネット又はイントラネットなどの様々なネットワーク上で通信するためのコンポーネントも含む。

【0095】

プロセッサ３１は、コンピュータ３０が動作中であるとき、メモリ３２に記憶されたソフトウェアを実行し、メモリ３２へ及びメモリ３２からデータを通信し、及び、ソフトウェアに従ってコンピュータ３０の動作を全体的に制御するように構成される。アプリケーション３７及びオペレーティングシステム３４は、プロセッサ３１によって全体的に又は部分的に読み込まれ、おそらくはプロセッサ３１内にバッファされ、次いで実行される。

【0096】

アプリケーション３７がソフトウェアにおいて実施されるとき、アプリケーション３７は、コンピュータに関連した任意のシステム若しくは方法によって又はそれらとともに使用される実質的に任意のコンピュータ読み取り可能な媒体に記憶され得ることに留意されたい。本文書の文脈においては、コンピュータ読み取り可能な媒体は、電子的、磁気的、光学的、若しくは他の物理的デバイス、又はコンピュータに関連したシステム若しくは方法によって又はそれらとともに使用されるコンピュータプログラムを含み得又は記憶し得る手段である。

【0097】

図面、本開示、及び添付の特許請求の範囲を検討することによって、開示された実施例に対する他の変形が、特許請求された発明を実践するに当たり、当業者によって理解され、実現され得る。特許請求の範囲において、「ｃｏｍｐｒｉｓｉｎｇ（含む、備える、有する）」という語は、他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は、複数を排除するものではない。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組合せが有利に使用され得ないことを示すものではない。特許請求の範囲における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】