知財求人 - 知財ポータルサイト「IP Force」
特許7304820圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-29
(45)【発行日】2023-07-07
(54)【発明の名称】圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡
(51)【国際特許分類】
A61B 34/20 20160101AFI20230630BHJP
A61B 34/30 20160101ALI20230630BHJP
【ＦＩ】
A61B34/20
A61B34/30
【請求項の数】
12
(21)【出願番号】P 2019565080
(86)(22)【出願日】2018-02-14
(65)【公表番号】
(43)【公表日】2020-03-12
(86)【国際出願番号】 IB2018050899
(87)【国際公開番号】W WO2018150336
(87)【国際公開日】2018-08-23
【審査請求日】2021-02-12
(31)【優先権主張番号】62/458,697
(32)【優先日】2017-02-14
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】519296406
【氏名又は名称】アトラクシス エス・アー・エール・エル
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ゲタン・マルティ
(72)【発明者】
【氏名】モーリス・ハルグ
(72)【発明者】
【氏名】バーナード・マクスウェル・アルラージュ
【審査官】羽月 竜治
(56)【参考文献】
【文献】国際公開第２０１６／１３９６３８（ＷＯ，Ａ１）
【文献】国際公開第２０１１／０２１１９２（ＷＯ，Ａ１）
【文献】特表２００５－５０９４４９（ＪＰ，Ａ）
【文献】特開２００８－０１１９１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ
(57)【特許請求の範囲】
【請求項1】
光学基準およびマーカを高速で追跡するための装置であって、－）オブジェクト（２０）および／または人（４０）上に配置されたマーカ（２１）に取り付けられた少なくとも１つの基準（２２）と、
－）センサデータを介して前記基準（２２）を検出する光学センサ（１１）を有する光学追跡システム（１０）と、
－）手段であって、
検出ヒューリスティックに基づいて複数のウィンドウであって前記光学センサ（１１）内での前記基準（２２）の推定される位置に対応する複数のウィンドウを識別し、
識別した複数の前記ウィンドウに基づいて前記センサデータの一部を抽出する、
ように構成され、前記センサデータのうち抽出された部分が部分画像に対応する、手段と、
－）前記センサデータの一部を圧縮するための少なくとも１つの圧縮モジュール（１０７）と、
－）前記センサ（１１）によって検出された前記マーカ（２１）の位置および／または配向を前記圧縮モジュール（１０７）からの圧縮した前記センサデータの一部の処置によって決定するための少なくともメモリ（１１０）およびセンサデータ処理手段（１４０～１４６）を含む電子的手段と、
－）前記マーカの前記決定された位置および／または配向をさらなる処理のためにアプリケーション（１３０）に転送するための通信手段と、
を含む、装置。
【請求項2】
前記決定された位置および／または配向を受け取る電子機器であって、コンピュータ装置である電子機器を含む、請求項１に記載の装置。
【請求項3】
前記コンピュータ装置はタブレット（６０）である、請求項２に記載の装置。
【請求項4】
前記オブジェクトがマーカ（２０）である、請求項１～３のいずれか１項に記載の装置。
【請求項5】
データの転送が無線手段を介して行われる、請求項１～４のいずれか１項に記載の装置。
【請求項6】
前記光学センサが少なくとも１つのカメラ（１１）を含む、請求項１～５のいずれか１項に記載の装置。
【請求項7】
前記装置が前記オブジェクト（２０）でありかつ前記マーカ（２１）が配置されているロボット構造体を制御するために使用される、請求項１～６のいずれか１項に記載の装置。
【請求項8】
前記ロボット構造体が外科手術用途に使用される、請求項７に記載の装置。
【請求項9】
少なくとも１つの前記光学センサ（１１）がプレノプティックカメラである、請求項１～８のいずれか１項に記載の装置。
【請求項10】
前記プレノプティックカメラが、センサアレイの前に配置されたマイクロレンズアレイを含み、前記マイクロレンズと前記マイクロレンズの下にありかつ前記センサアレイ上にあるピクセルとがマイクロカメラを形成する、請求項９に記載の装置。
【請求項11】
部分センサデータは、特定のマイクロカメラピクセルのみを検索するように定義される、請求項１０に記載の装置。
【請求項12】
少なくとも１つの前記マイクロカメラからの情報が、画像内の前記基準の大まかな位置を定義するために使用される、請求項１０または１１に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の参照
本出願は、２０１７年２月１４日に出願された先の米国仮出願ＵＳＳＮ６２／４５８，６９７に対する優先権を主張し、この先の出願の内容はその全体が参照により本出願に組み込まれる。
本出願は、２０１７年２月１４日に出願された先の米国仮出願ＵＳＳＮ６２／４５８，６９７に対する優先権を主張し、この先の出願の内容はその全体が参照により本出願に組み込まれる。
【背景技術】
【0002】
本発明は、一般に、高速光学追跡に関し、より詳細には、姿勢（配向および位置）データを配信するときに高速および／または低遅延を必要とする追跡用途のための圧縮およびＣＭＯＳウィンドウイングを用いた高速光学追跡に関する。
【0003】
典型的には、そのような光学追跡システムは、歯科コンピュータ支援手術、歯科ロボット支援手術、リハビリテーションおよび他の同様の医療用途の分野で使用されている。より一般的なレベルでは、それらは産業用部品検査の分野、または追跡が必要とされる他の用途で使用されている。
【0004】
従来の光学姿勢追跡システムは２つ以上のカメラを含む。それらは三角測量を使って、空間内の光発生素子の３Ｄ位置を決定する。これらの光発生素子は能動的でありえる、つまりそれらは光を送出する（例えばＬＥＤ）。または受動的でありえる、つまりそれらは光を反射する（例えば反射ディスクまたは球）。または能動的および受動的の組み合わせでありえる。受動的な場合には、光は光学追跡システムのカメラの周囲に配置されたＬＥＤのリング上に生成するように使用される。放出された光はさらに被追跡オブジェクトに反射され、カメラによって感知される。
【0005】
そのような追跡システムは、あらゆる単一の光発生素子の３Ｄ位置を計算（すなわち決定）することができる。相対位置が分かっている少なくとも３つの光発生素子が測定される場合、３Ｄ配向を計算する（すなわち決定する）ことがさらに可能である。このようなオブジェクトはマーカと呼ばれ、マーカはシステムによって追跡されるべき対象オブジェクト／被験物に固定される。
【0006】
医療用途の状況では、ユーザ（例えば外科医）は、オブジェクト（例えばプローブまたは外科用器具）の遠位先端を使用して患者の身体上の関心領域に触れる。追跡システムは、オブジェクトに付けられたマーカを見て、その姿勢を検索することができる。次に、マーカの位置とオブジェクトの先端の位置との間の既知の関係に基づいて、マーカ追跡システムはオブジェクトの先端の座標とその配向を決定する。このような情報は、例えば、生検針を挿入するときに患者を術前計画に登録する、および／または関与する放射線専門家を誘導するための用途によって使用することができる。
【0007】
さらに、医学的用途および特に外科手術用途は、マーカが無菌であることを必要とする。一般的なパッシブマーカは通常、使い捨てで、加圧滅菌に耐える、またはその２つの組み合わせである。
【0008】
追跡システムおよび方法の例は、国際公開第２０１７／２０８１８６号および米国特許出願公開第２０１７／００８６９４１号に記載されている。
【発明の概要】
【0009】
本発明は、一般に、（延長マーカ２０によって）基準（２２）を感知する光学追跡システム（１０）を含む高速光学追跡に関する。基準（それぞれマーカ）は、操作者（例えば外科医）（５０）によって扱われるツール（２０）上に統合されるか、または追跡されるオブジェクト／被験物（例えば患者）（４０）上に固定される。低レベル処理（１０１、１０７、１４０）は追跡システム内で実現されることが好ましい。姿勢データ（１２７）が計算され、ＰＣ／モニタ（３０、３１）またはタブレット（６０）に転送されてエンドユーザアプリケーション（１３０）によって使用される。
【0010】
したがって、本発明の詳細な説明をよりよく理解するために、また当技術分野に対する現在の貢献をよりよく理解するために、本発明のいくつかの特徴をかなり広く概説した。以下に説明する本発明の多くの追加の特徴がある。
【0011】
この点に関して、本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明に記載されるかまたは以下の図面に示される構造の詳細または構成要素の配置に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、異なる実施形態にしたがって様々な方法で実施および実行することができる。また、本明細書で使用されている表現および用語は説明の目的のためであり、限定と見なされるべきではないことを理解されたい。
【0012】
第１の態様において、本発明の目的および目的は、既知の装置および方法を改良することである。
【0013】
別の目的は、姿勢（配向および位置）データを配信するときに高速および／または低遅延を必要とする追跡用途のための、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0014】
別の目的は、追跡速度を改善し、姿勢データ配信の遅延を短縮する、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0015】
他の目的は、（これらの特徴を持たないであろう）従来の解決策に対して処理されるべきデータが少ないので、埋め込み処理内で高速／低遅延を可能にする圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0016】
別の目的は、圧縮形式で生データを転送し処理することを可能にする、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0017】
別の目的は、撮像センサの読み出し段階をスピードアップするために、ＣＭＯＳウィンドウイングおよび画像ベースのオブジェクト追跡を使用する、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0018】
別の目的は、光分野用途（例えば、２Ｄ画像と３Ｄ深度マップの同時取得）を可能にするために画像センサの前面に追加のマイクロレンズアレイを使用する、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速光学追跡を提供することである。
【0019】
他の目的は、従来の解決法に関してデータ取得をスピードアップするための、圧縮および／またはＣＭＯＳウィンドウイングを用いた高速信号処理を提供することである。
【0020】
本発明の他の目的および利点は読者にとって明らかとなり、これらの目的および利点は本発明の範囲内にあることが意図される。上記および関連する目的を達成するために、本発明は添付の図面に示された形態で具体化されてもよいが、図面は例示的なものにすぎず、本明細書に記載の例示的な実施形態に限定されない、本出願の範囲内で図示および説明されている、特定の構成に変更が加えられ得ることに留意されたい。
【0021】
一実施形態では、本発明は、光学基準およびマーカを高速で追跡する方法に関する。
－）少なくとも１つの基準が、オブジェクト上および／または人上に配置されたマーカに取り付けられ、前述の基準が、少なくとも１つの光学センサによって検出され、前述の光学センサが、センサデータを提供し、
－）前述の光学センサによって検出された前述のマーカの位置および／または配向は、前述のセンサデータのデータ処理ステップによって決定され、
－）前述の決定された位置および／または配向は、処理済みデータとして通信手段を介してさらなる処理のためにアプリケーションに送信され、
前述のデータ処理ステップにおいて、前述のセンサデータは、前述のセンサデータを圧縮するための圧縮モジュールに転送され、前述のマーカの前述の位置および／または配向は、前述の圧縮データから決定される。
－）少なくとも１つの基準が、オブジェクト上および／または人上に配置されたマーカに取り付けられ、前述の基準が、少なくとも１つの光学センサによって検出され、前述の光学センサが、センサデータを提供し、
－）前述の光学センサによって検出された前述のマーカの位置および／または配向は、前述のセンサデータのデータ処理ステップによって決定され、
－）前述の決定された位置および／または配向は、処理済みデータとして通信手段を介してさらなる処理のためにアプリケーションに送信され、
前述のデータ処理ステップにおいて、前述のセンサデータは、前述のセンサデータを圧縮するための圧縮モジュールに転送され、前述のマーカの前述の位置および／または配向は、前述の圧縮データから決定される。
【0022】
一実施形態では、センサデータ読み出しは部分的であり、センサデータの一部のみが読み出され、その後の処理に使用されることを意味し、それによって前述の読み出しは追跡されるべき基準の決定に十分な情報を含む。
【0023】
一実施形態では、前述の基準の部分センサデータは、前述のマーカの前述の位置および／または配向を決定するために圧縮されていない。
【0024】
本発明の実施形態では、データは圧縮されていてもいなくてもよく、および／または部分的であってもなくてもよい。好ましくは、取得されたデータは処理され（例えば、圧縮されおよび／または部分的な、すなわちウィンドウ化され）、データの全体サイズを縮小し、処理時間を短縮する。
【0025】
一実施形態では、本方法のデータ処理ステップにおいて、圧縮データまたは非圧縮データは、ピクセルの強度に応じてセグメント化される。
【0026】
一実施形態では、データのセグメンテーション後に、ブロブがセグメント化画像内で検出され、それらの位置が決定される。
【0027】
一実施形態では、３Ｄ再構築ポイントクラウドとオブジェクトのジオメトリとの間でジオメトリマッチングが行われる。
【0028】
一実施形態では、データのさらなる処理は、前述の光学基準および／またはマーカを追跡するためのナビゲーションアプリケーションを含む。
【0029】
一実施形態では、データはロボット構造を制御するために使用される。
【0030】
一実施形態では、ロボット構造は外科手術用途に使用される。
【0031】
一実施形態では、ロボット構造は外科医などの操作者によって保持される。例えば、ロボット構造は、Ｓｍｉｔｈ Ｎｅｐｈｅｗ社により製造され、例えば以下のリンクに開示されているＮＡＶＩＯ（商標）手術システムのようなインテリジェントツールであり得る。ｈｔｔｐ：／／ｗｗｗ．ｓｍｉｔｈ－ｎｅｐｈｅｗ．ｃｏｍ／ｐｒｏｆｅｓｓｉｏｎａｌ／ｍｉｃｒｏｓｉｔｅｓ／ｎａｖｉｏ／
【0032】
他のロボットおよび装置ももちろん本発明を使用することができ、この例は限定的ではない。
【0033】
本発明はまた、前述の請求項のいずれか１項に記載の光学基準およびマーカを高速追跡するための装置に関し、装置は、
－）オブジェクトおよび／または人上に配置されたマーカに取り付けられた少なくとも１つの基準と、
－）センサデータを介して前述の基準または前述のマーカを検出する光学センサを有する光学追跡システムと、
－）前述のセンサによって検出された前述のマーカの位置および／または配向をセンサデータの処理によって決定するための少なくともメモリおよびセンサデータ処理手段を含む電子的手段と、
－）前述のマーカの前述の決定された位置および／または配向をさらなる処理のためにアプリケーションに転送するための通信手段と、を含み、
前述のデータ処理手段は、
前述のセンサデータを圧縮するための少なくとも１つの圧縮モジュールを含み、前述のマーカの前述の位置および／または配向は、前述の処理手段によって前述の圧縮データから決定される。
－）オブジェクトおよび／または人上に配置されたマーカに取り付けられた少なくとも１つの基準と、
－）センサデータを介して前述の基準または前述のマーカを検出する光学センサを有する光学追跡システムと、
－）前述のセンサによって検出された前述のマーカの位置および／または配向をセンサデータの処理によって決定するための少なくともメモリおよびセンサデータ処理手段を含む電子的手段と、
－）前述のマーカの前述の決定された位置および／または配向をさらなる処理のためにアプリケーションに転送するための通信手段と、を含み、
前述のデータ処理手段は、
前述のセンサデータを圧縮するための少なくとも１つの圧縮モジュールを含み、前述のマーカの前述の位置および／または配向は、前述の処理手段によって前述の圧縮データから決定される。
【0034】
一実施形態では、前述の処理手段は、前述のセンサのウィンドウから部分センサデータを受け取る。
【0035】
一実施形態では、装置は、前述の決定された位置および／または配向を受け取る電子機器を含み、前述の電子機器はコンピュータ装置である。
【0036】
一実施形態では、コンピュータ装置はタブレットまたは他の同等の装置である。
【0037】
一実施形態では、オブジェクトはマーカである。
【0038】
一実施形態では、データの転送は無線手段を介して行われる。もちろん、伝送は、有線または有線と無線の組み合わせを介しても行われ得る。
【0039】
一実施形態では、光学センサは少なくとも１つのカメラを備える。
【0040】
一実施形態では、装置はロボット構造を制御するために使用される。
【0041】
一実施形態では、ロボット構造は外科手術用途に使用される。
【0042】
一実施形態では、ロボット構造はインテリジェントツールであり、外科医などの操作者によって保持されてもよい。ロボット構造は、上記で開示されたＮａｖｉｏ（商標）外科手術システムまたは別の同等の構造／装置であり得る。
【0043】
一実施形態では、方法および装置で使用される少なくとも１つの光学センサはプレノプティックカメラであり得る。
【0044】
一実施形態では、プレノプティックカメラは、センサアレイの前に配置されたマイクロレンズアレイを備えることができ、各マイクロレンズおよびセンサアレイ上で下にあるピクセルは、マイクロカメラを形成する。
【0045】
一実施形態では、本方法で読み取られる部分センサデータは、特定のマイクロカメラピクセルのみを検索するように定義され得る。
【0046】
一実施形態では、少なくとも１つのマイクロカメラからの情報を使用して、画像内の基準の大まかな位置を定義することができる。
【0047】
本発明の実施形態のすべての技術的手段は、以下の本発明の説明およびその特徴においてより詳細に説明されるであろう。
【図面の簡単な説明】
【0048】
本発明の他の様々な手段、目的、特徴、および付随する利点は、添付の図面と併せて考慮すると、よりよく理解され、十分に理解されるであろう。ここで、同じ参照符号は、いくつかの図面において同じまたは類似の部分を示す。
【0049】
【図1】図１は、光学追跡を用いた典型的なレジストレーションステップのためのコンピュータ支援手術（ＣＡＳ）セットアップの上方斜視図である。光学追跡システム（１０）は、赤外線リング（１１）によって囲まれた２つのカメラ（１１）からなる。装置はケーブル（３２）（例えばＵＳＢ、イーサネット（登録商標）など）を介してコンピュータに接続される。光学追跡システム（１０）は、カメラの視野内にある基準（２２）（例えば、反射材料または赤外発光ダイオード）を検出する。既知の位置にしっかりと固定されている基準は、マーカ（２１）を画定する。ポインタ（２０）は、解剖学的ランドマークを指すために使用されるツール先端を有するマーカである。マーカ（２１）は患者（４０）にしっかりと固定されている（例えば、ねじ込まれ、テープで固定されるなど）。ポインタは、患者（４０）上の解剖学的ランドマークを記録する外科医（５０）によって保持されている。対応するランドマークが同時にスクリーン上に見える（３１）。スクリーンはケーブル（３３）を介してＰＣに接続されている。仮想ランドマークとポイントされたランドマークとの間の対応はレジストレーションと呼ばれ、仮想参照におけるマーカの位置を知ることを可能にする。レジストレーションはＣＡＳアプリケーションで計画と実際の患者を対応させるために使用される。
【図2】図２は、光学追跡を用いた典型的なレジストレーションステップのためのコンパクトなコンピュータ支援手術セットアップの上方斜視図である。このプロセスは、埋め込まれていてコンパクトであることを除いて、図１と同様である。この例では、光学追跡システム（１０）は、埋め込まれた計算能力（１３）を有する。代わりに、外部コンピュータに接続される代わりに、カメラ（１１）と内蔵コンピューティングユニットとの間の接続は、例えばシステム（１０）内で内部的に行われる（３４）。画像のケーブルは説明用にすぎない。このリンクは実際上そして好ましくは電子回路に統合されるであろう。内部での姿勢計算の後、データは無線で（６１）（例えば、ＷｉＦｉ、ブルートゥース（登録商標）またはＬｉＦｉ接続を介して）タブレットＰＣ（６０）へ転送される。エンドユーザアプリケーション（ＡＰＰ）はタブレット上で動作する。
【図3】図３は、従来の光学追跡システムのフローチャートである。基準（２２）はカメラセンサ（例えばＣＭＯＳ－１１）によって感知される。各カメラについて、画像全体またはその一部のピクセルがメモリ（１１０）に読み出される（１０５）。次いで、画像は、外部のＰＣへの有線リンクを介して（図１参照）、または埋め込み型プロセッサの場合には内部バスを介して（図２参照）、データ処理ユニット（１２０）によって検索される。データ処理ユニットは、最初にピクセルの強度に応じて画像をセグメント化し（１２１）、セグメント化画像内のブロブを検出し（１２２）、それらの重心、左右の対応を見つけ（１２３）、さらに三角測量（１２４）によってそれらの３Ｄ位置を決定する。３Ｄポイントクラウドとマーカのジオメトリとの間の対応は任意選択的に実行される。このステップはジオメトリマッチング（１２５）と呼ばれる。マーカ（２１）が３つ以上の基準（２２）を含む場合、その姿勢（位置および配向－１２６）を計算することが可能である。姿勢データ（１２７）は、最後にナビゲーションアプリケーション（１３０）に転送される（例えば、図１に記載されているレジストレーションソフトウェアアプリケーション）。
【図4】図４は、本発明の実施形態の全体動作を示すフローチャートである。基準（２２）は、カメラセンサ（１１）によって感知（すなわち検出）される。カメラセンサは低レベル追跡エンジン（１０１）に接続され、それが、基準（２２）、追跡するマーカ（２０、２１）に位置するセンサ（１１）によって提供される画像内の一つまたは複数のウィンドウを決定する。部分画像はセンサ（１０６）から読み出され、さらにウィンドウによって画定されたサブ画像のメモリ占有面積（サイズ）を縮小する画像圧縮モジュール（１０７）に転送される。この圧縮はまた、それらを解凍する必要なしに画像を後で処理することを可能にする（１４０）。圧縮画像はさらにメモリ（１１０）に記憶される。圧縮データ処理ユニット（１４０）は、部分圧縮画像を検索する。それは（予備解凍を必要とせずに）最初に圧縮画像を直接使用して、ピクセルの強度に応じて画像を分割し（１４１）、セグメント化画像からブロブを検出し（１４２）、それらの重心を定義し、左右の対応を見つけ（１４３）、三角形分割によりそれらの３Ｄ位置を決定する（１４４）。３Ｄポイントクラウドとマーカのジオメトリとの間の対応は任意選択的に実行される。このステップはジオメトリマッチング（１４５）と呼ばれる。姿勢データ（１２７）は最終的にナビゲーションアプリケーション（１３０）に転送される。上述のように、一実施形態では、部分画像が読み出され、対応するデータが圧縮される。別の実施形態では、（部分画像だけではなく）画像全体のデータを圧縮するか、あるいはデータを圧縮せずに部分画像のデータを直接使用することを想定することができる。システムの性能と能力によっては、これで目的の追跡速度を確保できる。ただし、可能であれば、部分データの圧縮が好ましい方法である。
【図5】図５は、ウィンドウイングを使用するセンサ（下）に対する従来のセンサ（上）のタイミング図を示す。ウィンドウイングを使用するセンサの場合、センサインテグレーション時間は同じであるが、読み出しはかなり短縮される。両方の状況において、読み出し時間は検索する有効ピクセル数に正比例する。
【図6】図６は、光学追跡を使用したロボット支援手術セットアップの上方斜視図である。プロセスは、人間の操作者（５０）がロボットアーム（５１）に置き換えられていることを除いて、図２と同様である。ロボット（５２）のエンドエフェクタは、マーカ（２０）および手術用ツール（５３）を保持する。マーカと手術用ツールとの間の幾何学的関係は既知である。（マーカを介した）患者と手術用ツールとの間の変換は、動作プロセス中にロボットを操縦するために使用されることに留意されたい。それは、患者の解剖学的構造が動いていても、ロボットの動きを制御することができる。ロボットを安全かつ正確に制御するには、光学的姿勢推定の待ち時間が少なく、更新速度が速いことが必要である。それはまた増加することができる動作速度に影響を与える。
【発明を実施するための形態】
【0050】
Ａ．概要
ここで図面を説明的に参照すると、いくつかの図を通して同様の参照符号は同様の要素を示しており、これらの図は、基準（２２）を感知する光学追跡システム（１０）を示している。マーカ（２０）は、既知の位置に互いに固定された３つ以上の基準によって形成されている。マーカは、操作者（例えば、外科医、またはロボット）（５０）によって保持されるツール（２０）内に／上に統合されるか、または追跡するオブジェクト／被験物（例えば患者）（４０）上に固定され得る。低レベル処理（１０１、１０７、１４０）は追跡システム内で実現されることが好ましい。姿勢データ（１２７）は、内部で計算されてタブレット（６０）に送信されるか、または外部のＰＣ（３０）に転送されて計算される。姿勢は最終的にエンドユーザアプリケーションによって使用される（１３０）。システム全体は、例えば処理中に転送するデータ量を減らすことによって、全体の性能を改善する（例えば、速度を改善する、待ち時間を短縮する）ように設計され、それによって時間を勝ち取る。
ここで図面を説明的に参照すると、いくつかの図を通して同様の参照符号は同様の要素を示しており、これらの図は、基準（２２）を感知する光学追跡システム（１０）を示している。マーカ（２０）は、既知の位置に互いに固定された３つ以上の基準によって形成されている。マーカは、操作者（例えば、外科医、またはロボット）（５０）によって保持されるツール（２０）内に／上に統合されるか、または追跡するオブジェクト／被験物（例えば患者）（４０）上に固定され得る。低レベル処理（１０１、１０７、１４０）は追跡システム内で実現されることが好ましい。姿勢データ（１２７）は、内部で計算されてタブレット（６０）に送信されるか、または外部のＰＣ（３０）に転送されて計算される。姿勢は最終的にエンドユーザアプリケーションによって使用される（１３０）。システム全体は、例えば処理中に転送するデータ量を減らすことによって、全体の性能を改善する（例えば、速度を改善する、待ち時間を短縮する）ように設計され、それによって時間を勝ち取る。
【0051】
Ｂ．光学追跡システム
光学追跡システムは１つ以上のカメラ（１１）を含む。装置は、例えば各赤外線カメラを囲むＩＲ ＬＥＤを使用して、リング（１２）から赤外線を放出する。カメラは、マーカ（２０、２１）のように、追跡すべきオブジェクト／被験物上に配置された基準（２２）を感知している。基準には主に２つのタイプがあり、どちらも本発明の実施形態において代替の解決策として、または組み合わせて可能である。
光学追跡システムは１つ以上のカメラ（１１）を含む。装置は、例えば各赤外線カメラを囲むＩＲ ＬＥＤを使用して、リング（１２）から赤外線を放出する。カメラは、マーカ（２０、２１）のように、追跡すべきオブジェクト／被験物上に配置された基準（２２）を感知している。基準には主に２つのタイプがあり、どちらも本発明の実施形態において代替の解決策として、または組み合わせて可能である。
【0052】
１．基準を赤外画像において明るいスポットとして出現させる、（例えば、リング１２のＩＲ ＬＥＤからの）光をレンズに映し出す小さい球体を含む再帰反射材料で被覆された受動的基準。
２．光源（例えば、赤外発光ダイオード－ＩＲ－ＬＥＤ）である能動基準。そのような基準を排他的に使用するとき、リング（１２）は必要ではない。
２．光源（例えば、赤外発光ダイオード－ＩＲ－ＬＥＤ）である能動基準。そのような基準を排他的に使用するとき、リング（１２）は必要ではない。
【0053】
生データはさらに処理され（１０１、１０７、１４０）、基準の３Ｄ位置が提供される。３つ以上の検出された基準がマーカの一部であるとき、それらの姿勢を計算することが可能である。
【0054】
最も一般に使用されている追跡システムは、ベースラインに固定されたステレオカメラ（２台のカメラで構成されたシステム）である。一方のカメラから他方のカメラへの変換は通常、工場で較正されるか、あるいは現場で較正される。基準が両方のカメラによって同時に検出されると、三角測量によってその３Ｄ位置を計算することが可能である。通常に使用される受動光学追跡システムの例は、例えば、Ａｔｒａｃｓｙｓ ｉｎｆｉｎｉＴｒａｃｋ（商標）、ｆｕｓｉｏｎＴｒａｃｋ（商標）、ｓｐｒｙ Ｔｒａｃｋ（商標）、Ｎｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ Ｐｏｌａｒｉｓ（商標）、およびＡｘｉｏｓ ＣａｍＢａｒ（商標）である。
【0055】
光学追跡システムは通常近赤外スペクトルで動作するが、代わりに可視スペクトルまたは他のスペクトル用に設計されている。
【0056】
光学追跡システムは、代わりにタグまたは既知のパターンを検出することができる。ＣｌａｒｏＮａｖ社のＡＲＴｏｏｌｋｉｔ（商標）（ｈｔｔｐ：／／ａｒｔｏｏｌｋｉｔ．ｏｒｇ）またはＭｉｃｒｏｎＴｒａｃｋｅｒ（商標）などのシステムは、特定のタグを持つオブジェクトを追跡している。タグ／パターンは基準と見なされない。タグ／パターンには特徴点がある（ウィキペディアの特徴点を参照）。そして、これらの特徴点は基準を形成するが、本発明の文脈ではタグ／パターンはマーカと見なされる。他の同等のマーキング手段（基準またはマーカ）ももちろん本発明の範囲内で可能である。
【0057】
本発明の他の実施形態では、３つ以上のカメラを有する光学追跡システムが代替的に可能である。
【0058】
単一の追跡カメラを部屋に固定し、それぞれの変換を定義するための追加の較正ステップを使用するなど、他の種類のセットアップも可能である。この方法は通常、モーションキャプチャアプリケーションに使用される。あるいは、部屋に複数のカメラ追跡システムを（既知のベースラインで）固定することも可能である。
【0059】
【0060】
光学追跡システムは、埋め込み処理能力（例えば、図２）または委任処理（例えば、図１）を有することができる。委任処理により、生信号からの姿勢計算は部分的に追跡システム内でそして部分的にはＰＣのような外部ＣＰＵ上で実現される。状況に応じてどちらか一方の構成を選択することができる。
【0061】
Ｃ．被追跡ツール
被追跡ツールは、器具（２０）に堅固に固定された（それぞれ一体化された）マーカを含む。マーカ（文献では剛体とも呼ばれる）（２０、２１）は、堅固に固定されたいくつかの基準（２２）を含む。マーカを形成する基準の相対位置はジオメトリと呼ばれ、３Ｄポイントクラウドからマーカの姿勢を推定するためにはよく知られている。追跡プロセス（１４０）の間に、これらの基準が検出され（１４２）、識別され（１４３）、それらの３Ｄ位置が三角測量によって追跡システムによって計算される（１４４）。少なくとも３つの基準が検出された場合、関係の追跡システムにおけるマーカの姿勢（位置＋並進）を計算するために、アルンレジストレーションアルゴリズム（「２つの３－Ｄポイントセットの最小二乗フィッティング」、アルン、１９８７）を使用することができる。被追跡ツールは３つ未満の基準を含み得ることに留意されたい。この場合、減少した空間情報（６自由度未満）だけが、追跡システムによって、検索することができる。被追跡ツールは、外科手術用途においてオートクレーブ処理されるか、または部分的に／全体的に使い捨てであるように設計されている。
被追跡ツールは、器具（２０）に堅固に固定された（それぞれ一体化された）マーカを含む。マーカ（文献では剛体とも呼ばれる）（２０、２１）は、堅固に固定されたいくつかの基準（２２）を含む。マーカを形成する基準の相対位置はジオメトリと呼ばれ、３Ｄポイントクラウドからマーカの姿勢を推定するためにはよく知られている。追跡プロセス（１４０）の間に、これらの基準が検出され（１４２）、識別され（１４３）、それらの３Ｄ位置が三角測量によって追跡システムによって計算される（１４４）。少なくとも３つの基準が検出された場合、関係の追跡システムにおけるマーカの姿勢（位置＋並進）を計算するために、アルンレジストレーションアルゴリズム（「２つの３－Ｄポイントセットの最小二乗フィッティング」、アルン、１９８７）を使用することができる。被追跡ツールは３つ未満の基準を含み得ることに留意されたい。この場合、減少した空間情報（６自由度未満）だけが、追跡システムによって、検索することができる。被追跡ツールは、外科手術用途においてオートクレーブ処理されるか、または部分的に／全体的に使い捨てであるように設計されている。
【0062】
被追跡ツールは、レジストレーションの目的のためのデジタイザ、またはドリル、生検針、または超音波プローブ、内視鏡、ＣＴスキャナ、ＭＲＩ、ロボット、インテリジェントツールなどのような術中の画像化を含む任意の手術用ツールであり得る。
【0063】
被追跡ツールは、自動、半自動または手動の方法で、人間の操作者（例えば外科医）またはロボット（図６を参照）、インテリジェントツール（図７を参照）によって操作されてもよい。ロボットの一例は、Ｓｔｒｙｋｅｒ社製のＭａｋｏ Ｓｙｓｔｅｍ（商標）である。インテリジェントツールの例は、Ｓｍｉｔｈ ａｎｄ ＮｅｐｈｅｗのＮＡＶＩＯ（商標）である。
【0064】
Ｄ．ＰＣシステム
ナビゲーションＰＣ（３０）とも呼ばれるＰＣシステムは、処理済みデータ（３２）を検索し、このプロセスが追跡システム（１３）内でまだ行われていない場合、マーカ（２０、２１）の姿勢を計算する。ＰＣは、（タッチ）スクリーン（３１）に接続され（３３）、エンドユーザアプリケーション（１３０）を表示する。
ナビゲーションＰＣ（３０）とも呼ばれるＰＣシステムは、処理済みデータ（３２）を検索し、このプロセスが追跡システム（１３）内でまだ行われていない場合、マーカ（２０、２１）の姿勢を計算する。ＰＣは、（タッチ）スクリーン（３１）に接続され（３３）、エンドユーザアプリケーション（１３０）を表示する。
【0065】
手術室（ＯＲ）で使用される典型的なＰＣシステム（スクリーンを含む）はカートの上に置かれ、追跡ゾーンを狙うジンバルを有するポールに固定されている。
【0066】
ＰＣは任意のオペレーティングシステム（Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ（登録商標）など）を実行できる。
【0067】
ＰＣ用の入力装置は、タッチスクリーン、マウス、キーボード、Ｋｉｎｅｃｔなどの任意の適切なシステムである。
【0068】
Ｅ．追跡被験物
追跡被験物（４０）は通常、手術を受けている患者である。マーカ（２１）は、外科手術の対象となる解剖学的構造上に（できるだけ堅固に）固定される。例えば、股関節置換術中に、マーカをスタインマンネイルに固定することができる。
追跡被験物（４０）は通常、手術を受けている患者である。マーカ（２１）は、外科手術の対象となる解剖学的構造上に（できるだけ堅固に）固定される。例えば、股関節置換術中に、マーカをスタインマンネイルに固定することができる。
【0069】
異なる外科的処置は、インプラント配置、画像誘導手術、神経、ＥＮＴ、脊椎、顎顔面、肝臓外科、歯科のようにナビゲーションを使用し、そして本発明から利益を得ることができる。マーカ（２１）が、追跡するために、解剖学的構造上に固定（ねじ止め、テープ止めなど）される。レジストレーションステップが実現された後、マーカは解剖学的構造に固定されたままでなければならず、そうでなければ再レジストレーションが必要である。
【0070】
Ｆ．操作者
操作者（５０）は追跡された器具を保持する。図１の用途では、外科医はデジタイザ（２０）を使用して解剖学的ランドマークを患者（４０）に向ける。外科手術用途において、操作者は外科医、助手および／または看護師である。操作者は、インテリジェントツールの場合、ロボットまたはその両方の組み合わせでもよい。
操作者（５０）は追跡された器具を保持する。図１の用途では、外科医はデジタイザ（２０）を使用して解剖学的ランドマークを患者（４０）に向ける。外科手術用途において、操作者は外科医、助手および／または看護師である。操作者は、インテリジェントツールの場合、ロボットまたはその両方の組み合わせでもよい。
【0071】
Ｇ．タブレット
タブレット（６０）は、データ転送（６１）が通常無線で行われることを除いて、タッチスクリーンを有するＰＣと同様である。
タブレット（６０）は、データ転送（６１）が通常無線で行われることを除いて、タッチスクリーンを有するＰＣと同様である。
【0072】
タブレットは、ポータブルＰＣ（例えば、Ｌｅｎｏｖｏ Ｙｏｇａ（登録商標））、ファブレット（Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ（登録商標）、Ｗｉｎｄｏｗｓ（登録商標））、タブレット（ｉＰａｄ（登録商標））、またはタッチスクリーンを含む任意のモバイルコンピュータであり得る。
【0073】
タブレットは通常医療グレードであり、かつ／または手術室の滅菌領域内の汚染を避けるために滅菌バッグに包まれている。
【0074】
Ｈ．カメラセンサ
カメラセンサ（１１）は、画像センサとそれを制御するための電子機器とを備える。例えば、ＣＭＯＳ（相補型金属酸化膜半導体）画像センサ（１００）は、光を電荷に変換し、それを電子信号に処理する。この技術では、各ピクセルが独自の電荷－電圧変換を行い、センサにはアンプ、ノイズ補正、デジタル化回路も含まれるため、チップ出力はデジタルビットになる。ＣＭＯＳイメージャはピクセルで電荷を電圧に変換し、ほとんどの機能はチップに統合されている。ＣＭＯＳ技術は、画像の一部のみを読み出す能力（ウィンドウイング機構とも呼ばれる）を有する（１０６）。この技術は、小さな関心領域（ピクセル）のみが読み出されるので、全体のフレームレートを増大させ、待ち時間を減らすために使用され、本発明では典型的に使用され得る。
カメラセンサ（１１）は、画像センサとそれを制御するための電子機器とを備える。例えば、ＣＭＯＳ（相補型金属酸化膜半導体）画像センサ（１００）は、光を電荷に変換し、それを電子信号に処理する。この技術では、各ピクセルが独自の電荷－電圧変換を行い、センサにはアンプ、ノイズ補正、デジタル化回路も含まれるため、チップ出力はデジタルビットになる。ＣＭＯＳイメージャはピクセルで電荷を電圧に変換し、ほとんどの機能はチップに統合されている。ＣＭＯＳ技術は、画像の一部のみを読み出す能力（ウィンドウイング機構とも呼ばれる）を有する（１０６）。この技術は、小さな関心領域（ピクセル）のみが読み出されるので、全体のフレームレートを増大させ、待ち時間を減らすために使用され、本発明では典型的に使用され得る。
【0075】
センサは、チップを制御する（例えば、インテグレーション時間を設定する、ピクセル深度検索を設定するなど）だけでなく、画像（１０１）内の基準（２２）の位置を推定する、専用のデジタル電子機器にリンクされ、ＣＭＯＳセンサ内の対応する関心領域（ウィンドウ）を設定する。スマートウィンドウイングのヒューリスティックは、より少ないピクセルが読み出されるので、ＣＭＯＳセンサの読み出し時間を典型的には１．５から３倍の範囲で短縮することができ、これにより全体的な取得プロセスをかなりスピードアップすることが可能になる。ヒューリスティックの例は、本明細書において後に提示され、本発明の実施形態において適用され得る。
【0076】
ウィンドウイング機能を有する任意の画像センサ技術が、代わりに本発明の実施形態において使用されてもよい。
【0077】
画像センサから読み出された部分画像はさらに圧縮される（１０７）。画像圧縮アルゴリズムは、画像の（任意の／完全な）解凍を必要とせずに画像セグメンテーションプロセス（１４１）を実行できるように設計されている。得られた圧縮画像はさらに共有メモリ（１１０）に転送される（１０８）。
【0078】
カメラセンサは、マイクロコントローラまたはＦＰＧＡ制御回路に接続されたＣＭＯＳ画像センサを含み得る。ＣＭＯＳを制御するための電子機器は、代わりにチップ上に埋め込まれてもよい（ＡＳＩＣ）。カメラセンサは、このタスクのために完全に設計されてもよく、それは、それが有効ピクセル配列、ウィンドウイング機能、および低レベル追跡エンジン（１０１）を含むことを意味する。
【0079】
カメラレンズは、古典的なメインレンズを含んでもよく、または画像センサがシーンの２Ｄ画像および３Ｄ深度情報を単一のキャプチャで記録することを可能にする追加のマイクロレンズアレイで構成されてもよい（例えば、ｈｔｔｐｓ：／／ｒａｙｔｒｉｘ．ｄｅ／ｔｅｃｈｎｏｌｏｇｙ／、ｈｔｔｐｓ：／／ｗｗｗ．ｌｙｔｒｏ．ｃｏｍ）。画像センサの前に追加のマイクロレンズアレイを配置することは、センサ上に捕捉された光を修正する。各単一のマイクロレンズはセンサ上に単一の画像を作成し、その画像のサイズは各単一のマイクロレンズ（マイクロカメラとしても知られる）の後ろのピクセルのサイズに等しい。そのキャプチャされたサブ画像は、特定の画角のシーンを示す。センサ上のその画像の設置面積は、マイクロレンズのサイズに制限されている。その場合、独自のマイクロレンズからピクセルを部分的に読み出すことで、シーンの完全な２Ｄ概観図にアクセスできる。この種のレンズは、低レベル追跡エンジンがウィンドウイングアルゴリズムを微調整するのを助けるために、追跡システム上、１つまたは複数のカメラ上に取り付けることができる。ウィンドウイングアルゴリズムは、その部分読み出しを使用して、より低い解像度でも完全な視野を視覚化することができる。ノイズの多い視野は、事前定義された限られた読み出し時間で簡単に識別できる。
【0080】
そのような明視野（別名プレノプティック）カメラは、とりわけ、撮影後の被写界深度の再焦点合わせを可能にする。ウィンドウイングアルゴリズムは、一意の単一のキャプチャからキャプチャされた各部分データについてシーンの焦点をその場で再構成することができる。ブロブの光学的ジッタまたはそのサイズ、その相対距離、または見られる３Ｄマーカの画角などの異なる基準を考慮することができる。
【0081】
そのレンズは、ＩＲ限定、または可視スペクトル範囲の画像センサに取り付けてもよい。３Ｄ深度情報を分析せずに処理できるのは、２Ｄ画像の部分データまたは完全データのみである。限られた解像度でも、３Ｄ深度情報は部分的に再構築できる。
【0082】
その明視野カメラは、他のカメラと同期されているかまたは同期されていない追加のデータソース（２Ｄおよび／または３Ｄ画像）として代わりに使用されてもよい。
【0083】
他の任意の明視野技術（例えばマルチカメラアレイ）を代わりに使用してもよい。
【0084】
Ｉ．メモリ
メモリ（１１０）は、カメラセンサモジュール（１００）から来る圧縮部分画像を保存する。処理が埋め込まれている場合、メインプロセッサはさらなる処理のためにこれらの部分画像に（内部バスを介して）アクセスする。処理が外部のＰＣで行われる場合、部分画像データは通信チャネルによってＰＣに転送される（３２）。この通信チャネルは、有線（例えば、ＵＳＢ、イーサネット（登録商標）など）または無線（例えば、Ｌｉ－Ｆｉ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）であり得る。
メモリ（１１０）は、カメラセンサモジュール（１００）から来る圧縮部分画像を保存する。処理が埋め込まれている場合、メインプロセッサはさらなる処理のためにこれらの部分画像に（内部バスを介して）アクセスする。処理が外部のＰＣで行われる場合、部分画像データは通信チャネルによってＰＣに転送される（３２）。この通信チャネルは、有線（例えば、ＵＳＢ、イーサネット（登録商標）など）または無線（例えば、Ｌｉ－Ｆｉ、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）など）であり得る。
【0085】
リアルタイムのデータフローを保存するには高速メモリが必要である。例えば典型的にはＲＡＭ（例えばＤＤＲ２、ＤＤＲ３）が使用される。
【0086】
Ｊ．エンドユーザアプリケーション
一般的なエンドユーザアプリケーションは、画像誘導手術、コンピュータ支援手術、またはロボット支援手術専用である。
一般的なエンドユーザアプリケーションは、画像誘導手術、コンピュータ支援手術、またはロボット支援手術専用である。
【0087】
モーションキャプチャまたはリハビリテーションのための代替用途は、提案された発明から利益を得ることができる。
【0088】
品質管理およびリバースエンジニアリングの分野における代替の産業用途もまた想定され得る。
【0089】
他の一般的な計測用途も本発明から利益を得ることができる。
【0090】
Ｋ．圧縮部分画像処理
圧縮部分画像処理（１４０）の目的は、最小限のＣＰＵ資源を用いて可能な限り高速に生の圧縮部分画像からマーカ（１４６）の姿勢推定を計算することである。全体的なプロセスは文献でよく知られており、例えば以下の論文に見出すことができる。Ｔｏｍａｓ Ｐｉｎｔａｒｉｃ、２００７の「仮想現実および拡張現実のための手ごろな価格の赤外線光学姿勢追跡」は、参照により本出願に組み込まれる。提案されたアプローチの独創性は、画像データを予備的に解凍することを必要とせずに処理を実行することである。データの転送と処理に必要な帯域幅が少なくて済むため、更新速度が向上し、全体的な待ち時間が短縮される。
圧縮部分画像処理（１４０）の目的は、最小限のＣＰＵ資源を用いて可能な限り高速に生の圧縮部分画像からマーカ（１４６）の姿勢推定を計算することである。全体的なプロセスは文献でよく知られており、例えば以下の論文に見出すことができる。Ｔｏｍａｓ Ｐｉｎｔａｒｉｃ、２００７の「仮想現実および拡張現実のための手ごろな価格の赤外線光学姿勢追跡」は、参照により本出願に組み込まれる。提案されたアプローチの独創性は、画像データを予備的に解凍することを必要とせずに処理を実行することである。データの転送と処理に必要な帯域幅が少なくて済むため、更新速度が向上し、全体的な待ち時間が短縮される。
【0091】
処理は基本的に次のように定義することができる：ブロブを見つけるために圧縮部分画像が最初にセグメント化される（１４１）。ブロブは通常、基準の画像である（ただし、代替的にノイズの場合もある）。そのような圧縮アルゴリズムの例は、本明細書において後述される。次に、各候補ブロブの重心（１４２）が標準的な画像処理技術を使用して計算される。ブロブは、それらがどの基準／マーカからのものであるかを決定するためにさらに識別される（１４３）。カメラセンサのジオメトリ（内因性および外因性パラメータ）（１００）が分かっているので、三角測量（１４４）によって各基準の３Ｄ位置を見つけることが可能である。システムはさらに、これらの再構成された３Ｄポイント内でマーカのジオメトリを見つけようと試みる（１４５）。最後に、マーカの姿勢（配向および位置）および／または個々の基準の３Ｄ位置が計算され（１４６）、さらにエンドユーザアプリケーション（１３０）に転送される（１２７）。
【0092】
この処理は、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＳｏＣ（システムオンチップ）、マイクロコントローラ、ＣＰＵ、ＤＳＰなどの埋め込みプロセッサ内で、または専用のＡＳＩＣチップ内で直接行われる。
【0093】
キャプチャされた部分画像データをメモリに移動すると、プラットフォームが提供する複数の最適化を活用できる。典型的な最適化は、メモリに移動されたデータの部分的な各セットに対して割り込み信号をトリガすることである。一組のデータは、単一のブロブを再構成するためのピクセルの集合体であり得る。
【0094】
処理ユニットは、分離されたハードウェアＦＰＧＡ回路（事前定義された動作で構成された）を有するＳｏＣ ＦＰＧＡ、および画像ブロブ解析などのソフトウェアアルゴリズムを実行するＡＲＭベースのＨＰＳなどのハードウェアプロセッサであり得る。その部分データが処理されてメモリにプッシュされる準備ができるとすぐに、ＦＰＧＡユニットは信号をトリガする。ハードウェア／ソフトウェアプロセッサは、他のブロブ位置を含む他のデータセットを待つ前にそのソフトウェア計算を開始することができる。全体的なプロセスを並列化することもできる。
【0095】
Ｌ．発明の主要要素と下位要素の結合
典型的な光学追跡セットアップでは、光学追跡システム（１０）の各カメラ（１１）は視野内にある基準を感知している。カメラセンサ（通常はＣＭＯＳ）は、画像内の新しい基準の位置を検出すると共に以前に検出された基準を追跡する低レベル追跡エンジン（１０１）に接続されている。この動作は、基準が位置すると予想される画像内のいくつかのウィンドウの位置を推定することによって実現される。以下の説明で詳述される章「カメラセンサ画像内のマーカ追跡のためのヒューリスティックの例」は、そのようなアルゴリズムの可能な実施を提示する。部分画像はセンサ（１０６）から読み出され、さらに画像圧縮モジュール（１０７）に転送され、それは画像のメモリ占有面積ト（サイズ）を縮小する。この圧縮はまた、部分的／完全な解凍を必要とせずに画像を後で処理することを可能にする（１４０）。以下の章：「圧縮部分画像内の基準重心を検索するためのアルゴリズムの例」は、そのようなアルゴリズムの可能な実施を提示する。圧縮部分画像はさらにメインメモリ（１１０）に転送される。処理モジュールは、埋め込み処理（１３）の場合には内部信号システムによって、または外部のＰＣ（３０）で処理が実現される場合には送信手段（ＵＳＢ、イーサネット（登録商標）、Ｗｉ－Ｆｉなど）によって新しいデータが利用可能であることを知らされる。圧縮データ処理ユニット（１４０）は、まず、データを解凍することなく、圧縮画像を入力として直接使用して、ピクセル（１４１）の強度に応じて画像をセグメント化し、セグメント化画像からブロブ（１４２）を検出し、それらの重心を定義し、左右の対応関係を見つけ（１４３）、三角測量によってそれらの３Ｄ位置を決定する（１４４）。基準点がマーカに固定されている場合、３Ｄポイントクラウドとマーカのジオメトリとの間の対応はさらに実行される（２０、２１）。このステップはジオメトリマッチング（１４５）と呼ばれる。姿勢データが計算され（１４６）、さらにエンドユーザアプリケーション（１３０）に転送される（１２７）。エンドユーザアプリケーションは、インターフェースにしたがって測定値をフォーマットする。例えば、患者（４０）に対する生検針の軌跡、デジタイザ（２０）の位置などを外科医に知らせる。
典型的な光学追跡セットアップでは、光学追跡システム（１０）の各カメラ（１１）は視野内にある基準を感知している。カメラセンサ（通常はＣＭＯＳ）は、画像内の新しい基準の位置を検出すると共に以前に検出された基準を追跡する低レベル追跡エンジン（１０１）に接続されている。この動作は、基準が位置すると予想される画像内のいくつかのウィンドウの位置を推定することによって実現される。以下の説明で詳述される章「カメラセンサ画像内のマーカ追跡のためのヒューリスティックの例」は、そのようなアルゴリズムの可能な実施を提示する。部分画像はセンサ（１０６）から読み出され、さらに画像圧縮モジュール（１０７）に転送され、それは画像のメモリ占有面積ト（サイズ）を縮小する。この圧縮はまた、部分的／完全な解凍を必要とせずに画像を後で処理することを可能にする（１４０）。以下の章：「圧縮部分画像内の基準重心を検索するためのアルゴリズムの例」は、そのようなアルゴリズムの可能な実施を提示する。圧縮部分画像はさらにメインメモリ（１１０）に転送される。処理モジュールは、埋め込み処理（１３）の場合には内部信号システムによって、または外部のＰＣ（３０）で処理が実現される場合には送信手段（ＵＳＢ、イーサネット（登録商標）、Ｗｉ－Ｆｉなど）によって新しいデータが利用可能であることを知らされる。圧縮データ処理ユニット（１４０）は、まず、データを解凍することなく、圧縮画像を入力として直接使用して、ピクセル（１４１）の強度に応じて画像をセグメント化し、セグメント化画像からブロブ（１４２）を検出し、それらの重心を定義し、左右の対応関係を見つけ（１４３）、三角測量によってそれらの３Ｄ位置を決定する（１４４）。基準点がマーカに固定されている場合、３Ｄポイントクラウドとマーカのジオメトリとの間の対応はさらに実行される（２０、２１）。このステップはジオメトリマッチング（１４５）と呼ばれる。姿勢データが計算され（１４６）、さらにエンドユーザアプリケーション（１３０）に転送される（１２７）。エンドユーザアプリケーションは、インターフェースにしたがって測定値をフォーマットする。例えば、患者（４０）に対する生検針の軌跡、デジタイザ（２０）の位置などを外科医に知らせる。
【0096】
Ｍ．発明の代替実施形態
本発明がウィンドウイング機構のみを含む場合、それは読み出し時間を短縮することを可能にする。それは、全体的な待ち時間減らし、および／または更新速度を上げる結果を有する。後で説明するように、ウィンドウイングのない一般的な構成は、画像を転送するための通信時間のために３２Ｈｚで動作する。いくつかの実験的セットアップから、ウィンドウイング機構を追加すると、基準構成に応じてフレームレートが３０％から１００％（４１．６Ｈｚから６４Ｈｚ）の間で増加する。
本発明がウィンドウイング機構のみを含む場合、それは読み出し時間を短縮することを可能にする。それは、全体的な待ち時間減らし、および／または更新速度を上げる結果を有する。後で説明するように、ウィンドウイングのない一般的な構成は、画像を転送するための通信時間のために３２Ｈｚで動作する。いくつかの実験的セットアップから、ウィンドウイング機構を追加すると、基準構成に応じてフレームレートが３０％から１００％（４１．６Ｈｚから６４Ｈｚ）の間で増加する。
【0097】
本発明が圧縮機構のみを含む場合、それは、圧縮なしの３２Ｈｚと比較して、より高いフレームレート（典型的には、Ａｔｒａｃｓｙｓ ｆｕｓｉｏｎＴｒａｃｋ（商標）システムで４ｍｓの待ち時間で３３５Ｈｚ）で画像を転送することを可能にする。高フレームレートにより、ロボットシステムの制御ループに光学追跡を統合するなど、新しいタイプのアプリケーションが可能になる。
【0098】
ウィンドウイングと圧縮機構（オーバードライブモードとも呼ばれる）を組み合わせることで、ミッドレンジのコンポーネントと従来の追跡システムのわずかなハードウェアの変更だけで、ハイエンドシステム（通常、Ａｔｒａｃｓｙｓ ｆｕｓｉｏｎＴｒａｃｋ（商標）では３ｍｓの待ち時間で１０００Ｈｚ）の性能を得ることができる。これにより、ハードウェア全体のコストを削減できる。
【0099】
本発明の一実施形態では、オーバードライブモードを使用して、従来の単眼またはステレオビデオカメラに追跡機能を追加することができる。従来は、一つの平均グレースケールまたはカラーカメラが、フル画像を取得し、可視および／または近赤外スペクトルで作動する。これらのカメラは、レンズの周囲に照明リングがあってもなくてもよい。この実施形態では、追跡画像は標準カメラ画像間にインターリーブされる。単一カメラ構成では、Ｄｅｍｅｎｔｈｏｎ、１９９５の「２５行のコードでモデルベースのオブジェクト姿勢」ようなアルゴリズムを使用して、追跡するオブジェクト／被験物上に位置する４つ以上の基準に基づいて、オブジェクトの姿勢を推定できる。オーバードライブモードを使用することによって、追跡はカメラ電子機器におけるより少ない処理および低い伝送帯域幅を必要とするであろう。そのように、このハイブリッド追跡／従来カメラの全体のフレームレートは、従来のものとほぼ同じフレームレートとなる。他方で、二重追跡と通常の取得が従来のカメラに統合されている場合、（追跡画像全体を圧縮せずに転送する必要があるので）グローバル更新速度は２倍遅くなる。
【0100】
前述の実施形態の適用例は、単一の（あるいはステレオの）カメラによる頭の追跡である。ユーザは複数の基準を取り付けた眼鏡をかけている。オーバードライブモードを有するカメラは、速い更新速度／低い待ち時間で頭の動き（それぞれ目の位置）を追跡することを可能にする。ハイブリッドカメラを使用して同時に画像を追跡し取得することができる。ハイブリッド取得は、眼鏡の追跡とビデオ取得（例えばビデオ会議）とを同時に動作させるために使用され得る。目の位置の推定は、自動立体３Ｄスクリーンを駆動するために使用され得る。
【0101】
同様のハイブリッド手法を使用して、頭の上（例えば眼鏡、帽子など）に位置する１つまたは複数の基準を用いてユーザの頭を追跡し、同時に従来の画像に画像処理を使用して目、鼻、口などの他の特徴を検出することができる。これらの新たに検出された特徴は、追跡の初期姿勢推定を改良することを可能にする。あるいは、基準の追跡は、画像内の特徴検出をブートストラップすること、および／またはそれをより速くすることを可能にする。
【0102】
本発明の一実施形態では、反射基準を照らすためのリングを有する代わりに、カメラがフォトンを検出しているときにのみＬＥＤがアクティブになるように、アクティブＬＥＤをカメラの取得と無線で同期（光学的同期、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｌｉ－Ｆｉなど）することができる。このメカニズムにより、既存のカメラハードウェアを使用するだけで、前述のハイブリッドカメラ（追跡／画像取得）を実現できる。そのようなカメラは、ウェブカム、工業用カメラ、防犯カメラなどであり得る。
【0103】
本発明の一実施形態では、ハイブリッドカメラはセキュリティ用途に使用される。追跡は、（１つ以上の基準を備えた）オブジェクトが動いたかどうかをチェックするため、または視野内の特定のパラメータ（例えば、床、ドア、制限区域などの位置）を推定するために行われる。
【0104】
本発明の一実施形態では、前述のアクティブ／パッシブ基準を追跡するのではなく、システムは、ウィンドウイング機構を使用して部分画像上で高フレームレートでＳＩＦＴ（スケール不変特徴変換）特徴を抽出し追跡する。ハイブリッドモードは、部分画像とインターリーブされた完全な画像を取得することを可能にするだろう。両方のレートは独立して（同期的または非同期的に）構成することができる。他の任意の画像特徴（例えば、輪郭／エッジ記述子、カラー／テクスチャ記述子など）も代わりに使用することができる。
【0105】
本発明の一実施形態では、基準を追跡する代わりに、システムは高速汎用１Ｄ信号を捕捉していてもよい（例えば、分光法）。１Ｄセンサの代わりに、（本発明において提示されるように）２Ｄセンサを使用することで、処理を並列化すること（例えば、２Ｄセンサ上に複数の１Ｄ信号を有すること）および／または１Ｄセンサでは不可能な画像センサ上の信号の完全な整列を修正することができて、興味深い。オーバードライブ機構により、全体的な更新速度（データ速度）を上げ、待ち時間を減らすことができる。
【0106】
本発明の一実施形態では、ウィンドウイングヒューリスティックは、慣性測定ユニット（ＩＭＵ）のような外部センサによって提供された情報を入力することができる。ＩＭＵは、より高いフレームレートで、またはインターリーブデータ取得で機能することができる。このように、ウィンドウイング検索を狭めるために、カメラ参照フレーム内の基準の位置を外挿することが可能である。そのようなアプローチは、検索ゾーン（ウィンドウ）を減らし、検出ヒューリスティックをより頑強にし、そしてより高いフレームレート／より短い待ち時間を可能にするであろう。
【0107】
本発明の一実施形態では、説明した光学追跡システムは医療用ロボット用途に使用することができる。基準点（それぞれマーカ）はロボット上（例えばそのエンドエフェクタ上）および患者上に配置されるであろう。ロボット制御は、処置中の患者の動きをリアルタイムで補償するために、例えば、高速低遅延光学追跡システムからのデータを含むであろう。
【0108】
本発明の一実施形態では、説明した光学追跡システムはインテリジェントツールロボット用途に使用することができる。この構成は、外科医がロボットを握ることを除いて、前のものと非常に似ている。以前の利点に加えて、このセットアップにより、待ち時間が短縮され更新速度が向上するので、外科医はより速く（そしてより自然に）動くことができる。
【0109】
本明細書で説明および図示されたものは、その変形のいくつかと共に本発明の好ましい実施形態である。本明細書で使用される用語、説明、および図は、例示としてのみ記載されており、限定を意味するものではない。当業者は、本発明の精神および範囲内で多くの変形が可能であることを理解するであろう。ここで全ての用語は、他に示されない限り、それらの最も広い、合理的な意味で意味される。説明の中で利用されている見出しは、便宜上のものであり、法的または制限的な効果を有しない。
【0110】
例示的な実施形態は、本明細書に開示されるシステムおよび方法の構造、機能、製造、および使用の原理の全体的な理解を提供するために説明されてきた。これらの実施形態の１つ以上の例が添付の図面に示されている。当業者であれば、本明細書で具体的に説明し添付の図面に示したシステムおよび方法は非限定的な例示的実施形態であり、本発明の範囲は特許請求の範囲によってのみ定義されるのではないことを理解されよう。１つの例示的な実施形態に関連して図示または説明されている特徴は、他の実施形態の特徴と組み合わせることができる。そのような修正形態および変形形態は、本発明の範囲内に含まれることが意図されている。従来の方法およびシステムに関するいくつかの問題が本明細書に記載されており、本明細書に開示されている方法およびシステムは、これらの問題のうちの１つまたは複数に対処することができる。これらの問題を説明することによって、当分野におけるそれらの知識に関する承認は意図されていない。当業者であれば本発明の範囲はそのように限定されないことを理解するであろう。さらに、本発明をいくつかの実施形態と併せて説明してきたが、多くの代替形態、修正形態、および変形形態が、当業者には明らかであろう、または明らかであることは明示的である。したがって、本発明の範囲内にあるそのような全ての代替物、修正物、等価物および変形物を包含することが意図されている。
【0111】
附属書１：カメラセンサ画像におけるマーカ追跡のためのヒューリスティックの例
外科手術用途におけるロボット工学の使用は増加している。これらの新しい用途は、設計上、コンピュータ支援手術システムの従来の用途よりも待ち時間の制約が大きい。実際、ロボットが時間どおりに外部のイベントに反応するには、より短い待ち時間が必要である。これは、人命が危険にさらされている外科手術用途において特に重要である。Ａｔｒａｃｓｙｓ社のハイエンド追跡ソリューションはｆｕｓｉｏｎＴｒａｃｋ（商標）と呼ばれている。３３０Ｈｚ以上で立体画像をストリーミングおよび処理することができる。そのフレームレートはかなり高いが、顧客は４ミリ秒の平均待ち時間がそれらのリアルタイムの要求を満たさないと指摘した。これを３ミリ秒に減らすために、次のようにする。
外科手術用途におけるロボット工学の使用は増加している。これらの新しい用途は、設計上、コンピュータ支援手術システムの従来の用途よりも待ち時間の制約が大きい。実際、ロボットが時間どおりに外部のイベントに反応するには、より短い待ち時間が必要である。これは、人命が危険にさらされている外科手術用途において特に重要である。Ａｔｒａｃｓｙｓ社のハイエンド追跡ソリューションはｆｕｓｉｏｎＴｒａｃｋ（商標）と呼ばれている。３３０Ｈｚ以上で立体画像をストリーミングおよび処理することができる。そのフレームレートはかなり高いが、顧客は４ミリ秒の平均待ち時間がそれらのリアルタイムの要求を満たさないと指摘した。これを３ミリ秒に減らすために、次のようにする。
【0112】
１．ｆｕｓｉｏｎＴｒａｃｋ（商標）の待ち時間への寄与を大まかに分解し、障害がＣＭＯＳセンサの読み出しであることを示す（セクション１）。
２．ヒューリスティックウィンドウイング予測装置を考案し、より高いフレームレートでブロブを追跡する（セクション２）。
２．ヒューリスティックウィンドウイング予測装置を考案し、より高いフレームレートでブロブを追跡する（セクション２）。
【0113】
Ａ１． ｆｕｓｉｏｎＴｒａｃｋ（商標）の待ち時間内訳
我々は、画像の露光および、処理後、ユーザアプリケーションに配信の間の経過時間として、立体追跡システムの待ち時間を定義する。ｆｕｓｉｏｎＴｒａｃｋ（商標）では、この時間は、露光時間、読み出し時間、圧縮時間、メモリアクセス時間、伝送時間、および処理時間に大別することができる。これらの寄与物の中には、パイプライン化されているものもある。例えば、画像はセンサから読み出されるときにハードウェアによって圧縮され、メモリに保存される。ただし、センサの読み出し、送信、および処理時間は設定する必要がある。
我々は、画像の露光および、処理後、ユーザアプリケーションに配信の間の経過時間として、立体追跡システムの待ち時間を定義する。ｆｕｓｉｏｎＴｒａｃｋ（商標）では、この時間は、露光時間、読み出し時間、圧縮時間、メモリアクセス時間、伝送時間、および処理時間に大別することができる。これらの寄与物の中には、パイプライン化されているものもある。例えば、画像はセンサから読み出されるときにハードウェアによって圧縮され、メモリに保存される。ただし、センサの読み出し、送信、および処理時間は設定する必要がある。
【0114】
ｆｕｓｉｏｎＴｒａｃｋ（商標）で使用されているＣＭＯＳセンサであるＣＭＯＳＩＳ ＣＭＶ２０００は、２０４８×１０８８×１０ビットのフレームを読み取るために１６個の読み出しチャンネルを提供することによって、読み出しコストの償却をすでに試みている。より正確には、１０ビットピクセルが各チャンネルから１２８の隣接列のバッチで順次バーストアウトされる。図８はこの読み出しプロセスの概要を示している。
【0115】
読み出しクロックは２４０ＭＨｚのＤＤＲクロックであるため、単一ピクセルを読み出すための時間は次のようになる。
１０ビット／ピクセル×２．０８３ｎｓ／ビット＝２０．８ｎｓ
１０ビット／ピクセル×２．０８３ｎｓ／ビット＝２０．８ｎｓ
【0116】
したがって、全行を読む時間は全行で
１０ビット／ピクセル×１２８ピクセル／バースト×２．０８３ｎｓ／ビット＝２．７μｓ
１０ビット／ピクセル×１２８ピクセル／バースト×２．０８３ｎｓ／ビット＝２．７μｓ
【0117】
全フレームを読み取るための合計時間は次のとおりである。
１０８８行／フレーム×（２０．８３＋２６６７）ｎｓ／行＝２．９ｍｓ
１０８８行／フレーム×（２０．８３＋２６６７）ｎｓ／行＝２．９ｍｓ
【0118】
結論として、読み出し時間は４ｍｓの待ち時間のおよそ７５％を占める。Ａｍｄａｈｌの法則では、３ミリ秒の待ち時間の目標を達成するため、それを完全に全滅させる必要があるため、残りの貢献を分析する必要はない。
【0119】
Ａ２．それらすべてを統制する高さ行
ＣＭＯＳＩＳ ＣＭＶ２０００は、行ウィンドウイング機能を備えている。より正確には、全画像の代わりに８範囲の連続する行をセンサから読み出すことができる。我々の考えは、現在のフレームに基づいて次のフレームの関心のある行ウィンドウ、すなわち追跡されたブロブを含む行ウィンドウを予測することによって読み出されるフレームのセクションを制限することである。この作業は、以下の前提に基づいている。
ＣＭＯＳＩＳ ＣＭＶ２０００は、行ウィンドウイング機能を備えている。より正確には、全画像の代わりに８範囲の連続する行をセンサから読み出すことができる。我々の考えは、現在のフレームに基づいて次のフレームの関心のある行ウィンドウ、すなわち追跡されたブロブを含む行ウィンドウを予測することによって読み出されるフレームのセクションを制限することである。この作業は、以下の前提に基づいている。
【0120】
１．フレームのｎ分の１を読み取ると、読み出し時間が概ねｎで割られるが、これは以下のことを意味する。
ａ．書き込みの時間、およびセンサが新しい行ウィンドウイング構成を採用するのにかかる時間は無視できる。
ｂ．次のフレーム行ウィンドウイングは、現在のフレームの読み出し中に計算することができる。
ａ．書き込みの時間、およびセンサが新しい行ウィンドウイング構成を採用するのにかかる時間は無視できる。
ｂ．次のフレーム行ウィンドウイングは、現在のフレームの読み出し中に計算することができる。
【0121】
これらの各仮定については、次のセクションで説明する。
【0122】
Ａ２．１． 構成オーバーヘッド
行ウィンドウイング構成は、ＳＰＩを介してプログラムされたセンサのレジスタに保存される。ＳＰＩクロックは４８ＭＨｚの周波数を持ち、最大３４個の８ビットレジスタをプログラムする必要がある（２個は読み出される全体の１６ビットライン数を指定し、１ウィンドウあたり４個）。８ビットレジスタの書き込みには１６ビットの書き込みが必要である（１ Ｒ／Ｗビット、７アドレスビット、８データビット）。複数のＳＰＩ書き込みがバーストする可能性があるため、行ウィンドウイング構成を更新する時間は次のように見積もることができる。
３４レジスタ×１６ビット／レジスタ×２０．８３３ｎｓ／ビット＝１１．３μｓ
行ウィンドウイング構成は、ＳＰＩを介してプログラムされたセンサのレジスタに保存される。ＳＰＩクロックは４８ＭＨｚの周波数を持ち、最大３４個の８ビットレジスタをプログラムする必要がある（２個は読み出される全体の１６ビットライン数を指定し、１ウィンドウあたり４個）。８ビットレジスタの書き込みには１６ビットの書き込みが必要である（１ Ｒ／Ｗビット、７アドレスビット、８データビット）。複数のＳＰＩ書き込みがバーストする可能性があるため、行ウィンドウイング構成を更新する時間は次のように見積もることができる。
３４レジスタ×１６ビット／レジスタ×２０．８３３ｎｓ／ビット＝１１．３μｓ
【0123】
現在の読み出し時間より２７０倍以上小さいので、これは仮定１ａを有効にするように見える。
【0124】
Ａ２．２． 光学追跡のための行ウィンドウイングヒューリスティック
このセクションでは、行ウィンドウの光学追跡のためのヒューリスティックを考案する。プログラム可能なハードウェアで実装されるため、ヒューリスティックは実装コストを制限するのに十分単純でなければならない。
このセクションでは、行ウィンドウの光学追跡のためのヒューリスティックを考案する。プログラム可能なハードウェアで実装されるため、ヒューリスティックは実装コストを制限するのに十分単純でなければならない。
【0125】
出発点として、単純化したアプローチは、フレームを８つの行ウィンドウに均等に分割し、フレームｉの内容に基づいてフレームｉ＋１でそれらをアクティブにすることである。言い換えれば、８つの均等に分割された行ウィンドウのそれぞれについて、フレームｉ上の１つが追跡されたブロブを含む場合、フレームｉ＋１上でそれをアクティブにする。このアプローチは機能するが、欠点が多数ある。その第１の点は、追跡されたブロブが、一様な行ウィンドウの高さと比較して小さい場合、効果がないことである。この問題を解決するために、フレームｉの所与の行ウィンドウの内容を調べ、フレームｉ＋１の内容に固定されるように境界を更新する。これによりヒューリスティックのパフォーマンスが向上するが、動いているブロブがすぐに失われるため、信頼性が大幅に低下する。したがって、境界クランプは、与えられた行ウィンドウの内容の上と下に安全地帯を割り当てるように実行する必要がある。この安全地帯の高さの決定はユーザの用途に依存する。より正確には、それはブロブの速度とセンサの光学的ジッタに依存する。
【0126】
最後に、別の課題は、予測装置が、フレーム全体にアクセスできないため、追跡されていないブロブがフレームの非表示領域に表示される可能性がある。第１の解決策は、この問題を無視し、実験中に新しいブロブが導入されないようにすることである。このシナリオでは、すべてのブロブが追跡されるまで初期化フェーズでのみオーバーヘッド待ち時間が発生する。しかしながら、それがその速度のためであるか、それが作業ボリュームから出たためであるかにかかわらず、ブロブの喪失という望ましくない事象において、これはユーザを初期化段階に戻すことを強いるであろう。結論として、目に見えないブロブの問題を解決するかどうかの選択はユーザに任されるべきである。したがって、２つのアプローチを検討した。
１．所定の間隔で、フルフレームをキャプチャできる。または、
２．スライディング行ウィンドウは連続的にフレームをスキャンすることができる。
１．所定の間隔で、フルフレームをキャプチャできる。または、
２．スライディング行ウィンドウは連続的にフレームをスキャンすることができる。
【0127】
第１のアプローチは読み出し期間中にスパイクを発生させる。つまり、フレームの間、システムは元の４ミリ秒の待ち時間にロールバックする可能性がある。ロボット制御装置にとって関心のある事象と一致すると、これが不適合なフィードバック待ち時間をもたらすことになるので、これは許容できない。したがって、我々は我々の研究を第２のアプローチに限定した。
【0128】
最後に、これは仮定１ｂを潜在的に検証するが、我々はこのアプローチが実際に機能することを示す必要があり、フレームの読み出しと上で詳述した予測を並列化する設計を思いつく必要がある。
【0129】
Ａ２．３．結果
セクションＡ２．２で説明した行ウィンドウイングヒューリスティックの影響を評価するために、シミュレータを実装した。フレームｉの内容に基づいて、フレームｉ＋１の行ウィンドウイング構成を予測しようとする。定性的な評価のために、それはリアルタイムで行ウィンドウと追跡されたブロブをグラフィカルに表示し、さらに注意が必要なイベントのスクリーンショットを保存する（読み出し率の変化、すなわち読み出されるフレームの部分、または見えないブロブ）。最後に、読み出し率曲線、ヒストグラム、および失われたブロブを示す自動ＨＴＭＬレポートを出力する。図９はシミュレータのスクリーンショットを示している。つまり、白いディスクが追跡されたブロブで、赤い／クリアの領域または線が行ウィンドウで、黒い／暗い領域がフレームの見えない部分である、実行中のシミュレータである。図１０は、生成されたレポートの例を示している。
セクションＡ２．２で説明した行ウィンドウイングヒューリスティックの影響を評価するために、シミュレータを実装した。フレームｉの内容に基づいて、フレームｉ＋１の行ウィンドウイング構成を予測しようとする。定性的な評価のために、それはリアルタイムで行ウィンドウと追跡されたブロブをグラフィカルに表示し、さらに注意が必要なイベントのスクリーンショットを保存する（読み出し率の変化、すなわち読み出されるフレームの部分、または見えないブロブ）。最後に、読み出し率曲線、ヒストグラム、および失われたブロブを示す自動ＨＴＭＬレポートを出力する。図９はシミュレータのスクリーンショットを示している。つまり、白いディスクが追跡されたブロブで、赤い／クリアの領域または線が行ウィンドウで、黒い／暗い領域がフレームの見えない部分である、実行中のシミュレータである。図１０は、生成されたレポートの例を示している。
【0130】
結論として、我々は、環境が制御されているならば、行ウィンドウ光学追跡のための我々のヒューリスティックが価値があることを示した。環境リスクを克服するために、行ウィンドウイング予測装置に加えて読み出し時間モニタ機構を取得パイプラインに追加する必要がある。これにより、エンドユーザは、アプリケーション固有の時間的制約に応じて、期限切れのデータの決定に基づいているかどうかを検出できる。
【0131】
図１０は、シミュレータのＨＴＭＬ出力を示している。一番上のグラフは、キャプチャ中の読み出し率の曲線を示している。ユーザは自分のマウスを使ってスクリーンショットを見るためにイベントを問い合わせることができる。下のグラフは、読み出し率の分布を評価するためのヒストグラムである。
【0132】
附属書２：圧縮部分画像中の基準重心を検索するためのアルゴリズムの例
（図１に示されるような）委任処理では、画像データは完全にコンピュータ上で処理される。これは、ムーアの法則に準拠しているため、最新のプロセッサでは制限されない。唯一の欠点は、追跡システムからコンピュータへのデータの送信である。ギガビットイーサネット（登録商標）接続（現在はどのＰＣでも利用可能である）と、８ビットのピクセル深度を有する２台のフルＨＤグレースケールカメラで構成されるシステムを検討すると、理論上の最大更新速度は次のようになる。
１０２４＾３／（８＊２＊１９２０＊１０８０）＝３２Ｈｚ
（図１に示されるような）委任処理では、画像データは完全にコンピュータ上で処理される。これは、ムーアの法則に準拠しているため、最新のプロセッサでは制限されない。唯一の欠点は、追跡システムからコンピュータへのデータの送信である。ギガビットイーサネット（登録商標）接続（現在はどのＰＣでも利用可能である）と、８ビットのピクセル深度を有する２台のフルＨＤグレースケールカメラで構成されるシステムを検討すると、理論上の最大更新速度は次のようになる。
１０２４＾３／（８＊２＊１９２０＊１０８０）＝３２Ｈｚ
【0133】
更新速度を向上させるための良い方法は、追跡システムで画像を圧縮し、コンピュータでそれらを解凍することである。残念ながら、このアプローチでは、画像をさらに処理する前にまず解凍する必要があるため、コンピュータ上ではるかに多くのデータ処理手段が必要になる。
【0134】
現代の光学追跡は正確さとスピードを要求する。高解像度のカメラを使用することで精度が達成され、実際の動きとそれに対応するアプリケーションでの測定との間の待ち時間を短縮するには速い更新速度が必要である。
【0135】
一例として、光学追跡によって駆動されるロボットシステムの速度は、追跡システムの更新速度および待ち時間に直接関係している。
【0136】
我々は、解凍を必要とせずに処理ユニット（例えばＰＣ）によって直接使用されることができる圧縮表現を提供することによって、コンピュータ上の解凍オーバーヘッドの欠点を解決することを提案する。
・このアプローチの第１の利点は、更新速度が圧縮効率によって制限されることである（伝送が処理チェーン内の最も弱いリンクであるため）。
・本発明の別の利点は、圧縮画像をプロセッサのキャッシュにより効率的に格納することができるので、それはより高速に処理されることである。
・このアプローチの第１の利点は、更新速度が圧縮効率によって制限されることである（伝送が処理チェーン内の最も弱いリンクであるため）。
・本発明の別の利点は、圧縮画像をプロセッサのキャッシュにより効率的に格納することができるので、それはより高速に処理されることである。
【0137】
実際には、我々が開発した我々の圧縮を使うと、我々は典型的な構成でファクター１０で改善された最大更新速度を得る（図Ａ１．２参照）。この圧縮アルゴリズムはフル８ビット画像を圧縮することだけができる。それは以下の通りである。
【0138】
圧縮アルゴリズムは以下の出力を生成する。
・出力データは８ビットで構成され、ＭＳＢは白と黒のピクセルを区別する。
○１は７つのＬＳＢが元のピクセル強度を２で割ったものであることを意味する。
○７つのＬＳＢが連続する黒ピクセルの数であることを意味する。以下の例外がある。
・０ｘ８０は１２８個の連続した黒の値を意味する。
・２バイトでエンコードされた値が続く０ｘ００（リトルエンディアン、すなわちＬＳＢが最初）は、いくつかの完全に黒い線を示す。この０ｘ００バイトのアドレスは１６の倍数でなければならない。
・他の０ｘ００は無視される（これは、１６バイトの倍数を書き込まなければならないＦＰＧＡで使用されるノーオペレーション文字である）。
・出力データは８ビットで構成され、ＭＳＢは白と黒のピクセルを区別する。
○１は７つのＬＳＢが元のピクセル強度を２で割ったものであることを意味する。
○７つのＬＳＢが連続する黒ピクセルの数であることを意味する。以下の例外がある。
・０ｘ８０は１２８個の連続した黒の値を意味する。
・２バイトでエンコードされた値が続く０ｘ００（リトルエンディアン、すなわちＬＳＢが最初）は、いくつかの完全に黒い線を示す。この０ｘ００バイトのアドレスは１６の倍数でなければならない。
・他の０ｘ００は無視される（これは、１６バイトの倍数を書き込まなければならないＦＰＧＡで使用されるノーオペレーション文字である）。
【0139】
そのような圧縮の利点は、（解凍を必要とせずに）圧縮画像内でブロブの（ｘ、ｙ）位置を直接取得することが容易であることである。
【0140】
この表現は、ラインスキャンフィルアルゴリズムの適合バージョンを使用することによって圧縮画像からブロブを効率的に抽出することを可能にする。スキャンフィルアルゴリズム（ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｆｏｏｄ＿ｆｉｌｌ＃Ｓｃａｎｌｉｎｅ＿Ｆｉｌｌ）は、フラッドフィルアルゴリズムの最適化であり、潜在的な将来の各ピクセル座標をスタックにプッシュするのではなく、隣接する行（前の行と次の行）を検査、将来のパスに埋められる可能性がある隣接セグメントを見つけ、線分の座標（始点または終点）がスタックにプッシュされる。ほとんどの場合、このスキャンラインアルゴリズムは、ピクセルごとのアルゴリズムよりも少なくとも１桁速い。
【0141】
説明した構成は、非圧縮バージョンよりも１０倍以上高い３３５Ｈｚの速度で実行できる。
【符号の説明】
【0142】
要素のインデックス
１０：光学追跡システム
１１：カメラ
１２：ＩＲ ＬＥＤのリング
１３：内部ＣＰＵリソース
２０：被追跡ツール
２１：マーカ
２２：基準
３０：ＰＣシステム
３１：（タッチ）スクリーン
３２：ＰＣとの有線接続
３３：スクリーンとＰＣの接続
３４：埋め込みＣＰＵへの内部接続
４０：追跡被験物
５０：操作者
５１：ロボット
５２：ロボットのエンドエフェクタ
５３：手術用ツール
５４：インテリジェント（ロボット）ツール
６０：タブレット
６１：光学追跡システムへの無線接続
７０：該当なし
８０：該当なし
９０：該当なし
１００：カメラセンサ
１０５：メモリへのピクセル読み出し
１０６：画像圧縮装置への部分画像読み出し
１０７：画像圧縮装置
１０８：圧縮画像のメモリへの転送
１１０：メモリ
１２０：データ処理
１２１：画像セグメンテーションモジュール
１２２：ブロブ検出モジュール
１２３：ブロブ識別モジュール
１２４：三角測量モジュール
１２５：ジオメトリマッチングモジュール
１２６：姿勢計算モジュール
１２７：姿勢データのアプリケーションへの転送
１３０：エンドユーザアプリケーション
１４０：圧縮部分画像処理
１４１：部分圧縮画像を用いた画像セグメンテーションモジュール
１４２：ブロブ検出モジュール
１４３：ブロブ識別モジュール
１４４：三角測量モジュール
１４５：ジオメトリマッチングモジュール
１４６：姿勢計算モジュール
１４７：姿勢データのアプリケーションへの転送
１０：光学追跡システム
１１：カメラ
１２：ＩＲ ＬＥＤのリング
１３：内部ＣＰＵリソース
２０：被追跡ツール
２１：マーカ
２２：基準
３０：ＰＣシステム
３１：（タッチ）スクリーン
３２：ＰＣとの有線接続
３３：スクリーンとＰＣの接続
３４：埋め込みＣＰＵへの内部接続
４０：追跡被験物
５０：操作者
５１：ロボット
５２：ロボットのエンドエフェクタ
５３：手術用ツール
５４：インテリジェント（ロボット）ツール
６０：タブレット
６１：光学追跡システムへの無線接続
７０：該当なし
８０：該当なし
９０：該当なし
１００：カメラセンサ
１０５：メモリへのピクセル読み出し
１０６：画像圧縮装置への部分画像読み出し
１０７：画像圧縮装置
１０８：圧縮画像のメモリへの転送
１１０：メモリ
１２０：データ処理
１２１：画像セグメンテーションモジュール
１２２：ブロブ検出モジュール
１２３：ブロブ識別モジュール
１２４：三角測量モジュール
１２５：ジオメトリマッチングモジュール
１２６：姿勢計算モジュール
１２７：姿勢データのアプリケーションへの転送
１３０：エンドユーザアプリケーション
１４０：圧縮部分画像処理
１４１：部分圧縮画像を用いた画像セグメンテーションモジュール
１４２：ブロブ検出モジュール
１４３：ブロブ識別モジュール
１４４：三角測量モジュール
１４５：ジオメトリマッチングモジュール
１４６：姿勢計算モジュール
１４７：姿勢データのアプリケーションへの転送
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】