(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-30
(45)【発行日】2024-08-07
(54)【発明の名称】位置決めマーカー
(51)【国際特許分類】
A61B 90/00 20160101AFI20240731BHJP
A61B 34/20 20160101ALI20240731BHJP
【FI】
A61B90/00
A61B34/20
【外国語出願】
(21)【出願番号】P 2022186069
(22)【出願日】2022-11-21
(62)【分割の表示】P 2021525186の分割
【原出願日】2019-11-14
【審査請求日】2022-11-21
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】521188539
【氏名又は名称】オーグメディクス リミテッド
(74)【代理人】
【識別番号】100124039
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100207217
【氏名又は名称】樋口 智夫
(72)【発明者】
【氏名】メッシンガー、ダニエル
(72)【発明者】
【氏名】ウルフ、スタート
(72)【発明者】
【氏名】エリメレック、ニザン
【審査官】和田 将彦
(56)【参考文献】
【文献】米国特許出願公開第2017/0086941(US,A1)
【文献】米国特許出願公開第2008/0085033(US,A1)
【文献】特表2009-514571(JP,A)
【文献】米国特許出願公開第2008/0183065(US,A1)
【文献】米国特許出願公開第2012/0143050(US,A1)
【文献】米国特許出願公開第2015/0351863(US,A1)
【文献】米国特許第09928629(US,B2)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 90/00
A61B 34/20
G06T 7/73
(57)【特許請求の範囲】
【請求項1】
位置決めマーカーであって:
第1の平面に構成された平坦なシートを含むベースであって、前記平坦なシートが再帰反射面を有するベースと;
前記ベースの上に取り付けられ、そして固定され、そして複数の開口部を備えるカバーであって、前記再帰反射面が前記開口部を介して見え、前記複数の開口部が、前記カバーが前記ベースに固定されたときに、前記再帰反射面からのそれぞれの再帰反射器を前記第1の平面内に生成する、カバーと;
前記カバー内の追加の1つの開口部と;
前記カバーにより支持され、そして前記平坦なシートの下方に配置される1つの区画と;そして
前記第1の平面に平行で前記第1の平面とは別個の第2の平面に構成された追加の1つの再帰反射面を備え、前記カバーが前記ベースに固定されている場合、前記追加の1つの再帰反射面が前記追加の1つの開口部を介して見える、前記1つの区画により支持される追加の1つのシートと;
を有し、
前記第1の平面内の前記再帰反射器の配置は、前記再帰反射器の取得された画像から、前記位置決めマーカーの一意の配向の決定を許容するように構成され、
前記第1の平面上の前記再帰反射器の間隔は非対称である、
ことを特徴とする位置決めマーカー。
【請求項2】
前記ベースは前記シート内に形成された1つの開口部を有し、
前記ベースの前記追加の1つの開口部は、前記カバーにより支持される前記区画を通って伸長し、
前記カバーが前記ベースに固定されたときに、前記前記カバーにより支持される前記区画は前記ベースの前記開口部を通って突出し、前記追加の1つの再帰反射面は前記突出する区画に接触する、
ことを特徴とする請求項1に記載の位置決めマーカー。
【請求項3】
前記カバーの前記複数の開口部が直円錐台である、ことを特徴とする請求項1に記載の位置決めマーカー。
【請求項4】
前記円錐台は、第1の表面開口部および、前記第1の表面開口部よりも小さい第2の表面開口部で終端し、前記第2の表面開口部は、前記カバーが前記ベースに固定されたときに前記再帰反射面に接触し、それぞれの再帰反射器を形成する、ことを特徴とする請求項3に記載の位置決めマーカー。
【請求項5】
前記カバーの前記追加の1つの開口部が、前記カバーの前記複数の直円錐台の深さより深い深さを有する直円錐台である、ことを特徴とする請求項3に記載の位置決めマーカー。
【請求項6】
それぞれの前記再帰反射器が平坦な平面上に配置されている、ことを特徴とする請求項1に記載の位置決めマーカー。
【請求項7】
前記再帰反射面がベース平坦表面を有し、前記カバーは、前記カバーが前記ベースに固定されたときに前記ベース平坦表面と嵌合するカバー平坦表面を有し、それにより前記開口部の各区画が前記再帰反射面に接触する、ことを特徴とする請求項1に記載の位置決めマーカー。
【請求項8】
前記ベースを前記カバーに固定するために、前記カバーに固定的に接続され、そして前記ベースを前記カバーと固定接触した状態で保持するように構成されたカバー保持器を有する、ことを特徴とする請求項1に記載の位置決めマーカー。
【請求項9】
前記ベースは当該ベースの中に形成された1つの開口部を有し、前記カバーは第1の接続要素を有し、前記カバー保持器は、前記第1の接続要素と嵌合し、それにより前記カバーを前記カバー保持器および前記ベースに固定する、第2の接続要素を有し、そして前記接続要素の少なくとも1つが前記ベースの前記1つの開口部を通って突出する、ことを特徴とする請求項8に記載の位置決めマーカー。
【請求項10】
前記追加の1つのシートは前記カバー保持器の内部表面に付着する接着性再帰反射テープとして実装される、ことを特徴とする請求項8に記載の位置決めマーカー。
【請求項11】
前記再帰反射面が、再帰反射テープおよび再帰反射塗料のうちの少なくとも1つを有する、ことを特徴とする請求項1-10のいずれか一項に記載の位置決めマーカー。
【請求項12】
前記第2の平面は前記第1の平面から陥没している、ことを特徴とする請求項1-1
0のいずれか一項に記載の位置決めマーカー。
【請求項13】
位置決めマーカーであって:
第1の平面に構成された平坦なシートを含むベースであって、前記平坦なシートが再帰反射面を有
し、前記平坦なシートの中心は、前記第1の平面に直交するZ軸を定義する、ベースと;
前記ベースの上に取り付けられ、そして固定され、そして複数の開口部を備えるカバーであって、前記再帰反射面が前記開口部を介して見え、前記複数の開口部が、前記カバーが前記ベースに固定されたときに、前記再帰反射面からのそれぞれの再帰反射器を前記第1の平面内に生成する、カバーと;
ここで、前記第1の平面上の前記再帰反射器の間隔は非対称であり、それにより前記位置決めマーカーの一意の配向は、前記再帰反射器の画像から決定することができ、
前記カバー内
にあって、前記Z軸上に位置する追加の1つの開口部と;
前記カバーにより支持され、そして前記平坦なシートの下方に配置される1つの区画と;そして
前記第1の平面に平行で前記第1の平面とは別個の第2の平面に構成された追加の1つの再帰反射面を備え、前記カバーが前記ベースに固定されている場合、前記追加の1つの再帰反射面が前記追加の1つの開口部を介して見える、前記1つの区画により支持される追加の1つのシートと;
を有する、ことを特徴とする位置決めマーカー。
【請求項14】
位置決めマーカーであって:
第1の平面に構成された平坦なシートを含むベースであって、前記平坦なシートが再帰反射面を有するベースと;
前記ベースの上に取り付けられ、そして固定され、そして複数の開口部を備えるカバーであって、前記再帰反射面が前記開口部を介して見え、前記複数の開口部が、前記カバーが前記ベースに固定されたときに、前記再帰反射面からのそれぞれの再帰反射器を前記第1の平面内に生成する、カバーと;
ここで、前記第1の平面上の前記再帰反射器の間隔は非対称であり、それにより前記位置決めマーカーの一意の配向は、前記再帰反射器の画像から決定することができ、
前記カバー内の追加の1つの開口部と;
前記第1の平面に平行で前記第1の平面とは別個の第2の平面に構成された追加の1つの再帰反射面を備え、前記カバーが前記ベースに固定されている場合、前記追加の1つの再帰反射面が前記追加の1つの開口部を介して見える追加の1つのシートと;
を有する、ことを特徴とする位置決めマーカー。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して基準マーカー、詳細には光学的に追跡できるマーカーに関する。
【背景技術】
【0002】
画像誘導手術中は、通常、手術で使用される物体、および/または手術を受ける患者の要素を追跡する必要がある。また、他のフィールドの物体を追跡および/または観察する必要がある場合もある。そのような追跡または観察を実行するための多くの方法が知られている。
【0003】
ブリュースター(Brewstar)氏の米国特許第4,863,238号(特許文献1)は、高速道路のポールなどの物体を反射光で標識化するための反射マーカーを記載している。反射マーカーは、支持層と、それに取り付けられたトッププレートとを含み、ダイカット部分は、取り外されると、支持層と協働してマーカーに浅いくぼみを規定する開口部を形成するように適応される。
【0004】
ビルスマイヤー(Vilsmeier)氏他の米国特許第6,609,022号(特許文献2)は患者、その身体の一部、および処置標的および処置装置の位置を検出および追跡するナビゲーションシステムを含む、患者の治療を支援するための方法について記載している。
【0005】
Nilsen氏他の米国特許第7,364,314号(特許文献3)は、基板および基板に沿って配置された複数の両面光学部品を含む光学構造、およびそれを製造するための方法を記載している。再帰反射光学構造も提供される。
【0006】
ロスナー(Rossner)氏他の米国特許第7,874,686号(特許文献4)は、反射マーカーおよびマーカーの製造方法について記載している。反射マーカーは、内部本体および反射カバーを含み、反射物質が内部本体に適用され、物質に含まれるかまたは物質が適用された後に適用されるペレット、と一緒に反射カバーを形成する。
【0007】
Northey氏他の米国特許8,950,877(特許文献5)は、再帰反射シートに第1の視覚的フィーチャを作り出す第1の立コーナーキューブ構造を有するプリズム再帰反射シートの第1の部分と、第2のコーナーキューブ構造を有するプリズム再帰反射シートの第2の部分とを含む再帰反射シートについて記載している。
【0008】
Reed氏他の米国特許出願公開2011/0216411(特許文献6)は、ベース表面の反対側に幾何光学表面を有する可撓性光学材料フィルムまたは基板を含む再帰反射シートについて記載している。幾何光学面は、再帰反射シートの端部に対して第1の方向に配置されたコーナーキューブの背景パターン領域を含む。
【0009】
ハイグル(Heigl)氏の米国特許出願公開第2012/0143050号(特許文献7)は、標準フォイルについて記載し、それは非対称配置のマーカー材料フォイルの空間的に分離された断片および/またはマーカー材料フォイルの少なくとも1つの非対称一体部品を含む非対称マーカーフォイル装置を含む。標準フォイルおよびそのための担持装置は、例えば、画像誘導手術で使用することができる。
【0010】
Hall氏他の米国特許出願公開2012/0182605(特許文献8)は、熱および/または近赤外線波長帯で反射するパッシブ赤外線マーカーについて記載している。
【0011】
Plassky氏他の米国特許出願公開2015/0351863(特許文献9)は、少なくとも1つの凹部と、少なくとも1つの支持要素とを備え、各支持要素が特定の凹部内に収容されるように構成される、光学医療ナビゲーション用のマーカーを記載している。
【0012】
Steinle氏他の米国特許出願公開2016/0175064(特許文献10)は、反射器が複数の空間方向を指すマーカーパターンを特徴とする、光反射器を含む医療ナビゲーションマーカー装置を記載している。
【0013】
Aesculap AGに与えられたドイツ特許DE202004011567(特許文献11)は、手術器具の位置がツールまたは骨ねじに組み込まれたマーカーによってどのように定義され、特殊な要素によって反射された赤外線によって処理ユニットに伝達されるかを記載している。要素は、適切な材料から、好ましくは丸い形状に打ち抜かれ、マーカーに配置されたフレームに保持される。
【0014】
Mosimann氏他の欧州特許出願公開EP1640750A1(特許文献12)は、少なくとも本体の外面上に顕著な要素を含む本体を有する再帰反射装置について記載している。本体は、プラスチック材料の均質な化合物で作られた少なくとも1つの第1の物質的実体でできており、一方で要素は少なくとも1つの反射層で完全にコーティングされ、プラスチック材料の内部に完全に埋め込まれ、他方で顕著な要素は同じ反射層で部分的にコーティングされている。
【0015】
Vasey氏他のPCT特許出願WO2015058816(特許文献13)は、医療ナビゲーションシステムで使用するためのハイブリッド医療マーカーについて記載し、マーカーは、造影剤を含むマーカーコアと、少なくとも部分的に光を反射する外面とを備える。
【0016】
本特許出願に参照により組み込まれた文書は、出願の不可欠な部分と見なされる。本明細書で明示的または暗黙的に行われた定義と矛盾する方法でこれらの組み込まれた文書に用語が定義されている場合は、本明細書の定義のみを考慮すべきである。
【先行技術文献】
【特許文献】
【0017】
【文献】米国特許第4,863,238号
【文献】米国特許第6,609,022号
【文献】米国特許第7,364,314号
【文献】米国特許第7,874,686号
【文献】米国特許8,950,877号
【文献】米国特許出願公開2011/0216411
【文献】米国特許出願公開第2012/0143050
【文献】米国特許出願公開2012/0182605
【文献】米国特許出願公開2015/0351863
【文献】米国特許出願公開2016/0175064
【文献】ドイツ特許DE202004011567
【文献】欧州特許出願公開EP1640750A1
【文献】PCT特許出願WO2015058816
【文献】米国特許第9,928,629号
【発明の概要】
【0018】
本発明の一実施形態は、再帰反射面を有するベースと;そしてベースの上に適合され、そして固定され、そして複数の開口部を備えるカバーであって、再帰反射面が開口部を介して見える、カバーと;を有することを特徴とする位置決めマーカーを提供する。
通常、開口部は直円錐形の錐台である。円錐台は、それぞれの第1の形状および第1の形状よりも小さい第2の形状で終端し得、第2の形状は、カバーがベースに固定される場合に再帰反射面に接触し、それぞれの再帰反射装置を形成する。それぞれの再帰反射装置は、平面上に配置することができる。
【0019】
開示された一実施形態では、再帰反射面がベース平坦表面を有し、カバーは、カバーがベースに固定されたときにベース平坦表面と嵌合するカバー平坦表面を有し、それにより開口部の各区画は再帰反射面に接触する。
【0020】
さらなる開示された一実施形態では、ベースが、第1の平面に構成された第1のシートを含み、開口部が、カバーがベースに固定されたときに、それぞれの再帰反射器を、再帰反射面から第1の平面内に生成し、カバーはさらなる1つの開口部を有し、マーカーは、第1の平面に平行で第1の平面とは別個の第2の平面に構成されたさらなる再帰反射面、を備える第2のシートを有し、それにより、カバーがベースに固定されている場合、さらなる再帰反射面がさらなる開口部を介して見える。
【0021】
一般的に、さらなる開口部が直円錐台である。
ベースが中央開口を含み、カバーがベースに固定された場合に、直円錐台が中央開口を貫通する。
代替的に、カバーから突出する支持体を有し、支持体は、第2のシートに適合するように構成された、第2の平面とアライメントした支持平面が存在しうる。
【0022】
さらなる開示された一実施形態は、ベースをカバーに固定するために、カバーに固定的に接続され、そしてベースをカバーと固定接触した状態で保持するように構成されたカバー保持器を含みうる。一般的に、ベースは中央開口を有し、カバーは第1の接続要素を有し、カバー保持器は、第1の接続要素と嵌合し、それによりカバーをカバー保持器およびベースに固定する、第2の接続要素を有し、そして接続要素の少なくとも1つが中央開口を貫通する。
【0023】
代替の一実施形態では、再帰反射面が、再帰反射テープおよび再帰反射塗料のうちの少なくとも1つを有する。
【0024】
本発明の一実施形態によれば、さらに位置決めマーカーを作成するための方法であって:ベース上に再帰反射面を形成するステップと;そしてカバーをベースに取り付け、カバーをベースに固定するステップであって、カバーは、開口部を介して再帰反射面が見える複数の開口部を有する、ステップと;を有することを特徴とする方法が提供される。
【図面の簡単な説明】
【0025】
本開示は、図面を参照した、その実施形態の以下の詳細な説明から、より完全に理解されるであろう:
【
図1】本発明の一実施形態による、拡張現実システムにおける位置決めマーカーの使用を概略的に示す図である。
【
図2】本発明の実施形態による、システムで使用される組立体、ならびに組立体で実施され得る機能を示す概略図である。
【
図3A】本発明の一実施形態による位置決めマーカーの概略上面図である。
【
図3B】本発明の一実施形態による、上から見たマーカーの概略分解図である。
【
図3C】本発明の一実施形態による、下から見たマーカーの概略分解図である。
【
図4A-4C】本発明の代替の一実施形態による、位置決めマーカー用のカバーの概略図である。そして
【
図5】本発明の一実施形態による、位置決めマーカーを生成する際に実行されるステップのフローチャートである。
【発明を実施するための形態】
【0026】
(概要)
拡張現実環境や他の環境では、使用されているシステムのさまざまな要素の標準フレームを登録する必要があることがよくある。たとえば、拡張現実の場合、拡張現実システムのユーザの頭に取り付けられた組立体の標準フレームは、通常、組立体を介して見られているシーンに位置合わせされる必要がある。
【0027】
本発明の実施形態は、拡張現実組立体に結合されたプロセッサがマーカーを追跡することを可能にし、そしてマーカーが組立体に対してなす角度に大きな変化が起こった場合でも、追跡を維持することを可能にすることによって、上記の登録を容易にする位置決めマーカーを提供する。
【0028】
位置決めマーカーは、通常、中央空隙を備えた長方形の平面シートの形のベースを含み、シートは再帰反射面を有する。マーカーカバーがベースに取り付けられて固定されており、カバーには、ベースの再帰反射面が見える複数の開口部がある。カバーの開口部は、通常、直円錐形の錐台の形をしており、開口部の円錐形により、開口部によって再帰反射面に形成された再帰反射器は、上記の角度の大きな変化が発生した場合でも可視化される。
【0029】
再帰反射器は、通常、所与の平面内にあるように構成され、マーカーによって提供される追跡を強化するために、マーカーは、所与の平面とは異なる平面に配置されたさらなる再帰反射器を含み得る。さらなる再帰反射器は、カバー内に直円錐台の形でさらなる開口部を提供することによって形成することができ、さらなる開口部の錐台は、上記の錐台の深さとは異なる深さを有する。カバーのすべての開口部を円錐台の形にすることで、角度の大きな変化が発生した場合でも、開口部によって形成された再帰反射器を可視化できる。
【0030】
カバーをベースに固定するために、マーカーは通常、ベースをカバーにしっかりと結び付けながらカバーに固定的に留めることができるカバー保持器を含む。通常、ベースはカバー保持器とカバーの間に「挟まれ」、さらに反射器もカバー保持器とカバーの間に挟まれる。
【0031】
(システムの説明)
以下では、すべての方向の参照(たとえば、上、下、上、下、左、右、頂部、底部、上方、下方、垂直、および水平)は、読者が現在を理解するのを助けるための識別目的でのみ使用され、そして制限を生じさせず、特に本発明の実施形態の位置、向き、または使用に関して制限を生じさせない。
【0032】
ここで、本発明の実施形態による、拡張現実システム20における位置決めマーカー18の使用を概略的に示す
図1を参照する。例として、そして簡単化のために、以下の説明では、システム20は、医療処置において医療専門家22によって使用されると想定されている。しかしながら、本発明の実施形態は、ビデオゲームの操作、現実世界のイベントのシミュレーション、またはナビゲーションの補助を提供する場合など、非医療状況で使用できることが理解されよう。
【0033】
システム20は、拡張現実組立体24を着用する医療専門家22によって操作され、
図2に関して以下でより詳細に説明されるが、組立体24は、専門家22の上の多くの異なる保持構造に着用のために組み込まれ得るが、本明細書の説明では、保持構造は一対の眼鏡に類似していると仮定される。拡張現実技術の当業者は、システム20のユーザが着用するヘルメットに統合されるヘッドアップディスプレイへの拡張現実組立体の組み込みなど、他の可能な構造に気付くであろう。
【0034】
システム20は、プロセッサ26を含み、プロセッサ26の全体的な制御下にある。一実施形態では、プロセッサ26は、スタンドアロンコンピュータ28内に組み込まれると想定され、プロセッサは、通常、拡張現実組立体24を含むシステムの他の要素と無線で通信する。
図1に示されるように、代替的または追加的に、プロセッサ26は、通信のために光ケーブルおよび/または導電性ケーブルを使用しうる。さらに代替的または追加的に、プロセッサ26は、組立体24内に、または組立体の取り付け部分に統合され得る。プロセッサ26は、典型的には、システム20によって使用される画像および他の視覚要素が格納されている、データベース40にアクセスすることができる。プロセッサ26がシステム20を動作させることを可能にするソフトウェアは、例えば、ネットワークを介して電子形式でプロセッサにダウンロードされ得る。代替的または追加的に、ソフトウェアは、光学的、磁気的、または電子的記憶媒体などの非一過性有形媒体上で提供され得る。
【0035】
ここで例示される医療処置は、患者30に対するものであり、処置中、専門家22は、関心領域(ROI)34を注視方向32に沿って注視する。ROI 34は、通常、必ずしもではないが、患者の一部を含む。本発明の実施形態では、専門家22は、プロセッサ26が、以下でより詳細に説明されるが、ROI 34に関して事前定義された配置に、位置決めマーカー18を配置することによってROIを識別することを可能にする。例えば、ROIは、マーカー18から右へ事前定義された距離にあり、かつマーカー18の下方の事前定義された距離にありうる。以下にも説明するように、プロセッサ26はマーカー18の配置を追跡することができ、したがって、マーカーはROI 34に関して事前定義された配置にあるので、プロセッサはROIの配置を追跡することができる。
【0036】
代替的または追加的に、位置決めマーカー18、またはマーカー18と実質的に同様の1つのマーカーを、処置で使用されるツールまたは他のデバイスに取り付けることができる。この場合、プロセッサ26は、マーカーを追跡することができ、したがって、マーカーに取り付けられたツールまたはデバイスを追跡することができる。明確化と単純化のため、特に明記しない限り、以下の説明では、マーカー18は、ROI 34を追跡するための独立した要素として使用されると仮定されるが、マーカーがツールまたは、マーカーを使用して追跡される他のデバイス、に取り付けられている場合、当業者は、必要な変更を加えて、本記載を適応させることができる。
【0037】
図2は、本発明の実施形態による、拡張現実組立体24、ならびに組立体内に実装され得る機能を示す概略図である。上記のように、組立体24は、例として、一対の眼鏡50として構成される。一対の眼鏡の各「半分」の同様の要素は、一般に1つの識別番号によって参照され、同様の要素は、必要な場合数字に文字を追加して区別される。したがって、眼鏡50は、専門家22の左眼および右眼の前にそれぞれコンバイナ52Aおよび52Bを含む平坦な光学コンバイナ52を備える。光学コンバイナ52は、組立体24の要素を保持する保持構造54に搭載され、そしてそれは本明細書では眼鏡フレームを含むと想定されるため、保持構造54は、本明細書ではフレーム54とも呼ばれる。
【0038】
いくつかの実施形態では、コンバイナフレーム82Aおよび82Bは、保持構造54に固定され、コンバイナフレームに取り付けられた垂直保持ロッド84Aおよび84Bは、光学コンバイナを支持し、その結果、コンバイナは、ロッドによって規定される垂直軸の周りを回転することができる。保持ロッド84Aおよび84B、したがってコンバイナ52Aおよび52Bは、フレーム82Aおよび82Bに固定されたそれぞれのモータ86Aおよび86Bによって、それらの垂直軸の周りで互いに独立して回転させることができる。モータ86、典型的にはステッピングモータは、それらの取り付けられたコンバイナを、それらのそれぞれのコンバイナフレームに関して既知の、典型的には異なる、固定された方向に回転させるように、プロセッサ26によって制御される。
【0039】
各光コンバイナ52は、コンバイナを通して少なくとも部分的にシーンの要素を透過するように構成され、その結果、患者30の部分56(
図1)は、各コンバイナ52を通して直接見ることができると仮定されている。さらに、各光コンバイナは、
図52は、シーン由来の可視光伝達、および/またはデータまたはマーカーの提示などの視覚伝達を受信し、そして伝達を専門家22の目に方向転換または反射するように構成される。
【0040】
様々なタイプの光コンバイナが当技術分野で知られている。1つの既知のタイプは、コンバイナの半反射面によって引き起こされる変形を補正する1組のレンズを通過した後、画像源からの画像を透過する半反射面を使用する。別の既知のタイプは、画像を観察者の目に直接投影する導波路を使用する。本明細書では、例として、コンバイナ52は、導波路タイプであると想定されている。
【0041】
一般に同様のピクセル化された可変透明度スクリーン60Aおよび60Bは、それぞれ、コンバイナ52A、52Bの裏側、すなわち、専門家22の目から離れた側をコーティングする。スクリーン60は、システム20のアクティブな要素であり、ピクセルの列で形成され、各ピクセルの不透明度は、プロセッサ26によって制御される。
【0042】
スクリーン60は、必ずしもではないが、典型的には、液晶ピクセルの長方形の列から形成された液晶ディスプレイ(LDC)である。あるいは、スクリーン60は、MEMS(微小電気機械システム)で形成されている。さらに代替的に、スクリーン60は、ポリマー分散液晶(PDLC)から形成される。
【0043】
フレーム54のアームに固定的に取り付けられているのは、一般に類似したマイクロプロジェクター64Aおよび64Bである。各マイクロプロジェクターは、医療専門家22の左眼または右眼へのコンバイナによる方向転換に適した形態で、それぞれのコンバイナ52Aおよび52B上に、シーン、および/または視覚的表示を投影できるように配置および配向されている。マイクロプロジェクター64はアクティブな要素であり、投影されるシーン/表示は、プロセッサ26によってマイクロプロジェクターに提供される。投影および方向転換は、補正レンズがない場合、コンバイナから平行光が来て、そして瞳孔に入るため、専門家22の目に映る画像が無限遠に見えるように構成される。いくつかの実施形態では、組立体24は、コンバイナ52A、52Bからの光を方向転換する矯正レンズ88A、88Bを含み、その結果、画像は、無限遠よりも近いように専門家の目に映る。
【0044】
少なくとも1つの画像取得装置68がフレーム54に取り付けられている。開示された実施形態では、2つの概略類似したデバイス68Aおよび68Bがあり、それぞれ、平坦なコンバイナ52Aおよび52Bにほぼ直交するようにアライメントされ、それにより専門家22の左目および右目によって見られるシーンのそれぞれの画像の光線を取得できる。典型的には、画像取得装置68は、可視スペクトルのマーカー18の画像を含む、医療専門家によって見られるシーンの画像を取得するように構成されたカメラを備える。
【0045】
本発明の実施形態では、拡張現実組立体24は、組立体24の正面にある、マーカー18を含むシーンの要素の画像を取得するように構成された、本明細書ではカメラ72とも呼ばれるセンサー72を含む。マーカー18の画像を含む画像は、カメラ72によって検出されるスペクトル内にある、プロジェクター73によって投影される光線から生成される。プロジェクター73は、カメラ72に近接して配置され、その結果、再帰反射されたプロジェクターからの光線は、カメラ72によって捕捉される。カメラには通常、外科用照明によって投影される光線など、他の光線を遮断するように構成されたバンドパスフィルターがある。典型的には、カメラ72およびプロジェクター73は、近赤外スペクトルなどのスペクトルの非可視領域で動作する。以下に説明するように、少なくともいくらかのマーカー18からの再帰反射光線が受信され、プロセッサ26は、受信された光線からカメラ72によって生成されたマーカーの画像を使用して、マーカーおよびROI 34を追跡する。
【0046】
拡張現実組立体24と同様の組立体は、参照により本明細書に組み込まれるベニシュティ(Benishti)氏他の米国特許第9,928,629号(特許文献14)に記載されている。
【0047】
図3Aは、本発明の一実施形態による、マーカー18の概略上面図であり、
図3Bは、上から見たマーカーの概略分解図であり、
図3Cは、下から見たマーカーの概略分解図である。明確化のため、図は1組の直交xyz軸上に描かれている。開示された実施形態では、マーカー18は、ほぼ長方形の形状を有する平坦な平面シート80と、シート内に形成されたほぼ長方形の空隙84とを含む。例として、シート80の上面86は、xyz軸のxy平面上にあると仮定され、上面は、式(1)によって与えられる式を有すると仮定される:
z = 0 (1)
【0048】
シート80の中心は、xyz軸の原点、つまり式(2)で与えられる位置にあると仮定される:
x = y = 0 (2)
平らな平面シート80は、平坦平面の下面88を有する。
【0049】
シート80は、マーカー18のベースとして機能し、本明細書ではベース80とも呼ばれる。本発明の実施形態では、ベース80の上面86は再帰反射性であり、一実施形態では、表面は、再帰反射テープを上面に接着することによって再帰反射するように形成される。しかしながら、上面86を再帰反射させるために再帰反射塗料で覆うなどの他の方法は、当業者には明らかであり、そのようなすべての方法は、本発明の範囲内であると想定される。
【0050】
ベース80に取り付けられ、固定されているのは、柔軟性のない不透明なベースカバー90であり、平面の下面92と上面94を備える。以下に説明するように、カバー90がベース80に固定されると、カバーの平面の下面92がベースの上面86と嵌合する。
【0051】
カバー90は、カバー内に、カバーの頂部面および底部面を貫通する複数の開口部98を有する。開口部98は互いに実質的に合同であり、各開口部は、平面の上面94内の第1の開口部106、および第1の開口部106よりも小さく、本明細書では小さい開口部102と呼ばれる、平面の下面92内の第2の開口部102で終了する直円錐台の形態を有する。通常、図に示され、以下の説明において明確化と単純化のために仮定されるように、開口部102および106は円形である。しかしながら、本発明の実施形態は、規則的または不規則な多角形などの開口部の他の形状を含み、そのような形状はすべて、本発明の範囲内に含まれると想定される。
【0052】
カバー90がベース80に固定されると、カバーの平面の下面92はベース80の再帰反射上面と嵌合し、小さな円形開口部102はベース80と接触し、本明細書では再帰反射器96と呼ばれる再帰反射円96を形成する。図は、カバー90を12個の開口部を有するものとして示しており、そのそれぞれを通して、ベース80の再帰反射上面が見えるが、本発明の実施形態は、12個より少ないまたは多い開口部を有し得ることが理解される。
【0053】
一実施形態では、再帰反射器96の中心は、z 軸上に中心を有する正方形上に形成される。しかしながら、正方形上の再帰反射器の間隔は非対称になるように構成されているので、プロセッサ26は、再帰反射器の画像からマーカー18の一意の方向を決定することができる。再帰反射器96の中心が正方形上に形成されていない実施形態では、再帰反射器の間隔もまた、プロセッサ26が再帰反射器の画像からマーカー18の固有の向きを決定できるように構成される。
【0054】
開口部98を円錐台として実現することにより、ベース80の再帰反射上面が、開口部を介して、多くの異なる方向から見えることが理解されよう。この可視性は、例えば医療専門家22が動いた場合など、カメラとマーカーとの間に相対運動がある場合に、カメラ72を使用してマーカー18を追跡するプロセッサ26の能力を増強する。
【0055】
本発明者らは、小さな円形開口部102によって形成された再帰反射上面の画像を使用するマーカー18の正確な追跡は、小さな円形開口部の互いに対する正確かつ一貫した位置決めに依存することを見出した。そのような正確で一貫した位置決めは、本発明の実施形態のように、カバーに開口部を別個に作成し、次にベース再帰反射面をカバーに取り付けることによって促進される。例えば、カバーの一辺が約54mmの正方形である実施形態では、開口部102および106の寸法の公差は+/- 150ミクロン以下であり、開口部を形成する錐台の角度は、0.5°以下の公差を有する。
【0056】
ベース80をカバー90に固定するために、マーカー18は、平坦平面の上面114を有するカバー保持器110を備える。マーカー18が組み立てられると、カバー保持器の平坦平面の上面は、マーカーベース80の平坦平面の下面88と嵌合する。また、組み立てのために、カバー90は、カバーの内縁が保持器110の周囲と嵌合するリップ95を備える。さらに、上記のように、マーカー18が組み立てられると、ベース80の再帰反射する上面86は、カバー90の平面の下面92と嵌合する。
【0057】
さらに、カバー保持器110は、1つまたは複数の保持器接続要素118を含み、これらは、カバー90内のカバー接続要素122とアライメントする。例として、マーカー18は、4つの保持器接続要素118および4つのカバー接続要素122を含む。
【0058】
保持器接続要素118は、カバー保持器110を貫通する、本明細書では穴118とも呼ばれる円筒形の穴を含み、カバー接続要素122は、穴118とアライメントして貫通するように寸法が定められた、本明細書ではアンカー122とも呼ばれるばね式アンカーを含む。
【0059】
マーカー18の組み立てられた形態において、すなわち、ベース80がカバー90に固定され、カバー保持器110がベースの下面と嵌合するとき、アンカー122は、3つのエンティティ(カバー、ベース、およびカバー保持器)をあるべき位置に固定的に保持する。マーカーアンカーとして機能するために、アンカー122は、圧縮された形態でそれらが穴118を貫通できるように寸法が決められる。穴およびアンカーは、ベース、カバーおよびカバー保持器が組み立てられた状態にある時に、アンカーが非圧縮形状に拡張してマーカー要素を所定の位置に固定して保持できるようにさらに寸法決めされる。典型的には、マーカー18の要素は、カバーおよびカバー保持器に適度な圧力を加えることによって、アンカー122がそれらの非圧縮形状に戻り、そして穴118内の出っ張り124に係合することによって、一緒に「スナップ」締めすることができる。
【0060】
上記の穴およびアンカー以外のマーカー18の接続要素は、当業者には明白であり、そのような接続要素はすべて、本発明の範囲内に含まれると想定される。
【0061】
小さな円形開口部102、および開口部によって露出された再帰反射上面の区画は、式(1)によって与えられる式を有する単一の平面内にある。
【0062】
マーカー18の追跡をさらに容易にするために、マーカーは、カバー90内の追加の開口部130、および追加のシート136上に形成された関連する追加の再帰反射面134を含む。再帰反射面134は、典型的には、再帰反射面86と実質的に同じ方法で、例えば、再帰反射テープを表面134に接着することによって形成される。
【0063】
いくつかの実施形態では、再帰反射物質が形成される表面上に追加のシートを有するのではなく、追加のシート136を、カバー保持器の陥凹部分150(以下でさらに説明する)の内部表面に付着する接着性再帰反射テープとして実装することができる。以下の説明を明確にするために、追加のシート136は、追加の再帰反射面134上に形成された再帰反射物質を有すると仮定され、当業者は、シート136が接着性反射テープとして実現される場合に、必要な変更を加えて説明を適応させることができよう。
【0064】
以下に説明するように、追加の開口部130および追加の再帰反射面134は、開口部102によって形成される式(1)で定義される再帰反射上面の区画の平面、とは異なる平面にある追加の再帰反射面の区画138を形成するように構成される。区画138は、式(1)の平面から凹んだまたは隆起したxy平面にあるため、式(3)で与えられる式を有する:
z = n (3)
ここで、nはゼロ以外の数値である。
【0065】
通常、区画138は円形に形成され、以下の説明を簡単にするために、区画138は円形と見なされる。再帰反射器96の中心が正方形上にある上記の実施形態では、区画138は、正方形と対称になるように、すなわち、z軸上に配置されるように構成される。
【0066】
図3A、3B、3Cに示される実施形態では、区画138は、開口部102の平面から凹んでいるので、nは負の数である。
【0067】
追加の開口部130は、開口部98と同様に、直円錐台として形成され、開口部は、カバー90の下部の、下方に突き出た区画140に形成される。区画140では、開口部130は第1の円形開口部144を上面94に備え、そして下方に突き出た区画140の下面に第2の、小さな、円形開口部148を備える。追加の開口部130によって形成された錐台は、開口部98の錐台の深さとは異なる深さを有する。
【0068】
マーカー18が組み立てられると、区画140は、ベース80の空隙84を通って突出し、カバー保持器110の陥凹部分150に入る。追加のシート136は、その再帰反射面が最上部であり、陥凹部分150の上面に接合される。開口部148および陥凹部分150の上面は、マーカー18が組み立てられ、その要素が所定の位置に固定されたときに、小さい円形開口部148が追加のシート136に接触し、円形区画138およびその再帰反射面が円形開口部によって露出され、追加の開口部130を通して見ることができる。円形区画138は、本明細書では、再帰反射器138とも呼ばれる。
【0069】
開口部130を錐台として形成することにより、再帰反射器138が(開口部98の再帰反射器96と同様に)多くの異なる方向から見えるので、カメラ72を使用してマーカー18を追跡するプロセッサ26の能力を向上させる。小さい円形開口部148は5mmの直径を有し、開口部130は120°の円錐角を有する円形の円錐台である。
【0070】
上記の実施形態では、接続要素(要素118および122)の位置は、再帰反射器96および138の機能を妨害しないように選択される。接続要素の位置は、例として提供され、当業者は、再帰反射器の機能を妨害しない他の接続要素の位置を認識するであろう。そのような位置はすべて、本発明の範囲内に含まれると想定される。
【0071】
上記の説明は、ROI 34を追跡するために追跡マーカー18を使用することを扱っているが、ツールを追跡するためツールに取り付けられる場合など、マーカーが他の追跡目的に使用される場合、当業者は、必要な変更を加えて説明を適応させることができる。
【0072】
図4A、4B、および4Cは、本発明の代替の実施形態による、マーカー218のカバー290の概略図である。
図4Aはカバーの上面図であり、
図4Bはカバーの斜視図であり、
図4Cは
図4Aの線4C-4Cに沿ったカバーの断面図である。以下に説明する違いを除けば、カバー290の動作は、カバー90(
図3A、3B、および3C)の動作と概ね類似しており、両方のカバーにおいて同じ参照番号で示される要素は、構造および動作において概ね類似している。
【0073】
凹んだ区画138を形成するカバー90の追加の開口部130ではなく、カバー290は、隆起した追加の開口部230のための支持体228を備える。支持体228はカバー290より突出する。開口部98に概略類似すると想定される開口部230は、第1の開口部202および第1の開口部よりも小さい第2の開口部206で終了する直円錐台である。
【0074】
第2の開口部206は、支持体228の内部平面下面292に形成されている。
【0075】
マーカー218を形成するために、ベース80と実質的に同一であり、ベース80について上で説明したような再帰反射上面を有するベースを、カバー290の下面294に固定する。シート136と同様のシートを内部平面下面292に適合させる。そのシートは、開口部206を通して見える上部反射面を有し、そして支持体228内に収まるようにマーカー18の寸法から変更された寸法を有する。変更されたシートの平面は、内部平面下面292とアライメントする。マーカー218はまた、カバー保持器110と同様のカバー保持器を含むが、表面292と接触する変更されたシート136を支持するように変更されている。上記の変更は、当業者には明らかであり、不要な実験なしに実施することができる。
【0076】
図5は、本発明の実施形態による、マーカー18を生成する際に実行されるステップのフローチャートである。当業者は、マーカー218を製造するために、必要な変更を加えて、以下の説明を適応させることができる。第1のステップ360において、別個のマーカー要素、すなわち、ベース80、ベースカバー90、カバー保持器110、およびシート136は、所定の寸法に従って製造される。ベース80およびシート136は、当技術分野で知られている任意の便利な手段によって、例えば、スタンピングによって製造することができ、それらの上面は、上記のように再帰反射性にすることができる。
【0077】
カバー90は、例えば、型から製造され得る。カバーを製造するための他の方法は当業者には明らかであるが、方法は、小さな円形開口部102および148の互いに対する正確かつ一貫した位置決めを確実にするように選択すべきである。カバーの材料は、通常、ポリイミドなどの柔軟性のないプラスチックである。
【0078】
第1の組み立てステップ364において、マーカー要素は、概して
図3Bおよび3Cに示されるように組み立てられる。通常、このステップでは、再帰反射面が最上部にあるシート136は、カバー保持器110の陥凹部分150の上面に接着することができる。
【0079】
最終組立工程368において、適度な圧力がカバー90の上面およびカバー保持器110の下面に加えられ、その結果、アンカー122が出っ張り124と係合して、マーカーのすべての要素を固定的に接続する。最終組立体では、ベース80とシート136がカバー90とカバー保持器110の間に有効に「サンドイッチ」される。
【0080】
上記の実施形態は例として引用されており、本発明は、上記で特に示され、説明されたものに限定されないことが理解されよう。むしろ、本発明の範囲は、上記の様々な特徴の組合せおよびサブ組合せの両方、ならびに前述の記載を読んだ当業者に想起される、先行技術に開示されていないその変形および修正を含む。