特表 2023-526239 医療シーンなどのシーンを撮像してシーン内の物体を追跡する方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-21

(54)【発明の名称】医療シーンなどのシーンを撮像してシーン内の物体を追跡する方法及びシステム

(51)【国際特許分類】

   H04N 23/45 20230101AFI20230614BHJP

   H04N 23/90 20230101ALI20230614BHJP

   A61B 34/20 20160101ALI20230614BHJP

   G01B 11/00 20060101ALI20230614BHJP

【ＦＩ】

H04N23/45

H04N23/90

A61B34/20

G01B11/00 A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022568767

(86)(22)【出願日】2021-05-10

(85)【翻訳文提出日】2023-01-10

(86)【国際出願番号】 US2021031653

(87)【国際公開番号】W WO2021231337

(87)【国際公開日】2021-11-18

(31)【優先権主張番号】15/930,305

(32)【優先日】2020-05-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521002305

【氏名又は名称】プロプリオ インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100122563

【弁理士】

【氏名又は名称】越柴 絵里

(72)【発明者】

【氏名】ヨンクイスト ジェイムズ アンドリュー

(72)【発明者】

【氏名】コルメナレス デヴィッド ジュリオ

(72)【発明者】

【氏名】ジョーンズ アダム ガブリエル

(72)【発明者】

【氏名】ノン トーマス イヴァン

(72)【発明者】

【氏名】ピーターソン ジェイ

【テーマコード（参考）】

2F065

5C122

【Ｆターム（参考）】

2F065AA01

2F065AA04

2F065AA06

2F065DD03

2F065DD06

2F065FF04

2F065JJ05

2F065JJ26

2F065SS01

5C122DA16

5C122DA25

5C122EA67

5C122FA01

5C122FA18

5C122FD10

5C122FH10

5C122FH11

5C122HB01

(57)【要約】

本明細書では、媒介現実システムのためのカメラアレイ、並びに関連する方法及びシステムを開示する。いくつかの実施形態では、カメラアレイが、中心を有する支持構造と、中心に近接して支持構造に取り付けられた深度センサとを含む。カメラアレイは、深度センサから半径方向外向きに支持構造に取り付けられた複数のカメラと、カメラから半径方向外向きに支持構造に取り付けられた複数のトラッカーとをさらに含むことができる。カメラは、シーンの画像データを取り込むように構成され、トラッカーは、シーン内のツールの位置データを取り込むように構成される。画像データ及び位置データを処理して、決定された位置におけるツールのグラフィック表現を含むシーンの仮想視野を生成することができる。
【選択図】 図１

【特許請求の範囲】

【請求項1】

カメラアレイであって、
中心を有する支持構造と、
前記中心に近接して前記支持構造に取り付けられた深度センサと、
前記深度センサから半径方向外向きに前記支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
前記カメラから半径方向外向きに前記支持構造に取り付けられて、前記シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を備えることを特徴とするカメラアレイ。

【請求項2】

前記複数のカメラは４つのカメラを含み、前記複数のトラッカーは４つのトラッカーを含み、前記カメラ及び前記トラッカーは前記支持構造を中心に対称に配置される、
請求項１に記載のカメラアレイ。

【請求項3】

前記支持構造は、中心軸と、前記中心軸に対して直角に延びる長手方向軸とを含み、前記深度センサは前記中心軸に沿って整列し、前記カメラの各々及び前記トラッカーの各々は、前記中心軸及び前記長手方向軸から等間隔を空ける、
請求項１に記載のカメラアレイ。

【請求項4】

前記トラッカーは赤外線イメージャである、
請求項１に記載のカメラアレイ。

【請求項5】

前記トラッカーは、前記カメラとは異なるスペクトル感度を有するイメージャである、
請求項１に記載のカメラアレイ。

【請求項6】

前記カメラ及び前記トラッカーはそれぞれ視野を有し、前記カメラの前記視野は、少なくとも部分的に重なり合って撮像容積を定め、前記トラッカーの前記視野は、少なくとも部分的に重なり合って前記撮像容積よりも大きな追跡容積を定める、
請求項１に記載のカメラアレイ。

【請求項7】

前記カメラは、それぞれ前記支持構造の前記中心に向かって半径方向内向きに角度付けされる、
請求項１に記載のカメラアレイ。

【請求項8】

前記深度センサは焦点面を有し、前記カメラはそれぞれ焦点軸を有し、前記カメラの前記焦点軸は、前記深度センサの前記焦点面の下方の地点で収束する、
請求項７に記載のカメラアレイ。

【請求項9】

媒介現実システムであって、
中心を有する支持構造と、
前記中心に近接して前記支持構造に取り付けられた深度センサと、
前記深度センサから半径方向外向きに前記支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
前記カメラから半径方向外向きに前記支持構造に取り付けられて、前記シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を含むカメラアレイと、
前記シーンの仮想視野の位置及び向きを制御するように構成された入力コントローラと、
前記カメラアレイ及び前記入力コントローラに通信可能に結合されて、
前記カメラのうちの少なくとも２つのカメラからの画像データに基づいて前記仮想視野に対応する仮想画像を合成し、
前記トラッカーのうちの少なくとも２つのトラッカーからの位置データに基づいて前記ツールの位置を決定する、
ように構成された処理装置と、
前記処理装置に通信可能に結合されて、前記仮想画像内の前記決定された位置における前記ツールのグラフィック表現を表示するように構成されたディスプレイ装置と、
を備えることを特徴とする媒介現実システム。

【請求項10】

前記処理装置は、前記カメラのうちの少なくとも１つのカメラからの前記画像データに基づいて前記ツールの前記位置を決定するようにさらに構成される、
請求項９に記載の媒介現実システム。

【請求項11】

処理装置は、
前記トラッカーのうちの前記少なくとも２つのトラッカーからの前記位置データに基づいて前記ツールの初期３次元（３Ｄ）位置を推定し、
前記ツールの前記初期３Ｄ位置に基づいて、前記カメラのうちの前記少なくとも１つのカメラからの前記画像データ内に関心領域を定め、
前記関心領域における前記画像データを処理して前記関心領域における前記ツールの位置を決定し、
前記関心領域における前記ツールの前記決定された位置に基づいて前記ツールの更新された３Ｄ位置を決定する、
ことによって前記ツールの前記位置を決定するように構成される、請求項１０に記載の媒介現実システム。

【請求項12】

シーン内の被験者を撮像する方法であって、
カメラアレイの深度センサを前記被験者の関心部分と位置合わせして、前記関心部分が前記深度センサの焦点深度の近傍に配置されるようにすることと、
前記カメラアレイの複数のカメラを使用して前記被験者の前記関心部分を含む前記シーンの画像データを取り込むことと、
前記カメラアレイの複数のトラッカーを使用して前記シーン内のツールの位置データを取り込むことと、
前記シーンの仮想視野の選択された位置及び向きに関する入力を受け取ることと、
前記画像データに基づいて、前記シーンの前記仮想視野に対応する仮想画像を合成することと、
前記位置データに基づいて前記ツールの位置を決定することと、
ディスプレイ装置において、前記仮想画像内の前記決定された位置における前記ツールのグラフィック表現を表示することと、
を含むことを特徴とする方法。

【請求項13】

前記シーンは手術シーンであり、前記被験者の前記関心部分は前記被験者の脊椎である、
請求項１２に記載の方法。

【請求項14】

前記カメラはそれぞれ焦点軸を有し、前記カメラの前記焦点軸は、前記深度センサの前記焦点深度の下方の地点で収束する、
請求項１２に記載の方法。

【請求項15】

前記ツールの前記位置及び向きを決定することは、前記画像データにさらに基づく、
請求項１２に記載の方法。

【請求項16】

前記ツールの前記位置を決定することは、
前記位置データに基づいて前記ツールの初期３次元（３Ｄ）位置を推定することと、
前記ツールの前記初期３Ｄ位置に基づいて前記画像データ内に１又は２以上の関心領域を定めることと、
前記１又は２以上の関心領域における前記画像データを処理して前記１又は２以上の関心領域における前記ツールの位置を決定することと、
前記１又は２以上の関心領域における前記ツールの前記決定された位置に基づいて前記ツールの更新された３Ｄ位置を決定することと、
を含む、請求項１５に記載の方法。

【請求項17】

シーン内のツールの先端の位置を決定する方法であって、
少なくとも２つのトラッカーから前記ツールの位置データを受け取ることと、
前記位置データに基づいて前記ツールの前記先端の３次元（３Ｄ）位置を推定することと、
１又は２以上のカメラの各々から前記シーンの画像を受け取ることと、
前記１又は２以上のカメラの各々からの前記画像について、
前記ツールの前記先端の前記推定された３Ｄ位置に基づいて前記画像内に関心領域を定めることと、
前記関心領域における前記画像を処理して前記関心領域における前記ツールの前記先端の位置を決定することと、
前記１又は２以上の画像の前記関心領域における前記ツールの前記決定された位置に基づいて前記ツールの前記先端の更新された３Ｄ位置を決定することと、
を含むことを特徴とする方法。

【請求項18】

前記１又は２以上のカメラの各々から前記画像を受け取ることは、複数のカメラのうちの対応するカメラから画像を受け取ることを含み、前記ツールの前記先端の前記更新された３Ｄ位置を決定することは、前記複数のカメラからの前記画像内の前記関心領域における前記ツールの前記先端の前記決定された位置に基づいて、前記更新された３Ｄ位置を三角測量することを含む、
請求項１７に記載の方法。

【請求項19】

前記ツールの前記先端の前記３Ｄ位置を推定することは、
前記ツールの主軸を決定することと、
前記主軸に沿った既知のオフセットに基づいて前記３Ｄ位置を推定することと、
を含む、請求項１７に記載の方法。

【請求項20】

前記１又は２以上のカメラの各々から前記画像を受け取ることは、１つのカメラから画像を受け取ることを含み、前記ツールの前記先端の前記更新された３Ｄ位置を決定することは、
前記カメラの校正に基づいて、前記関心領域における前記ツールの前記先端の前記位置を３Ｄライン内に投影することと、
前記３Ｄラインと前記ツールの前記主軸との交点に基づいて、前記ツールの前記先端の前記更新された３Ｄ位置を決定することと、
を含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０２０年５月１２日に出願された「医療シーンなどのシーンを撮像してシーン内の物体を追跡する方法及びシステム（ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＩＭＡＧＩＮＧ Ａ ＳＣＥＮＥ， ＳＵＣＨ ＡＳ Ａ ＭＥＤＩＣＡＬ ＳＣＥＮＥ， ＡＮＤ ＴＲＡＣＫＩＮＧ ＯＢＪＥＣＴＳ ＷＩＴＨＩＮ ＴＨＥ ＳＣＥＮＥ）」という名称の米国特許出願第１５／９３０，３０５号の利益を主張するものであり、この文献は全体が引用により本出願に組み入れられる。

【0002】

本技術は、一般にカメラアレイに関し、具体的には、（ｉ）媒介現実観察者のためにシーンの仮想視野を生成し、（ｉｉ）シーン内の物体を追跡する、ためのカメラアレイに関する。

【背景技術】

【0003】

媒介現実システムでは、画像処理システムが環境を表す視覚情報を加算、減算及び／又は修正する。外科的応用では、媒介現実システムが、外科医がより効率的かつ正確に外科的タスクを実行するのを支援するコンテキスト情報を使用して外科医が所望の視野から手術部位を見ることを可能にする。このようなコンテキスト情報は、シーン内の外科用ツールなどの物体の位置を含むことができる。しかしながら、低いシステム遅延を維持しながら正確に物体を追跡することは困難である。さらに、このような媒介現実システムは、複数のカメラアングルに依拠して環境の画像を再構築する。しかしながら、複数のカメラ間にわずかな相対的移動及び／又は位置ずれが生じた場合でも、再構成画像に望ましくない歪みが生じる恐れがある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許出願第１６／５８６，３７５号明細書

【特許文献2】米国特許出願第１６／４５７，７８０号明細書

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の多くの態様は、以下の図面を参照することでより良く理解することができる。図面内のコンポーネントは必ずしも縮尺通りではない。むしろ、本開示の原理を明確に示すことに重点を置いている。

【図面の簡単な説明】

【0006】

【図1】本技術の実施形態によるイメージングシステムの概略図である。

【図2】本技術の実施形態による、外科的応用のためにイメージングシステムを採用する手術環境の斜視図である。

【図3A】本技術の実施形態によるイメージングシステムのカメラアレイ及び可動アームの側面図である。

【図3B】本技術の実施形態によるイメージングシステムのカメラアレイ及び可動アームの等角図である。

【図4A】本技術の実施形態によるカメラアレイの等角図である。

【図4B】本技術の実施形態によるカメラアレイの底面図である。

【図4C】本技術の実施形態によるカメラアレイの側面図である。

【図5A】本技術の実施形態によるカメラアレイのハウジングを取り外した等角図である。

【図5B】本技術の実施形態によるカメラアレイのハウジングを取り外した底面図である。

【図5C】本技術の実施形態によるカメラアレイのハウジングを取り外した側面図である。

【図6】本技術の実施形態による、外科的応用中の手術環境におけるイメージングシステムの正面図である。

【図7】本技術の実施形態による、イメージングシステムを使用してツールの先端を追跡するプロセス又は方法のフロー図である。

【図8】本技術の実施形態による、イメージングシステムの校正において使用される共校正ターゲットの等角図である。

【図9A】本技術の実施形態による、図７の方法の様々なステップを示すツールの部分的概略側面図である。

【図9B】本技術の実施形態による、図７の方法の様々なステップを示すツールの部分的概略側面図である。

【発明を実施するための形態】

【0007】

本技術の態様は、一般に外科的処置などにおいて使用される媒介現実イメージングシステムに関する。後述するいくつかの実施形態では、例えばイメージングシステムが、（ｉ）深度センサと、（ｉｉ）複数のカメラと、（ｉｉｉ）複数のトラッカーとを有するカメラアレイを含む。深度センサ、カメラ及びトラッカーは、それぞれ共通のフレームに取り付けてハウジング内に配置することができる。いくつかの実施形態では、深度センサがフレームの中心付近に取り付けられる。カメラは、深度センサから半径方向外向きにフレームに取り付けて、シーンの画像データを取り込むように構成することができる。いくつかの実施形態では、カメラが高解像度ＲＧＢカメラである。トラッカーは、カメラから半径方向外向きにフレームに取り付けて、シーン内の外科用ツールなどの１又は２以上の物体の位置データを取り込むように構成することができる。いくつかの実施形態では、トラッカーが、シーン内の物体に取り付けられた反射マーカを撮像して追跡するように構成された赤外線イメージャである。従って、本技術の１つの態様では、カメラアレイが、共通のフレーム上に統合されたカメラシステム及び光学追跡システムを含むことができる。

【0008】

イメージングシステムは、カメラアレイに通信可能に結合された処理装置をさらに含むことができる。処理装置は、カメラの少なくともサブセットからの画像データに基づいて、シーンの仮想視野に対応する仮想画像を合成するように構成することができる。処理装置は、トラッカーの少なくともサブセットからの位置データに基づいて、シーン内の物体の位置をさらに決定することができる。いくつかの実施形態では、イメージングシステムが、仮想画像内の決定された位置における物体のグラフィック表現を表示するように構成されたディスプレイ装置をさらに含むことができる。

【0009】

いくつかの実施形態では、イメージングシステムが、トラッカー及びカメラの両方からのデータを使用してシーン内のツール先端を追跡するように構成される。例えば、イメージングシステムは、トラッカーからの位置データに基づいてツール先端の３次元（３Ｄ）位置を推定することができる。次に、イメージングシステムは、推定された３Ｄ位置をカメラからの２次元（２Ｄ）画像内に投影し、ツール先端の投影位置に基づいて各画像内の関心領域（ＲＯＩ）を定めることができる。次に、イメージングシステムは、各画像のＲＯＩ内の画像データを処理してＲＯＩ内のツール先端の位置を決定することができる。最後に、画像のＲＯＩ内の決定されたツール先端の位置を三角測量して（又は別様に３Ｄ空間にマッピングして）ツール先端の更新された高精度位置を決定することができる。

【0010】

本技術の１つの態様では、カメラの方がトラッカーよりも高い解像度を有するので、カメラデータから決定されるツール先端の位置がトラッカーのみから決定される位置よりも高精度であることができる。本技術の別の態様では、トラッカーからのツール先端の位置の３Ｄ推定値を使用してＲＯＩを初期化するという理由で画像全体ではなくカメラからの画像内のＲＯＩのみを処理すればよいので、高フレームレート及び低遅延時間で追跡を実行することができる。ＲＯＩを使用しなければ、カメラからの画像の処理要件が非常に大きくなり、低遅延での処理が困難又は不可能になる。

【0011】

本明細書では、図１～図９Ｂを参照しながら本技術のいくつかの実施形態の具体的な詳細を説明する。しかしながら、本技術は、これらの具体的な詳細の一部を伴わずに実施することもできる。いくつかの事例では、本技術を曖昧にしないように、カメラアレイ、ライトフィールドカメラ、画像再構成、物体追跡などにしばしば関連する周知の構造及び技術については詳細に示していない。以下の説明において使用する用語は、たとえ本発明のいくつかの具体的な実施形態の詳細な説明に関連して使用している場合でも、その最も広い妥当な形で解釈されるように意図される。以下ではいくつかの用語を強調していることもあるが、いずれかの限定された形で解釈されるように意図される用語については、この詳細な説明の部分においてそのように公然と具体的に定義する。

【0012】

添付図には本技術の実施形態を示しており、これらは本技術の範囲を限定するように意図するものではない。図示の様々な要素のサイズは必ずしも縮尺通りではなく、これらの様々な要素は判読性を高めるために任意に拡大している場合もある。図では、本技術の実施法及び使用法の完全な理解にとって必要でない場合、コンポーネントの詳細を抽象化して、コンポーネントの位置及びこのようなコンポーネント間の特定の正確な接続などの詳細を除外している場合もある。図に示す詳細、寸法、角度及びその他の特徴の多くは、本開示の特定の実施形態を例示するものにすぎない。従って、他の実施形態は、本技術の趣旨又は範囲から逸脱することなく他の詳細、寸法、角度及び特徴を有することができる。

【0013】

本明細書に示す表題は便宜的なものにすぎず、開示する主題を限定するものとして解釈すべきではない。

【0014】

Ｉ．イメージングシステムの選択的実施形態
図１は、本技術の実施形態によるイメージングシステム１００（「システム１００」）の概略図である。いくつかの実施形態では、システム１００を、合成拡張現実システム、媒介現実イメージングシステム、及び／又は計算イメージングシステムとすることができる。図示の実施形態では、システム１００が、１又は２以上のディスプレイ装置１０４と、１又は２以上の入力コントローラ１０６と、カメラアレイ１１０とに動作可能／通信可能に結合された処理装置１０２を含む。他の実施形態では、システム１００が、さらなる、さらに少ない、又は異なるコンポーネントを含むことができる。いくつかの実施形態では、システム１００が、２０１９年９月２７日に出願された「媒介現実システムのためのカメラアレイ（ＣＡＭＥＲＡ ＡＲＲＡＹ ＦＯＲ Ａ ＭＥＤＩＡＴＥＤ－ＲＥＡＬＩＴＹ ＳＹＳＴＥＭ）」という名称の米国特許出願第１６／５８６，３７５号に開示されているイメージングシステムのものと概ね同様又は同一のいくつかの特徴を含むことができ、この文献は全体が引用により本明細書に組み入れられる。

【0015】

図示の実施形態では、カメラアレイ１１０が、それぞれがシーン１０８の画像を異なる視野から取り込むように構成された（カメラ１１２ａ～１１２ｎとして個々に識別される）複数のカメラ１１２を含む。カメラアレイ１１０は、先端１０３を有するツール１０１（例えば、外科用ツール）などの１又は２以上の物体の位置データを取り込んでシーン１０８を通じた／シーン１０８内の物体の動き及び／又は向きを追跡するように構成された（トラッカー１１４ａ～１１４ｎとして個々に識別される）複数の専用オブジェクトトラッカー１１４をさらに含む。いくつかの実施形態では、カメラ１１２及びトラッカー１１４が、互いに対して固定された位置及び向き（例えば、姿勢）で配置される。例えば、カメラ１１２及びトラッカー１１４は、（例えば、図３Ａ～図５Ｃを参照しながら以下でさらに詳細に説明するように）所定の固定された位置及び向きで取り付け構造（例えば、フレーム）によって／に構造的に固定することができる。いくつかの実施形態では、カメラ１１２を、隣接するカメラ１１２がシーン１０８の重なり合ったビューを共有するように配置することができる。同様に、トラッカー１１４も、隣接するトラッカー１１４がシーン１０８の重なり合ったビューを共有するように配置することができる。従って、カメラ１１２及びトラッカー１１４の全部又はサブセットは、位置及び向きなどの異なる外部パラメータを有することができる。

【0016】

いくつかの実施形態では、カメラアレイ１１０内のカメラ１１２が、シーン１０８の画像を実質的に同時に（例えば、閾値時間誤差内で）取り込むように同期する。いくつかの実施形態では、カメラ１１２の全部又はサブセットを、シーン１０８から生じる明視野に関する情報（例えば、シーン１０８内の光線の強度に関する情報、及び光線が空間内を移動している方向に関する情報）を取り込むように構成されたライトフィールド／プレノプティック／ＲＧＢカメラとすることができる。従って、いくつかの実施形態では、カメラ１１２によって取り込まれた画像が、シーン１０８の表面形状を表す深度情報を符号化することができる。いくつかの実施形態では、カメラ１１２が実質的に同一のものである。他の実施形態では、カメラ１１２が異なるタイプの複数のカメラを含むことができる。例えば、カメラ１１２の異なるサブセットは、焦点距離、センサタイプ、光学部品などの異なる固有パラメータを有することができる。カメラ１１２は、電荷結合素子（ＣＣＤ）及び／又は相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ及び関連する光学系を有することができる。このような光学系は、より大型のマクロレンズ、マイクロレンズアレイ、プリズム及び／又は負レンズと組み合わさったレンズ付きの又は裸の個々のイメージセンサを含む様々な構成を含むことができる。

【0017】

いくつかの実施形態では、トラッカー１１４が、それぞれが他のトラッカー１１４と比べて異なる視野からシーン１０８の画像を取り込むように構成された赤外線（ＩＲ）カメラなどの撮像装置である。従って、トラッカー１１４及びカメラ１１２は異なるスペクトル感度（例えば、赤外線波長対可視波長）を有することができる。いくつかの実施形態では、トラッカー１１４が、ツール１０１に結合されたマーカ１０５などの、シーン１０８内の複数の光学マーカ（例えば、基準マーカ、マーカボールなど）の画像データを取り込むように構成される。

【0018】

図示の実施形態では、カメラアレイ１１０が深度センサ１１６をさらに含む。いくつかの実施形態では、深度センサ１１６が、（ｉ）シーン１０８上／内に構造化光パターンを投影するように構成された１又は２以上のプロジェクタ１１８、及び（ｉｉ）プロジェクタ１１８によってシーン１０８上に投影された構造化光を検出してシーン１０８内の表面の深度を推定するように構成された１又は２以上のカメラ１１９（例えば、カメラ１１９の対）を含む。プロジェクタ１１８及びカメラ１１９は同じ波長で動作することができ、いくつかの実施形態ではトラッカー１１４及び／又はカメラ１１２とは異なる波長で動作することができる。他の実施形態では、深度センサ１１６及び／又はカメラ１１９を、統合された深度センサに組み込まれていない別々のコンポーネントとすることができる。さらに他の実施形態では、深度センサ１１６が、シーン１０８の表面形状を推定するＬｉＤＡＲ検出器などの他のタイプの専用深度検出ハードウェアを含むことができる。他の実施形態では、カメラアレイ１１０が、プロジェクタ１１８及び／又は深度センサ１１６を省略することもできる。

【0019】

図示の実施形態では、処理装置１０２が、画像処理装置１０７（例えば、画像プロセッサ、画像処理モジュール、画像処理ユニットなど）及び追跡処理装置１０９（例えば、追跡プロセッサ、追跡処理モジュール、追跡処理ユニットなど）を含む。画像処理装置１０７は、（ｉ）カメラアレイ１１０のカメラ１１２によって取り込まれた画像（例えば、明視野像、明視野像データなど）を受け取り、（ｉｉ）これらの画像を処理して、選択された仮想カメラ視野に対応する出力画像を合成するように構成される。図示の実施形態では、出力画像が、仮想カメラ視野に対応する任意の位置及び向きに配置されたカメラによって取り込まれるシーン１０８の画像の近似に対応する。いくつかの実施形態では、画像処理装置１０７が、深度センサ１１６からの深度情報及び／又は校正データを受け取り、画像、深度情報及び／又は校正データに基づいて出力画像を合成するようにさらに構成される。具体的には、深度情報及び校正データをカメラ１１２からの画像と共に使用し／組み合わせて、仮想カメラの視野から見たシーン１０８の３Ｄ（又は立体２Ｄ）レンダリングとして出力画像を合成することができる。いくつかの実施形態では、画像処理装置１０７が、２０１９年６月２８日に出願された「深度誤差感度に基づいて重み付けされた物理的イメージャ装置からの画素を用いた仮想視野からの画像の合成（ＳＹＮＴＨＥＳＩＺＩＮＧ ＡＮ ＩＭＡＧＥ ＦＲＯＭ Ａ ＶＩＲＴＵＡＬ ＰＥＲＳＰＥＣＴＩＶＥ ＵＳＩＮＧ ＰＩＸＥＬＳ ＦＲＯＭ Ａ ＰＨＹＳＩＣＡＬ ＩＭＡＧＥＲ ＡＲＲＡＹ ＷＥＩＧＨＴＥＤ ＢＡＳＥＤ ＯＮ ＤＥＰＴＨ ＥＲＲＯＲ ＳＥＮＳＩＴＩＶＩＴＹ）」という名称の米国特許出願第１６／４５７，７８０号に開示されている方法のいずれかを使用して出力画像を合成することができ、この文献は全体が引用により本明細書に組み入れられる。

【0020】

画像処理装置１０７は、カメラアレイ１１０内のカメラ１１２のサブセット（例えば、２つ又は３つ以上）によって取り込まれた画像から出力画像を合成することができ、必ずしも全てのカメラ１１２からの画像を利用する必要はない。例えば、処理装置１０２は、所与の仮想カメラ視野のために、仮想カメラ視野に最も密接に一致するように配置され配向されたカメラ１１２のうちの２つのカメラ１１２からの画像の立体ペアを選択することができる。いくつかの実施形態では、画像処理装置１０７（及び／又は深度センサ１１６）が、共通起点（ｃｏｍｍｏｎ ｏｒｉｇｉｎ）に対するシーン１０８の各表面地点の深度を推定し、シーン１０８の表面形状を表す点群及び／又は３Ｄメッシュを生成するように構成される。例えば、いくつかの実施形態では、深度センサ１１６のカメラ１１９が、プロジェクタ１１８によってシーン１０８上に投影された構造化光を検出してシーン１０８の深度情報を推定することができる。いくつかの実施形態では、画像処理装置１０７が、深度センサ１１６によって収集された情報を利用するか否かにかかわらず、ライトフィールド対応、ステレオブロックマッチング、フォトメトリック対称、対応、デフォーカス、ブロックマッチング、テクスチャ支援ブロックマッチング、構造化光などの技術を使用してカメラ１１２からのマルチビュー画像データから深度を推定することができる。他の実施形態では、上述した方法を別の波長で実行する特殊なカメラ１１２の組によって深度を取得することができる。

【0021】

いくつかの実施形態では、追跡処理装置１０９が、トラッカー１１４によって取り込まれた位置データを処理してシーン１０８の近傍内の物体（例えば、ツール１０１）を追跡することができる。例えば、追跡処理装置１０９は、２又は３以上のトラッカー１１４によって取り込まれた２Ｄ画像内のマーカ１０５の位置を決定し、２Ｄ位置データの三角測量を介してマーカ１０５の３Ｄ位置を計算することができる。具体的には、いくつかの実施形態では、トラッカー１１４が、取り込み画像内のマーカ１０５の重心などの位置データを取り込み画像から決定するための専用処理ハードウェアを含む。その後、トラッカー１１４は、マーカ１０５の３Ｄ位置を決定できるように位置データを追跡処理装置１０９に送信することができる。他の実施形態では、追跡処理装置１０９が、トラッカー１１４から未加工画像データを受け取ることができる。例えば、外科的応用では、追跡される物体が、手術器具、医師又は助手の手又は腕、及び／又はマーカ１０５が取り付けられた別の物体を含むことができる。いくつかの実施形態では、処理装置１０２が、追跡される物体がシーン１０８から離れていると認識することができ、例えば物体を強調表示すること、物体にラベル付けすること、又は物体に透明度を適用することなどの、追跡される物体を区別する視覚効果を適用することができる。

【0022】

いくつかの実施形態では、処理装置１０２、画像処理装置１０７及び／又は追跡処理装置１０９による機能を、実質的に２又は３以上の物理的装置によって実装することができる。例えば、いくつかの実施形態では、同期コントローラ（図示せず）がプロジェクタ１１８によって表示される画像を制御し、カメラ１１２とプロジェクタ１１８との間の同期を確実にするためにカメラ１１２に同期信号を送信して、高速、マルチフレーム、マルチカメラ構造化光スキャンを可能にする。また、このような同期コントローラは、構造化光スキャンのパラメータ、カメラ設定、及びカメラアレイ１１０のカメラ構成に特化したカメラ校正データなどのハードウェア固有の設定を記憶するパラメータサーバとして動作することもできる。同期コントローラは、ディスプレイ装置１０４を制御するディスプレイコントローラとは別の物理的装置内に実装することができ、又はこれらの装置を互いに統合することもできる。

【0023】

処理装置１０２は、プロセッサと、プロセッサによって実行された時に本明細書で説明するような処理装置１０２による機能を実行する命令を記憶する非一時的コンピュータ可読記憶媒体とを含むことができる。必須ではないが、本技術の態様及び実施形態は、例えばサーバ又はパーソナルコンピュータなどの汎用コンピュータによって実行されるルーチンなどのコンピュータ実行可能命令の一般的文脈で説明することができる。当業者であれば、本技術は、インターネット家電、ハンドヘルド装置、ウェアラブルコンピュータ、セルラー又は携帯電話機、マルチプロセッサシステム、マイクロプロセッサベースの又はプログラマブル家電、セットトップボックス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成と共に実施することができると理解するであろう。本技術は、以下で詳細に説明するコンピュータ実行可能命令のうちの１つ又は２つ以上を実行するように特別にプログラム、構成又は構築された専用コンピュータ又はデータプロセッサにおいて具現化することができる。実際に、本明細書で一般的に使用する「コンピュータ」という用語（及び同様の用語）は、上記装置のうちのいずれか、並びにデータプロセッサ、或いはゲーム装置、カメラ、又はプロセッサ及びネットワーク通信回路などの他のコンポーネントを有する他の電子装置などの消費者電子製品を含む、ネットワークとの通信が可能ないずれかの装置を意味する。

【0024】

本技術は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、又はインターネットなどの通信ネットワークを通じてリンクされたリモート処理装置によってタスク又はモジュールが実行される分散コンピューティング環境において実施することもできる。分散コンピューティング環境では、プログラムモジュール又はサブルーチンをローカル及びリモートの両方のメモリストレージデバイスに配置することができる。後述する本技術の態様は、チップ（例えば、ＥＥＰＲＯＭ又はフラッシュメモリチップ）に記憶された、磁気的及び光学的に読み取り可能かつ取り外し可能なコンピュータディスクを含むコンピュータ可読媒体上に記憶し又は分散させることができる。或いは、本技術の態様は、インターネット又は（無線ネットワークを含む）その他のネットワークを介して電子的に分散させることもできる。当業者であれば、本技術の一部がサーバコンピュータ上に存在して対応する部分がクライアントコンピュータ上に存在することもできると認識するであろう。本技術の態様に特有のデータ構造及びデータの送信も本技術の範囲に含まれる。

【0025】

仮想カメラ視野は、仮想カメラ視野の位置及び向きに対応する制御入力を提供する入力コントローラ１０６によって制御することができる。仮想カメラ視野に対応する出力画像はディスプレイ装置１０４に出力される。ディスプレイ装置１０４は、出力画像（例えば、シーン１０８の合成された３次元レンダリング）を受け取って、１又は２以上の観察者が見るための出力画像を表示するように構成される。処理装置１０２は、入力コントローラ１０６から受け取られた入力を処理し、カメラアレイ１１０から取り込まれた画像を処理して、仮想視野に対応する出力画像を、ディスプレイ装置１０４の観察者によって知覚される実質的にリアルタイムで（例えば、少なくともカメラアレイ１１０のフレームレートと同じ速さで）生成することができる。また、ディスプレイ装置１０４は、仮想視野の画像上／内にシーン１０８内のいずれかの追跡される物体（例えば、ツール１０１）のグラフィック表現を表示することもできる。

【0026】

ディスプレイ装置１０４は、例えばヘッドマウントディスプレイ装置、モニタ、コンピュータディスプレイ、及び／又は別のディスプレイ装置を含むことができる。いくつかの実施形態では、入力コントローラ１０６及びディスプレイ装置１０４がヘッドマウントディスプレイ装置に統合され、入力コントローラ１０６が、ヘッドマウントディスプレイ装置の位置及び向きを検出するモーションセンサを含む。その後、仮想視野がヘッドマウントディスプレイ装置１０４を装着した観察者によって見られる視野に対応するように、同じ参照フレーム内の（例えば、深度センサ１１６によって計算された）計算された深さにおけるヘッドマウントディスプレイ装置１０４の位置及び向きに対応する仮想カメラ視野を導出することができる。従って、このような実施形態では、ヘッドマウントディスプレイ装置１０４が、ヘッドマウントディスプレイ装置１０４を装着していない観察者が見るようなシーン１０８のリアルタイムレンダリングを提供することができる。或いは、入力コントローラ１０６は、ディスプレイ装置１０４によって表示される仮想視野を観察者が手動で制御することを可能にするユーザ制御型制御装置（例えば、マウス、ポインティングデバイス、ハンドヘルドコントローラ、ジェスチャ認識コントローラなど）を含むこともできる。

【0027】

図２は、本技術の実施形態による、外科的応用のためにシステム１００を採用する手術環境の斜視図である。図示の実施形態では、カメラアレイ１１０がシーン１０８（例えば、手術部位）上に配置され、ワークステーション２２４に動作可能に結合された可動アーム２２２を介して支持／配置される。いくつかの実施形態では、アーム２２２を手動で動かしてカメラアレイ１１０を配置することができ、他の実施形態では、入力コントローラ１０６（図１）及び／又は別のコントローラに応答してアーム２２２をロボット制御することができる。図示の実施形態では、ディスプレイ装置１０４がヘッドマウントディスプレイ装置（例えば、仮想現実ヘッドセット、拡張現実ヘッドセットなど）である。ワークステーション２２４は、処理装置１０２、ディスプレイ装置１０４、入力コントローラ１０６、カメラアレイ１１０及び／又は図１に示すシステム１００の他のコンポーネントの様々な機能を制御するコンピュータを含むことができる。従って、いくつかの実施形態では、処理装置１０２及び入力コントローラ１０６がそれぞれワークステーション２２４に統合される。いくつかの実施形態では、ワークステーション２２４が、様々な構成機能を実行するためのユーザインターフェイス、ディスプレイ装置１０４上のディスプレイの鏡像及び／又は他の有用な視覚的画像／指示を表示できる二次ディスプレイ２２６を含む。

【0028】

ＩＩ．カメラアレイの選択的実施形態
図３Ａ及び図３Ｂは、それぞれ本技術の実施形態による図１及び図２のカメラアレイ１１０及びアーム２２２の側面図及び等角図である。図３Ａ及び図３Ｂを共に参照すると、図示の実施形態では、カメラアレイ１１０が、（第１～第５の継手３３２ａ～３３２ｅとしてそれぞれ個々に識別される）複数の回転可能な継手３３２及び（第１の伸長部分３３４ａ及び第２の伸長部分３３４ｂとして個々に識別される）伸長部分３３４を介してベース３３０に移動可能に結合される。ベース３３０は、手術室内（例えば、手術室の床又はその他の剛性部分）などの所望の位置において可動台車（ｍｏｖａｂｌｅ ｄｏｌｌｙ）／カートなどにしっかりと取り付けることができる。継手３３２は、カメラ１１２及びトラッカー１１４（図１）をシーン１０８の異なる部分／容積のデータを取り込むように配置できるように、カメラアレイ１１０がシーン１０８に対して関節運動及び／又は回転することを可能にする。例えば図３Ｂを参照すると、第１の継手３３２ａはカメラアレイ１１０が軸Ａ１を中心に回転することを可能にし、第２の継手３３２ｂはカメラアレイ１１０が軸Ａ２を中心に回転することを可能にし、他も同様である。継手３３２は、（例えば、外科医、オペレータなどが）手動で制御することも、又はロボット制御することもできる。いくつかの実施形態では、アーム２２２をシーン１０８に対していずれかの選択された向き／位置に配置できるように、アーム２２２が３つよりも多くの自由度を有する。他の実施形態では、アーム２２２が、これよりも多くの又は少ない継手３３２及び／又は伸長部分３３４を含むことができる。

【0029】

図４Ａ～図４Ｃは、それぞれ本技術の実施形態によるカメラアレイ１１０の等角図、底面図及び側面図である。図４Ａ～図４Ｃを共に参照すると、カメラアレイ１１０は、カメラアレイ１１０の様々なコンポーネントを取り囲むハウジング４４０（例えば、シェル、ケーシングなど）を含む。図５Ａ～図５Ｃは、それぞれ本技術の実施形態による、ハウジング４４０を取り外したカメラアレイ１１０の等角図、底面図及び側面図である。

【0030】

図５Ａ～図５Ｃを共に参照すると、カメラアレイ１１０はフレーム５５０などの支持構造を含み、フレーム５５０には、（第１～第４のカメラ１１２ａ～１１２ｄとして個々に識別される）カメラ１１２、（第１～第４のトラッカー１１４ａ～１１４ｄとして個々に識別される）トラッカー１１４、及び深度センサ１１６が結合される（例えば、取り付けられ、しっかりと装着される）。フレーム５５０は、金属、複合材料、又は他の好適な強固で硬質の材料で形成することができる。カメラ１１２、トラッカー１１４及び深度センサ１１６は、ボルト、ブラケット、接着剤及び／又はその他の好適な締結具を介してフレームに結合することができる。いくつかの実施形態では、フレーム５５０が、カメラ１１２、トラッカー１１４、及び／又はカメラアレイ１１０の他の電子部品のためのヒートシンクとして機能するように構成され、例えばカメラアレイ１１０の周囲で熱を均一に分散させて熱的に誘導される撓み／変形を最小化することができる。

【0031】

図示の実施形態では、フレーム５５０の中心（例えば、半径方向内向き）部分にプロジェクタ１１８及び一対のカメラ１１９を含む深度センサ１１６が結合され、概ねフレーム５５０の中心軸ＡＣ（図５Ｂ）に沿って整列する。本技術の１つの態様では、カメラアレイ１１０の中心／その付近における深度センサ１１６の配置が、動作中に深度推定のためにシーン１０８（図１）がプロジェクタ１１８によって十分に照明されることを確実にするのに役立つことができる。

【0032】

カメラ１１２及びトラッカー１１４は、フレーム５５０を中心に深度センサ１１６から半径方向外向きに分布することができる。いくつかの実施形態では、トラッカー１１４がカメラ１１２の半径方向外向きにフレームに取り付けられる。図示の実施形態では、カメラ１１２及びトラッカー１１４がフレーム５５０を中心に対称的に／均等に配置される。例えば、カメラ１１２及びトラッカー１１４の各々は、（ｉ）中心軸ＡＣ及び（ｉｉ）中心軸ＡＣに対して垂直に延びる長手方向軸ＡＬから等間隔を置くことができる。本技術の１つの態様では、この間隔が、上記で詳細に説明したようにシーン１０８の仮想カメラ視野に対応する出力画像を合成する際に、処理装置１０２（図１）によって実行される処理を単純化することができる。本技術の別の態様では、カメラ１１２の配置がカメラ１１２の視差を概ね最大化し、このことはカメラ１１２からの画像データを用いた深度推定を容易にするのに役立つことができる。他の実施形態では、カメラアレイ１１０が、これよりも多くの又は少ないカメラ１１２及び／又はトラッカー１１４を含むことができ、及び／又はフレーム５５０を中心にカメラ１１２及びトラッカー１１４を異なる形で配置することができる。

【0033】

図示の実施形態では、カメラ１１２及びトラッカー１１４がフレーム５５０の中心部分に向かって（例えば、軸ＡＣ及びＡＬに向かって）内向きに配向／角度付けされる。他の実施形態では、フレーム５５０を、カメラ１１２及びトラッカー１１４をフレーム５５０に対して角度付けする必要なくカメラ１１２及びトラッカー１１４を内側に向けるように構成（例えば、成形、角度付けなど）することができる。いくつかの実施形態では、カメラ１１２がシーン１０８内の第１の焦点に概ね合焦することができ、トラッカー１１４も、カメラ１１２の第１の焦点と異なる又は同じであることができるシーン１０８内の第２の焦点に概ね合焦することができる。いくつかの実施形態では、各カメラ１１２の視野が１又は２以上の他のカメラ１１２の視野と少なくとも部分的に重なり合うことができ、各トラッカー１１４の視野が１又は２以上の他のトラッカー１１４の視野と少なくとも部分的に重なり合うことができる。いくつかの実施形態では、個々のカメラ１１２の視野を、（例えば、付属レンズの選択を介して）カメラ１１２の有効空間解像度を変化させるように選択することができる。例えば、カメラ１１２の有効空間解像度及び結果として得られるシステム１００の精度を高めるためにカメラ１１２の視野を狭めることができる。

【0034】

図示の実施形態では、カメラ１１２が同一のものであり、例えば同じ焦点距離、焦点深度、解像度、色特性及びその他の固有パラメータを有する。他の実施形態では、カメラ１１２の一部又は全部が異なることができる。例えば、第１及び第２のカメラ１１２ａ、１１２ｂ（例えば、第１のカメラ１１２の対）は、第３及び第４のカメラ１１２ｃ、１１２ｄ（例えば、第２のカメラ１１２の対）とは異なる焦点距離又はその他の特性を有することができる。このようないくつかの実施形態では、システム１００が、各カメラ１１２の対毎に独立して立体ビューをレンダリング／生成することができる。いくつかの実施形態では、カメラ１１２が、約１０メガピクセル以上（例えば、１２メガピクセル以上）の解像度を有することができる。いくつかの実施形態では、カメラ１１２が、典型的な高解像度カメラと比べて相対的に小さなレンズ（例えば、約５０ミリメートル）を有することができる。

【0035】

図４Ａ～図５Ｃを共に参照すると、ハウジング４４０は、（ｉ）カメラ１１２と整列した第１の開口部４４４、（ｉｉ）トラッカー１１４と整列した第２の開口部４４６及び（ｉｉｉ）深度センサ１１６と整列した第３の開口部４４８を有する下面４４２を含む。いくつかの実施形態では、カメラアレイ１１０内への埃、汚れなどの侵入を抑制するために、開口部４４４、４４６、４４８の一部又は全部を透明パネル（例えば、ガラス又はプラスチック、パネル）で覆うことができる。いくつかの実施形態では、ハウジング４４０が、例えば開口部４４４、４４６、４４８の各々を横切る透明パネルを通過する光の反射、回折、散乱などに起因する取り込みデータの歪みを抑えるために、パネルがカメラ１１２、トラッカー１１４及び深度センサ１１６の角度に対して垂直に配置されるように構成（例えば、成形）される。

【0036】

再び図５Ａ～図５Ｃを共に参照すると、カメラアレイ１１０は、統合された電気コンポーネント、通信コンポーネント及び／又はその他のコンポーネントを含むことができる。例えば、図示の実施形態では、カメラアレイ１１０が、フレーム５５０に結合された回路基板５５４（例えば、プリント回路基板）及びイン／アウト（Ｉ／Ｏ）回路ボックス５５６をさらに含む。Ｉ／Ｏ回路ボックス５５６は、１又は２以上のコネクタ５５７（図５Ｂ）を介してカメラ１１２、トラッカー１１４及び／又は深度センサ１１６を処理装置１０２などのシステム１００の他のコンポーネントに通信可能に結合するために使用することができる。

【0037】

図６は、本技術の実施形態による外科的応用中の手術環境におけるシステム１００の正面図である。図示の実施形態では、少なくとも部分的にカメラアレイ１１０の下方のシーン１０８内に患者６６５が配置されている。外科的応用は、患者６６５の脊椎６６７に対して行われる脊椎処置などの、患者の関心部分に対して行われる処置とすることができる。脊椎処置は、例えば脊椎固定処置とすることができる。他の実施形態では、外科的応用が、患者６６５の身体の別の関心部分を対象にすることができる。

【0038】

図３Ａ～図６を共に参照すると、いくつかの実施形態では、アーム２２２の継手３３２及び／又は伸長部分３３４のうちの１つ又は２つ以上を関節運動させ／動かすことによって、カメラアレイ１１０を患者６６５の上方の位置に動かすことができる。いくつかの実施形態では、カメラアレイ１１０を、深度センサ１１６が患者の脊椎６７７と概ね整列するように（例えば、脊椎６７７がカメラアレイ１１０の中心軸ＡＣと概ね整列するように）配置することができる。いくつかの実施形態では、カメラアレイ１１０を、深度センサ１１６の主焦点深度／平面に対応する患者６６５の脊椎６７７の上方の距離Ｄに深度センサ１１６が位置するように配置することができる。いくつかの実施形態では、深度センサの焦点深度Ｄが約７５センチメートルである。本技術の１つの態様では、この深度センサ１１６の配置が、脊椎６６７の正確な画像再構成を容易にする正確な深度測定を確実にすることができる。

【0039】

図示の実施形態では、カメラ１１２がそれぞれシーン１０８の視野６６４を有し、トラッカー１１４がそれぞれシーン１０８の視野６６６を有する。いくつかの実施形態では、カメラ１１２の視野６６４が互いに少なくとも部分的に重なり合って共に撮像容積を定めることができる。同様に、トラッカー１１４の視野６６６は、互いに（及び／又はカメラ１１２の視野６６４に）少なくとも部分的に重なり合って共に追跡容積を定めることができる。いくつかの実施形態では、トラッカー１１４が、視野６６６の重なり合いが最大になるように配置され、追跡容積が、全ての視野６６６が重なり合う容積として定められる。いくつかの実施形態では、（ｉ）トラッカー１１４の視野６６６の方がカメラ１１２の視野６６４よりも大きく、及び／又は（ｉｉ）トラッカー１１４がカメラアレイ１１０に沿ってさらに半径方向外向きに（例えば、カメラアレイ１１０の周辺部近くに）配置されるという理由で、追跡容積の方が撮像容積よりも大きい。例えば、トラッカー１１４の視野６６６は約８２×７０度とすることができ、カメラ１１２の視野６６４は約１５×１５度とすることができる。いくつかの実施形態では、カメラ１１２の視野６６６が完全に重なり合わず、全てのカメラ１１２によってカバーされる結果としての撮像容積がトラッカー１１４によってカバーされる容積のサブセットとして存在する選択的容積を有するように、重なり合いの領域がタイル状である。いくつかの実施形態では、各カメラ１１２が焦点軸６６８を有し、焦点軸６６８が、概ね深度センサ１１６の焦点深度Ｄよりも下方の地点（例えば、深度センサ１１８の焦点深度Ｄよりも約５センチメートル下方の地点）で収束する。本技術の１つの態様では、焦点軸６６８の収束／整列が、カメラ１１２間の視差測定値（ｄｉｓｐａｒｉｔｙ ｍｅａｓｕｒｅｍｅｎｔｓ）を概ね最大化することができる。本技術の別の態様では、カメラアレイ１１０を中心とするカメラ１１２の配置が患者６６５の脊椎６６７の高角度解像度を提供することにより、処理装置１０２が脊椎６６７を含むシーン１０８の仮想画像を再構成することが可能になる。

【0040】

ＩＩＩ．高精度物体追跡の選択的実施形態
再び図１を参照すると、システム１００は、（ｉ）トラッカー１１４を用いた光学ベースの追跡法、及び／又は（ｉｉ）カメラ１１２を用いた画像ベースの追跡法を介して、シーン１０８内のツール１０１の先端１０３などの１又は２以上の物体を追跡するように構成される。例えば、処理装置１０２（例えば、追跡処理装置１０９）は、トラッカー１１４からのデータを処理してシーン１０８内のマーカ１０５の位置（例えば、位置及び向き）を決定することができる。具体的には、処理装置１０２は、複数のトラッカー１１４によって取り込まれた画像からマーカ１０５の３次元（３Ｄ）位置を三角測量することができる。その後、処理装置１０２は、例えば様々なマーカ１０５の重心を決定し、重心とツール１０１の先端１０３との間に既知のオフセットを適用することによって、ツール１０１の既知の（例えば、所定の、校正済みの、などの）モデルに基づいてツールの先端１０３の位置を推定することができる。いくつかの実施形態では、トラッカー１１４が、トラッカー１１４からの画像内でマーカ１０５を容易に識別できるような波長（例えば、近赤外線）で動作して、マーカ１０５の位置を識別するために必要な画像処理を大幅に単純化する。

【0041】

しかしながら、ツール１０１などの剛体を追跡するには、システム１００が様々なマーカ１０５の重心を追跡できるように少なくとも３つのマーカ１０５を取り付けなければならない。多くの場合は、実用的制約に起因して、ツール１０１がユーザによって把持された時に見える状態を保ったままでしかもユーザの邪魔にならないようにツール１０１の先端１０３（例えば、ツール１０１の作業部分）の反対側に複数のマーカ１０５を配置しなければならない。従って、マーカ１０５とツール１０１の先端１０３との間の既知のオフセットはマーカ１０５が見える状態を保つように比較的大きくなければならず、決定されたマーカ１０５の位置に誤差があると、これがツール１０１の長さに沿って伝播されるようになる。

【0042】

これに加えて又はこれに代えて、処理装置１０２は、カメラ１１２からの画像データ（例えば、可視波長データ）を処理してツール１０１の位置を決定することもできる。このような画像ベースの処理は、トラッカー１１４を使用する光学ベースの方法よりも比較的高い精度を達成することができるが、画像処理の複雑さに起因してフレームレートが低くなる。このことは、カメラ１１２によって取り込まれるような高解像度画像の場合に特に当てはまる。具体的には、カメラ１１２は、追跡される物体の特徴である特徴点として機能するシーン１０８の表面の高周波の詳細を取り込むように構成される。しかしながら、追跡精度を低下させる誤った対応を低減するためにフィルタ処理しなければならない画像特徴が過剰になって計算要件がさらに高まる傾向がある。

【0043】

いくつかの実施形態では、システム１００が、トラッカー１１４及びカメラ１１２の両方からの追跡情報を使用することによってツール１０１の先端１０３を高精度かつ低遅延で追跡するように構成される。例えば、システム１００は、（ｉ）トラッカー１１４からのデータを処理して先端１０３の位置を推定し、（ｉｉ）この推定位置に基づいてカメラ１１２からの画像内に関心領域（ＲＯＩ）を定め、その後に（ｉｉｉ）画像内のＲＯＩを処理してトラッカー１１４からの推定位置よりも高い精度（例えば、サブピクセル精度で）で先端１０３の位置を決定することができる。本技術の１つの態様では、ＲＯＩがカメラ１１２からの画像データのわずかな部分しか含まないので、ＲＯＩに対する画像処理に計算コストがかからず高速である。

【0044】

具体的には、図７は、本技術の実施形態による、トラッカー１１４によって取り込まれた追跡／位置データ及びカメラ１１２によって取り込まれた画像データを使用してツール１０１の先端１０３を追跡するプロセス又は方法７７０のフロー図である。方法７７０のいくつかの特徴については、説明を目的として図１～図６に示す実施形態の文脈で説明するが、当業者であれば、本明細書で説明する他の好適なシステム及び／又は装置を使用して方法７７０を実施することもできると容易に理解するであろう。同様に、本明細書ではツール１０１の追跡について言及するが、方法７７０は、反射マーカを含むシーン１０８内の他の物体（例えば、外科医の腕、さらなるツールなど）の全部又は一部を追跡するために使用することもできる。

【0045】

方法７７０は、ブロック７７１において、システム１００を内的及び外的に校正すること、並びにツール１０１の正確な追跡を可能にするようにツール１０１のパラメータを校正することを含む。図示の実施形態では、校正がブロック７７２～７７５を含む。方法７７０は、ブロック７７２及び７７３において、システム１００のカメラ１１２及びトラッカー１１４をそれぞれ校正することを含む。いくつかの実施形態では、処理装置１０２が、カメラ１１２及びトラッカー１１４について、３Ｄ空間内のカメラ１１２／トラッカー１１４の各々の位置及び向きを共有原点及び／又はそれぞれの視野の重複量に関して検出する校正プロセスを実行する。例えば、いくつかの実施形態では、処理装置１０２が、（ｉ）カメラ１１２／トラッカー１１４の各々からのシーン１０８内に配置された基準マーカを含む取り込み画像を処理し、（ｉｉ）キーポイント（例えば、基準マーカに対応する地点）の再投影誤差を最小化するためにカメラパラメータ及び歪み係数にわたる最適化を実行することができる。いくつかの実施形態では、処理装置１０２が、異なるカメラビューにわたって特徴点を相関させることによって校正プロセスを実行することができる。相関される特徴は、例えば２値画像からの反射マーカ重心、グレースケール又はカラー画像からのスケール不変特徴変換（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍｓ：ＳＩＦＴ）特徴などとすることができる。いくつかの実施形態では、処理装置１０２が、ＣｈＡｒＵｃｏターゲットから特徴点を抽出し、ＯｐｅｎＣＶカメラ校正ルーチンを使用して特徴点を処理することができる。他の実施形態では、Ｈａｌｃｏｎサークルターゲット、又は既知の位置を有する十分に定められた特徴点を有する他のカスタムターゲットを使用してこのような校正を実行することができる。いくつかの実施形態では、バンドル分析（ｂｕｎｄｌｅ ａｎａｌｙｓｉｓ）及び／又はその他の好適な技術を使用してさらなる校正精緻化を実行することができる。

【0046】

方法７７０は、ブロック７７４において、カメラ１１２及びトラッカー１１４の両方からのデータを使用して共通基準フレーム内でツール１０１を追跡できるようにカメラ１１２及びトラッカー１１４を共校正（ｃｏ－ｃａｌｉｂｒａｔｉｎｇ）することを含む。いくつかの実施形態では、カメラ１１２及びトラッカー１１４をシーン１０８内の既知のターゲットの撮像に基づいて共校正することができる。例えば、図８は、本技術の実施形態による共校正ターゲット８８０の等角図である。いくつかの実施形態では、カメラ１１２及びトラッカー１１４のスペクトル感度が重複しない。例えば、カメラ１１２は可視波長カメラとすることができ、トラッカー１１４は赤外線イメージャとすることができる。従って、図示の実施形態では、ターゲット８８０が、（ｉ）カメラ１１２が視認できるパターン８８２と、（ｉｉ）トラッカー１１４が視認できる複数の再帰反射マーカ８８４とを含むマルチスペクトルターゲットである。パターン８８２及びマーカ８８４は、共通起点及び座標フレームにおける位置（例えば、ツール１０１の）を測定するようにカメラ１１２及びトラッカー１１４を共校正できるように共通起点及び座標フレームを共有する。すなわち、結果として得られるカメラ１１２及びトラッカー１１４の外的共校正は、共通基準フレームにおいて、又はこれらの参照起点間の測定された変換を使用して表すことができる。図示の実施形態では、パターン８８２が、印刷された白黒のＨａｌｃｏｎサークルターゲットパターンである。他の実施形態では、パターン８８２を、別の黒白（又は他の高コントラスト色の組み合わせ）のＡｒＵｃｏ、ＣｈＡｒＵｃｏ、又はＨａｌｃｏｎターゲットパターンとすることができる。

【0047】

他の実施形態では、カメラ１１２及びトラッカー１１４によって測定されるターゲット８８０を正確に位置合わせする必要がなく、ハンドアイ校正法（ｈａｎｄ－ｅｙｅ ｃａｌｉｂｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）を使用して別々に決定することができる。さらに他の実施形態では、パターン８８２の２つの高コントラスト領域を形成するために使用されるインク又は材料が、カメラ１１２及びトラッカー１１４の両方に使用される測定波長に対して同様の吸収／反射を示すことができる。いくつかの実施形態では、例えば所望の追跡容積にわたる校正点の均一なサンプリングを可能にするように構成（例えば、成形、サイズ決定、正確に製造）されたターゲット８８０の撮像に基づいて、ブロック７７２～７７４を単一の校正ステップに組み合わせることができる。

【0048】

方法７７０は、ブロック７７５において、ツール１０１の主軸と取り付けられた様々なマーカ１０５に対する先端１０３の位置とを決定するようにツール１０１（及び／又は追跡されるいずれかのさらなる物体）を校正することを含む。いくつかの実施形態では、カメラ１１２及びトラッカー１１４が空間的に固定された（例えば、カメラアレイ１１０のフレーム５５０にしっかりと固定された）状態を保ってこれらの光学特性が変化しない限り、システム１００の校正（ブロック７７１）を１回のみ実行すればよい。しかしながら、カメラ１１２及びトラッカー１１４の光学特性は、振動及び／又は熱サイクルによってわずかに変化する場合もある。このような場合には、システム１００を再校正することができる。

【0049】

ブロック７７６～７７９には、シーン１０８内のツール１０１の先端１０３の位置を高精度かつ低遅延で決定するための処理ステップを示す。図９Ａ及び図９Ｂは、本技術の実施形態による、図７の方法７７０の様々なステップを示すツール１０１の部分的概略側面図である。従って、方法７７０のいくつかの態様については図９Ａ及び図９Ｂの文脈で説明する。

【0050】

方法７７０は、ブロック７７６において、トラッカー１１４を使用してツール１０１の先端１０３の３Ｄ位置を推定することを含む。例えば、トラッカー１１４は、取り込み画像データを処理して画像データ内のマーカ１０５の重心を決定することができる。処理装置１０２は、（ｉ）トラッカー１１４から重心情報を受け取り、（ｉｉ）重心情報を三角測量してマーカ１０５の３Ｄ位置を決定し、（ｉｉｉ）ツール１０１の校正に基づいてツール１０１の主軸を決定し（ブロック７７５）、その後に（ｉｖ）主軸とマーカ１０５に対する先端１０３の校正されたオフセットとに基づいて先端１０３の３Ｄ位置を推定することができる。例えば、図９Ａに示すように、システム１００は、マーカ１０５の決定／測定された位置に基づいて（例えば、直交ＸＹＺ座標系に関してツール位置１０１’として破線で示す）ツール１０１の位置及び向きを推定し、ツール１０１を主軸ＡＰを有するものとしてモデル化する。次に、システム１００は、主軸ＡＰに沿ったマーカ１０５からの（例えば、マーカ１０５の重心からの）校正されたオフセットＣに基づいて（先端位置１０３’として示す）先端１０３の位置を推定する。位置データからマーカ１０５の位置を三角測量できるように、少なくとも２つのトラッカー１１４からのデータが必要である。いくつかの実施形態では、システム１００が、各トラッカー１１４からのデータを使用して先端１０３の位置を推定することができる。他の実施形態では、先端１０３の３Ｄ位置を推定するために実行される処理をトラッカー１１４と処理装置１０２との間で異なる形で分割することができる。例えば、処理装置１０２は、トラッカーから未加工画像データを受け取って画像データ内のマーカの重心を決定するように構成することができる。

【0051】

方法７７０は、ブロック７７７において、ブロック７７６で決定された推定される先端１０３の位置に基づいて１又は２以上のカメラ１１２からの画像内の関心領域（ＲＯＩ）を定めることを含む。例えば、図９Ｂに示すように、システム１００は、推定される３Ｄ先端位置１０３’の周囲にＲＯＩ９８６を定めることができる。具体的には、推定される３Ｄ先端位置１０３’を使用して、決定された限界寸法（例えば、半径、面積、直径など）で３Ｄ容積（例えば、立方体、球体、直方体など）を初期化する。次に、３Ｄ容積をカメラ１１２からの２Ｄ画像にマッピング／投影する。いくつかの実施形態では、例えばシステム１００の既知の幾何形状及びツール１０１の動きパラメータに基づいて限界寸法を固定することができる。図９Ｂにさらに示すように、ツール１０１の先端１０３の実際の３Ｄ位置は、（例えば、ツール１０１の長さに沿って伝播する）測定誤差に起因して、推定される先端１０３’の位置とは異なる場合がある。いくつかの実施形態では、ＲＯＩ９８６の寸法及び／又は形状が、先端１０３の実際の位置が常に又はほぼ常にＲＯＩ９８６内に収まるように選択される。他の実施形態では、以下でブロック７７８を参照しながら詳細に説明するように、システム１００が、最初に最小サイズを有するようにＲＯＩ９８６を定め、先端１０３の位置がＲＯＩ９８６内に存在すると決定されるまでＲＯＩ９８６のサイズを反復的に拡大することができる。

【0052】

いくつかの実施形態では、ツール１０１の画像を取り込むように特異的に配置された１つのカメラ１１２などの１つのカメラ１１２のみからのデータについてＲＯＩ処理を実行することができる。他の実施形態では、カメラアレイ１１０内の２又は３以上（例えば、全て）のカメラ１１２についてＲＯＩ処理を実行することができる。すなわち、各カメラ１１２からの１又は２以上の画像内にＲＯＩを定めることができる。

【0053】

方法７７０は、ブロック７７８において、（単複の）ＲＯＩ内のツール１０１の先端１０３の位置を決定することを含む。いくつかの実施形態では、処理装置１０２が、スケール不変特徴変換（ＳＩＦＴ）法、迅速ロバスト特徴（ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ：ＳＵＲＦ）法、及び／又は方向付きＦＡＳＴ及び回転ＢＲＩＥＦ（ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ ｒｏｔａｔｅｄ ＢＲＩＥＦ：ＯＲＢ）法を使用してＲＯＩ画像から直接特徴点の組を識別することによって先端１０３の位置を決定することができる。他の実施形態では、処理装置１０２が、ヒストグラムを使用して（単複の）ＲＯＩ内の先端１０３の位置を突き止めることができる。さらに他の実施形態では、処理装置１０２が、（ｉ）例えばハフ（Ｈｏｕｇｈ）変換又は主成分分析（ＰＣＡ）を使用してツール１０１の主軸を決定／識別し、その後に（ｉｉ）例えば特徴点又は画像勾配を使用する方法（例えば、ソーベル（Ｓｏｂｅｌ）フィルタ）を使用して主軸に沿った先端１０３を探索して、ツール１０１の主軸に沿った先端の位置を決定することができる。さらに他の実施形態では、処理装置１０２が、先端１０３のサブピクセル定位（ｓｕｂ－ｐｉｘｅｌ ｌｏｃａｌｉｚａｔｉｏｎ）を可能にする勾配ベースの手法を利用することができる。

【0054】

最後に、ブロック７７９において、（単複の）ＲＯＩにおける決定された先端１０３の（単複の）位置を使用して、例えばブロック７７６においてトラッカー１１４によって推定された位置よりも正確な更新／精緻化された先端１０３の３Ｄ位置を決定する。システム１００が複数のカメラ１１２からの画像データを処理する（例えば、複数のカメラ１１２からの画像内でＲＯＩが決定される）いくつかの実施形態では、カメラ１１２からの２Ｄ画像における決定された先端１０３の位置に基づいて先端１０３の３Ｄ位置を直接三角測量することができる。システム１００が１つのカメラ１１２のみからの画像データを処理する（例えば、１つのカメラ１１２のみからの画像内でＲＯＩが決定される）他の実施形態では、カメラ１１２の校正を使用してカメラ１１２からの２Ｄ画像内の先端１０３の位置を３Ｄライン内に投影することによって先端１０３の３Ｄ位置を決定することができる（ブロック７７２）。いくつかの実施形態では、その後、システム１００が、（ｉ）カメラ画像内の先端位置によって定められるこの３Ｄラインと、（ｉｉ）トラッカー１１４（ブロック７７６）及びツール１０１の校正（ブロック７７５）から決定される主軸ＡＰ（図９Ａ）との最も近い地点又は交点として先端１０３の位置を決定する。

【0055】

本技術の１つの態様では、システム１００が、１つのカメラ１１２のみからではなく複数のカメラ１１２からの画像データを処理することによって、先端１０３の更新された３Ｄ位置をより高い精度で決定することができる。具体的には、精緻化された先端１０３の３Ｄ位置は、複数のカメラ１１２を利用して三角測量によって直接決定され、トラッカー１１４からのデータ（例えば、主軸ＡＰの位置及び向き）に依存しない。本技術の別の態様では、少なくとも２つのカメラ１１２にツール１０１が見えている限りカメラアレイ１１０とツール１０１との間の相対的配向が制約されないので、複数のカメラ１１２を利用することによってカメラアレイ１１０のレイアウト／配置の柔軟性が増す。

【0056】

本技術の別の態様では、カメラ１１２の方がトラッカー１１４よりも高い解像度を有し、トラッカー１１４はカメラ１１２よりも広い視野をカバーすることができるが解像度が低いので、カメラ１１２（ブロック７７９）から決定される先端１０３の位置の方がトラッカー１１４（ブロック７７６）から決定される位置よりも高精度である。さらに、通常、トラッカー１１４は、マーカ１０５が十分な画素で撮像されてマーカ１０５とシーン１０８の背景との間のエッジがはっきりしている場合に良好に機能する。一方で、カメラ１１２は、トラッカー１１４と同様の視野をカバーしながらはるかに高い有効空間解像度を有するような非常に高い解像度を有することができる。

【0057】

いくつかの実施形態では、システム１００が、先端１０３の３Ｄ位置を決定した後に、シーン１０８の仮想レンダリング上に（例えば、ディスプレイ装置１０４上に提供されるような）ツール１０１のグラフィック表現をオーバーレイ表示することができる。方法７７０は、さらにブロック７７６に戻って、ツール１０１の３Ｄ位置をリアルタイム又は準リアルタイムに高精度で更新することができる。本技術の１つの態様では、トラッカー１１４からの先端１０３の位置の３Ｄ推定値がＲＯＩの初期化に使用されるため、画像全体ではなくカメラ１１２からの画像データ内のＲＯＩのみを処理すればよいので、高フレームレートかつ低遅延で更新を実行することができる。ＲＯＩを使用しなければ、カメラ１１２からの画像の処理要件が非常に大きくなり、低遅延で処理することが困難又は不可能になると思われる。或いは、カメラ１１２の解像度を下げて処理要件を低下させることもできるが、結果としてシステムがもたらす精度の向上は、トラッカー１１４単独の場合と比べて皆無かそれに近いと思われる。

【0058】

ＩＶ．さらなる実施例
以下の実施例は、本技術の複数の実施形態を示すものである。
１．カメラアレイであって、
中心を有する支持構造と、
中心に近接して支持構造に取り付けられた深度センサと、
深度センサから半径方向外向きに支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
カメラから半径方向外向きに支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を備えるカメラアレイ。

【0059】

２．複数のカメラは４つのカメラを含み、複数のトラッカーは４つのトラッカーを含み、カメラ及びトラッカーは支持構造を中心に対称に配置される、実施例１に記載のカメラアレイ。

【0060】

３．支持構造は、中心軸と、中心軸に対して直角に延びる長手方向軸とを含み、深度センサは中心軸に沿って整列し、カメラの各々及びトラッカーの各々は、中心軸及び長手方向軸から等間隔を空ける、実施例１又は実施例２に記載のカメラアレイ。

【0061】

４．トラッカーは赤外線イメージャである、実施例１～３のいずれか１つに記載のカメラアレイ。

【0062】

５．トラッカーは、カメラとは異なるスペクトル感度を有するイメージャである、実施例１～４のいずれか１つに記載のカメラアレイ。

【0063】

６．カメラ及びトラッカーはそれぞれ視野を有し、カメラの視野は、少なくとも部分的に重なり合って撮像容積を定め、トラッカーの視野は、少なくとも部分的に重なり合って撮像容積よりも大きな追跡容積を定める、実施例１～５のいずれか１つに記載のカメラアレイ。

【0064】

７．カメラは、それぞれ支持構造の中心に向かって半径方向内向きに角度付けされる、実施例１～６のいずれか１つに記載のカメラアレイ。

【0065】

８．深度センサは焦点面を有し、カメラはそれぞれ焦点軸を有し、カメラの焦点軸は、深度センサの焦点面の下方の地点で収束する、実施例７に記載のカメラアレイ。

【0066】

９．媒介現実システムであって、
中心を有する支持構造と、
中心に近接して支持構造に取り付けられた深度センサと、
深度センサから半径方向外向きに支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
カメラから半径方向外向きに支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を含むカメラアレイと、
シーンの仮想視野の位置及び向きを制御するように構成された入力コントローラと、
カメラアレイ及び入力コントローラに通信可能に結合されて、
カメラのうちの少なくとも２つのカメラからの画像データに基づいて仮想視野に対応する仮想画像を合成し、
トラッカーのうちの少なくとも２つのトラッカーからの位置データに基づいてツールの位置を決定する、
ように構成された処理装置と、
処理装置に通信可能に結合されて、仮想画像内の決定された位置におけるツールのグラフィック表現を表示するように構成されたディスプレイ装置と、
備える媒介現実システム。

【0067】

１０．処理装置は、カメラのうちの少なくとも１つのカメラからの画像データに基づいてツールの位置を決定するようにさらに構成される、実施例９に記載の媒介現実システム。

【0068】

１１．処理装置は、
トラッカーのうちの少なくとも２つのトラッカーからの位置データに基づいてツールの初期３次元（３Ｄ）位置を推定し、
ツールの初期３Ｄ位置に基づいて、カメラのうちの少なくとも１つのカメラからの画像データ内に関心領域を定め、
関心領域における画像データを処理して関心領域におけるツールの位置を決定し、
関心領域におけるツールの決定された位置に基づいてツールの更新された３Ｄ位置を決定する、
ことによってツールの位置を決定するように構成される、実施例１０に記載の媒介現実システム。

【0069】

１２．シーン内の被験者を撮像する方法であって、
カメラアレイの深度センサを被験者の関心部分と位置合わせして、関心部分が深度センサの焦点深度の近傍に配置されるようにすることと、
カメラアレイの複数のカメラを使用して被験者の関心部分を含むシーンの画像データを取り込むことと、
カメラアレイの複数のトラッカーを使用してシーン内のツールの位置データを取り込むことと、
シーンの仮想視野の選択された位置及び向きに関する入力を受け取ることと、
画像データに基づいて、シーンの仮想視野に対応する仮想画像を合成することと、
位置データに基づいてツールの位置を決定することと、
ディスプレイ装置において、仮想画像内の決定された位置におけるツールのグラフィック表現を表示することと、
を含む方法。

【0070】

１３．シーンは手術シーンであり、被験者の関心部分は被験者の脊椎である、実施例１２に記載の方法。

【0071】

１４．カメラはそれぞれ焦点軸を有し、カメラの焦点軸は、深度センサの焦点深度の下方の地点で収束する、実施例１２又は実施例１３に記載の方法。

【0072】

１５．ツールの位置及び向きを決定することは、画像データにさらに基づく、実施例１２～１４のいずれか１つに記載の方法。

【0073】

１６．ツールの位置を決定することは、
位置データに基づいてツールの初期３次元（３Ｄ）位置を推定することと、
ツールの初期３Ｄ位置に基づいて画像データ内に１又は２以上の関心領域を定めることと、
１又は２以上の関心領域における画像データを処理して１又は２以上の関心領域におけるツールの位置を決定することと、
１又は２以上の関心領域におけるツールの決定された位置に基づいてツールの更新された３Ｄ位置を決定することと、
を含む、実施例１５に記載の方法。

【0074】

１７．シーン内のツールの先端の位置を決定する方法であって、
少なくとも２つのトラッカーからツールの位置データを受け取ることと、
位置データに基づいてツールの先端の３次元（３Ｄ）位置を推定することと、
１又は２以上のカメラの各々からシーンの画像を受け取ることと、
１又は２以上のカメラの各々からの画像について、
ツールの先端の推定された３Ｄ位置に基づいて画像内に関心領域を定めることと、
関心領域における画像を処理して関心領域におけるツールの先端の位置を決定することと、
１又は２以上の画像の関心領域におけるツールの決定された位置に基づいてツールの先端の更新された３Ｄ位置を決定することと、
を含む方法。

【0075】

１８．１又は２以上のカメラの各々から画像を受け取ることは、複数のカメラのうちの対応するカメラから画像を受け取ることを含み、ツールの先端の更新された３Ｄ位置を決定することは、複数のカメラからの画像内の関心領域におけるツールの先端の決定された位置に基づいて、更新された３Ｄ位置を三角測量することを含む、実施例１７に記載の方法。

【0076】

１９．ツールの先端の３Ｄ位置を推定することは、
ツールの主軸を決定することと、
主軸に沿った既知のオフセットに基づいて３Ｄ位置を推定することと、
を含む、実施例１７又は実施例１８に記載の方法。

【0077】

２０．１又は２以上のカメラの各々から画像を受け取ることは、１つのカメラから画像を受け取ることを含み、ツールの先端の更新された３Ｄ位置を決定することは、
カメラの校正に基づいて、関心領域におけるツールの先端の位置を３Ｄライン内に投影することと、
３Ｄラインとツールの主軸との交点に基づいて、ツールの先端の更新された３Ｄ位置を決定することと、
を含む、実施例１９に記載の方法。

【0078】

２１．カメラアレイであって、
中心領域を有する支持構造と、
中心領域において支持構造に取り付けられて、シーンの少なくとも一部の第１の画像データを取り込むように構成された第１のカメラと、
中心領域から離れて第１のカメラから外向きに支持構造に取り付けられて、シーンの少なくとも一部の第２の画像データを取り込むように構成された複数の第２のカメラと、
中心領域から離れて第２のカメラから外向きに支持構造に取り付けられて、シーンの少なくとも一部の第３の画像データを取り込むように構成された第３のカメラと、
第１のカメラ、第２のカメラ及び第３のカメラに通信可能に結合された処理装置と、
を備え、処理装置は、第１の画像データ、第２の画像データ及び／又は第３の画像データに基づいて、
シーンの少なくとも一部の深さを決定し、
シーン内のツールの位置を決定する、
ように構成される、カメラアレイ。

【0079】

２２．第１のカメラ、第２のカメラ及び第３のカメラは、互いに異なる少なくとも１つの固有パラメータをそれぞれ有する、実施例２１に記載のカメラアレイ。

【0080】

２３．第２のカメラは互いに実質的に同一であり、第３のカメラは互いに実質的に同一である、実施例２２に記載のカメラアレイ。

【0081】

２４．第１のカメラ、第２のカメラ及び第３のカメラは異なる波長で動作する、実施例２１～２３のいずれか１つに記載のカメラアレイ。

【0082】

２５．第２のカメラは互いに実質的に同一であり、第３のカメラは互いに実質的に同一である、実施例２４に記載のカメラアレイ。

【0083】

２６．処理装置は、第１の画像データ、第２の画像データ及び／又は第３の画像データに基づいて、シーンの仮想視野に対応する仮想画像を合成するようにさらに構成される、実施例２１～２５のいずれか１つに記載のカメラアレイ。

【0084】

２７．第２及び第３のカメラの各々は、支持構造の中心領域に向かって半径方向内向きに角度付けされる、実施例２１～２６のいずれか１つに記載のカメラアレイ。

【0085】

２８．第２のカメラ及び第３のカメラはそれぞれ視野を有し、第２のカメラの視野は少なくとも部分的に重なり合って第１の容積を定め、第３のカメラの視野は少なくとも部分的に重なり合って第１の容積よりも大きな第２の容積を定める、実施例２１～２７のいずれか１つに記載のカメラアレイ。

【0086】

２９．第１のカメラは焦点面を有し、第２のカメラはそれぞれ焦点軸を有し、第２のカメラの焦点軸は、第１のカメラの焦点面とは異なる地点で収束する、実施例２１～２８のいずれか１つに記載のカメラアレイ。

【0087】

３０．第１のカメラは焦点面を有し、第２のカメラはそれぞれ焦点軸を有し、第２のカメラの焦点軸は、第１のカメラの焦点面の下方の地点で収束する、実施例２１～２９のいずれか１つに記載のカメラアレイ。

【0088】

３１．カメラアレイであって、
支持構造と、
支持構造に取り付けられた、焦点面を有する深度センサと、
支持構造に取り付けられ、シーンの画像データを取り込むように構成され、深度センサの焦点面とは異なる地点で収束する焦点軸をそれぞれが有する複数のカメラと、
支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を備えるカメラアレイ。

【0089】

３２．カメラの焦点軸は、深度センサの焦点面の下方の地点で収束する、実施例３１に記載のカメラアレイ。

【0090】

３３．深度センサは、支持構造の中心領域に取り付けられる、実施例３１又は実施例３２のカメラアレイ。

【0091】

３４．カメラ及びトラッカーは、中心領域から離れて深度センサから半径方向外向きに配置される、実施例３３に記載のカメラアレイ。

【0092】

３５．トラッカーは、中心領域から離れてカメラから半径方向外向きに配置される、実施例３３又は実施例３４のカメラアレイ。

【0093】

３６．トラッカーは、支持構造の周辺部に近接して配置される、実施例３１～３５のいずれか１つに記載のカメラアレイ。

【0094】

３７．カメラ及びトラッカーはそれぞれ視野を有し、カメラの視野は、少なくとも部分的に重なり合って撮像容積を定め、トラッカーの視野は、少なくとも部分的に重なり合って撮像容積よりも大きな追跡容積を定め、トラッカーは、カメラとは異なるスペクトル感度を有するイメージャである、実施例３１～３６のいずれか１つに記載のカメラアレイ。

【0095】

３８．支持構造は、中心軸と、中心軸に対して直角に延びる長手方向軸とを含み、深度センサは中心軸に沿って整列し、カメラの各々及びトラッカーの各々は、中心軸及び長手方向軸から概ね等間隔を空ける、実施例３１～３７のいずれか１つに記載のカメラアレイ。

【0096】

３９．シーン内のツールの先端の位置を決定する方法であって、
ツールの位置データを受け取ることと、
位置データに基づいてツールの先端の３次元（３Ｄ）位置を推定することと、
シーンの２又は３以上の画像を受け取ることと、
２又は３以上の画像の各々について、
ツールの先端の推定された３Ｄ位置に基づいて画像内に関心領域を定めることと、
関心領域における画像を処理して関心領域におけるツールの先端の位置を決定することと、
２又は３以上の画像内の関心領域におけるツールの先端の決定された位置に基づいてツールの先端の更新された３Ｄ位置を決定することと、
を含む方法。

【0097】

４０．２又は３以上の画像を受け取ることは、複数のカメラのうちの対応するカメラから画像を受け取ることを含み、ツールの先端の更新された３Ｄ位置を決定することは、２又は３以上の画像内の関心領域におけるツールの先端の決定された位置に基づいて、更新された３Ｄ位置を三角測量することを含む、実施例３９に記載の方法。

【0098】

４１．カメラアレイであって、
中心領域を有する支持構造と、
中心において支持構造に取り付けられた深度センサと、
中心領域から離れて深度センサから外向きに支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
中心領域から離れてカメラから外向きに支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を備えるカメラアレイ。

【0099】

４２．複数のカメラは４つのカメラを含み、複数のトラッカーは４つのトラッカーを含み、カメラ及びトラッカーは支持構造を中心に対称に配置される、実施例４２に記載のカメラアレイ。

【0100】

４３．支持構造は、中心軸と、中心軸に対して直角に延びる長手方向軸とを含み、深度センサは中心軸に沿って整列し、カメラの各々及びトラッカーの各々は、中心軸及び長手方向軸から等間隔を空ける、実施例４１又は実施例４２に記載のカメラアレイ。

【0101】

４４．トラッカーは赤外線イメージャである、実施例４１～４３のいずれか１つに記載のカメラアレイ。

【0102】

４５．トラッカーは、カメラとは異なるスペクトル感度を有するイメージャである、実施例４１～４４のいずれか１つに記載のカメラアレイ。

【0103】

４６．カメラ及びトラッカーはそれぞれ視野を有し、カメラの視野は、少なくとも部分的に重なり合って撮像容積を定め、トラッカーの前記視野は、少なくとも部分的に重なり合って撮像容積よりも大きな追跡容積を定める、実施例４１～４５のいずれか１つに記載のカメラアレイ。

【0104】

４７．カメラは、それぞれ支持構造の中心領域に向かって半径方向内向きに角度付けされる、実施例４１～４６のいずれか１つに記載のカメラアレイ。

【0105】

４８．カメラアレイであって、
中心を有する支持構造と、
中心に近接して支持構造に取り付けられた、焦点面を有する深度センサと、
深度センサから半径方向外向きに支持構造に取り付けられ、シーンの画像データを取り込むように構成され、深度センサの焦点面の下方の地点で収束する焦点軸をそれぞれが有する複数のカメラと、
カメラから半径方向外向きに支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を備えるカメラアレイ。

【0106】

４９．媒介現実システムであって、
中心を有する支持構造と、
中心領域において支持構造に取り付けられた深度センサと、
中心領域から離れて深度センサから外向きに支持構造に取り付けられて、シーンの画像データを取り込むように構成された複数のカメラと、
中心領域から離れてカメラから半径方向外向きに支持構造に取り付けられて、シーン内のツールの位置データを取り込むように構成された複数のトラッカーと、
を含むカメラアレイと、
シーンの仮想視野の位置及び向きを制御するように構成された入力コントローラと、
カメラアレイ及び入力コントローラに通信可能に結合されて、
カメラのうちの少なくとも２つのカメラからの画像データに基づいて仮想視野に対応する仮想画像を合成し、
トラッカーのうちの少なくとも２つのトラッカーからの位置データに基づいてツールの位置を決定する、
ように構成された処理装置と、
処理装置に通信可能に結合されて、仮想画像内の決定された位置におけるツールのグラフィック表現を表示するように構成されたディスプレイ装置と、
を備える媒介現実システム。

【0107】

５０．処理装置は、カメラのうちの少なくとも１つのカメラからの画像データに基づいてツールの位置を決定するようにさらに構成される、実施例４９に記載の媒介現実システム。

【0108】

５１．処理装置は、
トラッカーのうちの少なくとも２つのトラッカーからの位置データに基づいてツールの初期３次元（３Ｄ）位置を推定し、
ツールの初期３Ｄ位置に基づいて、カメラのうちの少なくとも１つのカメラからの画像データ内に関心領域を定め、
関心領域における画像データを処理して関心領域におけるツールの位置を決定し、
関心領域におけるツールの決定された位置に基づいてツールの更新された３Ｄ位置を決定する、
ことによってツールの位置を決定するように構成される、実施例５０に記載の媒介現実システム。

【0109】

５２．シーン内の被験者を撮像する方法であって、
深度センサを被験者の関心部分と位置合わせして、関心部分が深度センサの焦点深度の近傍に配置されるようにすることと、
複数のカメラを使用して被験者の関心部分を含むシーンの画像データを取り込むことと、
複数のトラッカーを使用してシーン内のツールの位置データを取り込むことであって、深度センサ、カメラ及びトラッカーがカメラアレイの支持構造に共通して取り付けられる、ことと、
シーンの仮想視野の選択された位置及び向きに関する入力を受け取ることと、
画像データに基づいて、シーンの仮想視野に対応する仮想画像を合成することと、
位置データに基づいてツールの位置を決定することと、
ディスプレイ装置において、仮想画像内の決定された位置におけるツールのグラフィック表現を表示することと、
を含む方法。

【0110】

５３．シーンは手術シーンであり、被験者の関心部分は被験者の脊椎である、実施例５２に記載の方法。

【0111】

５４．シーン内の被験者を撮像する方法であって、
カメラアレイの深度センサを被験者の関心部分と位置合わせして、関心部分が深度センサの焦点深度の近傍に配置されるようにすることと、
カメラアレイの複数のカメラであって、深度センサの焦点深度の下方の地点で収束する焦点軸をそれぞれが有する複数のカメラを使用して被験者の関心部分を含むシーンの画像データを取り込むことと、
カメラアレイの複数のトラッカーを使用してシーン内のツールの位置データを取り込むことと、
シーンの仮想視野の選択された位置及び向きに関する入力を受け取ることと、
画像データに基づいて、シーンの仮想視野に対応する仮想画像を合成することと、
位置データに基づいてツールの位置を決定することと、
ディスプレイ装置において、仮想画像内の決定された位置におけるツールのグラフィック表現を表示することと、
を含む方法。

【0112】

Ｖ．結び
上記の本技術の実施形態についての詳細な説明は網羅的なものではなく、或いは本発明を上記で開示した正確な形態に限定するものでもない。上記では、例示を目的として本技術の具体的な実施形態及びその実施例について説明しているが、当業者であれば認識するように、本技術の範囲内で様々な同等の修正が可能である。例えば、ステップを所与の順序で示しているが、別の実施形態では異なる順序でステップを実行することができる。本明細書で説明した様々な実施形態を組み合わせてさらなる実施形態を提供することもできる。

【0113】

上記から、本明細書では説明を目的として本技術の具体的な実施形態を説明したが、本技術の実施形態の説明を不必要に曖昧にしないように周知の構造及び機能については図示又は詳細に説明していないと理解されるであろう。文脈上可能であれば、単数形又は複数形の用語がそれぞれ複数形又は単数形の用語を含むこともできる。

【0114】

さらに、２又は３以上の項目のリストを参照する上で「又は（ｏｒ）」という単語が他の項目を含まずに１つの項目のみを意味するように明確に限定されていない限り、このようなリストにおける「又は」の使用は、（ａ）リスト内のいずれか１つの項目、（ｂ）リスト内の全ての項目、又は（ｃ）リスト内の項目のいずれかの組み合わせを含むものとして解釈されたい。さらに、全体を通じて、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、少なくとも記載する（単複の）特徴を含むことを意味するために使用するものであり、いずれかのさらに多くの数の同じ特徴及び／又はさらなるタイプの他の特徴を排除するものではない。また、本明細書では例示を目的として具体的な実施形態について説明したが、本技術から逸脱することなく様々な修正を行うこともできると理解されるであろう。さらに、本技術のいくつかの実施形態の文脈ではこれらの実施形態に関連する利点について説明したが、他の実施形態もこのような利点を示すことができ、必ずしも全ての実施形態が本技術の範囲に含まれるためにこのような利点を示す必要はない。従って、本開示及び関連する技術は、本明細書では明示的に図示又は説明していない他の実施形態を含むこともできる。

【符号の説明】

【0115】

１００ イメージングシステム
１０１ ツール
１０２ 処理装置
１０３ ツールの先端
１０４ ディスプレイ装置
１０５ マーカ
１０６ 入力コントローラ
１０７ 画像処理装置
１０８ シーン
１０９ 追跡処理装置
１１０ カメラアレイ
１１２ａ～ｎ カメラ
１１４ａ～ｎ トラッカー
１１６ 深度センサ
１１８ プロジェクタ
１１９ （単複の）カメラ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【国際調査報告】