(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-01
(45)【発行日】2022-12-09
(54)【発明の名称】投影走査システム
(51)【国際特許分類】
A61B 5/00 20060101AFI20221202BHJP
G03B 21/00 20060101ALI20221202BHJP
G03B 21/14 20060101ALI20221202BHJP
A61B 34/20 20160101ALI20221202BHJP
【ＦＩ】
A61B5/00 D
G03B21/00 D
G03B21/14 D
A61B34/20
【請求項の数】
10
(21)【出願番号】P 2020503983
(86)(22)【出願日】2018-07-27
(65)【公表番号】
(43)【公表日】2020-10-01
(86)【国際出願番号】 US2018044169
(87)【国際公開番号】W WO2019023625
(87)【国際公開日】2019-01-31
【審査請求日】2021-07-27
(31)【優先権主張番号】62/537,627
(32)【優先日】2017-07-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】316017169
【氏名又は名称】インブイティ・インコーポレイテッド
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100107319
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100170379
【弁理士】
【氏名又は名称】徳本 浩一
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(74)【代理人】
【識別番号】100096769
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】ヴェイザー，アレックス
(72)【発明者】
【氏名】ダルマ‐ワイズハウズ，デニス
【審査官】門田 宏
(56)【参考文献】
【文献】特開２０１６－００７３９６（ＪＰ，Ａ）
【文献】特開２０１２－０３００４２（ＪＰ，Ａ）
【文献】米国特許出願公開第２００５／０１９５５８７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１６５０２８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／００
Ａ６１Ｂ １０／００
Ａ６１Ｂ ５／０６ － ５／２２
Ａ６１Ｂ １／００ － １／３１７
Ａ６１Ｂ ３４／２０
Ｇ０３Ｂ ２１／００
Ｇ０３Ｂ ２１／１４
(57)【特許請求の範囲】
【請求項1】
対象物に拡張情報を投影する画像システムであって、プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは拡張画像情報を前記対象物に投影するものである、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと、
前記プロセッサに動作可能に接続される慣性測定ユニットと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供するものであり、
（１）前記画像システムが少なくとも所定の時間にわたり静止していることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記距離測定デバイスによる距離測定を停止させる構成と、
（２）前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記プロジェクタによる投影を停止させる構成と、
（３）前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記ライトを停止させる構成と
の少なくともいずれかを更に備える画像システム。
【請求項2】
前記距離測定デバイスは更に、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を求め、前記プロセッサは、前記トポロジの情報と前記向きの情報との少なくとも一方をも用いて前記拡張情報のスケールを調整するものである、
請求項１に記載の画像システム。
【請求項3】
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項１又は２に記載の画像システム。
【請求項4】
前記プロジェクタは、少なくとも２つの所定の光パターンを前記対象物に投影し、センサ及びカメラの少なくとも一方は、前記少なくとも２つの所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジの少なくとも一方を検出された反射から計算する、請求項３に記載の画像システム。
【請求項5】
前記距離測定デバイスは、光源及びセンサを有するタイム・オブ・フライトのセンサユニットを備える、請求項１又は２に記載の画像システム。
【請求項6】
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも１つの所定のストラクチャード・ライトのパターンを前記対象物に投影する第２のプロジェクタと
を備え、
センサ及びカメラの少なくとも一方は、前記所定のライトのパターンの反射を検出し、
前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及びトポロジの少なくともいずれかを用いて前記拡張情報のスケールを調整し、スケールが調整された拡張情報を前記プロジェクタに提供する、請求項１又は２に記載の画像システム。
【請求項7】
前記距離測定デバイスはセンサ及びカメラの少なくとも一方を備え、前記センサ及びカメラの少なくとも一方は、前記対象物に関連付けられている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項１又は２に記載の画像システム。
【請求項8】
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を、前記プロジェクタと光源と第２のプロジェクトとの少なくともいずれかから投影させ、
前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項１又は２に記載の画像システム。
【請求項9】
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは第１の波長において前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第１の波長とは異なる第２の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする、請求項１又は２に記載の画像システム。
【請求項10】
前記距離測定デバイスは、レーザ測距器と、レーザ走査と、タイム・オブ・フライトと、ストラクチャード・ライトと、ライトフィールドカメラと、音響測定デバイスとからなる群から選択される、請求項１～９のいずれか一項に記載の画像システム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は概して、医療システム、医療デバイス及び医療方法に関し、より具体的には外科用の撮像及び投影に関する。
【0002】
［相互参照］
本出願は、２０１７年７月２７日に出願された米国仮特許出願第６２／５３７，６２７号の利益を主張するものであり、その米国仮特許出願の全体は引用することにより本明細書の一部をなすものとする。
本出願は、２０１７年７月２７日に出願された米国仮特許出願第６２／５３７，６２７号の利益を主張するものであり、その米国仮特許出願の全体は引用することにより本明細書の一部をなすものとする。
【背景技術】
【0003】
外科処置中に外科医に対して視覚情報を提示することが困難な場合がしばしばある。例えば、外部モニタに視覚情報が提示されると、外科医は、外部モニタを見るために手術部位への集中を中断しなければならない場合があり、あるいはその逆の場合もある。これは、外科医が手術部位への集中を維持しつつも視覚情報を得たいとき、又は、さもなければ外科医が手術部位から視線を外すことができないとき等に望ましくない可能性がある。
【発明の概要】
【0004】
改良された外科用撮像投影システムが開示される。本発明のシステムは、視覚データをターゲット上に投影することにより拡張情報（追加情報、augmented information）を提供する。本発明のシステムは、投影される視覚情報のスケール（scale）をターゲットのスケールに合うように自動的に調整するフィードバックループを備える。いくつかの実施形態では、本システムは、ターゲット上の基準（fiducial）を検出し、この基準のロケーションを用いて、投影される視覚情報をターゲットに合わせる。本システムは、付加的な外科用情報を手術部位上に投影するのに特に有用である。投影される視覚情報は、拡張画像（augmented image）又は擬似カラー画像（着色画像、false color image）とも呼ばれる場合があり、手術部位等の実対象物に投影され、この実対象物との位置合わせがなされる。
【0005】
手術の際、Ｘ線システム、超音波システム、ＭＲＩシステム又は蛍光システム等の多くのビデオ画像処理システムが用いられる。これらの画像システムは通常、モニタを利用して外科医に付加的情報を提供する。この情報は有用であるものの、この付加的データを見るために外科医は自身の視野を手術野とモニタとの間で移動させる必要がある。本発明は、拡張画像情報を患者（手術野）上に直接投影する実施の形態を開示する。拡張画像情報は、ＣＴ（コンピュータ体軸断層撮影）画像、ＭＲＩ（磁気共鳴映像）画像、蛍光情報等とすることができる。これは、外科医が自身の手術視野を維持することを可能にし、完全に直観的である。
【0006】
１つの実施の形態によれば、拡張画像（例えば、蛍光画像又はＭＲＩ画像）に対応する擬似カラー画像（可視光スペクトルにおけるもの）は、患者（手術野）上に直接投影される。これは、外科医が、自身の視野を手術野上に維持しつつ、特殊な機器（ゴーグルなど）を用いることなく拡張画像を「見る」ことを可能にする。他方、本明細書に開示される実施の形態のうちの１つは、ヘッドマウントディスプレイを備え、これはいくつかの特定の状況で有利な場合がある。
【0007】
外科的状況における拡張画像情報の投影を妨げてきた問題の１つは、３次元の人間の解剖学的構造に対する拡張画像の拡大、縮小及び位置合わせに関するものである。カメラ、プロジェクタは、手術野に対して特定の距離にあるときに、特定の倍率で映像を撮像及び投影する。投影される画像を実際の実解剖学的対象物、すなわち、サイズ及び向きと合わせることが極めて重要である。これは、固定された既知の距離であれば、投影される画像の倍率を調整するために容易に最適化することができる。しかし、カメラの距離又は向きがその最適化された位置から変化すると、問題が発生する。カメラが対象物から更に遠くに移動した場合、対象物はカメラにはより小さく見え、したがって、投影された画像のスケールは実対象物よりも小さい。
【0008】
本明細書に開示される実施の形態は、ターゲット（例えば、患者又は実対象物）に対するプロジェクタの距離及び向きをリアルタイムで監視し、投影される画像の倍率、拡大縮小を自動的に調整する。
【0009】
外科的状況における拡張画像情報の投影を妨げてきたもう１つの問題は、身体に対するカメラの向きに関するものである。実対象物の知覚される形状は、見る角度によって異なる。拡張画像の向きが実対象物の向きと合っていることが極めて重要である。
【0010】
最適な結果を得るためにシステムの向きを調整する方法に関する直観的なリアルタイム視覚フィードバックをユーザに提供することが有用である。
【0011】
本発明の別の部分において、距離、向き及び実際のターゲットのトポロジを測定することができるということは、信号に対して高感度を必要とするシステムにおいて大きな利点を生み出すことができる。例えば、蛍光撮像では、（感度を最大にするために）可能な限り多くの放出光を収集するために大きなアパーチャを有する撮像システムを作製することが目標である。これを行うことは難題を生み出す。なぜならば、一般に、大きなアパーチャのシステムは、焦点深度が非常に短いという欠点を有するからである。そのようなシステムにおけるカメラが焦点深度の範囲を越えて移動するとき、レンズを再合焦しなければならない。これは、可変焦点レンズを光学縦列に配置することによって解決することができる。より具体的には、電気的に調節可能なレンズを用いることが理想的である。カメラと対象物との間の物理距離のリアルタイムの連続監視によって、システムは、アパーチャを可能な限り大きく維持しつつ可変長レンズの焦点距離を（リアルタイムで）調整することが可能になる。画質の悪化を最小にするために視覚に感じられる遅延（一般に、従来の機械式駆動合焦システムにおいて見られるようなもの）を伴うことなくオートフォーカスを行うことが非常に望ましい。
【0012】
特に蛍光の場合、システムは、カメラとターゲットとの間の距離に基づいて強度信号を監視することができる。したがって、放出（蛍光）信号に基づいてピクセル強度の量を定量化するためにシステムを較正することができる。上記から分かるように、蛍光信号の強度は距離とともに変動する。距離が短いほど（システムが蛍光発光体に近いほど）、放出信号はより強い。システムは、測定された距離に対して信号の利得を調整することができる。放出信号が所与の距離の予想よりも弱い場合、システムは、更なる注意を要する問題が存在すると判断することができる。
【0013】
外科的状況における拡張画像情報の投影を妨げてきた更に別の問題は、広いエリアにわたる焦点に関するものである。人間の身体は、ほとんどの部分が平坦ではない。人間の身体のトポロジは、複数の平面に合焦を維持することを困難にする。本発明は、平面の各々に合焦を維持することを容易にすることができる、対象物のトポロジを測定するいくつかの手法を開示する。
【0014】
一態様によれば、対象物に拡張情報（追加情報、augmented information）を投影する画像システムであって、
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは、拡張画像情報を前記対象物に投影する、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて、前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供する、画像システムが提供される。
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは、拡張画像情報を前記対象物に投影する、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて、前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供する、画像システムが提供される。
【0015】
いくつかの実施の形態では、前記距離測定デバイスは、レーザ測距器、レーザ走査、飛行時間（タイム・オブ・フライト）、ストラクチャード・ライト（立体照明）、ライトフィールドカメラ、音響測定デバイスからなる群から選択される。
【0016】
いくつかの実施の形態では、前記距離測定デバイスは、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を更に求め、前記プロセッサは、前記トポロジ及び／又は前記向きの情報を更に用いて前記拡張情報のスケールを調整する。
【0017】
いくつかの実施の形態では、撮像システムは、ストラクチャード・ライト、バックグランドの赤外光、可視光、及びフルオロフォア（fluorophore：蛍光体）励起光からなる群から選択される少なくとも１つの光源を更に備える。
【0018】
いくつかの実施の形態では、前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記少なくとも１つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト（立体照明）方式の光源を含み、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
前記少なくとも１つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト（立体照明）方式の光源を含み、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
【0019】
いくつかの実施の形態では、前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
【0020】
いくつかの実施の形態では、前記プロジェクタは、少なくとも２つの所定の光パターンを前記対象物に投影し、前記センサ及び前記カメラの少なくとも一方は、前記少なくとも２つの所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
【0021】
いくつかの実施の形態では、前記センサ及び前記カメラの少なくとも一方は更に、前記対象物に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は、可視光スペクトル又は赤外スペクトルにおいて可視であり、前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせをする。
【0022】
いくつかの実施の形態では、前記距離測定デバイスは、光源及びセンサを含むタイム・オブ・フライト（time of flight、飛行時間）方式のセンサユニットを備える。いくつかの実施の形態では、前記光源は赤外線対応光源であり、前記光センサは赤外光を検出することが可能である。
【0023】
いくつかの実施の形態では、前記距離測定デバイスは、
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも１つの所定のストラクチャード・ライト方式のパターンを前記対象物に投影する第２のプロジェクタと
を備え、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射を用いて前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及び／又はトポロジを用いて前記拡張情報のスケールを調整し、前記プロセッサは、スケールが調整された拡張情報を前記プロジェクタに提供する。
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも１つの所定のストラクチャード・ライト方式のパターンを前記対象物に投影する第２のプロジェクタと
を備え、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射を用いて前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及び／又はトポロジを用いて前記拡張情報のスケールを調整し、前記プロセッサは、スケールが調整された拡張情報を前記プロジェクタに提供する。
【0024】
いくつかの実施の形態では、前記センサ及び前記カメラの少なくとも一方は更に、前記対象物に取り付けられるか又はペイントされている基準の位置を検出し、前記基準は、可視光スペクトル又は赤外スペクトルにおいて可視であり、前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせをする。
【0025】
いくつかの実施の形態では、前記画像システムは、前記プロセッサに動作可能に接続されるＩＭＵを更に備える。
【0026】
いくつかの実施の形態では、前記ＩＭＵは、前記画像システムが少なくとも所定の時間にわたり静止していることを検出した場合、前記プロセッサは、前記距離測定デバイスによる距離測定を停止させる。
【0027】
いくつかの実施の形態では、前記ＩＭＵは、前記画像システムが所定の閾値量を超えて動いていること又は向きが誤っていることを検出した場合、前記プロセッサは、前記プロジェクタによる投影を停止させる。
【0028】
いくつかの実施の形態では、前記画像システムの向きが所定の閾値内にない場合、前記プロセッサは、通知（アラート）を表示するよう前記プロジェクタをトリガする。
【0029】
いくつかの実施の形態では、測定された前記対象物までの距離が既定の閾値距離を超えている場合、前記プロセッサは、通知（アラート）を表示するよう前記プロジェクタをトリガする。
【0030】
いくつかの実施の形態では、前記画像システムはライトを更に備え、前記ＩＭＵは、前記画像システムが所定の閾値量を超えて動いていること又は誤った向きにあることを検出した場合、前記プロセッサは前記ライトを停止させる。
【0031】
いくつかの実施の形態では、前記画像システムは、前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体（フルオロフォア）を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を前記メモリに拡張画像情報として記憶する。
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体（フルオロフォア）を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を前記メモリに拡張画像情報として記憶する。
【0032】
いくつかの実施の形態では、前記プロジェクタは、前記可視スペクトルの光を用いて前記拡張画像情報を前記対象物に投影する。
【0033】
いくつかの実施の形態では、前記プロジェクタは、拡張画像情報を前記対象物に投影する第１のモードと、前記対象物内又は前記対象物上の蛍光体を励起する光を投影する第２のモードとを有する。いくつかの実施の形態では、前記プロジェクタは、所定の光パターンを投影する第３のモードを有する。
【0034】
いくつかの実施の形態では、前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの双方において光を投影することが可能である。
【0035】
いくつかの実施の形態では、前記画像システムは、
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第２のプロジェクタのうちの少なくとも一方と
を更に備え、
前記プロセッサは、前記光源及び前記第２のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、前記カメラ又は前記センサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する。
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第２のプロジェクタのうちの少なくとも一方と
を更に備え、
前記プロセッサは、前記光源及び前記第２のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、前記カメラ又は前記センサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する。
【0036】
いくつかの実施の形態では、検出された蛍光の強度が閾値未満である場合に、前記プロセッサは、通知（アラート）を表示するよう前記プロジェクタをトリガする。
【0037】
いくつかの実施の形態では、前記画像システムは、
前記プロセッサに動作可能に接続されたカメラ又はセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第２のプロジェクタと
を更に備え、
前記プロセッサは、前記第２のプロジェクタから前記仮想的な基準を前記対象物に投影させ、前記カメラ又は前記センサは、前記仮想的な基準の位置を検出し、前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせをする。
前記プロセッサに動作可能に接続されたカメラ又はセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第２のプロジェクタと
を更に備え、
前記プロセッサは、前記第２のプロジェクタから前記仮想的な基準を前記対象物に投影させ、前記カメラ又は前記センサは、前記仮想的な基準の位置を検出し、前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせをする。
【0038】
いくつかの実施の形態では、前記メモリは、リモート通信プロトコルを用いて前記プロセッサに動作可能に接続される。
【0039】
いくつかの実施の形態では、前記拡張画像情報は可視光範囲において投影される。
【0040】
いくつかの実施の形態では、前記画像システムは、
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは、第１の波長において前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第１の波長とは異なる第２の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする。
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは、第１の波長において前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第１の波長とは異なる第２の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする。
【0041】
本開示のさらなる態様及び利点は、本開示の例示的な実施形態のみを図示及び説明する、以下の詳細な説明から当業者に容易に明らかとなる。認識されるように、本開示では他の種々の実施形態が可能であり、そのいくつかの細部を全て本開示から逸脱することのない様々な明白な点で変更することが可能である。したがって、図面及び本明細書は限定的なものではなく、本質的に例示的なものであるとみなされる。
【0042】
［参照による引用］
本明細書中の全ての刊行物、特許及び特許出願は、個々の刊行物、特許又は特許出願が各々具体的かつ個別に引用することにより本明細書の一部をなすものとすると示されているのと同程度に、引用することにより本明細書の一部をなすものとする。引用することにより本明細書の一部をなすものとされる刊行物及び特許又は特許出願が、本明細書に含まれる開示と矛盾する限りにおいては、本明細書は、そのような一切の矛盾する記載に取って代わるか又はそのような一切の矛盾する記載に優先するものと解釈される。
本明細書中の全ての刊行物、特許及び特許出願は、個々の刊行物、特許又は特許出願が各々具体的かつ個別に引用することにより本明細書の一部をなすものとすると示されているのと同程度に、引用することにより本明細書の一部をなすものとする。引用することにより本明細書の一部をなすものとされる刊行物及び特許又は特許出願が、本明細書に含まれる開示と矛盾する限りにおいては、本明細書は、そのような一切の矛盾する記載に取って代わるか又はそのような一切の矛盾する記載に優先するものと解釈される。
【0043】
本発明の新規の特徴は、添付の特許請求の範囲に具体的に記載されている。本発明の特徴及び利点のより深い理解は、本発明の原理が利用される例示的な実施形態を説明する以下の詳細な説明及び添付の図面（本明細書において「図面」及び「図」とも呼ばれる）を参照することによって得られるであろう。
【図面の簡単な説明】
【0044】
【図1】拡張画像システムのブロック図である。
【図2】蛍光拡張撮像システムのブロック図である。
【図3】ヘッドマウントディスプレイ撮像システムのブロック図である。
【図4】内視鏡システムのブロック図である。
【発明を実施するための形態】
【0045】
本発明の様々な実施形態が本明細書に図示及び説明されているが、そのような実施形態が例として提供されているにすぎないことは、当業者には明らかであろう。本発明から逸脱することなく多数の変更、変化及び置換が当業者に想起され得る。本明細書において説明される本発明の実施形態の様々な代替形態を利用することができることが理解されるべきである。
【0046】
上述したように、本発明は、任意の情報源からの拡張視覚情報を提供するのに有用である。この任意の情報源には、超音波撮像、Ｘ線撮像、ＣＴスキャン撮像、蛍光撮像等が含まれるが、これらに限定されるものではない。
【0047】
［拡張情報の投影］
本発明は、対象物に拡張情報（追加情報、augmented information）を投影するのに有用である。「対象物」という用語は、患者及び手術部位を含むことが意図されているが、そのように限定されるものではない。拡張情報が真に有用であるためには、拡張情報を対象物に正確に合わせる必要がある。言い換えると、アライメント（配置）、スケール及び向きが、拡張情報が投影される対象物の位置及びスケールと合っていなければならない。更に好ましいこととして、対象物の向き及び／又はトポロジを補償するために拡張画像をデジタル処理で変更することができることである。
本発明は、対象物に拡張情報（追加情報、augmented information）を投影するのに有用である。「対象物」という用語は、患者及び手術部位を含むことが意図されているが、そのように限定されるものではない。拡張情報が真に有用であるためには、拡張情報を対象物に正確に合わせる必要がある。言い換えると、アライメント（配置）、スケール及び向きが、拡張情報が投影される対象物の位置及びスケールと合っていなければならない。更に好ましいこととして、対象物の向き及び／又はトポロジを補償するために拡張画像をデジタル処理で変更することができることである。
【0048】
本発明は、プロジェクタと対象物との間の距離を測定するいくつかの異なる方法を考察する。これらの方法は、以下で詳細に説明する。これらの距離測定の手法のうちのいくつかは、対象物の向き及び／又はトポロジ、輪郭（contour）も与える。本発明のシステムは、計算された輪郭及び／又は距離を用いて、拡張情報が対象物のスケールに合致するように拡張情報を拡大縮小する。
【0049】
拡張情報は、システムに保存することもできるし、無線によって又はデータケーブルを介してシステムに送ることもできる。無線通信は、Ｂｌｕｅｔｏｏｔｈ、ＷＩＦＩ、又は他の任意の通信プロトコルを用いることができる。
【0050】
［カメラ又はプロジェクタと対象物との間の距離の測定］
プロジェクタと対象物との間の距離を測定するにあたり従来のレーザ測距器（距離センサ）を用いることができる。レーザが光で対象物を照らし、この光が反射して戻って来るのに要する時間をセンサが検出する。対象物とレーザ放出器との間の距離の計算は、反射光がセンサに到達するのに要する時間と光の速度とが与えられれば簡単である。この技法は有用ではあるが、理想的なものではない。なぜならば、この技法は、カメラの視野内にある対象物の輪郭、トポロジに関する情報を提供しないからである。市販のレーザ測距器の１つの例は、Garmin International, Inc.社（カンザス州オラース第１５１ストリート１２００ Ｅ（郵便番号６６０６２－３４２６）所在）によるＬＩＤＡＲ－Ｌｉｔｅである。距離センサが対象物までの距離、飛行時間（タイム・オブ・フライト）又は三角測量を測定するメカニズムには、２つの異なるメカニズムがある。これらの２つのメカニズムは、レーザ又はＬＥＤを光源として用いて実現することができる。
プロジェクタと対象物との間の距離を測定するにあたり従来のレーザ測距器（距離センサ）を用いることができる。レーザが光で対象物を照らし、この光が反射して戻って来るのに要する時間をセンサが検出する。対象物とレーザ放出器との間の距離の計算は、反射光がセンサに到達するのに要する時間と光の速度とが与えられれば簡単である。この技法は有用ではあるが、理想的なものではない。なぜならば、この技法は、カメラの視野内にある対象物の輪郭、トポロジに関する情報を提供しないからである。市販のレーザ測距器の１つの例は、Garmin International, Inc.社（カンザス州オラース第１５１ストリート１２００ Ｅ（郵便番号６６０６２－３４２６）所在）によるＬＩＤＡＲ－Ｌｉｔｅである。距離センサが対象物までの距離、飛行時間（タイム・オブ・フライト）又は三角測量を測定するメカニズムには、２つの異なるメカニズムがある。これらの２つのメカニズムは、レーザ又はＬＥＤを光源として用いて実現することができる。
【0051】
［輪郭、トポロジを測定する技法］
対象物の３Ｄトポロジを得る様々な方法がある。従来の方法は、一対のカメラが２つの異なる視点を取得するのに用いられるステレオ設定を利用するものである。次に、画像処理を用いて、画像が３Ｄ奥行きマップに再構成される。この方策は、コントラストが欠けているとうまく機能しない。また、この方策は、ハードウェア及びソフトウェアも多く使用し、その複雑さ故に一般的に用いられない。
対象物の３Ｄトポロジを得る様々な方法がある。従来の方法は、一対のカメラが２つの異なる視点を取得するのに用いられるステレオ設定を利用するものである。次に、画像処理を用いて、画像が３Ｄ奥行きマップに再構成される。この方策は、コントラストが欠けているとうまく機能しない。また、この方策は、ハードウェア及びソフトウェアも多く使用し、その複雑さ故に一般的に用いられない。
【0052】
この従来のプロセスは、今では、レーザ走査（Laser Scanning）、飛行時間（Time of flight）、ストラクチャード・ライト（Structured Light、構造化照明）、及びライトフィールド（Light Field）の４つの構成に進化している。これらの技法の各々は本発明に適用可能である。これらの技法間の相違は以下のとおりである。
１）レーザ走査は、通常、単一のカメラ及びレーザ投影ライン（laser-projected line）を用いる。このシステムは、対象物とレーザ投影ラインとの間の相対運動を必要とする。そのため、相対運動を生み出すために、レーザ投影ラインが走査される（対象物上を移動する）か、又は、対象物が変位される。ラインは対象物のトポロジに起因して歪むことから、カメラはこの変形を捕捉し対象物の形状を再構成する。これは、対象物を走査する最も正確な方法であるが、対象物又は撮像システムのいずれかが移動することを要し、このことは、静的な用途には実用的でない場合がある。
２）飛行時間（タイム・オブ・フライト、ＴＯＦ）撮像センサは市販されている。３次元（３Ｄ）飛行時間撮像センサは、変調されたＩＲ光パターンを用いてエリアを照明することによって動作する。反射信号の位相変化を測定することで、被写体、シーン又は対象物の３Ｄ奥行きマップを生成するセンサ内のピクセルごとに距離を正確に求めることができる。Texas Instruments社、Intel社等の飛行時間カメラ及び飛行時間センサを製造する様々な企業がある。これは、局所的な奥行きだけでなく対象物の位置も求める優れた方法である。しかし、この方法は、数ミリメートルの範囲内でしか正確でなく、周囲光の影響を受けやすい。例えば、屋外でも同様に正確でない。
３）ストラクチャード・ライトは、対象物上に投影される既定のパターン又はより好ましくは一連の既定のパターンを用いる。この（複数の）パターンは、裸眼の人間の目に見えるものとすることもできるし、見えないもの、例えばＩＲパターンとすることもできる。カメラは、投影パターンを検出パターンと比較し、元の投影パターンと比較された検出パターンの変形から対象物の距離及び輪郭、トポロジを求める。これを行う最適な方法は、様々なパターンを投影して、奥行きマップの解像度を高めることである。ストラクチャード・プロジェクション（structured projection：立体投影）は、正確かつ効率的に対象物を走査する優れた方法である。
４）ライトフィールドカメラは、プレノプティック（plenoptic）カメラとしても知られており、シーンから生じるライトフィールド、すなわち、シーンにおける光の強度と、光線が空間内を進んでいる方向とについての情報を取得する。これは、光強度しか記録しない従来のカメラとは対照的である。ライトフィールドカメラの１つのタイプは、通常の従来の画像センサの前に配置されたマイクロレンズのアレイを用いて、強度、色、及び方向情報を検知する。マルチカメラアレイは、別のタイプのライトフィールドカメラである。
１）レーザ走査は、通常、単一のカメラ及びレーザ投影ライン（laser-projected line）を用いる。このシステムは、対象物とレーザ投影ラインとの間の相対運動を必要とする。そのため、相対運動を生み出すために、レーザ投影ラインが走査される（対象物上を移動する）か、又は、対象物が変位される。ラインは対象物のトポロジに起因して歪むことから、カメラはこの変形を捕捉し対象物の形状を再構成する。これは、対象物を走査する最も正確な方法であるが、対象物又は撮像システムのいずれかが移動することを要し、このことは、静的な用途には実用的でない場合がある。
２）飛行時間（タイム・オブ・フライト、ＴＯＦ）撮像センサは市販されている。３次元（３Ｄ）飛行時間撮像センサは、変調されたＩＲ光パターンを用いてエリアを照明することによって動作する。反射信号の位相変化を測定することで、被写体、シーン又は対象物の３Ｄ奥行きマップを生成するセンサ内のピクセルごとに距離を正確に求めることができる。Texas Instruments社、Intel社等の飛行時間カメラ及び飛行時間センサを製造する様々な企業がある。これは、局所的な奥行きだけでなく対象物の位置も求める優れた方法である。しかし、この方法は、数ミリメートルの範囲内でしか正確でなく、周囲光の影響を受けやすい。例えば、屋外でも同様に正確でない。
３）ストラクチャード・ライトは、対象物上に投影される既定のパターン又はより好ましくは一連の既定のパターンを用いる。この（複数の）パターンは、裸眼の人間の目に見えるものとすることもできるし、見えないもの、例えばＩＲパターンとすることもできる。カメラは、投影パターンを検出パターンと比較し、元の投影パターンと比較された検出パターンの変形から対象物の距離及び輪郭、トポロジを求める。これを行う最適な方法は、様々なパターンを投影して、奥行きマップの解像度を高めることである。ストラクチャード・プロジェクション（structured projection：立体投影）は、正確かつ効率的に対象物を走査する優れた方法である。
４）ライトフィールドカメラは、プレノプティック（plenoptic）カメラとしても知られており、シーンから生じるライトフィールド、すなわち、シーンにおける光の強度と、光線が空間内を進んでいる方向とについての情報を取得する。これは、光強度しか記録しない従来のカメラとは対照的である。ライトフィールドカメラの１つのタイプは、通常の従来の画像センサの前に配置されたマイクロレンズのアレイを用いて、強度、色、及び方向情報を検知する。マルチカメラアレイは、別のタイプのライトフィールドカメラである。
【0053】
図１は、本発明による拡張撮像システム１００の基本的な実施形態のブロック図である。ハッシュのないブロックはこの基本的な実施形態を表している一方で、ハッシュのあるブロックはオプショナルな機能を示している。拡張撮像システム１００は、距離測定デバイス１０２と、処理ユニット１０４と、プロジェクタ１０８とを備える。この基本的な実施形態では、処理ユニット１０４は、距離測定デバイス１０２からの距離情報を用いて、拡張画像情報のスケールを調整し、次に、その情報をプロジェクタ１０８に送る。そして、プロジェクタは、拡大縮小された拡張画像を対象物上に投影する。
【0054】
デバイス１０２は、距離又はトポロジを測定する放出器及び受信機から構成される。デバイス１０２は、音響機器、三角測量レーザ及び測距器レーザ、レーザ走査、光検出器及びＴＯＦ等の様々な放出方式及び検出方式並びに放出構成要素及び検出構成要素を有することができる。距離を測定する具体的な方法は、その方法が正確である限り重要ではない。処理ユニット１０４は、画像処理機能と、メモリと、ルックアップテーブルとを備える。プロジェクタ１０８は、３色（ＲＧＢ）レーザプロジェクタ、ＩＲレーザプロジェクタ又はＬＥＤプロジェクタとすることができる。プロジェクタ１０８は、可視領域又はＩＲ領域において連続的又は断続的に投影を行うことができ、また、可視領域又はＩＲ領域においてストラクチャード・ライトも提供することができる。さらに、プロジェクタ１０８は、拡張画像とストラクチャード・ライトを繰り返すこともできる。ＤＬＰプロジェクタも用いることができるが、そのようなプロジェクタは、最適な結果を提供しない場合がある。レーザプロジェクタは、距離情報を利用して、拡張画像投影を複数の平面内に最適に合焦させることができるため、特に有利である。
【0055】
いくつかの実施形態において、拡張情報は、拡張撮像システム１００へ無線で送信される。任意の無線通信プロトコルを用いることができる。そのような無線通信プロトコルは、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ等を含むことができる。拡張情報は、任意の情報源からの任意の情報とすることができる。外科治療の状況では、拡張情報は、外科医に有用な任意の情報とすることができ、ＣＴスキャン画像、ＭＲＩ画像、Ｘ線画像、超音波画像、蛍光画像又は外科用道具を正しい位置に置くための情報等の、外科医に有用な他の情報を含むことができる。
【0056】
いくつかの他の実施形態では、距離センサ１０２は、対象物又は手術部位のトポロジ、輪郭を測定するのに用いることができる。システム１００は、距離センサ１０２の代わりとして、対象物の距離及び／又はトポロジを測定するストラクチャード・ライトと、少なくとも１つの検出器又はカメラ１１０との使用を含むことができる。センサあるいはカメラ１１０は、ビデオＩＲセンサ、可視センサ又はハイパースペクトルセンサとすることができ、また、ＴＯＦセンサ又は音響センサとすることもできる。この実施形態では、１つ以上の既定のパターンが、プロジェクタ１０８によって対象物に投影される。センサあるいはカメラ１１０は、投影されたパターンを検出し、処理ユニット１０４は、投影されたパターンを検出されたパターンと比較して、対象物のトポロジ、輪郭を決定する。上述したように、この実施形態により、トポロジの特徴付けだけでなく、カメラあるいはセンサ１１０又はプロジェクタ１０８から対象物までの距離の評価も可能となる。
【0057】
［プロジェクタ１０８によるストラクチャード・ライトの提供］
ストラクチャード・ライトのパターンは、可視光スペクトル（裸眼の人間の目に見える）又はＩＲスペクトルにおいて投影することができる。その上、ストラクチャード・ライトは、いくつかの実施形態では可視光線プロジェクタであるプロジェクタ１０８を用いて投影することができる。他の実施形態では、ストラクチャー・ライトは、可視光スペクトル及びＩＲの双方において投影が可能であり得るプロジェクタ１０８を用いてＩＲスペクトルにおいて投影される。すなわち、可視光及びＩＲ光の双方の放射源をプロジェクタ１０８の同じモジュール上に設けることができ、双方の放射源が、同じマイクロミラーを用いて走査される。あるいは、プロジェクタ１０８を、擬似カラー拡張画像を可視光スペクトルにおいて投影するために用いることができ、別のプロジェクタを、可視スペクトル又はＩＲスペクトルのいずれかにおいてストラクチャード・ライトを投影するのに用いることができる。
ストラクチャード・ライトのパターンは、可視光スペクトル（裸眼の人間の目に見える）又はＩＲスペクトルにおいて投影することができる。その上、ストラクチャード・ライトは、いくつかの実施形態では可視光線プロジェクタであるプロジェクタ１０８を用いて投影することができる。他の実施形態では、ストラクチャー・ライトは、可視光スペクトル及びＩＲの双方において投影が可能であり得るプロジェクタ１０８を用いてＩＲスペクトルにおいて投影される。すなわち、可視光及びＩＲ光の双方の放射源をプロジェクタ１０８の同じモジュール上に設けることができ、双方の放射源が、同じマイクロミラーを用いて走査される。あるいは、プロジェクタ１０８を、擬似カラー拡張画像を可視光スペクトルにおいて投影するために用いることができ、別のプロジェクタを、可視スペクトル又はＩＲスペクトルのいずれかにおいてストラクチャード・ライトを投影するのに用いることができる。
【0058】
拡張画像モード及びストラクチャード・ライトモードをポーリング又はスイッチングすることによって、プロジェクタ１０８を用いて拡張画像情報及びストラクチャード・ライトの双方を投影することも可能である。拡張画像モードでは、プロジェクタ１０８は、拡張（擬似カラー）ＲＧＢ画像を対象物上に投影する。ストラクチャード・ライトモードでは、プロジェクタ１０８は、１つ以上の所定のストラクチャード・ライトパターンを対象物上に投影する。これらのストラクチャード・ライトパターンは、ＩＲスペクトル又は可視光スペクトルにおいて投影することができる。
【0059】
［専用のストラクチャード・ライト］
プロジェクタ１０８に対する負担を低減するために、専用のストラクチャード・ライト光源を利用することが望ましい場合がある。そのような実施形態では、プロジェクタ１０８は、拡張画像情報を対象物上に投影するのに利用することができる。専用のストラクチャード・ライト光源１１７は、光の１つ以上の既定のパターンを対象物上に投影するのに利用することができる。ストラクチャード・ライト１１７は、回折光学素子又はホログラフィックフィルムを含むことができる。この専用の照明光源は、可視スペクトル又はＩＲスペクトルにおいて既定のパターンを生成することができる。
プロジェクタ１０８に対する負担を低減するために、専用のストラクチャード・ライト光源を利用することが望ましい場合がある。そのような実施形態では、プロジェクタ１０８は、拡張画像情報を対象物上に投影するのに利用することができる。専用のストラクチャード・ライト光源１１７は、光の１つ以上の既定のパターンを対象物上に投影するのに利用することができる。ストラクチャード・ライト１１７は、回折光学素子又はホログラフィックフィルムを含むことができる。この専用の照明光源は、可視スペクトル又はＩＲスペクトルにおいて既定のパターンを生成することができる。
【0060】
［トポロジ評価のための追加要素］
距離測定値及びトポロジは、様々な方法で得ることができることに留意されたい。例えば、距離測定は、単一のコンパートメント内にレーザビーム及びセンサを含む距離センサ１０２を利用することによって行うことができる。或いは、プロジェクタ１０８又は照明光源１１７を用いることによって距離を測定し、信号又は既定のパターンを可視又はＩＲにおいて投影し、センサあるいはカメラ１１０を用いて距離を評価することも可能である。
距離測定値及びトポロジは、様々な方法で得ることができることに留意されたい。例えば、距離測定は、単一のコンパートメント内にレーザビーム及びセンサを含む距離センサ１０２を利用することによって行うことができる。或いは、プロジェクタ１０８又は照明光源１１７を用いることによって距離を測定し、信号又は既定のパターンを可視又はＩＲにおいて投影し、センサあるいはカメラ１１０を用いて距離を評価することも可能である。
【0061】
本明細書において説明する実施形態のいずれにおいても、距離測定デバイス１０２は、飛行時間センサモジュールを利用することができる。この距離測定デバイスは、プロジェクタ１０８又は照明光源１１７等のストラクチャード・ライト光源とともに処理ユニット１０４に動作可能に接続することができるＴＯＦセンサ１１０も利用することができる。プロジェクタ１０８又はストラクチャー・ライト源１１７は、ストラクチャード・ライトパターンを投影し、ＴＯＦセンサ１１０は、対象物の３Ｄ奥行きマップ（トポロジ）を生成するセンサ内のあらゆるピクセルについて反射信号の位相変化を測定し、この情報を処理ユニット１０４に提供する。処理ユニット１０４は、画像処理及び測定されたトポロジを用いて画像を位置合わせし、拡大画像あるいは拡張画像を調整して、正しい倍率及び向きにより適切に投影する。
【0062】
処理ユニット１０４は、求められたトポグラフィ情報を用いて、プロジェクタ１０８によって投影される拡張画像情報の投影倍率を調整する。
【0063】
距離測定は、レーザ光信号に限定されるものではない。同様に、対象物のトポロジ特性は、種々のハードウェアの組み合わせを用いて評価することができ、例えば、プロジェクタ１０８又は照明光源１１７を用いてストラクチャード・ライト画像を投影し、センサあるいはカメラ１１０を用いて、対象物によって生じたパターンの変化を取得することが含まれる。
【0064】
ストラクチャード・ライトを用いてシステムと対象物との間の距離を求めることも可能である。換言すれば、ストラクチャード・ライトは、対象物のトポロジ、向き及び距離を求めるのに用いることができる。そのような実施形態では、トポロジを求めるのに用いられる要素は、距離測定デバイス１０２としての機能も果たす。システムと対象物との間の距離の測定は、カメラあるいはセンサ１１０の焦点を調整するのに用いることができる。
【0065】
ストラクチャード・ライトパターンは、システムと実対象物との間の相対的な向き（スキュー角）を求めるのにも有用であり得る。カメラあるいはセンサ１１０は、（複数の）ストラクチャード・ライトパターンの反射を捉え、処理ユニット１０４は、反射パターンを投影されたパターンと比較し、実対象物に対するカメラあるいはプロジェクタの相対的な向きを求め、信号処理を利用して、可視投影をカメラの向きと合うように調整する。処理ユニット１０４は、拡張画像情報を記憶又はバッファリングするのに用いることができ、データケーブルを用いてシステムに接続することもできるし、ＷＩＦＩ、Ｂｌｕｅｔｏｏｔｈ等を用いて無線でインタフェースすることもできる。
【0066】
上述したシステムは、固定の台座に取り付けることができる。しかし、このシステムは、拡張情報が投影されている対象物に対するシステムの距離及び向きを自動的にリアルタイムで測定及び補償することができるため、ハンドヘルドデバイスとして特に有用である。本発明のハンドヘルドシステムは、外科処置中の様々な時点において必要に応じて用いることができる。したがって、カメラが移動したときに、画像を安定化させる何らかの必要性がある可能性がある。そのようなシステムでは、必要に応じて安定化モジュール１１８を追加することができる。
【0067】
本発明の拡張撮像システム１００は、好ましくはハンドヘルドである。システム１００は、必要に応じて、加速度計、ジャイロ、及び磁気計等の１つ以上の運動センサ及び／又は向きセンサを含むことができる慣性測定ユニット（ＩＭＵ：inertial measurement unit）１１２を設けることによって向上させることができる。検出されたシステムの向きが所定の範囲から逸脱すると、（複数の）プロジェクタ１０８、又は距離・トポロジ測定デバイス１０２を遮断する、処理ユニット１０４と動作可能に接続したＩＭＵ１１２を備えることが望ましい場合がある。
【0068】
［蛍光撮像システム２００］
拡張画像投影システムは、蛍光撮像システムとともに用いられるのに特に適している。図２は、蛍光拡張撮像システム２００のブロック図である。同様の参照符号は、同じ構造部に対応するものとしている。ハッシュのないブロックは、基本的なシステム構成を指す一方で、ハッシュのあるブロックは、オプショナルな要素を指す。距離測定デバイス１０２は、図１に関して上述したように、ストラクチャード・ライト、ＴＯＦセンサ、音響センサ、レーザスキャナ、又はレーザ測距器等を利用することができる。以下で更に詳細に説明するように、システム２００は、必要に応じて、赤外スペクトル、可視スペクトル又は赤外スペクトル及び可視光スペクトルの双方において投影することができる付加的なプロジェクタ１０８を備えることができる。
拡張画像投影システムは、蛍光撮像システムとともに用いられるのに特に適している。図２は、蛍光拡張撮像システム２００のブロック図である。同様の参照符号は、同じ構造部に対応するものとしている。ハッシュのないブロックは、基本的なシステム構成を指す一方で、ハッシュのあるブロックは、オプショナルな要素を指す。距離測定デバイス１０２は、図１に関して上述したように、ストラクチャード・ライト、ＴＯＦセンサ、音響センサ、レーザスキャナ、又はレーザ測距器等を利用することができる。以下で更に詳細に説明するように、システム２００は、必要に応じて、赤外スペクトル、可視スペクトル又は赤外スペクトル及び可視光スペクトルの双方において投影することができる付加的なプロジェクタ１０８を備えることができる。
【0069】
システム２００は、以下のような４つの異なるオプショナルな光源を装備することができる。
１）背景（バックグラウンド）照明（１１６Ａ）－システム２００は、ＩＲスペクトルにおいて背景照明を提供する光源１１６Ａを備えることができる。
２）全般照明（１１６Ｂ）－システム２００は、可視光スペクトルにおいて全般照明を提供する光源１１６Ｂを備えることができる。
３）蛍光励起（１１６Ｃ）－システム２００は、フルオロフォア（蛍光体）を励起する光源１１６Ｃを備えることができる。光源１１６Ｃは、以下で詳細に説明するフルオロフォアの具体的なニーズに応じて、可視スペクトル又はＩＲスペクトルのいずれかにおいて照明を行うことができる。
４）ストラクチャード・ライト（１１７）－システム１００と同様に、システム２００も、可視スペクトル又はＩＲスペクトルのいずれかにおいて（複数の）ストラクチャード・ライトパターンを提供する光源１１７を備えることができる。光源１１７によって、プロジェクタ１０８が（複数の）ストラクチャード・ライトパターンを投影する必要がなくなることが理解されるであろう。
１）背景（バックグラウンド）照明（１１６Ａ）－システム２００は、ＩＲスペクトルにおいて背景照明を提供する光源１１６Ａを備えることができる。
２）全般照明（１１６Ｂ）－システム２００は、可視光スペクトルにおいて全般照明を提供する光源１１６Ｂを備えることができる。
３）蛍光励起（１１６Ｃ）－システム２００は、フルオロフォア（蛍光体）を励起する光源１１６Ｃを備えることができる。光源１１６Ｃは、以下で詳細に説明するフルオロフォアの具体的なニーズに応じて、可視スペクトル又はＩＲスペクトルのいずれかにおいて照明を行うことができる。
４）ストラクチャード・ライト（１１７）－システム１００と同様に、システム２００も、可視スペクトル又はＩＲスペクトルのいずれかにおいて（複数の）ストラクチャード・ライトパターンを提供する光源１１７を備えることができる。光源１１７によって、プロジェクタ１０８が（複数の）ストラクチャード・ライトパターンを投影する必要がなくなることが理解されるであろう。
【0070】
図２におけるシステムは、必要に応じて、付加的なプロジェクタ１０８と、光源１１６Ａ、１１６Ｂ、１１６Ｃ及び１１７の任意の組み合わせとを備えることができる。検出されたシステムの向きが所定の範囲から逸脱すると、（複数の）プロジェクタ１０８、及び／又は（複数の）光源１１６Ａ、１１６Ｂ、１１６Ｃ、１１７を遮断する、処理ユニット１０４と動作可能に接続したＩＭＵ１１２を備えることが望ましい場合がある。
【0071】
ＩＭＵ１１２は、距離監視プロセスを選択的に停止・再起動するのに用いることもできる。例えば、運動センサが、システム２００が（例えば、スタンドに）固定されて又は強固に保持されていることを検出した場合、ＩＭＵ１１２は、距離測定プロセスを無効とすることができる。ＩＭＵ１１２が、システムが移動したことを検出すると、処理ユニット１０４は距離測定プロセスを再開することができる。これによって、不要な処理がなくなる。
【0072】
ハンドヘルドである蛍光撮像システムを有することが有利であり得る。システム１００と同様に、システム２００も、画像安定化を必要とする場合があり、その場合、任意選択のモジュール１１８が設けられる。
【0073】
システム２００は、内在的な自然発生するフルオロフォア、又は、注入によって若しくは対象物の表面に塗ることによって加えられる外在的なフルオロフォアのいずれかを励起するように構成されている。例として、インドシアニングリーンは、人間の使用が認められたフルオロフォアであり、商標名ＩＣ－ＧＲＥＥＮ（商標）の下で入手可能である。ＩＣ－ＧＲＥＥＮ（商標）は水溶性であり、約８００ｎｍのピークスペクトル吸収を有するトリカルボシアニン色素である。いくつかのフルオロフォアは、特定の細胞群に結合するように構成することができ、或るエリアが十分に灌流されているか否かの判断、損傷、血管等の特定に用いることができる。
【0074】
いくつかのフルオロフォアは、可視スペクトル内の光によって励起され、可視スペクトル又はＩＲスペクトルにいずれかにおいて発光する。他のフルオロフォアは、赤外（ＩＲ）光によって励起され、ＩＲスペクトル又は可視スペクトルにいずれかにおいて発光する。後者はフォトン・アップコンバージョンによる。
【0075】
一般的な原理は、どのタイプのフルオロフォアが用いられるかを問わず同じである。すなわち、フルオロフォアは光源を用いて励起され、フルオロフォアの発光が検出され、検出された発光の拡張カラー画像又は擬似カラー画像が対象物上に投影される。フルオロフォアが可視光範囲において発光する場合、追加の情報を提供するように、画像情報を擬似カラーと同様に強化することができる。
【0076】
フルオロフォアが、ＩＲスペクトルにおける光によって励起される場合、プロジェクタ１０８又は光源１１６Ｃは、フルオロフォアを励起するのに用いられるＩＲを提供するのに用いることができる。
【0077】
フルオロフォアが、可視スペクトルにおける光によって励起される場合、プロジェクタ１０８又は光源１１６Ｂは、フルオロフォアを励起するのに用いられる可視光を提供するのに用いることができる。
【0078】
フルオロフォアがＩＲスペクトルにおいて発光する場合、ＩＲ対応のカメラあるいはセンサ１１０が、裸眼の人間の目に見えない蛍光発光信号と、（用いられている場合は）背景照明信号とを捕捉し、このデータをメモリ、プロセッサ１０４に記憶する。プロジェクタ１０８は、蛍光信号に対応する可視光（擬似カラー）又は拡張表現を実対象物上に投影する。
【0079】
フルオロフォアが可視スペクトルにおいて発光する場合、可視光若しくはＩＲ対応又はハイパースペクトル対応のカメラあるいはセンサ１１０が、蛍光発光信号と、（用いられている場合）背景ＩＲ照明信号とを捕捉する。発光強度及び背景情報は、処理ユニット１０４によって処理され、拡張あるいは強化画像情報として記憶される。プロジェクタ１０８は、その後、処理された、あるいは拡張された蛍光発光に対応する可視光線（擬似カラー）画像を実対象物上に投影することができる。
【0080】
このように、いくつかの実施形態では、カメラあるいはセンサ１１０はＩＲ対応センサであり、他の実施形態では、カメラあるいはセンサ１１０は可視光対応センサであり、更に他の実施形態では、カメラあるいはセンサ１１０は可視光及びＩＲ光の双方を検出することが可能であり、例えば、可視光及びＩＲ光の双方を撮像することができるマルチスペクトルカメラ又はハイパースペクトルカメラである。更に別の実施形態では、カメラあるいはセンサ１１０は、１つが可視波長信号の感度がより高く、１つがＩＲ信号の感度がより高い２つの異なるセンサを組み合わせたものである。
【0081】
ＩＲを用いてフルオロフォアを励起する実施形態では、対象物上に投影されたＩＲ光の波長をフィルタリング除去することによって信号対雑音比を改善するために、帯域通過フィルタ（図示せず）を利用することができる。より詳細には、フルオロフォアを励起するのに用いられるＩＲの波長は、励起されたフルオロフォアの蛍光発光の波長とは異なる。帯域通過フィルタは、励起されたフルオロフォアの蛍光発光の波長のみがカメラに見えるように、フルオロフォアを励起するのに用いられるＩＲの波長をフィルタリング除去するために用いることができる。
【0082】
フルオロフォアが可視光スペクトルにおいて発光する場合、カメラあるいはセンサ１１０はこの発光信号を捕捉する。距離センサ１０２は、カメラあるいはセンサ１１０と蛍光発光体との間の距離を評価する。その後、処理ユニット１０４は、発光信号情報及び距離を処理し、プロジェクタ１０８に指示を与えることができる。プロジェクタ１０８は、この可視光の処理された画像（擬似カラー）を対象物上に投影するが、可視光フルオロフォアの発光の波長と干渉しない異なる可視スペクトルにおいて投影する。このように、カメラ１１０は、可視光フルオロフォアの発光を得るときにフィルタ（図示せず）を用いて、拡張画像情報を投影するのに用いられる波長をフィルタリング除去する。
【0083】
撮像システム２００は、蛍光強度を測定する機能を更に備えることができる。蛍光の強度が小さいのは、例えば、システムが、蛍光発光、すなわち撮像対象の対象物から遠く離れすぎていることによる場合がある。撮像システム２００は、距離センサ１０２を利用することによって対象物までの距離を正確に測定することができる。カメラあるいはセンサ１１０によって検出される蛍光の強度は、システム２００を対象物に接近させるほど増加する。それに対応して、蛍光の強度は、システム２００を対象物から遠くに移動させるほど減少する。システム２００が対象物から過度に離れて置かれた場合、蛍光の強度は、許容可能な閾値を下回るほど低下し、システムは、システムを対象物に接近させるようユーザに通知する。このアラートは、可聴及び／又は視覚的なものとすることができる。例えば、システム２００は、システムを接近させるようにユーザに指示する警告を対象物上に直接投影することができる。
【0084】
システム２００は、距離に応じた理想的な蛍光強度閾値を有するルックアップテーブルを処理ユニット１０４内に更に備えることができる。システム２００は、例えば、距離センサ１０２を用いて対象物までの距離を検知することができる。測定された蛍光強度が、測定された距離の理想的なＩＲ強度閾値未満である場合、この問題は、フルオロフォア濃度が低いことによる場合がある。その場合、ユーザは、追加のフルオロフォアを対象物に加えることが必要な場合がある。システム２００は、用いられている励起源が、検出される蛍光発光強度を高めるか否かを判断するために、この励起源の強度を調整することもできる。
【0085】
［基準ターゲット及びヘッドマウントディスプレイ］
本明細書において説明する実施形態のいずれにおいても、拡張情報が表示される対象物上の１つ以上のランドマーク（例えば、解剖学的ランドマーク）に取り付けられる１つ以上の基準ターゲットを有することは有用であり得る。そのような基準ターゲットは、拡張画像が、投影対象の対象物と位置調整（位置合わせ）されることを確実にするために有用である。（複数の）ターゲットは、様々な既知の手段のうちの任意のものを用いて対象物に物理的に取り付けることができる。これらの既知の手段には、対象物に挿入されるアンカ、ベルト、接着剤、縫合糸等が含まれる。（複数の）ターゲットは、基準ターゲットを含む事前にプリントされたステッカ又は事前にプリントされた３Ｍ（商標）アイオバン（商標）インサイズドレープ（3MTM IobanTM incise drape）も含むことができる。例えば、蛍光インクを用いて被写体あるいは対象物上に基準ターゲットを直接描くことも可能である。
本明細書において説明する実施形態のいずれにおいても、拡張情報が表示される対象物上の１つ以上のランドマーク（例えば、解剖学的ランドマーク）に取り付けられる１つ以上の基準ターゲットを有することは有用であり得る。そのような基準ターゲットは、拡張画像が、投影対象の対象物と位置調整（位置合わせ）されることを確実にするために有用である。（複数の）ターゲットは、様々な既知の手段のうちの任意のものを用いて対象物に物理的に取り付けることができる。これらの既知の手段には、対象物に挿入されるアンカ、ベルト、接着剤、縫合糸等が含まれる。（複数の）ターゲットは、基準ターゲットを含む事前にプリントされたステッカ又は事前にプリントされた３Ｍ（商標）アイオバン（商標）インサイズドレープ（3MTM IobanTM incise drape）も含むことができる。例えば、蛍光インクを用いて被写体あるいは対象物上に基準ターゲットを直接描くことも可能である。
【0086】
基準ターゲットは、裸眼の人間の目に見えるパターンを含むこともでき、このパターンは、ＩＲ対応カメラ、ＩＲ高感度センサ等にしか見えない赤外線インクを用いてプリントすることもできる。ＩＲ基準ターゲットは、対象物上に投影される拡張画像と干渉しないという利点を有する。仮想的な基準パターンを対象物上に投影することも可能である。仮想的な基準ターゲットは、可視光スペクトルを用いて投影することもできるし、より好ましくは、拡張画像と干渉しないように、裸眼の人間の目には見えない光スペクトル、例えば、赤外光を用いて投影することもできる。基準がＩＲスペクトルにおいて検出される場合は、基準を励起するのに用いられる（複数の）ＩＲ周波数がフルオロフォアのＩＲ発光周波数と干渉しないようにすることに配慮すべきである。
【0087】
基準ターゲットは、拡張画像又は擬似カラー画像を対象物上に投影するのに用いられるプロジェクタと同じプロジェクタ１０８を用いて投影することもできるし、ストラクチャード・ライト光源１１７を用いて生成することもでき、カメラあるいはセンサ１１０又はシステム３００について以下で説明するヘッドマウント（頭部装着型）ディスプレイ１２０のいずれかによって検出される。基準がプロジェクタ１０８によって投影される一実施形態において、処理ユニット１０４は、拡張画像情報の投影と基準ターゲットの投影とを交互に行うようプロジェクタ１０８をポーリングする。基準ターゲット及び拡張画像を、同じプロジェクタ１０８を用いて投影することで、２つの別々のプロジェクタ間の不整合を修正する必要がなくなる。
【0088】
１つのプロジェクタ１０８が基準ターゲットを投影するものであり、もう１つのプロジェクタが拡張画像を投影するものであるという、２つの個別のプロジェクタを用いることが有利であり得る様々な理由がある。そのようなシステムでは、２つのプロジェクタを整合させる画像処理が必要となる場合がある。
【0089】
上述したように、基準マーカ又は基準ターゲットは、肉眼では見えない光スペクトル、例えば、赤外（ＩＲ）において投影することができる。これは、ターゲットが拡張画像又は擬似カラー画像の投影と干渉しないという点で有利である。
【0090】
基準ターゲットがプリントあるいは取り付けられるのか又は投影されるのかにかかわらず、カスタマイズされた患者ごとの基準ターゲットを利用することができる。患者ごとの基準は、プライベート性を維持し、撮像システムのカメラあるいはソフトウェアによってのみ判読できる情報を含む。
【0091】
図３は、拡張画像情報がヘッドマウントディスプレイ１２０上に投影されるヘッドマウント撮像システム３００の説明図である。ヘッドマウントディスプレイは、Microsoft社のＨｏｌｏｌｅｎｓ等の、撮像センサ及び慣性センサを含む統合センサを有する。システム３００は、システム２００（図２）とほぼ同じであるものの、システム３００においては、拡張情報は、対象物上に投影されるのではなく、ヘッドマウントディスプレイ１２０上に表示される。
【0092】
システム３００は、上述したような（又は前述したようにストラクチャード・ライトを用いて距離を計算する）距離測定デバイス１０２と、距離測定デバイス１０２から距離情報を受け、拡張画像を処理及び管理する処理ユニット１０４と、プロジェクタ１０８とを備えたものとすることができる。この実施形態では、プロジェクタ１０８は、拡張情報ではなく仮想基準を対象物上に投影するのに用いることができる。あるいは、基準は、対象物に取り付けることもできるし、対象物上にペイントすることもできる。基準は、ストラクチャード・ライト光源１１７によって裸眼の人間の目に見えないＩＲパターンで作成することもできるし、可視ターゲットとすることもできる。この実施形態では、ユーザは、基準を検出するカメラセンサ１１０を装備したヘッドマウントディスプレイ１２０を装着する。拡張画像情報は、ヘッドマウントディスプレイ１２０上に表示される。基準は、拡張画像情報の位置合わせに用いられるとともに、ヘッドマウントディスプレイに対する拡張画像情報を表示するロケーションを特定するのに用いられる。拡張画像は、ヘッドマウントディスプレイ上に表示され、したがって、ユーザにのみ見える。このような実施形態では、ヘッドマウントディスプレイ上のカメラセンサ１１０は、ターゲットのロケーションと一致させるために、基準を検出し、拡張画像をこの基準と位置合わせし、適切に拡大縮小がなされた拡張画像をヘッドマウントディスプレイ１２０上に表示する。
【0093】
図２に関して述べたとおり、システム３００は、必要に応じて光源１１６Ａ、１１６Ｂ及び１１６Ｃを備えることができることに留意されたい。
【0094】
［外科用器具の位置合わせ］
本発明の拡張撮像システムは、外科用器具のナビゲーションあるいは位置合わせにも用いることができる。このシステムは、上述したような距離・輪郭測定デバイス１０２と、プロセッサ１０４と、プロジェクタ１０８と、撮像カメラ１１０と、複数の外科用器具を一意に特定する情報を記憶するルックアップテーブルとを備えることができる。
本発明の拡張撮像システムは、外科用器具のナビゲーションあるいは位置合わせにも用いることができる。このシステムは、上述したような距離・輪郭測定デバイス１０２と、プロセッサ１０４と、プロジェクタ１０８と、撮像カメラ１１０と、複数の外科用器具を一意に特定する情報を記憶するルックアップテーブルとを備えることができる。
【0095】
このタイプのシステムでは、距離測定デバイスは、拡張情報が投影される対象物の距離及び／又は輪郭・トポロジを測定する。撮像カメラは、外科用デバイスの画像を取得し、取得された画像をルックアップテーブルに記憶された情報と比較して、外科用器具と、対象物に対するそれらのロケーション・向きとを特定する。
【0096】
外科用器具には、この器具の識別及び位置追跡を容易にする基準を設けることができる。この基準は、可視光スペクトル又はＩＲ蛍光インクを用いて作製することができる。基準は、反射器等の他の技術を用いて構築することもできる。
【0097】
この実施形態によれば、器具の位置は、撮像カメラ１１０を用いて追跡され、ガイダンス情報の形式の拡張データが、対象物（患者）上に投影され（１０８）、ユーザが外科用器具を適切に位置決めすることを助ける。拡張情報は、例えば、器具をどのように再配置するのかに関するリアルタイムのフィードバックを提供する、プロジェクタによって道具に直接表示されるか又は道具に隣接して表示される画像を含むことができる。
【0098】
本明細書において説明した拡張撮像システムの各々において、システムは、対象物までの距離と、撮像カメラあるいはプロジェクタと対象物との間のスキュー角とを評価し、そのため、ユーザへの様々なメッセージを投影することができる。例えば、カメラあるいはプロジェクタが低すぎる又は高すぎる場合には、ユーザが位置決めすることを助けるメッセージ又は画像を投影することができる。これは、奥行き検知カメラあるいはプロジェクタが対象物を走査しているときにも適用することができる。
【0099】
システム３００の残りの部分は、ストラクチャード・ライトの実施形態と同じように動作し、光１１６Ａ、１１６Ｂ、１１６Ｃ及び１１７の任意の組み合わせを含むことができる。
【0100】
［距離測定及び拡大縮小を伴う内視鏡］
内視鏡による蛍光撮像の用途の場合、内視鏡の遠位端と蛍光ターゲットとの間の距離を求めることが望ましい。図４は、評価された距離を利用して蛍光発光の強度を最適化する内視鏡システム４００のブロック図である。距離測定デバイス１０２又はストラクチャード・ライト光源１１７及びカメラセンサ１１０は、例えば、励起に用いられるプロジェクタ１０８又は光１１６Ｂ、１１６Ｃの強度を自動的に調整するのに利用することができる。
内視鏡による蛍光撮像の用途の場合、内視鏡の遠位端と蛍光ターゲットとの間の距離を求めることが望ましい。図４は、評価された距離を利用して蛍光発光の強度を最適化する内視鏡システム４００のブロック図である。距離測定デバイス１０２又はストラクチャード・ライト光源１１７及びカメラセンサ１１０は、例えば、励起に用いられるプロジェクタ１０８又は光１１６Ｂ、１１６Ｃの強度を自動的に調整するのに利用することができる。
【0101】
距離測定デバイス１０２（又はストラクチャード・ライト光源１１７若しくはプロジェクタ１０８）は、内視鏡チューブを通じて動作し、内視鏡の遠位端から手術部位までの距離を測定することができる。あるいは、距離測定評価は、内視鏡の光学部品類とは別の光学部品類を通じて行うこともできる。距離は、例えば、ストラクチャード・ライト１１７と、内視鏡カメラとは別の追加のカメラあるいはセンサ１１０とを用いることによって測定することができる。この代替的形態は、距離検知に用いられるパターン又は信号が内視鏡の光学部品類による歪みを受けないという点で有益であることが分かる。
【0102】
本発明の好ましい実施形態を本明細書において図示及び説明してきたが、そのような実施形態は単なる例として提供されているにすぎないことが当業者には明らかであろう。本発明が本明細書内で提供されている具体例によって限定されることは意図されていない。本発明は、前述の具体的内容に関して説明されているが、本明細書における実施形態の説明及び説明図が限定の意味に解釈されることは意図されていない。本発明から逸脱しない数多くの変形形態、変更形態、及び代用形態が、この時点で、当業者に想起されるであろう。さらに、本発明の全ての態様は、様々な条件及び変化するものに依存する本明細書において述べた具体的な描写、構成又は相対的比率に限定されるものではないことが理解されるであろう。本明細書において説明した本発明の実施形態の様々な代替形態を、本発明を実施する際に用いることができることが理解されるべきである。したがって、本発明は、そのような任意の代替形態、変更形態、変形形態又は均等形態も包含するものであることが想定されている。添付の特許請求の範囲は本発明の範囲を定め、請求の範囲内にある方法及び構造並びにそれらの均等形態はそれによって包含されることが意図されている。
なお、特願２０２０－５０３９８３の出願当初の特許請求の範囲は以下のとおりである。
［請求項１］
対象物に拡張情報を投影する画像システムであって、
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは拡張画像情報を前記対象物に投影するものである、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供するものである、画像システム。
［請求項２］
前記距離測定デバイスは、レーザ測距器と、レーザ走査と、タイム・オブ・フライトと、ストラクチャード・ライトと、ライトフィールドカメラと、音響測定デバイスとからなる群から選択される、請求項１に記載の画像システム。
［請求項３］
前記距離測定デバイスは更に、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を求め、
前記プロセッサは、前記トポロジの情報と前記向きの情報との少なくとも一方をも用いて前記拡張情報のスケールを調整するものである、
請求項１に記載の画像システム。
［請求項４］
ストラクチャード・ライトと、バックグラウンドの赤外光と、可視光と、蛍光体励起光とからなる群から選択される少なくとも１つの光源を更に備える請求項１に記載の画像システム。
［請求項５］
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記少なくとも１つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト光源を含み、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項４に記載の画像システム。
［請求項６］
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項１又は３に記載の画像システム。
［請求項７］
前記プロジェクタは、少なくとも２つの所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記少なくとも２つの所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジの少なくとも一方を検出された反射から計算する、請求項６に記載の画像システム。
［請求項８］
センサ及びカメラの少なくとも一方は更に、前記対象物上に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて、前記拡張画像情報の前記対象物との位置合わせを行う、請求項６に記載の画像システム。
［請求項９］
前記距離測定デバイスは、光源及びセンサを有するタイム・オブ・フライトのセンサユニットを備える、請求項１又は３に記載の画像システム。
［請求項１０］
前記光源は赤外線対応光源であり、前記光センサは赤外光の検出が可能である、請求項９に記載の画像システム。
［請求項１１］
前記距離測定デバイスは、
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも１つの所定のストラクチャード・ライトのパターンを前記対象物に投影する第２のプロジェクタと
を備え、
センサ及びカメラの少なくとも一方は、前記所定のライトのパターンの反射を検出し、
前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及びトポロジの少なくともいずれかを用いて前記拡張情報のスケールを調整し、スケールが調整された拡張情報を前記プロジェクタに提供する、請求項１又は３に記載の画像システム。
［請求項１２］
センサ及びカメラの少なくとも一方は更に、前記対象物に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項１１に記載の画像システム。
［請求項１３］
前記プロセッサに動作可能に接続されるＩＭＵを更に備える請求項１～１２のいずれか１項に記載の画像システム。
［請求項１４］
前記画像システムが少なくとも所定の時間にわたり静止していることを前記ＩＭＵが検出した場合、前記プロセッサは、前記距離測定デバイスによる距離測定を停止させる、請求項１３に記載の画像システム。
［請求項１５］
前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記ＩＭＵが検出した場合、前記プロセッサは、前記プロジェクタによる投影を停止させる、請求項１３に記載の画像システム。
［請求項１６］
前記画像システムの向きが所定の閾値内にない場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１３に記載の画像システム。
［請求項１７］
測定された前記対象物までの距離が既定の閾値距離を超えている場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１～１６のいずれか１項に記載の画像システム。
［請求項１８］
ライトを更に備え、前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記ＩＭＵが検出した場合に、前記プロセッサは前記ライトを停止させる、請求項１３に記載の画像システム。
［請求項１９］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項１～３のいずれか１項に記載の画像システム。
［請求項２０］
前記プロジェクタは、可視スペクトルの光を用いて前記拡張画像情報を前記対象物に投影する、請求項１９に記載の画像システム。
［請求項２１］
前記プロジェクタは、拡張画像情報を前記対象物に投影するための第１のモードと、前記対象物内又は前記対象物上の蛍光体を励起する光を投影するための第２のモードとを有する、請求項１９に記載の画像システム。
［請求項２２］
前記プロジェクタは、所定の光パターンを投影するための第３のモードを有する、請求項２１に記載の画像システム。
［請求項２３］
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの双方において光を投影することが可能である、請求項２２に記載の画像システム。
［請求項２４］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第２のプロジェクタの少なくとも一方と
を更に備え、
前記プロセッサは、光源及び第２のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、
カメラ又はセンサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項１～３のいずれか１項に記載の画像システム。
［請求項２５］
検出された蛍光の強度が閾値未満である場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１９又は２４に記載の画像システム。
［請求項２６］
前記プロセッサに動作可能に接続されるカメラ及びセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第２のプロジェクタと
を更に備え、
前記プロセッサは、前記第２のプロジェクタから前記仮想的な基準を前記対象物に投影させ、
前記カメラ又は前記センサは前記仮想的な基準の位置を検出し、
前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項１～３のいずれか１項に記載の画像システム。
［請求項２７］
前記メモリは、リモート通信プロトコルにより前記プロセッサに対して動作可能に接続される、請求項１～２６のいずれか１項に記載の画像システム。
［請求項２８］
前記拡張画像情報は可視光の範囲で投影される、請求項１に記載の画像システム。
［請求項２９］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは第１の波長において前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第１の波長とは異なる第２の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする、請求項１～３のいずれか１項に記載の画像システム。
なお、特願２０２０－５０３９８３の出願当初の特許請求の範囲は以下のとおりである。
［請求項１］
対象物に拡張情報を投影する画像システムであって、
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは拡張画像情報を前記対象物に投影するものである、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供するものである、画像システム。
［請求項２］
前記距離測定デバイスは、レーザ測距器と、レーザ走査と、タイム・オブ・フライトと、ストラクチャード・ライトと、ライトフィールドカメラと、音響測定デバイスとからなる群から選択される、請求項１に記載の画像システム。
［請求項３］
前記距離測定デバイスは更に、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を求め、
前記プロセッサは、前記トポロジの情報と前記向きの情報との少なくとも一方をも用いて前記拡張情報のスケールを調整するものである、
請求項１に記載の画像システム。
［請求項４］
ストラクチャード・ライトと、バックグラウンドの赤外光と、可視光と、蛍光体励起光とからなる群から選択される少なくとも１つの光源を更に備える請求項１に記載の画像システム。
［請求項５］
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記少なくとも１つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト光源を含み、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項４に記載の画像システム。
［請求項６］
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項１又は３に記載の画像システム。
［請求項７］
前記プロジェクタは、少なくとも２つの所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記少なくとも２つの所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジの少なくとも一方を検出された反射から計算する、請求項６に記載の画像システム。
［請求項８］
センサ及びカメラの少なくとも一方は更に、前記対象物上に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて、前記拡張画像情報の前記対象物との位置合わせを行う、請求項６に記載の画像システム。
［請求項９］
前記距離測定デバイスは、光源及びセンサを有するタイム・オブ・フライトのセンサユニットを備える、請求項１又は３に記載の画像システム。
［請求項１０］
前記光源は赤外線対応光源であり、前記光センサは赤外光の検出が可能である、請求項９に記載の画像システム。
［請求項１１］
前記距離測定デバイスは、
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも１つの所定のストラクチャード・ライトのパターンを前記対象物に投影する第２のプロジェクタと
を備え、
センサ及びカメラの少なくとも一方は、前記所定のライトのパターンの反射を検出し、
前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及びトポロジの少なくともいずれかを用いて前記拡張情報のスケールを調整し、スケールが調整された拡張情報を前記プロジェクタに提供する、請求項１又は３に記載の画像システム。
［請求項１２］
センサ及びカメラの少なくとも一方は更に、前記対象物に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項１１に記載の画像システム。
［請求項１３］
前記プロセッサに動作可能に接続されるＩＭＵを更に備える請求項１～１２のいずれか１項に記載の画像システム。
［請求項１４］
前記画像システムが少なくとも所定の時間にわたり静止していることを前記ＩＭＵが検出した場合、前記プロセッサは、前記距離測定デバイスによる距離測定を停止させる、請求項１３に記載の画像システム。
［請求項１５］
前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記ＩＭＵが検出した場合、前記プロセッサは、前記プロジェクタによる投影を停止させる、請求項１３に記載の画像システム。
［請求項１６］
前記画像システムの向きが所定の閾値内にない場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１３に記載の画像システム。
［請求項１７］
測定された前記対象物までの距離が既定の閾値距離を超えている場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１～１６のいずれか１項に記載の画像システム。
［請求項１８］
ライトを更に備え、前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記ＩＭＵが検出した場合に、前記プロセッサは前記ライトを停止させる、請求項１３に記載の画像システム。
［請求項１９］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項１～３のいずれか１項に記載の画像システム。
［請求項２０］
前記プロジェクタは、可視スペクトルの光を用いて前記拡張画像情報を前記対象物に投影する、請求項１９に記載の画像システム。
［請求項２１］
前記プロジェクタは、拡張画像情報を前記対象物に投影するための第１のモードと、前記対象物内又は前記対象物上の蛍光体を励起する光を投影するための第２のモードとを有する、請求項１９に記載の画像システム。
［請求項２２］
前記プロジェクタは、所定の光パターンを投影するための第３のモードを有する、請求項２１に記載の画像システム。
［請求項２３］
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの双方において光を投影することが可能である、請求項２２に記載の画像システム。
［請求項２４］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第２のプロジェクタの少なくとも一方と
を更に備え、
前記プロセッサは、光源及び第２のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、
カメラ又はセンサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項１～３のいずれか１項に記載の画像システム。
［請求項２５］
検出された蛍光の強度が閾値未満である場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項１９又は２４に記載の画像システム。
［請求項２６］
前記プロセッサに動作可能に接続されるカメラ及びセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第２のプロジェクタと
を更に備え、
前記プロセッサは、前記第２のプロジェクタから前記仮想的な基準を前記対象物に投影させ、
前記カメラ又は前記センサは前記仮想的な基準の位置を検出し、
前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項１～３のいずれか１項に記載の画像システム。
［請求項２７］
前記メモリは、リモート通信プロトコルにより前記プロセッサに対して動作可能に接続される、請求項１～２６のいずれか１項に記載の画像システム。
［請求項２８］
前記拡張画像情報は可視光の範囲で投影される、請求項１に記載の画像システム。
［請求項２９］
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは第１の波長において前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第１の波長とは異なる第２の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする、請求項１～３のいずれか１項に記載の画像システム。
【図1】
【図2】
【図3】
【図4】
