▶ アクティブ サージカル， インコーポレイテッドの特許一覧
特許7297891自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-16
(45)【発行日】2023-06-26
(54)【発明の名称】自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20230619BHJP
G01B 11/25 20060101ALI20230619BHJP
G01B 11/245 20060101ALI20230619BHJP
【ＦＩ】
G01B11/24 K
G01B11/25 H
G01B11/245 H
【請求項の数】
20
(21)【出願番号】P 2021526407
(86)(22)【出願日】2019-07-19
(65)【公表番号】
(43)【公表日】2021-11-18
(86)【国際出願番号】 US2019042647
(87)【国際公開番号】W WO2020018931
(87)【国際公開日】2020-01-23
【審査請求日】2022-07-19
(31)【優先権主張番号】62/700,700
(32)【優先日】2018-07-19
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】521025762
【氏名又は名称】アクティブ サージカル， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】カレフ， トーマス ジェイ．
(72)【発明者】
【氏名】チェン， ティナ ピー．
(72)【発明者】
【氏名】デマイオ， エマニュエル
(72)【発明者】
【氏名】チェン， トニー
(72)【発明者】
【氏名】ブハリン， ヴァシリー エフゲニエヴィチ
(72)【発明者】
【氏名】ルールマン， マイケル ジー．
【審査官】眞岩 久恵
(56)【参考文献】
【文献】特表２０１３－５４４４４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
深度感知の方法であって、（ａ）外科手術場面内の物体の１つ以上の画像を記録することであって、前記１つ以上の画像は、前記物体上の複数のマーカを備える、ことと、
（ｂ）（ｉ）前記１つ以上の画像と前記複数のマーカのうちの第１の組のマーカとを使用して、第１の深度を算出し、（ｉｉ）前記１つ以上の画像と前記複数のマーカのうちの第２の組のマーカとを使用して、第２の深度を算出し、（ｉｉｉ）前記１つ以上の画像と前記複数のマーカのうちの第３の組のマーカとを使用して、第３の深度を算出することと、
（ｃ）（ｉ）第１の加重を前記第１の深度に割り当て、（ｉｉ）第２の加重を前記第２の深度に割り当て、（ｉｉｉ）第３の加重を前記第３の深度に割り当てることと、
（ｄ）前記第１の深度、前記第１の加重、前記第２の深度、前記第２の加重、前記第３の深度、および前記第３の加重に少なくとも部分的に基づいて、前記物体の１つ以上の部分の加重平均深度を算出することと
を含む方法。
【請求項2】
（ａ）は、前記１つ以上の画像を記録するために１つ以上の結像デバイスを使用することを含む、請求項１に記載の方法。
【請求項3】
前記１つ以上の結像デバイスは、立体視カメラ、赤外線カメラ、明視野カメラ、プレノプティックカメラ、または構造化光検出ユニットを備える、請求項２に記載の方法。
【請求項4】
前記１つ以上の結像デバイスは、異なるタイプの結像デバイスを備える、請求項２に記載の方法。
【請求項5】
前記第１の加重および前記第２の加重のうちの少なくとも一方は、前記１つ以上の結像デバイスの正確度または精度に対応する、請求項２に記載の方法。
【請求項6】
前記第１の組のマーカは、１つ以上の基点マーカを備える、請求項１に記載の方法。
【請求項7】
前記１つ以上の基点マーカは、前記物体に適用された液体インクを備える、請求項６に記載の方法。
【請求項8】
前記第２の組のマーカは、１つ以上の光学マーカを備える、請求項１に記載の方法。
【請求項9】
（ａ）は、（ｉ）前記１つ以上の光学マーカを備える構造化された光パターンを前記物体の表面上に投影することと、（ｉｉ）前記物体の前記表面上に投影された前記構造化された光パターンを記録することとをさらに含む、請求項８に記載の方法。
【請求項10】
前記投影された構造化された光パターンの少なくとも一部を使用することにより、前記物体の前記表面の幾何学的再構築を算出することをさらに含む、請求項９に記載の方法。
【請求項11】
（ｉ）第１のカメラを使用して前記物体の第１の画像を記録し、前記第１のカメラから離間されている第２のカメラを使用して前記物体の第２の画像を記録することと、（ｉｉ）前記第１の画像と前記第２の画像との間の不均衡値を算出することと、
（ｉｉｉ）前記不均衡値を使用することにより、前記物体の前記１つ以上の部分の深度を算出または更新することと
をさらに含む、請求項１に記載の方法。
【請求項12】
前記第１の加重および前記第２の加重のうちの少なくとも一方は、前記１つ以上の画像のピクセルレベルでパラメータ化されている、請求項１に記載の方法。
【請求項13】
前記第１の加重および前記第２の加重のうちの少なくとも一方は、パラメータ関数を使用してパラメータ化され、前記パラメータ関数は、連続関数、不連続関数、区分関数、線形関数、または指数関数的関数を含む、請求項１２に記載の方法。
【請求項14】
前記第３の加重は、前記第１の加重または前記第２の加重よりも大きいか、前記第１の加重または前記第２の加重に等しい、請求項１に記載の方法。
【請求項15】
前記第２の加重は、前記第１の加重または前記第３の加重よりも大きいか、前記第１の加重または前記第３の加重に等しい、請求項１に記載の方法。
【請求項16】
前記第１の加重は、前記第２の加重または前記第３の加重よりも大きいか、前記第２の加重または前記第３の加重に等しい、請求項１に記載の方法。
【請求項17】
前記複数のマーカは、前記物体の表面に適用される造影剤を備える、請求項１に記載の方法。
【請求項18】
前記造影剤は、霧状染料を含む、請求項１７に記載の方法。
【請求項19】
前記物体は、生体材料、組織、器官、内部身体構造、または外部身体構造を含む、請求項１に記載の方法。
【請求項20】
前記第１の深度、前記第２の深度、または前記第３の深度は、前記第１、第２、および第３の組のマーカの各々について１つ以上の検出された位置を既知の基準に対して相互参照することによって算出され、前記既知の基準は、既知のサイズまたは既知の形状を備える、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年７月１９日に出願された、米国仮出願第６２／７００，７００号の利益を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年７月１９日に出願された、米国仮出願第６２／７００，７００号の利益を主張する。
【背景技術】
【0002】
本開示の実施形態は、概して、物体の表面の３次元位置情報のマルチモード感知に関する。
【発明の概要】
【課題を解決するための手段】
【0003】
本開示の実施形態によると、物体上の３次元座標を判定するためのシステム、方法、およびコンピュータプログラム製品が、提供される。本方法では、画像が、記録される。画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカと、物体上に配置される、第３の複数のマーカとを含む。第１の深度は、画像および第１の複数のマーカを使用して算出される。第２の深度は、画像および第２の複数のマーカを使用して算出される。第３の深度は、画像および第３の複数のマーカを使用して算出される。第１の加重は、第１の深度に割り当てられ、第２の加重は、第２の深度に割り当てられ、第３の加重は、第３の深度に割り当てられる。加重平均深度は、第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて算出される。
【0004】
種々の実施形態では、物体上の３次元座標を判定するためのシステムが、提供される。本システムは、結像デバイスと、それを用いて具現化されるプログラム命令を有する、コンピュータ可読記憶媒体を含む、コンピューティングノードとを含む。プログラム命令は、コンピューティングノードのプロセッサによって、プロセッサに、画像が結像デバイスによって記録される、方法を実施させるように実行可能である。画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカと、物体上に配置される、第３の複数のマーカとを含む。第１の深度は、画像および第１の複数のマーカを使用して算出される。第２の深度は、画像および第２の複数のマーカを使用して算出される。第３の深度は、画像および第３の複数のマーカを使用して算出される。第１の加重は、第１の深度に割り当てられ、第２の加重は、第２の深度に割り当てられ、第３の加重は、第３の深度に割り当てられる。加重平均深度は、第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて算出される。
【0005】
種々の実施形態では、物体上の３次元座標を判定するためのコンピュータプログラム製品が、提供される。コンピュータプログラム製品は、それを用いて具現化されるプログラム命令を有する、コンピュータ可読記憶媒体を含む。プログラム命令は、プロセッサによって、プロセッサに、画像が記録される、方法を実施させるように実行可能である。画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカと、物体上に配置される、第３の複数のマーカとを含む。第１の深度は、画像および第１の複数のマーカを使用して算出される。第２の深度は、画像および第２の複数のマーカを使用して算出される。第３の深度は、画像および第３の複数のマーカを使用して算出される。第１の加重は、第１の深度に割り当てられ、第２の加重は、第２の深度に割り当てられ、第３の加重は、第３の深度に割り当てられる。加重平均深度は、第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて算出される。
【0006】
種々の実施形態では、物体上の３次元座標を判定するためのシステム、方法、およびコンピュータプログラム製品が、提供される。本方法では、画像が、記録される。画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカとを含む。第１の深度は、画像および第１の複数のマーカを使用して算出される。第２の深度は、画像および第２の複数のマーカを使用して算出される。第１の加重は、第１の深度に割り当てられ、第２の加重は、第２の深度に割り当てられる。加重平均深度は、第１の深度、第２の深度、第１の加重、および第２の加重に基づいて算出される。
【0007】
種々の実施形態では、近位端および遠位端を有する、内視鏡と、内視鏡の遠位端に光学的に結合される、結像デバイスと、それを用いて具現化されるプログラム命令を有する、コンピュータ可読記憶媒体を備える、コンピューティングノードとを含む、統合された外科手術デバイスが、提供される。プログラム命令は、コンピューティングノードのプロセッサによって、プロセッサに、画像が記録される、方法を実施させるように実行可能である。画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカと、物体上に配置される、第３の複数のマーカとを含む。第１の深度は、画像および第１の複数のマーカを使用して算出される。第２の深度は、画像および第２の複数のマーカを使用して算出される。第３の深度は、画像および第３の複数のマーカを使用して算出される。第１の加重は、第１の深度に割り当てられ、第２の加重は、第２の深度に割り当てられ、第３の加重は、第３の深度に割り当てられる。加重平均深度は、第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて算出される。
本発明は、例えば、以下の項目を提供する。
（項目１）
方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む、方法。
（項目２）
前記画像を記録することは、１つ以上のデジタルカメラを用いて実施される、項目１に記載の方法。
（項目３）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目２に記載の方法。
（項目４）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目２または３に記載の方法。
（項目５）
前記第１の複数のマーカは、基点マーカを備える、前記項目のいずれかに記載の方法。
（項目６）
前記基点マーカは、液体インクを備える、項目５に記載の方法。
（項目７）
前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、前記項目のいずれかに記載の方法。
（項目８）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、前記項目のいずれかに記載の方法。
（項目９）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、前記項目のいずれかに記載の方法。
（項目１０）
前記造影剤は、霧状液体染料である、項目９に記載の方法。
（項目１１）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１２）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１３）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１４）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目１－１０のいずれか１項に記載の方法。
（項目１５）
システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。
（項目１６）
前記結像デバイスは、１つ以上のデジタルカメラを備える、項目１５に記載のシステム。
（項目１７）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目１６に記載のシステム。
（項目１８）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目１６または１７に記載のシステム。
（項目１９）
前記第１の複数のマーカは、基点マーカを備える、項目１５－１８のいずれか１項に記載のシステム。
（項目２０）
前記基点マーカは、液体インクを備える、項目１９に記載のシステム。
（項目２１）
構造化された光パターンを前記物体の表面上に投影するように構成される構造化された光源をさらに備える、項目１５－２０のいずれか１項に記載のシステム。
（項目２２）
前記画像を記録することは、
前記構造化された光源から前記物体の表面上に前記構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、項目２１に記載のシステム。
（項目２３）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、項目１５－２２のいずれか１項に記載のシステム。
（項目２４）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、項目１５－２３のいずれか１項に記載のシステム。
（項目２５）
前記造影剤は、霧状液体染料である、項目２４に記載のシステム。
（項目２６）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２７）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２８）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２９）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目１５－２５のいずれか１項に記載のシステム。
（項目３０）
近位および遠位端を有する内視鏡をさらに備え、前記結像デバイスは、前記近位端に配置される、項目１５－２９のいずれか１項に記載のシステム。
（項目３１）
コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。
（項目３２）
前記画像を記録することは、１つ以上のデジタルカメラを用いて実施される、項目３１に記載のコンピュータプログラム製品。
（項目３３）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目３２に記載のコンピュータプログラム製品。
（項目３４）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目３２または３３に記載のコンピュータプログラム製品。
（項目３５）
前記第１の複数のマーカは、基点マーカを備える、項目３１－３４のいずれか１項に記載のコンピュータプログラム製品。
（項目３６）
前記基点マーカは、液体インクを備える、項目３５に記載のコンピュータプログラム製品。
（項目３７）
前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、項目３１－３６のいずれか１項に記載のコンピュータプログラム製品。
（項目３８）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、項目３１－３７のいずれか１項に記載のコンピュータプログラム製品。
（項目３９）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、項目３１－３８のいずれか１項に記載のコンピュータプログラム製品。
（項目４０）
前記造影剤は、霧状液体染料である、項目３９に記載のコンピュータプログラム製品。
（項目４１）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４２）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４３）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４４）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４５）
方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む、方法。
（項目４６）
システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。
（項目４７）
コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。
（項目４８）
統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。
（項目４９）
統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。
本発明は、例えば、以下の項目を提供する。
（項目１）
方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む、方法。
（項目２）
前記画像を記録することは、１つ以上のデジタルカメラを用いて実施される、項目１に記載の方法。
（項目３）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目２に記載の方法。
（項目４）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目２または３に記載の方法。
（項目５）
前記第１の複数のマーカは、基点マーカを備える、前記項目のいずれかに記載の方法。
（項目６）
前記基点マーカは、液体インクを備える、項目５に記載の方法。
（項目７）
前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、前記項目のいずれかに記載の方法。
（項目８）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、前記項目のいずれかに記載の方法。
（項目９）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、前記項目のいずれかに記載の方法。
（項目１０）
前記造影剤は、霧状液体染料である、項目９に記載の方法。
（項目１１）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１２）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１３）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目１－１０のいずれか１項に記載の方法。
（項目１４）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目１－１０のいずれか１項に記載の方法。
（項目１５）
システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。
（項目１６）
前記結像デバイスは、１つ以上のデジタルカメラを備える、項目１５に記載のシステム。
（項目１７）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目１６に記載のシステム。
（項目１８）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目１６または１７に記載のシステム。
（項目１９）
前記第１の複数のマーカは、基点マーカを備える、項目１５－１８のいずれか１項に記載のシステム。
（項目２０）
前記基点マーカは、液体インクを備える、項目１９に記載のシステム。
（項目２１）
構造化された光パターンを前記物体の表面上に投影するように構成される構造化された光源をさらに備える、項目１５－２０のいずれか１項に記載のシステム。
（項目２２）
前記画像を記録することは、
前記構造化された光源から前記物体の表面上に前記構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、項目２１に記載のシステム。
（項目２３）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、項目１５－２２のいずれか１項に記載のシステム。
（項目２４）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、項目１５－２３のいずれか１項に記載のシステム。
（項目２５）
前記造影剤は、霧状液体染料である、項目２４に記載のシステム。
（項目２６）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２７）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２８）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目１５－２５のいずれか１項に記載のシステム。
（項目２９）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目１５－２５のいずれか１項に記載のシステム。
（項目３０）
近位および遠位端を有する内視鏡をさらに備え、前記結像デバイスは、前記近位端に配置される、項目１５－２９のいずれか１項に記載のシステム。
（項目３１）
コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。
（項目３２）
前記画像を記録することは、１つ以上のデジタルカメラを用いて実施される、項目３１に記載のコンピュータプログラム製品。
（項目３３）
前記１つ以上のデジタルカメラは、立体視カメラシステムを備える、項目３２に記載のコンピュータプログラム製品。
（項目３４）
前記１つ以上のデジタルカメラは、プレノプティックカメラを備える、項目３２または３３に記載のコンピュータプログラム製品。
（項目３５）
前記第１の複数のマーカは、基点マーカを備える、項目３１－３４のいずれか１項に記載のコンピュータプログラム製品。
（項目３６）
前記基点マーカは、液体インクを備える、項目３５に記載のコンピュータプログラム製品。
（項目３７）
前記画像を記録することは、
構造化された光源から前記物体の表面上に構造化された光パターンをオーバーレイすることと、
前記構造化された光パターンを前記物体上に記録することと、
前記構造化された光パターンの幾何学的再構築を算出することと
を含む、項目３１－３６のいずれか１項に記載のコンピュータプログラム製品。
（項目３８）
前記画像を記録することは、
光源から前記物体の表面上に光パターンをオーバーレイすることと、
前記光パターンの第１の画像を第１の場所における第１のカメラを用いて記録することと、
前記光パターンの第２の画像を前記第１の場所から所定の距離だけ離れた第２の場所における第２のカメラを用いて記録することと、
前記第１の画像と前記第２の画像との間の不均衡値を算出することと
を含む、項目３１－３７のいずれか１項に記載のコンピュータプログラム製品。
（項目３９）
前記第３の複数のマーカは、前記物体の表面に適用される造影剤を備える、項目３１－３８のいずれか１項に記載のコンピュータプログラム製品。
（項目４０）
前記造影剤は、霧状液体染料である、項目３９に記載のコンピュータプログラム製品。
（項目４１）
前記第３の加重は、前記第１の加重および前記第２の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４２）
前記第２の加重は、前記第１の加重および前記第３の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４３）
前記第１の加重は、前記第２の加重および前記第３の加重を上回る、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４４）
前記第１の加重は、前記第２の加重および前記第３の加重に等しい、項目３１－４０のいずれか１項に記載のコンピュータプログラム製品。
（項目４５）
方法であって、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む、方法。
（項目４６）
システムであって、
結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、システム。
（項目４７）
コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、プロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピュータプログラム製品。
（項目４８）
統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカと、前記物体上に配置される第３の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
前記画像および前記第３の複数のマーカを使用して、第３の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当て、第３の加重を前記第３の深度に割り当てることと、
前記第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。
（項目４９）
統合された外科手術デバイスであって、
近位端および遠位端を有する内視鏡と、
前記内視鏡の遠位端に光学的に結合される結像デバイスと、
コンピュータ可読記憶媒体を備えるコンピューティングノードであって、前記コンピュータ可読記憶媒体は、それとともに具現化されるプログラム命令を有し、前記プログラム命令は、前記コンピューティングノードのプロセッサに、
画像を記録することであって、前記画像は、物体と、前記物体上に配置される第１の複数のマーカと、前記物体上に配置される第２の複数のマーカとを備える、ことと、
前記画像および前記第１の複数のマーカを使用して、第１の深度を算出することと、
前記画像および前記第２の複数のマーカを使用して、第２の深度を算出することと、
第１の加重を前記第１の深度に割り当て、第２の加重を前記第２の深度に割り当てることと、
前記第１の深度、第２の深度、第１の加重、および第２の加重に基づいて、加重平均深度を算出することと
を含む方法を実施させるように、前記プロセッサによって実行可能である、コンピューティングノードと
を備える、統合された外科手術デバイス。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【発明を実施するための形態】
【0025】
標的物体（例えば、生物学的組織）の３次元位置情報（Ｘ，Ｙ，Ｚ）を正確に判別する能力は、自動化された外科手術ロボットシステムの必要かつ重要要件である。１つのアプローチは、物体の表面に直接取り付けられる、既知のサイズおよび形状の基点マーカを使用して、表面についての位置情報を判定することである。しかしながら、基点マーカを使用する任意の方法の空間分解能は、組織に適用される基点の数に限定される。基点マーカは、コンピュータビジョンシステムが検出するために十分に大きくなければならないが、また、それに対してそれらが取り付けられる、表面の空間分解能を最大限にするために十分に小さくなければならない。これらの競合要件のため、特に、自動化された外科手術ロボットシステムが小さい閉じ込められた空間内で動作し得る、外科手術設定では、基点マーカによって提供される空間分解能に上限が存在する。
【0026】
多くの外科手術操縦（例えば、縫合）は、満足の行く外科手術転帰を達成するために、外科手術ツールの高度に巧妙かつ高度に正確な運動を要求する。能動的人間制御を有しない、完全に自動化されたロボット外科手術手技では、ロボットによって制御される外科手術ツールの正確度は、コンピュータビジョンシステムの空間分解能に大きく依存する。外科手術転帰は、ロボットツールを誘導する、コンピュータビジョンシステムの位置正確度に大きく依存するため、外科手術部位の空間分解能は、完全に自動化されたロボット外科手術手技では、さらにより重要である。単に、基点マーカを使用して、完全に自動化された外科手術ロボットを誘導することは、満足の行く転帰を確実にするための外科手術部位の適正な空間分解能を提供しない。
【0027】
故に、有効ロボット支援外科手術を改良するために、正確な外科手術計画および実行を可能にする、高分解能を伴って、位置情報を正確および確実に感知するためのシステムおよび方法の必要性が存在する。
【0028】
本開示の実施形態は、概して、物体の表面の３次元位置情報のマルチモード感知に関する。特に、本開示は、次いで、加重係数を使用して組み合わせられ、最終３次元位置を算出する、物体の表面の明確に異なる位置情報を収集するために使用される、複数の可視化モダリティを説明する。本開示は、概して、自動化された外科手術ロボットに対する３次元位置を感知することに焦点を当てるが、本システム、方法、およびコンピュータプログラム製品は、コンピュータビジョン技法を採用して、仮想現実または拡張現実用途等の３次元位置を識別する、他の分野において使用するためにも好適である。
【0029】
物体の表面（例えば、生物学的組織）上の３次元座標を判定するためのシステムは、概して、物体のベースライン画像を確立するために使用される、第１の結像システムを含む。ベースライン画像は、例えば、物体の表面に添着される、一連の基点マーカを使用して確立され、物体の表面に関する位置情報を生成してもよい。例えば、基点マーカは、スプレーアプリケータ（例えば、スプレーカテーテル）を介して、組織の表面上に設置されてもよい。一般に、基点マーカは、コンピュータビジョンシステムによって認識され、それに対してそれらが添着される、表面についての具体的位置情報を判定し得る、特殊マーカである。基点マーカの非限定的実施例は、シンボル（例えば、英数字）、パターン（例えば、ＱＲコード（登録商標））、液体（例えば、赤外線インク）、または物理的形状（２Ｄまたは３Ｄ）を含んでもよい。本位置情報は、物体の表面をマッピングし、３次元内のその表面のコンピュータシミュレーションを作成するために使用されてもよい。基点マーカは、特定のパターン（例えば、グリッドパターン）において、または無特定パターン（例えば、ランダム化された設置）において、物体に添着されてもよい。
【0030】
種々の実施形態では、基点マーカは、注射針を通して、液体状態において標的組織に適用される。液体マーカを標的組織に適用することは、いくつかの利点を有する。第１に、マーカは、部位上で混合されることができ、これは、マーカの安定性を改良する。第２に、液体マーカは、場所および標的組織への適用の精密な制御を可能にする。第３に、マーカは、任意の不規則的形状として適用されることができる。注射を用いて液体マーカを適用することによって、潅注された外科手術野は、発熱性反応を引き起こし、マーカを円形形状に固化させ、組織を標的化する。円形マーカは、外科手術手技の間、標的組織上の単一着目点を追跡するために有益であり得る。
【0031】
種々の実施形態では、注射針またはフェルト芯等のマーキング先端が、基点マーカを線形パターンに分注するために使用されてもよい。基点マーカを持続線として適用することによって、マーカを使用して、境界を標的組織上に画定することができる。境界を定義することは、疾患組織の領域または外科手術手技が実施されるべきではない領域を識別するために有用であり得る。さらに別の実施形態では、液体マーカは、標的組織上に噴霧され、重合化されると、斑点状パターンを作成してもよい。斑点状パターンは、組織の大領域を相互から画定するために着目されてもよい。一実施例では、背景組織が、斑点状にされ、それを前景組織から区別してもよい。ロボットまたは半自律的ワークフロー内の他のコンポーネントは、背景および前景情報を使用して、その運動または提案を計画もしくは制御してもよい。
【0032】
他の実施形態では、液体マーカは、所定のマスクを通して適用され、任意の恣意的および所定の形状におけるマーカを標的組織上に適用してもよい。
【0033】
基点マーカを使用して、物体の表面の位置情報を入手するために、第１の結像システムは、１つ以上のカメラ（例えば、１つ、２つ、３つ、４つ、または５つ）を含んでもよい。種々の実施形態では、１つ以上のカメラは、立体視カメラを含んでもよい。種々の実施形態では、立体視カメラは、２つの別個のカメラによって実装されてもよい。種々の実施形態では、２つの別個のカメラは、相互から所定の距離に配置されてもよい。種々の実施形態では、立体視カメラは、外科手術計器（例えば、腹腔鏡、内視鏡等）の最遠位端に位置してもよい。カメラは、基点マーカ毎に検出された位置を既知の基準（例えば、基点の既知のサイズおよび形状）に対して相互参照し、基点マーカ毎に、位置情報（例えば、深度）を判定してもよい。位置情報は、本明細書で使用されるように、概して、３次元座標系内で（Ｘ，Ｙ，Ｚ）として定義されてもよい。
【0034】
１つ以上のカメラは、例えば、赤外線放射を放出し、放出される赤外線放射の反射を検出する、赤外線カメラであってもよい。他の実施形態では、１つ以上のカメラは、当技術分野において公知のように、デジタルカメラであってもよい。他の実施形態では、１つ以上のカメラは、プレノプティックカメラであってもよい。１つ以上のカメラは、下記にさらに詳細に説明されるように、コンピューティングノードに接続されてもよい。
【0035】
本開示は、結果として生じる位置情報の正確度を改良するために、基点マーカ追跡に加え、他の可視化モダリティもまた組み込むことによって、単に基点マーカを採用する、単一モードアプローチを改良する。第２の結像システムが、個々に、または本明細書に説明される他の結像システムと組み合わせてのいずれかにおいて、物体の表面に関する位置情報を生成するために使用されてもよい（例えば、ベースライン画像が、第１の結像システムを使用して記録され、位置情報が、基点マーカ毎に入手された後）。構造化された光源から投影された構造化されたパターンは、表面上に投影されるとき、パターン特徴の形状、サイズ、および／または間隔を変化させてもよい。第２の結像システムが、これらの変化を検出し、第２の結像システムによって記憶される既知のパターンを前提として、構造化された光パターンへの変化に基づいて、位置情報を判定してもよい。例えば、第２の結像システムは、線の具体的構造化されたパターン（例えば、ドットの行列または一連のストライプ）を物体の表面上に投影する、構造化された光源（例えば、プロジェクタ）を含んでもよい。線のパターンは、源のものと異なる他の視点から歪曲されて現れる、照明の線を生産し、これらの線は、表面形状の幾何学的再構築のために使用され、したがって、物体の表面についての位置情報を提供することができる。
【0036】
第２の結像システムは、構造化された光の源から投影されたパターンを検出することが可能な１つ以上のカメラ（例えば、１つ、２つ、３つ、４つ、または５つ）を含んでもよい。１つ以上のカメラは、当技術分野において公知のように、デジタルカメラであってもよく、第１の結像システムと併用されるものと同一または異なるカメラであってもよい。１つ以上のカメラは、下記にさらに詳細に説明されるように、コンピューティングノードに接続されてもよい。１つ以上のカメラからの画像を使用して、コンピューティングノードは、物体の表面に沿った任意の好適な数の点に関する位置情報（Ｘ，Ｙ，Ｚ）を算出し、それによって、表面の深度マップを生成してもよい。
【0037】
第３の結像システムは、物体の表面に関する付加的位置情報を生成するために使用されてもよい。第３の結像システムは、明視野カメラ（例えば、プレノプティックカメラ）等の１つ以上のカメラを含んでもよく、第１の結像システムおよび第２の結像システムのために使用されるカメラと同一または異なるカメラであってもよい。プレノプティックカメラは、適切なズームおよび焦点深度設定を有することによって、物体の表面に関する正確な位置情報を生成するために使用されてもよい。
【0038】
本開示に従って使用され得る、１つのタイプの明視野（例えば、プレノプティック）カメラは、そうでなければ従来の画像センサの正面に設置される、マイクロレンズのアレイを使用して、強度、色、および指向性情報を感知する。マルチカメラアレイは、別のタイプの明視野カメラである。「標準的プレノプティックカメラ」は、研究者によって使用され、異なるタイプのプレノプティック（または明視野）カメラを比較する、標準化された数学的モデルである。定義上、「標準的プレノプティックカメラ」は、センサの像面から１焦点距離だけ離して設置されたマイクロレンズを有する。研究では、その最大ベースラインが主要なレンズ入射瞳サイズに限られることが示されており、これは、小立体視設定と比較して小さいことが証明されている。これは、カメラのパラメータに基づいて計量的に予測され得る、非常に近距離において増加された深度分解能を呈するため、「標準的プレノプティックカメラ」が近距離用途に意図され得ることを含意する。焦点調節プレノプティックカメラ、コーディングされた開口カメラ、および／またはプレノプティックカメラを伴うステレオ等、他のタイプ／配向のプレノプティックカメラが、使用されてもよい。
【0039】
いったん位置情報が、第１の結像システム、第２の結像システム、および第３の結像システムを使用して生成されると、組み合わせられた位置が、３つの結像システムの加重平均を算出することによって計算され得る。下記の方程式１に示されるように、組み合わせられたピクセル深度は、３つの結像システムのそれぞれから生成された深度の加重平均によって計算されてもよい。
方程式１では、ＣＭは、第１の結像システム（例えば、マーカベースのシステム）に割り当てられる加重を表し、ＣＳＬは、第２の結像システム（例えば、構造化された光ベースのシステム）に割り当てられる加重を表し、ＣＰは、第３の結像システム（例えば、構造化された光ベースのシステム）に割り当てられる加重を表し、深度Ｍは、第１の結像システムから生成されたピクセルの深度を表し、深度Ｌは、第２の結像システムから生成されたピクセルの深度を表し、深度Ｐは、第３の結像システムから生成されたピクセルの深度を表す。種々の実施形態では、加重はそれぞれ、０～１の値であってもよく、全ての加重値の和は、合計で１に加算され得る。
【化1】
【0040】
種々の実施形態では、第１の結像システムに割り当てられる加重ＣＭは、第２の結像システムに割り当てられる加重ＣＳＬおよび第３の結像システムに割り当てられる加重ＣＰに等しくてもよい。他の実施形態では、第２の結像システムに割り当てられる加重ＣＳＬは、第１の結像システムに割り当てられる加重ＣＭおよび／または第３の結像システムに割り当てられる加重ＣＰを上回る。さらに別の実施形態では第３の結像システムに割り当てられる、加重ＣＰは、第１の結像システムに割り当てられる加重ＣＭおよび／または第２の結像システムに割り当てられる加重ＣＳＬを上回る。
【0041】
種々の実施形態では、方程式１における変数毎の加重は、使用される結像システムのタイプに基づいて選択された１つ以上の要因に基づいて判定されてもよい。例えば、明視野結像が、使用される場合、要因は、（１）画像内のコントラストの量、（２）飽和されたピクセルの数（光強度を測定するために使用され得る）、および（３）画像の具体的面積の深度の位置特定された変化を含み得る。高加重値は、場面内に高コントラストを有し、殆どまたは全く飽和されていないピクセルを有しておらず、深度の低局所変化を有する、画像に対応し得る。
【0042】
別の実施例では、構造化された光結像が、使用される場合、要因は、（１）認識されるパターンの量および（２）飽和されたピクセルの数を含み得る。高加重値は、認識されたパターンの大部分または全てを有し、殆どまたは全く飽和されたピクセルを有していない、画像に対応し得る。
【0043】
さらに別の実施例では、基点マーカが、使用される場合、要因は、（１）飽和されたピクセルの数、（２）基点マーカの形状／サイズを認識する能力、および（３）基点マーカを周囲環境から判別する能力を含み得る。高加重値は、殆どまたは全く飽和されたピクセルを有しておらず、基点マーカの大部分または全てを認識する能力、および基点を周囲環境から判別する能力を有する、画像に対応し得る。
【0044】
種々の実施形態では、本明細書に説明される２つの結像モダリティの任意の組み合わせが、物体の表面の第１および第２の深度を算出するために使用されてもよい。本実施形態では、２つの結像モダリティはそれぞれ、その特定のモダリティによって判定された深度に適用される、個別の加重係数を有してもよい。種々の実施形態では、２つの加重係数は、合計で１に加算され得る。種々の実施形態では、ピクセル深度関数が、上記の方程式１に説明されるものと同様に算出されるが、対照的に、２つのモダリティに関するピクセル深度は、２つのみの加重された深度算出に依存する（３つの代わりに）。
【0045】
種々の実施形態では、各結像システムと関連付けられる加重は、特定の結像システムの全体的品質に依存し得る。例えば、１つの特定の結像システムは、別の結像システムより正確なデータを全体的に提供し得る。本実施例では、より高い正確度を伴う結像システムから受信されたデータは、より低い正確度を伴う結像システムから受信されたデータより高い加重を与えられるであろう。種々の実施形態では、種々の結像システムの正確度および／または精度は、結像されるべき物体から離れた距離、結像されている材料、および／または動作環境の照明に依存し得る。種々の実施形態では、種々の結像システムの正確度および／または精度は、結像システムの視野内の場所に依存し得、例えば、第１の結像システムは、縁に向かって急下り勾配を伴う、高正確度を視野の中心に有し得る一方、別の結像システムは、視野を横断して一貫した正確度を有し得る。
【0046】
異なる状況において種々のセンサが性能を発揮する程度の議論は、Ｈａｌｍｅｔｓｃｈｌａｇｅｒ－Ｆｕｎｅｋ ｅｔ ａｌ．による「Ａｎ Ｅｍｐｉｒｉｃａｌ Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｔｅｎ Ｄｅｐｔｈ Ｃａｍｅｒａｓ」（参照することによってその全体として本明細書に組み込まれる）に見出され得る。図８は、Ｈａｌｍｅｔｓｃｈｌａｇｅｒ－Ｆｕｎｅｋの論文における分析されるセンサの表を示す。図９－１４は、バイアス、精度、側方雑音、材料／照明／距離の影響、および付加的センサの影響に関する、Ｈａｌｍｅｔｓｃｈｌａｇｅｒ－Ｆｕｎｅｋの論文からの種々のグラフを図示する。特に、バイアス（図９Ａ－９Ｃに示される）に関して、本論文は、Ｋｉｎｅｃｔｖ２が、範囲全体にわたって低バイアスをもたらす一方、構造化された光を使用したセンサのためのバイアスの有意な増加が、ｄ＞３ｍから開始して観察されたことを説明する。全３つの構造化された光センサおよび２つのアクティブステレオカメラ（ＺＲ３００およびＤ４３５）は、距離ｄ＜１ｍに関して、Ｋｉｎｅｃｔｖ２より低いバイアスをもたらすが、３つのセンサ（ＺＲ３００、Ｏｒｂｂｅｃ、および構造ＩＯ）は、深度値ｄ＜２．５ｍに関して、さらにより低いバイアスをもたらす。バイアスの二次増加が、全てのセンサに関して観察された［全範囲：ｄ＝０～８ｍ、図９Ａ；拡大：ｄ＝０～３ｍ、図９Ｂ］。近距離センサＦ２００およびＳＲ３００［図９Ｃ］は、その遠距離対応物より若干高いバイアスを示す一方、Ｅｎｓｅｎｓｏ Ｎ３５は、測定範囲全体にわたって低バイアスを提供する。
【0047】
精度（図１０Ａ－１０Ｃに示されるように）に関して、精度の二次減少が、全ての遠距離センサにおいて見出された［全範囲：ｄ＝０～８ｍ、図１０Ａ；拡大：ｄ＝０～３、ｍ、図１０Ｂ］が、構造化された光センサは、Ｋｉｎｅｃｔｖ２と比較して規模が異なる。全体として、Ｒ２００およびＺＲ３００センサは、最悪性能を有する一方、構造ＩＯおよびＯｒｂｂｅｃセンサは、非常に類似した性能を発揮する。距離ｄ＜２ｍでは、全ての構造化された光センサが、Ｋｉｎｅｃ－ｔｖ２より少ない雑音測定を生成することが観察された。さらに、Ｄ４３５は、距離ｄ＜１ｍにおいて、Ｋｉｎｅｃｔｖ２より精密な結果を集めることが可能であった。Ｄ４３５に関する精度結果は、他のセンサに関してより散乱されることが観察された。近距離センサ［図１０Ｃ］は、最大０．０００７ｍの雑音レベルを被る。製造業者によって規定された範囲内において、０．００４ｍ下で精密な値が、取得されることが可能であった。
【0048】
側方雑音（図１１）に関して、側方雑音の分析は、３つの遠距離の構造化された光センサおよび距離に関して類似結果を示す。ｄ＜３ｍに関して、雑音レベルは、構造化された光センサに関して３つのピクセルを伴い、Ｋｉｎｅｃｔｖ２に関して１つのピクセルを伴って、距離から独立した（図１１）。２つのアクティブステレオセンサ（Ｄ４３５およびＺＲ３００）は、Ｋｉｎｅｃｔｖ２のものに類似する低側方雑音レベルをもたらす。Ｒ２００は、２ｍより近い距離に関して、２つのピクセルのより低い側方雑音を達成する。近距離センサでは、Ｅｎｓｅｎｓｏ Ｎ３５は、最高側方雑音値を達成する。
【0049】
材料／照明／距離（図１２Ａ－１２Ｄ）に関して、合計３８４個のデータ点が、センサの精度が、４．２～５３５．７５ｌｕｘの４つの異なる照明条件（図１２Ａ－１２Ｄ）と組み合わせて、６つの異なる材料の反射および吸収性質によって影響された程度を判定するために集められた。試験は、構造ＩＯセンサが、変動する物体反射度および照明条件を最良に取り扱うことを明らかにする。ｄ＞１．５ｍの距離に関して、他のセンサと比較してより低い精度を有するが、アルミニウム等の高反射性表面に関して、かつ明るい照明条件下において、情報を集めることが可能であった。構造ＩＯセンサは、稠密深度推定を与えるが、Ｘｔｉｏｎは、深度値を判定することが不可能であった。Ｏｒｂｂｅｃは、明るい照明条件下では、６つの表面のうち４つに関して深度情報を集めることに失敗し得る。Ｋｉｎｅｃｔｖ２は、ｄ＝１ｍおよびｄ＝１．５ｍの距離において、かつ明るい照明条件下において、アルミニウムに関する信頼性がある深度データを集めることに失敗し得る。Ｆ２００およびＳＲ３００センサは、明るい照明条件に関して、より有意に低い精度を有し得る。実験の設定の間、アクティブステレオカメラ（ＥｎｓｅｎｓｏおよびＲ２００）は、その技術の性質に起因して、構造化された光センサより良好に異なる照明条件を取り扱うことが可能であることが予期された。図１２Ａ－１２Ｄでは、ゼロの精度は、センサが任意の深度情報を集めることが不可能であることを示す。
【0050】
付加的センサによって誘発される雑音（図１３Ａ、１３Ｂ、および１４Ａ－１４Ｃ）に関して、結果（図１３Ａ－１３Ｂ）は、遠距離の構造化された光センサが、１つおよび２つの付加的センサによって誘発される雑音を取り扱うことができることを明らかにする。例外が、標的までの距離が、ｄ＝１．５ｍであって、２つの付加的センサが、場面に導入されるときに生じる。類似影響は、Ｋｉｎｅｃｔｖ２に関しては観察されなかった。センサは、１つまたは２つの付加的センサから独立して、精度に関して安定した結果を与え得る。近距離センサＦ２００およびＳＲ３００は、付加的センサを用いると、あまり精密ではなくなり得、Ｅｎｓｅｎｓｏ Ｎ３５は、第３の観察センサによって若干のみ影響される。本点において、近距離デバイスに関する高ｎａｎ比率が、部分的に、我々の設定から導出され得ることに留意されたい。場面の半分は、センサの範囲外にある（図１４Ａ－１４Ｃ）。要約すると、１つのセンサを用いた第１の実験は、場面を観察する２つおよび３つのセンサを用いた測定のためのベースラインを提供する。第１の差異が、１つのみのセンサが追加される場合、可視となり得る。特に、ＳＲ３００およびＦ２００センサは、別の実感知デバイスが場面に追加される場合、ｎａｎ比率における有意な増加を有し得る。より厳密な分析に関して、対応する深度画像が、示される。図１４Ａ－１４Ｃでは、深度抽出が付加的センサによって大きく影響されることが明白である。ＥｎｓｅｎｓｏおよびＫｉｎｅｃｔｖ２センサは、付加的センサによって影響され得ない。
【0051】
種々の実施形態では、上記に説明されるように、１つ以上のカメラから受信された深度データは、結像システム内の他のカメラからのデータ深度より高い品質（例えば、より信頼性がある）であり得る。種々の実施形態では、深度データの品質は、結像システムの外部の支援特徴に依存し得る。例えば、深度データは、より高い品質であって、したがって、カメラ（例えば、赤外線カメラ）が組織上の所定の数の基点マーカを明確に読み取ることができるとき、より高い加重を与えられ得る。種々の実施形態では、カメラが、所定の数のマーカを読み取ることができない場合、深度データは、より低い品質であり得、したがって、カメラからの深度データは、より低い加重を与えられ得る。類似実施例では、カメラが、構造化された光パターンを構造化された光プロジェクタから明確に読み取ることができるとき、構造化された光から生じる深度データは、より高い品質であって、したがって、より高い加重を与えられ得る。
【0052】
種々の実施形態では、各結像システムと関連付けられる加重は、深度の信頼度および／または各ピクセルの品質に依存し得る。種々の実施形態では、いくつかの結像システムは、より高い品質画像データを伴う画像内の１つ以上の「スイートスポット」と、より低い品質画像データを伴う１つ以上の「デッドゾーン」と有するため、結像システムと関連付けられる加重はそれぞれ、画像のピクセルレベルにおいてパラメータ化され得る。種々の実施形態では、加重の１つ以上のもの（例えば、全て）が、画像内のピクセルを表す２次元点（ｘ，ｙ）の関数であり得る。種々の実施形態では、画像内のピクセルは、当技術分野において公知のように、任意の好適な方法において座標点を割り当てられてもよい。例えば、画像の左下角は、（０，０）の座標を割り当てられてもよく、画像の右上角は、各個別の軸内の最大数のピクセル（最大ｘピクセル、最大ｙピクセル）を割り当てられてもよい。ある実施例では、１つの結像システム（例えば、立体視カメラ）は、画像の中心における高品質画像データと、周縁に関する低品質画像データとを有し得る。本特定の実施例では、より高い加重は、画像の中心におけるピクセルに割り当てられてもよく、加重は、ピクセルが画像の中心半径方向に離れるように移動するにつれて、減少してもよい。種々の実施形態では、パラメータ関数は、連続関数であってもよい。種々の実施形態では、パラメータ関数は、不連続関数（例えば、区分関数）であってもよい。種々の実施形態では、パラメータ関数は、線形関数を含んでもよい。種々の実施形態では、パラメータ関数は、指数関数的関数を含んでもよい。
【0053】
種々の実施形態では、結像システムが、特定のピクセルにおける深度を算出することができないとき、その特定のピクセルは、特定の結像システムに関してゼロの加重を割り当てられてもよい（すなわち、特定の結像システムは、その特定のピクセルにおける深度の判定に寄与しないであろう）。
【0054】
種々の実施形態では、結像システムは、立体視深度感知を含んでもよい。種々の実施形態では、立体視深度感知は、１つ以上の一意に識別可能特徴が画像（またはビデオフレーム）内に存在するとき、最良に機能し得る。種々の実施形態では、立体視深度感知は、２つのカメラ（例えば、デジタルカメラ）を使用して実施されてもよい。種々の実施形態では、カメラは、相互に較正されてもよい。例えば、結像システムは、待ち時間、フレームレート、２つのカメラ間の３次元距離、結像システムから離れた種々の距離、種々の照明レベル、マーカタイプ／形状／色等に基づいて較正されてもよい。種々の実施形態では、当技術分野において公知のソフトウェアが、２つのカメラを制御し、立体視深度感知を実装するために使用されてもよい。種々の実施形態では、第１の画像（またはビデオのフレーム）は、第１のカメラにおいて捕捉され、第２の画像（またはビデオのフレーム）は、第１のカメラから離れた所定の距離に位置する、第２のカメラにおいて捕捉される。種々の実施形態では、ピクセル不均衡が、第１の画像（またはビデオのフレーム）と第２の画像（またはビデオのフレーム）との間で算出される。種々の実施形態では、深度が、ピクセル不均衡値から判定されてもよい。種々の実施形態では、より近い物体は、より高いピクセル不均衡値を有し、より遠い物体は、より低いピクセル不均衡値を有する。種々の実施形態では、３次元座標（ｘ，ｙ，ｚ）が、判定された深度およびカメラ較正パラメータから算出されてもよい。種々の実施形態では、立体視深度感知は、基点マーカと併用され、深度を判定してもよい。
【0055】
種々の実施形態では、結像システムは、アクティブ立体視深度感知を含んでもよい。種々の実施形態では、プロジェクタは、ローカルスケール上で一意である、パターンを投影してもよい。種々の実施形態では、任意の好適なパターンが、使用されてもよく、パターンは、結像システムに事前に把握される必要はない。種々の実施形態では、パターンは、経時的に変化してもよい。種々の実施形態では、プロジェクタを用いたアクティブ立体視深度感知は、非構造化環境内の無特徴画像に関する深度情報を提供し得る。
【0056】
種々の実施形態では、静的マスクは、場面内の物体の表面（例えば、組織）上に投影されてもよい。例えば、物理的パターン（例えば、ワイヤメッシュ）が、光源の正面に位置付けられてもよく、レンズは、光パターンを表面上に集束させるために使用されてもよい。
【0057】
種々の実施形態では、デジタルマイクロミラー（ＤＭＤ）プロジェクタが、パターンを物体の表面上に投影するために使用されてもよい。本実施形態では、光が、マイクロミラー（例えば、矩形に配列される１，０００，０００個のミラー）のアレイ上で光輝する。ミラーは、光が場面に入射し、それを照明することを可能にするか、またはそれを防止するかのいずれかを行うように制御されてもよい。レンズが、光パターンを場面上に集束させるために使用されてもよい。種々の実施形態では、ＤＭＤプロジェクタは、プログラム可能パターン（例えば、ＱＲコード（登録商標）、文字、円形、正方形等）を可能にし得る。類似効果は、ＤＭＤの代わりに、光学メタ表面を使用して取得されてもよいことを理解されたい。
【0058】
種々の実施形態では、走査レーザプロジェクタが、パターンを物体の表面上に投影するために使用されてもよい。本実施形態では、１つ以上のレーザ源が、単一ピクセルを表面上に投影するために使用される。高精細画像が、高周波数で一度に１つのピクセルを光輝させることによって作成され得る。種々の実施形態では、パターンの集束は、走査レーザプロジェクタを用いることで要求され得ない。種々の実施形態では、走査レーザプロジェクタは、プログラム可能パターン（例えば、ＱＲコード（登録商標）、文字、円形、正方形等）を可能にし得る。
【0059】
種々の実施形態では、カスタムアルゴリズムが、立体視カメラが、既知のプログラム可能パターンを検出し、その上にパターンが投影された表面からの深度データを判定するように開発されてもよい。種々の実施形態では、深度データが、値第１のカメラからの第１の画像（またはビデオフレーム）と第２のカメラからの第２の画像（またはビデオフレーム）との間の不均衡を判定することによって算出される。
【0060】
種々の実施形態では、光の所定の波長が、表面の材料に応じて、物体の表面上に投影されてもよい。異なる材料は、光の波長の連続を横断して、異なる吸収率および／または反射度性質を有し得る。種々の実施形態では、波長は、光が物体の最外表面から反射するように選択される。種々の実施形態では、光の波長が、物体の表面を透過するように選択される場合、結果として生じる画像は、色褪せた外観を有し、不正確な深度データ（例えば、より低い正確度、高空間時間雑音）をもたらし得る。
【0061】
種々の実施形態では、結像システムは、干渉計を含んでもよい。種々の実施形態では、光源は、物体を伴う場面を照明し得、センサは、放出された光と反射された光との間の位相差を測定し得る。種々の実施形態では、深度が、直接、センサ測定から算出されてもよい。種々の実施形態では、本アプローチは、低算出リソース要件、より高速の処理を有し、無特徴場面上で機能し、および／または種々の照明レベルで機能し得る。
【0062】
種々の実施形態では、各ピクセルにおいて算出された深度を含む、結果として生じる深度マップは、後処理されてもよい。深度マップ後処理は、具体的用途のために使用可能となるような深度マップの処理を指す。種々の実施形態では、深度マップ後処理は、正確度改良を含んでもよい。種々の実施形態では、深度マップ後処理は、加速性能のため、および／または審美的理由から使用されてもよい。本開示のシステムおよび方法と併用するために好適である、多くの特殊後処理技法が、存在する。例えば、結像デバイス／センサが、用途のために技術的に必要なものより高い分解能で起動される場合、深度マップのサブサンプリングは、深度マップのサイズを減少させ、スループット改良およびより短い処理時間につながり得る。種々の実施形態では、サブサンプリングは、バイアスされてもよい。例えば、サブサンプリングは、深度値を欠いている（例えば、計算されることが不可能である、および／またはゼロの値を有する）、深度ピクセルを除去するようにバイアスされてもよい。種々の実施形態では、空間フィルタリング（例えば、平滑化）が、単一深度フレーム内の雑音を減少させるために使用されることができ、これは、単純空間平均化ならびに非線形縁保存技法を含んでもよい。種々の実施形態では、時間的フィルタリングが、複数のフレームからのデータを使用して、時間的深度雑音を減少させるために実施されてもよい。種々の実施形態では、単純または時間バイアスされた平均が、採用されてもよい。種々の実施形態では、深度マップ内の穴は、例えば、ピクセルが一貫せず深度値を示すとき、充填されることができる。種々の実施形態では、信号内の時間的変動（例えば、場面内の運動）は、ぼけにつながり得、ぼけを減少および／または除去するための処理を要求し得る。種々の実施形態では、いくつかの用途は、ピクセル毎に存在する深度値を要求し得る。そのような状況に関して、正確度が、それほど重視されないないとき、後処理技法は、深度マップを全てのピクセルに外挿するために使用されてもよい。種々の実施形態では、外挿は、任意の好適な形態の外挿（例えば、線形、指数関数的、対数等）を用いて実施されてもよい。
【0063】
種々の実施形態では、第１の結像システム、第２の結像システム、および第３の結像システムは、コンピューティングノードに接続される、同一の１つ以上のカメラ（例えば、プレノプティックカメラ）を使用する。コンピューティングノードは、単一の記録された画像を処理し、基点マーカ、構造光パターン、および明視野データを別個の成分として抽出してもよい。別個の成分はそれぞれ、物体の表面の位置情報（例えば、深度マップ）を算出するために使用されてもよい。加重係数が、算出された位置情報のそれぞれに適用され、加重平均深度を算出してもよい。
【0064】
種々の実施形態では、システムは、上記に述べられた結像モダリティ／システムの任意の組み合わせを使用して、組織の表面についての位置情報を判定することができる。種々の実施形態では、システムは、方程式１における加重値が０であることを判定してもよい。この場合、システムは、複数の結像モダリティ／システムを使用して、位置データを入手するが、それらの結像モダリティ／システムのうちの少なくとも１つが信頼性がある位置データを提供しないことを判定し、したがって、方程式１を適用するとき、信頼性があるデータを提供しない、特定の結像モダリティ／システムを考慮しない。
【0065】
いくつかの実施形態では、立体視カメラは、それ自体で、または上記に述べられた結像システムのいずれかと組み合わせてのいずれかにおいて、結像システムとして使用されてもよい。
【0066】
そこから位置情報が取得される、物体は、任意の好適な生物学的組織であってもよい。例えば、物体は、食道組織、胃組織、小／大腸組織、および／または筋組織等の内部身体組織であってもよい。他の実施形態では、物体は、腹部、背部、腕部、脚部、または任意の他の外部身体部分上の皮膚組織等の外部組織であってもよい。さらに、物体は、骨、内蔵、または他の内部身体構造であってもよい。本開示のシステムおよび方法は、同様に、獣医学用途において動物のためにも機能するであろう。
【0067】
種々の実施形態では、本明細書に説明されるシステムおよび方法は、例えば、診断用途および／または外科手術用途等の任意の好適な用途において使用されてもよい。診断用途の実施例として、本明細書に説明されるシステムおよび方法は、結腸内視鏡検査において、胃腸管内のポリープを結像し、ポリープの寸法を判定するために使用されてもよい。ポリープの寸法等の情報は、保健医療専門家によって、患者のための治療計画（例えば、外科手術、化学療法、さらなる試験等）を判定するために使用されてもよい。別の実施例では、本明細書に説明されるシステムおよび方法は、内蔵の一部または全体を抽出するとき、切開または穴のサイズを測定するために使用されてもよい。外科手術用途の実施例として、本明細書に説明されるシステムおよび方法は、例えば、ハンドヘルド腹腔鏡外科手術、ハンドヘルド内視鏡手技、および／または結像ならびに深度感知が必要であり得る、任意の他の好適な外科手術用途等、ハンドヘルド外科手術用途において使用されてもよい。種々の実施形態では、本明細書に説明されるシステムおよび方法は、組織、器官、糸、および／または任意の計器を含む、外科手術野の深度を算出するために使用されてもよい。種々の実施形態では、本明細書に説明されるシステムおよび方法は、絶対単位（例えば、ミリメートル）で測定を行うことが可能であり得る。
【0068】
種々の実施形態は、内視鏡等の胃腸（ＧＩ）カテーテルにおいて使用するために適合されてもよい。特に、内視鏡は、霧状噴霧器と、ＩＲ源と、カメラシステムおよび光学系と、ロボットアームと、画像プロセッサとを含んでもよい。
【0069】
種々の実施形態では、造影剤が、生物学的組織の表面等の物体の表面に適用され、コントラストをその３次元位置情報がコンピュータビジョンシステムによって生成されることになる表面に提供してもよい。精度がコントラストおよびテクスチャに正比例する、いくつかの可視化モダリティ（例えば、明視野結像）を使用するとき、造影剤は、コントラストを表面に提供するために利用されてもよい。軟質組織が結像されている、種々の実施形態では、表面は、色が実質的に均一であって、非常にわずかなテクスチャを有し得る。この場合、組織（例えば、漿膜）に接着する、霧状染料等の造影剤が、組織に適用されてもよい。染料は、蛍光化され、人工コントラストを提供し、明視野結像システムにおける精度のレベルを大幅に改良してもよい。
【0070】
コントラストが、組織の表面上で使用されるとき、較正が、深度情報を判定するための造影剤の適用に先立って取得されてもよい。
【0071】
図１は、その中で画像がベースライン画像として使用され得る、基点マーカ１０４を有する、表面１０２の例示的画像１００を図示する。図１では、基点マーカ１０４は、液体マーカの形態において、表面１０２上に提供される。基点マーカ１０４は、コンピューティングノード上で起動するコンピュータビジョンシステムが、基点マーカ１０４を認識し、３次元表面を画像から算出し得るように、行列フォーマットにおいて塗装される。コンピュータビジョンシステムは、物体の画像を記録し、画像をコンピュータビジョンソフトウェアを起動するコンピューティングノードに提供する、１つ以上のカメラを含んでもよい。
【0072】
種々の実施形態では、コンピュータビジョンシステムは、基点マーカ１０４毎に、３次元位置情報（Ｘ，Ｙ，Ｚ）を生成する。コンピュータビジョンシステムはさらに、基点マーカ１０４間の位置情報を補間してもよい、または物体の表面１０２の３次元モデルを生成するように外挿してもよい。
【0073】
図２は、図１のベースライン画像１００にオーバーレイする構造化された光マーカ２０６の行列を有する、表面２０２の例示的画像２００を図示する。構造化された光マーカ２０６の行列は、ドットのグリッドの形態にある。構造化された光マーカ２０６は、コンピューティングノード上で起動するコンピュータビジョンシステムが、構造化された光マーカ２０６を認識し、３次元表面を画像から算出し得るように、物体の表面２０２上に構造化された光（例えば、レーザ）の源から投影される。コンピュータビジョンシステムは、物体上に投影された構造化された光マーカ２０６の画像を記録し、画像をコンピュータビジョンソフトウェアを起動するコンピューティングノードに提供する、１つ以上のカメラを含んでもよい。コンピュータビジョンソフトウェアは、構造化された光マーカ２０６を異なる視覚的角度において撮影された画像から分析し、幾何学的再構築を実施し、表面２０２の位置情報を生成してもよい。図２に示されるように、構造化された光マーカ２０６の行列は、図１に示される基点マーカ１０４より多くの表面２０２上に投影されたマーカを有する。したがって、３次元位置情報は、そこからコンピュータビジョンソフトウェアが表面２０２の３次元モデルを生成し得る、より多くのデータ点が存在するため、構造化された光マーカ２０６を使用して、より正確となるであろう。
【0074】
図３Ａは、シミュレートされた生物学的組織３１０の例示的画像を図示する一方、図３Ｂは、同一のシミュレートされた生物学的組織３１０の深度マップ３１５の例示的画像を図示する。図３Ａに示されるように、シミュレートされた生物学的組織３１０（例えば、漿膜）は、色が実質的に均一であって、テクスチャ加工されず、人工マーカを有していない。図３Ｂに示される深度マップ３１５は、シミュレートされた組織３１０の明視野結像によって生産された深度マップを表す。図３Ｂに示されるように、深度マップ３１５は、わずかなコントラストの面積、すなわち、縁から離れた組織３１０の面積内に、ほぼ殆どまたは全く深度データを有していない。深度データは、シミュレートされた組織３１０と背景との間のコントラストのため、縁に存在する。
【0075】
図４Ａは、造影剤が表面に適用されている、シミュレートされた生物学的組織４１０の例示的画像を図示する一方、図４Ｂは、造影剤を有する、同一のシミュレートされた生物学的組織４１０の深度マップ４１５の例示的画像を図示する。図４Ａに示されるように、造影剤（例えば、霧状青色染料）が、シミュレートされた生物学的組織４１０（例えば、漿膜）に適用される。図４Ｂに示される深度マップ４１５は、造影剤を有するシミュレートされた組織４１０の明視野結像によって生産された深度マップを表す。図４Ｂに示されるように、深度マップ４１５は、組織の表面に適用される造影剤のため、図３Ｂに示される深度マップ３１５よりはるかにデータを有する。深度マップ４１５に基づいて、コンピュータビジョンシステムは、組織４１０が湾曲表面を有することを認識するであろう。
【0076】
図５は、本開示の実施形態による、組織を結像する、３Ｄ表面結像システム５００を図示する。結像システム５００は、ともに使用されると、組織５０２（例えば、胃）の立体視画像を生成する、カメラ５２１ａ、５２１ｂを有する、内視鏡５２０を含む。種々の実施形態では、内視鏡５２０は、随意に、または加えて、赤外線カメラを含んでもよい。組織５０２は、カメラ（例えば、赤外線カメラ）は、マーカ５０４を組織５０２の背景に対して検出することができるように、その上に配置される基点マーカ５０４を有する。種々の実施形態では、結像システム５００はさらに、プロジェクタ５２２を含む。種々の実施形態では、プロジェクタ５２２は、構造化された光５０６（例えば、ドットパターン）を組織５０２上に投影するように構成されてもよい。種々の実施形態では、プロジェクタは、赤外線光を投影するように構成される。結像システム５００はさらに、明視野（例えば、プレノプティック）カメラ５２４を含む。種々の実施形態では、組織５０２は、上記に説明されるように、造影剤を噴霧され、結像システム５００が、組織５０２の深度を判定することを可能にしてもよい。
【0077】
図６は、３Ｄ表面結像システムを図示する、略図を示す。システムは、３Ｄ結像分解能を改良するために、３つの可視化モダリティを組み合わせる。システムは、ロボットアームによって移動され得る、カメラシステムを含む。可視化モダリティ毎に、カメラシステムは、内視鏡内の光ガイドおよび光学系機構を通して、標的組織の画像を捕捉する。画像は、画像プロセッサによって処理され、仮想的に構築された３Ｄ表面を判定する。
【0078】
１つの可視化モダリティでは、カメラシステムは、標的組織のプレノプティック画像を捕捉するための明視野（例えば、プレノプティック）カメラを含む。画像プロセッサは、標準的技法を使用して、３Ｄ表面変動および形状をプレノプティック画像から判定する。
【0079】
第２の可視化モダリティでは、システムは、光学系機構および内視鏡内の光ガイドを介して、標的組織上に投影される、ＩＲスポットパターンを生成するためのＩＲ（赤外線）源／プロジェクタを使用する。スポットパターンは、事前に定義される、またはランダムであることができる。カメラシステムは、標的組織上のＩＲスポットの画像を捕捉する、ＩＲセンサを含む。画像は、画像プロセッサに伝送され、これは、標的組織上に投影されたスポットパターン内の歪曲を検出し、３Ｄ表面変動および形状を判定する。
【0080】
第３の可視化モダリティでは、システムは、内視鏡内の霧化器／噴霧器を使用して、霧状液体染料を標的組織の選択された面積に適用し、基点スポットの数を増加させる。霧状染料は、ＩＲスポットパターンより高いスポット濃度を伴うランダムスポットパターンにおいて、標的組織に接着する。染料は、結像システムの精度を改良するために、蛍光化され、拡張コントラストを組織に提供することができる。
【0081】
画像プロセッサは、所与の状況において最も適切である、可視化モダリティデータを判定し、必要に応じて、データを組み合わせ、３Ｄ結像分解能をさらに改良する。データは、加重アルゴリズムを使用して、組み合わせられることができる。システムは、それによって、正確なロボット外科手術計画および実行のために必要とされる、高分解能を伴って、深度を正確かつ確実に感知する。
【0082】
図７は、物体上の３次元座標を判定するための方法のフローチャート７００を示す。７０２では、本方法は、画像を記録するステップであって、画像は、物体と、物体上に配置される、第１の複数のマーカと、物体上に配置される、第２の複数のマーカと、物体上に配置される、第３の複数のマーカとを備える、ステップを含む。７０４では、本方法は、画像および第１の複数のマーカを使用して、第１の深度を算出するステップを含む。７０６では、本方法は、画像および第２の複数のマーカを使用して、第２の深度を算出するステップを含む。７０８では、本方法は、画像および第３の複数のマーカを使用して、第３の深度を算出するステップを含む。７１０では、本方法は、第１の加重を第１の深度に、第２の加重を第２の深度に、第３の加重を第３の深度に割り当てるステップを含む。７１２では、本方法は、第１の深度、第２の深度、第３の深度、第１の加重、第２の加重、および第３の加重に基づいて、加重平均深度を算出するステップを含む。
【0083】
ここで図１５を参照すると、本明細書に説明されるコンピュータビジョンシステムと併用され得る、例示的コンピューティングノードの概略が、示される。コンピューティングノード１０は、好適なコンピューティングノードの一実施例にすぎず、本明細書に説明される実施形態の使用または機能性の範囲に関する任意の限界を示唆することを意図するものではない。それにかかわらず、コンピューティングノード１０は、本明細書に記載される上記の機能性のいずれかを実装および／または実施することが可能である。
【0084】
コンピューティングノード１０内には、コンピュータシステム／サーバ１２が存在し、これは、多数の他の汎用または特殊目的コンピューティングシステム環境もしく構成を伴って動作する。コンピュータシステム／サーバ１２と併用するために好適であり得る、周知のコンピューティングシステム、環境、および／または構成の実施例は、限定ではないが、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブル消費者電子機器、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および上記のシステムまたはデバイスのいずれかを含む、分散型クラウドコンピューティング環境、ならびに同等物を含む。
【0085】
コンピュータシステム／サーバ１２は、コンピュータシステムによって実行される、プログラムモジュール等のコンピュータシステム実行可能命令の一般的コンテキストにおいて説明され得る。概して、プログラムモジュールは、特定のタスクまたは実装する特定の抽象データタイプを実施する、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等を含んでもよい。コンピュータシステム／サーバ１２は、タスクが通信ネットワークを通してリンクされる遠隔処理デバイスによって実施される、分散型クラウドコンピューティング環境内で実践されてもよい。分散型クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含む、ローカルおよび遠隔コンピュータシステム記憶媒体の両方内に位置してもよい。
【0086】
図１５に示されるように、コンピューティングノード１０内のコンピュータシステム／サーバ１２は、汎用コンピューティングデバイスの形態で示される。コンピュータシステム／サーバ１２のコンポーネントは、限定ではないが、１つ以上のプロセッサまたは処理ユニット１６、システムメモリ２８、およびメモリ２８を含む種々のシステムコンポーネントシステムをプロセッサ１６に結合する、バス１８を含んでもよい。
【0087】
バス１８は、種々のバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリコントローラ、周辺バス、加速グラフィックポート、およびプロセッサまたはローカルバスを含む、いくつかのタイプのバス構造のいずれかのうちの１つ以上のものを表す。一例として、限定ではなく、そのようなアーキテクチャは、産業標準的アーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、および周辺コンポーネント相互接続（ＰＣＩ）バスを含む。
【0088】
コンピュータシステム／サーバ１２は、典型的には、種々のコンピュータシステム可読媒体を含む。そのような媒体は、コンピュータシステム／サーバ１２によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体のリムーバブルおよび非リムーバブル媒体の両方を含む。
【0089】
システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０および／またはキャッシュメモリ３２等の揮発性メモリの形態におけるコンピュータシステム可読媒体を含むことができる。コンピュータシステム／サーバ１２はさらに、他のリムーバブル／非リムーバブル揮発性／不揮発性コンピュータシステム記憶媒体を含んでもよい。一例にすぎないが、記憶システム３４は、非リムーバブル不揮発性磁気媒体（示されないが、典型的には、「ハードドライブ」と呼ばれる）から読み取り、そこに書き込むために提供されることができる。図示されないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピー（登録商標）ディスク」）から読み取り、そこに書き込むための、磁気ディスクドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光学媒体等のリムーバブル不揮発性光ディスクから読み取り、そこに書き込むための、光ディスクドライブが、提供されることができる。そのようなインスタンスでは、それぞれ、１つ以上のデータ媒体インターフェースによって、バス１８に接続されることができる。下記に描写および説明されるであろうように、メモリ２８は、本開示の実施形態の機能を行うように構成される、プログラムモジュールのセット（例えば、少なくとも１つ）を有する、少なくとも１つのプログラム製品を含んでもよい。
【0090】
プログラムモジュール４２のセット（少なくとも１つ）を有する、プログラム／ユーティリティ４０は、一例として、限定ではなく、メモリ２８内に記憶され、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータであってもよい。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータまたはそれらのある組み合わせはそれぞれ、ネットワーキング環境の実装を含んでもよい。プログラムモジュール４２は、概して、本明細書に説明される実施形態の機能および／または方法論を行う。
【0091】
コンピュータシステム／サーバ１２はまた、キーボード、ポインティングデバイス、ディスプレイ２４等の１つ以上の外部デバイス１４、ユーザがコンピュータシステム／サーバ１２と相互作用することを可能にする、１つ以上のデバイス、および／またはコンピュータシステム／サーバ１２が１つ以上の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデム等）と通信してもよい。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して生じ得る。さらに、コンピュータシステム／サーバ１２は、ネットワークアダプタ２０を介して、ローカルエリアネットワーク（ＬＡＮ）、一般的広域ネットワーク（ＷＡＮ）、および／またはパブリックネットワーク（例えば、インターネット）等の１つ以上のネットワークと通信することができる。描写されるように、ネットワークアダプタ２０は、バス１８を介して、コンピュータシステム／サーバ１２の他のコンポーネントと通信する。図示されないが、他のハードウェアおよび／またはソフトウェアコンポーネントも、コンピュータシステム／サーバ１２と併用され得ることを理解されたい。実施例は、限定ではないが、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、およびデータアーカイブ記憶システム等を含む。
【0092】
他の実施形態では、コンピュータシステム／サーバは、１つ以上のカメラ（例えば、デジタルカメラ、明視野カメラ）または他の結像／感知デバイス（例えば、赤外線カメラまたはセンサ）に接続されてもよい。
【0093】
本開示は、システム、方法、および／またはコンピュータプログラム製品を含む。コンピュータプログラム製品は、プロセッサに本開示の側面を行わせるためのコンピュータ可読プログラム命令をその上に有する、コンピュータ可読記憶媒体（または複数の媒体）を含んでもよい。
【0094】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を留保および記憶し得る、有形デバイスであることができる。コンピュータ可読記憶媒体は、例えば、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の好適な組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的実施例の非包括的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラム可能読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、その上に記録される命令を有する、パンチカードまたは溝内の隆起構造等の機械的にエンコードされたデバイス、および前述の任意の好適な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用されるように、それ自体では、無線波または他の自由に伝搬する電磁波、導波管または他の伝送媒体を通して伝搬する、電磁波（例えば、光ファイバケーブルを通して通過する、光パルス）、またはワイヤを通して伝送される、電気信号等の一過性信号であるとして解釈されるべきではない。
【0095】
本明細書に説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から個別のコンピューティング／処理デバイスに、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、および／または無線ネットワークを介して、外部コンピュータまたは外部記憶デバイスにダウンロードされることができる。ネットワークは、銅伝送ケーブル、光学伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバを備えてもよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、個別のコンピューティング／処理デバイスの中のコンピュータ可読記憶媒体内への記憶のために、コンピュータ可読プログラム命令を転送する。
【0096】
本開示の動作を行うためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋、もしくは同等物等の物体指向プログラミング言語、および「Ｃ」プログラミング言語もしくは類似プログラミング言語等の従来の手続型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書き込まれる源コードもしくは物体コードのいずれかであってもよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、独立型ソフトウェアパッケージとして、部分的にユーザのコンピュータ上および部分的に遠隔コンピュータ上で、または遠隔コンピュータもしくはサーバ上で完全に実行されてもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む、任意のタイプのネットワークを通して、ユーザのコンピュータに接続されてもよい、または接続は、外部コンピュータに行われてもよい（例えば、インターネットサービスプロバイダを使用して、インターネットを通して）。種々の実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む、電子回路が、本開示の側面を実施するために、コンピュータ可読プログラム命令の状態情報を利用して、電子回路を個人化することによって、コンピュータ可読プログラム命令を実行してもよい。
【0097】
本開示の側面は、本開示の実施形態による、方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書に説明される。フローチャート図および／またはブロック図の各ブロックならびにフローチャート図および／またはブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されることができることを理解されたい。
【0098】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される、命令がフローチャートおよび／またはブロック図のブロックもしくは複数のブロックに規定される機能／行為を実装するための手段を作成するような機械を生産するために、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令はまた、その中に記憶される命令を有する、コンピュータ可読記憶媒体が、フローチャートおよび／またはブロック図のブロックもしくは複数のブロックに規定される機能／行為の側面を実装する、命令を含む、製造品を構成するように、コンピュータ、プログラマブルデータ処理装置、および／または他のデバイスに、特定の様式において機能するように指示し得る、コンピュータ可読記憶媒体内に記憶されてもよい。
【0099】
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される、命令が、フローチャートおよび／またはブロック図のブロックもしくは複数のブロックに規定される機能／行為を実装するように、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイス上にロードされ、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させ、コンピュータ実装プロセスを生産させてもよい。
【0100】
図中のフローチャートおよびブロック図は、本開示の種々の実施形態による、システム、方法、およびコンピュータプログラム製品の可能性として考えられる実装のアーキテクチャ、機能性、および動作を図示する。この点において、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つ以上の実行可能命令を備える、モジュール、セグメント、または命令の一部を表してもよい。種々の代替実装では、ブロック内に記載される機能は、図に記載の順序から外れて生じ得る。例えば、連続して示される２つのブロックは、実際は、実質的に並行して実行されてもよい、またはブロックは、関わる機能性に応じて、時として、逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート図の各ブロックならびにブロック図および／またはフローチャート図内のブロックの組み合わせは、規定された機能または行為を実施する、特殊目的のハードウェアベースのシステム、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせによって実装されることができることに留意されたい。
【0101】
本開示の種々の実施形態の説明は、例証目的のために提示されたが、包括的である、または開示される実施形態に限定されることを意図するものではない。多くの修正および変形例が、説明される実施形態の範囲および精神から逸脱することなく、当業者に明白となるであろう。本明細書で使用される専門用語は、実施形態の原理、市場に見出される技術に優る実践的用途または技術的改良を最良に説明する、または当業者が本明細書に開示される実施形態を理解することを可能にするように選定された。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13A】
【図13B】
【図14A】
【図14B】
【図14C】
【図15】
