(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-10
(45)【発行日】2022-06-20
(54)【発明の名称】物体の三次元モデルを形成するための1つ又は複数の光度エッジの生成
(51)【国際特許分類】
G06T 17/00 20060101AFI20220613BHJP
A61B 1/045 20060101ALI20220613BHJP
A61B 1/00 20060101ALI20220613BHJP
G06T 7/507 20170101ALI20220613BHJP
【FI】
G06T17/00
A61B1/045 610
A61B1/00 523
G06T7/507
(21)【出願番号】P 2020513819
(86)(22)【出願日】2018-10-05
(86)【国際出願番号】 US2018054653
(87)【国際公開番号】W WO2019071157
(87)【国際公開日】2019-04-11
【審査請求日】2021-10-01
(32)【優先日】2017-10-06
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】522111596
【氏名又は名称】アドバンスド スキャナーズ,インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】バーンスタイン,アーロン
(72)【発明者】
【氏名】レヴィーン,ジェフリー
(72)【発明者】
【氏名】エドワーズ,パトリック
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2007-132715(JP,A)
【文献】特開2009-032123(JP,A)
【文献】米国特許出願公開第2002/0024593(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 17/00
A61B 1/045
A61B 1/00
G06T 7/507
(57)【特許請求の範囲】
【請求項1】
鮮鋭な影を生成する装置であって、
2つのサイドシャドウキャスタであって、前記サイドシャドウキャスタはそれぞれ三角形であり、
基部、
前記基部から延び、一点で交わる2つの辺、及び
2つの前記辺が交わる前記点及び旋回点を有する頂点
を有する、2つのサイドシャドウキャスタと、
メインシャドウキャスタであって、前記メインシャドウキャスタは、前記サイドシャドウキャスタが前記メインシャドウキャスタに従属した状態で前記サイドシャドウキャスタの前記基部間に配置される、メインシャドウキャスタと、
前記サイドシャドウキャスタの前記旋回点と交わる回転軸と、
線形であり、前記サイドシャドウキャスタの前記頂点間に広がり、前記回転軸に沿って配置される光源と、
を含み、
前記サイドシャドウキャスタ及び前記メインシャドウキャスタは、前記回転軸の回りを回転することができ、
前記光源は前記サイドシャドウキャスタ及び前記メインシャドウキャスタにわたり光を投影して、前記鮮鋭な影を生成する、装置。
【請求項2】
前記サイドシャドウキャスタ及び前記メインシャドウキャスタは、構成可能な形状を更に有する、請求項
1に記載の装置。
【請求項3】
前記サイドシャドウキャスタ及び前記メインシャドウキャスタは、構成可能な不透明度を更に有する、請求項
1に記載の装置。
【請求項4】
前記サイドシャドウキャスタ及び前記メインシャドウキャスタは、カラーフィルタを更に有する、請求項
1に記載の装置。
【請求項5】
前記サイドシャドウキャスタ及び前記メインシャドウキャスタは、複数のセクションを更に有する、請求項
1に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、2017年10月6日付けで出願され、全体的に参照により本明細書に援用される米国仮特許出願第62/569,353号の利益を主張する。
【0002】
連邦政府による資金提供を受けた研究開発の記載
該当せず
【0003】
シーケンスリスト、表、又はコンピュータープログラムリストのコンパクトディスクの付録の参照
該当せず
【0004】
発明の背景
1.発明の分野
本発明は、スキャンデバイスの技術分野にある。より詳細には、本発明の好ましい実施形態は、一般的には、スキャン中の物体の三次元モデルを生成するスキャンデバイスに関する。より詳細には、本発明の好ましい実施形態は、一般的には、シャドウキャスタを使用して、スキャン中の物体又はエリアの三次元モデルを生成する装置、システム、及び方法に関する。
【背景技術】
【0005】
2.関連技術の説明
計算ハードウェア及びソフトウェアの進歩により、物体の形状を三次元空間で伝達する三次元モデル及びデジタル画像の生成が容易になった。従来の計算技法及びデバイスは、スキャン中の物体の表面の三次元モデルを形成する三次元(「3D」)スキャナとして実施される。これらのうち、構造化光スキャナシステムは通常、複雑なパターンの光及び1つ又は複数のカメラシステムを使用して、物体の形状を三次元で表す画像を捕捉する。従来の構造化光スキャナシステムは機能的であるが、これらのシステムは通常、スキャナをコスト的に法外なものにする材料及びリソースを必要とするため、広範囲の用途に適用するにはあまり適してない。例えば、そのようなスキャナは、レーザ及び/又は液晶ディスプレイ(「LCD」)プロジェクタ並びに複雑な光パターン及びそのようなスキャナに関連する撮像技法の処理に必要な他の計算ハードウェア及びアルゴリズムを利用する。
【0006】
少なくとも1つの手法では、構造化光スキャナシステムの制限の1つに対処するために、「弱構造化(weak-structured)」光を使用するスキャン技法が開発された。従来の弱構造化光に基づくスキャナは通常、物体の表面を導出し得る画像を捕捉するために、単純な白熱灯及び/又はロッド(例えば、鉛筆)を利用する。そのようなスキャナシステムの一例を
図1に示す。
図100は、影を平面110に適用して、物体116の形状を捕捉する単純な白熱電球102及びロッド114又は鉛筆等の任意の他の円柱形物体を示す。白熱電球102は、ガラスエンクロージャ内に距離(「d」)106における支持体間に延びるフィラメント104を含み、ガラスエンクロージャは透明でつや消しコーティングのないガラスで形成し得る。通常、ロッド114の幅と相対して比較的広範囲の距離に沿って光を生成するフィラメント104。一般に、フィラメント104は、ロッド114都へ移行しない平面に位置決めし得る。カメラ101を使用して、116の表面の計算に使用することができる点の画像を捕捉し得る。点の画像を捕捉するために、ロッド114を使用して影を物体116にわたり適用して、カメラ101により捕捉された物体116の表面上のピクセルの相対深度(例えば、物体116が不在の時点でのピクセルに相対する)を特定しようとする。
【0007】
図1のスキャナには幾つかの欠点がある。
図1のスキャナは機能的であるが、
図100のシステムは三次元物体の3D像をモデリングするにはあまり適さないことがある。白熱電球102及びロッド114は、所与の白熱電球102から最小照明のゾーン121を含む影120を生成し得る。ロッド114から更に遠くの距離122では、平面110のゾーン121と照明部分111との境界はますます拡散する。照明拡散性の増大の一例は、最小照明のゾーン121と照明部分111との拡散した境界を示す、距離(「b」)126内の線114に沿った線122からの増大として示し得る。拡散した境界の有害な影響を打ち消すために、3Dスキャンへの従来の手法は、照明の閾値と併せて、時間座標又はビデオ座標及び暗度と明度との十分な差に基づいて境界を画定する関連するアルゴリズムに頼る。拡散した境界は、物体116の捕捉画像から計算される表面の精度を下げる恐れがある。また、照明の閾値の使用は有効であるが、異なる色、陰影、又はテクスチャの発光効果を無視する必要があり得る。例えば、「黄」色は、拡散した境界の影響から区別可能であり得る比較的高い光度を有し得、一方、「青」色は、拡散した境界の一部として検出し得る比較的低い光度を有し得る。したがって、物体116の青部分117は、従来の照明の閾値の実施に起因して無視されることがある。したがって、色及び他の発光効果は多くの場合、従来の3Dスキャンに表れる不正確性であるこの無視を生じさせる。幾つかの手法では、アルゴリズム計算を利用して、ピクセルが照明されているか否かを分類する。しかしながら、これらの既知のアルゴリズムは通常、明度と暗度との間での比較的大きな揺れの区別に制限されている。そのような閾値処理は、
図100のスキャナを特定のスキャン用途にカスタマイズし適合させるためにリソースを必要とし得る。
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、必要とされるのは、従来の技法の制限なしで、物体及び環境の三次元モデル又は画像を生成する技法を促進する解決策である。
【課題を解決するための手段】
【0009】
発明の概要
種々の実施形態は、一般的には、物体及び環境の少なくとも三次元モデル又は画像を形成するコンピュータビジョン、グラフィックス、画像スキャン、及び画像処理、並びに関連する機械的、電気的、及び電子的ハードウェア、コンピュータソフトウェア、及びシステム、及び有線及び無線ネットワーク通信に関する。本発明の広義の実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体又は環境の三次元モデルを形成する装置、方法、及びシステムに関する。広義の実施形態では、本発明は、モデリング中の物体又はエリアにわたる1つ又は複数の光度エッジを生成する1つ又は複数の光源及び1つ又は複数のシャドウキャスタ、1つ又は複数の光度エッジを検出する1つ又は複数の手段、モデリング中の物体又はエリアに相対する1つ又は複数の光度エッジの移動を検出する手段、及びモデリング中の物体又はエリアの三次元モデルを生成する手段、並びに関連する方法及びシステムを含む。幾つかの実施形態は1つ又は複数のシャドウキャスタを移動させ、幾つかの実施形態は1つ又は複数の光源を移動させ、幾つかの実施形態は、1つ又は複数の光度エッジを通して物体を移動させる。これらの実施形態は本発明の範囲及び趣旨の例示であるが、上述した実施形態及び例は本発明を限定すべきではなく、本明細書における特定の実施形態、方法、及び例の変形、組合せ、及び均等物の存在を当業者は理解し認識される。
【0010】
好ましい実施形態では、本発明は広く、1つ又は複数のシャドウキャスタを移動させて、モデリング中の物体又はエリアに相対して1つ又は複数の光度エッジを移動させる装置及び方法に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置に関し、上記装置は、1つ又は複数の光源と、1つ又は複数のシャドウキャスタであって、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスタと、上記1つ又は複数のシャドウキャスタを移動させることが可能な1つ又は複数のアクチュエータと、1つ又は複数の画像捕捉デバイスと、非一時的コンピュータ可読媒体に記憶されるメモリと、上記コンピュータ可読媒体を有するプロセッサと、ディスプレイとを含み、上記1つ又は複数の光源は上記1つ又は複数のシャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記1つ又は複数のアクチュエータは、上記1つ又は複数のシャドウキャスタを移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記1つ又は複数の画像捕捉デバイスは、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する方法にも関し、上記方法は、1つ又は複数の光源を提供することと、1つ又は複数のシャドウキャスト要素を提供することであって、上記1つ又は複数のシャドウキャスト要素は、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスト要素を提供することと、既知のジオメトリの高コントラストシャドウを投影することであって、それにより、上記1つ又は複数の光源及び上記1つ又は複数のシャドウキャスト要素を使用して上記1つ又は複数の光度エッジを上記物体上に形成する、投影することと、上記1つ又は複数のシャドウキャスト要素を移動させることであって、それにより、上記物体にわたり上記1つ又は複数の光度エッジを移動させる、上記1つ又は複数のシャドウキャスト要素を移動させることと、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉することと、捕捉された上記画像から三次元データ表現を形成することと、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成することと、上記三次元モデルを表示することとを含む。この広義の実施形態の他のバージョンは、離散若しくは連続、線形であり、又は1つ若しくは複数の光アレイを含む1つ又は複数の光源を有する。この実施形態の他のバージョンでは、1つ又は複数のシャドウキャスタの形状は、三次元プリント技法等を通してスキャン及びモデリング中の物体に基づく。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。この実施形態の他のバージョンは、1つ又は複数のアクチュエータを使用して、1つ又は複数のシャドウキャスタを回転させる。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。
【0011】
別の好ましい実施形態では、本発明は広く、1つ又は複数の光源を移動させて、モデリング中の物体又はエリアに相対して1つ又は複数の光度エッジを移動させる装置及び方法に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置に関し、上記装置は、1つ又は複数の光源と、1つ又は複数のシャドウキャスタであって、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスタと、上記1つ又は複数の光源を移動させることが可能な1つ又は複数のアクチュエータと、1つ又は複数の画像捕捉デバイスと、非一時的コンピュータ可読媒体に記憶されるメモリと、上記コンピュータ可読媒体を有するプロセッサと、ディスプレイとを含み、上記1つ又は複数の光源は上記1つ又は複数のシャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記1つ又は複数のアクチュエータは、上記1つ又は複数の光源を移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記1つ又は複数の画像捕捉デバイスは、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する方法にも関し、上記方法は、1つ又は複数の光源を提供することと、1つ又は複数のシャドウキャスト要素を提供することであって、上記1つ又は複数のシャドウキャスト要素は、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスト要素を提供することと、既知のジオメトリの高コントラストシャドウを投影することであって、それにより、上記1つ又は複数の光源及び上記1つ又は複数のシャドウキャスト要素を使用して上記1つ又は複数の光度エッジを上記物体上に形成する、投影することと、上記1つ又は複数の光源を移動させることであって、それにより、上記物体にわたり上記1つ又は複数の光度エッジを移動させる、上記1つ又は複数の光源を移動させることと、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉することと、捕捉された上記画像から三次元データ表現を形成することと、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成することと、上記三次元モデルを表示することとを含む。この広義の実施形態の他のバージョンは、離散若しくは連続、線形であり、又は1つ若しくは複数の光アレイを含む1つ又は複数の光源を有する。この実施形態の他のバージョンでは、1つ又は複数のシャドウキャスタの形状は、三次元プリント技法等を通してスキャン及びモデリング中の物体に基づく。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の他のバージョンは、1つ又は複数のアクチュエータを使用して、1つ又は複数のシャドウキャスタを回転させる。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。
【0012】
別の好ましい実施形態では、本発明は広く、1つ又は複数の光度エッジを通してモデリング中の物体を移動させる装置及び方法に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置に関し、上記装置は、1つ又は複数の光源と、1つ又は複数のシャドウキャスタであって、平面投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスタと、1つ又は複数の画像捕捉デバイスと、非一時的コンピュータ可読媒体に記憶されるメモリと、上記コンピュータ可読媒体を有するプロセッサと、ディスプレイとを含み、上記1つ又は複数の光源は上記1つ又は複数のシャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを形成し、上記物体は上記1つ又は複数の光度エッジを通って移動して、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記1つ又は複数の画像捕捉デバイスは、上記1つ又は複数の光度エッジを通って移動する上記物体の上記移動を検出し、上記移動を上記メモリに記録し、上記1つ又は複数の画像捕捉デバイスは、上記1つ又は複数の光度エッジを通って移動する上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記移動から上記1つ又は複数の光度エッジを通って移動する上記物体の速度を計算し、上記プロセッサは、記録された上記画像及び計算された上記速度から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する方法に関し、上記方法は、1つ又は複数の光源を提供することと、1つ又は複数のシャドウキャスト要素を提供することであって、上記1つ又は複数のシャドウキャスト要素は、平面投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスト要素を提供することと、既知のジオメトリの高コントラストシャドウを投影することであって、それにより、上記1つ又は複数の光源及び上記1つ又は複数のシャドウキャスト要素を使用して上記物体上に上記1つ又は複数の光度エッジを形成する、投影することと、上記1つ又は複数の光度エッジを通って上記物体を移動させることと、上記1つ又は複数の光度エッジを通って移動する上記物体の速度を検出することと、上記1つ又は複数の光度エッジを通って移動する上記物体の上記1つ又は複数の光度エッジの画像を捕捉することと、検出された上記速度及び捕捉された上記画像から三次元データ表現を形成することと、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成することと、上記三次元モデルを表示することとを含む。この広義の実施形態の他のバージョンは、離散若しくは連続、線形であり、又は1つ若しくは複数の光アレイを含む1つ又は複数の光源を有する。この実施形態の他のバージョンでは、1つ又は複数のシャドウキャスタの形状は、三次元プリント技法等を通してスキャン及びモデリング中の物体に基づく。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。この実施形態の他のバージョンは、1つ又は複数のアクチュエータを使用して、1つ又は複数のシャドウキャスタを回転させる。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。この実施形態の更に他のバージョンは、部屋に設置され、天井に搭載された1つ又は複数の光源を有する同様のバージョンを用いて天井に搭載される。
【0013】
別の好ましい実施形態では、本発明は広く、物体の周囲をモデリングする装置及び方法に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、形成する装置に関し、上記装置は、上記物体に搭載される1つ又は複数の光源と、1つ又は複数のシャドウキャスタであって、上記1つ又は複数のシャドウキャスタは、記物体に搭載され、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスタと、上記1つ又は複数のシャドウキャスタを移動させることが可能な1つ又は複数のアクチュエータと、上記物体に搭載される1つ又は複数の画像捕捉デバイスと、非一時的コンピュータ可読媒体に記憶されるメモリと、上記コンピュータ可読媒体を有するプロセッサとを含み、上記1つ又は複数の光源は上記1つ又は複数のシャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体の上記周囲に形成し、上記1つ又は複数のアクチュエータは、上記1つ又は複数のシャドウキャスタを移動させて、上記物体の上記周囲にわたり上記1つ又は複数の光度エッジを掃引し、上記1つ又は複数の画像捕捉デバイスは、上記物体の上記周囲の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記周囲の上記三次元モデルを生成し、上記三次元モデルは上記メモリに記憶される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の周囲の三次元モデルを形成する方法にも関し、上記方法は、上記物体に搭載される1つ又は複数の光源を提供することと、1つ又は複数のシャドウキャスト要素を提供することであって、上記1つ又は複数のシャドウキャスト要素は、上記物体に搭載され、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスト要素を提供することと、既知のジオメトリの高コントラストシャドウを投影することであって、それにより、上記1つ又は複数の光源及び上記1つ又は複数のシャドウキャスト要素を使用して上記物体の上記周囲上に上記1つ又は複数の光度エッジを形成する、投影することと、上記1つ又は複数のシャドウキャスト要素を移動させることであって、それにより、上記物体の上記周囲にわたり上記1つ又は複数の光度エッジを移動させる、上記1つ又は複数のシャドウキャスト要素を移動させることと、上記物体の上記周囲上の上記1つ又は複数の光度エッジの画像を捕捉することと、捕捉された上記画像から三次元データ表現を形成することと、上記三次元データ表現を使用して上記物体の上記周囲の上記三次元モデルを生成することと、上記三次元モデルを非一時的コンピュータ可読媒体に記憶することとを含む。この広義の実施形態の他のバージョンは、離散若しくは連続、線形であり、又は1つ若しくは複数の光アレイを含む1つ又は複数の光源を有する。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の幾つかのバージョンは、拡張現実ヘッドセットを使用し、物体の周囲に重ねられたモデルを表示し、一方、同様のバージョンは、拡張現実ヘッドセットの周囲に重ねられたモデルを表示する。さらに、本発明のこの実施形態は、自律自動車又は潜水可能な車両の人工視覚としての使用等、車両で使用し得、潜水可能な車両の場合、本装置は耐水性部品を有する。同様に、この実施形態はロボットの人工視覚に使用することもできる。
【0014】
別の好ましい実施形態では、本発明は広く、静的シャドウキャスタを使用して物体の周囲をモデリングする装置及び装置に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の周囲の三次元モデルを形成する装置に関し、上記装置は、上記物体に搭載される1つ又は複数の光源と、1つ又は複数のシャドウキャスタであって、上記1つ又は複数のシャドウキャスタは、上記物体に搭載され、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスタと、上記物体に搭載される1つ又は複数の画像捕捉デバイスと、非一時的コンピュータ可読媒体に記憶されるメモリと、上記コンピュータ可読媒体を有するプロセッサとを含み、上記1つ又は複数の光源は上記1つ又は複数のシャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体の上記周囲に形成し、上記物体は上記物体の上記周囲を通って移動して、上記物体の上記周囲にわたり上記1つ又は複数の光度エッジを掃引し、上記1つ又は複数の画像捕捉デバイスは、上記物体の上記周囲上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記周囲の上記三次元モデルを生成し、上記三次元モデルは上記メモリに記憶される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の周囲の三次元モデルを形成する方法に関し、上記方法は、上記物体に搭載される1つ又は複数の光源を提供することと、1つ又は複数のシャドウキャスト要素を提供することであって、上記1つ又は複数のシャドウキャスト要素は、上記物体に搭載され、平面に投影されたとき、少なくとも1つの直線エッジを有する形状を有する、1つ又は複数のシャドウキャスト要素を提供することと、既知のジオメトリの高コントラストシャドウを投影することであって、それにより、上記1つ又は複数の光源及び上記1つ又は複数のシャドウキャスト要素を使用して上記物体の上記周囲上に上記1つ又は複数の光度エッジを形成する、投影することと、上記物体を移動させることであって、それにより、上記物体の上記周囲にわたり上記1つ又は複数の光度エッジを移動させる、上記物体を移動させることと、上記物体の上記周囲上の上記1つ又は複数の光度エッジの画像を捕捉することと、捕捉された上記画像から三次元データ表現を形成することと、上記三次元データ表現を使用して上記物体の上記周囲の上記三次元モデルを生成することと、上記三次元モデルを非一時的コンピュータ可読媒体に記憶することとを含む。この広義の実施形態の他のバージョンは、離散若しくは連続、線形であり、又は1つ若しくは複数の光アレイを含む1つ又は複数の光源を有する。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の幾つかのバージョンは、拡張現実ヘッドセットを使用し、物体の周囲に重ねられたモデルを表示し、一方、同様のバージョンは、拡張現実ヘッドセットの周囲に重ねられたモデルを表示する。さらに、本発明のこの実施形態は、自律自動車又は潜水可能な車両の人工視覚としての使用等、車両で使用し得、潜水可能な車両の場合、本装置は耐水性部品を有する。同様に、この実施形態はロボットの人工視覚に使用することもできる。
【0015】
最も好ましい実施形態では、本発明は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置に関し、上記装置は、外部筐体であって、カメラ開口部を有する背面パネル、上面パネル、及び旋回点を有する2つのサイドパネルを有する、外部筐体と;シャドウキャスタであって、矩形のフロントセグメント、2つのサイドセグメントであって、上記サイドセグメントはそれぞれ、上記フロントセグメントの両端部に垂直に従属し、上記サイドセグメントはそれぞれ、三角形及びショルダねじ穴及びショルダねじを有するショルダマウントであって、上記ショルダねじはナットを使用して上記サイドパネルに回転可能に取り付けられる、ショルダマウント、及び上記サイドセグメントに従属するタブを有する、シャドウキャスタと;アクチュエータ組立体であって、上記外部筐体に従属するアクチュエータアーム、上記アクチュエータアームに従属するアクチュエータモータ、及び上記アクチュエータモータに従属し、上記シャドウキャスタの上記タブに接続するアクチュエータコネクタを有する、アクチュエータ組立体と;光源であって、上記光源は離散、連続、線形であり、上記シャドウキャスタの上記サイドセグメントの上記ショルダマウントの上記ショルダねじ間に延在する、光源と;ビデオカメラ組立体であって、上記ビデオカメラ組立体は、上記外部筐体の上記背面パネルの上記カメラ開口部を通って延び、ビデオカメラ支持プラットフォーム及び上記ビデオカメラ支持プラットフォームに搭載されるビデオカメラであって、カメラレンズ、カメラ同期ポート、ビデオ出力ポート、及び制御ポートを有する、ビデオカメラを有する、ビデオカメラ組立体と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサと;ディスプレイとを含み、上記光源は上記シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記アクチュエータモータは、上記シャドウキャスタを移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記ビデオカメラは、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この実施形態の他のバージョンでは、1つ又は複数のシャドウキャスタの形状は、三次元プリント技法等を通してスキャン及びモデリング中の物体に基づく。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。この実施形態の他のバージョンは、複数のフロントセクションを有するシャドウキャスタのフロントセグメント及び複数のサイドセクションを有するサイドセグメントを使用する。追加のバージョンは、本装置が天井に搭載された部屋で使用される。特定の用途では、この実施形態の一バージョンは、黒子若しくは皮膚病変のマップを作成するため又は皮膚癌若しくは同様の病気について患者を検査等するために皮膚病学で使用される等、1人の人間をスキャンし、その人の皮膚の三次元モデルを生成するのに使用し得る。本発明の最も好ましい実施形態の別の特定の用途として、本装置は、患者の脳手術中に使用し得、その場合、本装置は、本装置の上記外部筐体に適合するドレープであって、患者を汚染から保護することが可能なドレープと、患者に対して本装置の位置を固定することが可能なクランプ組立体とを更に有する。この好ましい実施形態はまた、一般的には、患者の脳手術で本装置を使用する方法にも関し、上記方法は、上記装置にドレープを掛けることであって、上記ドレープは上記装置の上記外部筐体に適合し、上記患者を汚染から保護することが可能である、ドレープを掛けることと、上記装置を上記患者と位置合わせすることと、上記装置の上記ビデオカメラを上記患者にフォーカスすることと、上記ビデオカメラを使用して上記患者の録画を開始することと、上記アクチュエータモータを使用して上記患者にわたり上記1つ又は複数の光度エッジを掃引することと、上記ビデオカメラを使用して上記患者上の上記1つ又は複数の光度エッジの画像を捕捉することと、上記患者の録画を停止することと、上記プロセッサを使用して上記画像を収集し解析することと、上記プロセッサを使用して上記画像から三次元データ表現を形成することと、上記プロセッサを使用して、上記三次元データ表現を使用して上記患者の上記三次元モデルを生成することと、上記プロセッサを使用して上記三次元モデルを上記ディスプレイに表示することとを含む。この好ましい実施形態はまた、一般的には、患者のロボット脳手術で本装置を使用する方法にも関し、上記方法は、上記装置を制御するロボットを提供することであって、上記ロボットは、上記ビデオカメラ及び上記アクチュエータモータを制御することが可能であり、上記プロセッサと対話することが可能であり、上記ロボットは、上記ロボットをナビゲートすることが可能なナビゲーションコンピュータであって、上記メモリ及び上記コンピュータ可読媒体を有するナビゲーションコンピュータ、1つ又は複数の位置決めロボットモータ、1つ又は複数の位置合わせロボットモータ、及び1つ又は複数のフォーカスロボットモータを有する、ロボットを提供することと;上記装置にドレープを掛けることであって、上記ドレープは上記装置の上記外部筐体に適合し、上記患者を汚染から保護することが可能である、ドレープを掛けることと;上記1つ又は複数の位置決めロボットモータを使用して上記患者上に上記装置を位置決めすることと;上記1つ又は複数の位置合わせロボットモータを使用して上記装置を上記患者と位置合わせすることと;上記1つ又は複数のフォーカスロボットモータを使用して、上記装置の上記ビデオカメラを上記患者にフォーカスすることと;ロボット制御される上記ビデオカメラを使用して上記患者を録画することと;上記ロボット制御される上記アクチュエータモータを使用して上記患者にわたり上記1つ又は複数の光度エッジを掃引することと;ロボット制御される上記ビデオカメラを使用して上記患者上の上記1つ又は複数の光度エッジの画像を捕捉することと;上記プロセッサを使用して上記画像を収集し解析することと;上記プロセッサを使用して上記画像から三次元データ表現を形成することと;上記プロセッサを使用して、上記三次元データ表現を使用して上記患者の上記三次元モデルを生成することと;上記ロボット脳手術中に使用される上記ロボットの上記ナビゲーションコンピュータに上記三次元モデルを記憶することとを含む。さらに、この好ましい実施形態はまた、一般的には、患者の脳手術で本装置を使用する方法にも関し、上記方法は、他のスキャン技法を使用して、上記脳手術前、上記患者の脳をスキャンすることであって、それにより、上記脳の事前モデルを生成し、上記他のスキャン技法は、MRIスキャン、CTスキャン、PETスキャン、又は超音波スキャンを含む、スキャンすることと;上記プロセッサを使用して上記事前モデルを上記メモリに記憶することと;上記装置にドレープを掛けることであって、上記ドレープは上記装置の上記外部筐体に適合し、上記患者を汚染から保護することが可能である、ドレープを掛けることと;上記装置を上記患者と位置合わせすることと;上記装置の上記ビデオカメラを上記患者にフォーカスすることと;上記ビデオカメラを使用して上記患者の録画を開始することと;上記アクチュエータモータを使用して上記患者にわたり上記1つ又は複数の光度エッジを掃引することと;上記ビデオカメラを使用して上記患者上の上記1つ又は複数の光度エッジの画像を捕捉することと;上記患者の録画を停止することと;上記プロセッサを使用して上記画像を収集し解析することと;上記プロセッサを使用して上記画像から三次元データ表現を形成することと;上記プロセッサを使用して、上記三次元データ表現を使用して上記患者の上記三次元モデルを生成することと;上記プロセッサを使用して上記三次元モデルを上記事前モデルと比較することと;上記プロセッサを使用して上記事前モデルが重ねられた上記三次元モデルを上記ディスプレイに表示することとを含む。この好ましい実施形態はまた、一般的には、脳が律動的に脈動する状態での患者の脳手術に本装置を使用する方法にも関し、上記方法は、上記装置にドレープを掛けることであって、上記ドレープは上記装置の上記外部筐体に適合し、上記患者を汚染から保護することが可能である、ドレープを掛けることと、上記装置を上記患者と位置合わせすることと、上記装置の上記ビデオカメラを上記患者の上記律動的に脈動している脳にフォーカスすることと、上記ビデオカメラを使用して上記患者の上記律動的に脈動している脳の録画を開始することと、上記患者の血圧波形を測定することであって、上記血圧波形は、上記患者の血圧の律動的な脈動を含む、測定することと、上記アクチュエータモータを使用して、上記患者の上記律動的に脈動する脳にわたり上記1つ又は複数の光度エッジを掃引することと、上記ビデオカメラを使用して、上記患者の上記律動的に脈動する脳上の上記1つ又は複数の光度エッジの画像を捕捉することと、上記患者の上記律動的に脈動する脳の録画を停止することと、上記プロセッサを使用して上記画像を収集し解析することと、上記血圧波形及び上記プロセッサを使用して、上記患者の上記律動的に脈動する脳の上記律動的運動をなくすことと、上記プロセッサを使用して上記シャドウキャスタのスキャン運動を考慮に入れることと、上記プロセッサを使用して上記画像及びなくされた上記患者の上記律動的に脈動する脳の上記律動的運動から三次元データ表現を形成することと、上記プロセッサを使用して、上記三次元データ表現を使用して上記患者の上記三次元モデルを生成することと、上記プロセッサを使用して上記三次元モデルを上記ディスプレイに表示することとを含む。
【0016】
別の好ましい実施形態では、本発明は、一般的には、内視鏡装置に関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置に関し、上記装置は、内視鏡本体であって、基端部、先端部、上記基端部と上記先端部との間に広がる内視鏡スリーブ、上記内視鏡スリーブ内に配置され、上記先端部に向かって先細るテーパ光ファイバ束、及び上記内視鏡スリーブ内に配置され、上記先端部を向いた内視鏡カメラを有する、内視鏡本体と;上記テーパ光ファイバ束の上方に上記内視鏡本体の上記先端部に搭載されるシャドウキャスタであって、半円ピースを有する、シャドウキャスタと;光出射部であって、水平プラットフォーム、上記水平プラットフォームから膨張した垂直スタンド、上記水平プラットフォームから膨張したステッパモータリニアアクチュエータ、上記ステッパモータリニアアクチュエータに接続される並進プラットフォーム、上記並進プラットフォームに従属する光源、上記光源に従属する光ファイバ束、上記光ファイバ束に従属する角丸テーパ、及び上記角丸テーパに搭載されるスリットを有する、光出射部と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサと;ディスプレイとを含み、上記光出射部は、上記内視鏡本体の上記基端部に接続され、上記光源は上記光ファイバ束、上記角丸テーパ、上記スリット、上記テーパ光ファイバ束、及び上記シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記ステッパモータリニアアクチュエータは、上記光源と共に上記並進プラットフォームを移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記内視鏡カメラは、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成する装置にも関し、上記装置は、内視鏡本体であって、基端部、先端部、上記基端部と上記先端部との間に広がる内視鏡スリーブ、上記内視鏡スリーブ内に配置され、上記先端部に向かって先細るテーパ光ファイバ束、及び上記内視鏡スリーブ内に配置され、上記先端部を向いた内視鏡カメラを有する、内視鏡本体と;上記テーパ光ファイバ束の上方に上記内視鏡本体の上記先端部に搭載されるシャドウキャスタであって、半円ピースを有する、シャドウキャスタと;光出射部であって、水平プラットフォーム、上記水平プラットフォームから膨張した垂直スタンド、上記水平プラットフォームから膨張したステッパモータリニアアクチュエータ、上記垂直スタンドに従属する支持プラットフォーム、上記支持プラットフォームに従属する光源、上記光源に従属する光ファイバ束、上記光ファイバ束に従属する角丸テーパ、及び上記ステッパモータリニアアクチュエータに搭載されるスリットを有する、光出射部と;一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサと;ディスプレイとを含み、上記光出射部は、上記内視鏡本体の上記基端部に接続され、上記光源は上記光ファイバ束、上記角丸テーパ、上記スリット、上記テーパ光ファイバ束、及び上記シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記ステッパモータリニアアクチュエータは、上記スリットを移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記内視鏡カメラは、上記物体上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この実施形態の他のバージョンは、矩形又は角が丸められた矩形であるテーパ光ファイバ束を使用する。さらに、この実施形態の幾つかのバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。
【0017】
別の好ましい実施形態では、本発明は、一般的には、ドローンを使用してエリアをモデリングするシステムに関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、エリアの三次元モデルを形成するシステムに関し、上記システムは、複数のシャドウドローンであって、上記シャドウドローンはそれぞれ、遠隔制御される飛行車両を有するドローン及び上記ドローンに従属するパネルを有するシャドウキャスタを有する、複数のシャドウドローンと;複数のカメラドローンであって、上記カメラドローンはそれぞれ、上記ドローン及び上記ドローンに従属する画像捕捉デバイスを有する、複数のカメラドローンと;非一時的コンピュータ可読媒体に記憶されるメモリと;上記シャドウドローン及び上記カメラドローンを制御することが可能なプロセッサであって、上記コンピュータ可読媒体を有する、プロセッサと;ディスプレイとを含み、上記複数のシャドウドローンは、上記シャドウキャスタが実質的に連続した集合的シャドウキャスタを形成するように、飛行フォーメーションで位置合わせされ、上記集合的シャドウキャスタは位置合わせされた上記シャドウキャスタを含み、太陽が上記集合的シャドウキャスタを照らして、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記エリア上に形成し、上記飛行フォーメーションの位置合わせされた上記複数のシャドウドローンは、上記エリアにわたりフォーメーションで移動して、上記エリアにわたり上記1つ又は複数の光度エッジを掃引し、上記カメラドローンの上記画像捕捉デバイスは、上記エリア上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、上記三次元データ表現を使用して上記エリアの上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、エリアの三次元モデルを形成するシステムにも関し、上記システムは、複数のシャドウドローンであって、上記シャドウドローンはそれぞれ、遠隔制御される飛行車両を有するドローン及び上記ドローンに従属するパネルを有するシャドウキャスタを有する、複数のシャドウドローンと;複数のライトドローンであって、上記ライトドローンはそれぞれ、上記ドローン及び上記ドローンに従属する光源を有する、複数のライトドローンと;複数のカメラドローンであって、上記カメラドローンはそれぞれ、上記ドローン及び上記ドローンに従属する画像捕捉デバイスを有する、複数のカメラドローンと;非一時的コンピュータ可読媒体に記憶されるメモリと;上記シャドウドローン、上記ライトドローン、及び上記カメラドローンを制御することが可能なプロセッサであって、上記コンピュータ可読媒体を有する、プロセッサと;ディスプレイとを含み、上記複数のシャドウドローンは、上記シャドウキャスタが実質的に連続した集合的シャドウキャスタを形成するように、飛行フォーメーションで位置合わせされ、上記集合的シャドウキャスタは位置合わせされた上記シャドウキャスタを含み、上記ライトドローンは上記集合的シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記エリア上に形成し、上記飛行フォーメーションの位置合わせされた上記複数のシャドウドローンは、上記エリアにわたりフォーメーションで移動して、上記エリアにわたり上記1つ又は複数の光度エッジを掃引し、上記カメラドローンの上記画像捕捉デバイスは、上記エリア上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記エリアの上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この実施形態の他のバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。
【0018】
別の好ましい実施形態では、本発明は、一般的には、大型スタジアム等のエリアをモデリングするシステムに関する。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、エリアの三次元モデルを形成するシステムに関し、上記システムは、水平であり、回転可能なシャドウキャスタプラットフォームと;上記シャドウキャスタプラットフォームの中心に従属する光源と;それぞれが上記光源の周囲で上記シャドウキャスタプラットフォームに従属する少なくとも1つのシャドウキャスタであって、垂直パネル及び上記光源に向かって傾斜した傾斜パネルを有する、少なくとも1つのシャドウキャスタと;それぞれが三脚に搭載される複数の画像捕捉デバイスと;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサと;ディスプレイとを含み、上記複数の画像捕捉デバイスは、上記シャドウキャスタプラットフォームの周囲に配置され、上記光源は上記シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記エリア上に形成し、上記シャドウキャスタプラットフォームは回転し、それにより、上記光源の周りで上記シャドウキャスタを回転させて、上記エリアにわたり上記1つ又は複数の光度エッジを掃引し、上記複数の画像捕捉デバイスは、上記エリア上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記エリアの上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この好ましい実施形態はまた、一般的には、1つ又は複数の光度エッジを生成して、エリアの三次元モデルを形成するシステムにも関し、上記システムは、水平であるシャドウキャスタプラットフォームと;指向性であり、回転可能であり、上記シャドウキャスタプラットフォームの中心に従属する光源と;それぞれが上記光源の周囲で上記シャドウキャスタプラットフォームに従属する少なくとも1つのシャドウキャスタであって、垂直パネル及び上記光源に向かって傾斜した傾斜パネルを有する、少なくとも1つのシャドウキャスタと;それぞれが三脚に搭載される画像捕捉デバイスと;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサと;ディスプレイとを含み、上記複数の画像捕捉デバイスは、上記シャドウキャスタプラットフォームの周囲に配置され、上記光源は上記シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記エリア上に形成し、上記光源は移動して、上記エリアにわたり上記1つ又は複数の光度エッジを掃引し、上記複数の画像捕捉デバイスは、上記エリア上の上記1つ又は複数の光度エッジの画像を捕捉し、上記画像を上記メモリに記録し、上記プロセッサは、記録された上記画像から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記エリアの上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この実施形態の他のバージョンは、構成可能な形状、構成可能な不透明度、又はカラーフィルタを更に有する1つ又は複数のシャドウキャスタを使用する。さらに、この実施形態の幾つかのバージョンはディスプレイを使用し、ディスプレイは、ヘッドセットのユーザのビューに三次元モデルを重ねることができる拡張現実ヘッドセットである。
【0019】
別の好ましい実施形態では、本発明は広く、成形シャドウキャスタを生成する方法に関し、これは上記好ましい実施形態の多くで使用される。この実施形態は、一般的には、1つ又は複数の光度エッジを生成して、物体の三次元モデルを形成するカスタムシャドウキャスタを作製する方法に関し、上記方法は、三次元プリンタを提供することと、写真、ビデオ、又は影投影を使用して上記物体の外形を特定することと、上記三次元プリンタを使用して上記外形の形状で上記カスタムシャドウキャスタを三次元プリントすることと、上記1つ又は複数の光度エッジを生成する際、上記物体の実質的に近くに上記カスタムシャドウキャスタを配置することとを含む。
【0020】
別の好ましい実施形態では、本発明はスリット付き線形光源である装置に関し、これは上記好ましい実施形態の多くで使用し得る。この実施形態は、一般的には、シャドウキャスタ用の光を生成する装置に関し、上記装置は、スリット管であって、白色で塗装された内部、不透明である外部、及び上記スリット管の長さに延び、幅を有するスリットを有する、スリット管と、上記スリット管の両端部に従属する2つの光源と、上記光源に従属する2つのヒートシンクと、上記スリット管の周囲に巻かれる2つのクランプであって、ねじを有する、2つのクランプとを含み、上記クランプは上記スリットの上記幅を調整することが可能である。この実施形態の他のバージョンは、複数のLEDの組立体であるか、又は光ファイバ束により提供される光源を使用する。さらに、この実施形態の追加のバージョンは、負の焦点距離を有する、スリットにわたる1つ又は複数のレンズを更に有する。
【0021】
別の好ましい実施形態では、本発明は、鮮鋭な影を生成する装置に関し、上記装置は、2つのサイドシャドウキャスタであって、上記サイドシャドウキャスタはそれぞれ三角形であり、基部、上記基部から延び、一点で交わる2つの辺、及び2つの上記辺が交わる上記点及び旋回点を有する頂点を有する、2つのサイドシャドウキャスタと、メインシャドウキャスタであって、上記メインシャドウキャスタは、上記サイドシャドウキャスタが上記メインシャドウキャスタに従属した状態で上記サイドシャドウキャスタの上記基部間に配置される、メインシャドウキャスタと、上記サイドシャドウキャスタの上記旋回点と交わる回転軸と、線形であり、上記サイドシャドウキャスタの上記頂点間に広がり、上記回転軸に沿って配置される光源とを含み、上記サイドシャドウキャスタ及び上記メインシャドウキャスタは、上記回転軸の回りを回転することができ、上記光源は上記サイドシャドウキャスタ及び上記メインシャドウキャスタにわたり光を投影して、上記鮮鋭な影を生成する。この実施形態の他のバージョンは、構成可能な形状を更に有する上記サイドシャドウキャスタ及び上記メインシャドウキャスタを使用する。この実施形態の更に他のバージョンは、構成可能な不透明度を更に有する上記サイドシャドウキャスタ及び上記メインシャドウキャスタを使用する。この実施形態の追加のバージョンは、カラーフィルタを更に有する上記サイドシャドウキャスタ及び上記メインシャドウキャスタを使用する。さらに、この実施形態の他のバージョンは、複数のセクションを更に有する上記サイドシャドウキャスタ及び上記メインシャドウキャスタを使用する。シャドウキャスタスキャナと併用される場合、カメラを光源から分けなければならない。
【0022】
上記例について理解を明確にするために幾らか詳細に説明したが、上述した本発明の技法は、提供された詳細に限定されない。上述した本発明の技法を実施する多くの代替の方法がある。開示される例は例示的なものであり、限定ではない。これらの実施形態は、本発明の範囲を限定する意図はない。
【0023】
図面の簡単な説明
本発明の例示的な好ましい実施形態を添付図面に示す。
【図面の簡単な説明】
【0024】
【
図2】幾つかの実施形態によるシャドウキャスタの一例を示す図である。
【
図3】幾つかの例によるスキャンシステムを示す図である。
【
図4】幾つかの実施形態によるシャドウキャスタの別の例を示す図である。
【
図5】幾つかの実施形態によるシャドウキャスタの別の例を示す図である。
【
図6】幾つかの例による、光度エッジを生成して、複数の物体をスキャンするシャドウキャスタの一例を示す図である。
【
図7A】幾つかの例によるスキャン中の物体の側面図を示す図である。
【
図7B】幾つかの例によるスキャン中の物体の斜視図を示す図である。
【
図7C】幾つかの例による物体表面上の点の空間場所を特定する一例のフローチャートである。
【
図8】種々の実施形態によるシャドウキャスタの一例を示す図である。
【
図9】種々の実施形態によるシャドウキャスタの一例を示す図である。
【
図10】種々の実施形態によるシャドウキャスタの一例を示す図である。
【
図10A】種々の実施形態によるシャドウキャスタの一例を示す図である。
【
図11A】幾つかの例による三次元物体をスキャンするシャドウキャスタの適応可能な構造特性の例を示す図である。
【
図11B】幾つかの例による三次元物体をスキャンするシャドウキャスタの適応可能な構造特性の例を示す図である。
【
図11C】幾つかの例による三次元物体をスキャンするシャドウキャスタの適応可能な構造特性の例を示す図である。
【
図12】幾つかの例による構成可能なシャドウキャスタの一例を示す図である。
【
図13】幾つかの例によるスキャンシステムの一例を示す図である。
【
図14】幾つかの例によるスキャンシステムの更に別の例を示すための図である。
【
図15】幾つかの例による医療用途を実行するように構成されたスキャンシステムの一例を示す。
【
図16A】幾つかの例によるシャドウキャスタのシステムを含む専用外科用顕微鏡を示す図である。
【
図16B】幾つかの例による少なくとも1つのシャドウキャスタを含む更に別の専用外科用顕微鏡を示す図である。
【
図17】幾つかの例による三次元スキャンされた特徴に基づく拡大画像を示す図である。
【
図18】幾つかの例によるin vivo三次元スキャン及び画像統合を示す機能ブロック図である。
【
図19】幾つかの例による1つ又は複数の光度エッジを生成するように構成された1つ又は複数のシャドウキャスタの更に別の例を示す図である。
【
図20】幾つかの例によるウェアラブルシャドウキャスタからの光投影パターンの一例を示す図である。
【
図21】幾つかの例によるウェアラブルシャドウキャスタと共に実施される画像捕捉デバイスを示す図である。
【
図22】幾つかの例による、共通する環境で協働する複数のウェアラブルシャドウキャスタを示す図である。
【
図23】種々の実施形態による、三次元スキャンを実行する構成要素に種々の機能を提供するように構成された種々の計算プラットフォームの例を示す。
【
図24】幾つかの例による本発明の装置の正面斜視図である。
【
図27】種々の実施形態による本発明のシャドウキャスタの正面斜視図である。
【
図28】種々の実施形態による本発明の別のシャドウキャスタの正面斜視図である。
【
図29】種々の実施形態による本発明の別のシャドウキャスタの正面斜視図である。
【
図30】幾つかの例による
図24の装置の動作を説明するフローチャートを示す。
【
図31】種々の実施形態による、脳手術中に使用されている本発明の装置の正面斜視図である。
【
図32】幾つかの例による、脳手術中に使用されている本発明の装置の動作を説明するフローチャートを示す。
【
図33】幾つかの例による、脳手術中に使用されている本発明の装置の動作を説明するフローチャートを示す。
【
図34】幾つかの例による本発明により使用されるアルゴリズムを説明するフローチャートを示す。
【
図35】種々の実施形態による、患者のレジストレーションに使用される本発明の装置を説明するフローチャートを表示する。
【
図36】幾つかの例による、ロボット脳手術中に使用される本発明の装置の動作を説明するフローチャートを示す。
【
図37】種々の実施形態による本発明の装置の正面斜視図である。
【
図39】種々の実施形態による本発明の装置の正面斜視図である。
【
図40】種々の実施形態による、内視鏡の先端部に搭載された本発明の装置の正面斜視図及び分解組立図を示す。
【
図41】幾つかの例による
図40の装置を説明するブロック図を示す。
【
図42】種々の実施形態による本発明の装置の内視鏡バージョンの動作を説明するフローチャートを示す。
【
図43】幾つかの例による本発明の内視鏡バージョンにより使用されるアルゴリズムを説明するフローチャートを示す。
【
図44】幾つかの例による本発明の装置の内視鏡バージョンのシャドウキャスタ掃引を説明するフローチャートを示す。
【
図45】種々の実施形態による、人をスキャンする本発明の装置の正面斜視図である。
【
図46】幾つかの例による
図45の装置の動作を説明するフローチャートを示す。
【
図47】種々の実施形態による、歩行中の人をスキャンする本発明の別の装置の正面斜視図である。
【
図48】幾つかの例による
図47の装置の動作を説明するフローチャートである。
【
図49】種々の実施形態による、自動車に組み込まれた本発明の別の装置の正面斜視図を示す。
【
図51】幾つかの例による
図49の装置の動作を説明するフローチャートを表示する。
【
図52】種々の実施形態による、ロボットに組み込まれた本発明の装置の動作を説明するフローチャートを示す。
【
図53】種々の実施形態による、潜水艇に組み込まれた本発明の装置の動作を説明するフローチャートを示す。
【
図54】種々の実施形態による、ドローンを使用する本発明のシステムの正面斜視図を示す。
【
図55】幾つかの例による
図54のシステムの動作を説明するフローチャートである。
【
図56】種々の実施形態による、ドローンを使用する本発明の別のシステムの正面斜視図である。
【
図57】幾つかの例による
図56のシステムの動作を説明するフローチャートを示す。
【
図58】種々の実施形態による、ドローンを使用する本発明のシステムにより使用されるアルゴリズムを説明するフローチャートを示す。
【
図59】種々の実施形態による、ドローンを使用する本発明のシステムのシャドウキャスタ掃引を説明するフローチャートである。
【
図60】種々の実施形態による、スタジアムをスキャンするのに使用される本発明の別のシステムの斜視図である。
【
図61】幾つかの例による、スタジアムをスキャンするプロセスにおける
図60のシステムの斜視図である。
【
図62】幾つかの例による、1つのシャドウキャスタを使用する本発明の実施形態により使用されるアルゴリズムを説明するフローチャートを示す。
【
図63】幾つかの例による、1つのシャドウキャスタを使用する本発明の実施形態により使用されるシャドウキャスタ掃引を説明するフローチャートである。
【
図64】種々の実施形態による、デスクトップスキャンに使用される本発明の装置又はシステムの動作を説明するフローチャートを示す。
【
図65】種々の実施形態による、部屋をスキャンする、三脚と併用し得る本発明の装置又はシステムの動作を説明するフローチャートを示す。
【
図66】種々の実施形態による、部屋をスキャンする、頭上照明と併用し得る本発明の装置又はシステムの動作を説明するフローチャートを示す。
【
図67】幾つかの例による、複数のカメラを使用する本発明の実施形態により使用されるアルゴリズムを説明するフローチャートを示す。
【
図68】幾つかの例による、複数のカメラ及び1つの静的シャドウキャスタを使用する本発明の実施形態により使用されるアルゴリズムを説明するフローチャートである。
【
図69】幾つかの例によるカスタムシャドウキャスタを作製する方法を説明するフローチャートを示す。
【
図70】幾つかの例による、スリット付き光源である本発明の装置の斜視図である。
【発明を実施するための形態】
【0025】
好ましい実施形態の詳細な説明
例示のために、本発明は、1つ又は複数の光度エッジを生成して、物体又は環境の三次元モデルを形成する装置、方法、及びシステムの好ましい実施形態において示される。広義の実施形態では、本発明は、モデリング中の物体又はエリアにわたる1つ又は複数の光度エッジを生成する1つ又は複数の光源及び1つ又は複数のシャドウキャスタ、1つ又は複数の光度エッジを検出する1つ又は複数の手段、モデリング中の物体又はエリアに相対する1つ又は複数の光度エッジの移動を検出する手段、及びモデリング中の物体又はエリアの三次元モデルを生成する手段、並びに関連する方法及びシステムを含む。幾つかの実施形態は1つ又は複数のシャドウキャスタを移動させ、幾つかの実施形態は1つ又は複数の光源を移動させ、幾つかの実施形態は、1つ又は複数の光度エッジを通して物体を移動させる。種々の実施形態又は例は、システム、プロセス、方法、装置、ユーザインターフェース、又はコンピュータ可読記憶媒体等のコンピュータ可読媒体若しくはプログラム命令が光学リンク、電子リンク、若しくは無線通信リンクを介して送信されるコンピュータネットワークにおける一連のプログラム命令を含む多くの方法で実施し得る。一般に、開示されるプロセスの動作は、特許請求の範囲において別段のことが提供される場合を除き、任意の順序で実行し得る。これらの実施形態は本発明の範囲の限定を意図しない。
【0026】
1つ又は複数の例の詳細な説明を添付図と共に以下に提供する。詳細な説明は、そのような例と併せて提供されるが、いかなる特定の例にも限定されない。範囲は特許請求の範囲によってのみ限定され、多くの代替、変更、及び均等物。完全な理解を提供するために、多くの具体的な詳細が以下に記載される。これらの詳細は例を目的として提供され、記載される技法は、これらの具体的な詳細の幾つか又は全てなしで特許請求の範囲に従って実施し得る。明確にするために、例に関連する技術分野において既知の技術材料については、説明を不必要に曖昧にすることを避けるために詳述しなかった。
【0027】
これより本発明の好ましい実施形態を参照すると、
図2は、幾つかの実施形態によるシャドウキャスタの一例を示す図である。
図200は、投影面、物体(図示せず)、又は環境(図示せず)において又はその上に(at or upon)光度エッジ250a及び250bを形成して、物体又は環境の形状又は画像の三次元表現を促進するように構成された一例のシャドウキャスタ215を示す。幾つかの例では、シャドウキャスタ215は、シャドウキャスタ215の縁部213aの少なくとも縁部部分211a及び211bに衝突し得る光子放射(例えば、光として)を受けるように構成し得、衝突により、縁部部分211a及び211bからの光の投影204a及び204bに光度エッジ250aを投影面210に形成させ得る。同様に、光はまた、縁部213bの縁部部分211aa及び211bbにも衝突し得、衝突により、縁部部分211aa及び211bbからの光の投影204aa及び204bbに別の光度エッジ250bを形成させ得る。種々の例によれば、光度エッジ250a又は光度エッジ250bのいずれか又は両方を三次元スキャン及びデジタル複製の促進に使用し得る。示される例では、シャドウキャスタ215は不透明であり得、それにより、光度エッジ250a及び250bに基づいて暗影部220を形成し得る。暗影部220には、照明平面部分228を含む平面210の照明部分299に相対して比較的高度の暗度(例えば、低いか又はごく僅かな照明レベル)が関連し得る。
【0028】
上記に鑑みて、シャドウキャスタ215は、本明細書に記載される種々の機能及び/又は構造に従って実施されて、光度エッジを形成し、物体の表面及び環境に関連する空間特徴の三次元スキャン及びデジタル複製を促進し得る。幾つかの例によれば、シャドウキャスタ215は、投影時に平面Y-Zにおいて三角形外形を提供する三角形断面エリアを含み、三角形断面エリアは、各エッジがスキャンを通して線212への平行を維持する鮮鋭な影をキャストし、ここで、その鮮鋭な影は線212に平行する任意の平面に投影される。すなわち、線212への一方又は両方の縁部の平行は、スキャン中(例えば、一方又は両方の光度エッジ250a及び250bが物体、環境、及び/又は投影面210にわたり移動するとき)、平面210に投影される際、維持し得る。シャドウキャスタ215、光源203、及び光度エッジ250a(又は光度エッジ250b)の幾何学的形状及び寸法は、例えば、スキャンプロセス中、光度エッジの1つ又は複数が移動する際、平行の維持を促進する。シャドウキャスタ215の角度は事前に既知であり得るため、スキャンに使用される1つ又は複数の光度エッジとして平行が維持されて、シャドウ面の特定精度を促進し得、それにより、3D物体の座標の精度を改善し得る。少なくとも1つの例では、シャドウキャスタ215は、縁部213a又は213bのいずれか又は両方で、点Lにおける光源203及びシャドウキャスタ215の頂点262を通る線212に平行であるシャドウ面を形成するように実施し得る。シャドウ面の一例は、点L、A、及びBで形成され、第2のシャドウ面の一例は、点L、C、及びDで形成される。すなわち、幾つかの例によれば、点Aと点Bとの間の光度エッジ250aは、点Cと点Dとの間の光度エッジ250bとの平行(又は略平行)を維持し得る。なお、少なくとも1つの例によれば、光源203を通る線212はシャドウ面を通る必要はない。他の例では、線212はシャドウ面に平行し、シャドウ面は線212まで広がることが可能(extendable)である。しかしながら、影はシャドウキャスタにより必ずしもこの線に沿ってキャストされる必要はない。
【0029】
例えば、光度エッジ250aには、距離単位226内で暗影部220(例えば、比較的低レベルの明度又は光度)における反射光又は光子放射の不在(又は比較的低量)から照明平面部分228における比較的高レベルの反射光又は光子放射まで比較的急な変化率が関連し得る。幾つかの例によれば、光度エッジ250aは、単位距離226を示す勾配に関連するものとして説明し得る。ピクセルの特性は、限定ではなく、グレーピクセル強度、明度値、光度値等のピクセル強度を含み得る。一例では、勾配は、関連する暗影部220の1つ又は複数のピクセル特性がピクセル値000(例えば、照明なし又は「黒色」)からピクセル値255(例えば、最高照明又は「白色」)に変化する距離を指定し得る。少なくとも幾つかの場合、少なくとも幾つかの例によれば、シャドウキャスタ215に関連する断面エリアは、例えば、シャドウキャストエッジが全体的に、光源を含む1つの平面にないように配置される円柱ロッド又は鉛筆よりも鮮鋭な光度エッジ及び高いコントラストを生成し得る。換言すれば、全体的に、光源も含む1つの平面にある任意のエッジは鮮鋭で高コントラストの影をキャストし、これは本発明の実施形態の特別な利点である。
【0030】
幾つかの例では、光度エッジは十分に、照明された表面と生成された影とに比較的鮮鋭なコントラストを提供し得る。したがって、光度エッジの例は、3D表面の空間特性の捕捉を促進すると共に、影エッジに最も近い照明された表面から色を取得し得る表面に関連する色の捕捉を促進し得る。したがって、スキャン中、色を正確に表すために、本発明が使用されない場合よりも、スキャン中、光度エッジに比較的近い色の特定を取得し得る。例えば、色の特定は、別個の色情報との3Dデータとのコレジストレーションに頼る必要はなく、これは、別個のカメラを使用して又は3D情報を表すデータがスキャン若しくは他の方法で捕捉されるときとは異なる時間に取得し得る。
【0031】
なお
図2を参照すると、
図200は、投影面210の負X平面(例えば、「-X」)部分に関連する領域に配置された光源203を示し、シャドウキャスタ215(又はその投影)は平面(例えば、Y-Z平面)に配置される。シャドウキャスタ215の部分260は、線212に又は線212に隣接して配置し得る。線212はまた、線上に位置する光源203を含むこともできる。少なくとも1つの例では、部分260は線212と同じ広がりを有し得る。一例では、線212はシャドウキャスタ215の1つ又は複数の部分と一致し得、これ(ら)の部分は、
図200に示される三角形シャドウキャスタ215の頂点262を含み得る。少なくとも幾つかの場合では、線212は、X-Y平面に平行し、Y-Z平面に直交し得る。シャドウキャスタ215の別の部分は、端部部分230等に離れて配置し得る。例えば、端部部分230は投影面210に又は投影面210に隣接して配置し得る。
【0032】
幾つかの例では、シャドウキャスタ215の図は、光度エッジ250a及び250bを形成し得る平面(例えば、Y-Z平面)に関連して断面エリア又はその投影を表し得る。代替的には、シャドウキャスタ215(又はその断面エリア)は、平面に対して傾斜して(例えば、X-Y平面と同じ広がりの平面に対して角度280で)位置決め又は向け得る。したがって、シャドウキャスタ215の構造及び機能は、
図2に関連して示され説明されるものに限定される必要はない。例えば、1つ又は複数の光源203(例えば、光点)等の本明細書に記載される1つ又は複数の特徴、機能、及び/又は構造を有する矩形シャドウキャスタを実施し得、それにより、矩形シャドウキャスタは、縁部上の一点の回り(例えば、線212に平行する回転軸の回り)を回転して、少なくとも1つの比較的鮮鋭な影エッジ(又は光度エッジ)を形成し得る。幾つかの例によれば、シャドウキャスタ215は不透明であり得、不透明度は構成可能又はプログラム可能である。なお、幾つかの例では、半影部は暗影部220として実施し得、それにより、光源203(又は任意の他の光源)からの部分量の照明は、最大暗度(例えば、照明の部分量は、完全な暗さを表し得る000を超えてピクセル強度値を増大させ得る)を変更又は制限し得る。それにも関わらず、光度エッジ250a及び250bは、幾つかの例によれば、半影部220に関連する1つ又は複数のピクセル値の第1の範囲から投影平面210の照明部分228に関連する1つ又は複数のピクセル値の第2の範囲への遷移として検出し得る。幾つかの例によれば、遷移は、隣接ピクセルを比較し得る1つのフレームにおいて検出又は特定し得る。又は、遷移は、時間の経過に伴う(例えば、複数のフレームにわたる)ピクセル明度の変化として特定し得る。少なくとも1つの場合、光度(又は影)エッジは、ピクセルよりも細かい大きさに分解し得る(例えば、スキャン中、影エッジがピクセルにわたり移動する際、ピクセル値が比較的ゆっくりと変化し得る1つ又は複数のフレーム中)。したがって、光度エッジはサブピクセル精度で特定し得る。
【0033】
図3は、幾つかの例によるスキャンシステムを示す図である。
図300は、画像捕捉デバイス301及び1つの光源303又は線312に配置された複数の光源303(図示せず)も含むスキャンシステムの構成要素としてのシャドウキャスタ315の別の例を示す。線312は、シャドウキャスタ315の頂点362及び1つ又は複数の光源303を通って延び得る。幾つかの例では、シャドウキャスタ315は、シャドウキャスタ315の縁部313aの少なくとも縁部部分311a及び311bに衝突し得る光子放射(例えば、光として)を受けるように構成し得、衝突により、縁部部分311a及び311bからの光の投影304a及び304bにそれぞれ、光度エッジ350aを投影面310に形成させ得る。同様に、光はまた、縁部313bの縁部部分311aa及び311bbにも衝突し得、衝突により、縁部部分311aa及び311bbからの光の投影304aa及び304bbに別の光度エッジ350bを形成させ得る。1つ又は複数の光度エッジ350a及び350bを投影面310に又はその上に(at or upon)形成して、物体370の形状の三次元表現の生成を促進し得る。
【0034】
種々の機能及び構造によれば、光度エッジ350a及び350bは、物体370の表面にわたり遷移又は移動して、表面の三次元空間特徴を特定し得る。電気機械モータ等のデバイス(図示せず)により又は重力により任意の数又はタイプの原動力(図示せず)を生成して、シャドウキャスタ315及び物体370の一方を他方に対して移動させ、物体370に対する光度エッジ350の移動を行わせ得る。例えば、原動力は、平面(例えば、Y-Z平面)におけるシャドウキャスタ315の角変位を生じさせ得る(例えば、線312に平行する軸の回りの少なくとも幾つかの回転成分を有する回転384)。幾つかの例では、上述した平行を維持し、
図3の頂点362の回りでシャドウキャスタ315を回転させることによりスキャン全体を通して移動する(例えば、同期して)平行光度エッジを提供し得る。同様に、
図2のシャドウキャスタ215は、頂点262の回りを回転して、平行を維持し得る。なお、下部分331の幅(例えば、Y軸方向における)は、
図300に示される碁盤の目パターンの1つ又は複数の正方形の幅に等しいものとして示し得る。しかしここでは又は本明細書に記載の任意の他の例では、下部分331の幅は、任意の数の碁盤の目の幅よりも小さくてもよく、又は大きくてもよい。したがって、
図300に示されるシャドウキャスタ315の寸法は例示である。種々の例の中でも特に、平行光度エッジ350aと350bとの間に任意の距離333を形成するために、任意の数の構成及び幅を使用し得る。
【0035】
スキャンを実施するために、Y-Z平面におけるシャドウキャスタ315の角変位は、例えば、Y軸に平行する方向380において投影面310にわたり光度エッジ350及び暗影部320を移動させ得る。別の例として、原動力は、シャドウキャスタ315をY軸に沿って示される向きに並進(例えば、非回転)させて、光度エッジ350a及び350b並びに暗影部320を方向380に移動させ得る。更に別の例では、原動力は物体370をシャドウキャスタ315に相対して回転382又は並進383(例えば、Y軸に平行する線形変位)させて、光度エッジ350a及び350bに異なる時点で物体370の異なる部分に接触させ得る。別の例では、原動力は、物体370をシャドウキャスタ315に相対して移動させて、光度エッジを移動させ得る。
【0036】
幾つかの例では、原動力は、光源303、シャドウキャスタ315、及び物体370の1つを他の2つに相対して移動させて、光度エッジ350a及び350bの移動を行わせ得る。なお、光源303又はシャドウキャスタ315への原動力は任意のタイプの原動力であり得、その例には、限定ではなく、機械的、電子機械的、電気的、磁気的、電子磁気的、電子的(例えば、LCDの素子を活性化させて、シミュレートされたシャドウキャスタ315の移動を行わせる電流又は電圧)、又は任意の他の原動力がある。さらに、原動力を生成するデバイスは、電子機械モータに限定される必要はなく、重力又は物体370の表面に相対して光度エッジ350を移動させる任意の既知のデバイスであり得る。
【0037】
画像捕捉デバイス301は、光度エッジ350a及び350bが投影面310上を進む又は移動する際、物体370を含むシーン又は環境の画像を捕捉するように構成し得る。画像捕捉デバイス301の例には、デジタルビデオカメラ、電荷結合素子(「CCD」)ベースの画像センサ等、及びアナログカメラ等の任意のタイプのカメラがあり得る。示される例では、画像捕捉デバイス301は、影320(例えば、暗影部)が物体370を通過する際、1つ又は複数のピクセル373を光度エッジ350a及び350b関連付け得る1つ又は複数の画像フレーム(例えば、特定のフレームレートのビデオ)を捕捉し得る。1つ又は複数のピクセル373は、1つ又は複数のピクセル373として示される物体370上の点に対応するカメラ上のピクセルであり得る。この例では、画像捕捉デバイス301は、所与の光度エッジについて、暗から明又は明から暗のいずれかの反射光度の変化を捕捉することができる。物体370の表面は、光度エッジ350a及び350bの一部分(例えば、物体370にキャストされた部分)をカメラ301の視点から検出された光度エッジ350a及び350b他の直線部分(例えば、X-Y平面上)から逸脱させ得る。光度エッジ350a及び350bの逸脱又は変形は、Z軸の正の値に延びる表面寸法(物体370の)に起因し得る。少なくとも1つの実施態様では、1つの画像捕捉デバイス301(例えば、1つのレンズを有する)が、本明細書に記載されるスキャン機能の少なくとも幾つかの実施に十分であり得る。
【0038】
図4は、幾つかの実施形態によるシャドウキャスタの別の例を示す図である。
図400は、投影面410において又はその上に(at or upon)1つ又は複数の光度エッジ450を形成して、三次元物体スキャンを促進するように構成されたシャドウキャスタ415a及び415bのシステムを示す。
図400はまた、互いに一致するように光度エッジ451及び453をキャストして、共通のエッジ450を形成するようシャドウキャスタ415a及び415bを構成し得る構成も示す。
図400はまた、画像捕捉デバイス401、1つ又は複数の光源のサブセット403a、及び1つ又は複数の光源のサブセット403bも示す。1つ又は複数の光源のサブセット403aは領域430(例えば、シャドウキャスタ415aの片側)に配置されて示され、1つ又は複数の光源のサブセット403bは領域434に配置し得る。領域430、432、及び434は、二次元空間又は三次元空間を画定し得る。サブセット403a及び403bの光源は、線412上に軸方向に配置し得、任意の量のルーメン(例えば、200ルーメン以下から1300ルーメン以上)放射し得る任意のタイプの光生成源であり得る。光生成源の例には、限定ではなく、LED、白熱灯、ハロゲン、レーザ等及び任意のタイプのライトパイプ、レンズ(例えば、フレネルレンズ)又は照明光ファイバ(例えば、光ファイバケーブル等の光ファイバ)等の光導体があり得る。サブセット403a及び403bの各光源は、同じ又は異なる波長の光子放射(例えば、光)を放射し得る。例えば、サブセット403a及び403bのそれぞれの1つ又は複数の光源は、可視光スペクトルの光及び他の任意の範囲のスペクトルの光(例えば、紫外線スペクトル、赤外線スペクトル等)を生成し得、比較的狭いスペクトル範囲を放射し得る。1つ又は複数の波長範囲は、シャドウキャスタ415a及び415bの用途に応じて選択可能に実施し得る。幾つかの場合、サブセット403a及び403bの光源は、シャドウキャスタの縁部における回折の影響を低減又はなくし得る「白色光」又は「広帯域光」を構成する波長の光を放射するように実施することができる(例えば、1つ又は複数の波長範囲は、組み合わせて、縁部に起因する光回折に関連するアーチファクトを低減又はなくし得る)。また、サブセット403a及び403bの光源は、それらの範囲が可視スペクトル内にあるか否かに関係なく、任意の数の範囲の波長を実施することができる。サブセット403a及び403bの光源は、光を全方向、単方向、又は任意の他の光パターンで放射するように構成し得る。
【0039】
幾つかの場合、サブセット403a及び403bの光源は、比較的狭く、又は光点を近似し、及び/又は線412の回りで低減された(又は比較的短い)半径寸法(「r」)499を有して、例えば、エッジ450に沿った「明」から「暗」への比較的鮮鋭な遷移を行い得る。線412の一部分の長さ(「L」)407に沿って光源(例えば、比較的狭い光源)の数が増えるにつれて、シャドウキャスタ415bにより生成される光度エッジ453は鮮鋭になり得る(例えば、領域432における暗影部又は影エリア420から投影面410の照明部分への遷移率を増大させ得る)。幾つかの例では、サブセット403b等の光源は、シャドウキャスタ415bからより離れた距離490に配置されて、光度エッジ453を鮮鋭にし得る。同様に、任意の数の光源を線412の対応する部分に沿ってサブセット403a内に配置して、シャドウキャスタ415aに関連して強化された光度エッジ451を生成し得る。少なくとも1つの例では、フィラメント(例えば、ハロゲン電球内)は、連続した集合を形成するようにサブセット403aに配置される数光点群として機能するために使用し得る。ハロゲン電球若しくはフィラメント又は本明細書に記載される任意の他の光源の半径は、少なくとも幾つかの実施形態において、半径「r」の「狭い光源」499を記述する光源のサブセットを指し得る。
【0040】
幾つかの例によれば、シャドウキャスタ415aは、縁部部分において光子放射を受けて(例えば、1つ又は複数の光源のサブセット403aから)、光度エッジ451の少なくとも2つの部分を形成するように構成し得る。光度エッジ451の少なくとも2つの部分は、投影面410に投影された場合、互いに平行又は略平行(例えば、投影面410において交わらない)であり得る。シャドウキャスタ415bは、縁部部分において光子放射を受けて(例えば、1つ又は複数の光源のサブセット403bから)、光度エッジ453の少なくとも2つの部分を形成するように構成し得る。光度エッジ453の少なくとも2つの部分は、投影面410に投影された場合、互いに平行又は略平行であり得る。
【0041】
光度エッジ453は、光度エッジ451と同じ広がり(又は略同じ広がり)で一致して、シャドウキャスタ415a及び415bに基づいて光度エッジ450を形成し得る。したがって、シャドウキャスタ415bは光度エッジ453を形成して光度エッジ451(例えば、隣接するシャドウキャスタ415b)を強化し得、同様に、シャドウキャスタ415aは光度エッジ451を形成して、光度エッジ453(例えば、隣接するシャドウキャスタ415a)を強化し得る。強化された光度エッジ453は、少なくとも1つの例によれば、平行する影に比較的鮮鋭な影を提供し得る。
【0042】
光度エッジ450は、シャドウキャスタ415a及び415bが軸として線412の回りの共通回転成分を有するため、投影面410上を同期して並進し得、ここで、線412は、光源のサブセット403a及び403bに沿ってシャドウキャスタ415a及び415bの頂点462a及び462bにそれぞれ延びるように維持し得る。他の例では、シャドウキャスタ415a及び415b並びに光源のサブセット403a及び403bは、Y軸に沿って、例えば線431及び433に沿ってそれぞれ幾つかの構成要素と一緒に並進し得る。他の例では、シャドウキャスタ415a及び415b並びに光源のサブセット403a及び403bは、共通の線412を維持しながら一緒に回転し得る。そのような場合、照明エッジ450は1つの軸(例えば、
図4に示されるX軸)に沿う必要はない。他の例では、シャドウキャスタ415a及び415b並びに403a及び403bは両方とも、共通の線412を維持しながら、一致して並進及び/又は回転し得る。
【0043】
図5は、幾つかの実施形態によるシャドウキャスタの別の例を示す図である。
図500は、投影面510において又はその上に(at or upon)1つ又は複数の光度エッジ550を形成して、三次元物体スキャンを促進するように構成されたシャドウキャスタ515a及び515bのシステムを示す。示されるように、シャドウキャスタ515a及び515bは、シャドウキャスタ515a及び515bが軸512の回りを回転する際の異なる時点で異なる位置及び/又は向きで示されている(例えば、破線は前の位置又は向きを表す)。それに対応して、シャドウキャスタ515a及び515bは、暗影部が第1の時点において位置520aに移動し、第2の時点において位置520aから520に移動し、第3の時点において位置520から位置520bに移動し、他の時点で他の位置に移動するにつれて移動する光度エッジ550を形成し得る。
【0044】
幾つかの例では、光源503は、軸512に沿って拡張された光源(例えば、細長い光源)として実施し得る。幾つかの実施形態では、軸512に沿って長手方向に延びるフィラメントを有するハロゲン灯を使用し得る。ハロゲン灯として、光源503は、端面
図556に示されるように、直径(「d」)566を有し得、
図4の「r」499の2倍(例えば、2
*半径「r」)として実施し得る。特定の実施態様によれば、光源503の直径566は2mm以下であり得る。幾つかの場合、直径566は、実施される光源のタイプに従ってより大きくてもよく、又は他の寸法であってもよい。さらに、光源503は、反射されることに加えて、光源の拡大画像又は縮小画像である光源の画像を含めて、正又は負のレンズ又はレンズ系(図示せず)により影響される光源の実像又は虚像であり得る。そのような画像は、拡大解釈して光源503と見なすことができる。
【0045】
少なくとも1つの実施形態では、シャドウキャスタ515a及び515bは、液晶ディスプレイ(「LCD」)570a及び570b又は他の切り替え可能な不透明ガラス、膜、若しくは材料を使用して実施し得る。例えば、LCD570a及び570bは、透明(例えば、通常透明)であり得、活性化されて不透明断面形状を形成して、シャドウキャスタ515a及び515b及び/又はそれらの移動をシミュレートし得る。LCD570a及び570bは、異なる時間に選択的に活性化されて、光源503から放射される光に、投影面510の表面上を移動する光度エッジ550を生成させる部分を有し得る。
【0046】
種々の例では、シャドウキャスタ515a又は515bの一方又は両方を複数のシャドウキャスタで置換し得る。例えば、
図500における各三角形は、同期して移動(例えば、軸512に関連して同期回転)し得る異なる物理的なシャドウキャスタを表し得る。したがって、シャドウキャスタ515a(例えば、位置の平面における)及び515b(例えば、第2の平面における)の各サブセットは、各シャドウキャスタが2つの光度エッジを生成して、6つの光度エッジを生成し得る。種々の他の例によれば、任意の数のシャドウキャスタを使用し得る。
【0047】
図6は、幾つかの例による、光度エッジを生成して、複数の物体をスキャンするシャドウキャスタの一例を示す図である。
図600は、
図4に示される照明配置のシャドウキャスタ615a及び615bによりキャストされて、光度エッジ650a及び650bを生成する影を示す。示されるように、光度エッジ650a及び650bは、円錐体630、半球体634、及び矩形ブロック634等の三次元物体にわたり共通のエッジ及び明(例えば、照明領域)から暗(例えば、低照明又は照明のない領域)への比較的急な遷移を維持する。さらに、物体の照明領域は、3Dスキャン中、複数の方向から照明されて、増強された情報(例えば、複数の方向に基づいて)を提供し得るように、615a及び615bの両方からキャストされた影に対応する光から照明される。シャドウキャスタ615a及び615bは、
図4のシャドウキャスタ415a及び415bに関して説明したように、回転又は移動して、円錐体630、半球体632、及び矩形ブロック634にわたり影を並進又は回転させ、それぞれの三次元データ表現又はモデルを形成し得る。カメラ(図示せず)等の画像捕捉デバイスは、光度エッジ650aが点664に一致する時点において、半球体632上の点(「P1」)664に関連するピクセル化された像を捕捉し得る。同様に、画像捕捉デバイスは、光度エッジ650bが点665に一致する時点において、ブロック634の表面上の点(「P2」)665の画像を捕捉し得る。
【0048】
図7Aは、幾つかの例によるスキャン中の物体の側面図を示す図である。
図700は、光度エッジが物体770の表面を移動する際、光度エッジの画像を捕捉するように構成された画像捕捉デバイス701及び光源703を示す。画像捕捉デバイス701は、カメラ、光、及び平面光度エッジに共通する座標系に対する光線の角座標を相関付けるように較正することができる。画像捕捉デバイス701はまた、カメラ、光、及びペイン光度エッジに共通する座標系に対して既知の位置を有することもできる。例えば、物体770にはない投影面710の表面上の点(「P1」)766は、照明光線751aを含む光度エッジが点766上を移動する際、捕捉し得る。画像捕捉デバイス701の1つ又は複数のピクセル(及び対応するピクセルデータ)は、例えば、光線711に沿って検出し得、点766の画像データを表すことができる。点766の角座標は、画像捕捉デバイス701により特定することができ、画像捕捉デバイス701の位置と共に、示される例では光線711として示されるカメラから点766までの線を画定し得る。照明光線751aを含む平面光度エッジを識別し得るため、点(「P1」)766の位置の空間座標は、光線711と、照明光線751aを含む光度エッジとの交点として特定することができる。
図700は3Dスキャンプロセスの例における投影面710を含むが、投影面710は任意選択的であり、3Dスキャン用に実施する必要はない。
【0049】
投影面710に配置された物体770のスキャン中、点(「P1x」)764は、照明光線751bを含む光度エッジが第1の時点において物体770上を通過する際、識別し得る。続く時点において、画像捕捉デバイス701は、照明光線751cを含む光度エッジが物体770上を通過する際、別の点(「P1y」)765を捕捉し得る。他の光線(図示せず)は物体770の表面上の異なる点をインターセプトするため、物体770の表面部分に適用される光度エッジの部分は、投影面710における形状(物体770が存在しない場合)から歪み得る。三次元表面計算機702は、ハードウェアであれソフトウェアであれそれの組合せであれ関係なく、点764及び765のそれぞれのX及びY位置(図示せず)並びにZ深度777及び778を計算する論理を含む。
【0050】
図7Bは、幾つかの例によるスキャン中の物体の斜視図を示す図である。
図752は、光度エッジが物体770の表面上を方向709に移動する際、光度エッジの画像を捕捉するように構成された画像捕捉デバイス701及び光源703を示す。影720及び
図7Bの750と記された照明光線751cを含む、対応する光度エッジ750は、投影面710の部分及び物体770の表面に投影されて示されている。光度エッジ750の部分773及び775は、平面710の表面に投影されて示されている。光度エッジ750の部分773は基準点(「基準点A」)772を含み、光度エッジ750の部分775は基準点(「基準点B」)774を含む。部分773及び775は直線と同じ広がりで示されるが、少なくともこの例では、照明光線751cを含む光度エッジのエッジ歪み部分776は、点「m」と点「n」との間のエッジ歪み部分776として示され、それにより、エッジは、点766において投影面710をインターセプトするのではなく、物体770の表面を点764においてインターセプトする。基準点772及び774並びに
図5の線512又は光源703の場所と均等であり得る線(図示せず)の場所のいずれかに基づいて、シャドウ面755を導出し得る。幾つかの例によれば、基準点772及び774の代わりに1つ又は複数のシャドウキャスタの位置を特定し得る。例えば、シャドウキャスタの位置及び角度は、線形若しくは角度エンコーダ又は任意の他の検出若しくは監視デバイスを使用して監視し得る。複数の光線(図示せず)とシャドウ面775との交点を使用して、三次元表面の空間特徴を特定し得る。
【0051】
物体770を投影面710に導入した状態で、光線711は、投影面710上の点766ではなく物体770上の点764をインターセプトし得る。点764は、光度エッジ750のエッジ歪み部分776に示されている。さらに、影エッジ750は、特定されたZ深度777まで歪んで示されており、光度エッジ750が投影面710において点766とインターセプトする(物体770が存在しない場合)線から測定された点764の対応するZ座標を示す。同様に、点764X及びYの位置(図示せず)もまた、光度エッジ750との光線711のインターセプトから特定することができる。複数の画像を使用して測定される光度エッジ750の複数の位置から取得される種々の線、線分、三角形、平面及び他の幾何学的関係、並びにそれらの寸法を使用して、物体770の表面上の点のサブセットの推定を計算して、物体表面の三次元モデル又は表現を形成し得る。
【0052】
図7Cは、幾つかの例による物体表面上の点の空間場所を特定するフロー例である。フロー790は、X、Y、及びZ座標を有する点の三次元での空間場所を計算し得、点は物体の表面と同じ広がりを有する。792において、1つ又は複数のシャドウキャスタを使用して、シーンにわたり移動する光度エッジを投影し得る。794において、光度エッジは、各画像でサンプリングされる物体上の点について検出し得る。例えば、画像捕捉デバイスは、各画像で投影面に配置された物体に対する1組の光度エッジを捕捉し、複数の画像を使用して、物体の複数の部分をサンプリングし得る。各画像の各光度エッジは、データ表現として記憶され、又はリアルタイム(略リアルタイム)で処理されて、エッジに沿った3D点を表すデータを特定し、これを他の3D点と集計して表面の三次元部分を記述し得る。796において、各画像で各シャドウキャスタの位置に関連する平面を特定し得る。表面上の光度エッジにおける各点では、シャドウ面は、例えば、所定であり得る光源の場所と共にシャドウキャスタの位置の機械的又は光学的測定値から測定し得る。さらに、シャドウ面は、基準点及びライトの場所又は
図5の線512の均等物に相対して計算し得る。798において、特定の光度エッジに沿った点は、各画像で、他の光度エッジに対応する全ての点から区別されるものとして特定し得る。幾つかの例では、各点には、画像フレーム内の1つ又は複数のピクセルが関連し得る。さらに、特定の点に関連するシャドウ面を識別することができる。スキャンプロセス中、特定の画像の特定の光度エッジ及び対応するシャドウ面を捕捉することができる。特定の点の「特定のフレーム」は、フレームのシーケンス番号に基づいて導出し得る。799において、任意の特定の点への光線を識別し得、光線とその点の特定の光度エッジのシャドウ面との光点に基づいてその点の推定座標X、Y、及びZを計算することができる。光線は、1つ又は複数の座標及び較正されたカメラの角度に基づいて特定し得る。さらに、表面と同じ広がりの点の推定座標に基づいて、表面の三次元モデルを形成し得る。なお、幾つかの例では、「各画像」という言及は、画像のサブセット内の各画像を記述し得る。また、表面の三次元モデル上の点の色が、幾つかの例によれば、その三次元座標の導出に使用される画像から導出し得ることにも留意する。幾つかの例では、三次元座標の導出に使用されるフレームのシーケンス番号近くで取得された画像。
【0053】
図8、
図9、
図10、及び
図10Aは、種々の実施形態によるシャドウキャスタの種々の例を示す図である。
図8の
図800は、投影面810に影820並びに光度エッジ850a及び850bを形成するように構成されたシャドウキャスタ815及び光源803(例えば、1つ又は複数の点又は相対的に狭い光源)を含む。
図800はまた、シャドウキャスタ815の投影された断面エリア895も示し、それにより、シャドウキャスタ815の寸法及び/又は境界を方向804に沿って投影して、投影された断面エリア895を形成し得る。例えば、シャドウキャスタ815のエッジは、Y-Z平面に平行する平面811に投影されて(804)、投影エッジ893a及び893bを形成し得る。
【0054】
図9の
図900は、投影面910に影920並びに光度エッジ950a及び950bを形成するように構成されたシャドウキャスタ915及び光源903(例えば、1つ又は複数の点光源)を含む。示されるように、シャドウキャスタ915は、例えば、平面911に平行し得る断面エリア996(例えば、
図8のシャドウキャスタ815の)に相対して角度920に向けられ得る。この例によれば、シャドウキャスタ915の物理形態の断面エリアは、寸法の低減に関連して低減し得る(例えば、シャドウキャスタ915の頂点部分と先端部分との間の距離低減)。
図9は、投影エッジ993a及び993bを有する投影された断面エリア995として、平面911に投影された断面エリア996を示す。平面911はY-Z平面に平行し得る。示されるように、シャドウキャスタ915のサイズが小さいほど、3Dスキャナのフォームファクタを低減し得、断面エリア996の実施をシミュレートして、光度エッジ950a及び950bを形成し得、平面911に投影されて示されるその外形境界は、外形995の十分な領域にわたり重複する。この構成でのスキャンは、頂点(図示せず)をこの線上に維持しながら、光903を含む線の回りを回転する構成要素を用いてシャドウキャスタ915を回転させることにより達成し得る。
【0055】
図10及び
図10Aの
図1000は、影1020並びに光度エッジ1050a及び1050bを投影面1010に形成するように構成されたシャドウキャスタ1015及び光源1003(例えば、1つ又は複数の点光源)を含む。なお、シャドウキャスタ1015の物理的形態の断面エリアは平面1011に投影されて、投影断面エリア1095を形成し得る。例えば、シャドウキャスタ1015の縁部は、Y-Z平面に平行する平面1011に投影1004されて、投影エッジ1093a及び1093bを形成し得る。一例では、投影断面1095は、
図8におけるシャドウキャスタ815の投影断面エリア895と同等であり得る。示されるように、シャドウキャスタ1015は、例えば、平面からの変形が、光に沿った線に平行する方向1004に沿う場合場合、非平坦であり得る。したがって、シャドウキャスタ815(
図8)及び1015(
図10及び
図10A)は、種々の例によれば、同様又は同等の光度エッジを形成し得る。
【0056】
シャドウキャスタ1015は、柔軟に変形可能であってもよく、又は剛性に形成されてもよい。シャドウキャスタ1015は、プラスチック、金属、木等の任意の材料(例えば、不透明材料)で形成し得る。シャドウキャスタ1015は、影が特に、1つ又は複数の波長h安易の1つ又は複数の波長のものであるように有色透明材料で形成し得る。シャドウキャスタに使用される有色透明材料の場合、光度エッジは、幾つかの例によれば、1つ又は複数の特定の色の光の遷移を検出可能にする、利用されるカラーフィルタを有する画像検出デバイス(図示せず)を使用して特定し得る。シャドウキャスタ1015の反復を改善するために、粗いシャドウキャスタ(rough shadow caster)を使用して、粗い三次元スキャンを行うことができ、次に、粗い三次元スキャンを使用して、他の近いシャドウキャスタを作成し得る。
【0057】
一例では、シャドウキャスタ1015は、三次元(「3D」)プリント技法で使用される材料から形成し得る。したがって、シャドウキャスタ1015は、一連の写真(又はデジタル画像)又は例えば前の3Dスキャンを使用した初期外形測定を受けた物体の表面の寸法及び輪郭に合致、模倣、又は複製するように形成し得る。示される例では、シャドウキャスタ1015は、表面輪郭1082を含め、花瓶1080(
図10)の表面特徴及び比較のために、異なる形状の花瓶1080b(
図10A)の表面特徴を複製するように形成された。シャドウキャスタ1015は、シャドウキャスタ1015の表面と花瓶1080の表面又は別形状の花瓶1080bとの間の距離を相対的に低減した(又は一定若しくは略一定の距離の)ギャップを確立するように形成し得る。ギャップ距離はX-Y平面に相対して表現し得る。
【0058】
また、相対的に小さな距離を有するギャップの実施は、
図11A~
図11Cにより説明したように、物体1080又は1080aの3Dスキャンの精度及び解像度の改善を提供し得る。幾つかの例によれば、シャドウキャスタ1015は、物体の表面上の光度エッジ及び点(例えば、ピクセルを含む)を特定する際にミリメートル範囲及びサブミリメートル(例えば、解像度はμm以下の単位で表現し得る)範囲を提供し得る。幾つかの実施形態によれば、花瓶1080又は別形状の花瓶1080bの表面は、原動力(図示せず)を適用してZ方向に(且つX-Y平面に直交して)線の回りで花瓶1080又は別形状の花瓶1080bを回転させた状態(1092)でスキャンし得る。
【0059】
図11A~
図11Cは、幾つかの例による三次元物体をスキャンするシャドウキャスタの適応可能な構造特性の例を示す図である。
図11Aは、光源1103、シャドウキャスタ1115、及び三次元物体1170を示す
図1100である。示される例では、シャドウキャスタ1115は平面(例えば、Y-Z平面)に配置されて示されている。光源1103は、直径又はY軸に平行する距離等の幅W1を有して示されている。また、光源1103は、シャドウキャスタ1115のエッジにおける点1111aから距離D1aのところ且つシャドウキャスタ1115のエッジにおける点1111bから距離D1bのところに配置し得る。物体1170は、それぞれ点1111a及び1111bによるシャドウキャストの領域である表面部分1172及び表面部分1174を有するピラミッドである。表面部分1172及び1174は、点1111a及び1111b並びにシャドウキャスタ1115に相対してそれぞれ距離(例えば、平均距離)D2a及びD2bに配置される。ピラミッド表面部分1172及び1174はそれぞれ幅W2a及びW2bを有する。なお、
図11Aは、ピラミッド1170により部分的に隠され得るため、1172及び1174の全体領域を示していないが、Y軸に沿ったそれらの幅はそれぞれW2a及びW2bとして示されている。例えば、W2aは、幾つかの実施形態によれば、半影部のY軸方向に沿って測定される幅又はシャドウキャスタ1115の影に形成される光度エッジ及び光源1103の幅を表し得る。ピラミッド1170の高さが投影面1110(例えば、X-Y平面と同じ広がり)から頂点1171までZ方向に拡張するにつれて、表面部分はシャドウキャスタ1115から離れた距離に配置される。したがって、距離D2aは距離D2bよりも大きい値であり得る。
【0060】
種々の例では、本明細書に記載される構造には、例えば、その1つ又は複数の機能を強化するように構成し得る特性が関連し得る。シャドウキャスタ1115及び/又は光源1103の1つ又は複数の構造的特性は、例えば、光度エッジを強化する(例えば、鮮鋭度)を強化するように変更し得る。構造的特性は、幅W2aと距離D1aとの積が幅W1と距離D2aとの積に比例し得る関係に基づいて構成し得る。また、幅W2bと距離D1bとの積も、幅W1とD2bとの積に比例し得る。一例として、関係はW2a・D1a=W1・D2aとして表現し得る。幾つかの例では、三次元スキャンの精度は、例えば、シャドウキャスタ1115と物体1170の表面との間の距離を低減する(例えば、D1a及びD1bを一定のままにした状態でD2a及びD2bの一方又は両方を低減する)ことにより影響を受け得るW2a及びW2bの値を低減することにより、光度エッジの解像度を増大させて強化し得る。幾つかの実施形態によれば、幅W2は、半影部の幅又は例えば、光度エッジの幅を表し得、又は他の方法で影響し得る。
【0061】
種々の例では、例えば、以下の関係:W2a=(D2a/D1a)・W1(W2aの場合)に従って、光源1103の幅W1を低減して、W2a及びW2bを低減し得る。一つの場合では、例えば、幅W2aは、例えば、2mm以下の直径(すなわち、幅W1)を有する光源を実施し、D2/D1の比率を1/4以下として実施することにより、250μm以下等の1mm未満に低減し得る。光源1103は、一例によれば、ハロゲン電球等であり得、その場合、光源1103の線形の広がり(図示せず)は、光源1103をシャドウキャスタ1115の頂点に結ぶ線1199に沿う。
【0062】
図11B及び
図11Cは、表面部分1172等の表面部分の場所(例えば、表面部分1174に相対する)の関数として距離D1及びD2の少なくともサブセットを調整する例を示す。幾つかの例によれば、シャドウキャスタ1115は、
図11Aの距離D1aを含む距離D1のサブセットを増大させながら、距離D2aを含む距離D2のサブセットを低減して、
図11Aに関連して上述した式に記述されるように解像度がより高いスキャンを行うように構成、適合、又は形成し得る。
図11Bの
図1130は、線1179(例えば、X-Y平面に直交する)から角度1131に向けられた頂点1171aを有するシャドウキャスタ1135を示す。角度1131において、距離D2a及びD2bは、
図11Aのシャドウキャスタ1135の表面と物体1170の1つ又は複数の表面部分との間に略一定のギャップを提供するように概ね等しい値であり得る。
図11Cの
図1160は、シャドウキャスタ1165が、部分1165bに相対して角度1181だけ軸1167の回りに向けられる部分1165aを有するように、光源(図示せず)と頂点1171bとの間の距離であるX方向において変更されるように構成された部分1165aを含むシャドウキャスタ1165を示す。この変更は、
図11Aの光1103とシャドウキャスタ1165の頂点1171bとの間の線の方向に沿って、例えば、Y-Z平面(図示せず)に平行する投影面に投影される際、シャドウキャスタの外形を維持する。この変更は、
図11Aの光1103並びに両部分1165a及び1165bを含む1つの平面があることを維持する一例である。角度1181において、距離D2aは、距離D2bに近づくか、又は距離D2bを近似するように低減し得る。幾つかの場合によれば、複数の部分1165a(図示せず)は、スキャンする物体の曲率を近似するように実施し得、又はシャドウキャスタは、Y方向に沿って連続して同様に歪み、平滑な外形を生じさせることができる。
【0063】
図12は、幾つかの例による構成可能なシャドウキャスタの一例を示す図である。
図1200は、物体表面の形状をそれぞれ近似して、シャドウキャスタ1215a及び1215bと一例のスキャンされる物体1270との間のギャップ変動の大きさを低減又は等化するように適合可能な部分1265a及び1265bを有するシャドウキャスタ1215a及び1215bを含む。物体1270は、投影面1210に配置される半球体である。適応可能な部分1265a及び1265bは、この例では、軸1267a及び1267bの回りでそれぞれ傾斜する部分として示されている。幾つかの例では、シャドウキャスタ1215a及び1215bは、任意選択的に、シャドウキャスタ1215aと1215bとの間に結合されて、影1220(又は暗影部)及び1つ又は複数の光度エッジ1250の生成に寄与する適合可能な不透明上部分1211を含み得るシャドウキャスタのシステムを構成するように実施し得る。
図3、
図4、又は
図5の線312、412、又は512によりそれぞれ画定される線と共線上の光源(図示せず)は、少なくとも幾つかの場合、シャドウキャスタ1215a及び1215bの上及び上部分1211(又は部分1265a及び1265b)の実施を用いてそれらの間にあり得る。なお、適応可能な部分1211、1265a、及び1265bは、任意の数の平坦部分に細分して、曲率を近似し得る。代替的には、適応可能な部分1265a及び1265bは、1つ又は複数の湾曲部分として形成し得、又は1つ又は複数の湾曲部分を含むように構成し得る。
【0064】
幾つかの実施形態によれば、シャドウキャスタ部分1215a及び1215bは、画像捕捉デバイス(図示せず)により検出されて、例えば、照明エッジの平面の幾何学的形状を特定し得る。次に、この特定された照明エッジの平面を照明エッジの特定と組み合わせて使用して、物体1270の形状を特定し得る。シャドウキャスタ部分1215a及び1215bは、各エッジにおいて照明の1つの平面エッジを画定するために、三角形外形を有することにおいて815、915、及び1015と同様であり得る。代替的には、シャドウキャスタ部分1215a及び1215bは、部分1211、1265a、及び1265bの構造的及び支持的部分であり得、それ自体は影エッジを物体1270にキャストしない。なお、物体1270は平滑表面の半球体として示されているが、任意の形状の物体が使用可能である。幾つかの場合、物体1270は、限定ではなく、突起又はリッジ様特徴及び窪み、裂溝、又は溝等を含む凸面部分及び凹面部分を含む表面トポロジ及びテクスチャを有し得る。幾つかの例では、物体1270は、脳の表面又は任意の他の有機構造体を表し得る。
【0065】
少なくとも1つの例では、シャドウキャスタは、光源(図示せず)を含む線に平行する1つ又は複数の直線縁部を有し得るセクション1211と、長手方向(例えば、周縁1299を有する)に延びて、影を物体1210の各寸法にキャストし得るセクション1211とを含み得る。したがって、部分1265a及び1265bは省略し得る。そのような場合、互いに及び1211に対して平行する複数の光源(図示せず)が存在してもよい。複数の平行光源を順次(及び/又は空間的に)照明して、一連の直線影を生成し得る。平行光源、シャドウキャスタ、又は両方を移動させて、物体1210の表面にわたるスキャンを行い得、回転軸上に配置される必要がない複数行のライトを有し得る。そのような構成は、光度エッジの変形と併せて使用され得る幾何学形状を有する1つ又は複数のシャドウ面を生成し、物体1270の三次元形状を画定し得る。平行光源は、セクション1211の上の領域まで延びて、物体1270の照明エッジを生成し得る。少なくとも1つの例によれば、1つ又は複数の光源は、コントラストを強化した光度エッジを生成しながら、物体1270を十分に照明(例えば、物体1270を均等に照明)し得る、照明部分においてX方向に沿った両側への長手方向拡張なしで(又は最小若しくは無視できる程度の長手方向拡張で)セクション1211の上に延びるような程度に制限し得る。
【0066】
種々の例によれば、選択的不透明シャドウキャスタは、シャドウキャスタが白色光に対して不透明である1つ又は複数の部分を実施し得、又は特定の波長の光の透過を選択的に低減若しくはなくす(例えば、カラーフィルタを実施する)ように構成し得る有色部分を含み得るように形成し得る。次に、光度エッジは、シャドウキャスタを様々に透過した波長の比較的暗い照明領域(例えば、照明がより少ない領域)に遷移する照明領域により画定し得る。代替的には、光度エッジは、1つ又は複数の他の波長領域により照明された領域に遷移するある波長範囲で照明される領域により画定し得る。シャドウキャスタは、これもまた組み合わせて不透明領域を有し得るパターンに配置された複数の波長透過領域を含み得る。
【0067】
選択的不透明シャドウキャスタは、1つ又は複数の範囲又は帯域の光に対して不透明であるように構成し得る。したがって、選択的不透明シャドウキャスタは、1つ又は複数の波長範囲の光を選択的に濾波して除去し、選択された波長を透過させ得る。一例では、異なる選択的不透明シャドウキャスタは、青色光から赤色光に遷移する光をキャストする有色透明シャドウキャスタとして実施し得、それにより、1組の有色透明シャドウキャスタの一例は、互いに当接する少なくとも2つの平らなカラーフィルタを含み得る。一方の透明シャドウキャスタは赤色であり得、他方は青色であり得る。スキャンするとき、青色から赤色へのシーン遷移は照明エッジを構成し得、濾波されて、青色から赤色への遷移をシーン内の他の変化から識別し得る。この色変化の追跡は、シーン内の他のことが変化する場合であっても影の移動を追跡する技法を提供する。したがって、特定の色変化(色に関係なく)を処理して、照明エッジを識別し得る。種々の例によれば、上述した選択的不透明シャドウキャスタは、物体1210(又は任意の他の物体)が画像捕捉デバイスに対して移動し得る(例えば、制御可能なように)場合、3Dスキャンに役立ち得る。カメラを有する携帯電話又は任意の他のモバイルデバイス等のモバイル計算デバイスは、幾つかの実施形態によれば、上述した選択的不透明シャドウキャスタを実施し得る。
【0068】
図13は、幾つかの例によるスキャンシステムの一例を示す図である。
図1300は、画像捕捉デバイス1301と、1つ又は複数の光源1303と、反射面1320(例えば、反射平面又はミラー)とを含むスキャンシステムの構成要素としてのシャドウキャスタ1315の別の例を示す。反射面1320により、シャドウキャスタ1315の逆側の別の組のシャドウキャスタ及び光源の実施をなくし得る。物体1370は平坦投影1310に配置され、その反射1370rが反射面1320に示される。さらに、
図1300は、反射面1320における反射点(「P2r」)1369の表面上の点(「P2」)1368を示す。示されるように、物体1370にキャストされた影1398は、物体の反射1370rへの影1398rとして反射し得る。なお、光を含む光子放射は、点1366まで移動し得るよりも更に遠くの距離まで移動して点1368を照明し得る(反射光を介して)。したがって、反射面1320により点1368を含む表面部分から画像捕捉デバイス1301に反射される光は、点1366を含む別の表面部分からの反射光よりも明度及び精度が劣り得る。しかしながら、関係W2=(D2/D1)・W1の距離D1は相対的に変更(例えば、増大)されて、点1368における光度エッジに関連する他のことの中でも特に、コントラストを強化し得る。
【0069】
画像捕捉デバイス1301は、1370rとして反射物体1370を観測し得、それにより、物体1370の未反射又は直接観測を通しては見ることができない1370の部分を観測し得る。このようにして、他の反射面(図示せず)は、画像捕捉デバイス1301が物体1370の未反射又は直接観測を通しては見ることができない反射における1370の1つ又は複数の部分を観測し得るように、画像捕捉デバイス1301の視野内に配置し得る。例えば、投影面1310を、投影面1310に配置された物体の底面を画像捕捉デバイス1301に反射する反射面にし得る。次に、シャドウキャスタを移動させて、例えば、光度エッジも、反射面から、物体1370への影エッジの未反射又は直接投影を通しては影によりアクセスされない領域に反射し得るようにスキャンを行い得る。反射面は平坦な幾何学的形状であり得るが、湾曲してもよく、又は曲面、平面のセグメント、若しくは両方の組合せを含んでもよい。
【0070】
図14は、幾つかの例によるスキャンシステムの更に別の例を示す図である。
図1400は、画像捕捉デバイス1401と、シャドウキャスタ1415と、1つ又は複数の光源1403と、上記構成要素を実施又は統合するように構成されたスタンド又は構造体1409とを含むスキャンシステム1490を示す。ここで記載されるスキャンシステムは、任意の環境における物体等の小さな物体及び比較的大きな物体をスキャンするようにスケーラブルであり得る。環境の例には、部屋(例えば、人、家電、家具等)及び屋外建物(例えば、建物、車両、木々等のスキャン)がある。示される例では、スキャンシステム1490は、投影面1410a(例えば、床)、1410b(例えば、後壁)、及び1410c(例えば、側壁)により画定される部屋内のソファー1470及び鏡又は絵画等の壁装飾品1472をスキャンするように構成し得る。
【0071】
示される例では、シャドウキャスタ1415は、菱形構造体として又は例えば、
図9及び
図10におけるシャドウキャスタにより記載される同様又は均等な1つのエッジ若しくは鮮鋭な影又は2つの光度エッジを生成し得る断面エリアを有する任意の均等なシャドウキャスタとして実施し得る。シャドウキャスタ1415aは、例えば、線1479において接合又は結合される2つの三角形構造体1466及び1468として形成されて示されている。頂点1431a及び頂点1433aは回転軸1412に配置し得、それにより、軸1412の回りのシャドウキャスタ1415aの回転により光度エッジ1450を生成し得る。さらに、光源1403は光源1403aとして実施し得、光源1403aは、1つの光源又は点1431bから点1433bまで広がる軸に沿った1つ又は複数の光源の線形配置を含み得る。光源1403aの一例は長尺状ハロゲン電球であり得る。光源1403aの別の例は発光ダイオードの線形配列であり得る。光源1403aの点1431a及び1433bはそれぞれ、軸1412上の点1431a及び1433aと共線上にあり得る。種々の例によれば、シャドウキャスタ1415及び光源1403は、任意の数の構造又は変形で実施し得、
図1400に示されるものは限定を意図しない。さらに、スキャンシステム1490及び本明細書に記載される他のスキャンシステムは、特に医療用途及び拡張現実用途を含む任意の数の用途に向けて変更し適合し得る。
【0072】
図15は、幾つかの例による医療用途を実行するように構成されたスキャンシステムの一例を示す。
図1500は、外科用顕微鏡1530等の医療機器又は器具を含む。外科用顕微鏡は、医療用途での脳組織等のin vivoでの組織(すなわち、物体1570として)の三次元スキャンを実行するように構成されたスキャンシステムにより生成されるデータを実施するように構成し得る。さらに、
図1500のスキャンシステムは、手術中、脳組織のin situ三次元スキャンを促進し得る。
【0073】
外科用顕微鏡1530は、組織を含む関心のある比較的小さな特徴を拡大するように構成し得るとともに、デジタル作成されるか、又は脳1570の拡大ビューに重ねられた像を統合するように更に構成し得る、接眼レンズを含む光学構成要素1538を含む。示される例によれば、外科用顕微鏡1530は拡張画像生成器1590に電子的又は光学的に結合し得、拡張画像生成器1590は画像捕捉デバイス1501に電子的又は光学的に結合し得る。幾つかの例では、外科用顕微鏡1530は画像捕捉デバイス1501に電子的又は光学的に結合し得、画像捕捉デバイス1501は拡張画像生成器1590に電子的又は光学的に結合し得る。幾つかの例では、拡張画像生成器1590は、3Dスキャンベースの像を脳組織ビューに適用する(例えば、重ねる)ことにより拡大脳組織ビューを光学的に拡張し得る。例えば、標的脳部分(例えば、修復又は除去する)を表すクロスハッチンググラフィックスは、外科医が標的を容易に識別し得るように、拡大脳組織のビュー又はデジタル画像に三次元で重ね得る。外科用顕微鏡1530の筐体1532は、命令(例えば、ソフトウェア、ファームウェア等)を実行して、拡張画像生成器1590により生成された画像データを結合するように構成されたプロセッサ及び電子構成要素を含み得る。
【0074】
図1500のスキャンシステムは、多種多様な例により任意のタイプ又は数のシャドウキャスタを実施し得る。1つ又は複数のスキャンシステムは、1つ又は複数の光源の1つ又は複数のサブセット1503と、影1520及び1つ又は複数の光度エッジ1550を形成するように構成されたシャドウキャスタのサブセットとを含み得る。シャドウキャスタのサブセットは、第1の例示的な実施態様におけるシャドウキャスタ1515a及び1515bの1つ又は複数を含み得る。シャドウキャスタの別のサブセットは、第2の例示的な実施態様におけるシャドウキャスタ1515c及び1515dの1つ又は複数を含み得る。他のシャドウキャスタ及び光源構造体も同様に使用し得る。
【0075】
医療用途を含め、種々の用途では、
図1500のスキャンシステムは、少なくとも幾つかの場合、1mm未満(例えば、25μm未満)の解像度を有して、脳1570の少なくとも一部の3D表現を形成し得る。幾つかの場合、
図1500のスキャンシステムは、磁気共鳴撮像(「MRI」)スキャンデータ又はコンピュータ断層撮影(「CT」)スキャンデータ等の他の技術よりも高い解像度の3D表面情報を提供し得る。
【0076】
脳1570等の軟組織からなる有機物体は、状態の変化に起因して変化し又は変わり得る三次元表面形状を有し得る。例えば、柔軟な軟組織は、第1の(例えば、術前の外科処置のない(undisturbed))状態では第1の三次元表面形状を有し、それにより、表面形状は、第2の状態(例えば、医療処置又は手術処置の後)に遷移するとき、第1の状態から変わり得る。一例では、表面形状は、状態を律動的に変え得る(例えば、心拍に起因した律動的な血圧変動に応答して)。少なくとも1つの状態では、シャドウキャスタ1515a、1515b、1515c、及び1515dの1つ又は複数を使用して脳1570又はその一部の表面をスキャンして、脳1570の三次元モデルを形成し得る。カメラ1501は、脳1570の画像を捕捉し得、拡張画像生成器1590は、脳1570の表面上の点を表すピクセルのX、Y、及びZ座標を特定し得る。表面形状が変動(例えば、心拍及び拍動する血流)に応答して律動的に変化している場合、スキャンは、各段階で表面1570を特定し得るように、律動的な応答において複数の段階での表面1570の測定を可能にする時間期間にわたり実行し得る。これは、スキャンが実行されているとき、測定された表面1570の段階に律動的応答における段階を相関付けることにより達成し得る。
【0077】
特に、
図1500のスキャンシステムは、脳1570の輪郭及び他の解剖学的特徴をデジタル的に捕捉するように構成し得る。例えば、モデリングされた脳表面の表面曲率及び輪郭は、三次元空間における大脳皮質の畝(すなわち、脳回)及び溝(すなわち、脳溝)を含み得る。さらに、
図1500のスキャンシステムは、脳に供給する脈管系(例えば、静脈、動脈、毛細血管等)の三次元表面特徴を捕捉するように構成し得、それにより、外科医が血管を脳1570の一部にナビゲートするのを支援する脈管「ロードマップ」を提供するためのモニュメント(又はガイドポスト)として脈管組織を使用し得る。これらの血管の幾つかは、関連するMRI又はCTスキャンの解像度よりも細かいことがある。
【0078】
手術前、患者は磁気共鳴撮像等の診断処置を受けて、内部構造を含む脳1570の2D画像及び3D画像を示し得るMRIスキャンを取得し得る。その後、開頭又は骨の一部の除去に続けて脳1570を露出し得る。任意選択的に
図1500のスキャンシステムを使用して、脳1570の露出部分の3Dスキャンを生成し得る(例えば、脳1570の構造の外科処置前)。拡張画像生成器1590は、脳のMRIスキャンを表すデータの第1のサブセットと、
図1500のスキャンシステムからの脳1570の3Dスキャンデータを表すデータの第2のサブセットとを受信するように構成し得る。さらに、拡張画像生成器1590は、命令(例えば、ソフトウェア、ファームウェア等)を実行して、データの第2のサブセットの3D表面にデータの第1のサブセットのMRI生成表面を関連付け得るように構成されたプロセッサ及び電子構成要素を含み得る。したがって、データの第2のサブセットからの3Dスキャンデータに、データの第1のサブセットからのMRI生成脳スキャンデータの内部構造を表すデータを関連付け得る。
【0079】
頭蓋骨の一部を除去した状態で、膜(例えば、軟膜等又は他の液関門組織)への切開を介して大脳皮質の一部を形成する脳組織にアクセスし得る。脳組織を取り巻く膜を切開すると、流体が失われ得(例えば、脳脊髄液すなわちCSF)、それにより、脳の構造状態が変化し得る。流体が失われた状態では、脳組織構造は、機械的特性の変化に起因して萎むか、又は他の方法で変形することがあり、それにより、脳組織構造をシフトさせ得る。したがって、シフトした脳組織は、MRIデータを使用して脳組織の表面及び内部構造を位置特定して、脳組織の標的場所を識別することに誤差を導入する。
【0080】
切開後、
図1500のスキャナシステムを使用して、脳組織形状が内部流体圧力の減少に起因してシフトした後の脳1570曲率及び輪郭を特定し得る。続けて、拡張画像生成器1590は、MRIスキャンデータに相対する脳組織及び脈管構造の位置ずれを含み得る脳1570の表面の第2の三次元モデルを形成するように構成された論理を含み得る。さらに、拡張画像生成器1590は、切開前状態及び切開後状態の両方での三次元脳モデルでの脈管構造及び特定の脳回及び脳溝等の他のランドマークを識別し、デジタル像のレジストレーション及び位置合わせの位置ずれを特定するように構成された論理を含み得る。脈管組織(例えば、血管)は脳組織に隣接して弾性的に固定され得るため、特定の脳回及び脳溝のずれへの代替又は追加として脈管構造のずれを使用して、内部脳組織部分の切開後位置を予測し得る。さらに、前に得られたMRIスキャンデータは、内部脳組織の予測された切開後位置を反映するように調整し得る。したがって、関連する脳組織に伴う毛細血管並びに脳回及び脳溝の移動は、標的脳組織の場所の予測を助け得る。医療処置中、
図1500のスキャンシステムを使用して、脳の影響を受けた部分(例えば、脳組織が切除又は他の方法で変化した後)を特定することもできる。前に得られたMRIスキャンデータは、医療処置により影響を受ける予測された脳組織の切開後部分を反映するように調整し得る。
【0081】
拡張画像生成器1590における論理は、脈管構造の場所変化を初期MRIスキャンデータからの内部脳組織の予測された位置ずれに相関付けるように構成し得る。さらに、内部脳組織の予測された位置ずれは、脳変形データのモデル及び計算に基づいて予期された変化を近似する脳変形を計算することにより特定し得る。幾つかの例によれば、脳変形データのモデルは、種々のファクタ(例えば、流体損失量、切開サイズ、性別、年齢、民族性、虚弱性等)の関数として脳の予期される変化を表し得る。そのようなモデルを使用して、脳脊髄液の損失に起因して脳構造がいかに変形し得るかを予測し得る。脳変形データは、経験的に及び/又は計算アルゴリズムを介して確率論的(例えば、数学的)に形成し得る。
【0082】
上記に鑑みて、脳組織の標的部分は、脳1570の三次元空間内で手術前に位置特定し得る。脳組織の標的部分の一例は、小児癲癇発作を生じさせる部分であり得る。脳組織の標的部分の除去は、発作を含め症状を軽減し得る。
図1500のスキャナシステムの上述した実施態様によれば、拡張画像生成器1590は、脳1570の表面及び内部内の脳組織の位置ずれを識別又は予測するように構成し得る。したがって、拡張画像生成器1590は、例えば、初期MRIにおいて追加識別された脳組織の標的部分の位置ずれを識別又は予測するよう構成し得る。
【0083】
種々の例によれば、
図1500のスキャナシステムを実施する上述した技法は、他の脳関連診断、テスト、手術、及び治療に適用可能であり得る。さらに、上述した技法は、硬組織(例えば、骨等)を含め任意の医療用途に適用可能であり得る。別の例は、
図1500のスキャナシステムを創傷治癒に使用することである。例えば、
図1500と同様のスキャナシステム(外科用顕微鏡1530を除く)を糖尿病患者の自宅に配置して、感染を防ぐために創傷(例えば、潰瘍)を監視し得ると考える。患者は、創傷を三次元スキャンして(例えば、色あり又は色なしで)、創傷形状データを生成し得、ネットワークを介して創傷形状データを医療提供者に送信して、創傷の治癒率を監視し得る。上述した例は非限定的であり、任意の医療又は非医療用途に適用可能であり得る。
【0084】
図16Aは、幾つかの例によるシャドウキャスタのシステムを含む専用外科用顕微鏡を示す図である。
図1600は、脳1670のin situ三次元スキャンを促進するように構成された外科用顕微鏡1630、拡張画像生成器1650、及び画像捕捉デバイス1601を含む。幾つかの例によれば、
図16Aの
図1600に示される要素は、他の図面に示される同様の名称又は同様の番号の要素としての構造及び/又は機能を含み得る。この例では、シャドウキャスタ1615c及び1615d並びに光源1603は、システム1680として相互作用して、影1620及び1つ又は複数の光度エッジ1650を形成し得る。幾つかの実施形態では、シャドウキャスタ1615c及び1615d並びに光源1603又はそれらの均等物は、筐体1632内に配置されて、本明細書に記載される例により3Dスキャンを実行するように構成された統合三次元スキャン外科用顕微鏡を形成し得る。
【0085】
図16Bは、幾つかの例による、少なくとも1つのシャドウキャスタを含む更に別の専用外科用顕微鏡を示す図である。
図1650は、外科用顕微鏡1630と、脳1670のin situ三次元スキャンを促進するように構成された、本明細書に記載される他の要素とを含む。幾つかの例によれば、
図16Bの
図1650に示される要素は、他の図面に示される同様の名称又は同様の番号の要素としての構造及び/又は機能を含み得る。この例では、シャドウキャスタ1680及び光源のサブセット1691a、1691b、及び1691cはシステム1690として相互作用して、異なる時点で証明される光源のサブセット1691a、1691b、及び1691cの関数として影1620及び1つ又は複数の光度エッジ1650を形成し得る。シャドウキャスタ1680の一例について
図12において説明し、光源1691a、1691b、及び1691cはシャドウキャスタ1680の上に配置し得る。幾つかの例によれば、光源のサブセット1691a、1691b、及び1691cは、順次及び/又は空間的に照明されて、一連の影(例えば、直線の影又は光度エッジ)を生成し得る複数の平行光源として実施される。幾つかの実施形態では、シャドウキャスタ1680並びに光源1691a、1691b、及び1691c、又はそれらの均等物は、筐体1632内に配置されて、本明細書に記載される例により3Dスキャンを実行するように構成された統合三次元スキャン外科用顕微鏡を形成し得る。
【0086】
図17は、幾つかの例による三次元スキャン特徴に基づく拡大画像を示す図である。
図1700は、脳1770の部分を拡大するように構成された光学構成要素1738を含む。光学構成要素1738が結合する外科用顕微鏡は示されていない。
図1700はまた、脳1770の光学像(脳の表面から反射された光に基づく)と、例えば、光学構成要素1738を介して観測可能であり得る標的脳組織1788の表面場所を表すデジタル生成画像オーバーレイデータとを統合するように構成された拡張画像生成器1790も含む。幾つかの例では、外科医又は任意の他のユーザは、光学構成要素1738を介してインセット1722に提示された画像を見得る。例えば、接眼レンズ1738において、脳回若しくは脳溝に相対又は種々の数若しくはサイズを有する血管の脈管系1775sに相対して脳1770s及びその部分を見得る。幾つかの例では、脳1770sの輪郭は、畝(脳回)1784及び溝(脳溝)1786として三次元スキャンを通して捕捉し得る。少なくとも1つの例によれば、インセット1722は、実(例えば、そのまま拡大された)像又はシミュレートされた像(例えば、画像処理に基づく)、又は両方の組合せを含み得る。
【0087】
図18は、幾つかの例によるin vivo三次元スキャン及び画像統合を示す機能ブロック図である。
図1800は、拡張画像生成器1890、組織モデルデータリポジトリ1830、及びスキャン組織データリポジトリ1832を含み、例えば、それらの1つ又は複数は、例えば
図17に示される像を形成するように実施し得る。スキャン組織データリポジトリ1832は、脳1870の二次元及び/又は三次元解剖学的特徴及び構造を表すスキャン脳データ1802を受信するように構成される。例えば、データ1802は、MRIデータ、CTデータ、MEGデータ、PETデータ、又は任意の他の脳関連データを含み得、スキャン組織データリポジトリ1832に記憶し得、データ1824として拡張画像生成器1890により検索し得る。組織モデルデータリポジトリ1830は、種々のファクタ(例えば、流体損失量、切開サイズ、性別、年齢、民族性、虚弱性等)の関数に基づいて脳変形又は脳における位置ずれの変化率を特定又は予測するデータモデルを記憶するように構成し得る。拡張画像生成器1890はこれらのデータモデルを使用して、対応する脳脊髄液の損失又は摘出された腫瘍若しくは脳の質量に起因して脳構造が変わり得る(例えば、サイズ、位置、場所等に関して)程度を数学的(例えば、確率論的)に予測しシミュレートし得る。データモデルからのデータ1822は、拡張画像生成器1890により検索し得る。幾つかの例によれば、
図18の
図1800に示される要素は、他の図面に示される同様の名称又は同様の番号の要素としての構造及び/又は機能を含み得る。
【0088】
拡張画像生成器1890は、拡張像コントローラ1851、生物学的モニュメント生成器1852、生物学的モニュメントマッパ1853、組織相関器1854、標的組織統合器1855、及び画像生成器1856を含んで示される。少なくとも幾つかの例によれば、拡張像コントローラ1851は、拡張画像生成器1890の補助機能(例えば、要素1852~1856)を制御して、拡張画像生成器1890の全体機能を促進するように構成し得る。
【0089】
生物学的モニュメント生成器1852は、スキャン組織データ1824(例えば、MRIデータ)にアクセスして、血管の空間寸法、位置等の脈管又は脳データ1842の特徴を表すデータ1840を生成するように構成し得る。データ1842は、例えば、血管又は脳回若しくは脳溝等の特徴等の任意の他の物理的特徴に基づいて、例えば、幾何学的特徴の空間寸法、位置等を指定するデータ1840を含むデータ構造を表す。脈管データ1842はデータ1824からのものであり得る。データ1840はデータ構造1842から検索されるデータの一例であり、それにより、脈管系データ1842の部分を例えば隣接する脳組織に相対する「モニュメント」(例えば、関心のある脳部分への「ロードマップ」を識別する測量モニュメント)又は基準点として使用できるようにする。幾つかの例によれば、脈管企画学的特徴等の幾何学的特徴は、脈管系データ1842において記述し得、手術又は他の構造的外科処置前の脳1870の脈管系の特徴(例えば、表面特徴)を表し得る。
【0090】
生物学的モニュメントマッパ1853は、モデル生成器による三次元スキャンを介して導出された脳又は脈管データ(例えば、脳1870の切開後表面における)を表すデータを含むデータ1844の更新されたサブセットをマッピング又は他の方法で相関付けるように構成し得る。幾つかの例では、生物学的モニュメントマッパ1853は、構造的な脳変形に基づいて脳の位置変位又は脈管データ1842を計算し特徴付けることが可能であり得る。位置変位データ1843は、組織相関器1854において受信し得る。
【0091】
組織相関器1854は、萎んだ脳の表面特徴データ1843を初期MRI表面データ1824に相関付けて、MRIにより当初検出された脳組織の元の部分を識別するように構成し得る。血管及び表面特徴(例えば、畝及び溝)の変位に基づいて、表面部分の変位及び脳組織1888の標的部分の変位を識別することができる。組織相関器1854はまた、組織モデルデータリポジトリ1830にアクセスして、内部脳構造の表面の変位を推定し予測する計算を実行するように構成することもできる。
【0092】
標的組織統合器1855は、MRIデータ1824に相対して、染料に関連し得る又は関連しない標的脳組織の部分を識別するように構成される。標的組織1888は、例えば、小児癲癇又は腫瘍に関連する脳組織を表し得る。さらに、標的組織統合器1855は、切開後の活動及び組織相関器1854からのデータに関連して標的組織1888の変位を計算するように構成し得る。例えば、組織相関器1854は、識別及び摘出のために標的組織1888を調整する位置ずれを特定するように構成し得る。
【0093】
画像生成器1856は、リアルタイム(又は略リアルタイム)且つin vivoで脳の画像1848に重ねられた標的組織1888を示す画像データ1846を生成するように構成し得る。画像データ1846は、標的領域1888のビューが重ねられたビューを提供する、データ1844を拡張するin vivoビューのリアルタイム2D又は3D画像として示される。したがって、外科医は、標的組織1888に向かえるようにし得、1899(外科的変更)における脳部分の摘出後、3Dスキャンに基づいて、摘出すべき残りの脳部分をin vivoで検出して、データ1844のサブセットを更新し得る。拡張画像生成器1890は、続く処置について外科医に残りの組織を光学的に提示するためにグラフィカルオーバーレイデータを再計算し得る。したがって、外科医は、in situ 3Dスキャンに基づいて摘出された組織の「剥がれおち」を見て、光学顕微鏡又は他の外科ナビゲーションデバイス若しくはディスプレイを介してin vivoで摘出すべき残りの組織を提示し得る。種々の他の例によれば、機能ブロック
図1800は、本明細書に記載される種々の例に従って変形し得る。
【0094】
図19は、幾つかの例による、1つ又は複数の光度エッジを生成するように構成された1つ又は複数のシャドウキャスタの更に別の例を示す図である。
図1900は、少なくとも1つの光度エッジを生成して、三次元スキャンを促進するように構成し得るウェアラブルシステム1911等のウェアラブルシャドウキャスタを示す。この例では、ウェアラブルシステム1911は、光度エッジを生成するように構成された縁部1950を有する少なくとも1つのシャドウキャスタ1920を有する少なくともフロント筐体1921を含むアイウェアである。シャドウキャスタ1920は、少なくとも幾つかの例では、透明表面(例えば、アイウェアのレンズ又はフレーム)に塗布される不透明膜であり得る。アイウェアはまた、ユーザの耳を固定するイヤーピース1906、及び電子回路、光導体等を含み得るテンプルバー構造1907を含んでもよく、その中に配置されるシャドウキャスタを含む三次元スキャナとしてのアイウェアの実装を容易にすることもできる。アイウェアは、電力及び光生成モジュール1909から導管1908を介して光及び電子信号を受信し得、電力及び光生成モジュール1909は任意選択的であり得、ユーザの体の任意の場所又はどこか他の場所に配置し得る。
【0095】
ウェアラブルシステム1911に加えて、アイウェアは、光を含む光子放射を透過し得る任意選択的な透明構造1924を含み得る。透明構造1924は、縁部1950に平行する方向に沿った順方向透過光を制御するレイヤとしてフレネルプリズムを実施し得る。レンズ1901は、任意選択的であり得、少なくとも幾つかの場合、ヘッドアップディスプレイすなわちHUDを形成する投影光(図示せず)を受け取るように構成し得る。示される例では、光源は、例えば、光ビーム1930、1930a、及び1930n(例えば、テンプルバーの背後のソース又は同様の構造から形成される)として光を放射するように構成された光ファイバ(optical fiber)(例えば、光ファイバ(fiber optic))として実施し得る。はるかに多くの光ビームを実施し得、又はビームは、多くの光ビーム1930、1930a、及び1930nの部分的に重複する組合せから生じる連続放射線の形状であり得る。さらに、光放射又はビーム1930、1930a、及び1930nとしてファイバを介して伝達される光の波長は、任意の波長範囲のものであり得る。例えば、光ファイバから放射された光は、人間の目により検出可能ではないか、又は知覚されない光の波長範囲内(例えば、光の不可視スペクトル内)であり得る。幾つかの例では、正面
図1940は、ファイバからの光放射1930、1930a、及び1930nを示し、それにより、光放射はシャドウキャスタ1920の縁部1950に衝突して、光度エッジを形成し得る。この例での正面
図1940は、Y-Z平面に平行する平面において示されている(例えば、X軸に沿って見ている)。正面
図1940に加えて、光ビームは、互いに対して(例えば、隣同士で)縁部1950に沿って任意の距離(「F」)1941に向けられ得、互いの間隔は同じである必要はない。ファイバの任意の数の端部を実施して、任意の数の光放射1930、1930a、及び1930nを生成し得る。
【0096】
幾つかの例によれば、光ビーム1930、1930a、及び1930nは、X-Y平面に平行する平面等の共通平面を横断するように配置又は配向されてもよい。幾つかの例では、各ファイバ及び/又はファイバ端部(図示せず)からの光放射1930、1930a、及び1930nはそれぞれ、縁部1950において、その方向がシャドウキャスタ1920の表面の法線1919に平行するように放射し得る。又は、各ファイバ及び/又はファイバ端部からの光放射1930、1930a、及び1930nはそれぞれ、縁部1950において、それらの方向が、シャドウキャスタ1920を含むX-Y平面に平行する1919に相対して傾斜し得るように放射し得る。全ての次元X、Y、及びZにおいて線形のシャドウキャスタ1920の場合、鮮鋭な光度エッジを達成するために、縁部1950においてそれらの方向がX及びY平面において任意の角度をなし、線1919に相対してZ方向において共通成分を含むよう1つ又は複数の光ビーム1930、1930a、及び1930nが放射されるように1つ又は複数のファイバを配置し得る。
【0097】
側面
図1942は、シャドウキャスタ1920及び縁部1950から突出して、光ビーム1930nを形成する光1946を放射するファイバ1966の側面を示す。光1946は、側面
図1942に示されるようにコリメート(例えば、直線に)し得、又はシャドウキャスタ1950に及ぶにつれて広がるように発散し得る。側面
図1942は、この例では、X-Z平面に平行する平面にあるものとして示されている。光が放射されるファイバ1966の端部1969は、幅(「W1」)1927等の寸法を有し得る。ファイバ1966の端部1969は、例えば、フロント筐体1921及びテンプルバー構造1907の1つ又は複数に配置し得る。さらに、ファイバ1966の端部1969は、シャドウキャスタ1920から任意の距離(「D1」)1929に配置し得る。フロント筐体1921の奥行き(「H」)は、より長い距離1929に対応するように拡張し得る。幾つかの例によれば、直径又はW1は25μmから50μm、又はそれ以下の範囲、又は400μmまでの範囲であり得る。別の例では、幅W1を有するファイバ1966の代わりにLED又はマイクロLEDを使用し得る。加えて、フレネルプリズムのレイヤを使用して、ファイバ端部1969を出る光に影響を及ぼし、線1919に関して上述した光ビーム1930、1930a、及び1930nを生成し得る。
【0098】
動作において、ウェアラブルシステム1911は、家電、家具、人々等を含む部屋等の環境に投影される少なくとも1つの光度エッジを生成するように構成される。ユーザが室内等の周囲環境を査定し検討しているとき、シャドウキャスタ1920の移動はユーザの頭部の移動に一致し得る。幾つかの例では、テンプルバー構造1907内の電子回路は、プロセッサ、メモリ、加速度計等を含み得る。1つの場合では、1つ又は複数の加速度計、傾斜計、コンパス、ジャイロスコープ等により、ユーザが頭部を動かしている速度を特定し得る。したがって、テンプルバー構造1907内の論理は、所望の場合、環境の3Dモデルを形成する目的で、光度エッジが環境又はシーンにわたり掃引している速度を検出し得る。掃引速度は、アイウェアシステム1911又は電力及び光生成モジュール1909内の無線送受信機を介して送信し得る。別の場合、1911の位置及び向きの外部検出器(図示せず)により外部基準(例えば、反射マーカ又はIR LEDエミッタ、図示せず)を使用し得る。そのような外部検出器は、例えば、カメラ又は近接場センサであり得る。
【0099】
幾つかの例では、テンプルバー構造1907内の電子回路又はウェアラブルシャドウキャスタ1911の任意の他の部分は、例えば、1つ又は複数のレンズ1901へのビデオ投影をサポートして、グラフィカル像を環境内の三次元物体のビューに重ね、提供する拡張現実像を作成するためのプロセッサ及びメモリを含み得る。例えば、ウェアラブルシャドウキャスタ1911を装着したユーザは、室内の椅子を見ることができ、それにより、ウェアラブルシャドウキャスタ1911(及び画像捕捉デバイス)は、椅子の三次元空間寸法及び表面を捕捉し得る。さらに、ウェアラブルシャドウキャスタ1911は、レンズ1901上の椅子のユーザのビュー上に異なる色を重ねるビデオ又は像を受信し得る。また、ウェアラブルシャドウキャスタ1911は、レンズ1901上の椅子のユーザのビュー上に、椅子に座っている人物のグラフィカル表現を重ねるビデオ又は像を受信し得る。
【0100】
図20は、幾つかの例による、ウェアラブルシステムからの光投影方向の一例を示す図である。示されるように、光投影方向は、ウェアラブルシステム2011のテンプルバーに沿って配置される多くのファイバ又はLED源から発し得る。
図2000は、ウェアラブルシステム2011を装着しているユーザ2091と、破線として示されるフロント筐体とを含み、光ビーム2030、2030a、2030n、2032、2032a、及び2032nはフロント筐体を透過する。フロント筐体は、
図19を参照して説明したように奥行き(「H」)1931を有し得る。再び
図20を参照すると、光ビーム2030、2030a、2030n、2032、2032a、及び2032nは代替的には、部分的に重複して、光(図示せず)の連続分布に影響を及ぼし得る。少なくとも光放射2030n及び2032nは視線に平行し得る。幾つかの場合、光放射2030、2030a、2030n、2032、2032a、及び2032nはそれぞれ、視線(図示せず)に平行して環境2090に投影し得る。示されるように、光放射2030、2030a、2032、及び2032a等の光放射のサブセットは、視線に傾斜して投影し得る(例えば、視線に平行し得る環境内の表面特徴を照明するために)。示される例では、光放射2030、2030a、2030n、2032、2032a、及び2032nを使用して、ウェアラブルシャドウキャスタ2011に対して距離2040にある輪郭付き表面2060の三次元空間寸法を特定し得る。
【0101】
図2000に示される光放射の例は、特定の用途の適宜性に基づいて変形又は適合し得る。例えば、ウェアラブルシャドウキャスタ2011は、脳手術を実行する外科医又は任意の他の医療用途により装着され得る。種々の例によれば、ウェアラブルシャドウキャスタ2011は、三次元ウェブカメラ通信等の通信を目的として実施し得る。幾つかの場合、ウェアラブルシャドウキャスタ2011は、仮想現実用途及び拡張現実用途を促進するように構成し得る。例えば、ウェアラブルシャドウキャスタ2011は、ヘッドアップディスプレイ(「HUD」)又は縮小ビデオ画像を投影し得る1つ若しくは複数のレンズ又は1つ若しくは複数の透明表面(図示せず)を含み得る。
【0102】
図21は、幾つかの例による、ウェアラブルシャドウキャスタと共に実施される画像捕捉デバイスを示す図である。
図2100は、ウェアラブルシステム2111及びウェアラブルカメラ2117を装着したユーザ2191を含み、ウェアラブルカメラ2117は、プロセッサ、メモリ、及び環境内の表面に投影される光度エッジに関連するデータを含むデータを送受信する無線装置を含み得る。ウェアラブルカメラ2117はまた、特にウェアラブルシステム2111に対するウェアラブルカメラ2117の場所及び向きを特定し報告するために、加速度計、傾斜検出器、コンパス等を含むこともできる。示されるように、光放射2130は、視線を含む平面内に投影し得、又は視線に対して角度を有する光放射2135として投影し得る。示されるように、カメラ2117に反射して戻る光2182は、光放射2135から距離2180にあり得る。幾つかの例によれば、距離2180は20cmであり得、又は20cmを含む範囲内にあり得る。この例では、他の例と同様に、カメラロケーション距離2180は、そのカメラをシャドウ面から隔てて、
図20の形状2060から生じた光度エッジの変形を観測し得る。少なくとも1つの例では、距離2180は、ウェアラブルシャドウキャスタ2111が動作する他のパラメータを変更することにより、
図20の表面2060の3D情報の特定に悪影響を及ぼすことなく短縮し得る。他の種々の例では、カメラ2117は人から離れて配置し得る(例えば、カメラを装着する必要がない)。したがって、別のカメラ2117は、ウェアラブルシャドウキャスタ2111が配置される環境内の同じ場所に配置し得、それにより、カメラ2117及び2111は互いにデータを無線で交換し得る。幾つかの例によれば、
図20の
図2000及び
図21の
図2100に示される要素は、他の図面に示される同様の名称又は同様の番号の要素としての構造及び/又は機能を含み得る。一例では、ウェアラブルシャドウキャスタ2111及びウェアラブルカメラ2117は、
図14のスキャンシステム1490と互いに交換可能に使用し得る。
【0103】
図22は、幾つかの例による、共通する環境で協働する複数のウェアラブルシャドウキャスタを示す図である。
図2200は、ソファー2222、ビリヤード台2224、及び椅子2226の種々の表面特徴を含む、部屋2210等の環境を示す。さらに、部屋2210は、ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dをそれぞれ装着しているユーザ2210a、2210b、2210c、及び2210dのサブセットを含む。ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dのそれぞれは、プロセッサと、メモリと、加速度計、ビデオ画像生成器、GPS送信機、ジャイロスコープ、カメラ、無線送受信機(例えば、RF無線送信機及び/又は受信機)等の他の電子構成要素とを含み得る。示されていないが、画像捕捉デバイス又はカメラは、ユーザ2210a、2210b、2210c、及び2210dのそれぞれに関連し得る。幾つかの例によれば、
図22の
図2200に示される要素は、他の図面に示される同様の名称又は同様の番号の要素としての構造及び/又は機能を含み得る。
【0104】
幾つかの例では、1つ又は複数の人から離れた(又はリモートの)カメラ2201は、複数のウェアラブルシャドウキャスタから種々の表面から反射された複数の光度エッジの画像を捕捉し得る。種々の例によれば、カメラ2201、拡張画像生成器2290、並びにウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dの1つ又は複数は、ユーザ2210a、2210b、2210c、及び2210d(及びカメラ)の場所及び向きを特定するように構成し得る。また、ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dの位置及び向きを検出するために、基準(例えば、反射マーカ又はIR LEDエミッタ、図示せず)を任意の場所部屋2210に配置し得る。カメラ2201、拡張画像生成器2290、並びにウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dの1つ又は複数は、ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211d間の違いを特定するように構成し得、可視波長又は任意の他の波長でウェアラブルシャドウキャスタ2211b、2211c、及び2211を実施するように更に構成し得る。3Dスキャンデータの複数のサブセットを結合して、部屋2210並びにその居住者及び家具の単一の三次元モデルを形成する論理を含み得る拡張画像生成器2290も示されている。したがって、拡張画像生成器2290は、画像レジストレーションを実行して、複数の3D画像を位置合わせし、ウェアラブルシャドウキャスタ2211a~2211dからのデータに基づいて統合画像又は3Dモデルを形成し得る。さらに、拡張画像生成器2290は、部屋2210内の物体の3D表面に重ね得るグラフィカル像を表すデータを生成し得る。例えば、拡張画像生成器2290は、ユーザ2210a、2210b、2210c、及び2210dが他の人々により見られるように選択し得る「仮想コスチューム」のグラフィカル像を生成し得る。ユーザ2210aがユーザ2210b、2210c、及び2210dに「海賊コスチューム」を着たユーザ2210aを知覚させたいと考える。拡張画像生成器2290は、ウェアラブルシャドウキャスタ2211b、2211c、及び2211d内のレンズに重ね得るグラフィカル像を生成することができる。したがって、ユーザ2210b、2210c、及び2210dは、重ねられた「海賊コスチューム」を着たユーザ2210aを視覚的に知覚し得る。したがって、これらのユーザは仮想コスチュームパーティを組織し得る。
【0105】
ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dは、無線データリンク2213a、2213b、2213c、及び2213dをそれぞれ生成するRF無線装置を含み得る。さらに、1つ又は複数のカメラ2201及び拡張画像生成器2290は、1つ又は複数のウェアラブルシャドウキャスタとデータを送受信する論理(例えば、ハードウェア、ソフトウェア、又はそれらの組合せ)及びRF無線装置を含み得る。一実施態様では、ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dは、リンク2213a、2213b、2213c、及び2213dを介してピアツーピアネットワークを形成して、3Dスキャンデータ及びグラフィカリ像を交換し、拡張現実用途を促進し得る。別の実施態様では、ウェアラブルシャドウキャスタ2211a、2211b、2211c、及び2211dは、無線データリンク2214、2215、2213a、2213b、2213c、及び2213dを介してカメラ2201及び拡張画像生成器2290とのクライアント-サーバネットワークを実施し得、無線データリンクのそれぞれは他のネットワークトポロジを実施するようにも同様に適合し得る。
【0106】
図23は、種々の実施形態による、三次元スキャンを実行する構成要素に種々の機能を提供するように構成された種々の計算プラットフォームの例を示す。幾つかの例では、計算プラットフォーム2300は、コンピュータプログラム、アプリケーション、方法、プロセス、アルゴリズム、又は他のソフトウェア及びその任意のハードウェア実装を実施して、上述した技法を実行し得る。
【0107】
幾つかの場合、計算プラットフォーム2300又は任意の部分(例えば、任意の構造部分又は機能部分)は、計算デバイス2390a、モバイル計算デバイス2390b、ウェアラブルデバイス2390c、及び/又は処理回路等の任意のデバイスに配置されて、本明細書に記載される種々の例により、種々の構造及び/又は機能を実施することができる。
【0108】
計算プラットフォーム2300は、プロセッサ2304、システムメモリ2306(例えば、RAM等)、記憶装置2308(例えば、ROM等)、インメモリキャッシュ(RAM2306又は計算プラットフォーム2300の他の部分において実施し得る)、通信インターフェース2313(例えば、Ethernet又は無線コントローラ、Bluetoothコントローラ、NFC論理等)等のサブシステム及びデバイスを相互接続して、通信リンク2321上のポートを介した通信を促進し、例えば、データベースデバイス(例えば、限定ではなく、トリプルストア等を含め、拡張データセットを記憶するように構成された記憶装置)を含め、プロセッサを有するモバイル計算及び/又は通信デバイスを含む計算デバイスと通信する、情報を通信するためのバス2302又は他の通信機構を含む。プロセッサ2304は、1つ又は複数のグラフィックス処理ユニット(「GPU」)として、Intel(登録商標)社製等の1つ又は複数の中央演算処理装置(「CPU」)として、又は1つ又は複数の仮想プロセッサ及びCPUと仮想プロセッサとの任意の組合せとして実施することができる。計算プラットフォーム2300は、限定ではなく、キーボード、マウス、オーディオ入力(例えば、音声テキスト化駆動デバイス)、ユーザインターフェース、ディスプレイ、モニタ、カーソル、タッチセンシティブディスプレイ、LCD又はLEDディスプレイ、及び他のI/O関連デバイスを含め、入出力デバイス2301を介して入力及び出力を表すデータを交換する。
【0109】
なお、幾つかの例では、入出力デバイス2301は、本明細書に記載される種々の例により、ユーザアカウント識別子に関連する計算デバイスにおけるユーザインターフェースとして実施し得、又はユーザインターフェースと置換し得る。
【0110】
幾つかの例によれば、計算プラットフォーム2300は、システムメモリ2306に記憶された1つ又は複数の命令の1つ又は複数のシーケンスを実行するプロセッサ2304により特定の動作を実行し、計算プラットフォーム2300は、クライアント-サーバ構成、ピアツーピア構成で、又はスマートフォン等を含む任意のモバイル計算デバイスとして実施することができる。そのような命令又はデータは、記憶装置2308等の別のコンピュータ可読媒体からシステムメモリ2306に読み出し得る。幾つかの例では、実施するソフトウェア命令への代替又は追加として、ハードワイヤード回路を使用し得る。命令は、ソフトウェア又はファームウェアで組み込み得る。「コンピュータ可読媒体」という用語は、命令を実行のためにプロセッサ2304に提供することに参加する任意の有形媒体を指す。そのような媒体は、限定ではなく、不揮発性媒体及び揮発性媒体を含め、多くの形態をとり得る。不揮発性媒体には、例えば、光ディスク又は磁気ディスク等がある。揮発性媒体には、システムメモリ2306等のダイナミックメモリがある。
【0111】
既知の形態のコンピュータ可読媒体には、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ(例えば、若しくは穴のパターン)、RAM、PROM、EPROM、フラッシュEPROMデバイス等の任意の他の物理媒体、任意の他のメモリチップ若しくはカートリッジ、又はコンピュータがデータにアクセスすることができる任意の他の媒体がある。命令は、伝送媒体を使用して更に送信又は受信し得る。「伝送媒体」という用語は、マシンにより実行される命令を記憶、符号化、又は搬送することが可能な任意の有形又は非有形媒体を含み得、デジタル若しくはアナログ通信信号又はそのような命令の通信を促進する他の非有形媒体を含む。伝送媒体は、コンピュータデータ信号を伝送するためのバス2302を構成するワイヤを含め、同軸ケーブル、銅線、及び光ファイバを含む。
【0112】
幾つかの例では、命令シーケンスの実行は計算プラットフォーム2300により実行し得る。幾つかの例によれば、計算プラットフォーム2300は、通信リンク2321(例えば、LAN、PSTN等の有線ネットワーク又は種々の規格及びプロトコルのWiFi、Bluetooth(登録商標)、NFC、ZigBee等を含む任意の無線ネットワーク)により任意の他のプロセッサに結合されて、互いに協働して(又は互いと非同期で)命令シーケンスを実行することができる。計算プラットフォーム2300は、通信リンク2321及び通信インターフェース2313を通して、プログラムコード(例えば、アプリケーションコード)を含め、メッセージ、データ、及び命令を送受信し得る。受信されたプログラムコードは、受信されたときにプロセッサ2304により実行し得、及び/又は後で実行するためにメモリ2306又は他の不揮発性記憶装置に記憶し得る。
【0113】
示される例では、システムメモリ2306は、本明細書に記載される機能を実施する実行可能命令を含む種々のモジュールを含むことができる。システムメモリ2306は、オペレーティングシステム(「O/S」)2332及びアプリケーション2336及び/又は論理モジュール2359を含み得る。
図23に示される例では、システムメモリ2306は任意の数のモジュール2359を含み得、そのうちの任意のもの又はその1つ若しくは複数の部分は、本明細書に記載される1つ又は複数の機能を実施することにより計算システムの任意の1つ又は複数の構成要素(例えば、クライアント計算システム、サーバ計算システム等)を促進するように構成することができる。
【0114】
上述した任意の特徴の構造及び/又は機能は、ソフトウェア、ハードウェア、ファームウェア、回路、又はそれらの組合せで実施することができる。なお、上記の構造及び構成要素並びにそれらの機能は、1つ又は複数の他の構造又は要素と統合し得る。代替的には、要素及び要素の機能は、構成サブ要素がある場合、構成サブ要素に細分し得る。ソフトウェアとして、上述した技法は、種々のタイプのプログラミング言語又はフォーマット言語、フレームワーク、シンタックス、アプリケーション、プロトコル、オブジェクト、又は技法を使用して実施し得る。ハードウェア及び/又はファームウェアとして、上述した技法は、フィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)、又は任意の他のタイプの集積回路を設計するように構成された任意のレジスタ転送言語(「RTL」)等のハードウェア記述言語を含め、種々のタイプのプログラミング言語又は集積回路設計言語を使用して実施し得る。幾つかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路若しくはソフトウェア、又はそれらの組合せで実施されるアルゴリズム又はその部分及び/又は論理を指すことができる。これらは変更可能であり、提供された例又は説明に限定されない。
【0115】
幾つかの実施形態では、
図23のモジュール2359若しくはそれらの構成要素の1つ若しくは複数、又は本明細書に記載される任意のプロセス若しくはデバイスは、携帯電話、ウェアラブルデバイス、若しくは計算デバイス等のモバイルデバイスと通信することができ(例えば、有線又は無線で)、又は内部に配置することができる。
【0116】
幾つかの場合、1つ若しくは複数のモジュール2359又はその/それらの構成要素(若しくは本明細書に記載される任意のプロセス若しくはデバイス)の1つ若しくは複数と通信するモバイルデバイス又は任意のネットワーク接続された計算デバイス(図示せず)は、本明細書に記載される任意の特徴の構造及び/又は機能の少なくとも幾つかを提供することができる。上述した図に示されるように、上述した任意の特徴の構造及び/又は機能は、ソフトウェア、ハードウェア、ファームウェア、回路、又はそれらの任意の組合せで実施することができる。なお、上記の構造及び構成要素並びにそれらの機能は、1つ又は複数の他の構造又は要素と統合又は結合し得る。代替的には、要素及び要素の機能は、構成サブ要素がある場合、構成サブ要素に細分し得る。ソフトウェアとして、上述した技法の少なくとも幾つかは、種々のタイプのプログラミング言語又はフォーマット言語、フレームワーク、シンタックス、アプリケーション、プロトコル、オブジェクト、又は技法を使用して実施し得る。例えば、任意の図に示される要素の少なくとも1つは、1つ又は複数のアルゴリズムを表すことができる。又は、要素の少なくとも1つは、構成構造及び/又は機能を提供するように構成されたハードウェアの一部分を含む論理の一部分を表すことができる。
【0117】
例えば、モジュール2359又はその/それらの構成要素の1つ若しくは複数又は本明細書に記載される任意のプロセス若しくはデバイスは、メモリ内の1つ又は複数のアルゴリズムを実行するように構成された1つ又は複数のプロセッサを含む1つ又は複数の計算デバイス(すなわち、装着されるか、それとも携帯されるかに関係なく、帽子若しくはヘッドバンド等のウェアラブルデバイス又は携帯電話等の任意のモバイル計算デバイス)で実施することができる。したがって、上述した図における要素の少なくとも幾つかは、1つ又は複数のアルゴリズムを表すことができる。又は、要素の少なくとも1つは、構成構造及び/又は機能を提供するように構成されたハードウェアの一部分を含む論理の一部分を表すことができる。これらは変更可能であり、提供された例又は説明に限定されない。
【0118】
ハードウェア及び/又はソフトウェアとして、上述した構造及び技法は、フィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)、マルチチップモジュール、又は任意の他のタイプの集積回路を設計するように構成された任意のレジスタ転送言語(「RTL」)等のハードウェア記述言語を含め、種々のタイプのプログラミング言語又は集積回路設計言語を使用して実施することができる
【0119】
例えば、モジュール2359又はその/それらの構成要素の1つ若しくは複数又は本明細書に記載される任意のプロセス若しくはデバイスは、1つ又は複数の回路を含む1つ又は複数の計算デバイスで実施することができる。したがって、上述した図における要素の少なくとも1つは、ハードウェアの1つ又は複数の構成要素を表すことができる。又は、要素の少なくとも1つは、構成構造及び/又は機能を提供するように構成された回路の一部分を含む論理の一部分を表すことができる。
【0120】
幾つかの実施形態によれば、「回路」という用語は、例えば、電流が流れて1つ又は複数の機能を実行する幾つかの構成要素を含む任意のシステムを指すことができ、構成要素は離散構成要素及び複合構成要素を含む。離散構成要素の例には、トランジスタ、レジスタ、キャパシタ、インダクタ、及びダイオード等があり、複合構成要素の例には、メモリ、プロセッサ、アナログ回路、及びフィールドプログラマブルゲートアレイ(「FPGA」)、特定用途向け集積回路(「ASIC」)を含めたデジタル回路等がある。したがって、回路は、電子構成要素及び論理構成要素(例えば、例えばアルゴリズムの実行可能命令のグループ、ひいてはが回路の構成要素であるように命令を実行するように構成された論理)のシステムを含むことができる。幾つかの実施形態によれば、「モジュール」という用語は、例えば、ハードウェア回路若しくはソフトウェア、又はそれらの組合せ(すなわち、モジュールは回路として実施することができる)で実施されるアルゴリズム又はその一部分及び/又は論理を指すことができる。幾つかの実施形態では、アルゴリズム及び/又はアルゴリズムが記憶されたメモリは、回路の「構成要素」である。したがって、「回路」という用語は、例えば、アルゴリズムを含む構成要素のシステムを指すこともできる。これらは変更可能であり、提供された例又は説明に限定されない。
【0121】
上記に鑑みて、
図200~
図2300は、任意の数の用途に適用し得る任意の数の構造及び機能を記載する。例えば、上述した任意の構造及び機能は、カメラを有する携帯電話に組み込み得る。したがって、シャドウキャスタ及び/又は光源は、携帯電話に取り付けられ、又は携帯電話内に統合されて、3Dスキャンを実行し得る。別の例では、上述した任意の構造及び機能は、セキュアな認証又は身元確認を提供するためのデータとしての指紋の三次元スキャン等の識別目的で表面パターンを記憶するように実施し得る。任意の数のアプリケーションが、本明細書に記載される構造及び機能を実施し得る。
【0122】
一例では、方法は、シャドウキャスタにおいて光子放射を受けることと、光度エッジを形成することとを含み得る。方法は、光として光子放射を受け取ることと、光度エッジを投影面に投影することとを含み得る。方法は、シャドウキャスタの2つの縁部部分において光子放射を受け取ることと、光子エッジの少なくとも2つの部分の2つの部分を形成することとを含み得る。光度エッジの少なくとも2つの部分は、投影面に投影される際、略平行し得る。方法は、別のシャドウキャスタにおいて他の光子放射を受け取ることと、別の光度エッジを形成することとを含み得る。他の光度エッジは、光度エッジと略同じ広がりを有し得る。方法は、投影面からある距離(例えば、最大距離)にあるシャドウキャスタの端部において隣接して配置される(例えば、実質的に軸上に)光源において光子放射を生成することを含み得る。幾つかの例では、シャドウキャスタにおいて光子放射を受け取ることは、第1の領域において光子放射を受け取ることと、光子エッジを投影面に投影することとを含み得る。シャドウキャスタは、1つ又は複数の光源と投影面との間に配置し得る。方法は、原動力を適用して、投影面にわたり光度エッジを移動させることを含み得る。
【0123】
本発明の特定の具体的な用途に目を向けて、これより
図24、
図25、
図26、
図27、
図28、
図29、及び
図30における本発明の最も好ましい実施形態を参照し、シャドウキャスタスキャナ2400を示す。
図24はシャドウキャスタスキャナ2400の正面斜視図を示す。
図25はシャドウキャスタスキャナ2400の背面斜視図である。
図26はシャドウキャスタスキャナ2400の分解組立図である。
図27は本発明のフィルタ付きシャドウキャスタ2400aの正面斜視図である。
図28は本発明のブレード付きシャドウキャスタ2400bの正面斜視図である。
図29は本発明のワイドブレード付きシャドウキャスタ2400cの正面斜視図である。
図30はシャドウキャスタスキャナ2400の動作を説明する動作フローチャート3000を示す。
【0124】
更に詳細には、
図24、
図25、
図26、
図27、
図28、
図29、及び
図30の本発明をなお参照すると、シャドウキャスタスキャナ2400は、外部筐体2410であって、カメラ開口部2432を有する背面パネル2418、上面パネル2412、旋回点2411を有する2つのサイドパネル2414、及び基部2416を有する、外部筐体2410と;シャドウキャスタ2420であって、矩形のフロントセグメント2424、2つのサイドセグメント2422であって、上記サイドセグメント2422はそれぞれ、上記フロントセグメント2424の両端部に垂直に従属し、上記サイドセグメント2422はそれぞれ、三角形及びショルダねじ穴2421及びショルダねじ2428を有するショルダマウント2423であって、上記ショルダねじ2428はナット2419及び座金2413を使用して上記サイドパネル2414に回転可能に取り付けられる、ショルダマウント2423、及び上記サイドセグメント2422に従属するタブ2426を有する、シャドウキャスタ2420と;アクチュエータ組立体2440であって、上記外部筐体2410に従属するアクチュエータアーム2442、上記アクチュエータアーム2442に従属するアクチュエータモータ2446、及び上記アクチュエータモータ2446に従属し、上記シャドウキャスタ2420の上記タブ2426に接続するアクチュエータコネクタ2444を有する、アクチュエータ組立体2440と;光源2450であって、上記光源2450は離散、連続、線形であり、上記シャドウキャスタ2420の上記サイドセグメント2422の上記ショルダマウント2423の上記ショルダねじ2428間に延在する、光源2450と;ビデオカメラ組立体2430であって、上記ビデオカメラ組立体2430は、上記外部筐体2410の上記背面パネル2418の上記カメラ開口部2432を通って延び、ビデオカメラ支持プラットフォーム2436及び上記ビデオカメラ支持プラットフォーム2436に搭載されるビデオカメラ2434であって、カメラレンズ2435、カメラ同期ポート2433、ビデオ出力ポート2439、及び制御ポート2490を有する、ビデオカメラ2434を有する、ビデオカメラ組立体2430と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記光源2450は上記シャドウキャスタ2420を照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記アクチュエータモータ2446は、上記シャドウキャスタ2420を移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記ビデオカメラ2434は、上記物体上の三次元点の上記1つ又は複数の光度エッジを捕捉し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次元点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。代替的には、
図27に示されるフィルタ付きシャドウキャスタ2420aをシャドウキャスタ2420の代わりにシャドウキャスタスキャナ2400と併用し得、フィルタ付きシャドウキャスタ2420aは、矩形のフロントセグメント2424aと、2つのサイドセグメント2422aであって、上記サイドセグメント2422aはそれぞれ、上記フロントセグメント2424aの両端部に垂直に従属し、上記サイドセグメント2422aはそれぞれ、三角形及びショルダマウント2423aを有し、上記ショルダマウント2423aはそれぞれ、ショルダねじ穴2421a及びタブ2426aを有する、サイドセグメント2422aとを有する。フロントセグメント2424a及び2つのサイドセグメント2422aは、第1のフィルタ2423a、第2のフィルタ2425a、及び第3のフィルタ2427aを更に有し、これらは異なる色の光りを濾波し得、又は様々な不透明度を有し得る。3つのみのフィルタが図に示されているが、任意の数のフィルタが使用可能である。代替的には、
図28に示されるブレード付きシャドウキャスタ2400bをシャドウキャスタ2420の代わりにシャドウキャスタスキャナ2400と併用し得、ブレード付きシャドウキャスタ2420bは、矩形のフロントセグメント2424bと、2つのサイドセグメント2422bであって、上記サイドセグメント2422bはそれぞれ、上記フロントセグメント2424bの両端部に垂直に従属し、上記サイドセグメント2422bはそれぞれ、三角形及びショルダマウント2423bを有し、上記ショルダマウント2423bはそれぞれ、ショルダねじ穴2421b及びタブ2426bを有する、サイドセグメント2422bとを有する。フロントセグメント2424b及び2つのサイドセグメント2422bは、第1のセグメント2423b、第2のセグメント2425b、及び第3のセグメント2427bを更に有して、より多くの光度エッジを生成する。3つのみのセグメントが図に示されているが、任意の数のセグメントが使用可能である。代替的には、
図29に示されるワイドブレード付きシャドウキャスタ2400cをシャドウキャスタ2420の代わりにシャドウキャスタスキャナ2400と併用し得、ワイドブレード付きシャドウキャスタ2420cは、フロントセグメント2424cと、2つのサイドセグメント2422cであって、上記サイドセグメント2422cはそれぞれ、上記フロントセグメント2424cの両端部に垂直に従属し、上記サイドセグメント2422cはそれぞれ、三角形及びショルダマウント2423cを有し、上記ショルダマウント2423cはそれぞれ、ショルダねじ穴2421c及びタブ2426cを有する、サイドセグメント2422cとを有する。フロントセグメント2424c及び2つのサイドセグメント2422cは、第1のワイドセグメント2423c、第2のワイドセグメント2425c、及び第3のワイドセグメント2427cを更に有して、より多くの光度エッジを生成する。3つのみのセグメントが図に示されているが、任意の数のセグメントが使用可能である。
図30に示される動作フローチャート3000では、シャドウキャスタスキャナ2400の動作における最初のステップは、スキャナ位置決めステップ3005において、スキャナを対象物の上に位置決めすることを含む。次に、位置合わせ判断ステップ3010において、スキャナが対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ3040においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ3015において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ3020においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ3025において、カメラは対象物の録画を開始する。次に、掃引開始ステップ3045において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ3050において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、掃引停止ステップ3060において、シャドウキャスタは対象物にわたる光度エッジの掃引を停止する。次に、点群フィルタリングステップ3070において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ3075において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、画像表示ステップ3055において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ3030において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ3025が繰り返される。別のスキャンが必要ない場合、ファイル保存ステップ3035において、モデリングされた表面は結合され、ファイルに保存される。最後に、スキャナ格納ステップ3080において、動作後、スキャナは格納される。
【0125】
図24、
図25、
図26、
図27、
図28、
図29、及び
図30に示される本発明の構築の詳細は以下である。外部筐体2410の背面パネル2418は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。外部筐体2410の上面パネル2412は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。外部筐体2410のサイドパネル2414は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。外部筐体2410の基部2416は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。シャドウキャスタ2420は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタを更に有する。ショルダねじ2428は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。ナット2419及び座金2413は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。シャドウキャスタ2420のタブ2426は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の軽量剛性材料を有する。アクチュエータ組立体2440のアクチュエータアーム2442は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。アクチュエータ組立体2440のアクチュエータモータ2446は、リニアステッパモータ、電気モータ、油圧系統等を有する。アクチュエータ組立体2440のアクチュエータコネクタ2444は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。光源2450は、白熱灯、ハロゲン灯、蛍光灯、線光、スリット付きチューブライト、LED、LEDアレイ、LEDの線形アレイ、異なる色の光源、カラーLED、レーザ、X線源、UV源、又は赤外線源等を含む。ビデオカメラ支持プラットフォーム2436は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。ビデオカメラ2434はデジタル又はアナログビデオカメラ等を含む。カメラレンズ2435は、望遠レンズ、フィルタレンズ、拡大レンズ、又は負の焦点距離を有するレンズ等を含む。非一時的コンピュータ可読媒体に記憶されるメモリは、ソフトウェア、命令、データ、又はアルゴリズム等を含む。プロセッサは、コンピュータ、携帯電話、PC、又はCPU等を含む。ディスプレイは、モニタ、スクリーン、テレビジョン、拡張現実ヘッドセット、又は顕微鏡等を含む。フィルタ付きシャドウキャスタ2420aは、液晶等の構成可能な不透明度等、又は異なる色の光を濾波し得、又は様々な不透明度を有し得る種々のカラーフィルタ等を有する。ブレード付きシャドウキャスタ2400bは、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタ等を更に有し得る。ワイドブレード付きシャドウキャスタ2400cは、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタ等を更に有し得る。
【0126】
これより本発明の別の実施形態を参照すると、
図31、
図32、
図33、
図34、
図35、及び
図36において、外科用シャドウキャスタスキャナ3100は手術中に使用されて示されている。
図31は、患者3170に対する脳手術中に使用されている外科用シャドウキャスタスキャナ3100の正面斜視図である。
図32は、脳手術中に使用されている外科用シャドウキャスタスキャナ3100の動作を説明する動作フローチャート3200を示す。
図33は、脳手術中、サイドスキャナとして使用されている外科用シャドウキャスタスキャナ3100の動作を説明するサイドスキャナフローチャート3300を示す。
図34は、脳手術中、サイドスキャナとして使用されている外科用シャドウキャスタスキャナ3100により使用されるアルゴリズムを説明するアルゴリズムフローチャート3400を示す。
図35は、患者のレジストレーションに使用されている外科用シャドウキャスタスキャナ3100を説明するレジストレーションフローチャート3500を示す。
図36は、ロボット脳手術中に使用されている外科用シャドウキャスタスキャナ3100の動作を説明するロボットフローチャート3600を示す。
【0127】
更に詳細には、
図31、
図32、
図33、
図34、
図35、及び
図36の本発明をなお参照すると、
図31において、外科用シャドウキャスタスキャナ3100は、シャドウキャスタ3120からの影3167を患者3170の開頭切開3180にわたりキャストして示されており、その間、ビデオカメラ3130は掃引を記録している。ヘッド鉗子3165、直角鉗子3161、及びロック可能屈曲アーム3163は、患者3170のスキャン中のエリアに対して外科用シャドウキャスタスキャナ3100の位置を固定する。
図32では、動作フローチャート3200は、脳手術中に使用されている外科用シャドウキャスタスキャナ3100の動作を説明する。外科用シャドウキャスタスキャナ3100の動作における最初のステップは、スキャナドレープステップ3203において、手術に適し、外科用シャドウキャスタスキャナ3100の外側に適合し、手術中の汚染から患者3170を保護可能なカスタムドレープをスキャナに掛けることを含む。次に、スキャナ位置決めステップ3205において、外科用シャドウキャスタスキャナ3100は対象物の上に位置決めされる。次に、位置合わせ判断ステップ3210において、スキャナが、この場合は患者3170の開頭切開3180である対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ3240においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ3215において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ3220においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ3225において、カメラは対象物の録画を開始する。次に、掃引開始ステップ3245において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ3250において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、新点群フィルタリングステップ3252において、新しい点群はプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ3254において、フィルタリングされた点群表示が更新される。次に、全点群フィルタリングステップ3270において、プロセッサは全点群をフィルタリングする。次に、表面構築ステップ3275において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、表面送信ステップ3263において、表面は手術ナビゲーションコンピュータに送信される。手術ナビゲーションコンピュータは、共通の三次元座標系に関連して外科医の器具がある場所及び患者がいる場所を特定するコンピュータを含む。手術ナビゲーションを使用して手術を支援する。次に、ファイル保存ステップ3235において、表面はファイルに保存される。次に、画像表示ステップ3255において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ3230において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように位置合わせ判断ステップ3210が繰り返される。次に、掃引停止ステップ3260において、シャドウキャスタは対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ3265において、カメラは録画を停止する。次に、スキャナからのドレープ取り去りステップ3277において、スキャナからドレープが取り去られる。最後に、スキャナ格納ステップ3280において、スキャナは、動作後、格納される。
図33では、サイドスキャナフローチャート3300は、脳手術中、サイドスキャナとして使用されている外科用シャドウキャスタスキャナ3100を説明する。サイドスキャナとしての外科用シャドウキャスタスキャナ3100の動作における最初のステップは、スキャナドレープステップ3303において、手術に適し、外科用シャドウキャスタスキャナ3100の外側に適合し、手術中の汚染から患者3170を保護可能なカスタムドレープをスキャナに掛けることを含む。次に、スキャナ位置決めステップ3305において、外科用シャドウキャスタスキャナ3100は対象物の横に位置決めされる。次に、位置合わせ判断ステップ3310において、スキャナが対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ3340においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ3315において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ3320においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ3325において、カメラは対象物の録画を開始する。次に、掃引開始ステップ3345において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ3350において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、掃引停止ステップ3360において、シャドウキャスタは、対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ3365において、カメラは対象物の録画を停止する。次に、点群フィルタリングステップ3370において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ3375において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ3335において、表面はファイルに保存される。次に、画像表示ステップ3355において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ3330において、別のスキャンが必要であるか否かが判断される。別のスキャンが必要な場合、なお標的設定するステップ3333において、スキャナがなお対象物に面しているか否かが判断される。スキャナがなお標的に面している場合、上述したように記録開始ステップ3325が繰り返される。スキャナがもはや標的に面していない場合、後退ステップ3337において、スキャナが後退するまで待つ。スキャナが標的に後退すると、上述したように記録開始ステップ3325が繰り返される。別のスキャンが必要ない場合、スキャナドレープ取り去りステップ3377において、スキャナからドレープが取り去られる。最後に、スキャナ格納ステップ3380において、スキャナは、動作後、格納される。
図34では、アルゴリズムフローチャート3400は、脳手術中、サイドスキャナとして使用されている外科用シャドウキャスタスキャナ3100により使用されるアルゴリズムを説明する。外科用シャドウキャスタスキャナ3100のアルゴリズムにおける最初のステップは、プログラム開始ステップ3404において、プログラムを開始することを含む。次に、パラメータ収集ステップ3408において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、記録開始ステップ3425において、カメラは録画を開始する。次に、掃引開始ステップ3445において、モータが開始されて、シャドウキャスタを移動させ、対象物にわたり光度エッジを掃引する。次に、ビデオ収集ステップ3450において、記録されたビデオのフレームが収集される。次に、バッファ判断ステップ3424において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したようにビデオ収集ステップ3450が繰り返される。バッファが解析するのに十分に埋まった場合、フレーム解析ステップ3444において、ビデオフレームが解析されて、点群を構築する。次に、新点群フィルタリングステップ3452において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ3454において、フィルタリングされた点群表示が更新される。次に、なおバッファが十分か判断するステップ3458において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ3424が繰り返される。バッファ内になお十分なフレームがある場合、掃引終了判断ステップ3478において、掃引を終了するか否かが判断される。掃引が終了しない場合、上述したようにフレーム解析ステップ3444が繰り返される。掃引が終了する場合、モータ停止ステップ3468において、モータが停止する。次に、記録停止ステップ3465において、カメラは対象物の録画を停止する。次に、フレーム解析終了ステップ3464において、フレームの解析が終了する。次に、点群フィルタリングステップ3470において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ3475において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ3435において、表面はファイルに保存される。次に、画像表示ステップ3455において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ3430において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、なお可視であるステップ3414において、標的又は基準がなおカメラの視野で可視であるか否かが判断される。標的又は基準がなお可視である場合、上述したように記録開始ステップ3425が繰り返される。標的又は基準がもう可視ではない場合、待機ステップ3412において、標的又は基準が再び可視になるのを待ち、標的又は基準が再び可視になると、上述したように記録開始ステップ3425が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ3490において、ユーザはアルゴリズムを終了する。
図35では、レジストレーションフローチャート3500が、患者レジストレーションに使用されている外科用シャドウキャスタスキャナ3100を説明する。患者のレジストレーションにおける最初のステップは、スキャナドレープステップ3503において、カスタムフォレームをスキャナに掛けることを含む。次に、スキャナ位置決めステップ3505において、外科用シャドウキャスタスキャナ3100は対象物の上に位置決めされる。次に、位置合わせ判断ステップ3510において、スキャナが対象物と位置合わせされているか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ3540においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ3515において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ3520においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ3525において、カメラは対象物の録画を開始する。次に、掃引開始ステップ3545において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ3550において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、掃引停止ステップ3560において、シャドウキャスタは、対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ3565において、カメラは対象物の録画を停止する。次に、点群フィルタリングステップ3570において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ3575において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ3235において、表面はファイルに保存される。次に、表面送信ステップ3563において、表面はナビゲーションコンピュータに送信される。次に、2スキャン判断ステップ3531において、2つのスキャンが収集されたか否かが判断される。2つの
スキャンが収集されていない場合、上述したようにスキャナ位置決めステップ3505を繰り返す。2つのスキャンが収集されている場合、第1基準識別ステップ3581において、第1の表面上の基準を識別する。次に、第2基準識別ステップ3583において、第2の表面上の対応する基準を識別する。次に、計算ステップ3585において、プロセッサを使用して剛性変換を計算する。次に、スキャナ又は患者が移動した場合、マッピングステップ3587において、剛性変換を使用して全ての表面点を新しい位置にマッピングする。最後に、動作継続ステップ3595において、動作を継続する。
図36では、ロボットフローチャート3600が、ロボット脳手術中に使用されている外科用シャドウキャスタスキャナ3100の動作を説明する。外科用シャドウキャスタスキャナ3100の手術における最初のステップは、スキャナドレープステップ3603において、手術に適し、外科用シャドウキャスタスキャナ3100の外側に適合し、手術中の汚染から患者3170を保護可能なカスタムドレープをスキャナに掛けることを含む。次に、スキャナ位置決めステップ3605において、外科用シャドウキャスタスキャナ3100は、ロボット制御されるモータを使用して対象物の上に位置決めされる。次に、位置合わせ判断ステップ3610において、スキャナが対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ3640においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ3615において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ3620においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ3625において、カメラは対象物の録画を開始する。次に、掃引開始ステップ3645において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ3650において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、新点群フィルタリングステップ3652において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ3654において、フィルタリングされた点群表示が更新される。次に、全体スキャン判断ステップ3667において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したように収集及び解析ステップ3650を繰り返す。関心領域全体がスキャンされた場合、全体点群フィルタリングステップ3670において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ3675において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、表面送信ステップ3663において、表面は手術ナビゲーションコンピュータに送信される。次に、ファイル保存ステップ3635において、表面はファイルに保存される。次に、画像表示ステップ3655において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ3630において、別のスキャンが必要であるか否かが判断される。別のスキャンが必要な場合、上述したように位置合わせ判断ステップ3610が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ3660において、シャドウキャスタは対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ3665において、カメラは対象物の録画を停止する。次に、スキャナドレープ取り去りステップ3677において、スキャナからドレープが取り去られる。最後に、スキャナ格納ステップ3680において、スキャナは、動作後、格納される。
【0128】
図31、
図32、
図33、
図34、
図35、及び
図36に示される本発明の構築の詳細は、外科用シャドウキャスタスキャナ3100が、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有することである。シャドウキャスタ3120は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタ等を更に有し得る。ビデオカメラ3130はデジタル又はアナログビデオカメラ等を含む。ヘッド鉗子3165、直角鉗子3161、及びロック可能屈曲アーム3163は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。
【0129】
これより本発明の別の実施形態を参照して、
図37、
図38、
図39、
図40、
図41、
図42、
図43、及び
図44にシャドウキャスタの内視鏡版を示す。
図37は、内視鏡シャドウキャスタスキャナ3700の正面斜視図である。
図38は、内視鏡シャドウキャスタスキャナ3700の分解組立図である。
図39は、スリット移動式内視鏡シャドウキャスタスキャナ3900の正面斜視図である。
図40は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の先端部4000、4000a、及び4000bの正面斜視図及び分解組立図を示す。
図41は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の光路を説明する光路ブロック
図4100を示す。
図42は、手術中の内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の動作を説明する内視鏡動作フローチャート4200を示す。
図43は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900により使用されるアルゴリズムを記述する内視鏡アルゴリズムフローチャート4300を示す。
図44は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900のシャドウキャスタ掃引を説明する内視鏡掃引フローチャート4400を示す。
【0130】
更に詳細には、
図37、
図38、
図39、
図40、
図41、
図42、
図43、及び
図44の本発明をなお参照すると、
図37、
図38、及び
図40において、内視鏡シャドウキャスタスキャナ3700が任意選択的な先端部4001、4001a、又は4001bと共に示される。内視鏡シャドウキャスタスキャナ3700は、内視鏡本体4000、4000a、及び4000bであって、上記内視鏡本体4000、4000a、又は4000bは基端部3701、先端部4001、4001a、又は4001b、上記基端部3701と上記先端部4001、4001a、又は4001bとの間に広がる内視鏡スリーブ4010、4010a、又は4010b、上記内視鏡スリーブ4010、4010a、又は4010b内に配置され、上記先端部4001、4001a、又は4001bに向かって先細るテーパ光ファイバ束4060a及び4060b、及び上記内視鏡スリーブ4010、4010a、又は4010b内に配置され、上記先端部4001、4001a、又は4001bを向いた内視鏡カメラ4030、4030a、又は4030bを有する、内視鏡本体4000、4000a、及び4000bと;上記テーパ光ファイバ束4060a及び4060bの上方に上記内視鏡本体4000、4000a、又は4000bの上記先端部4001、4001a、又は4001bに搭載されるシャドウキャスタ4020、4020a、又は4020bであって、半円ピースを有する、シャドウキャスタ4020、4020a、又は4020bと;光出射部3700であって、水平プラットフォーム3730、上記水平プラットフォーム3730から膨張した垂直スタンド3705、上記水平プラットフォーム3730から膨張したステッパモータリニアアクチュエータ3740、上記ステッパモータリニアアクチュエータ3740に接続される並進プラットフォーム3715、上記並進プラットフォーム3715に従属する光源3701、円柱レンズ3760、画像保持光ファイバ束であり得、上記光源3701に従属する光ファイバ束3710、上記光ファイバ束3710に従属する角丸テーパ3720、及び上記角丸テーパ3720に搭載されるスリット3725を有する、光出射部3700と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記光出射部3700は、上記内視鏡本体4000、4000a、及び4000bの上記基端部3701に接続され、上記光源3701は上記光ファイバ束3710、上記角丸テーパ3720、上記スリット3725、上記テーパ光ファイバ束4060a、及び上記シャドウキャスタ4020又は4020aを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記ステッパモータリニアアクチュエータ3740は、上記光源3701と共に上記並進プラットフォーム3715を移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記内視鏡カメラ4030、4030a、又は4030bは、上記物体上の三次元点の上記1つ又は複数の光度エッジを検出し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次原点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。
図39及び
図40には、スリット移動式内視鏡シャドウキャスタスキャナ3900が、任意選択的な先端部4001、4001a、又は4001bと共に示される。スリット移動式内視鏡シャドウキャスタスキャナ3900は、内視鏡本体4000、4000a、及び4000bであって、基端部3701(
図37及び
図38に示される)、先端部4001、4001a、又は4001b、上記基端部3701と上記先端部4001、4001a、又は4001bとの間に広がる内視鏡スリーブ4010、4010a、又は4010b、上記内視鏡スリーブ4010、又は4010a内に配置され、上記先端部4001、4001a、又は4001bに向かって先細るテーパ光ファイバ束4060a、及び上記内視鏡スリーブ4010、4010a、又は4010b内に配置され、上記先端部4001、4001a、又は4001bを向いた内視鏡カメラ4030、4030a、又は4030bを有する、内視鏡本体4000、4000a、及び4000bと;上記テーパ光ファイバ束4060aの上方に上記内視鏡本体4000、4000a、又は4000bの上記先端部4001、4001a、又は4001bに搭載されるシャドウキャスタ4020、4020a、又は4020bであって、半円ピースを有する、シャドウキャスタ4020、4020a、又は4020bと;光出射部3900であって、水平プラットフォーム3930、上記水平プラットフォーム3930から膨張した垂直スタンド3905、上記水平プラットフォーム3930から膨張したステッパモータリニアアクチュエータ3940、上記垂直スタンド3905に従属する支持プラットフォーム3915、光源(図示せず)、上記光源に従属する光ファイバ束3910、上記光ファイバ束3910に従属する角丸テーパ3920、及び上記ステッパモータリニアアクチュエータ3940に搭載されるスリット3925を有する、光出射部3900と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記光出射部3900は上記光源に接続され、上記光源は上記光ファイバ束3910、上記角丸テーパ3920、上記スリット3925、上記テーパ光ファイバ束4060a、及び上記シャドウキャスタ4020又は4020aを照明して、既知のジオメトリの高コントラストシャドウを投影し、上記高コントラストシャドウは上記1つ又は複数の光度エッジを上記物体上に形成し、上記ステッパモータリニアアクチュエータ3940は、上記スリット3925を移動させて、上記物体にわたり上記1つ又は複数の光度エッジを掃引し、上記内視鏡カメラ4030、4030a、又は4030bは、上記物体上の三次元点の上記1つ又は複数の光度エッジを検出し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次元点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記物体の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。
図41では、光路ブロック
図4100は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の光路を説明する。まず、光源ステップ4110において、光は光源3701から発せられる。次に、ソース注入ステップ4120において、光は光出射部3700及び3900を通して照明され、ここで、光源3701が移動するか、又はスリット3925が移動する。次に、ファイバステップ4130において、光出射部3700及び3900からの光はテーパ光ファイバ束4060aを下に伝達する。次に、先端部ステップ4140において、光は上記内視鏡本体4000、4000a、又は4000bの先端部先端部4001、4001a、又は4001bからシャドウキャスタ4020、4020a、又は4020bにわたり投影される。次に、カメラステップ4150において、光及び光度エッジは内視鏡カメラ4030、4030a、又は4030bにより検出される。最後に、コンピュータステップ4160において、内視鏡カメラ4030、4030a、又は4030bからの画像はプロセッサに送信されて、三次元モデルに処理される。
図42では、内視鏡動作フローチャート4200は、スキャナドレープステップ4203において、手術中に使用されている内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の動作を説明する。内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900の動作の最初のステップは、手術に適し、内視鏡シャドウキャスタスキャナ3700又はスリット移動式内視鏡シャドウキャスタスキャナ3900の外側に適合し、手術中の汚染から患者を保護可能なカスタムドレープをスキャナに掛けることを含む。次に、スキャナ挿入ステップ4205において、内視鏡シャドウキャスタスキャナ3700又はスリット移動式内視鏡シャドウキャスタスキャナ3900の先端部4001、4001a、又は4001bは、天然又は人造のオリフィスに挿入される。次に、イネーブルステップ4210において、光源3701及び内視鏡カメラ4030、4030a、又は4030bがイネーブルされる。次に、ナビゲートステップ4240において、内視鏡シャドウキャスタスキャナ3700又はスリット移動式内視鏡シャドウキャスタスキャナ3900の先端部4001、4001a、又は4001bは、標的にナビゲートされる。次に、フォーカス判断ステップ4215において、内視鏡カメラ4030、4030a、又は4030bが標的にフォーカスしているか否かが判断される。内視鏡カメラ4030、4030a、又は4030bがフォーカスされていない場合、カメラフォーカスステップ4220において、内視鏡カメラ4030、4030a、又は4030bはフォーカスされる。内視鏡カメラ4030、4030a、又は4030bがフォーカスされると、記録開始ステップ4225において、内視鏡カメラ4030、4030a、又は4030bは標的の録画を開始する。次に、掃引開始ステップ4245において、光度エッジは、内視鏡シャドウキャスタスキャナ3700の光源3701又はスリット移動式内視鏡シャドウキャスタスキャナ3900のスリット3925を移動させることにより対象物にわたる掃引を開始する。次に、収集及び解析ステップ4250において、プロセッサにより記録されたビデオのフレームが収集、解析されて、点群を作成する。次に、新点群フィルタリングステップ4252において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ4254において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ4267において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したように収集及び解析ステップ4250を繰り返す。関心領域全体がスキャンされた場合、全体点群フィルタリングステップ4270において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ3275において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、表面送信ステップ4263において、表面は手術ナビゲーションコンピュータに送信される。次に、ファイル保存ステップ4235において、表面はファイルに保存される。次に、画像表示ステップ4255において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ4230において、別のスキャンが必要であるか否かが判断される。別のスキャンが必要な場合、上述したように掃引開始ステップ4245が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ4260において、光度エッジは対象物にわたる掃引を停止する。次に、記録停止ステップ4265において、カメラは対象物の録画を停止する。次に、スキャナドレープ取り去りステップ4277において、スキャナからドレープが取り去られる。最後に、スキャナ格納ステップ4280において、スキャナは、動作後、格納される。
図43では、内視鏡アルゴリズムフローチャート4300は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900により使用されるアルゴリズムを説明する。内視鏡シャドウキャスタスキャナ3700又はスリット移
動式内視鏡シャドウキャスタスキャナ3900のアルゴリズムにおける最初のステップは、プログラム開始ステップ4304において、プログラムを開始することを含む。次に、パラメータ収集ステップ4308において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、記録開始ステップ4325において、内視鏡カメラ4030、4030a、又は4030bは録画を開始する。次に、掃引開始ステップ4345において、ステッパモータリニアアクチュエータ3740又は3940が開始されて、内視鏡シャドウキャスタスキャナ3700の光源3701又はスリット移動式内視鏡シャドウキャスタスキャナ3900のスリット3925を移動させ、対象物にわたり光度エッジを掃引する。次に、ビデオ収集ステップ4350において、記録されたビデオのフレームが収集される。次に、バッファ判断ステップ4324において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したようにビデオ収集ステップ4350が繰り返される。バッファが解析するのに十分に埋まった場合、フレーム解析ステップ4344において、ビデオフレームが解析されて、点群を構築する。次に、なおバッファが十分か判断するステップ4358において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ4324が繰り返される。バッファ内になお十分なフレームがある場合、掃引終了判断ステップ4378において、掃引を終了するか否かが判断される。掃引が終了しない場合、上述したようにフレーム解析ステップ4344が繰り返される。掃引が終了する場合、モータ停止ステップ4368において、ステッパモータリニアアクチュエータ3740又は3940が停止する。次に、記録停止ステップ4365において、内視鏡カメラ4030、4030a、又は4030bは対象物の録画を停止する。次に、フレーム解析終了ステップ4364において、フレームの解析が終了する。次に、点群フィルタリングステップ4370において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ4375において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ4335において、表面はファイルに保存される。次に、画像表示ステップ4355において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ4330において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ4325が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ4390において、ユーザはアルゴリズムを終了する。
図44では、内視鏡掃引フローチャート4400は、内視鏡シャドウキャスタスキャナ3700及びスリット移動式内視鏡シャドウキャスタスキャナ3900のシャドウキャスタ掃引を説明する。まず、モータパラメータ設定ステップ4407において、ステッパモータリニアアクチュエータ3740又は3940のパラメータが設定される。次に、掃引開始ステップ4445において、内視鏡シャドウキャスタスキャナ3700の光源3701又はスリット移動式内視鏡シャドウキャスタスキャナ3900のスリット3925を移動させることにより、光源3701は掃引を開始する。次に、現在モータ位置取得ステップ4447において、ステッパモータリニアアクチュエータ3740又は3940の位置が特定される。次に、掃引端部判断ステップ4449において、光源が掃引の端部に達したか否かが判断される。光源が掃引の端部に達していなかった場合、上述したように現在モータ位置取得ステップ4447が繰り返される。光源が掃引の端部に達しており、別のスキャンが必要な場合、アルゴリズムリピートステップ4494において、最初のスキャンとは逆方向でモータパラメータ設定ステップ4407が繰り返される。上記テーパ光ファイバ束4060bを使用するために、基端部テーパ光ファイバ束3720及び3920は、先端テーパ光ファイバ束4060bと同じ形状、例えば、半丸角に先細らなければならない。
【0131】
図37、
図38、
図39、
図40、
図41、
図42、
図43、及び
図44に示される本発明の構築の詳細は、内視鏡スリーブ4010、4010a、又は4010bが、プラスチック、シリコーン、又は金属等の可撓性材料を含むことである。テーパ光ファイバ束例えば4060a及び4060bは、光ファイバ、ガラス、プラスチック、又は複合材料等を含む。内視鏡カメラ4030、4030a、又は4030bは、標準内視鏡カメラ等を含む。シャドウキャスタ4020、4020a、又は4020bは、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタ等を更に有し得る。水平プラットフォーム3730及び3930は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。垂直スタンド3705及び3905は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。ステッパモータリニアアクチュエータ3740及び3940は、リニアステッパモータ、電気モータ、又は油圧系統等を有する。並進プラットフォーム3715は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。光源3701は、熱灯、ハロゲン灯、蛍光灯、線光、スリット付きチューブライト、LED、LEDアレイ、LEDの線形アレイ、異なる色の光源、カラーLED、レーザ、X線源、UV源、又は赤外線源等を含む。円柱レンズ3760は、ガラス、アクリル、又はセラミック等の光学材料を含む。光ファイバ束3710及び3910は、ガラス、アクリル、又はセラミック等の光学材料を含む。角丸テーパ3720及び3920はガラス、又はプラスチック等を含む。スリット3725は、鋼、銅クラッディング、プラスチック、高密度プラスチック、不透明ペイント、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の不透明材料を有する。非一時的コンピュータ可読媒体に記憶されるメモリは、ソフトウェア、命令、データ、又はアルゴリズム等を含む。プロセッサは、コンピュータ、携帯電話、PC、又はCPU等を含む。ディスプレイは、モニタ、スクリーン、テレビジョン、拡張現実ヘッドセット、又は顕微鏡等を含む。支持プラットフォーム3915は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。スリット3925は、鋼、銅クラッディング、プラスチック、高密度プラスチック、不透明ペイント、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の不透明材料を有する。
【0132】
これより
図45及び
図46における本発明の別の実施形態を参照して、全人シャドウスキャナ4500を示す。
図45は、全人4570をスキャンする全人シャドウスキャナ4500の正面斜視図である。
図46は、全人シャドウスキャナ4500の動作を説明する全人動作フローチャート4600を示す。
関する。
【0133】
更に詳細には、なお
図45及び
図46の本発明を参照すると、全人シャドウスキャナ4500はシャドウキャスタスキャナ2400と構築が同様であるが、全人4570の表面をスキャンするようにスケーリングされ構成されており、部屋の天井等の全人4570の上方に搭載し得る。全人シャドウスキャナ4500は、全人シャドウキャスタ4520を使用して、全人4570上に光度エッジを投影し、全人カメラ4530を使用して光度エッジを記録する。全人シャドウスキャナ4500は、皮膚のスキャン又は皮膚科学的検査の実行に使用され、黒子、そばかす、皮膚病変、皮膚癌、いぼ、腫瘍、異常、又は傷等の全人4570の皮膚の特徴をマッピングすることが可能である。任意選択的に、人を全人シャドウスキャナ4500及び/又は同様のスキャナのより小さな実施形態のかなり近くに配置して、より小さな関心領域にわたりより高解像度のスキャンを行い、例えば、1つの黒子の三次元形状に集中し得る。異なる時間に実行されたスキャンはまた、全人4570の皮膚変化の記録を提供することもでき、例えば、新しい黒子又は変化している特徴の記録を確立し得る。更に、カラーフィルタとの併用により、スキャン中、腫瘍又は癌領域の識別等の異なる組織を識別し得る。
図46では、全人動作フローチャート4600は、使用されている全人シャドウスキャナ4500の動作を説明する。全人シャドウスキャナ4500の動作における最初のステップは、スキャナ位置決めステップ4605において、全人シャドウスキャナ4500を全人4570の上方に位置決めされた又は全人4570を全人シャドウスキャナ4500の下に位置決めすることを含む。次に、位置合わせ判断ステップ4610において、全人シャドウスキャナ4500が、この場合は全人4570である対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ4640においてスキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ4615において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ4620においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ4625において、カメラは対象物の録画を開始する。次に、掃引開始ステップ4645において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ4650において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、掃引停止ステップ4660において、シャドウキャスタ4520は対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ4665において、カメラは対象物の録画を停止する。次に、点群フィルタリングステップ4670において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ4675において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、画像表示ステップ4655において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ4630において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように掃引開始ステップ4645が繰り返される。別のスキャンが必要ない場合、ファイル保存ステップ4635において、表面は結合され、ファイルに保存される。最後に、スキャナ格納ステップ4680において、動作後、全人シャドウスキャナ4500は格納される。
【0134】
【0135】
これより本発明の別の実施形態を参照すると、
図47及び
図48において、セキュリティシャドウスキャナ4700を示す。
図47は、歩行者4770をスキャンしているセキュリティシャドウスキャナ4700の正面斜視図である。
図46は、セキュリティシャドウスキャナ4700の動作を説明するセキュリティスキャナ動作フローチャート4800を示す。
【0136】
更に詳細には、なお
図47及び
図48を参照すると、セキュリティシャドウスキャナ4700はシャドウキャスタスキャナ2400と構築が同様であるが、歩行者4770の移動を使用して、光度エッジを掃引し得、歩行者4770の速度を測定するために、壁4772に搭載し得る1つ又は複数の追加のカメラ4737を更に有し得る。セキュリティシャドウスキャナ4700は、歩行者4770の表面をスキャンすることができるようにスケーリングされ構成されており、部屋4710の天井4776等の歩行者4770の上方に搭載し得る。他のバージョンは、部屋の天井に光源を搭載し得る。セキュリティシャドウスキャナ4700は、静止シャドウキャスタ4720を使用して、歩行者4770に光度エッジを投影し、セキュリティカメラ4730及び任意選択的に追加のカメラ4737を使用して光度エッジを記録する。追加のカメラ4737(そして実際には、セキュリティカメラ4730及び追加のカメラ4737の両方)は、光度エッジのみならず、物体自体も検出して、物体の速度特定を助けることができる。セキュリティシャドウスキャナ4700は、セキュリティリスクについて人をスキャンするのに使用され、建物のエントランス又はセキュアエリアへの入口に配置し得る。さらに、カラーフィルタとの併用により、武器又は密輸品の識別等の異なる特徴をスキャン中に識別し得る。
図48では、セキュリティスキャナ動作フローチャート4800は、使用されているセキュリティシャドウスキャナ4700の動作を説明する。セキュリティシャドウスキャナ4700の動作における最初のステップは、スキャナアクティブ化ステップ4801において、セキュリティシャドウスキャナ4700をアクティブ化することを含む。次に、フォーカス判断ステップ4815において、セキュリティカメラ4730及び任意選択的に追加のカメラ4737が対象物にフォーカスされているか否かが判断される。セキュリティカメラ4730及び任意選択的に追加のカメラ4737がフォーカスされていない場合、カメラフォーカスステップ4820においてセキュリティカメラ4730及び任意選択的に追加のカメラ4737はフォーカスされる。セキュリティカメラ4730及び任意選択的に追加のカメラ4737がフォーカスされると、記録開始ステップ4825において、セキュリティカメラ4730及び任意選択的に追加のカメラ4737のビューにわたり歩いている歩行者4770としての対象物の録画を開始する。次に、フレーム収集ステップ4850において、記録されたビデオのフレームはプロセッサにより収集される。次に、速度計算ステップ4851において、対象物、この場合は歩行者4770の速度がプロセッサにより計算される。次に、フレーム解析ステップ4844において、セキュリティカメラ4730からのフレームはプロセッサを使用して解析されて、点群を作成する。次に、全体スキャン判断ステップ4867において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したようにフレーム収集ステップ4850が繰り返される。関心領域全体がスキャンされた場合、点群フィルタリングステップ4870において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ4875において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ4835において、表面はファイルに保存される。次に、表面送信ステップ4871において、表面はプロセッサに送信されて表示される。別スキャン判断ステップ4830において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したようにフレーム収集ステップ4850が繰り返される。最後に、別のスキャンが必要ない場合、スキャナ非アクティブ化ステップ4881において、スキャナは非アクティブ化される。
【0137】
【0138】
これより本発明の別の実施形態を参照して、
図49、
図50、
図51、
図52、及び
図53にビジョンシャドウスキャナ4900を示す。
図49は、自動車4901である車両に組み込まれたビジョンシャドウスキャナ4900の正面斜視図である。
図50は、
図49の指示エリア4911の拡大図である。
図51は、車両に組み込まれたビジョンシャドウスキャナ4900の動作を説明するビジョンスキャナ動作フローチャート5100を表示する。
図52は、ロボットに組み込まれたビジョンシャドウスキャナ4900の動作を説明するロボットビジョンスキャナ動作フローチャート5200を示す。
図53は、潜水艇に組み込まれたビジョンシャドウスキャナ4900の動作を説明する潜水可能なビジョンスキャナ動作フローチャート5300である。
【0139】
更に詳細には、なお
図49、
図50、
図51、
図52、及び
図53の本発明を参照すると、ビジョンシャドウスキャナ4900は、移動中の車両の動きを使用して、車両の周囲にわたり光度エッジを掃引して、周囲の三次元モデルを生成し、ビジョンシャドウスキャナ4900は、頂点4999を有するシャドウキャスタ4920であって、自動車両4901のヘッドライト4998の上に、上記頂点4999に従属する光源4950の上方に搭載されるか、又は
図14に記載される物と一貫する光源4950と共に自動車4901の内部に配置されるシャドウキャスタ4920と、自動車4901のルーフ4903に搭載されたカメラ4930と、プロセッサ(図示せず)とを有する。
図51では、ビジョンスキャナ動作フローチャート5100は、車両に組み込まれたビジョンシャドウスキャナ4900の動作を説明する。ビジョンシャドウスキャナ4900の動作における最初のステップは、スキャナアクティブ化ステップ5101において、ビジョンシャドウスキャナ4900をアクティブ化することを含む。次に、位置合わせ判断ステップ5110において、ビジョンシャドウスキャナ4900が位置合わせされているか否かが判断される。ビジョンシャドウスキャナ4900が位置合わせされていない場合、スキャナ位置合わせステップ5140において、モータを使用してビジョンシャドウスキャナ4900を位置合わせする。ビジョンシャドウスキャナ4900が位置合わせされると、フォーカス判断ステップ5115において、カメラ4930がフォーカスされているか否かが判断される。カメラ4930がフォーカスされていない場合、カメラフォーカスステップ5120において、カメラ4930はモータを使用してフォーカスされる。カメラ4930がフォーカスされると、記録開始ステップ5125において、カメラ4930は車両の周囲の録画を開始する。次に、フレーム収集ステップ5150において、記録されたビデオのフレームはプロセッサにより収集される。次に、速度特定ステップ5151において、プロセッサにより車両の速度が特定される。次に、フレーム解析ステップ5144において、カメラ4930からのフレームはプロセッサを使用して解析されて、点群を作成する。次に、全体スキャン判断ステップ5167において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したようにフレーム収集ステップ5150が繰り返される。関心領域全体がスキャンされた場合、点群フィルタリングステップ5170において、プロセッサは点群全体をフィルタリングする。次に、表面構築ステップ5175において、プロセッサは、フィルタリングされた点群から車両の周囲の三次元モデルを構築する。次に、表面送信ステップ5171において、表面はプロセッサに送信される。次に、別スキャン判断ステップ5130において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように位置合わせ判断ステップ5110が繰り返される。次に、別のスキャンが必要ない場合、記録停止ステップ5165において、カメラ4930は車両の周囲の録画を停止する。最後に、スキャナ非アクティブ化ステップ5181において、スキャナは非アクティブ化される。
図52では、ロボットビジョンスキャナ動作フローチャート5200は、車両の速度に頼って周囲にわたり光度エッジを掃引する代わりに、ロボットの周囲を能動的にスキャンすることでビジョンシャドウスキャナ4900と異なる、ロボットに組み込まれたシャドウキャスタスキャナの動作を説明する。ロボット憎み込まれるスキャナの動作における最初のステップは、スキャナアクティブ化ステップ5201においてスキャナをアクティブ化することを含む。次に、位置合わせ判断ステップ5210において、スキャナが位置合わせされているか否かが判断される。スキャナが位置合わせされていない場合、スキャナ位置合わせステップ5240において、スキャナはロボット制御モータを使用して位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ5215において、カメラがフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ5220において、カメラはロボット制御モータを使用してフォーカスされる。カメラがフォーカスされると、記録開始ステップ5225において、カメラはロボットの周囲の録画を開始する。次に、掃引開始ステップ5245において、シャドウキャスタはロボットの周囲にわたる光度エッジの掃引を開始する。次に、フレーム収集及び解析ステップ5250において、記録されたビデオのフレームはプロセッサにより収集、解析されて、点群を作成する。次に、全体スキャン判断ステップ5267において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したようにフレーム収集及び解析ステップステップ5250が繰り返される。関心領域全体がスキャンされた場合、点群フィルタリングステップ5270において、プロセッサは点群全体をフィルタリングする。次に、表面構築ステップ5275において、プロセッサは、フィルタリングされた点群からロボットの周囲の三次元モデルを構築する。次に、表面送信ステップ5271において、表面はロボットのプロセッサに送信される。次に、別スキャン判断ステップ5230において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように位置合わせ判断ステップ5210が繰り返される。次に、別のスキャンが必要ない場合、掃引停止ステップ5260において、シャドウキャスタは、ロボットの周囲にわたる光度エッジの掃引を停止する。次に、記録停止ステップ5265において、カメラはロボットの周囲の録画を停止する。最後に、スキャナ非アクティブ化ステップ5281において、スキャナは非アクティブ化される。
図53では、潜水可能なビジョンスキャナ動作フローチャート5300は、水中の潜水艇に組み込まれたシャドウキャスタスキャナの動作を説明する。潜水艇に組み込まれたスキャナの動作における最初のステップは、スキャナアクティブ化ステップ5301においてスキャナをアクティブ化することを含む。次に、フォーカス判断ステップ5315において、カメラがフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ5320において、カメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ5325において、カメラは潜水艇の周囲の録画を開始する。次に、掃引開始ステップ5345において、光又は移動中の潜水艇は潜水艇の周囲にわたる光度エッジの掃引を開始する。次に、フレーム収集及び解析ステップ5350において、記録されたビデオのフレームはプロセッサにより収集、解析されて、点群を作成する。次に、掃引停止ステップ5360において、光は掃引を停止し、又は潜水艇は移動を停止し、それにより、光度エッジは潜水艇の周囲にわたる掃引を停止する。次に、点群フィルタリングステップ5370において、プロセッサは点群全体をフィルタリングする。次に、表面構築ステップ5375において、プロセッサは、フィルタリングされた点群から潜水艇の周囲の三次元モデルを構築する。次に、表面保存ステップ5335において、表面はファイルに保存される。次に、画像表示ステップ5355において、表面はプロセッサによりディスプレイに表示される。次に、別スキャン判断ステップ5330において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ5325が繰り返される。最後に、別のスキャンが必要ない場合、スキャナ非アクティブ化ステップ5381において、スキャナは非アクティブ化される。
【0140】
図49、
図50、
図51、
図52、及び
図53に示される本発明の構築の詳細は、シャドウキャスタ4920が、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度、又は種々のカラーフィルタを更に有し得ることである。ヘッドライト4998は、標準のヘッドライト又はカスタムヘッドライト等を含む。光源4950は線光又は点源等を含む。自動車4901は、標準の自動車、自律自動車、遠隔制御自動車、ロボット、又は潜水艇等を含む。カメラ4930はデジタル又はアナログビデオカメラ等を含む。
【0141】
これより本発明の別の実施形態を参照して、
図54、
図55、
図56、
図57、
図58、及び
図59に、ドローンを使用して、シャドウキャスタを用いて大きなエリアをスキャンする本発明のシステムを示す。
図54は、ドローン及び太陽の光を使用して、家5470をスキャンする太陽ドローンシャドウキャスタスキャナシステム5400の正面斜視図を示す。
図55は、太陽ドローンシャドウキャスタスキャナシステム5400の動作を説明する太陽ドローン動作フローチャート5500である。
図56は、光源と共にドローンを使用してエリアをスキャンするドローンシャドウキャスタスキャナシステム5600の正面斜視図である。
図57は、ドローンシャドウキャスタスキャナシステム5600の動作を説明するドローン動作フローチャート5700である。
図58は、太陽ドローンシャドウキャスタスキャナシステム5400及びドローンシャドウキャスタスキャナシステム5600により使用されるアルゴリズムを説明するドローンアルゴリズムフローチャート5800を示す。
図59は、太陽ドローンシャドウキャスタスキャナシステム5400及びドローンシャドウキャスタスキャナシステム5600により使用されるシャドウキャスタ掃引を説明するドローン掃引フローチャート5900である。
【0142】
更に詳細には、なお
図54、
図55、
図56、
図57、
図58、及び
図59の本発明を参照すると、
図54及び
図55において、太陽ドローンシャドウキャスタスキャナシステム5400は、遠隔制御される飛行車両及びシャドウキャスタ5424を有するドローンをそれぞれ有する複数のシャドウドローン5420であって、上記シャドウキャスタ5424は、上記ドローンに従属するパネルを有する、複数のシャドウドローン5420と;上記ドローン及びビデオカメラを有する複数のカメラドローン5430であって、上記ビデオカメラは上記ドローンに従属する、複数のカメラドローン5430と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記シャドウドローン5420及び上記カメラドローン5430を制御可能であり、上記コンピュータ可読媒体を有するプロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記シャドウキャスタ5424は、略連続した集合的シャドウキャスタを形成し、上記集合的シャドウキャスタは、位置合わせされた上記シャドウキャスタ5424を有し、前記太陽は上記集合的シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウ5467を投影し、高コントラストシャドウ5467により、家5470及びその周囲に上記1つ又は複数の光度エッジを形成し、上記飛行フォーメーションで位置合わせされた上記複数のシャドウドローン5420は、上記エリアをフォーメーションで移動して、上記家5470及びその周囲にわたり上記1つ又は複数の光度エッジを掃引し、上記カメラドローン5430の上記ビデオカメラは、上記家5470及びその周囲の三次元点の上記1つ又は複数の光度エッジを検出し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次原点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記家5470及びその周囲の上記三次元モデルを生成し、上記三次元モデルは上記プロセッサにより上記ディスプレイに表示される。
図55では、太陽ドローン動作フローチャート5500は、太陽ドローンシャドウキャスタスキャナシステム5400の動作を説明する。太陽ドローンシャドウキャスタスキャナシステム5400の動作における最初のステップは、シャドウキャスタ取り付けステップ5502において、シャドウキャスタ5424をシャドウドローン5420に取り付けることを含む。次に、シャドウキャスタ配置ステップ5511において、シャドウドローン5420は、空中で略連続したシャドウキャスタを形成するように配置される。次に、カメラドローン位置決めステップ5505において、カメラドローン5430は空中でシャドウドローン5420の上方に位置決めされる。次に、位置合わせ判断ステップ5510において、シャドウドローン5420がカメラドローン5430と位置合わせされたか否かが判断される。シャドウドローン5420がカメラドローン5430と位置合わせされていない場合、ドローン位置合わせステップ5540において、ドローンは位置合わせされる。シャドウドローン5420がカメラドローン5430と位置合わせされると、フォーカス判断ステップ5515において、カメラドローン5430が対象物にフォーカスされているか否かが判断される。カメラドロ-ン5430がフォーカスされていない場合、カメラフォーカスステップ5520において、カメラドローン5430はフォーカスされる。カメラドローン5430がフォーカスされると、記録開始ステップ5525において、カメラドローン5430は対象物の録画を開始する。次に、掃引開始ステップ5545において、シャドウドローン5420は、太陽を光源として使用して、対象物にわたり及び対象物の上方をユニゾンで飛行することで対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ5550において、記録されたビデオのフレームはプロセッサにより収集、解析されて、点群を作成する。次に、新点群フィルタリングステップ5574において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ5554において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ5567において、物体全体がスキャンされたか否かが判断される。物体全体がスキャンされていない場合、上述したように収集及び解析ステップ5550が繰り返される。物体全体がスキャンされた場合、全体点群フィルタリングステップ5570において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ5575において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ5535において、表面はファイルに保存される。次に、画像表示ステップ5555において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ5530において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したようにシャドウキャスタ配置ステップ5511が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ5560において、シャドウドローン5420は対象物にわたる光度エッジの掃引を停止する。最後に、スキャナ格納ステップ5580において、ドローンは、動作後、格納される。
図56及び
図57では、ドローンシャドウキャスタスキャナシステム5600は、複数のシャドウドローン5620であって、上記シャドウドローン5620はそれぞれ、遠隔制御される飛行車両を有するドローン及び上記ドローンに従属するパネルを有するシャドウキャスタ5624を有する、複数のシャドウドローン5620と;複数のライトドローン5650であって、上記ライトドローン5650はそれぞれ、上記ドローン及び上記ドローンに従属する光源を有する、複数のライトドローン5650と;複数のカメラドローン5630であって、上記カメラドローン5630はそれぞれ、上記ドローン及び上記ドローンに従属するビデオカメラを有する、複数のカメラドローン5630と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記シャドウドローン5620、上記ライトドローン5650、及び上記カメラドローン5630を制御することが可能なプロセッサ(図示せず)であって、上記コンピュータ可読媒体を有する、プロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記複数のシャドウドローン5640は、上記シャドウキャスタ5624が実質的に連続した集合的シャドウキャスタを形成するように、飛行フォーメーションで位置合わせされ、上記集合的シャドウキャスタは位置合わせされた上記シャドウキャスタ5624を含み、上記ライトドローン5650は上記集合的シャドウキャスタを照明して、既知のジオメトリの高コントラストシャドウ5667を投影し、上記高コントラストシャドウ5667は上記1つ又は複数の光度エッジを家5670及びその周囲に形成し、上記飛行フォーメーションの位置合わせされた上記複数のシャドウドローン5620は、上記家5670及びその周囲にわたりフォーメーションで移動して、上記家5670及びその周囲にわたり上記1つ又は複数の光度エッジを掃引し、上記カメラドローン5630の上記ビデオカメラは、上記家5670及びその周囲の三次元点の上記1つ又は複数の光度エッジを検出し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次元点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記家5670及びその周囲の上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。
図57では、ドローン動作フローチャート5700は、ドローンシャドウキャスタスキャナシステム5600の動作を説明する。ドローンシャドウキャスタスキャナシステム5600の動作における最初のステップは、シャドウキャスタ取り付けステップ5702において、シャドウキャスタ5624をシャドウドローン5620に取り付けることを含む。次に、ライト取り付けステップ5708において、ライトがライトドローン5650に取り付けられる。次に、ライトドローン位置決めステップ5718において、ライトドローン5650は空中で位置決めされる。次に、シャドウキャスタ配置ステップ5711において、シャドウドローン5620は、空中に略連続したシャドウキャスタを形成するように配置される。次に、カメラドローン位置決めステップ5705において、カメラドローン5630は空中でシャドウドローン5620の上方に位置決めされる。次に、位置合わせ判断ステップ5710において、シャドウドローン5420及びライトドローン5650がカメラドローン5630と位置合わせされたか否かが判断される。シャドウドローン5620及びライトドローン5650がカメラドローン5630と位置合わせされない場合、ドローン位置合わせステップ5740において、ドローンは位置合わせされる。シャドウドローン5620及びライトドローン5650がカメラドローン5630と位置合わせされると、フォーカス判断ステップ5715において、カメラドローン5630が対象物にフォーカスされているか否かが判断される。カメラドローン5630がフォーカスされていない場合、カメラフォーカスステップ5720において、カメラドローン5630はフォーカスされる。カメラドローン5630がフォーカスされると、記録開始ステップ5725において、カメラドローン5630は対象物の録画を開始する。次に、掃引開始ステップ5745において、シャドウドローン5620は、光源としてライトドローン5650を使用して、対象物にわたり対象物の上方をユニゾンで飛行することにより対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ5750において、記録されたビデオのフレームはプロセッサにより収集、解析されて、点群を作成する。次に、新点群フィルタリングステップ5774において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ5754において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ5767において、物体全体がスキャンされたか否かが判断される。物体全体がスキャンされていない場合、上述したように収集及び解析ステップ5750が繰り返される。物体全体がスキャンされた場合、全体点群フィルタリングステップ5770において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ5775において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ5735において、表面はファイルに保存される。次に、画像表示ステップ5755において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ5730において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したようにライトドローン位置決めステップ5718が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ5760において、シャドウドローン5620は対象物にわたる光度エッジの掃引を停止する。最後に、スキャナ格納ステップ5780において、ドローンは、動作後、格納される。
図58では、ドローンアルゴリズムフローチャート5800は、太陽ドローンシャドウキャスタスキャナシステム5400及びドローンシャドウキャスタスキャナシステム5600により使用されるアルゴリズムを説明するドローンアルゴリズムフローチャート5800を説明する。太陽ドローンシャドウキャスタスキャナシステム5400及びドローンシャドウキャスタスキャナシステム5600のアルゴリズムにおける最初のステップは、プログラム開始ステップ5804において、プログラムを開始することを含む。次に、パラメータ収集ステップ5808において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、連動保証ステップ5811において、ドローンが
連動することを保証する。次に、記録開始ステップ5825において、カメラドローン5430又は5630は録画を開始する。次に、掃引開始ステップ5845において、シャドウドローン5420又は5620は、対象物にわたり対象物の上方をユニゾンで飛行することにより対象物にわたる光度エッジの掃引を開始する。次に、ビデオ収集ステップ5850において、記録されたビデオのフレームが収集される。次に、バッファ判断ステップ5824において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したようにビデオ収集ステップ5850が繰り返される。バッファが解析するのに十分に埋まった場合、フレーム解析ステップ5844において、ビデオフレームが解析されて、点群を構築する。次に、なおバッファが十分か判断するステップ5858において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ5824が繰り返される。バッファ内になお十分なフレームがある場合、ドローン位置合わせ判断ステップ5810において、ドローンがなお位置合わせているか否かが判断される。ドローンが位置合わせされていない場合、ドローン位置合わせステップ5840において、ドローンは位置合わせされる。ドローンが位置合わせされると、掃引終了判断ステップ5878において、掃引を終了するか否かが判断される。掃引が終了しない場合、上述したようにフレーム解析ステップ5844が繰り返される。掃引が終了する場合、掃引停止ステップ5860において、シャドウドローン5420又は5620は掃引を停止する。次に、記録停止ステップ5865において、カメラドローン5430又は5630は対象物の録画を停止する。次に、フレーム解析終了ステップ5864において、フレームの解析が終了する。次に、点群フィルタリングステップ5870において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ5875において、プロセッサは、フィルタリングされた点群から三次元表現のモデルを構築する。次に、ファイル保存ステップ5835において、表面はファイルに保存される。次に、画像表示ステップ5855において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ5830において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように連動保証ステップ5811が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ5890において、ユーザはアルゴリズムを終了する。
図59では、ドローン掃引フローチャート5900は、太陽ドローンシャドウキャスタスキャナシステム5400及びドローンシャドウキャスタスキャナシステム5600により使用されるシャドウキャスタ掃引を説明する。まず、パラメータ設定ステップ5908において、ドローンの移動パラメータが設定される。次に、ドローン位置合わせステップ5911において、ドローンは空中で位置合わせされる。次に、掃引開始ステップ5945において、シャドウドローン5420及び5620は、一定速度で標的エリアの上方をユニゾンで飛行することにより掃引を開始する。次に、現在ドローン位置取得ステップ5927において、ドローンの位置が特定される。次に、ドローン位置合わせずれ判断ステップ5910において、ドローンが位置合わせずれしているか否かが判断される。ドローンが位置合わせずれしている場合、ドローン位置合わせステップ5940において、ドローンは位置合わせされる。ドローンの位置合わせずれが解消されると、掃引端部判断ステップ5978において、シャドウドローン5420又は5620が掃引の端部に達したか否かが判断される。シャドウドローン5420又は5620が掃引の端部に達していなかった場合、上述したように現在ドローン位置取得ステップ5927が繰り返される。シャドウドローン5420又は5620が掃引の端部に達しており、別のスキャンが必要な場合、アルゴリズム繰り返しステップ5997において、ドローンが最初のスキャンとは逆方向で移動した状態でパラメータ設定ステップ5908が繰り返される。
【0143】
図54、
図55、
図56、
図57、
図58、及び
図59示される本発明の構築の詳細は、ドローンが、標準の遠隔制御される飛行車両等を含むことである。シャドウキャスタ5424及び5624は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の軽量の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度、又は種々のカラーフィルタ等を更に有する。カメラドローン5430又は5630のビデオカメラは、デジタル又はアナログビデオカメラ等を含む。ライトドローン5650の光源は、白熱灯、ハロゲン灯、蛍光灯、線光、スリット付きチューブライト、LED、LEDアレイ、LEDの線形アレイ、異なる色の光源、カラーLED、レーザ、X線源、UV源、又は赤外線源等を含む。非一時的コンピュータ可読媒体に記憶されるメモリは、ソフトウェア、命令、データ、又はアルゴリズム等を含む。プロセッサは、コンピュータ、携帯電話、PC、又はCPU等を含む。ディスプレイは、モニタ、スクリーン、テレビジョン、拡張現実ヘッドセット、又は顕微鏡等を含む。
【0144】
これより本発明の別の実施形態を参照して、
図60及び
図61に三脚シャドウスキャナシステム6000を示す。
図60は、スタジアム6070における三脚シャドウスキャナシステム6000の斜視図である。
図61は、スタジアムスキャンプロセスにおける三脚シャドウスキャナシステム6000の斜視図である。
【0145】
更に詳細には、なお
図60及び
図61の本発明を参照すると、三脚シャドウスキャナシステム6000は、水平であり、回転可能なシャドウキャスタプラットフォーム6037と;上記シャドウキャスタプラットフォーム6037の中心に従属する光源6050と;それぞれが上記光源6050の周囲で上記シャドウキャスタプラットフォーム6037に従属する少なくとも1つのシャドウキャスタ6020であって、垂直パネル6024及び上記光源6050に向かって傾斜した傾斜パネル6022を有する、少なくとも1つのシャドウキャスタ6020と;それぞれが三脚6033に搭載される複数のビデオカメラ6030と;非一時的コンピュータ可読媒体に記憶されるメモリと;上記コンピュータ可読媒体を有するプロセッサ(図示せず)と;ディスプレイ(図示せず)とを含み、上記複数のビデオカメラ6030は、上記シャドウキャスタプラットフォーム6037の周囲に配置され、上記光源6050は上記少なくとも1つのシャドウキャスタ6020を照明して、既知のジオメトリの高コントラストシャドウ6067を投影し、上記高コントラストシャドウ6067は上記1つ又は複数の光度エッジをスタジアム6070に形成し、上記シャドウキャスタプラットフォーム6037は回転し、それにより、上記光源6050の周りで上記シャドウキャスタ6020を回転させて、上記スタジアム6070にわたり上記1つ又は複数の光度エッジを掃引し、上記複数のビデオカメラ6030は、上記スタジアム6070の三次元点の上記1つ又は複数の光度エッジを捕捉し、上記三次元点を上記メモリに記録し、上記プロセッサは、記録された上記三次元点から三次元データ表現を形成し、上記プロセッサは、上記三次元データ表現を使用して上記スタジアムの上記三次元モデルを生成し、上記三次元モデルは、上記プロセッサを使用して上記ディスプレイに表示される。この実施形態の他のバージョンでは、指向性である光源6050が回転する間、シャドウキャスタプラットフォーム6037は静止したままである。
【0146】
図60及び
図61示される本発明の構築の詳細は、シャドウキャスタプラットフォーム6037が、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有することである。光源6050は、白熱灯、ハロゲン灯、蛍光灯、線光、スリット付きチューブライト、LED、LEDアレイ、LEDの線形アレイ、異なる色の光源、カラーLED、レーザ、X線源、UV源、又は赤外線源等を含む。シャドウキャスタ6020は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度、又は種々のカラーフィルタ等を更に有し得る。垂直パネル6024は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度、又は種々のカラーフィルタ等を更に有し得る。傾斜パネル6022は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度、又は種々のカラーフィルタ等を更に有し得る。ビデオカメラ6030は、デジタル又はアナログビデオカメラ等を含む。非一時的コンピュータ可読媒体に記憶されるメモリは、ソフトウェア、命令、データ、又はアルゴリズム等を含む。プロセッサは、コンピュータ、携帯電話、PC、又はCPU等を含む。ディスプレイは、モニタ、スクリーン、テレビジョン、拡張現実ヘッドセット、又は顕微鏡等を含む。
【0147】
これより本発明の別の実施形態を参照して、
図62、
図63、及び
図64に、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナのアルゴリズム、掃引、及び動作のフローチャートを示す。
図62は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナにより使用されるアルゴリズムを説明するアルゴリズムフローチャート6200を表示する。
図63は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナにより使用されるシャドウキャスタ掃引を説明する掃引フローチャート6300である。
図64は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナの動作を説明する動作フローチャート6400を示す。
【0148】
更に詳細には、なお
図62、
図63、及び
図64の本発明を参照すると、
図62では、アルゴリズムフローチャート6200は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナにより使用されるアルゴリズムを説明する。シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナのアルゴリズムにおける最初のステップは、プログラム開始ステップ6204において、プログラムを開始することを含む。次に、パラメータ収集ステップ6208において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、記録開始ステップ6225において、カメラは録画を開始する。次に、掃引開始ステップ6245において、モータが開始されて、シャドウキャスタを移動させ、対象物にわたり光度エッジを掃引する。次に、ビデオ収集ステップ6250において、記録されたビデオのフレームが収集される。次に、バッファ判断ステップ6224において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したようにビデオ収集ステップ6250が繰り返される。バッファが解析するのに十分に埋まった場合、フレーム解析ステップ6244において、ビデオフレームが解析されて、点群を構築する。次に、新点群フィルタリングステップ6252において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ6254において、フィルタリングされた点群表示は更新される。次に、なおバッファが十分か判断するステップ6258において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ6224が繰り返される。バッファ内になお十分なフレームがある場合、掃引終了判断ステップ6278において、掃引を終了するか否かが判断される。掃引が終了しない場合、上述したようにフレーム解析ステップ6244が繰り返される。掃引が終了する場合、モータ停止ステップ6268において、モータが停止する。次に、記録停止ステップ6265において、カメラは対象物の録画を停止する。次に、フレーム解析終了ステップ6264において、フレームの解析が終了する。次に、点群フィルタリングステップ6270において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ6275において、プロセッサは、フィルタリングされた点群から三次元表現のモデルを構築する。次に、ファイル保存ステップ6235において、表面はファイルに保存される。次に、画像表示ステップ6255において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ6230において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ6225が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ6290において、ユーザはアルゴリズムを終了する。
図63では、掃引フローチャート6300は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナにより使用されるシャドウキャスタ掃引を説明する。まず、モータパラメータ設定ステップ6308において、モータパラメータが設定される。次に、掃引開始ステップ6345において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、現在モータ位置取得ステップ6327において、モータ位置が特定される。次に、掃引端部判断ステップ6378において、シャドウキャスタが掃引の端部に達したか否かが判断される。シャドウキャスタが掃引の端部に達しなかった場合、上述したように現在モータ位置取得ステップ6327が繰り返される。シャドウキャスタが掃引の端部に達しており、別のスキャンが必要な場合、アルゴリズム繰り返しステップ6397において、最初のスキャンとは逆方向でモータパラメータ設定ステップ6308が繰り返される。
図64では、動作フローチャート6400は、シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナの動作を説明する。シングルモバイルシャドウキャスタスキャナ又は卓上シャドウスキャナの動作における最初のステップは、スキャナ位置決めステップ6405において、スキャナを対象物の上方に位置決めする子とを含む。次に、位置合わせ判断ステップ6410において、スキャナが対象物と位置合わせされたか否かが判断される。スキャナが位置合わせされない場合、スキャナ位置合わせステップ6440において、スキャナは対象物と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ6415において、カメラが対象物にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ6420においてカメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ6425において、カメラは対象物の録画を開始する。次に、掃引開始ステップ6445において、シャドウキャスタは対象物にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ6450において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、新点群フィルタリングステップ6452において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ6454において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ6467において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したように収集及び解析ステップ6450が繰り返される。関心領域全体がスキャンされた場合、全体点群フィルタリングステップ6470において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ6475において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ6435において、表面はファイルに保存される。次に、画像表示ステップ6455において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ6430において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ6425が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ6460において、シャドウキャスタは対象物にわたる光度エッジの掃引を停止する。次に、記録停止ステップ6465において、カメラは対象物の録画を停止する。最後に、スキャナ格納ステップ6480において、スキャナは、動作後、格納される。
【0149】
これより本発明の別の実施形態を参照して、
図65及び
図66に部屋シャドウキャスタスキャナの動作フローチャートを示す。
図65は、三脚と併用し得、部屋をスキャンするシャドウキャスタスキャナの動作を説明するシングル三脚部屋スキャナ動作フローチャート6500を示す。
図66は、頭上ライトと併用し得、部屋をスキャンするシャドウキャスタスキャナの動作を説明する頭上ライト部屋スキャナ動作フローチャート6600を示す。
【0150】
更に詳細には、なお
図65及び
図66の本発明を参照すると、
図65はシングル三脚部屋スキャナ動作フローチャート6500は、三脚と併用し得、部屋をスキャンするシャドウキャスタスキャナの動作を説明する。三脚と併用し得、部屋をスキャンするシャドウキャスタの動作における最初のステップは、スキャナ位置決めステップ6505において、部屋に三脚を準備することを含む。次に、ライトステップ6509において、ライトに電源投入する。次に、位置合わせ判断ステップ6510において、スキャナが部屋と位置合わせされたか否かが判断される。スキャナが位置合わせされていない場合、スキャナ位置合わせステップ6540において、スキャナは部屋と位置合わせされる。スキャナが位置合わせされると、フォーカス判断ステップ6515において、カメラが部屋にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ6520において、カメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ6525において、カメラは部屋の録画を開始する。次に、掃引開始ステップ6545において、光源は部屋にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ6550において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、新点群フィルタリングステップ6552において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ6554において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ6567において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したように収集及び解析ステップ6550が繰り返される。関心領域全体がスキャンされた場合、全体点群フィルタリングステップ6570において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ6575において、プロセッサは、フィルタリングされた点群から部屋の三次元表面のモデルを構築する。次に、ファイル保存ステップ6535において、表面はファイルに保存される。次に、画像表示ステップ6555において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ6530において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように掃引開始ステップ6545が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ6560において、シャドウキャスタは部屋にわたる光度エッジの掃引を停止する。次に、記録停止ステップ6565において、カメラは部屋の録画を停止する。最後に、スキャナ格納ステップ6580において、スキャナは、動作後、格納される。
図66では、頭上ライトと併用し得る、部屋をスキャンするシャドウキャスタスキャナの動作を説明する頭上ライト部屋スキャナ動作フローチャート6600。頭上ライトと併用し得る、部屋をスキャンするシャドウキャスタの動作における最初のステップは、準備ステップ6605において、スキャナを部屋に準備することを含む。次に、ライトステップ6616において、頭上ライトが電源投入される。次に、照明判断ステップ6617において、部屋のエリアが照明されるか否かが判断される。部屋のエリアが照明されない場合、ライト向け直しステップ6618において、ライトの向きを直す。部屋のエリアが照明されると、位置合わせ判断ステップ6610において、シャドウキャスタがカメラと位置合わせされたか否かが判断される。シャドウキャスタがカメラと位置合わせされない場合、スキャナ位置合わせステップ6640において、シャドウキャスタはカメラと位置合わせされる。シャドウキャスタがカメラと位置合わせされると、フォーカス判断ステップ6615において、カメラが部屋にフォーカスされているか否かが判断される。カメラがフォーカスされていない場合、カメラフォーカスステップ6620において、カメラはフォーカスされる。カメラがフォーカスされると、記録開始ステップ6625において、カメラは部屋の録画を開始する。次に、掃引開始ステップ6645において、シャドウキャスタは部屋にわたる光度エッジの掃引を開始する。次に、収集及び解析ステップ6650において、記録されたビデオのフレームがプロセッサにより集められて解析され、点群を作成する。次に、新点群フィルタリングステップ6652において、新しい点群がプロセッサによりフィルタリングされる。次に、フィルタリングされた点群の更新ステップ6654において、フィルタリングされた点群表示は更新される。次に、全体スキャン判断ステップ6667において、関心領域全体がスキャンされたか否かが判断される。関心領域全体がスキャンされていない場合、上述したように収集及び解析ステップ6650が繰り返される。関心領域全体がスキャンされた場合、全体点群フィルタリングステップ6670において、プロセッサは全体点群をフィルタリングする。次に、表面構築ステップ6675において、プロセッサは、フィルタリングされた点群から部屋の三次元表面のモデルを構築する。次に、ファイル保存ステップ6635において、表面はファイルに保存される。次に、画像表示ステップ6655において、モデルはプロセッサによりディスプレイに表示される。次に、別スキャン判断ステップ6630において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように掃引開始ステップ6645が繰り返される。別のスキャンが必要ない場合、掃引停止ステップ6660において、シャドウキャスタは部屋にわたる光度エッジの掃引を停止する。次に、記録停止ステップ6665において、カメラは部屋の録画を停止する。最後に、スキャナ格納ステップ6680において、スキャナは、動作後、格納される。
【0151】
これより本発明の別の実施形態を参照して、
図67及び
図68に複数のカメラシャドウキャスタスキャナのアルゴリズムフローチャートを示す。
図67は、複数のカメラシャドウスキャナにより使用されるアルゴリズムを説明するマルチカメラアルゴリズムフローチャート6700を表示する。
図68は、シングル静止シャドウキャスタを使用する複数のカメラシャドウキャスタスキャナのアルゴリズムを説明するマルチカメラ静止シャドウキャスタフローチャート6800を示す。
【0152】
更なる詳細では、なお
図67及び
図68の本発明を参照すると、
図67では、マルチカメラアルゴリズムフローチャート6700は、複数のカメラを使用するシャドウキャスタスキャナにより使用されるアルゴリズムを説明する。複数のカメラシャドウキャスタスキャナのアルゴリズムにおける最初のステップは、プログラム開始ステップ6704において、プログラムを開始することを含む。次に、パラメータ収集ステップ6708において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、記録開始ステップ6725において、複数のカメラは録画を開始する。次に、掃引開始ステップ6745において、モータが開始されて、シャドウキャスタを移動させ、対象物にわたり光度エッジを掃引する。次に、ビデオ収集ステップ6750において、記録されたビデオのフレームが複数のカメラから収集される。次に、バッファ判断ステップ6724において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したようにビデオ収集ステップ6750が繰り返される。バッファが解析するのに十分に埋まった場合、フレーム解析ステップ6744において、複数のカメラから収集されたビデオフレームが解析されて、点群を構築する。次に、なおバッファが十分か判断するステップ6758において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ6724が繰り返される。バッファ内になお十分なフレームがある場合、掃引終了判断ステップ6778において、掃引を終了するか否かが判断される。掃引が終了しない場合、上述したようにフレーム解析ステップ6744が繰り返される。掃引が終了する場合、モータ停止ステップ6768において、モータが停止する。次に、記録停止ステップ6765において、複数のカメラは対象物の録画を停止する。次に、フレーム解析終了ステップ6764において、フレームの解析が終了する。次に、点群フィルタリングステップ6770において、プロセッサは点群をフィルタリングする。次に、点群レジストレーションステップ6279において、複数のカメラからの点群は互いにレジストレーションされる。次に、表面構築ステップ6775において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ6735において、表面はファイルに保存される。次に、画像表示ステップ6755において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ6730において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ6725が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ6790において、ユーザはアルゴリズムを終了する。
図68では、マルチカメラ静止シャドウキャスタフローチャート6800は、メインカメラを含む複数のカメラ及びシングル静止シャドウキャスタを使用する複数カメラシャドウキャスタスキャナのアルゴリズムを説明する。シングル静止シャドウキャスタを使用する複数カメラシャドウキャスタスキャナのアルゴリズムにおける最初のステップは、プログラム開始ステップ6804において、プログラムを開始することを含む。次に、パラメータ収集ステップ6808において、ユーザ提供又はプログラム指定のスキャン及び解析パラメータが収集される。次に、記録開始ステップ6825において、複数のカメラは録画を開始する。次に、1フレーム収集ステップ6850において、全てのカメラから1つのビデオフレームが収集される。次に、バッファ判断ステップ6824において、ビデオバッファが解析するのに十分に埋まったか否かが判断される。バッファが十分に埋まっていない場合、上述したように1フレーム収集ステップ6850が繰り返される。バッファが解析するのに十分に埋まった場合、速度計算ステップ6851において、少なくとも2つのカメラからのフレームを使用して標的の速度を計算する。次に、フレーム解析ステップ6844において、メインカメラビデオフレームが解析されて、点群を構築する。次に、なおバッファが十分か判断するステップ6858において、バッファ内になお十分なフレームがあるか否かが判断される。バッファに十分なフレームがない場合、上述したようにバッファ判断ステップ6824が繰り返される。バッファ内になお十分なフレームがある場合、標的視野判断ステップ6814において、標的がメインカメラの視野外であるか否かが判断される。標的がメインカメラの視野外にない場合、上述したようにフレーム解析ステップ6844が繰り返される。標的がメインカメラの視野外にある場合、記録停止ステップ6865において、複数のカメラは対象物の録画を停止する。次に、点群フィルタリングステップ6870において、プロセッサは点群をフィルタリングする。次に、表面構築ステップ6875において、プロセッサは、フィルタリングされた点群から三次元表面のモデルを構築する。次に、ファイル保存ステップ6835において、表面はファイルに保存される。次に、画像表示ステップ6855において、モデルはプロセッサによりディスプレイに表示される。別スキャン判断ステップ6830において、別のスキャンが必要か否かが判断される。別のスキャンが必要な場合、上述したように記録開始ステップ6825が繰り返される。最後に、別のスキャンが必要ない場合、アルゴリズム終了ステップ6890において、ユーザはアルゴリズムを終了する。
【0153】
これより本発明の別の実施形態を参照して、
図69にカスタムシャドウキャスタを作製する方法を説明するフローチャートを示す。
【0154】
更に詳細には、なお
図69の本発明を参照すると、カスタムシャドウキャスタフローチャート6900は、カスタム形シャドウキャスタを作製する方法を説明する。まず、外形特定ステップ6910において、写真、ビデオ、又は影投影を使用して物体全体の外形が特定される。次に、影生成ステップ6920において、カスタム形シャドウキャスタは、三次元プリント、構成可能なシャドウキャスタ、又は他の作製手段等を使用して物体全体の外形の形状で生成される。次に、シャドウキャスタ配置ステップ6930において、カスタム形シャドウキャスタは、可能な限り物体の表面の近くに配置される。最後に、物体掃引ステップ6940において、シャドウキャスタの物体全体は、物体にわたり光度エッジを掃引して、スキャンに影響を及ぼす。
【0155】
図69に示される本発明の構築の詳細は、カスタム形シャドウキャスタが、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有し、所望の形態に操作された有する構成可能な形状、三次元プリントされる形状、液晶等の構成可能な不透明度等、又は種々のカラーフィルタ等を更に有し得ることである。
【0156】
これより本発明の別の実施形態を参照して、
図70及び
図71に、シャドウキャスタスキャナに改善されたスキャン結果を提供するスリット付き線形光源7000を示す。
図70は、スリット付き線形光源7000の斜視図を表示する。
図71は、スリット付き線形光源7000の分解組立図を示す。
【0157】
更に詳細には、なお
図70及び
図71の本発明を参照すると、スリット付き線形光源7000は、スリット管7010であって、白色で塗装(TiO2を含む塗料)された内部7011、不透明である外部7012、及び上記スリット管7010の長さに延び、幅を有するスリット7020を有する、スリット管7010と、上記スリット管7010の両端部に従属する2つの光源7060と、上記光源7060に従属する2つのヒートシンク7050と、上記スリット管の周囲に巻かれる2つのクランプ7030であって、ねじ7040を有する、2つのクランプ7030とを含み、上記クランプ7030は上記スリット7020の上記幅を調整することが可能である。スリット管7010は、非常に薄い形態で光を逃すことができ、それにより、シャドウキャスタスキャナの精度を改善する。この管は代替的には、光がスリットを通って逃げる限り、任意の断面形状であることができる。光源7060はLEDの組立体である。光源7060は、前に屈折要素を有することもできるが、示されるように裸であってもよい。LEDは代替的には、スリット7020外に直接光らない(スリット7020外に直接光ると、非均一照明が生じる恐れがある)ようにスリット管7010に線形アレイ(ストリップと同様に)で置くことができる。代替的には、光ファイバを使用して、スリット管7010内に光を導くことができる。この代替は、ファイバ束をライトに取り付ける必要があるという代償で局所的な熱の発生をなくす。LEDはヒートシンクを必要とし有する。しかしながら、線形アレイのLEDの場合、スリット管7010はそれ自体、ヒートシンクであることができる。他のバージョンは、別の管の内部に管を有し得、熱制御のために管間の空間に空気を流すことができる。クランプ7030は、スリット管7010を絞り又は解放し、それにより、スリット7020のサイズを増大又は低減させ、それにより、光出力をそれぞれ増大又は低減することにより、スリット7020の幅を調整するのに使用される。この実施形態の変形及び本発明の他の光源の変形では、正味で負の屈折力(負の焦点距離)を有する1つのレンズ又は一連のレンズを追加することが有利であり得る。これらのレンズは、円柱であり得、スリット管7010の長さに沿って延び得る。そのような1つ又は複数のレンズは、レンズ又はレンズ組合せの焦点距離に応じて物体への光の強度を低減し、光の角度範囲を増大させ、光源の有効距離を変更するという効果を有する。負レンズの場合、有効源を何らかの量だけ物体の近くにシフトさせる。
【0158】
図70及び
図71に示される本発明の構築の詳細は、スリット管7010がプラスチック、金属、又は複合材料等の可撓性材料を有することである。光源7060は、白熱灯、光ファイバ束、ハロゲン灯、蛍光灯、線光、スリット管光、LED、LEDのアレイ、LEDの線形アレイ、異なる色の光源、有色LED、レーザ、X線源、UV源、又は赤外線源等を有する。ヒートシンク7050は、金属等の熱伝導材料を含む。クランプ7030は、鋼、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強可撓性材料を有する。ねじ7040は、鋼、銅クラッディング、プラスチック、高密度プラスチック、シリコーン、PVC、繊維ガラス、カーボン繊維、複合材料、金属、亜鉛メッキ鋼、ステンレス鋼、アルミニウム、真鍮、銅、木、又は他の同様の材料等の強剛性材料を有する。
【0159】
本発明の利点は、限定ではなく、本発明の光源が、コントラストが鮮鋭なパターンをスキャン中の物体に投影するために、重量及び費用を生じさせ、レンズなしの可能性を含む光学系が最小であること;光ビームを特定の距離において最適化するために光学系を必要としないこと;本発明の光源がレーザ等の他の技術と比較して相対的に安価であること;本発明の光源が大きな被写界深度に適すること;本発明の光源が非常に明るい光源を有し得、シャドウキャスタから十分に離れている場合であっても精度を維持し得ること;本発明の光源が、同時に測定される点の数及び0.6インチの奥行き解像度(大凡100psの遅延での0.6インチ変更結果を意味する)を暗示し、ノイズの影響を受けやすい典型的な電子の立ち上がり時間(100ps)に制限される絶対解像度を制限し得る時間遅延測定を通して距離を評価する方式で使用されるパルス技術又は位相検出技術に頼らないこと;本発明の光源は、競合する技術よりも広い角度から物体を照明する一次元、換言すれば、線に沿って最適に「拡張」した光源であり得、三次元スキャンされる表面は同時に照明され観測されなければならないため、典型的な投影ベースのスキャナよりも物体のより広くをスキャンすることができるので、この照明角度の増大は有利であること;本発明のハードウェアが3つ全ての要素:光源、シャドウキャスタ、及び受光器間で分離することができ、したがって、1つ又は複数のシャドウキャスタから1つの影エッジを見ている複数のカメラが存在可能なこと;実際幅を有する「点源」であるため、シーンコントラストを改善しながら、線に沿って光源を再現することによりそのような光源の拡張が光を追加し、その理由は、拡張が光を追加するが、シャドウキャスタの縁部から離れているため点光の「立体角」を低減した状態でそれを行い、それにより、線形光源が、平均で光源の解像度を改善しながら明るさを追加するためであること;拡張光源が、共線上にある限り、連続する必要がなく、2つ以上の光源が存在し得ること;本発明の光源が全て一緒になって1つの影エッジをキャストし(そして実際に影エッジのコントラストを増大させ)、その理由が、この協働が、実用的構造の別個の光源を使用しながら角度範囲を広げ、所与のタスクのカスタム照明ジオメトリを作製する潜在性を増大させるためであること;複数のシャドウキャスタが光から物理的になくなる場合、複数のシャドウキャスタにより1つの光源を使用することができ、位置合わせされた場合、部屋全体を通してシャドウキャスタカメラシステムによりその部屋の上部における1つの長く明るい光をより局所的に使用することができること;本発明のシャドウ生成方式が、被写界深度の大きな影を生成することができ、限られた範囲にわたってのみ鮮鋭なパターンを生成するように適合されなければならないレンズを使用するプロジェクタを用いる等の被写界深度問題を本質的にもたらすレンズにより生じる効果ではなく、幾何学的効果に起因して鮮鋭度を保持すること;工学的プロジェクタの必要をなくし、レーザ単一波長動作の特異性をなくすことにより、本発明の光源は広帯域幅であれ狭帯域幅であれ任意の波長であることができ、同じスキャンで白色光及び蛍光励起波長を使用することができ、本発明がレーザ光を使用して影をキャストし、又は手術中の蛍光測定に特に有利な影をレーザ光にキャストし得る代替「モード」で1つのカメラを使用することができること;空間解像度の問題として、本発明で使用される白色光は、レーザ光よりも可視回折アーチファクトが少なく、鮮鋭な影を生成し、白色光は狭帯域レーザ光ほどはスペックルの問題を受けず、このノイズ源は本発明により回避されること;単純な1本線ジオメトリを有する本発明での影により提供される鮮鋭なエッジ及び大きなコントラストにより、表面下散乱測定を即時に行うことができ、健康な組織と癌組織との境界の判断が進行中の問題であるため、皮膚癌を検出するための光学生検又は癌手術等のリアルタイム生物学的用途に繋がること;顔の表面下散乱特徴を偽造することは非常に困難であるため、セキュリティの分野で、これらの表面下散乱測定により、セキュリティスキャンの改善が可能になること;本発明こと;これらの表面下散乱測定が、俳優の顔のコンピュータグラフィックス再現においてメーキャップの世界にとって有用であること;例えば、青と赤等の異なる周波数の光の散乱特性のリアルタイム比較を行い得るため、白色光の使用は単一周波数源(レーザ又はランプ)よりも有利であること;LEDのアレイを使用し得、異なる波長のLEDを織り交ぜ、交互に閃光させ得、カメラは各交互フレームで露出を最適化して、色情報を捕捉するため、本発明を用いると、2つの別個の周波数を使用することが可能であること;本発明のシャドウキャスタの側面三角形断面により、シャドウキャスタを物体の非常に近くに適用できるようにし、1つの連続した影エッジを投影しながら、光を側方に拡張することが可能になり、これらのサイドシャドウキャスタは、シャドウキャスタ構成要素が一緒になって、拡張光源により画定される線に沿って見たとき三角形断面を作る限り、中間シャドウキャスタに接続することができること;セグメント化されたシャドウキャスタが、追加の影幅を追加することにより、大きな複雑性がない物体ジオメトリのスキャンをスケーラブルに加速させることができ、したがって、掃引中、単純な物体の場合、これらの別個の影は重なって見えず、物体の複雑性に応じて影の分離を用いて独立して解析することができること;通常、物体へのパターンの撮像、次に散乱光の撮像が必要であるため、X線構造スキャンは通常、特に実現可能ではないが、本発明の光源の単純性は、影のレンズなし投影が比較的容易なx線を含めて任意の線形光源が役目を果たすことができることを示すこと;この技術の典型的な実施形態がカメラ及び光源を静止したまま保持し、主に影エッジに起因したシーンへの変更がある状態で精度を改善し、これが、特に比較的狭い影エリアの場合であっても、スキャン中の物体の全体照明の変化はごく僅かであり、生成されるスキャンでの大きな信号対雑音比を可能にすることを意味すること;本発明の典型的な実施形態は、較正済みであり、したがっての、較正がない全て互いにロバストに取り付けられたカメラ、光、及びシャドウキャスタを有し、較正は再び自律的に決定することができる(較正スタンド等の追加のハードウェアを用いるが)こと;本発明のスキャン技術は、明度と精度を含む様々なトレードオフで構成し得、したがって、特定の最適化されたジオメトリを使用して、非常に微細な解像度(顕微鏡法)で平坦な物品をスキャンすることができること;本発明は潜在的な生の精度(raw accuracy)を改善したこと;カメラが影エッジを記録する限り、大きな物品をミリメートル未満の精度で測定することができること;スキャン中の物品の近くに運ぶことができる場合、影を常に鮮鋭にすることができ、精度を改善すること;スキャナは、特徴マッチング又は写真測量法に決して依存せず、代わりに、上述した高信号対雑音比を使用して三角測量のみに依存し、1つの「正しい」答えを提供し、スキャンの確実性を上げること;スキャンでのノイズは多くの場合、バンディング及び他のアーチファクトによって損なわれることが多い他のスキャン技法よりも自動的に削除することができること;本発明を用いると、画像のノイズが、鮮鋭な影エッジにより提供されるコントラストさえも圧倒する場合があるが、このノイズは通常、影エッジからの多くのピクセルを占め、続くデータの三角測量において、そのようなノイズ点は最終的に非常に遠くに除去され3D空間にまばらに位置し、特定数の最近傍からの各点の平均半径を計算し、閾値gよりも大きな平均距離を有するものを除去する密度閾値アルゴリズムを使用して容易にフィルタリングされ、非常にクリーンなスキャンを生成すること;本発明を用いて、スキャン中、動きを追跡する(恐らく別個のカメラを用いて)ことにより、物体の移動をより容易に補償し得ること;本発明が、特に座っているとき、重量を左右にシフトさせがちである人のスキャンに有用であること;本発明は、各ピクチャで物体の色及びその3D座標の両方を同時に検出し、これが、物体が三次元で移動する場合、その正確な色も表現され、三次元形状及び色の同時特定がピクセル単位であり、3Dスキャン全般でのカラー画像をレジストレーションする複雑な問題をなくし、本発明では、このデータは、1つのカメラから来るため、自動的に位置合わせされることを意味することを含む。全体的に、本発明は、シャドウキャスタを使用した三次元モデルの生成において、比較的安価なスキャン品質及び精度の改善を提供する。
【0160】
広義の実施形態では、本発明は、一般的には、1つ又は複数の光度エッジを生成して、物体又は環境の三次元モデルを形成する装置、方法、及びシステムに関する。広義の実施形態では、本発明は、モデリング中の物体又はエリアにわたり1つ又は複数の光度エッジを生成する1つ又は複数の光源及び1つ又は複数のシャドウキャスタと、1つ又は複数の光度エッジを検出する1つ又は複数の手段と、モデリング中の物体又はエリアに相対して1つ又は複数の光度エッジを移動させる手段と、モデリング中の物体又はエリアの三次元モデルを生成する手段とを有すると共に、関連する方法及びシステムも有する。これらの実施形態は、本発明の範囲の限定を意図しない。
【0161】
本発明の上記説明は、当業者が最良の形態であると現在考えられるものを作製し使用できるようにするが、本明細書における特定の実施形態、方法、及び例の変形、組合せ、及び均等物の存在を当業者は理解し認識しよう。したがって、本発明は、上述した実施形態、方法、及び例により限定されるべきではなく、特許請求の範囲に記載される本発明の範囲及び趣旨内にある全ての実施形態及び方法によって限定されるべきである。