ホーム > 特許ランキング > ラディモ・オサケイフティオ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-16
(45)【発行日】2024-02-27
(54)【発明の名称】３次元表面のトポグラフィのモデリング
(51)【国際特許分類】
G06T 7/70 20170101AFI20240219BHJP
G01B 11/00 20060101ALI20240219BHJP
H04N 23/45 20230101ALI20240219BHJP
H04N 23/56 20230101ALI20240219BHJP
H04N 23/60 20230101ALI20240219BHJP
【ＦＩ】
G06T7/70 A
G01B11/00 H
H04N23/45
H04N23/56
H04N23/60 100
【請求項の数】
20
(21)【出願番号】P 2021517916
(86)(22)【出願日】2019-06-07
(65)【公表番号】
(43)【公表日】2021-10-11
(86)【国際出願番号】 FI2019050446
(87)【国際公開番号】W WO2019234307
(87)【国際公開日】2019-12-12
【審査請求日】2022-06-07
(31)【優先権主張番号】20185522
(32)【優先日】2018-06-07
(33)【優先権主張国・地域又は機関】FI
【早期審査対象出願】
(73)【特許権者】
【識別番号】520478909
【氏名又は名称】ラディモ・オサケイフティオ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】サミ・ルースカネン
(72)【発明者】
【氏名】ヨルマ・パルメン
(72)【発明者】
【氏名】オーナ・ライサネン
(72)【発明者】
【氏名】タトゥ・トローネン
【審査官】青木 重徳
(56)【参考文献】
【文献】特開２０１３－２５７１６２（ＪＰ，Ａ）
【文献】特表２０１６－５３７６１２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０３３９５４１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／００３７１８９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／００３８４９０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／７０
Ｈ０４Ｎ ２３／５６
Ｈ０４Ｎ ２３／４５
Ｈ０４Ｎ ２３／６０
Ｇ０１Ｂ １１／００
(57)【特許請求の範囲】
【請求項1】
モデリング構成(100)のレーザ光源および回折素子を備える構造的光源(102)を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するステップ(200)であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、ステップ(200)と、前記モデリング構成(100)の第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記モデリング構成(100)の第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録するステップ(202)であって、前記第1のカメラ(104)および前記第2のカメラ(108)が較正され、互いに対する位置が知られている、ステップ(202)と、
前記第1のイメージ内に見える前記回折パターンから1次ポイントを含むポイントクラウド(306)を決定するステップ(204)であって、各1次ポイントが、単一のイメージに基づいて正確に識別可能であり、正確な3次元座標を有する、ステップ(204)と、
前記第2のイメージから、対応する1次ポイントを識別するステップと、
前記第1および第2のイメージ内の前記ポイントクラウドの各1次ポイントを、前記第1および第2のイメージ内の前記1次ポイント間にある2次ポイントを求める探索空間についての初期ポイントとして使用するステップ(206)であって、前記2次ポイントがノイズを含み、前記モデリング構成の空間解像度を向上させる、ステップ(206)と
を含む、方法。
【請求項2】
前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するステップであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイント(304)を含む、ステップと、前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別するステップであって、各2次ポイントがxおよびyイメージ座標を有する、ステップと、
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するステップと
をさらに含む、請求項1に記載の方法。
【請求項3】
前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するステップであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、ステップと前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別するステップであって、各2次ポイントがxおよびyイメージ座標を有する、ステップと、
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するステップと
をさらに含む、請求項1に記載の方法。
【請求項4】
前記部分イメージ対から前記少なくとも3つの1次ポイントを除外するステップと、前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定するステップと、
前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するステップと、
前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するステップと
をさらに含む、請求項3に記載の方法。
【請求項5】
各部分イメージ(400A、400B)をサブブロック(604)に分割するステップと、前記サブブロック(604)内の対応する2次ポイントを識別するステップと
をさらに含む、請求項2から4のいずれか一項に記載の方法。
【請求項6】
前記部分イメージ対内の対応する2次ポイントを識別するステップが、前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索するステップであって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、ステップ
を含む、請求項2から4のいずれか一項に記載の方法。
【請求項7】
モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された、レーザ光源および回折素子を備える構造的光源(102)であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、構造的光源(102)と、前記光源(102)によって放射された波長において、モデリングすべき前記表面を撮影するように構成された第1のカメラ(104)と、
前記光源(102)によって放射された波長において、モデリングすべき前記表面を撮影するように構成された第2のカメラ(108)と
を備えるモデリング構成(100)であって、
前記第1のカメラ(104)と前記第2のカメラ(108)の光軸の相対的向き、および回折軸が知られるように較正され、前記第1のカメラ(104)および前記第2のカメラ(108)に対する前記構造的光源(102)の出力ポイントの位置、距離、および向きが知られている、モデリング構成(100)と、
前記モデリング構成(100)に接続され、
前記構造的光源(102)を制御して、モデリングすべき前記表面上に既知の幾何形状の前記回折パターンを生成すること、
前記第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録すること、
前記第1のイメージ内に見える前記回折パターンから1次ポイント(304)を含むポイントクラウド(306)を決定することであって、各1次ポイントが、単一のイメージに基づいて正確に識別可能であり、正確な3次元座標を有する、決定すること、
前記第2のイメージから、対応する1次ポイントを識別すること、ならびに
前記第1および第2のイメージ内の前記ポイントクラウド(306)の各1次ポイント(304)を、前記第1および第2のイメージ内の前記1次ポイント間にある2次ポイントを求める探索空間についての初期ポイントとして使用することであって、前記2次ポイントがノイズを含み、前記モデリング構成の空間解像度を向上させる、使用すること
を行うように構成される、制御システム(112)と
を備える、モデリングシステム。
【請求項8】
前記モデリング構成(100)に接続された前記制御システム(112)が、前記第1のイメージおよび前記第2のイメージを部分イメージのセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成することであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイントを含む、形成すること、
前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算すること
を行うようにさらに構成される、請求項7に記載のモデリングシステム。
【請求項9】
前記制御システム(112)が、前記第1のイメージおよび前記第2のイメージを部分イメージのセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成することであって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、形成すること、
前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算すること
を行うようにさらに構成される、請求項7に記載のモデリングシステム。
【請求項10】
前記制御システム(112)が、前記部分イメージ対から前記少なくとも3つの1次ポイントを除外し、
前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定し、
前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化し、
前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化する
ようにさらに構成される、請求項9に記載のモデリングシステム。
【請求項11】
前記制御システム(112)が、各部分イメージ(400A)をサブブロック(604)に分割し、
前記サブブロック(604)内の対応する2次ポイントを識別する
ように構成される、請求項9または10に記載のモデリングシステム。
【請求項12】
前記制御システム(112)が、前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索することであって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ(400B)内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、探索すること
を行うように構成される、請求項8から10のいずれか一項に記載のモデリングシステム。
【請求項13】
モデリング構成(100)のレーザ光源および回折素子を備える構造的光源(102)を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、前記回折パターンが数学的物理的モデルに正確に従い、前記回折パターンのビーム出力角が、前記数学的物理的モデルに基づいて正確に知られている、手段と、前記モデリング構成(100)の第1のカメラ(104)を用いて前記回折パターンを含む前記表面の第1のイメージを記録し、前記モデリング構成(100)の第2のカメラ(108)を用いて前記回折パターンを含む前記表面の第2のイメージをほぼ同時に記録するための手段であって、前記第1のカメラ(104)および前記第2のカメラ(108)が較正され、互いに対する位置が知られている、手段と、
前記第1のイメージ内に見える前記回折パターンから1次ポイントを含むポイントクラウド(306)を決定するための手段であって、各1次ポイントが、単一のイメージに基づいて正確に識別可能であり、正確な3次元座標を有する、手段と、
前記第2のイメージから、対応する1次ポイントを識別するための手段と、
前記第1および第2のイメージ内の前記ポイントクラウド（306）の各1次ポイントを、前記第1および第2のイメージ内の前記1次ポイント間にある2次ポイントを求める探索空間についての初期ポイントとして使用するための手段であって、前記2次ポイントがノイズを含み、前記モデリング構成の空間解像度を向上させる、手段と
を備える、装置(900)。
【請求項14】
前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するための手段であって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ(400A、400B)が、前記ポイントクラウド(306)の同一の単一の1次ポイント(304)を含む、手段と、前記部分イメージ対(400A、400B)内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段と
をさらに備える、請求項13に記載の装置(900)。
【請求項15】
前記第1のイメージおよび前記第2のイメージを部分イメージ(302)のセットに分割することによって前記第1および第2のイメージの部分イメージ対(400A、400B)を形成するための手段であって、各部分イメージ対(400A、400B)が、前記第1のイメージの部分イメージ(400A)と、前記第2のイメージの対応する部分イメージ(400B)とを含み、前記第1のイメージおよび前記第2のイメージの各部分イメージ対(400A、400B)が、前記ポイントクラウド(306)の少なくとも3つの1次ポイントによって画定された閉じたエリアを含む、手段と、前記部分イメージ対(400A、400B)内の前記閉じたエリア内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、
前記2次ポイントの前記xおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段と
をさらに備える、請求項13に記載の装置(900)。
【請求項16】
前記部分イメージ対から前記少なくとも3つの1次ポイントを除外するための手段と、前記少なくとも3つの1次ポイントがそれから除外された、前記第1のイメージの前記部分イメージ(400A)内の第1の最大輝度、および前記第2のイメージの前記部分イメージ(400B)内の第2の最大輝度を決定するための手段と、
前記第1の最大輝度に基づいて前記第1のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するための手段と、
前記第2の最大輝度に基づいて前記第2のイメージの前記部分イメージ内の各ピクセルの輝度を正規化するための手段と
をさらに備える、請求項15に記載の装置(900)。
【請求項17】
各部分イメージ(400A、400B)をサブブロック(604)に分割するための手段と、前記サブブロック(604)内の対応する2次ポイントを識別するための手段と
をさらに備える、請求項14から16のいずれか一項に記載の装置(900)。
【請求項18】
前記第2のイメージの前記部分イメージ(400B)内の2次ポイントを探索するための手段であって、前記2次ポイントが、前記第1のイメージの前記部分イメージ(400A)内の前記2次ポイントと前記第1のイメージの前記部分イメージ(400A)内の前記1次ポイント(402A)との間の距離とほぼ同一の、前記第2のイメージの前記部分イメージ内の前記1次ポイント(402B)からエピポーラ線に沿った距離を有する、前記第2のイメージの前記部分イメージ(400B)内の対応するエピポーラ線に沿った探索エリア内の、前記第1のイメージの対応する部分イメージ(400A)内の2次ポイントに対応する、手段をさらに備える、請求項14から16のいずれか一項に記載の装置(900)。
【請求項19】
請求項1から6のいずれか一項に記載の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムであって、前記プログラムコードが少なくとも1つのプロセッサによって実行される、コンピュータプログラム。
【請求項20】
請求項1から6のいずれか一項に記載の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムを含むコンピュータ可読記憶媒体であって、前記プログラムコードが少なくとも1つのプロセッサによって実行される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は立体写真測量に関する。
【背景技術】
【0002】
写真測量は、注目の物体の撮影された写真に基づくマッピングまたはモデリングを利用する。たとえば、マシンビジョンによって実施される3次元撮像が非常に有用である、多数の適用分野がある。一般には、これらのシステムは、たとえば、カメラ、照明デバイス、および機器を管理する制御システムを含み得る。立体写真測量では、異なるカメラ位置から物体の2つ以上の写真を撮影し、各写真内の共通ポイントを識別することによって3次元物体がモデリングされる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
写真測量および立体写真測量における課題は、3次元物体を迅速に、たとえばリアルタイムまたはほぼリアルタイムでモデリングすることができ、これを非常に正確に行えることである。
【課題を解決するための手段】
【0004】
本発明の第1の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することを含む方法が提供され、回折パターンは数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。方法は、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することをさらに含み、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている。方法は、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することをさらに含む。
【0005】
本発明の第2の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することを含む方法が提供され、回折パターンは数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。方法は、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することをさらに含み、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている。方法は、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、第2のイメージから、対応する1次ポイントを識別すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することをさらに含む。
【0006】
第1の態様または第2の態様の一実装形態では、方法は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することをさらに含む。
【0007】
第1の態様または第2の態様の一実装形態では、方法は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することをさらに含む。
【0008】
第1の態様または第2の態様の別の実装形態では、方法は、部分イメージ対から少なくとも3つの1次ポイントを除外すること、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定すること、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化すること、ならびに第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化することをさらに含む。
【0009】
第1の態様または第2の態様の別の実装形態では、方法は、各部分イメージをサブブロックに分割すること、およびサブブロック内の対応する2次ポイントを識別することをさらに含む。
【0010】
第1の態様または第2の態様の別の実装形態では、部分イメージ対内の対応する2次ポイントを識別することは、第2のイメージの部分イメージ内の2次ポイントを探索することを含み、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0011】
第1の態様または第2の態様の別の実装形態では、部分イメージ対内の対応する2次ポイントを識別することは、第2のイメージの部分イメージ内の2次ポイントを探索することを含み、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0012】
本発明の第3の態様によれば、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、構造的光源と、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラと、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第2のカメラとを備えるモデリング構成を備えるモデリングシステムが提供される。モデリング構成は、第1のカメラと第2のカメラの光軸の相対的向き、および回折軸が知られるように較正され、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。モデリングシステムは、モデリング構成に接続され、構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成し、第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録し、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するように構成された制御システムをさらに備える。
【0013】
本発明の第4の態様によれば、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、構造的光源と、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラと、光源によって放射された波長において、モデリングすべき表面を撮影するように構成された第2のカメラとを備えるモデリング構成を備えるモデリングシステムが提供される。モデリング構成は、第1のカメラと第2のカメラの光軸の相対的向き、および回折軸が知られるように較正され、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。モデリングシステムは、モデリング構成に接続され、構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成し、第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録し、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第2のイメージから、対応する1次ポイントを識別し、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するように構成された制御システムをさらに備える。
【0014】
第3の態様または第4の態様の一実装形態では、モデリング構成に接続された制御システムは、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを行うようにさらに構成される。
【0015】
第3の態様または第4の態様の一実装形態では、制御システムは、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびにxおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを行うようにさらに構成される。
【0016】
第3の態様または第4の態様の別の実装形態では、制御システムは、部分イメージ対から少なくとも3つの1次ポイントを除外し、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定し、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化し、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化するようにさらに構成される。
【0017】
第3の態様または第4の態様の別の実装形態では、制御システムは、各部分イメージをサブブロックに分割し、サブブロック内の対応する2次ポイントを識別するように構成される。
【0018】
第3の態様または第4の態様の別の実装形態では、制御システムは、第2のイメージの部分イメージ内の2次ポイントを探索するように構成され、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0019】
第3の態様または第4の態様の別の実装形態では、制御システムは、第2のイメージの部分イメージ内の2次ポイントを探索するように構成され、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0020】
第5の態様によれば、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに接続された少なくとも1つのメモリとを備える装置が提供される。少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することであって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、生成すること、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することであって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、記録すること、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することを装置に行わせるプログラム命令を記憶する。
【0021】
第6の態様によれば、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに接続された少なくとも1つのメモリとを備える装置が提供される。少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成することであって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、生成すること、モデリング構成の第1のカメラを用いて回折パターンを含む表面の第1のイメージを記録し、モデリング構成の第2のカメラを用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録することであって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、記録すること、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定すること、第2のイメージから、対応する1次ポイントを識別すること、ならびに第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用することを装置に行わせるプログラム命令を記憶する。
【0022】
第5の態様または第6の態様の一実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、形成すること、部分イメージ対内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびに2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを装置に行わせるプログラム命令を記憶する。
【0023】
第5の態様または第6の態様の一実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成することであって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、形成すること、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別することであって、各2次ポイントがxおよびyイメージ座標を有する、識別すること、ならびにxおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算することを装置に行わせるプログラム命令を記憶する。
【0024】
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、装置に、少なくとも1つのプロセッサによって実行されるとき、部分イメージ対から少なくとも3つの1次ポイントを除外させ、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定させ、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化させ、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化させるプログラム命令を記憶する。
【0025】
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、各部分イメージをサブブロックに分割させ、サブブロック内の対応する2次ポイントを識別させるプログラム命令を記憶する。
【0026】
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、第2のイメージの部分イメージ内の2次ポイントを探索させるプログラム命令を記憶し、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0027】
第5の態様または第6の態様の別の実装形態では、少なくとも1つのメモリは、少なくとも1つのプロセッサによって実行されるとき、装置に、第2のイメージの部分イメージ内の2次ポイントを探索させるプログラム命令を記憶し、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0028】
第7の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、手段と、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージと、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージのほぼ同時の記録を行わせるための手段であって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、手段と、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するための手段と、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するための手段とを備える装置が提供される。
【0029】
第8の態様によれば、モデリング構成の構造的光源を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するための手段であって、回折パターンが数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている、手段と、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージと、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージのほぼ同時の記録を行わせるための手段であって、第1のカメラおよび第2のカメラが較正され、互いに対する位置が知られている、手段と、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するための手段と、第2のイメージから、対応する1次ポイントを識別するための手段と、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するための手段とを備える装置が提供される。
【0030】
第7の態様または第8の態様の一実装形態では、装置は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成するための手段であって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージが、ポイントクラウドの同一の単一の1次ポイントを含む、手段と、部分イメージ対内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段とを備える。
【0031】
第7の態様または第8の態様の一実装形態では、装置は、第1のイメージおよび第2のイメージを部分イメージのセットに分割することによって第1および第2のイメージの部分イメージ対を形成するための手段であって、各部分イメージ対が、第1のイメージの部分イメージと、第2のイメージの対応する部分イメージとを含み、第1のイメージおよび第2のイメージの各部分イメージ対が、少なくとも3つの1次ポイントによって画定される閉じたエリアを含む、手段と、部分イメージ対内の閉じたエリア内の対応する2次ポイントを識別するための手段であって、各2次ポイントがxおよびyイメージ座標を有する、手段と、xおよびyイメージ座標に基づいて、各2次ポイントについての外部座標系でのX、Y、およびZ座標を計算するための手段とを備える。
【0032】
第7の態様または第8の態様の別の実装形態では、装置は、部分イメージ対から少なくとも3つの1次ポイントを除外するための手段と、少なくとも3つの1次ポイントがそれから除外された、第1のイメージの部分イメージ内の第1の最大輝度、および第2のイメージの部分イメージ内の第2の最大輝度を決定するための手段と、第1の最大輝度に基づいて第1のイメージの部分イメージ内の各ピクセルの輝度を正規化するための手段と、第2の最大輝度に基づいて第2のイメージの部分イメージ内の各ピクセルの輝度を正規化するための手段とを備える。
【0033】
第7の態様または第8の態様の別の実装形態では、装置は、各部分イメージをサブブロックに分割するための手段と、サブブロック内の対応する2次ポイントを識別するための手段とを備える。
【0034】
第7の態様または第8の態様の別の実装形態では、装置は、第2のイメージの部分イメージ内の2次ポイントを探索するための手段を備え、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからエピポーラ線に沿った距離を有する、第2のイメージの部分イメージ内の対応するエピポーラ線に沿った探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0035】
第7の態様または第8の態様の別の実装形態では、装置は、第2のイメージの部分イメージ内の2次ポイントを探索するための手段を備え、2次ポイントは、第1のイメージの部分イメージ内の2次ポイントと第1のイメージの部分イメージ内の1次ポイントとの間の距離とほぼ同一の、第2のイメージの部分イメージ内の1次ポイントからの距離を有する、第2のイメージの部分イメージ内の探索エリア内の、第1のイメージの対応する部分イメージ内の2次ポイントに対応する。
【0036】
本発明の第9の態様によれば、第1の態様または第2の態様の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムが提供される。
【0037】
本発明の第10の態様によれば、第1の態様または第2の態様の方法を実施するように構成されたプログラムコードを含むコンピュータプログラムを含むコンピュータ可読媒体が提供される。
【0038】
態様および実装形態の少なくとも一部は、1つまたは複数の効果および/または利点をもたらし得る。解決策は、処理時間が大幅に削減された、リアルタイムまたはほぼリアルタイムの解決策において、モデリング構成の空間解像度を向上することを著しく可能にし得る。これはまた、正確な物体識別を必要とし、シーンについてのより高密度の3次元データを必要とするアルゴリズムを伴う様々な適用分野についてのモデリング構成のユーザビリティをも向上させ得る。空間解像度の向上は、シーン物体が従来の解決策よりもさらに高密度にサンプリングされると同時に、測定されるポイントの精度が、高密度ポイントクラウドを生成する既知のセンサよりも高く保たれることを意味する。さらに、開示される解決策は、極めて高品質な3次元データを使用しなければならない適用分野について、極めて高精度の1次ポイントを2次ポイントから分離することを可能にし得る。
【0039】
実施形態の例によって本発明が以下で詳細に説明される。
【図面の簡単な説明】
【0040】
【図1】本発明の一態様によるモデリングシステムを示す図である。
【図2】イメージを取得および処理するためのブロック図方法を示す図である。
【図3】回折パターンから決定されたポイントクラウドを含む簡略化したイメージを示す図である。
【図4A】カメラを用いて取り込まれた、より大きいイメージの部分イメージの一例を示す図である。
【図4B】1対の対応する部分イメージの一例である。
【図4C】1対の対応する部分イメージの一例である。
【図5A】1対の部分イメージ内の対応する2次ポイントを識別する一例を示す図である。
【図5B】1対の部分イメージ内の対応する2次ポイントを識別する一例を示す図である。
【図6A】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6B】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6C】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6D】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6E】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6F】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6G】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6H】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6I】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6J】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6K】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6L】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6M】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図6N】1対の部分イメージ内の対応する2次ポイントを識別する別の例を示す図である。
【図7A】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図7B】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図7C】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図7D】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図7E】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図7F】第1および第2のイメージ内に見える回折パターンから1次ポイント間のエリアを正規化するための一実施形態を示す図である。
【図8A】差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。
【図8B】差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。
【図8C】差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す図である。
【図9】モデリング構成を制御するための例示的装置を示す図である。
【発明を実施するための形態】
【0041】
図1は、本発明の一態様によるモデリングシステムを示す。モデリングシステムは、モデリング構成100および制御システム112を備える。モデリング構成100は、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成された構造的光源102を備える。構造的光源102は、レーザ光源と、レーザ光源からの光がそれを通じて移動する回折素子とを備え得る。構造的光源102は、ほぼ単色でコヒーレントな電磁放射を生成するように構成され得る。構造的光源102によって与えられる回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。言い換えれば、構造的光源102によって与えられる回折パターンは、数学的物理的モデルに基づいてモデリングされる。回折によって生成されるポイントクラウドの幾何形状は、回折源において使用される格子に依存し得、任意の適切なポイント幾何形状が使用され得る。一例では、構造的光源102は、ただ1つの波長、または複数の波長を含む放射、たとえば赤色、緑色、および青色コヒーレント光を同時に生成し得る。
【0042】
モデリング構成100は、構造的光源102によって放射された波長において、モデリングすべき表面を撮影するように構成された第1のカメラ108と、構造的光源102によって放射された波長において、モデリングすべき表面を同様に撮影するように構成された第2のカメラ104とをさらに備える。イメージファイルは、第1および第2のカメラから制御システム112に、たとえばワイヤレスデータ転送によって自動的に転送され得る。
【0043】
モデリング構成100は、第1のカメラ108と第2のカメラ104の光軸の相対的向き、および構造的光源102の回折軸が知られるように較正され、第1のカメラ108および第2のカメラ104に対する構造的光源102の出力ポイントの位置、距離、および向きが知られている。較正はまた、カメラ104、108のレンズの光学品質およびひずみを考慮に入れ得る。
【0044】
モデリングシステムはまた、モデリング構成100に接続された制御システム112をも備える。制御システム112は、モデリング構成100の動作を制御するように構成される。制御システム112は、カメラ104、108を制御し、カメラ104、108を用いて記録されたイメージを処理するための適切なソフトウェアを装備するコンピュータを備え得る。
【0045】
制御システム112はまた、構造的光源102を制御して、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように構成され得る。制御システム112は、第1のカメラ108を用いて回折パターンを含む表面の第1のイメージを記録させ、第2のカメラ104を用いて回折パターンを含む表面の第2のイメージをほぼ同時に記録させるようにさらに構成され得る。「ほぼ同時に」という用語は、第1のカメラおよび第2のカメラが回折パターンを有する同一の物体を同時またはほとんど同時に撮影するように構成されることを意味する。
【0046】
第1および第2のイメージが記録されたとき、制御システム112は、第1および第2のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定するように構成され得る。別の実施形態では、制御システム112は、第1のイメージ内に見える回折パターンから1次ポイントを含むポイントクラウドを決定し、第2のイメージから、対応する1次ポイントを識別するように構成され得る。ポイントクラウドは、イメージ内の各1次ポイントの明白な識別が可能となるように設計され、実装される。実際には、これは、イメージ内の特定の区間において、そこにあり得るただ1つの可能な1次ポイントがあることを意味する。制御システム112は、第1および第2のイメージ内のポイントクラウドの各1次ポイントを、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用するようにさらに構成される。2次ポイントは、イメージの1次ポイント間にある、それについての正確な3次元位置が計算され得る、より低い輝度のアーチファクトであり得る。2次ポイントは、使用される帯域幅内にある背景光であり得る。さらに、その輝度は、1次ポイントの輝度よりも著しく低いものであり得る。別の例として、2次ポイントは、回折素子によって生成されたノイズであり得る。別の例として、2次ポイントは、別々の光源によって生成されたパターンまたはノイズであり得る。さらに、一実施形態では、1次ポイントは、回折素子によって生み出された、明るい、はっきりと見えるスポットであり、2次ポイントは、第1および第2のイメージの対応する部分イメージ間の差異イメージを決定する手段、または第1および第2のイメージからの部分イメージからの1次ポイントよりも明らかに低い輝度の特徴を識別し、写真測量方法によってそれらの対応する3D座標を決定する手段のどちらかによって、これらのポイント間に生み出されたポイントである。
【0047】
一例では、別々の光源がモデリング構成100に統合され得る。可能な探索空間のサイズが著しく削減されるので、これにより、表面の正確な3次元表現をリアルタイムまたはほぼリアルタイムで提供することのできる解決策が可能となる。
【0048】
制御システム112は、モデリング構成100にすぐ近接して設けられ得る。代替として、制御システム112が、データ通信ネットワーク、たとえばインターネットを介してカメラ104、108によって撮影されたイメージをダウンロードすることができる限り、制御システム112は任意の他の場所に物理的に存在し得る。
【0049】
制御システム112は、1つまたは複数のプロセッサと、プロセッサに接続された1つまたは複数のメモリとを備え得る。データ転送インターフェースを通じて、制御システム112は、外部デバイスまたはシステムから情報を受信し得る。メモリは、本明細書において説明される方法ステップを実施するように構成されるプログラムコードを含む1つまたは複数のコンピュータプログラムを含み得る。
【0050】
図2は、イメージを取得および処理するためのブロック図方法を示す。方法は、コンピュータによって実施されるコンピュータプログラムとして実装され得る。
【0051】
200において、モデリング構成の構造的光源が、モデリングすべき表面上に既知の幾何形状の回折パターンを生成するように制御される。回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。回折の幾何形状は、回折源において使用される格子に依存し、任意の適切なポイント幾何形状が使用され得る。
【0052】
202において、モデリング構成の第1のカメラを用いた回折パターンを含む表面の第1のイメージの記録と、モデリング構成の第2のカメラを用いた回折パターンを含む表面の第2のイメージの記録とが、ほぼ同時に引き起こされる。構造的光源、第1のカメラ、および第2のカメラは、第1のカメラおよび第2のカメラの光軸の相対的向き、および回折軸が知られるように較正されている。さらに、第1のカメラおよび第2のカメラに対する構造的光源の出力ポイントの位置、距離、および向きが知られている。較正はまた、カメラのレンズの光学的ひずみを考慮に入れ得る。
【0053】
204において、1次ポイントを含むポイントクラウドが、第1のイメージ内に見える回折パターンから決定され、対応する1次ポイントが第2のイメージから識別される。
【0054】
206において、第1および第2のイメージ内のポイントクラウドの各1次ポイントが、第1および第2のイメージ内の2次ポイントを求める探索空間についての初期ポイントとして使用される。2次ポイントは、2つの1次ポイント間にあるイメージの1次ポイント間にある、それについての正確な3次元位置が計算され得る、より低い輝度のアーチファクトであり得る。2次ポイントは、使用される帯域幅内にある背景光であり得る。さらに、その輝度は、1次ポイントの輝度よりも著しく低いものであり得る。別の例として、2次ポイントは、回折素子によって生成されたノイズであり得る。別の例として、2次ポイントは、別々の光源によって生成されたパターンまたはノイズであり得る。別々の光源はモデリング構成に統合され得る。可能な探索空間のサイズが著しく削減されるので、これにより、表面の正確な3次元表現をリアルタイムまたはほぼリアルタイムで提供することのできる解決策が可能となる。
【0055】
第1および第2のイメージ内の対応する2次ポイントが、2つのイメージから対応するポイントを見つけることのできる任意のイメージ処理解決策またはアルゴリズムを使用して識別され得る。イメージ内の対応する2次ポイントが識別されたとき、各2次ポイントはxおよびyイメージ座標を有する。2次ポイントのxおよびyイメージ座標と、カメラ位置とに基づいて、外部座標系でのX、Y、およびZ座標が、各2次ポイントについて計算され得る。
【0056】
図3は、第1のカメラを用いて記録されたイメージ内に見える回折パターンから決定されたポイントクラウド306を含む簡略化したイメージ300を示す。ポイントクラウド306の各ポイント304は、正確に識別可能であり、非常に正確な3次元座標を有する。
【0057】
図3は、複数の部分イメージ302が全イメージ300から形成される一実施形態を示す。図3は6つの部分イメージ302のみを示すが、イメージ300の他の部分イメージが同様に生成される。類似の動作、すなわち部分イメージを形成する動作が、第2のカメラを用いてほぼ同時に記録されたイメージに対して行われ得る。
【0058】
イメージ300の各部分イメージ302は、ポイントクラウドの単一の1次ポイント304を含む。このことが、図3において各部分イメージ302の中心のドットで例示されている。イメージ300を部分イメージ302に分割することによって、各部分イメージを別々に、並列に処理することが可能である。部分イメージ302内のポイントクラウドの各1次ポイントは、部分イメージ302内の2次ポイントを求める探索空間についての初期ポイントとして使用され得る。2次ポイントは、2つの1次ポイント間にある、それについての正確な3次元位置が計算され得るポイントである。
【0059】
【0060】
部分イメージ400は、ポイントクラウドの単一の1次ポイント402を中心ポイントとして含む。既に先に論じたように、1次ポイントを含むポイントクラウドが、イメージ内に見える回折パターンから決定される。回折パターンは、数学的物理的モデルに正確に従い、回折パターンのビーム出力角が、数学的物理的モデルに基づいて正確に知られている。類似の部分イメージが、ポイントクラウドのそれぞれの他の1次ポイントについてのイメージから形成される。
【0061】
図4Bおよび図4Cは1対の対応する部分イメージを示す。部分イメージ400Aは、第1のカメラを用いて記録されたイメージの部分イメージであり、部分イメージ400Bは、第2のカメラを用いて記録されたイメージの対応する部分イメージである。部分イメージ400A、400Bは共に、ポイントクラウドの同一の1次ポイント402A、402Bを中心ポイントとして含む。
【0062】
図5Aおよび図5Bは、1対の部分イメージ514A、514B内の対応する2次ポイントを識別する一例を示す。図4Bおよび図4Cに加えて、図5Aおよび図5Bは、部分イメージが共に、1つまたは複数のイメージ処理アルゴリズムを使用して識別され得る形状504A、506A、508A、510A、512A;504B、506B、508B、510B、512Bを含むことを示す。形状はまた、先に既に論じた2次ポイントを指し得る。たとえば、形状または2次ポイント504Aが部分イメージ514A内で識別されたとき、対応する形状または2次ポイント504Bが他の部分イメージ514B内で識別され得る。部分イメージ514B内の対応する2次ポイントを求める探索は、部分イメージ514A内の対応する2次ポイントと部分イメージ514A内の1次ポイントとの間の距離とほぼ同一の、部分イメージ514B内の1次ポイントからエピポーラ線に沿った距離を有する探索エリア内を対象とし得る。これは、部分イメージ514B内の2次ポイント504Bが正確かつ迅速に見つけられ得ることを意味する。
【0063】
図6A～図6Fは、1対の部分イメージ600A、600B内の対応する2次ポイントを識別する別の例を示す。図6Aでは、第1のイメージの部分イメージ600Aがサブブロック604のセットに分割されている。この特定の例では、部分イメージ600Aが9個のサブブロックに分割される。中心サブブロックは1次ポイント602Aを含む。中心ブロックが1次ポイント602Aを含むので、部分イメージ600B内の対応するポイントを別々に探索する必要はない。対応するポイントは既に知られているからである(すなわち、対応するポイントは1次ポイント602Bである)。図6Bは、第1のイメージの部分イメージ600Aに対応する第2のイメージの部分イメージ600Bを示す。
【0064】
図6Cおよび図6Dは、サブブロックまたはサブブロックの部分616が、部分イメージ600B内の対応するサブブロックまたはサブブロックの部分を求める探索のためのテンプレートとして使用される一例を示す。次いで、部分イメージ600Aのサブブロックまたはサブブロックの部分616が、部分イメージ600Bのピクセルと比較され得る。
【0065】
【0066】
この場合も、部分イメージ600Aの左側コーナのサブブロック内の区間616が、テンプレートとして使用される。図6F～図6Nは、テンプレートが部分イメージ600Bのコーナの部分イメージ600Bのピクセル618A～618Eのセットと順次比較されることを示す。図6F～図6Nでは、各シーケンスでの部分イメージ600B内のピクセル618A～618Eのセットが方向、たとえば水平方向のみに移動することが示され得るが、他の例では、2つの連続するシーケンス間の部分イメージ600B内のピクセル618A～618Eのセットに伴う、水平方向と垂直方向の両方の移動があり得る。
【0067】
それぞれの比較において、部分イメージ600A内のテンプレート616と、部分イメージ600B内のピクセル618A～618Eのセットについて相関係数が計算され得る。相関係数を計算するための1つの可能な解決策は、ピヤソン相関係数を使用することである。
【0068】
【数1】
【0069】
2つの別個の変数の関連度の定量的尺度は、しばしば相関係数と呼ばれ、通常は-1から1の間で変動する。相関係数が1である場合、2つの変数間に高い相関がある。
【0070】
すべての相関係数が計算されたとき、最高の相関係数を有する計算中に部分イメージ600B内で移動した部分イメージ600B内のピクセル618A～618Eのセットが、テンプレート616に対する最良の対応である。
【0071】
テンプレート616の中心ポイントと、部分イメージ600B内のピクセル618A～618Eの最良に対応するセットが、1対の観測イメージポイントを形成する。観測イメージポイントの対と、2つのイメージを取り込むために使用された2つの較正済みカメラの位置とに基づいて、外部座標系での3次元座標を計算することが可能である。言い換えれば、最初に、部分イメージ対内の対応する2次ポイントが識別され得、各2次ポイントはxおよびyイメージ座標を有する。2番目に、各2次ポイントについての外部座標系でのX、Y、およびZ座標が、たとえば三角測量を使用することによって、2次ポイントのxおよびyイメージ座標とカメラ位置とに基づいて計算され得る。
【0072】
一実施形態では、上記で開示した例および実施形態は、2つのイメージ内の対応するポイントを見つける際のピクセルレベル精度を実現する。別の実施形態では、ピクセルレベル精度はサブピクセル精度にさらに拡張され得る。サブピクセル精度とは、ピクセルレベルよりも高い精度で物体の場所を識別することを指す。たとえば、これは、イメージから観測される円の中心ポイントを、ピクセル座標において、整数ピクセル値を単に指すのではなく、小数点精度で定義することを意味し得る。さらに、サブピクセル精度を達成することは、イメージのピクセル値を補間および/または再サンプリングすることを含み得、これは、テンプレートイメージについての最良の合致を見つける際に一般的に使用される一方法である。別の例では、サブピクセル精度を達成することは、様々な場所での相関値に連続的で滑らかな関数をあてはめること、および極大値を見つけることを含み得る。
【0073】
「較正済みカメラ」という用語は、1)カメラのレンズまたはレンズ系のひずみ誤差を決定すること、および2)カメラの内部幾何形状を決定することを指し得る。ひずみ誤差は、レンズの物理的性質によって引き起こされるイメージ幾何形状の変化を指し得る。イメージ内で、ひずみ誤差は、たとえば、樽形歪曲および糸巻き形歪曲として見え得る。ひずみ誤差は数学的に補正され得る。カメラの内部幾何形状の決定は、レンズまたはレンズ系の焦点距離、カメラの主点、およびアスペクト比を決定することを含み得る。
【0074】
焦点距離はレンズの物理的性質に依存し、レンズ系および像平面の光学的中心ポイントの距離を記述する。さらに、イメージ観測座標と共に、焦点距離は、イメージから観測される現象が存在する方向と、カメラからの距離に対する像平面上の物体の縮尺とを記述する。
【0075】
主点は、光軸が横切る像平面上の点である。レンズひずみは、ひずみが0である主点までの距離に依存する。
【0076】
アスペクト比は、相異なるイメージ軸の縮尺の非対称性を記述する。これは、像平面上の光起電力電池の構造またはアセンブリのレンズ特性のためであり得る。アスペクト比は、xおよびy座標について相異なる焦点距離を使用することによって定義され得る。既知の幾何形状を有する物体を観測することによって、内部幾何形状がレンズひずみパラメータと同時に定義される。
【0077】
さらに、一実施形態では、カメラレンズの較正が1度だけ実施され、イメージの光学的ひずみが、取得された較正情報によって、イメージのピクセルを正しい位置に移動することによって補正される。
【0078】
2つのカメラはまた、互いに対して較正され得る。図1に示されるモデリング構成100の構造的光源102からより遠くに配置されるカメラ104が、測定座標系を決定し、他方のカメラ108がそれに対して配置される。測定座標系の原点は、カメラ104の投影中心である。測定座標系の軸は、イメージのイメージ座標系の軸と平行であり、像平面に垂直な第3の軸はカメラの光軸である。較正の後、カメラ104の観測値は、定義により測定座標系内に直接あるのに対して、カメラ108の観測値は、測定座標系に変換され得る。
【0079】
上記の実施形態および例は、別々の写真またはイメージに基づく解析のみを開示しているが、いくつかの個々の写真がより大きい単一のモデリングすべき表面に組み合わされるように本発明を適用することも当業者にとって明らかである。このケースでは、本発明において説明されるモデリング構成は、所望の構成がモデリングされ得るように撮影状況において手動で、または自動的に移動され得る。
【0080】
前述の本発明の実施形態は、多くの異なる適用環境、たとえば、トンネルの壁を測定する際に、岩石材料識別、森林適用分野(たとえば、林分を評価する際に)、自動車産業、または表面をモデリングするための任意の他の適用分野において使用され得る。
【0081】
図7A～図7Fは、第1および第2のイメージ内に見える回折パターンから1次ポイント702、704、706、708の間のエリアを正規化するための一実施形態を示す。図1～図3に関連して先に論じた実施形態は、第1および第2のイメージを取得することについてより詳細な説明を与える。
【0082】
図7Aは、第1のイメージから取られた部分エリアを示す。同様に、図7Bは、第2のイメージから取られた、対応する部分エリアを示す。両方の部分エリアは、4つの1次ポイント702、704、706、708によって制限される。図7Aおよび図7Bは、第1および第2のイメージ内の背景物体からの全感度が互いに異なる状況を示す。
【0083】
第1および第2のイメージから取られた部分エリア内の1次ポイント702、704、706、708が正確に識別され得るので、1次ポイント702、704、706、708がこの部分エリアから除外され得る。1次ポイント702、704、706、708の除外は、たとえば1次ポイント702、704、706、708の輝度値を小さい値、たとえば0で置き換えることによって実施され得る。別の実施形態では、次のステップにおいて第1および第2のイメージの部分エリアから最大輝度を決定するとき、1次ポイント702、704、706、708に関する輝度値が省略され得る。図7Cおよび図7Dは、除外された部分エリア710、712、714、716を示す。図7Cおよび図7Dは、矩形を使用することによって1次ポイント702、704、706、708の輝度が小さい値で置き換えられたことを示すが、任意の他の除外方法および/または形状が使用され得る。
【0084】
次に、除外された(すなわち、図7Cおよび図7Dに示される部分エリアから除外された)第1および第2のイメージの両方の部分エリアから最大輝度maxIが決定される。この例では、輝度についての最高の可能な値は1.0である。一例として、図7Cの最大輝度maxIは0.333であり得、図7Dの最大輝度maxIは0.143であり得る。イメージピクセル(x,y)についての正規化輝度I(x,y)Nが、以下の式を用いて計算され得る。
I(x,y)N=min(I(x,y)E*C/maxI,1.0)
上式で、I(x,y)Eは、正規化前のイメージピクセル(x,y)の輝度であり、Cは正の係数、たとえば0.9である。min()関数は、正規化輝度I(x,y)Nが値[0,1.0]の間にあることを保証する。
I(x,y)N=min(I(x,y)E*C/maxI,1.0)
上式で、I(x,y)Eは、正規化前のイメージピクセル(x,y)の輝度であり、Cは正の係数、たとえば0.9である。min()関数は、正規化輝度I(x,y)Nが値[0,1.0]の間にあることを保証する。
【0085】
図7Eおよび図7Fは、第1および第2のイメージから取られた正規化部分エリアを示す。図7Eおよび図7Fから、1次ポイント702、704、706、708の間の信号が等しい状態になり、その結果、図7Eおよび図7Fに示されるエリア間の差が最小となることがわかる。
【0086】
上記の図示された正規化プロセスは、等しい特徴が両方のイメージ内で同様に見えるように、第1および第2のイメージ内の背景物体が前方に移動される解決策を可能にする。さらに、上記の図示される正規化プロセスは、イメージ対のイメージが独立して処理され得るように、イメージ対(すなわち、第1のイメージおよび第2のイメージ)内の輝度が正規化され得る解決策を可能にする。
【0087】
図8A～図8Cは、差異マッチングまたは特徴探索のための探索空間を削減するための一実施形態を示す。図8A～図8Cは、より大きいイメージの部分イメージを示す。図1～図3に関連して先に論じた実施形態は、より大きいイメージを取得することについてのより詳細な説明を与える。
【0088】
図8Aは、4つの1次ポイント802A、804A、806A、808Aと、それらが画定する四角形内部のエリアとを含む、第1のカメラを使用して取得された第1の部分イメージ800Aを示す。同様に、図8Bは、4つの1次ポイント802B、804B、806B、808Bと、それらが画定する四角形内部のエリアとを含む第2のカメラを使用して取得された第2の部分イメージ800Bを示す。
【0089】
部分イメージ800A、800Bは同一のエリアのものであり、たとえばカメラセンサノイズおよび光学的変形によって引き起こされたわずかな違いがあるが、非常に類似している。図1からわかるように、第1および第2のカメラは相異なる場所に配置され、相異なるカメラ位置によって、第1および第2のカメラから取得されるイメージ間の観点の違いが引き起こされる。
【0090】
図8Cは、2つの部分イメージ800A、800Bが共に左上コーナポイント802A、802Bの周りに中心が置かれた合成イメージを示す。基準810A、812A、814A、816Aは第1の部分イメージ800A内の輝点を示し、基準810B、812B、814B、816Bは第2の部分イメージ800B内の輝点を示す。2つの下側の輝点814A、814B、および816A、816Bが2つの部分イメージ800A、800B内で明らかに分離されることがわかる。このことは、これらのポイントの3次元場所が、基準点である左上コーナポイント810A、810Bとは異なる、第1および第2のカメラからの距離上にあることを意味する。
【0091】
差異イメージまたは特徴探索を形成する際に、ただ1つのポイントを使用するケースと比べた、複数のポイント、たとえば3つまたは4つのポイントを使用する利点は、探索エリアが既知の厳密に合致するポイントによって閉じられることである。これらのコーナポイント上の正確に知られているシフトに基づいて、差異(または第2のイメージ内の特徴の場所)が、イメージ上の任意のポイントでの差異を推定するための関数を作成することによって推定され得る。この推定差異(または水平視差)は、第2のカメラから取得された第2のイメージ内の、第1のカメラから取得された第1のイメージからの特徴またはピクセルについての対応の最良のアプリオリ推定である。このとき、最良合致の探索は、最適なリアルタイム性能のためにそのアプリオリ推定の周りに集中され得る。さらに、複数のポイントを使用して探索エリアを画定するとき、これは、近隣の既知の3次元ポイントに表面をあてはめることと同等である。これはさらに、差異マッチングまたは特徴探索のための探索空間を削減し、動作をより高速にする。
【0092】
図9は、様々な任意選択のハードウェアおよびソフトウェア構成要素を含み得る例示的装置900を示す装置を示す。図示される装置900は、信号コーディング、データ処理、入力/出力処理、電力制御、および/または他の機能などのタスクを実施するための1つまたは複数のコントローラまたはプロセッサ902(たとえば、信号プロセッサ、マイクロプロセッサ、ASIC、または他の制御および処理論理回路)を含み得る。
【0093】
図示される装置900はまた、メモリ904をも含み得る。メモリ904は、取外し不能メモリおよび/または取外し可能メモリを含み得る。取外し不能メモリは、RAM、ROM、フラッシュメモリ、ハードディスク、または他の周知のメモリストレージ技術を含み得る。取外し可能メモリは、フラッシュメモリまたは他の周知のメモリストレージ技術を含み得る。メモリは、オペレーティングシステムおよび/または1つもしくは複数のアプリケーションを実行するためのデータおよび/またはコードを記憶するために使用され得る。
【0094】
装置900は、たとえば図2～図4、図4A～図4C、図5A～図5B、図6A～図6N、図7A～図7F、および図8A～図8Cに部分的に、または完全に示される、様々な特徴、例、および実施形態を実装するように構成され得る。さらに、プロセッサ902および/またはメモリ904は、たとえば図2～図4、図4A～図4C、図5A～図5B、図6A～図6N、図7A～図7F、および図8A～図8Cに部分的に、または完全に示される様々な特徴、例、および実施形態を実装するための手段を構成し得る。本明細書において説明される機能は、ソフトウェア構成要素などの1つまたは複数のコンピュータプログラム製品構成要素によって、少なくとも部分的に実施され得る。一例によれば、プロセッサ902は、実行されるとき、説明される動作および機能の例および実施形態を実施するプログラムコードによって構成され得る。代替または追加として、本明細書において説明される機能は、1つまたは複数のハードウェア論理構成要素によって、少なくとも部分的に実施され得る。たとえば、限定はしないが、使用され得るハードウェア論理構成要素の例示的タイプには、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、System-on-a-chipシステム(SOC)、複合プログラマブル論理デバイス(CPLD)、グラフィックス処理装置(GPU)が含まれる。
【0095】
実施形態および例が単に例として上記で説明され、ハードウェアおよび/またはソフトウェア技術分野の技術者は理解するであろうが、これらの実施形態を実施するために使用されるハードウェアは多くの形で異なり得る。例示的実施形態の1つまたは複数の構成要素の機能は、たとえば1つまたは複数の装置および/またはコンピュータ上で実行されるコンピュータプログラムによって実装され得る。
【0096】
例示的実施形態は、本明細書において説明された様々なプロセスに関する情報を記憶し得る。この情報は、ハードディスク、光ディスク、RAMメモリなどの1つまたは複数のメモリ内に記憶され得る。1つまたは複数のメモリまたはデータベースは、本発明の例示的実施形態を実施するために使用される情報を記憶し得る。
【0097】
コンピュータおよび/またはソフトウェア技術分野の技術者は理解するであろうが、全体またはその部分としての例示的実施形態は、本発明の例示的実施形態の教示に従ってプログラムされる1つまたは複数の汎用プロセッサ、マイクロプロセッサ、DSPプロセッサ、マイクロコントローラなどを使用して実施され得る。
【0098】
任意のコンピュータ可読媒体または媒体の組合せは、本発明を実施するために実行すべき処理を実行するためのコンピュータプログラムまたはコンピュータプログラム製品を全体として、または部分的に(処理が分散される場合)記憶し得る。
【0099】
本発明の実施形態において使用されるデバイスは、本明細書において説明されたデータ構造、テーブル、レコード、および/または他のデータと共に、本発明の教示に従ってプログラムされたコマンドを含むコンピュータ可読媒体またはメモリを含み得る。コンピュータ可読媒体は、コマンドの実行のためにプロセッサにコマンドを提供する際に関与する任意の適切な媒体を含み得る。そのような媒体は、上述のものに限定はしないが、不揮発性メモリ、揮発性メモリ、転送媒体などの多くの異なる形態で提供され得る。不揮発性メモリには、たとえば、光または磁気ディスク、光磁気ディスクなどが含まれ得る。揮発性メモリには、ダイナミックメモリなどが含まれ得る。転送媒体には、同軸ケーブル、銅線、光ファイバなどが含まれ得る。転送媒体はまた、無線周波数通信、赤外線データ転送などの間に形成される波の形などの、音響波、光波、電磁波などの形で提供され得る。コンピュータ可読媒体の一般的実施形態には、たとえばコンピュータディスク、ハードディスク、磁気テープ、任意の他の適切な磁気媒体、CD-ROMディスク、CD-Rディスク、CD-RWディスク、DVDディスク、DVD-ROMディスク、DVD±RWディスク、DVD±Rディスク、任意の他の適切な光媒体、RAMメモリ、ROMメモリ、EPROMメモリ、FLASH-EPROMメモリ、任意の他の適切なメモリチップ、またはプロセッサもしくはコンピュータによって読取り可能な任意の他の適切な媒体が含まれ得る。本発明の実施形態において使用されるデバイスはまた、ワイヤードまたはワイヤレスデータ転送接続を使用して情報が送られ、受信されるデータ転送手段をも含み得る。
【0100】
本発明は、単に上記の実施形態の例に限定されず、特許請求の範囲によって定義される本発明の概念の範囲内で多くの修正が可能である。
【符号の説明】
【0101】
100 モデリング構成
102 構造的光源
104 第2のカメラ
108 第1のカメラ
112 制御システム
300 イメージ
302 部分イメージ
304 ポイント
306 ポイントクラウド
400、400A、400B 部分イメージ
402、402A、402B 1次ポイント
504A、506A、508A、510A、512A 形状、2次ポイント
504B、506B、508B、510B、512B 形状、2次ポイント
514A、514B 部分イメージ
600A、600B 部分イメージ
602A、602B 1次ポイント
604 サブブロック
616 テンプレート
618A～618E ピクセル
702、704、706、708 1次ポイント
710、712、714、716 部分エリア
800A、800B 部分イメージ
802A、804A、806A、808A 1次ポイント
802B、804B、806B、808B 1次ポイント
810A、812A、814A、816A 基準
810B、812B、814B、816B 基準
900 装置
902 コントローラまたはプロセッサ
904 メモリ
102 構造的光源
104 第2のカメラ
108 第1のカメラ
112 制御システム
300 イメージ
302 部分イメージ
304 ポイント
306 ポイントクラウド
400、400A、400B 部分イメージ
402、402A、402B 1次ポイント
504A、506A、508A、510A、512A 形状、2次ポイント
504B、506B、508B、510B、512B 形状、2次ポイント
514A、514B 部分イメージ
600A、600B 部分イメージ
602A、602B 1次ポイント
604 サブブロック
616 テンプレート
618A～618E ピクセル
702、704、706、708 1次ポイント
710、712、714、716 部分エリア
800A、800B 部分イメージ
802A、804A、806A、808A 1次ポイント
802B、804B、806B、808B 1次ポイント
810A、812A、814A、816A 基準
810B、812B、814B、816B 基準
900 装置
902 コントローラまたはプロセッサ
904 メモリ
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図6I】
【図6J】
【図6K】
【図6L】
【図6M】
【図6N】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8A】
【図8B】
【図8C】
【図9】